Che cos’è il Question Answering?
Autore: Calogero Zarbo
Che cos’è il Question Answering?
Il question answering è una particolare specificazione di un problema molto più grande: ossia la capacità di comprendere il linguaggio naturale. Quest’ultima rappresenta un’enorme sfida per tutti gli appassionati di AI e Machine Learning, principalmente perchè è molto complesso riuscire a formalizzare la semantica in una formula matematica.
La capacità di rappresentare pensieri, emozioni, sentimenti in un discorso organico, sotteso anche da sfumature di linguaggio che possono è molto complesso da formalizzare in modo universale, ma nonostante le difficoltà siamo riusciti a fare degli enormi passi avanti.
Lo stato dell’arte di oggi utilizza sistemi di question answering che vengono allenati con domande e risposte manualmente curate dagli collaboratori esterni. L’avvento dei transformers ha permesso di migliorare le performance nell’identificare il focus della query e trovare la migliore risposta possibile.
La limitazione, tuttavia, è che la risposta deve esistere nei testi che si vanno ad analizzare.
Data la gamma di prodotti e servizi offerti da grandi imprese come le banche, il numero di documenti che devono essere forniti per garantire la copertura è immenso. Ciò comporta grosse spese di mantenimento poiché i prodotti, le condizioni e le normative cambiano costantemente e questa conoscenza deve essere propagata all’interno del sistema di question answering.
Reading Comprehension
La comprensione della lettura è un’attività dove l’intelligenza artificiale viene molto usata, che richiede un sistema di domande e risposte per elaborare una parte di testo, comprendere ed essere in grado di estrarre l’intervallo di testo che è la risposta alla query dell’utente.
Stanford Question Answering Dataset (SQuAD) è uno dei principali dataset pubblici che mette a disposizione degli sviluppatori un set di paragrafi con domande e risposte associate in modo da poter allenare gli algoritmi. (https://rajpurkar.github.io/SQuAD-explorer/).
Si suddivide in due challenges:
- SQuAD 1.1 test per la comprensione della lettura della macchina (MRC), creando un sistema in grado di leggere un documento e rispondere così come un essere umano.
- SQuAD 2.0 doveva “incoraggiare lo sviluppo di sistemi di comprensione della lettura che sanno ciò che non sanno”.
NLP 1.1
Hugging Face
Nel nostro corso NLP-HandsOn 1 investigheremo assieme questi sistemi di question answering, impareremo a costruirne di nostri, e cercheremo di capire le problematiche dietro ai diversi algoritmi che applicheremo.
Per fare tutto ciò useremo in modo molto pervasivo la libreria Transformers, conosciuta come Hugging Face, la quale è in grado di fornire:
- Datasets
- Algoritmi pre-trained
- Interfacce python già pronte in modo da poter lasciare a noi solo l’arduo compito di creare una user experience degna
Se sei interessato a saperne di più visita il nostro e-learning:
https://elearning.academy-dli.com/p/nlp-hands-on-1
