L'elaborazione del linguaggio naturale consente ai computer di elaborare ciò che stiamo dicendo in comandi che può eseguire. Scopri come le basi di come funziona e come viene utilizzato per migliorare la nostra vita.
Che cos'è l'elaborazione del linguaggio naturale?
Che si tratti di Alexa, Siri, Google Assistant, Bixby o Cortana, oggi tutti con uno smartphone o un altoparlante intelligente hanno un assistente ad attivazione vocale. Ogni anno, questi assistenti vocali sembrano migliorare nel riconoscere ed eseguire le cose che diciamo loro di fare. Ma ti sei mai chiesto come questi assistenti elaborano le cose che stiamo dicendo? Riescono a farlo grazie a Natural Language Processing o NLP.
Storicamente, la maggior parte dei software è stata in grado di rispondere solo a una serie fissa di comandi specifici. Si aprirà un file perché si è fatto clic su Apri oppure un foglio di calcolo calcolerà una formula in base a determinati simboli e nomi di formula. Un programma comunica usando il linguaggio di programmazione in cui è stato codificato e quindi produrrà un output quando gli viene dato input che riconosce. In questo contesto, le parole sono come un insieme di diverse leve meccaniche che forniscono sempre l'output desiderato.
Ciò è in contrasto con i linguaggi umani, che sono complessi, non strutturati e hanno una moltitudine di significati basati su struttura della frase, tono, accento, tempismo, punteggiatura e contesto. L'elaborazione del linguaggio naturale è una branca dell'intelligenza artificiale che tenta di colmare il divario tra ciò che una macchina riconosce come input e il linguaggio umano. In questo modo, quando parliamo o digitiamo in modo naturale, la macchina produce un output in linea con quanto detto.
Questo viene fatto prendendo enormi quantità di punti dati per derivare significato dai vari elementi del linguaggio umano, oltre ai significati delle parole reali. Questo processo è strettamente legato al concetto noto come machine learning, che consente ai computer di apprendere di più man mano che ottengono più punti di dati. Questo è il motivo per cui la maggior parte delle macchine per l'elaborazione del linguaggio naturale con cui interagiamo spesso sembrano migliorare nel tempo.
Per illuminare meglio il concetto, diamo un'occhiata a due delle tecniche di massimo livello utilizzate nella PNL per elaborare il linguaggio e le informazioni.
RELAZIONATO: Il problema con l'IA: le macchine stanno imparando le cose, ma non riescono a capirle
tokenizzazione
La tokenizzazione significa suddividere il discorso in parole o frasi. Ogni pezzo di testo è un token e questi token sono ciò che viene visualizzato quando il tuo discorso viene elaborato. Sembra semplice, ma in pratica è un processo complicato.
Supponiamo che tu stia utilizzando un software di sintesi vocale, come la tastiera di Google, per inviare un messaggio a un amico. Vuoi mandare un messaggio: “Incontriamoci al parco”. Quando il telefono prende quella registrazione e la elabora tramite l'algoritmo di sintesi vocale di Google, Google deve quindi dividere in token ciò che hai appena detto. Questi token sarebbero “incontra”, “me”, “at”, “the” e “park”.
Le persone hanno diverse lunghezze di pausa tra le parole e altre lingue potrebbero non avere molto poco in termini di pausa udibile tra le parole. Il processo di tokenizzazione varia drasticamente tra lingue e dialetti.
Stemming e Lemmatization
Lo stemming e la lemmatizzazione implicano entrambi il processo di rimozione di aggiunte o variazioni a una parola radice che la macchina può riconoscere. Questo viene fatto per rendere coerente l'interpretazione del parlato attraverso parole diverse che significano essenzialmente la stessa cosa, il che rende più veloce l'elaborazione della PNL.
Lo stemming è un processo rapido e rozzo che prevede la rimozione di affissi da una parola radice, che sono aggiunte a una parola allegata prima o dopo la radice. Questo trasforma la parola nella forma base più semplice semplicemente rimuovendo le lettere. Per esempio:
- “Walking” si trasforma in “walk”
- “Più veloce” si trasforma in “veloce”
- “Severity” si trasforma in “sever”
Come puoi vedere, la derivazione può avere l'effetto negativo di cambiare completamente il significato di una parola. “Gravità” e “sever” non significano la stessa cosa, ma il suffisso “ity” è stato rimosso durante il processo di eliminazione.
D'altra parte, la lemmatizzazione è un processo più sofisticato che comporta la riduzione di una parola alla base, nota come lemma. Ciò prende in considerazione il contesto della parola e il modo in cui viene utilizzata in una frase. Implica anche la ricerca di un termine in un database di parole e dei rispettivi lemma. Per esempio:
- “Are” si trasforma in “be”
- “Operazione” si trasforma in “operare”
- La “gravità” si trasforma in “grave”
In questo esempio, la lemmatizzazione è riuscita a trasformare il termine “severità” in “grave”, che è la sua forma di lemma e la sua radice.
NLP Use Cases and the Future
Gli esempi precedenti iniziano solo a graffiare la superficie dell'elaborazione del linguaggio naturale. Comprende una vasta gamma di pratiche e scenari di utilizzo, molti dei quali utilizziamo nella nostra vita quotidiana. Questi sono alcuni esempi di dove la PNL è attualmente in uso:
- Testo predittivo: Quando digiti un messaggio sul tuo smartphone, ti suggeriscono automaticamente le parole che si adattano alla frase o che hai usato in precedenza.
- Traduzione automatica: Servizi di traduzione dei consumatori ampiamente utilizzati, come Google Translate, per incorporare una forma di alto livello di PNL per elaborare il linguaggio e tradurlo.
- chatbots: La PNL è la base per chatbot intelligenti, in particolare nel servizio clienti, in cui possono assistere i clienti ed elaborare le loro richieste prima di affrontare una persona reale.
C'è di più a venire. Gli usi della PNL sono attualmente in fase di sviluppo e distribuzione in settori quali i media, la tecnologia medica, la gestione del posto di lavoro e la finanza. È possibile che in futuro potremo avere una conversazione sofisticata a tutti gli effetti con un robot.
Se sei interessato a saperne di più sulla PNL, ci sono molte fantastiche risorse sul blog Towards Data Science o sul Standford National Langauge Processing Group che puoi consultare.
