È fondamentale verificare tutto ciò che proviene da ChatGPT, Bing Chat, Google Bard o qualsiasi altro chatbot. Che tu ci creda o no, questo è particolarmente vero per la matematica. Non dare per scontato che ChatGPT possa fare calcoli. I moderni chatbot di intelligenza artificiale sono più bravi nella scrittura creativa che nel conteggio e nell’aritmetica.
I chatbot non sono calcolatrici
Come sempre, quando si lavora con un’intelligenza artificiale, l’ingegneria tempestiva è importante. Vuoi fornire molte informazioni e creare con cura il tuo prompt di testo per ottenere una buona risposta.
Ma anche se ottieni un pezzo di logica impeccabile in risposta, potresti strizzare gli occhi al centro e renderti conto che ChatGPT ha commesso un errore sulla falsariga di 1+1=3. Tuttavia, ChatGPT spesso sbaglia anche la logica e non è nemmeno bravo a contare.
Chiedere a un modello linguistico di grandi dimensioni di funzionare come una calcolatrice è come chiedere a una calcolatrice di scrivere un’opera teatrale: cosa ti aspettavi? Non è per questo.
Il nostro messaggio principale qui: è fondamentale ricontrollare o ricontrollare il lavoro di un’IA. Questo vale per qualcosa di più della semplice matematica.
Ecco alcuni esempi di ChatGPT che cade a terra. Abbiamo utilizzato ChatGPT gratuito basato su gpt-3.5-turbo per questo articolo e Bing Chat, che si basa su GPT 4. Quindi, mentre ChatGPT Plus con GPT 4 funzionerà meglio della versione gratuita di ChatGPT, sperimenterai questi problemi anche con un chatbot AI top di gamma.
IMPARENTATO: ChatGPT: come utilizzare gratuitamente il chatbot AI
ChatGPT non può contare
ChatGPT e Bing non sembrano affidabili per il conteggio degli elenchi di elementi. Sembra un compito basilare, ma non fare affidamento sull’ottenere una risposta affidabile.
Abbiamo fornito a ChatGPT una colonna di numeri e gli abbiamo chiesto di contare le occorrenze di uno dei numeri. (Non devi contare te stesso: la risposta corretta è che il numero 100 appare 14 volte.)
Anche quando correggi ChatGPT e si scusa e offre una nuova risposta, non otterrai necessariamente una risposta corretta.
ChatGPT si comporta spesso come una persona che cerca freneticamente di coprire un errore e di darti una risposta, qualsiasi risposta, per toglierti di dosso. In realtà è molto realistico!
Come al solito, uno dei grandi problemi è quanto ChatGPT sia completamente sicuro di tutte le sue risposte, anche quando ti sta sparando risposte diverse.
Abbiamo provato GPT 4 tramite Bing Chat di Microsoft e abbiamo riscontrato un problema simile. Bing ha deciso di scrivere del codice Python per risolvere questo complicato problema, ma non è riuscito a ottenere la risposta giusta. (Bing in realtà non ha eseguito il codice.)
ChatGPT lotta con problemi di logica matematica
Se dai a ChatGPT un “problema di parole” di matematica, vedrai spesso strani colpi di scena della logica che non ti daranno la risposta giusta
Abbiamo fornito a ChatGPT un problema matematico basato sulla frutta che rispecchia ciò che qualcuno potrebbe chiedere se stesse tentando di riequilibrare un portafoglio di investimenti allocando un contributo tra diversi fondi, o forse semplicemente acquistando molta frutta e mantenendo un portafoglio basato sulla frutta per l’investitore affamato.
ChatGPT inizia bene ma va rapidamente fuori dai binari in una logica che non ha alcun senso e non darà una risposta corretta.
Non è necessario seguire ogni svolta per rendersi conto che la risposta finale non è corretta.
ChatGPT spesso scaverà e discuterà con te anche delle sue risposte. (Ancora una volta, questo è un comportamento molto umano.)
In questo caso, ChatGPT ha sostenuto che ehi, non ti ha dato la risposta giusta, ma ti ha portato più vicino al rapporto desiderato di quanto non fossi prima! È abbastanza divertente.
Per la cronaca, anche Bing Chat di Microsoft basata su GPT 4 ha avuto problemi con questo problema, dandoci una risposta chiaramente errata. Anche qui la logica di GPT 4 va rapidamente fuori dai binari.
Raccomandiamo di non tentare di seguire ogni svolta della logica: è chiaro che la risposta non è corretta.
Quando abbiamo fatto notare che la risposta di Bing non era corretta, ha continuato a discutere con noi in tondo, offrendo risposte sbagliate dopo risposte sbagliate.
Nemmeno ChatGPT è in grado di eseguire calcoli aritmetici in modo affidabile
Vale la pena notare che ChatGPT a volte si lascia trasportare e dichiara anche l’aritmetica di base in modo errato. Abbiamo visto risposte logiche a problemi con aritmetica errata simile a 1+1=3 nel bel mezzo della risposta ben ragionata.
Assicurati di controllare, ricontrollare e ricontrollare tutto ciò che ottieni da ChatGPT e altri chatbot AI.
IMPARENTATO: Chat di Bing: come utilizzare il chatbot AI
