Chatbot che inventano risposte

OpenAI ha reso chiaro ciò che molti sospettavano da tempo: le cosiddette “allucinazioni” dei chatbot non possono essere eliminate completamente con l’attuale approccio ai modelli linguistici di grandi dimensioni. Un recente studio condotto dai ricercatori dell’azienda di Sam Altman conferma che questi errori, ovvero le risposte errate ma verosimili fornite dall’intelligenza artificiale, non sono un semplice bug, bensì una conseguenza inevitabile del modo in cui i sistemi come ChatGPT sono progettati. La ragione è semplice: il modello nasce con l’obiettivo di fornire sempre una risposta, anche quando non dispone di informazioni sufficienti.

Negli ultimi anni, il termine “allucinazione” è diventato parte del linguaggio comune. Secondo i dati di Comscore, oltre undici milioni di italiani hanno utilizzato ChatGPT, spesso per cercare informazioni. Tuttavia, una parte significativa di questi utenti si è resa conto che le risposte del chatbot non sempre corrispondono alla realtà. La questione, un tempo riservata agli esperti del settore, è ora centrale nel dibattito sull’affidabilità dell’intelligenza artificiale, soprattutto alla luce delle promesse di un futuro in cui gli agenti digitali avranno un ruolo sempre più decisivo nella vita quotidiana.

Episodi già noti avevano mostrato i rischi concreti di questa dinamica. Alcuni libri generati con l’AI erano arrivati ai vertici delle classifiche di Amazon pur contenendo errori pericolosi, come indicazioni sbagliate sul riconoscimento dei funghi velenosi. Questi casi dimostrano che la verosimiglianza di una risposta non equivale alla sua correttezza, e che l’affidarsi ciecamente alle macchine può avere conseguenze gravi.

Gli studiosi di intelligenza artificiale avevano già spiegato che le allucinazioni sono dovute a limiti strutturali dei modelli, non a una mancanza di dati o di potenza di calcolo. Secondo OpenAI, esse nascono da errori nella “classificazione binaria”: quando il sistema non è in grado di dare una risposta certa, tende comunque a generare una soluzione, anche se inventata. Durante la fase di addestramento, infatti, una risposta casuale ha pur sempre una possibilità di essere corretta e quindi premiata, mentre dire “non lo so” non porta alcun vantaggio. Da un punto di vista statistico, quindi, il modello è incentivato a indovinare piuttosto che ad ammettere l’incertezza, un comportamento paragonato ironicamente a quello di uno studente che prova a inventarsi la risposta durante un esame.

I ricercatori di OpenAI suggeriscono un possibile rimedio: modificare i criteri di valutazione, penalizzando le risposte errate date con sicurezza e premiando invece l’ammissione di ignoranza. In altre parole, preferire un chatbot che dica “non lo so” piuttosto che uno che fornisca una risposta sbagliata. Tuttavia, una simile soluzione comporterebbe una revisione radicale del modo in cui vengono addestrati i modelli linguistici e renderebbe i sistemi molto più costosi e complessi da gestire.

Wei Xing, docente all’Università di Sheffield, osserva che tecniche per misurare l’incertezza esistono da tempo e potrebbero ridurre significativamente le allucinazioni. Il vero ostacolo, però, è economico. Integrare questi metodi richiederebbe una potenza di calcolo molto più elevata, sostenibile solo in ambiti critici come la medicina o la finanza, non certo per i milioni di utenti che oggi usano ChatGPT come un motore di ricerca avanzato.

Un chatbot che rispondesse spesso con frasi come “non lo so” rischierebbe inoltre di deludere gli utenti e di ridurne l’utilizzo, compromettendo la sostenibilità del modello di business. In termini di responsabilità e consapevolezza, sarebbe un passo avanti; ma dal punto di vista dell’adozione su larga scala, rappresenterebbe un rischio economico notevole per le aziende che sviluppano queste tecnologie, ancora oggi molto più costose da mantenere che da monetizzare.