I testi di Jovanotti e le allucinazioni di ChatGpt

Presidente associazione Copernicani

Jovanotti in un recente concerto, peraltro molto bello, ha detto alle decine di migliaia di fan presenti di avere chiesto a ChatGPT quali fossero le parole più presenti nelle sue canzoni. ChatGPT ha risposto “amore, vita, mondo, libertà, sole” e Jovanotti ha approfondito il senso di queste parole nella sua opera.

Se Jovanotti ha ripetuto e ripeterà questa cosa in ogni concerto del suo tour, oltre mezzo milione di persone saranno raggiunte da questo messaggio. Una analisi fatta da alcuni iscritti alla lista del Centro Nexa su Internet e Società del Politecnico di Torino sui testi delle canzoni composte da Jovanotti rivela che le parole più frequenti in realtà sono, “come, mondo, tutto, quando, vita”. Se consideriamo solo i sostantivi, essi sono “mondo, vita, amore, cuore, giorno”. In ogni caso, ChatGPT ha fornito risposte sbagliate.

Però le persone hanno ricevuto implicitamente il messaggio che ChatGPT sia uno strumento attendibile, tanto che persino un autore, che ovviamente possiede tutti i testi delle proprie canzoni, piuttosto che fare un conteggio delle occorrenze delle parole nel testo con uno dei tanti strumenti disponibili, lo ha chiesto a ChatGPT e l’output gli sembrava corretto. Jovanotti avrebbe detto al concerto “Ragazzi, ho usato WordCounter per contare le parole più presenti nei miei testi e sono queste cinque”? Ovviamente no. Mancherebbe il fascino oracolare di ChatGPT.

In occasione del rilascio di ChatGPT, il suo produttore OpenAI ha pubblicato un documento tecnico che recita: “Ha la tendenza ad avere allucinazioni, cioè a produrre contenuti senza senso o non veritieri in relazione a determinate fonti. Questa tendenza può essere particolarmente dannosa quando i modelli diventano sempre più convincenti e credibili, portando gli utenti a fare eccessivo affidamento su di essi.” e, in una nota a piè pagina spiegava cosa intendesse per “Allucinazioni”: “Usiamo il termine ‘allucinazioni’, anche se riconosciamo come questo inquadramento possa suggerire un’antropomorfizzazione, che a sua volta può portare a danni o a modelli mentali errati di come il modello apprende”.

Aldilà quindi delle roboanti e immaginifiche sorti dell’Intelligenza Artificiale declamate sui media, in un documento tecnico, per addetti ai lavori, OpenAI fa una duplice ammissione di colpevolezza: chiamiamo gli errori “allucinazioni” anche se ciò fa sembrare che questi modelli ragionino come un umano (cosa che non è) e lo rilasciamo anche se sappiamo che avrà effetti dannosi perché le persone vi faranno affidamento mentre invece hanno la tendenza a produrre risposte sbagliate.

Questi strumenti, sulla base di associazioni statistiche dei testi presenti in tutto il corpus che è stato loro inserito (praticamente ogni cosa scritta dall’uomo), predicono il simbolo successivo fino a quando la risposta “assomiglia” alla risposta al prompt inserito dall’utente. Se qualcuno, in precedenza, avesse scritto una analisi dei testi di Jovanotti esaminando la frequenza delle parole, ChatGPT lo avrebbe ingurgitato e usato nella sua predizione e quindi il risultato – probabilmente – sarebbe stato corretto, rievocando contenuti del testo predigerito. Se invece nessuno ha fatto una tale analisi, ChatGPT genera sequenze possibili, con probabilità varia. Per questo non possiamo farci affidamento per domande puntuali – a meno che non facciano parte del suo corpus predigerito – e invece ci può aiutare su questioni più ricorrenti e generali. ChatGpt e cugini potranno smettere di generare questi artefatti (chiamati “allucinazioni” in ossequio alla metafora della “intelligenza artificiale”)? Non senza perdere in adattabilità: le stesse caratteristiche tecniche che li rendono adattabili sono quelle che generano allucinazioni.

Chi li usa professionalmente fa quindi bene a rivedere e correggere gli output. Ci si aspetta che gli stagisti che lavorano con noi commettano errori e che dobbiamo rivedere e correggere il loro lavoro; molto meno per un collega. Nella cultura aziendale, se il nostro stagista commette degli errori, è un problema nostro, perché siamo noi a doverli rivedere e correggere. Se il nostro collega commette errori, è un problema suo, eventualmente del suo capo.

Gli LLM come ChatGPT non sono oracoli ma sono simili a “stagisti digitali” che ci aiutano ma che non possiamo prendere per oro colato. Per mitigare quei danni per la società che OpenAI preconizzava nel suo report tecnico e che si stanno puntualmente verificando, sarebbe bene che il pubblico ne fosse portato a conoscenza. Jovanotti, che raggiunge audience così estese, ha l’opportunità di contribuire a farlo.