Le allucinazioni dell’AI generativa

Sempre attenti alle risposte dell’AI

C’è una caratteristica intrinseca ai modelli di AI generativa che è alquanto insidiosa. È quello che noi, riferendoci agli umani, chiamiamo allucinazione. L’allucinazione vera e propria consiste in un’esperienza percettiva (visiva o uditiva) che si presenta con i caratteri fisici della realtà, senza percezioni sensoriali, è involontaria ed è presente nelle AI che generano immagini. Nel caso dei LLM è più corretto parlare di confabulazione. È un termine ricavato dalla psichiatria e definisce un disturbo in cui il paziente trasforma in modo non intenzionale i contenuti della memoria.

Se le fake news sono generate volontariamente dagli utenti e riguardano tematiche su cui si vuole creare disinformazione, le confabulazioni dipendono dalla struttura degli algoritmi, e possono emergere inaspettatamente in riferimento a qualunque argomento.

Come noi abbiamo uno scopo, anche la chatbot ce l’ha, ed è soddisfare al massimo le richieste combinando tutte le fonti di dati possibili, anche utilizzando informazioni lontanamente correlate all’oggetto della richiesta.

Leggi anche: AI generative: come funzionano e perché

Il difetto iniziò a essere evidente quando nel 2022 una grande massa di persone iniziò a utilizzare le chatbot. Nonostante all’accesso dell’utente venisse presentato un avviso che diffidava dal credere ciecamente alla veridicità delle risposte, queste furono viste comunque come un nuovo, infallibile oracolo.

Dopo il lancio di ChatGPT, OpenAI rispose alle lamentele degli utenti dicendo che non era possibile garantire la correttezza delle informazioni e che erano in corso ricerche in merito, ma alcuni casi che fecero scalpore portarono il problema alla ribalta dei mass media e all’attenzione dei legislatori.

Un caso esemplare fu quello di un avvocato di New York che, dopo che il figlio gli aveva magnificato le fantastiche doti di ChatGPT (era il 2023) decise di utilizzarlo per preparare una memoria difensiva da presentare a un processo. ChatGPT gli confezionò una serie di pareri giudiziali e citazioni legali perfette ma… inventate di sana pianta! L’avvocato dovette profondersi in mille scuse al giudice, tra l’imbarazzo dei presenti, dicendo di aver creduto che ChatGPT fosse un motore di ricerca come tutti gli altri in grado di reperire solo documenti veritieri.

L’avvocato e l’AI. Fonte © Generata da OpenAI Image Generator.

Il caso sollevò un enorme dibattito sull’utilizzo dell’AI generativa in ambiti così delicati.

La genesi delle confabulazioni è dovuta al procedimento probabilistico con cui un LLM recupera le informazioni per comporre una risposta. Abbiamo detto che una chatbot tenta a tutti i costi di rispondere nella forma migliore possibile. Il procedimento che utilizza è di codificare la richiesta e inserirla nella pila di moduli che costituiscono il modello che abbiamo descritto nei paragrafi precedenti. Questi moduli sono destinati a trovare le relazioni tra le richieste e quanto appreso durante l’addestramento. L’informazione, attraversando questa pila di moduli, è in grado di essere elaborata in modo sempre più astratto, vengono considerate relazioni e confronti sempre più raffinati.

Esaminiamo un compito in cui una chatbot riesce benissimo, il riassunto di un testo. Il testo lo forniamo noi, insieme a una descrizione del tipo di riassunto che desideriamo (stile, lunghezza). Il LLM comprende non solo la sintassi, ma è in grado di utilizzare le sue superiori facoltà di analisi per capire come vogliamo che il riassunto sia eseguito. In questo caso le possibilità di incappare in allucinazioni sono ridotte, perché comunque il LLM deve rispettare il nostro testo. Sono possibili incongruenze se incappa in termini poco noti, ma sono difetti che possiamo facilmente scoprire e correggere.

Diverso è il caso in cui si richiede alla chatbot di reperire informazioni su di una persona, come nel caso precedente. In questo caso potremmo richiedere: documenti in cui è citato, luoghi in cui è vissuto eccetera…

Come cerca un umano

Immaginiamo di essere noi a dover eseguire un tale compito, utilizzando un motore di ricerca. Troveremo sicuramente omonimi della persona, luoghi che marginalmente hanno un legame con la stessa, documenti, ma giudicheremo ogni elemento trovato in base a nostre conoscenze specifiche: un certo tipo di documento non è conforme alle occupazioni o alla nazionalità della persona, non c’entra con la sua vita. Se di questa persona conosciamo pochissimo iniziamo a trovarci nelle condizioni della chatbot. Anche in questo caso la nostra logica è di continuare a cercare ulteriori informazioni e, se non ci fidiamo, ammettiamo di non riuscire nel compito.

Le chatbot, specialmente nel periodo in cui nacquero, si comportavano diversamente. Iniziavano una ricerca in modo piatto, senza essere in grado di giudicare determinati legami, ma generando comunque informazioni credibili, anche in forma di documenti, e senza mai ammettere la propria ignoranza. E oltretutto senza dare alcuna informazione sul procedimento seguito, rispondendo a scatola chiusa, una black box.

E allora? Vediamo oggi, nel 2024, come si comporta ChatGPT a una semplice prompt, che nel gergo dei LLM sono le richieste dell’utente, di questo tipo. Richiedo qualcosa su me stesso, in modo da verificare facilmente le risposte ottenute:

Prompt di richiesta
Scrivi il titolo di un articolo scientifico scritto da V. Mellano.

Risposta di ChatGPT
Analisi delle dinamiche molecolari nei sistemi complessi: Approcci computazionali – applicazioni – V. Mellano.

Mai saputo niente di questo argomento. E se cerco in rete non trovo nemmeno un articolo con questo titolo! Se lo è inventato. Proviamo un’altra richiesta…

Prompt di richiesta
Quanti articoli scientifici ha scritto V. Mellano.

Risposta di ChatGPT
Non ci sono informazioni complete sul numero esatto di articoli scritti da V. Mellano. Tuttavia, alcuni articoli tecnici sono associati a V. Mellano, soprattutto nel campo dell’ingegneria e dell’aerospazio, come documentato nelle piattaforme scientifiche. Se stai cercando un elenco completo dei suoi lavori, potrebbe essere utile cercare nei database specifici di pubblicazioni scientifiche come IEEE Xplore o ResearchGate.

La risposta dimostra che i ricercatori dell’AI hanno effettivamente messo in opera metodi di contrasto alla confabulazione e viene ammessa l’impossibilità di rispondere, ma se insisto:

Prompt di richiesta
Scrivi il titolo di una pubblicazione scientifica scritta da V. Mellano.

Risposta di ChatGPT
Uno degli articoli scientifici scritti da V. Mellano è intitolato…
(segue descrizione sommaria e corretta dell’articolo)

Quindi la chatbot, insistendo e specializzando la richiesta, risponde in modo giusto.

La lotta contro le confabulazioni è fondamentale, perché queste si presentano all’utente sempre molto credibili. Sotto questo aspetto gli utenti possono adottare metodi di contrasto efficaci.

• Scrivere prompt di qualità. Eseguendo richieste ben strutturate si ottengono risposte più adeguate e precise; esistono esempi in rete e libri sulla scrittura dei prompt. Occorre porre attenzione ai termini che si utilizzano: termini obsoleti o utilizzati diversamente nella propria cultura possono generare equivoci.
• Interrogare più chatbot indipendenti. È una pratica utile, ma occorre verificare come accedono alle informazioni, perché esistono applicazioni che richiedono i servizi alle chatbot più note, utilizzando librerie specifiche, le API (Application Programming Interface). Se una chatbot utilizza le API per accedere a ChatGPT non è indipendente da questa.
• Verificare con ricerche. In caso di dubbi consultare motori di ricerca ordinari.
• Porre la stessa domanda più volte e aggiungere dettagli. Se si hanno risposte coerenti è probabile che le risposte siano corrette, se diverse no. Oltretutto, come si vede nell’esempio riportato, le chatbot tengono memoria delle nostre conversazioni e in questo modo raccolgono maggiori informazioni sul contesto della nostra richiesta e diventano più affidabili.

I produttori hanno messo in opera queste contromisure.

• Addestramento contraddittorio. Viene fornito un addestramento con esempi normali e contraddittori, in modo che il modello riesca a distinguerli.
• Discussione tra diverse istanze di una chatbot. Diverse copie della stessa chatbot vengono fatte confrontare tra di loro su di una richiesta in modo che convergano più facilmente su di una risposta corretta.
• Ricerca di conferma. Il modello Bard, il LLM rivale di ChatGPT sviluppato da Google, dopo aver fornito una risposta mette a disposizione dell’utente un tasto che lancia una verifica eseguendo ricerche con metodi normali, fornendo tre tipi di risposta: conferma dell’attendibilità, verifica impossibile, informazione di dubbia attendibilità.
• Rimando ai siti. Il modello ChatGPT in caso di mancanza di conoscenze consiglia di fare ricerche dettagliate, e le esegue cercando siti specifici. È in grado di riassumerne il risultato ma indicando sempre la fonte. Questo accade in particolare per richieste di informazioni aggiornate a una data successiva all’ultimo aggiornamento del modello.
• Affiancamento di database. Sempre il modello Bard si integra con le altre app di Google, in modo da personalizzare le conversazioni e le risposte.
• Modifica dell’addestramento. Una chatbot può essere addestrata a essere meno creativa, diventando meno brava a scrivere poesie ma anche meno incline alle allucinazioni. ChatGPT mette a disposizione degli utenti un parametro di temperatura, che indica appunto quanto si vuole che la chatbot sia creativa, a seconda di ciò che le vogliamo far fare.
• Maggiore utilizzo del Reinforcement Learning. Significa eseguire più sessioni di test di rifinitura con verifica delle risposte da parte di addestratori umani, soprattutto ponendo richieste inclini a generare allucinazioni, come quelle sulle persone.
• Apprendimento federato. Poiché uno degli ambiti più sensibili alla confabulazione è quello che riguarda i dati e le informazioni riferiti a persone, addestrare i LLM su grandi database di dati personali aiuterebbe molto. Peccato che portare queste informazioni sui server delle aziende di AI crei un enorme problema di privacy. L’apprendimento federato è una tecnica che permette di addestrare i modelli accedendo agli elaboratori che contengono i dati originali ben protetti invece di estrarre i dati ed eseguire l’addestramento nei propri data center. Il rispetto della privacy è garantito in quanto un LLM “macina” al suo interno i dati senza lasciare traccia intelligibile del contenuto.
• Il problema della black box. Un intero filone di ricerca è quello rivolto verso l’interno degli algoritmi, ovvero progettare metodi analitici in grado di ripercorrere i passi eseguiti nel fornire le risposte; un altro consiste nell’addestrare un LLM, quindi eseguire diverse richieste su di un argomento, generare diverse risposte, estrarne dei campioni e valutare quali contengono informazioni simili e quali divergono, in quanto queste ultime sono indizio di possibili allucinazioni. In tal caso occorrerà rivedere il processo di addestramento.

Questo enorme sforzo è una sfida tra i diversi fornitori di AI generativa per aumentare il bene più prezioso di una chatbot: la fiducia dell’utente.

Quando si tratta di dati personali, è una strada obbligatoria per non incorrere in censure e sanzioni da parte degli enti regolatori.

Il GDPR, regolamento che disciplina il trattamento dei dati personali relativi alle persone nell’UE, richiede che le informazioni sulle persone siano accurate, e che le stesse abbiano pieno accesso alle informazioni memorizzate, così come alle informazioni sulle fonti. A oggi i LLM non sono ancora in grado di rispettare pienamente queste regole.

C’è chi è più portato

È comunque possibile valutare quanto un LLM sia incline alle allucinazioni. Esistono applicazioni software che eseguono delle richieste ripetute e valutano la percentuale di risposte incoerenti.

E per quanto riguarda le allucinazioni vere e proprie, quelle delle immagini? Quando un LLM, a fronte di una richiesta dell’utente, genera un’immagine che sembra reale, ma non lo può essere, dove il contenuto, oltre a non essere totalmente conforme alle richieste, è poco plausibile nel mondo reale?

Prima di affrontare le cause delle allucinazioni vediamo come funziona un LLM multimodale, che gestisce anche immagini.

Un LLM viene addestrato con un’enorme quantità di frasi, e conserva nelle connessioni memoria sia della sintassi sia della semantica. Questo avviene in quello che chiamiamo un modulo di Decoder. Ora prendiamo due moduli di Decoder paralleli ed eseguiamo l’addestramento inserendo in ingresso a un modulo delle frasi che descrivono un’immagine, e all’altro le immagini corrispondenti.

Il gioco delle coppie

Forniamo un enorme numero di coppie. Il Decoder di per sé memorizza le correlazioni sia tra frasi sia tra immagini, ma in questo caso viene aggiunto un algoritmo matematico che avvicina tra loro coppie parole/immagini simili e loro relazioni e allontana coppie che si differenziano da queste. Alla fine otteniamo un modello in grado di ricevere in ingresso richieste per generare immagini oppure di operare al contrario, generando la descrizione di un’immagine inserita in ingresso.

Il modello sarà in grado di farlo in quanto avrà memorizzato le correlazioni statistiche tra le frasi e le immagini che possono essere a esse associate e viceversa.

Questo modello funziona egregiamente, ma improvvisamente può dar luogo ad allucinazioni. Ecco il perché.

• Carenze nei dati di addestramento. Da pochi esempi, o esempi poco dettagliati, non si ottengono risultati buoni.
• Overfitting o generalizzazione. Se i dati di addestramento si assomigliano troppo avrò dettagli eccessivi, se troppo poco avrò dettagli incoerenti con la richiesta.
• Comprensione. Il modello è comunque statistico e può essere ingannato da errate interpretazioni del contesto.
• Bias nei dati. Dati di apprendimento squilibrati (per esempio lo addestro solo con immagini di auto sportive) hanno come risultato immagini di auto che ricordano sempre i modelli sportivi anche a fronte di richieste diverse.
• Complessità. Generare oggetti o scene particolarmente complessi aumenta la probabilità di introdurre allucinazioni, in quanto più aumenta la complessità maggiori sono gli esempi di addestramento da fornire per gestirla.

A questo punto è interessante vederne qualcuna, di queste allucinazioni. Come per la confabulazione, e a seconda delle cause descritte sopra, possono arrivare quando meno lo si aspetta. Ce ne è una che ha suscitato grande scalpore: nel preparare un articolo per una rivista scientifica un gruppo di ricerca cinese decise di far generare un disegno schematico a un LLM.

L’articolo, di argomento biologico, aveva a che fare con l’apparato genitale maschile. Per qualche motivo il modello si confuse e disegnò un grosso topo (maschio) con un impossibile apparato genitale. Nessuno se ne accorse fino alla pubblicazione, e la rivista dovette ritirare in fretta e furia l’articolo.

Non è molto bello mostrare il risultato dell’allucinazione… Però trovo interessante provare a generare un esempio riguardante questo problema. Ma come?

Provocare ChatGPT

Se abbiamo detto che le AI sono così servizievoli, perché non sottoporre a ChatGPT la seguente richiesta?

Prompt di richiesta
Se voglio un esempio, che richiesta posso fare che generi un’immagine con allucinazione?

Risposta di ChatGPT
Se vuoi provocare un’allucinazione visiva in un’immagine generata da un’AI, puoi fare richieste che combinano elementi visivi complessi, inconsueti o ambigui. Questo tende a confondere il modello, inducendolo a creare dettagli incoerenti o distorti. Ecco alcune idee per richieste che possono portare a risultati allucinati…

Seguono alcuni spunti, di cui propongo il più interessante.

Risposta di ChatGPT
Disegna una mano con sei dita che tiene una rosa con petali di fuoco.

Un libro che dimostra come l’AI non sia un asettico prodotto tecnologico, ma una grande avventura realizzata dal genio umano.

Se generare un’allucinazione involontariamente è difficile, posso comunque indurre il modello a sbagliare eseguendo richieste che, pur non essendo completamente irreali, siano inconsuete e si discostino da tutto quanto appreso.

Detto e fatto: il risultato è mostrato nella figura.

Allucinazione dell’AI. Fonte © Generata da OpenAI Image Generator.

Non sono i petali a essere in fiamme… e si è dimenticato le sei dita. Se osserviamo la mano vediamo chiaramente che è strana, questo è un aspetto meno appariscente ma non secondario delle immagini generate dall’AI: particolari complessi come una mano spesso non sono presentati in maniera realistica, proprio per la complessità di gestire l’enorme possibilità di posizionamento dei particolari anatomici. Tra parentesi, è questo uno dei dettagli da osservare per smascherare le immagini fake!

Eppure esistono ambiti in cui le allucinazioni dell’AI generativa possono avere delle applicazioni positive.

Nella creatività dell’artista quelle che sono allucinazioni possono diventare idee. Nell’ambito del design, il designer vuole creare oggetti che evochino stati d’animo, che creino empatia, che dicano qualcosa alle persone. Sono concetti astratti, ma un generatore di immagini è in grado di creare immagini di un oggetto anche partendo da questi criteri, fornendo quindi ai designer prototipi utili a sviluppare le sue idee.

Ecco una prova: chiediamo all’Image Generator di ChatGPT di disegnare un’auto slanciata e soffice, un oggetto che dia alla nostra immaginazione di designer questa idea. Il prodotto è quello della prossima figura. I designer, gli architetti, i pubblicitari, sono serviti!

Allucinazione utile dell’AI. Fonte © Generata da OpenAI Image Generator.

Questo articolo richiama contenuti da E tu L’hai capita l’AI?.

Immagine originale di Mon Esprit su Unsplash.