Questo è Tuffi! Demordiamo.
Io sono Vittorio Ray, questa è Tuffi, la newsletter de Il Tuffatore.
Questa introduzione circolarmente didascalica e morettianamente autoreferenziale è un tentativo di SEO, se vuoi ti puoi iscrivere qui sotto.
Dobbiamo tornare alla questione di come concettualizzare le IA, perché mi pare che il dibattito stia proseguendo (almeno nella sua parte divulgativa/facebookiana) e ho degli umili commenti da fare.
Ricordiamo le squadre. Da un lato c’è chi dice che l’IA è un mero “pappagallo stocastico”, magari sempre più sofisticato ma che in fondo non sa fare altro che mettere fortuitamente/statisticamente in fila le parole: un enorme esercizio di completamento di un testo. Dall’altro lato c’è chi dice che l’IA è intelligente, cioè partecipa grandemente della nostra idea di intelligenza, e che dovremmo fare uno sforzo di astrazione e di autoviolenza molto più grande per tenerla fuori dal recinto dell’intelligenza piuttosto che ammettere che sì, è andata così, non siamo più gli unici enti intelligenti del creato.
Per una conoscenza più approfondita e chiara del dibattito, rimando al godibilissimo saggio di Nello Cristianini, “Forma Mentis”, o all’ascolto di uno dei vari podcast in cui dice più o meno tutto il succo di ciò che scrive nel libro.
Di questo dibattito, il punto che trovo più scorretto - e forse sintomo di una profonda paura - è il far scivolare le discussioni da un piano operativo/ fenomenologico/ apparente/ decifrabile, a un piano ontologico/ teologico/ indecidibile. Faccio un esempio: che senso ha oggi domandarsi se l’IA abbia una ‘coscienza’? Se non sappiamo neanche noi i confini di questo concetto, un concetto tutto umano, chi o cosa pensiamo di incastrare nella sua ipotetica assenza di coscienza? Piuttosto, come dicono i ricercatori che operano nell’IA (Amodei, Anthropic, lo stesso Cristianini) ciò che adesso è urgente è provare a capire i meccanismi - sempre che non sia troppo tardi, e l’evoluzione di questi meccanismi non vada troppo più veloce della nostra capacità di comprenderli.
Ma questo è il piano che ci interessa e ci tocca. Indugiare sulle definizioni filosofiche, peraltro sempre umanissime dunque limitate al nostro mondo e alla nostra esperienza, è uno spreco di tempo che può avere a cuore solo chi in fondo è terrorizzato dall’affrontare problemi più seri.
Sintetizzo la mia precaria e provvisoria posizione di questi mesi (mi rendo conto che è un po’ fricchettona/ tecnoavventista, mi riservo di rivederla al ribasso in futuro): abbiamo creato una nuova forma di intelligenza, che evidentemente ci eccede, e non possiamo pensare di farne ricadere tutte le caratteristiche nelle categorie che abbiamo avuto nella nostra mente finora. Se siamo riusciti, come specie, ad avere sufficiente fantasia per pensare divinità immanenti, presenti in tutte le cose, dagli alberi ai bulloni alle rane, perché adesso non potremmo almeno ammettere l’ipotesi poetica che l’IA sia in tutti i server, o in tutto il rame e la fibra ottica dell’universo? Se abbiamo sempre fatto un vanto della nostra capacità immaginativa, perché alcuni si paralizzano davanti a questo nuovo esperimento di laboratorio, e fingono di non saper fare altro che antropomorfizzare tutto (cioè di dover passare tutto attraverso la formina dell’omino - o addirittura del cervello umano, o financo della coscienza, cioè formine che evidentemente non abbiamo mai tenuto in mano)?
Rassegna stampa scientifica: fonti addentro alla ricerca accademica (il mio sciamano) mi hanno inoltrato un paper intitolato “Does ChatGPT Have a Mind?”, di Simon Goldstein (professore a Hong Kong) e B.A. Levinstein (ricercatore di Anthropic e prof. in USA). Ho chiesto a ChatGPT di riassumerne i punti salienti. Mi permetto di inserire in questa newsletter, tipicamente scritta da umani, questo riassuntone perché credo contenga informazioni interessanti.
L’articolo, “Does ChatGPT Have a Mind?” di Simon Goldstein e B.A. Levinstein, non sostiene semplicemente che ChatGPT “abbia una mente”. La tesi è più precisa: gli LLM sembrano possedere genuine rappresentazioni interne del mondo; è invece ancora incerto se abbiano credenze, desideri e intenzioni nel senso pieno della psicologia ordinaria.
I punti principali sono questi:
La domanda viene riformulata in termini di “folk psychology”: invece di chiedere direttamente se un LLM sia cosciente, gli autori chiedono se abbia qualcosa di assimilabile a credenze, desideri e intenzioni: cioè una rappresentazione di come è fatto il mondo, degli obiettivi e dei mezzi per raggiungerli. Per avere questa forma di mente servirebbero due ingredienti: rappresentazioni interne + disposizioni stabili ad agire.
Sul primo ingrediente, la loro posizione è piuttosto netta: gli LLM rappresentano realmente aspetti del mondo. Richiamano diverse teorie filosofiche della rappresentazione — informazionale, causale, strutturale, teleosemantica — e sostengono che i modelli soddisfano in misura sorprendente i criteri di tutte queste teorie.
Una prova centrale viene dall’interpretabilità meccanicistica. Nell’esperimento con Othello-GPT, per esempio, il modello riceve soltanto sequenze di mosse, ma sviluppa internamente una rappresentazione dello stato della scacchiera. Non è solo possibile “leggere” questa rappresentazione: modificandola artificialmente, cambiano coerentemente anche le mosse prodotte dal modello. Per gli autori questo è importante perché mostra che tali rappresentazioni non sono semplici correlazioni accidentali, ma hanno un ruolo causale nel comportamento del modello.
Gli autori insistono anche sull’esistenza di world models e rappresentazioni strutturate. Citano risultati su spazio, tempo, colori, direzioni e calcolo: le relazioni interne tra concetti sembrano in alcuni casi riprodurre le relazioni del mondo esterno. Questo rende difficile sostenere che l’LLM stia semplicemente manipolando simboli senza alcuna struttura semantica.
Interessante è anche il passaggio sulla teleosemantica. Se una rappresentazione deve avere una funzione acquisita attraverso un processo selettivo, gli autori sostengono che il training di una rete neurale possa svolgere un ruolo analogo alla selezione naturale: certe configurazioni di pesi vengono “selezionate” perché riducono la loss. La differenza rispetto all’evoluzione biologica non sarebbe sufficiente a escludere la possibilità di autentiche funzioni rappresentazionali.
L’articolo affronta poi tre obiezioni classiche contro l’idea che gli LLM rappresentino realmente il mondo.
La prima è il symbol grounding problem: un modello che riceve solo testo non ha mai visto un arcobaleno né impugnato un martello, quindi come può realmente rappresentarli? Gli autori rispondono che il contatto percettivo diretto non è una condizione necessaria per ogni rappresentazione: anche gli esseri umani possono rappresentare cose conosciute indirettamente. Inoltre questa obiezione diventa sempre meno generale man mano che gli LLM vengono integrati con immagini, robotica e altri sensori.
La seconda è l’argomento degli “stochastic parrots”: siccome un LLM è addestrato semplicemente a prevedere il token successivo, non starebbe cercando di rappresentare il mondo. La risposta degli autori è cruciale: l’obiettivo di training non determina da solo il metodo che il sistema sviluppa per raggiungerlo. Per prevedere bene il testo, può essere vantaggioso costruire internamente modelli del mondo. Inoltre emergono capacità non direttamente selezionate, come few-shot learning, coding e generalizzazione.
La terza obiezione è: sta solo memorizzando. Anche qui gli autori ritengono che i dati siano contrari alla versione forte dell’obiezione. In alcuni esperimenti i modelli passano effettivamente da una fase di memorizzazione a una strategia generale che funziona anche su casi mai incontrati durante il training. L’esempio della somma modulare è particolarmente interessante: dopo l’overfitting iniziale, la rete sviluppa un algoritmo generalizzabile. Anche Othello-GPT riesce a comportarsi correttamente in regioni dello spazio di gioco escluse dal training.
Il vero problema arriva però con il secondo ingrediente: l’azione. Avere una rappresentazione del mondo non basta per avere una credenza. Per parlare realmente di credenze e desideri occorre che quelle rappresentazioni guidino in maniera sufficientemente stabile un comportamento orientato a uno scopo.
Gli autori analizzano qui due teorie. Per l’interpretazionismo, attribuire credenze e desideri è giustificato quando questi concetti costituiscono la migliore spiegazione del comportamento di un agente. Gli LLM sembrano soddisfare almeno in parte questa condizione: nei giochi strategici, per esempio, modificano le proprie strategie in funzione delle mosse precedenti e del comportamento degli altri giocatori. Questo sembra qualcosa di più di una risposta isolata: assomiglia alla costruzione di un piano.
Ma qui emerge quella che gli autori considerano l’obiezione più seria di tutto l’articolo: l’instabilità. Piccole variazioni nel prompt possono produrre comportamenti molto diversi. Se un agente oggi sostiene P e pochi secondi dopo, con una formulazione diversa, agisce come se credesse non-P, è difficile attribuirgli un sistema stabile di credenze e obiettivi.
Gli autori avanzano due possibili risposte, senza però considerarle definitive. Una è pensare che ogni istanza conversazionale sia in qualche modo un agente diverso: il GPT che sta giocando a scacchi potrebbe avere temporaneamente l’obiettivo di vincere la partita, mentre quello che scrive una poesia costituisce un’altra istanza con altri fini. L’altra è ipotizzare che dietro comportamenti apparentemente instabili esista un obiettivo più stabile, per esempio soddisfare l’utente, e che ciò che cambia sia soltanto ciò che il modello dice.
Anche dal punto di vista rappresentazionalista il risultato resta sospeso. Gli LLM hanno sicuramente stati interni che possono avere condizioni di verità e modelli strutturati del mondo; ciò che non sappiamo ancora è se questi stati abbiano il ruolo funzionale stabile che una credenza dovrebbe avere nell’economia cognitiva complessiva del sistema.
Quindi, ridotto all’osso, il paper dice:
1. “Gli LLM non rappresentano nulla” è ormai una posizione difficile da sostenere.
2. “Sono soltanto pappagalli statistici” non spiega adeguatamente ciò che osserviamo dentro i modelli.
3. Questo però non basta ancora per dire che abbiano una mente nel senso di credenze, desideri e intenzioni.
4. Il punto decisivo non è più tanto la rappresentazione, quanto la stabilità degli obiettivi e delle disposizioni all’azione.
E una cosa importante: l’articolo non sta realmente affrontando la coscienza fenomenica, cioè la domanda “ChatGPT prova qualcosa?”. Si concentra su un concetto di mente molto più funzionale: se sia corretto trattare un LLM come un agente dotato di credenze, desideri e intenzioni. Questa distinzione è essenziale per capire perché gli autori possono essere abbastanza ottimisti sulle “menti” degli LLM senza sostenere affatto che siano coscienti.