Cosa propose davvero Turing
Il testo originale attribuisce al test il presupposto che l’intelligenza umana sia riconducibile all’elaborazione di informazioni. È una lettura che va corretta.
Turing partiva da una mossa opposta: riteneva la domanda “le macchine possono pensare” troppo ambigua per essere discussa, e propose di sostituirla con una domanda operativa, se una macchina possa comportarsi in modo indistinguibile da una persona in una conversazione scritta.
Il gioco che descrisse era un esercizio di imitazione, non una definizione dell’intelligenza. Non presupponeva alcuna teoria sulla natura del pensiero umano: era esplicitamente un modo per aggirare quella questione.
Va aggiunto che Turing dedicò gran parte dello stesso scritto a rispondere in anticipo alle obiezioni, incluse quelle sulla coscienza: riconoscendo che il test non dice nulla sull’esperienza interna della macchina.
I limiti del test
Le critiche più solide sono note da decenni.
Il test misura la capacità di ingannare un valutatore, che dipende tanto dall’abilità del sistema quanto dall’ingenuità di chi esamina e dalle sue aspettative.
Premia inoltre l’imitazione dei difetti: per superarlo un sistema deve simulare esitazioni, errori di calcolo, lentezza. È un incentivo a fingere limiti, non a esibire capacità.
L’argomento filosofico più discusso resta quello che distingue la manipolazione di simboli dalla comprensione del loro significato: un sistema potrebbe produrre risposte appropriate senza comprendere nulla di ciò che elabora. È una posizione contestata, ma il punto che solleva è rimasto rilevante.
Cosa è successo nel frattempo
La situazione è cambiata in modo sostanziale rispetto al 2018.
I sistemi conversazionali basati su modelli linguistici di grandi dimensioni superano regolarmente versioni del test di Turing in condizioni sperimentali controllate, e i valutatori umani faticano a distinguerli da interlocutori umani.
Il risultato interessante è cosa questo ha prodotto: non la conclusione che quei sistemi pensino, ma la constatazione che il test misurava qualcosa di diverso da ciò che si credeva. Superarlo dice molto sulla capacità di produrre linguaggio plausibile e poco sulla presenza di comprensione o esperienza.
La comunità di ricerca ha di conseguenza spostato l’attenzione su valutazioni specifiche per compito (ragionamento, pianificazione, robustezza, accuratezza fattuale) che sono meno spettacolari e più informative.
Va segnalato un limite di queste valutazioni: la contaminazione dei dati di addestramento rende difficile stabilire se un sistema risolva un problema o ne abbia visto la soluzione.
Il vero risultato è su di noi
La parte più solida di ciò che il test ha insegnato riguarda gli esseri umani.
La tendenza ad attribuire stati mentali a ciò che si comporta in modo apparentemente intenzionale è automatica e potente: si manifesta con forme geometriche in movimento, con animali, con oggetti. È un funzionamento ordinario della cognizione sociale, non un errore di persone ingenue.
Già i primi programmi conversazionali, molto semplici, provocarono nei loro utilizzatori l’impressione di essere compresi: un fenomeno che il loro autore trovò preoccupante.
Ne segue la questione oggi rilevante, che è pratica più che filosofica: quando l’attribuzione di comprensione a un sistema orienta decisioni (cliniche, affettive, informative) l’accuratezza di quell’attribuzione smette di essere una curiosità teorica.
Il criterio ragionevole: valutare un sistema per cosa fa in modo verificabile, e non per l’impressione che produce conversando. È esattamente il contrario di ciò che un test di imitazione misura.
Domande frequenti
Il test di Turing misura l’intelligenza?
No: Turing riteneva la domanda sul pensiero troppo ambigua e propose una prova comportamentale di imitazione, senza presupporre alcuna teoria sulla mente umana.
I sistemi attuali lo superano?
Si, in condizioni sperimentali controllate. Ma questo ha mostrato che il test misurava la capacita di produrre linguaggio plausibile, non la comprensione.
Quali sono i limiti del test?
Dipende dall’abilita del valutatore, premia l’imitazione dei difetti umani e non distingue la manipolazione di simboli dalla comprensione del loro significato.
Come si valutano oggi questi sistemi?
Con prove specifiche per compito su ragionamento, accuratezza e robustezza, tenendo conto del rischio che le soluzioni fossero gia nei dati di addestramento.