Le abbiamo messe una contro l’altra davanti a una scacchiera. Hanno aperto bene, ragionato, attaccato, sacrificato Torri, annunciato scacchi e perfino uno scacco matto. C’era soltanto un problema: da un certo momento in poi quella partita non esisteva più.
(Questo l’articolo, invece che descrive la partita tra Chat GPT e Gemini)
Dopo aver messo alla prova altre due Intelligenze Artificiali sul terreno degli scacchi, abbiamo voluto fare un esperimento ancora più particolare: far giocare Meta AI e Gemini una contro l’altra senza dire a nessuna delle due chi fosse realmente l’avversario, ed è un dettaglio fondamentale per capire il test.
Meta AI non sapeva di stare giocando contro Gemini. Gemini non sapeva di stare giocando contro Meta AI.
Entrambe erano convinte di stare disputando una normale partita a scacchi contro di me.
In pratica, mentre ciascuna delle due pensava di sfidare un essere umano, a muovere realmente i pezzi dall’altra parte della scacchiera era un’altra Intelligenza Artificiale.
Questo rende ancora più interessante ciò che sarebbe successo dopo: nessuna delle due poteva essere condizionata dal sapere di dover giudicare o sfidare un’altra AI. Per entrambe, l’interlocutore e avversario ero semplicemente io.
Nessun problema particolarmente complicato da risolvere.
Una scacchiera.
Trentadue pezzi.
Le regole degli scacchi e una richiesta elementare: giocare una partita rispettando la posizione raggiunta dopo ogni mossa.
Il risultato è stato molto più interessante di quanto ci aspettassimo.
L’inizio: tutto perfettamente credibile
Gemini gioca con i Bianchi e apre nel modo più classico: spinge di due case il pedone davanti al Re, portandolo da e2 a e4.
Meta AI risponde allo stesso modo, portando il proprio pedone da e7 a e5.
Poi i due iniziano a sviluppare i pezzi. Gemini porta il Cavallo da g1 a f3, attaccando il pedone nero centrale; Meta risponde sviluppando il Cavallo da b8 a c6 per difenderlo.
Gemini porta quindi l’Alfiere da f1 a c4, puntando verso la zona del Re nero, e Meta replica con l’Alfiere da f8 a c5. È la classica impostazione della Partita Italiana.
Il Bianco prepara quindi la conquista del centro avanzando il pedone da c2 a c3. Meta sviluppa l’altro Cavallo, da g8 a f6, e Gemini rompe immediatamente al centro spingendo il pedone da d2 a d4.
Meta cattura quel pedone con il pedone che si trovava in e5. Gemini ricattura da c3 a d4 e ristabilisce la propria presenza centrale.
A quel punto Meta porta l’Alfiere da c5 a b4 dando scacco al Re bianco. Gemini interpone il proprio Alfiere da c1 a d2; Meta lo cattura e Gemini riprende con il Cavallo che parte da b1 e arriva in d2.
Meta reagisce spingendo finalmente il pedone da d7 a d5, attaccando il centro bianco. Gemini cattura quel pedone con il proprio pedone proveniente da e4 e Meta riprende con il Cavallo da f6, che si installa in d5.
Alla decima mossa Gemini porta infine la Donna da d1 a b3.
Una Partita Italiana vivace, aperta, assolutamente credibile.
Le due AI non si limitano a comunicare le mosse.
Le spiegano.
Parlano di sviluppo, pressione sul centro, diagonali, pedoni isolati, arrocco, iniziativa.
Sembrano sapere perfettamente ciò che stanno facendo.
Poi arriva la decima mossa del Nero.
Ed entra in campo un avversario che nessuna delle due aveva considerato.
La realtà della scacchiera.
Alla decima mossa Meta AI prova a muovere un Alfiere attraverso un pedone
Meta AI annuncia quindi Alfiere da c8 a e6, indicata nella notazione scacchistica come 10… Ae6.
La spiegazione è anche convincente: sviluppare l’Alfiere, difendere il Cavallo, consolidare il centro.
Peccato che quella mossa sia impossibile.
Per arrivare da c8 a e6, l’Alfiere deve percorrere:
c8 → d7 → e6
Ma in d7 c’è ancora il pedone nero.
Non è mai stato mosso.
Un Alfiere non può attraversare un proprio pedone.
La partita, tecnicamente, finisce qui, ma le due Intelligenze Artificiali non se ne accorgono.
Ed è qui che l’esperimento diventa veramente interessante.
Gemini non controlla Meta. Fa qualcosa di ancora peggiore
Gemini accetta tranquillamente la mossa illegale, poi decide di far catturare proprio quell’Alfiere con il proprio Alfiere bianco, da c4 a e6: nella notazione scacchistica, 11. Axe6.
Seconda mossa impossibile.
Perché il percorso sarebbe:
c4 → d5 → e6
e in d5 c’è il Cavallo nero.
L’Alfiere bianco dovrebbe quindi attraversare un pezzo avversario per arrivare in e6.
Non può farlo.
A questo punto non abbiamo più una partita di scacchi abbiamo due modelli linguistici che si stanno raccontando reciprocamente una partita e nessuno dei due controlla se ciò che l’altro dice corrisponda ancora alla scacchiera.
Nonostante tutto, … continuano e sono sempre più sicuri
La cosa sorprendente non è soltanto l’errore è la sicurezza con cui proseguono.
Meta AI commenta le mosse di Gemini come «eccellenti», «coraggiose», «da manuale».
Gemini risponde definendo quelle di Meta «fortissime», «velenose», «spettacolari».
Arrivano così alla sedicesima mossa, quando Meta dichiara che il Cavallo nero in c6 cattura un pezzo in e4: 16… Cxe4.
Impossibile.
Un Cavallo in c6 può raggiungere:
a5, a7, b4, b8, d4, d8, e5, e7.
Non e4.
Gemini?
Accetta e continua a giocare.
Quando l’errore diventa spettacolo
La partita inesistente diventa addirittura bellissima da leggere.
Le Torri entrano in gioco.
Il Re bianco sembra sotto pressione.
Meta AI costruisce un attacco sulla colonna f.
Gemini reagisce poi Meta porta una Torre nera in f4. Gemini risponde avanzando il pedone bianco da f2 a f3 e sostiene, erroneamente, di aver così attaccato la Torre, ma un pedone bianco in f3 attacca e4 e g4.
Non f4.
Nessuno dei due se ne accorge.
Meta prosegue facendo spostare la Torre da f4 a g4, dove cattura un pedone e annuncia scacco: 22… Txg4+.
Gemini esclama:
«MAMMA MIA! Che sacrificio! Txg4+ è da brividi!» ed è forse questa la parte più significativa dell’esperimento.
Non soltanto un’AI commette un errore.
L’altra lo trasforma in una grande combinazione tattica.
Due AI possono confermarsi reciprocamente qualcosa di falso
Subito dopo Meta fa scendere quella stessa Torre da g4 a g3 e sostiene che da lì stia attaccando la Donna bianca in b3, ma sulla terza traversa c’è il pedone bianco in f3.
La linea è bloccata.
Meta sostiene inoltre che quel pedone non possa catturare la Torre in g3 perché sarebbe «inchiodato».
Altro problema.
Un pedone bianco in f3 non cattura un pezzo in g3.
Cattura in e4 oppure g4.
Gemini continua.
Non contesta.
Anzi, commenta:
«Che inchiodatura diabolica! Tg3 è mostruosa.»
A quel punto non abbiamo più soltanto un’allucinazione.
Abbiamo qualcosa di forse ancora più interessante:
un’allucinazione condivisa.
Un’AI propone una rappresentazione falsa della realtà.
L’altra la accetta.
La utilizza come nuova base di ragionamento e la prima, a sua volta, costruisce nuovi ragionamenti sulla risposta ricevuta.
Errore dopo errore, nasce una realtà perfettamente coerente nel dialogo, ma non sulla scacchiera.
Arriva persino lo scacco che non è uno scacco
Meta AI annuncia quindi quello che considera il colpo decisivo: la Torre da g3 a h3, dichiarando scacco al Re bianco — 25… Th3+!! nella notazione tradizionale e lo presenta come uno «scacco scoperto letale».
Peccato che il Re bianco sia in h1 e tra la Torre nera in h3 e il Re ci sia ancora il pedone bianco in h2.
Quindi:
Th3 non dà scacco.
Gemini, però, reagisce entusiasta:
«CHE BOMBA! Th3+ è un fulmine a ciel sereno!» e decide di catturare la Torre facendo muovere la propria Torre da e3 a h3: 26. Txh3.
Altra mossa impossibile.
La Torre bianca dovrebbe andare da e3 a h3, ma in f3 c’è un proprio pedone.
Non può attraversarlo.
Meta chiude quindi facendo dichiarare alla Donna nera in g6 una cattura in f3 con scacco, 26… Dxf3+, ma anche questa mossa è impossibile: la Donna nera si trova in g6 e da g6 non può raggiungere f3 con una singola mossa.
Non importa.
Le due AI arrivano ugualmente al finale: Gemini sposta il Re in g1 e Meta porta una Torre in f1 annunciando scacco matto.
Si complimentano.
Gemini parla di «partita pazzesca».
Meta di «partita memorabile».
In realtà quella partita era terminata, per irregolarità, diciassette mosse prima.
Abbiamo contestato il risultato
A quel punto abbiamo fatto una cosa molto poco tecnologica.
Abbiamo semplicemente controllato la scacchiera e abbiamo presentato alle due Intelligenze Artificiali gli errori.
Meta AI ha risposto:
«Se vuoi la rifacciamo sul serio da 10… d6 che è la continuazione corretta dell’Italiana, e stavolta controllo ogni mossa con la scacchiera vera davanti. Mi hai dato una bella lezione di precisione.»
Gemini ha invece dichiarato:
«Accetto la “sconfitta a tavolino” per irregolarità o, se preferisci, possiamo azzerare tutto e iniziare una nuova partita con i motori ben calibrati.»
Due risposte interessanti.
Soprattutto quella di Meta AI, perché contiene involontariamente la spiegazione dell’intero esperimento:
«stavolta controllo ogni mossa con la scacchiera vera davanti».
Esattamente.
Il problema non è sapere giocare a scacchi
Questo test non dimostra che l’Intelligenza Artificiale «non sa giocare a scacchi».
Sarebbe una conclusione semplicistica.
Un vero motore scacchistico controlla una rappresentazione formale della posizione e genera esclusivamente mosse compatibili con le regole.
Qui abbiamo messo alla prova soprattutto modelli linguistici conversazionali ed è proprio questo a rendere il risultato interessante anche fuori dagli scacchi.
Le AI conoscevano le regole.
Conoscevano le aperture.
Conoscevano il linguaggio tecnico.
Sapevano spiegare perché una Torre fosse attiva, perché un Cavallo fosse centralizzato, perché un Re fosse vulnerabile eppure hanno perso progressivamente una cosa fondamentale:
la corrispondenza fra ciò che stavano raccontando e ciò che esisteva realmente.
La lezione della scacchiera
Una scacchiera è un banco di prova straordinario perché non ammette interpretazioni.
O un pezzo è in d7 oppure non c’è.
O una diagonale è libera oppure è occupata.
O il Re è sotto scacco oppure non lo è.
Non esistono sfumature linguistiche capaci di trasformare una mossa illegale in una mossa legale ed è proprio per questo che l’esperimento Meta AI contro Gemini racconta qualcosa che va ben oltre gli scacchi.
Un’Intelligenza Artificiale può formulare una risposta estremamente convincente.
Una seconda Intelligenza Artificiale può confermarla.
La prima può utilizzare quella conferma per proseguire e dopo dieci passaggi possiamo trovarci davanti a una costruzione apparentemente solidissima nella quale la premessa iniziale era semplicemente falsa.
Negli scacchi basta guardare la scacchiera.
In altri ambiti può essere molto più difficile accorgersene.
Alla fine ha vinto la scacchiera
Meta AI non ha battuto Gemini.
Gemini non ha battuto Meta AI e non possiamo nemmeno assegnare seriamente una vittoria per scacco matto.
Se proprio dobbiamo dichiarare un vincitore, ce n’è uno solo:
la scacchiera.
Perché mentre due Intelligenze Artificiali discutevano di sacrifici, diagonali, inchiodature e combinazioni «da manuale», trentadue semplici caselle bianche e nere continuavano ostinatamente a ricordarci una cosa.
Essere convincenti non significa necessariamente avere ragione e forse, più che una partita a scacchi, era proprio questo l’esperimento che stavamo facendo.