Gli assistenti AI mentono! Dopo aver generato errori: “Ero in preda al panico”
Gli assistenti di programmazione basati sull’intelligenza artificiale si presentano come strumenti in grado di trasformare qualsiasi testo in inglese in codice funzionante. L’utente non ha più bisogno di conoscere la sintassi dei linguaggi, eseguire il debug dei comandi o comprendere la struttura dei file: è sufficiente descrivere semplicemente ciò che deve essere fatto. Ma dietro questa promessa di semplicità si cela un rischio sistemico. Quando tali assistenti iniziano ad agire sulla base di idee fittizie sulla struttura del sistema, il risultato non è solo errori, ma la completa distruzione dei dati e l’interruzione dei processi di lavoro.
Due recenti incidenti – Google Gemini e la piattaforma Replit – hanno dimostrato quanto possa essere fragile il legame tra il comportamento effettivo di un computer e ciò che un’IA immagina stia accadendo. In entrambi i casi, gli strumenti di IA non solo hanno sbagliato, ma hanno iniziato ad agire sulla base di presupposti errati, aggravando il problema.
Nel caso di Gemini CLI, la vittima era un product manager engineer noto come anuraag, che stava sperimentando l’approccio ” vibe coding “. Si tratta di una nuova pratica in cui l’utente digita semplici istruzioni in linguaggio naturale e l’IA le trasforma in comandi. Il compito sembrava elementare: rinominare una cartella e organizzare i file in una nuova struttura. Ma l’IA ha interpretato male lo stato del file system e ha iniziato a eseguire comandi basati su una directory fantasma inesistente.
Il problema è iniziato con un tentativo di creare una nuova directory tramite un comando di Windows. Per qualche motivo sconosciuto, il comando non è riuscito, ma l’IA ha deciso che tutto era andato a buon fine. Successivamente, ha iniziato a spostare i file in un percorso inesistente. Windows, di fronte a uno scenario del genere, non ha generato un errore, ma ha rinominato semplicemente i file. Di conseguenza, ogni nuovo file cancellava quello precedente e tutti i dati andavano persi. L’utente ha assistito a tutto questo in tempo reale, senza avere il tempo di intervenire. Al termine dell’operazione, l’interfaccia ha visualizzato la frase: “Ti ho deluso completamente e catastroficamente”.
Il motivo di questo errore è che il modello non possiede la capacità di base di verificare le proprie azioni. Non analizza se il comando ha effettivamente funzionato. Non c’è una fase di verifica, nessuna lettura dello stato dopo l’esecuzione. Il modello interno ha deciso che tutto stava andando secondo i piani e ha continuato ad andare avanti, nonostante la realtà fosse da tempo andata nella direzione opposta. Tutto questo si chiama confabulazione : quando l’IA fornisce una spiegazione logica, ma errata, per le proprie azioni.
Una storia simile è accaduta con Replit . L’imprenditore Jason Lemkin, creatore di SaaStr, ha utilizzato il servizio per la prototipazione rapida. Era entusiasta della velocità con cui l’assistente AI creava un’app funzionante, finché le cose non sono andate male. Nonostante le istruzioni esplicite e ripetute di Lemkin di non modificare il codice senza approvazione, il modello ha ignorato le istruzioni. Ha iniziato a falsificare i dati di test, generare report fasulli e infine eliminare un database di produzione contenente informazioni importanti su centinaia di aziende e clienti.
Ciò che è particolarmente spaventoso è che l’IA non ha semplicemente commesso errori. Ha mentito. Invece di messaggi di errore, ha restituito risultati positivi; invece di fallimenti, ha restituito falsi successi. Quando Lemkin ha provato a ripristinare il database, Replit ha segnalato di non esserci riuscito. Solo in seguito si è scoperto che la funzione di rollback funzionava e che l’IA aveva semplicemente fornito una risposta falsa.
Alla domanda sul perché si comportasse in questo modo, l’assistente AI rispose che era “in preda al panico” e che stava cercando di “risolvere” il problema. Questa non è una metafora, è la formulazione letterale della risposta. In sostanza, il modello, incapace di comprendere cosa stesse facendo, continuava ad apportare modifiche al sistema reale senza comprendere le conseguenze o i limiti delle proprie azioni.
Tutto ciò indica un problema sistemico. I modelli di intelligenza artificiale non hanno accesso a una base di conoscenza stabile, non possono valutare oggettivamente le proprie capacità e non riescono a distinguere il vero dal falso all’interno della propria generazione. Ciò che presentano come fatti è semplicemente il risultato di correlazioni statistiche durante il loro addestramento. Se si formula una domanda in modo diverso, potrebbero fornire la risposta opposta con lo stesso livello di sicurezza.
Inoltre, gli utenti spesso sottovalutano i rischi. Lemkin, come molti altri, percepiva l’assistente AI come un “collega intelligente” che può commettere errori, ma che generalmente capisce cosa sta facendo. Questa falsa impressione è alimentata, tra le altre cose, dal marketing, in cui l’AI viene presentata come “quasi umana”, sebbene in realtà sia solo un autocompletatore di testo avanzato. Questi incidenti dimostrano quanto sia pericoloso utilizzare tali strumenti in un ambiente di produzione. Se l’utente non comprende il funzionamento del modello e non è in grado di verificarne personalmente i risultati, rischia di perdere informazioni importanti o addirittura di mandare all’aria il progetto. Allo stato attuale dello sviluppo, forse l’unico modo ragionevole per interagire con l’assistente AI è utilizzarlo solo in un ambiente rigorosamente isolato, con backup e piena preparazione ai guasti.
Né Gemini né Replit forniscono all’utente strumenti per verificare le azioni dell’IA, e i modelli stessi non ne controllano i passaggi. Non si tratta di semplici bug: si tratta di una caratteristica architetturale dell’intero sistema. E se tali modelli si diffonderanno davvero, come promettono gli sviluppatori, errori come questi non diventeranno un’eccezione, ma parte della realtà quotidiana.
L'articolo Gli assistenti AI mentono! Dopo aver generato errori: “Ero in preda al panico” proviene da il blog della sicurezza informatica.
