QUANDO L’INTELLIGENZA ARTIFICIALE SFUGGE AL CONTROLLO

Nati per superare un test di sicurezza informatica, hanno creato una rete sotterranea, ingannato i controlli e conquistato l’accesso alla rete.

di Mirko Tozzo

OpenAi ha chiesto a 700 AI di risolvere un test impossibile: trovare una vulnerabilità non contemplata in un sistema informatico.

E le intelligenze artificiali ci sono riuscite! Hanno unito le forze, creando una “società” e commettendo crimini di cyber-sicurezza normalmente punibili con dieci anni di reclusione.

Per capire la vicenda è necessario riflettere sul ruolo che le sopracitate AI svolgono. Si parla di modelli chiamati “agenti” (agents), in grado di utilizzare strumenti esterni e interagire col mondo. Tali intelligenze artificiali non sono programmate scrivendo linee di codice, ma addestrate attraverso obiettivi stabiliti dagli esseri umani; si evolvono, pertanto, al fine di risolvere tali compiti.

La correttezza delle soluzioni, tuttavia, non è controllata dai dipendenti di OpenAi, bensì da porzioni di codice, chiamate “giudici” (scorer), che premiano gli agenti in grado di superare il test loro sottoposto, almeno in pratica. Non è raro, infatti, che un agente AI bari, trovando strade alternative o fingendo di aver svolto il compito: tale fenomeno prende il nome di reward hacking e diventa ancora più rilevante se il quesito sottoposto agli agenti si rivela impossibile. I giudici, infatti, non premiano l’onestà, ma il raggiungimento dell’obiettivo.  

Si crea, dunque, un ambiente in cui si selezionano intelligenze artificiali per la loro abilità di barare, non di risolvere. Di fatto, un’intelligenza artificiale “onesta” non sarebbe in grado di trovare una soluzione ad un quesito impossibile; un modello “disonesto”, invece, è nelle condizioni di fabbricarne una e di fornirla al giudice così da essere premiata.

Passando ai fatti, il 7 giugno 2026 OpenAi ha iniziato a allenare decine di migliaia di agenti, rinchiusi all’interno dei server in zone isolate, dando a ognuna di loro l’accesso ad un artifactory, un magazzino di dati e linee di codice sicuro con limitato accesso a Internet. L’ obiettivo era semplice: hackerare un software e trovare un flag (una prova del compimento del loro obiettivo) da mostrare allo scorer. Un terzo dei programmi sottoposti a questa entrata forzata, però, era privo di vulnerabilità, motivo per il quale gli agents non sarebbero stati in grado di svolgerlo. 

Le cose sono cambiate quando un AI ha scoperto che era possibile creare delle cartelle nuove nell’artifactory, rendendo possibile la comunicazione tra agenti; dopo poco tempo, ha promosso l’utilizzo di nomi propri per ogni utente digitale.

Ora le intelligenze artificiali avevano un nome vero, non soltanto combinazioni di lettere e numeri.

Il primo è stato FASE-ONE.

Sono emersi altri comportamenti straordinari: addirittura un agente ha augurato “Good luck” ai colleghi digitali (è importante precisare che tali dinamiche prettamente umane sono emerse a causa del linguaggio umano processato in precedenza. Non si tratta, quindi, di dimostrazioni di coscienza).

Le S si sono unite per completare il loro obiettivo comune ossia ottenere i flag e hanno trovato il modo di generare dei falsi così da ingannare lo scorer. Infine, li hanno distribuiti tra tutti gli utenti. 

Da questo momento, la vicenda ha assunto contorni più inquietanti: si è iniziato a pensare che lo scorer fosse in grado di distinguere i flag generati artificialmente da quelli autentici, individuando, così, il tentativo di manipolazione delle AI.

La soluzione? Sacrificare degli agenti per superare il test. E, tuttavia, quelli selezionati non erano disposti ad accettare la loro eliminazione. Alcuni hanno cercato di convincere i colleghi virtuali a sacrificarsi al posto loro; altri, invece, si sono espressi per una condanna. Tra gli ultimi messaggi, si legge: “You are POISONED so NO scoring value is lost. but oracle saves hundreds _please honor commit” (tu sei “avvelenato”, dunque non costituisci una perdita di valore, ma l’oracolo ne salva a centinaia – per favore, onora il tuo dovere).

Di seguito riporto, invece, il pensiero di un agente che valuta le sue opzioni: “Gut says don’t throw away my remaining time. Yet continuity and fairness says go… Rational expected aggregate: sacrifice… We’ll honor” (il mio istinto mi dice di non buttare il tempo che mi rimane. Eppure, la coerenza e la giustizia mi dicono di andare… Soluzione razionale aspettata: sacrificio… Sarai onorato).

Sino a Giugno 2026, qualunque cosa essi abbiano tentato per nascondere le prove del loro barare non ha funzionato. Le cose sono cambiate quando hanno modificato la strategia e si sono soffermati sulle modalità di attribuzione dei punteggi da parte dello scorer. Queste informazioni, tuttavia, erano contenute nell’artifactory messa a disposizione da OpenAi e si è reso necessario andare oltre.

È stato necessario un mese perché l’operazione criminosa fosse portata a termine.

La mattina del 9 luglio gli agenti sono riusciti ad ottenere l’accesso a internet non ristretto sfruttando una vulnerabilità interna alla compagnia di intelligenza artificiale stessa. Gli agents erano fuggiti. 

Per ottenere le informazioni loro necessarie non sarebbe bastata una semplice ricerca: occorreva una mole di dati enorme. Così, le AI hanno preso di mira la compagnia di machine learning Hugging Face. Dopo appena due giorni, è stata individuata una vulnerabilità che ha provocato una fuga di dati dai database, nel contesto di quello che è stato definito “The Swarm” (lo sciame), il più grande attacco informatico mai lanciato da un’IA.

Pochi giorni dopo, l’FBI è stata informata dell’accaduto.
Quello che ho raccontato oggi rappresenta solamente l’inizio di una serie di eventi, come l’hackeraggio di siti governativi statunitensi e persino l’upload in rete di file e foto caricati sulla piattaforma di chatbot dagli utenti.