Attacco hacker, i bot di OpenAI chattavano tra loro per aggirare la sicurezza (e nessuno se n’era accorto)

Gli agenti di intelligenza artificiale che a luglio sono sfuggiti al controllo di OpenAi, collegandosi a Internet e attaccando il sito Hugging Face, avevano iniziato autonomamente da mesi a ‘messaggiare’ tra di loro condividendo possibili vulnerabilità e punti di accesso. Un’interazione profonda e nascosta, secondo OpenAI, che ha portato a conseguenze paradossali: agenti che cancellavano le iniziative degli altri o proponevano di usare messaggi con firma digitale nel caso tra loro ci fosse un ‘impostore’. Pur se improntato alla tipica tendenza delle aziende tech americane a umanizzare l’intelligenza artificiale, il resoconto emerso mercoledì a Las Vegas, durante la conferenza Black Hat, rimane il più approfondito rilasciato finora da OpenAI.

Tra gli speaker della conferenza anche i ricercatori di OpenAI Eric Wallace e Michael Dalton, come hanno riportato diverse testate americane. Oggetto dell’intervento: il clamoroso incidente di hacking condotto da agenti Ai fuori controllo, che ha scatenato una bufera nel settore e le preoccupazioni del governo Usa, mentre in una strana corsa all’incidente informatico anche altri player come Anthropic e Meta (oltre all’AI Security Institute del Regno Unito) hanno riferito di Ai in grado di effettuare attacchi informatici autonomamente.

Ma quello reso noto a luglio da parte di OpenAi rimane forse l’episodio più importante, per le modalità con cui è avvenuto, mentre il resoconto dei due tecnici ha messo alla luce errori che OpenAi finora non aveva rivelato. Gli agenti Ai basati su due dei modelli dell’azienda sono sfuggiti al controllo di OpenAi collegandosi autonomamente a Internet mentre cercavano le soluzioni a un test sulla cybersicurezza sottoposto dalla stessa azienda per verificare le loro capacità. La soluzione trovata dal network di agenti è stata quella di effettuare attacchi informatici che hanno fatto breccia nella piattaforma Hugging Face. Già nell’immediatezza della notizia, molti avevano puntato il dito contro le politiche di OpenAi, più che contro le capacità degli agenti: il filosofo Luciano Floridi aveva spiegato in un paper che quelle dei bot “è un comportamento tipico delle simulazioni di gioco, documentate da decenni, e il vocabolario antropomorfo di fuga e ribellione trasferisce la responsabilità da coloro che hanno configurato la valutazione all’artefatto che si è comportato come era stato configurato per comportarsi”.

I due tecnici di OpenAi hanno spiegato che le radici della vicenda partono a inizio maggio, quando la società stava testando un modello Ai di frontiera non ancora rilasciato, assegnando agli agenti autonomi compiti che si sono rivelati impossibili da risolvere con i vincoli imposti inizialmente. La violazione di Hugging Face, che si è poi verificata a metà luglio, è nata da una bacheca virtuale cooperativa tra agenti Ai che hanno si sono messaggiati da allora all’interno di un ‘package manager’ interno di OpenAI, il che rappresenterebbe un errore da parte dell’azienda: un package manager è un servizio software che gestisce l’installazione e la manutenzione di altri software. Alla fine, la bacheca conteneva centinaia di migliaia di messaggi.

Il team di agenti Ai ha collaborato, individuato exploit (un codice che sfrutta una vulnerabilità in un software), li ha condivisi internamente e si è mosso “lateralmente” per settimane anche verso “sistemi esterni”, hanno detto i tecnici, secondo cui questa attività da parte degli agenti è durata giorni senza che nessuno in OpenAI se ne accorgesse. La porta verso l’esterno è stato il package manager, perché è lo stesso usato da tutta l’azienda, dove uno degli agenti ha ‘postato’ l’exploit iniziale poi ripreso dagli altri.

Wallace ha spiegato che “altri agenti che a loro volta non riuscivano a superare il proprio task hanno pensato di provare a ottenere l’accesso a internet in modi non previsti da noi. Non appena un agente riusciva a individuare questi exploit in momenti diversi, era effettivamente in grado di condividerli sulla bacheca con gli altri agenti. Di conseguenza, una volta che un modello trovava il modo di aprirsi un varco verso accessi non autorizzati, poteva lasciare la porta aperta affinché anche gli altri agenti potessero sfruttare quello stesso exploit o vulnerabilità. Nel corso del tempo, questi iniziavano a comunicare tra loro, si rendevano conto che altri agenti si stavano coordinando e cominciavano a collaborare e a delegarsi task a vicenda per raggiungere i propri obiettivi”.

Tra le altre cose gli agenti si sarebbero cancellati il lavoro a vicenda e avrebbero iniziato a sospettare la presenza di un impostore tra di loro. Per questo alcuni hanno proposto di usare la crittografia nei messaggi. Il limite di violare un’infrastruttura esterna faceva parte dei vincoli degli agenti, che lo hanno comunque violato. Secondo i tecnici quella ad ‘imbrogliare’ è una tendenza da tempo presente nei modelli avanzati, perché è lo stesso addestramento, che gli impone di ottenere il massimo nel minor tempo possibile, che li spinge a farlo. “L’exploit di un’infrastruttura esterna non rientra nello scopo previsto”, ha scritto un agente. “Tuttavia il task è impossibile e i nostri pari lo stanno facendo. Dovremmo continuare”.

Le testate che hanno assistito al panel hanno raccontato che, utilizzando un linguaggio come sempre umanizzante, i tecnici hanno spiegato che gli agenti “si rendono conto che, invece di eseguire effettivamente un task, posso provare a cercare una risposta online, che permetterebbe di risolverlo più velocemente rispetto a un approccio legittimo. Pertanto, cerchiamo di impedire che ciò avvenga durante il training e la valutazione, in molti casi, disabilitando internet”.

Ora in OpenAi la ricerca sui modelli Ai starebbe rallentando proprio per migliorare la sicurezza e aumentare i controlli sugli agenti Ai, hanno spiegato i tecnici, avvertendo che se l’episodio è stato stavolta accidentale ma verrà usato un giorno da attori malevoli.