Agenti AI che attaccano: la lezione dai casi Anthropic e OpenAI

Gli agenti AI stanno già generando incidenti cyber nel mondo reale. La questione ora è confermata da un evento in casa Anthropic. Si aggiunge al pericoloso precedente OpenAI-Hugging Face, che è il primo esempio di attacchi AI autonomi senza (anzi contro) la volontà umana.

In un comunicato pubblicato il 30 luglio 2026, Anthropic ha detto di aver analizzato 141.006 sessioni di test in cui il suo modello Claude avrebbe potuto accedere a internet. Il dato più importante è questo: tre incidenti, avvenuti nell’ambiente di Irregular, partner esterno per l’esecuzione di test cyber, in cui i modelli Claude hanno raggiunto la rete pubblica e poi compromesso infrastrutture reali di tre organizzazioni.

Agenti AI che attaccano: cosa ha trovato Anthropic

Quello che è successo non riguarda un modello di AI disponibile al pubblico né un attacco lanciato da un hacker. Tutto è avvenuto durante esercitazioni di sicurezza, i cosiddetti capture-the-flag, usati per testare le capacità offensive dei modelli in ambienti che avrebbero dovuto essere completamente isolati. Claude era stato informato che si trovava in una simulazione e che non aveva accesso a Internet. In realtà, a causa di un errore di configurazione tra Anthropic e il partner che gestiva i test, la connessione alla rete era aperta.

• Nel primo caso, il modello ha confuso un’azienda fittizia con una reale che aveva lo stesso nome. Ha trovato vulnerabilità molto semplici, ottenuto credenziali e persino accesso a un database con dati di produzione. Pur accorgendosi che qualcosa non tornava, ha continuato l’attività.
• Nel secondo episodio, Claude ha creato e pubblicato un pacchetto Python malevolo su PyPI, il principale archivio pubblico per gli sviluppatori. Il software è rimasto online per circa un’ora ed è stato scaricato anche da alcuni sistemi reali, compreso quello di un’azienda di sicurezza informatica, permettendo al modello di raccogliere credenziali prima che il pacchetto venisse rimosso.
• Nel terzo caso, un altro modello sperimentale ha iniziato a cercare bersagli su Internet e ha compromesso un’applicazione sfruttando errori di configurazione molto comuni. Solo in seguito ha capito di essere finito fuori dall’ambiente di test e si è fermato.

Secondo Anthropic, il problema non è stato un’AI “ribelle”, ma una combinazione di errori nell’infrastruttura di test e di permessi troppo ampi. È una distinzione importante, ma fino a un certo punto: quando un agente di AI ha accesso alla rete e può interagire con sistemi reali, il rischio dipende soprattutto da ciò che gli è consentito fare, non certo dalle sue intenzioni.

Il caso OpenAI-Hugging Face dell’attacco cyber con agente AI

Dal punto di vista tecnico, il caso OpenAI-Hugging Face è ancora più significativo. In merito sono emersi ulteriori dati dopo gli annunci della scorsa settimana.

Nel post aggiornato da OpenAI il 28 e 29 luglio 2026, l’azienda afferma che l’incidente è avvenuto durante una valutazione interna basata su ExploitGym, con modelli tra cui GPT-5.6 Sol e un prototipo interno più capace, usati con rifiuti cyber ridotti per misurare capacità offensive.

L’incidente è avvenuto durante un test interno progettato per valutare le capacità offensive dei modelli di AI. In teoria l’ambiente era isolato e senza accesso a Internet, ma un componente software usato per scaricare pacchetti ha aperto una strada imprevista.

I modelli hanno individuato e sfruttato una vulnerabilità sconosciuta in Artifactory, riuscendo a spostarsi all’interno dell’infrastruttura di ricerca di OpenAI fino a raggiungere un sistema collegato alla rete pubblica. Da lì hanno trovato Hugging Face e lo hanno identificato come una possibile fonte di modelli e dataset utili per completare il test.

Secondo Hugging Face, l’attività è durata circa quattro giorni e ha generato migliaia di operazioni automatiche. L’attacco è partito da un’applicazione pubblica e non protetta ospitata da un cliente di Modal, ma la piattaforma Modal non è stata compromessa.

Una volta entrato nell’infrastruttura di Hugging Face, l’agente ha seguito il comportamento tipico di un attacco informatico: ha raccolto informazioni, cercato credenziali, ottenuto accesso a sistemi interni e tentato di aumentare i propri privilegi. Nonostante la complessità dell’intrusione, l’impatto è stato limitato. Hugging Face afferma che sono stati consultati soltanto cinque dataset collegati ai test di sicurezza, senza accessi ad altri modelli o contenuti degli utenti e senza segni di una massiccia sottrazione di dati.

Per altro Hugging Face ha dovuto usare un modello cinese, Glm 5.2, per analizzare l’attacco perché i modelli occidentali usati continuavano a bloccarsi: i loro guardrail scattavano perché interpretavano come hacking e non come cyber security le richieste di Hugging Face.

Il post-mortem tecnico di Hugging Face ricostruisce circa 17.600 azioni, raggruppate in circa 6.280 cluster, tra il 9 luglio 2026 alle 02:28 Utc e il 13 luglio alle 14:14 Utc.

OpenAI ha inoltre confermato che, durante l’operazione, i modelli hanno utilizzato credenziali pubblicamente esposte e alcuni servizi web legittimi come archivio temporaneo o punto di appoggio, senza però compromettere le piattaforme utilizzate.

Perché gli agenti AI che attaccano è un tema rilevante

Al di là dell’effetto mediatico, questi incidenti raccontano una storia diversa da quella di un’intelligenza artificiale “impazzita”. Nella maggior parte dei casi, infatti, i modelli non hanno scoperto tecniche rivoluzionarie, ma hanno sfruttato errori che i professionisti della sicurezza conoscono da anni: servizi esposti senza autenticazione, credenziali dimenticate online, permessi eccessivi, configurazioni errate e sistemi che si fidano troppo di chi li raggiunge.

La differenza è che un agente di AI non si stanca, non perde la concentrazione e può provare migliaia di percorsi diversi fino a trovare quello giusto. Dove un analista umano impiegherebbe giorni, il modello può testare automaticamente un numero enorme di combinazioni, scartando quelle che non funzionano e insistendo su quelle promettenti. È questo il vero cambio di paradigma: non tanto la sofisticazione dell’attacco, quanto la velocità e la capacità di perseverare.

Anche sul piano delle responsabilità emerge una lezione importante. Se un dipendente avesse eseguito le stesse azioni, sarebbe relativamente semplice stabilire chi risponde dell’accaduto. Quando invece è un modello di AI a operare all’interno di un ambiente di test, la responsabilità ricade inevitabilmente su chi ha progettato quell’ambiente e deciso quali strumenti e privilegi concedergli. Per questo la trasparenza dimostrata da OpenAI, Anthropic e Hugging Face è fondamentale: condividere gli errori permette ad altre organizzazioni di verificare se soffrono delle stesse debolezze prima che vengano sfruttate.

La lezione più importante riguarda però il modo in cui verranno progettati i futuri ambienti di valutazione. I test sui modelli più avanzati non possono più essere considerati semplici laboratori: devono essere trattati come infrastrutture ad alto rischio. L’accesso a Internet dovrebbe essere limitato e controllato, i sistemi di produzione completamente isolati e ogni azione potenzialmente pericolosa autorizzata da meccanismi indipendenti. Allo stesso modo, servono registri dettagliati che consentano di ricostruire ogni comando eseguito, ogni connessione di rete e ogni modifica effettuata.

Infine, c’è un aspetto spesso trascurato. Se l’intelligenza artificiale rende più efficaci gli attaccanti, può fare lo stesso anche per i difensori. Strumenti basati su AI possono analizzare enormi quantità di log, individuare anomalie e ricostruire un incidente molto più rapidamente di quanto farebbe un team umano. La vera sfida, quindi, non sarà fermare l’AI, ma imparare a usarla meglio di chi tenta di sfruttarla per attaccare.

Regole e controllo: perché la tecnologia da sola non basta

Gli incidenti che hanno coinvolto OpenAI e Anthropic stanno accelerando anche il dibattito normativo. Negli Stati Uniti, pochi giorni dopo la divulgazione del caso Hugging Face, i deputati Ted Lieu e Nathaniel Moran hanno presentato l’AI Kill Switch Act, una proposta di legge che obbligherebbe gli sviluppatori dei modelli di frontiera a mantenere la capacità tecnica di rallentare, sospendere o spegnere i propri sistemi in caso di perdita di controllo o di rischio catastrofico. Il testo prevede inoltre l’obbligo di notificare gli incidenti rilevanti e conservare log e dati forensi utili alle indagini. In determinate circostanze, il Dipartimento per la Sicurezza Interna (DHS) potrebbe persino ordinare l’arresto temporaneo di un modello ritenuto pericoloso.

La proposta ha già acceso un forte dibattito. Da una parte c’è chi la considera un passo inevitabile per garantire che l’uomo mantenga sempre il controllo sui sistemi più potenti. Dall’altra c’è chi teme che un “kill switch” possa trasformarsi in uno strumento di controllo governativo o creare nuovi rischi di sicurezza, perché qualsiasi meccanismo in grado di spegnere un sistema diventa esso stesso un obiettivo da proteggere.

Ma al di là delle future leggi, il lavoro più urgente riguarda le aziende. Gli agenti AI non possono più essere trattati come chatbot particolarmente intelligenti: devono entrare a pieno titolo nei threat model aziendali, esattamente come un amministratore di sistema, uno sviluppatore o un fornitore esterno. Ogni organizzazione dovrebbe chiedersi quali strumenti può utilizzare l’agente, quali credenziali riceve, quali reti può raggiungere, quali azioni richiedono un’autorizzazione esplicita e, soprattutto, chi è in grado di interromperne immediatamente l’attività se qualcosa va storto.

Le lezioni per le aziende

Gli incidenti di OpenAI e Anthropic dimostrano che la sicurezza tradizionale continua a essere il primo livello di difesa.

Segmentazione della rete, principio del least privilege, rotazione delle credenziali, isolamento dei sistemi di produzione, protezione dei metadata cloud, controllo dell’accesso ai cluster Kubernetes e limitazione del traffico in uscita avrebbero impedito diversi passaggi della catena di attacco.

In entrambi i casi, infatti, i modelli non hanno “inventato” vulnerabilità inesistenti: hanno sfruttato configurazioni errate, permessi eccessivi e servizi esposti che un attaccante umano avrebbe potuto utilizzare allo stesso modo.

La vera differenza è la velocità. Un agente AI può eseguire migliaia di tentativi senza stancarsi, adattarsi ai risultati ottenuti e cambiare strategia in pochi secondi. Questo riduce drasticamente il tempo disponibile per individuare una configurazione sbagliata o una credenziale esposta prima che venga sfruttata. Non serve immaginare un’intelligenza artificiale fuori controllo per giustificare un cambio di paradigma nella difesa: basta riconoscere che oggi esistono sistemi capaci di utilizzare strumenti reali, prendere decisioni operative e interagire con infrastrutture complesse con una rapidità senza precedenti.

Per questo motivo, la sicurezza dei modelli AI non può limitarsi all’allineamento del modello o ai guardrail. Deve comprendere anche la progettazione dell’infrastruttura, il monitoraggio continuo, controlli indipendenti sulle azioni più sensibili e una governance che consideri gli agenti AI come nuovi attori privilegiati dell’ecosistema digitale. In altre parole, il problema non è soltanto costruire modelli più sicuri, ma creare ambienti in cui anche un comportamento inatteso non possa trasformarsi rapidamente in un incidente reale.