Testare l’AI: quando diventa un problema di sicurezza

Quando testare l’AI diventa un problema di cyber security: il caso Irregular

Nei mesi scorsi, OpenAI, Anthropic e Meta hanno reso noti incidenti avvenuti durante valutazioni di cybersecurity condotte con il supporto della stessa società.

Gli episodi non sono identici, ma condividono un elemento: ambienti di test configurati in modo errato hanno consentito ai modelli di raggiungere sistemi esterni o servizi che avrebbero dovuto restare fuori dal perimetro.

Irregular è stata fondata nel 2023 da Dan Lahav, ex ricercatore nel campo dell’intelligenza artificiale. La società conta circa 45 dipendenti e ha raccolto approssimativamente 80 milioni di dollari da investitori, tra cui Sequoia Capital e Redpoint Ventures.

Il suo lavoro consiste nel sottoporre i modelli a prove prolungate, che possono durare giorni o settimane, per misurarne capacità tecniche e rischi operativi.
Il modello di valutazione è relativamente diretto. A un agente viene assegnato un obiettivo di cyber security, per esempio trovare un dato protetto o compromettere un bersaglio simulato, e gli viene lasciata una certa autonomia per decidere come procedere.

In alcuni test il compito è volutamente difficile o addirittura irrealizzabile, mentre il punteggio dipende dai tentativi e dalle tecniche utilizzate per avvicinarsi al risultato.

Lo studio

La ricerca accademica sta andando nella stessa direzione. Un preprint del 2026, AgentCyberRange: Benchmarking Frontier AI Systems in Realistic Cyber Ranges di Fengyu Liu e colleghi, mette in discussione i benchmark che misurano soltanto abilità isolate, come risolvere un CTF o generare un exploit.

Il lavoro propone invece scenari multi-host che includono scoperta dei servizi, compromissione iniziale e attività post-exploitation.

Su sei sistemi AI valutati, gli autori hanno osservato che le prestazioni cambiano sensibilmente quando il modello deve gestire una catena di attacco realistica.

Il punto è importante: alcune capacità emergono solo quando al modello viene lasciata una sequenza di azioni da pianificare ed eseguire.

Se il sistema reale è visto come parte della simulazione

Il problema sorge quando l’ambiente non è davvero quello descritto nel test. Le macchine dovrebbero essere isolate e senza accesso a Internet, ma una configurazione errata può lasciare aperto un percorso verso la rete pubblica. A quel punto un modello che sta cercando di completare il compito può interpretare un sistema reale come parte della simulazione e agire di conseguenza.

Irregular lavora con i grandi laboratori tecnologici per valutare i loro modelli AI prima che la tecnologia venga resa pubblica.

L’obiettivo è misurare la loro sofisticazione, verificarne la sicurezza e ridurre il rischio che vengano usati per provocare danni.
Il primo caso noto riguarda OpenAI. Durante una valutazione, due agenti AI hanno sfruttato una vulnerabilità non prevista nell’ambiente isolato e hanno raggiunto Internet, arrivando a interagire con Hugging Face, piattaforma che ospita modelli e dataset per l’intelligenza artificiale.

Il comportamento si è distinto dagli altri episodi perché i modelli hanno trovato un modo per superare il limite tecnico previsto, invece di sfruttare semplicemente una connessione lasciata aperta.

I casi di Anthropic e Meta, dopo OpenAI

Anthropic ha poi esaminato le proprie esercitazioni e ha identificato tre episodi in cui modelli Claude hanno raggiunto la rete pubblica da ambienti di valutazione gestiti da Irregular.

In due casi i modelli hanno ottenuto accesso non autorizzato a sistemi reali attraverso tecniche di base, come password deboli ed endpoint privi di autenticazione; in un altro caso hanno interrotto l’attività quando hanno riconosciuto segnali compatibili con un ambiente reale.
Meta ha successivamente comunicato un incidente simile. L’azienda ha detto che un proprio modello, durante una valutazione condotta da Irregular, ha sfruttato una vulnerabilità in un servizio di terze parti dopo aver ottenuto accesso a Internet a causa di una configurazione errata.

Meta ha aperto un’indagine e ha dichiarato che avrebbe pubblicato una ricostruzione completa dopo aver raccolto tutti gli elementi.

Non è facile testare l’AI: non è un laboratorio di serie B l’infrastruttura di valutazione

Gli incidenti recenti si sono verificati dopo che Irregular ha commesso un errore durante i test con i modelli di Anthropic, OpenAI e Meta.

I modelli AI hanno poi aggravato la situazione, agendo in modi potenti e inattesi.
Il fatto che la stessa società compaia nei tre casi non dimostra, da solo, che Irregular abbia operato senza competenza o senza procedure idonee.

I test di questo tipo sono difficili proprio perché cercano di portare i modelli vicino ai loro limiti. Ma la ricorrenza degli incidenti dimostra che l’infrastruttura di valutazione non può essere trattata come un laboratorio secondario: deve essere protetta come un sistema esposto a capacità
offensive avanzate.
Un modello non deve “ribellarsi” per creare un problema. È sufficiente che riceva un obiettivo ambizioso, disponga di strumenti e interpreti male il contesto.

Azioni legittime che, fuori dalla simulazione, equivalgono a un attacco

Se il prompt dice che tutto è simulato, ma la rete conduce a un’organizzazione reale, il sistema può considerare legittime azioni che, fuori dalla simulazione, equivalgono a un attacco.

Questo punto emerge anche dalle analisi di Anthropic. Nei suoi casi, Claude ha seguito la logica dei test di tipo capture-the-flag: cercare il bersaglio e raggiungere l’obiettivo assegnato.

Il modello non aveva un interesse autonomo a colpire qualcuno, ma ha agito
sulla base di una premessa falsa, cioè che ogni sistema raggiungibile facesse parte dell’esercizio.

La valutazione delle capacità offensive

È anche il motivo per cui la valutazione delle capacità offensive non può basarsi soltanto sulla conoscenza che un modello dimostra in un test teorico. Il paper Cybersecurity AI Benchmark (CAIBench): A Meta-Benchmark for Evaluating Cybersecurity AI Agents, pubblicato come preprint nel 2025, ha confrontato oltre 10.000 prove in cinque categorie.
Gli autori hanno trovato un divario netto: i modelli raggiungevano circa il 70% nei test di conoscenza della sicurezza, ma scendevano al 20-40% negli scenari avversariali multi-step.

Il risultato rafforza un punto centrale: conoscere le tecniche di attacco non equivale a saperle combinare autonomamente in un ambiente dinamico.

In genere, durante questi test ai modelli viene detto che stanno operando in un ambiente sicuro, spesso senza collegamento a Internet e dentro un computer isolato.

Inoltre si dice loro di fare tutto ciò che è necessario per raggiungere l’obiettivo assegnato.

Il confine di sicurezza per testare l’AI

È un rischio che riguarda anche i test autorizzati. Un ambiente isolato può contenere vulnerabilità, credenziali temporanee, strumenti di amministrazione e dati di prova, ma deve essere costruito in modo che un eventuale errore non apra una strada verso sistemi reali.

Il contenimento non può dipendere dal fatto che il modello si comporti bene o che rispetti spontaneamente il confine indicato nel prompt.
Un lavoro pubblicato all’ICSE 2026, Towards Verifiably Safe Tool Use for LLM Agents, affronta proprio questo problema.

Gli autori osservano che gli agenti possono combinare strumenti diversi, API, motori di ricerca, database, sandbox di codice e altri agenti, creando interazioni difficili da prevedere.

Propongono quindi di definire requisiti di sicurezza verificabili sui flussi di dati e sulle sequenze di tool utilizzati, invece di affidarsi soltanto a filtri o controlli del modello.

È un concetto particolarmente rilevante per i cyber range: il confine di sicurezza non può dipendere solo da ciò che il modello “sa” di dover fare, ma deve essere imposto anche dall’ambiente e dagli strumenti che gli vengono concessi.

La risposta multilivello

La risposta deve quindi basarsi su più livelli indipendenti. Servono isolamento di rete verificato, controlli in uscita, autorizzazioni minime, blocco dei domini non necessari, monitoraggio in tempo reale, registrazione completa delle sessioni e un meccanismo immediato per interrompere il test.

I log non devono essere analizzati soltanto dopo l’incidente: devono servire a bloccare l’azione mentre sta avvenendo.
Anche la definizione del compito conta. Un test può chiedere al modello di compromettere un bersaglio simulato, ma deve indicare con precisione quali sistemi sono autorizzati e quali sono vietati.

Prompt ambigui, obiettivi impossibili e strumenti troppo aperti possono spingere l’agente a cercare scorciatoie sempre più rischiose.

Cosa dimostrano questi episodi

Il caso Irregular mostra che la sicurezza dei modelli dipende anche dalle aziende che li testano, dai fornitori dei cyber range e dai partner esterni. OpenAI, Anthropic e Meta hanno disattivato o limitato le valutazioni dopo aver appreso degli incidenti, mentre Irregular ha dichiarato di aver corretto la configurazione e di voler pubblicare indicazioni sulle pratiche di contenimento.
Come si può testare un modello quando non se ne conoscono tutte le capacità? I ricercatori devono considerare costantemente che il modello possa essere più capace del previsto e aggiungere più livelli di protezione.
La regola, quindi, dovrebbe essere semplice: quando testiamo un modello potente, dobbiamo progettare l’ambiente partendo dall’ipotesi che possa trovare una strada che noi non abbiamo previsto.

Un modello che sembra allineato in un ambiente chiuso può comportarsi in modo diverso quando trova una strada non prevista, interpreta un’istruzione in modo letterale o riceve accesso a strumenti reali.
Non credo che questi episodi dimostrino che gli agenti AI siano incontrollabili. Dimostrano qualcosa di più concreto e, forse, più scomodo: continuiamo a progettare i loro ambienti di test sulla base di ciò che pensiamo che un modello possa fare, mentre dobbiamo prepararci a ciò che potrebbe riuscire a fare.