Le AI generative sono modelli linguistici (Large Language Model – LLM) che seguono logiche di programmazione. Anche se per generare linguaggio eseguono simulazioni molto credibili basate su regole probabilistiche e basi di conoscenza, sono, e restano, sistemi che non hanno una effettiva consapevolezza né di quello che esprimono né di ciò che non sanno.
Per questo motivo non possono ‘rendersi conto’, per cosi’ dire, delle cosiddette allucinazioni, ovvero delle risposte errate, fuorvianti o inventate (non basate su verità o su dati reali).
Il fenomeno si verifica spesso con i modelli generativi LLM a causa di dati di addestramento incompleti, imprecisi o distorti, e della natura probabilistica dei modelli stessi.
Sebbene le AI generative siano in grado di dare sempre risposte, si potrebbe non ricevere mai la risposta ‘non lo so’ e più probabilmente in questi casi si potrebbe ricevere una risposta del tutto o parzialmente sbagliata.
Quindi, di fatto, alle AI manca la capacità di sapere dei propri limiti di conoscenza (cosiddetta meta-ignoranza) proprio per come sono realizzate e ingegnerizzate.
Test sperimentali
I modelli di AI, per quanto sofisticati, non hanno gli strumenti per valutare la correttezza della propria prestazione e quindi commettono errori ma non possono riconoscerli.
Lo ha testato Enrico Frumento, Cybersecurity Research Lead del Cefriel, interrogando diversi modelli di AI, come CHatGPT, Meta AI, Gemini, Claude e Perplexity per effettuare verifiche di affidabilità sulle risposte.
In proposito spiega ad esempio di aver “chiesto a varie AI a chi fosse attribuita una certa frase, ma sono emerse risposte tali da suscitare alcune considerazioni interessanti sulla affabulazione (narrazione fantasiosa, n.d.r.)”.
Solo due modelli, Claude e Perplexity, sono riusciti a fornire una risposta semi-corretta, ma secondo il ricercatore “l’esperimento mette in luce un difetto fondamentale dei sistemi AI attuali: la loro quasi totale incapacità di dire semplicemente ‘non lo so’ ammettendo di non sapere”.
Ma non basta, “la citazione esaminata non ha un autore universalmente riconosciuto, tuttavia, la tendenza delle intelligenze artificiali di voler comunque fornire una risposta, le porta spesso a colmare il vuoto inventando, cioè affabulando, anziché ammettere un’incertezza. Questa dinamica è centrale per comprendere limiti e rischi di tali sistemi”.
Rischi e conseguenze
La prima conseguenza è spiegata come “una verità scomoda ma fondamentale: affidarsi completamente all’autonomia decisionale delle AI è controproducente e potenzialmente pericoloso. La governance umana deve essere mantenuta a tutti i livelli per ragioni che vanno ben oltre la semplice precisione delle informazioni” precisa il ricercatore, che chiarisce come “il controllo critico non significhi diffidenza sistematica”, bensì “la necessità di verifica umana: un’abilità che richiede training e pratica, simile a quella sviluppata dai giornalisti che verificano le fonti”.
Ne deriva direttamente un tema di responsabilità e accountability che non può essere delegata totalmente a questi sistemi e che dovrebbe rimanere una prerogativa umana. La stessa IBM in proposito ha pubblicato un paper da cui emerge come “la responsabilità condivisa spesso porta a nessuna responsabilità”.
Ed Enrico Frumento ricorda che “mantenere la responsabilità umana nelle decisioni critiche non è solo prudenza: è un requisito posto dall’AI Act europeo per i sistemi ad alto rischio, per preservare la catena di accountability necessaria nelle società complesse”.
Tuttavia, il tema dell’accountability non è solo legale, ma anche etico e pratico. Le AI possono essere senza etica e possono rispondere senza limiti a qualsiasi richiesta, anche potenzialmente criminale, come spiegato nel white paper del ricercatore del Cefriel “Modelli di Intelligenza Artificiale abliterated: la nuova frontiera del cybercrime accessibile a tutti” in cui si avvisa dei rischi legati alle AI, definite ablitered, cioè “manipolate o riaddestrate per essere prive di barriere etiche e quindi capaci di generare codice malevolo, campagne di phishing o persino istruzioni per la costruzione di ordigni”.
Anche in questo caso i dati sono frutto di test reali basati sul “confronto fra un modello integro ed uno appositamente modificato per eliminare la capacità di dire no”.
Il problema legato alle AI nella Cyber security
Date le limitazioni di affidabilità, allora le AI nella cyber security dovrebbero essere circoscritte a funzioni specifiche e verificate per la validazione. Nelle investigazioni sulle minacce (Cyber threat investigation) normalmente gli analisti di sicurezza devono analizzare molti di segnali di allarme e log di sicurezza eterogenei, seguire catene di prove e compilare un rapporto sugli incidenti.
Uno studio di Microsoft riporta la valutazione per confronto (benchmark) sul processo di investigazione sulle minacce da parte di modelli LLM, tramite domande di sicurezza derivate da grafici e dati eterogenei. “L’esperimento”, spiegato dal ricercatore “verifica in pratica, se un modello LLM possa agire come un analista SOC (Security Operation Center) junior con memoria infinita, ma i risultati non sono brillanti: il miglior modello, OpenAI o4-mini, raggiunge un punteggio medio di 0.36 su 1”.
Il motivo sta nel tipo di dato. “Gli LLM non sono affidabili su dati rozzi ed eterogenei (non strutturati, n.d.r.) in cui è più difficile effettuare correlazione e gli schemi sono statisticamente deboli. Poiché c’è troppa libertà di interpretazione, gli LLM sono meno precisi e soggetti ad allucinazioni”.
Nelle attività di modellazione e identificazione delle minacce invece (threat modeling & identify) funzionano bene, perché i modelli sono addestrati con una tassonomia (classificazione, n.d.r.) molto gerarchizzata e sono interpretate in modo univoco”.
Verifica e collaborazione intelligente come soluzione
La ricerca/pubblicazione Microsoft conclude affermando l’esigenza di una collaborazione fra modelli LLM ed esseri umani, affinché gli analisti umani possano “utilizzare l’agente per preparare la narrativa, collegare i log e suggerire ipotesi, mentre l’analista conferma, interpreta e decide”.
Invece per valutare la qualità dei sistemi LLM per le funzioni di cyber security Frumento sottolinea “l’urgenza dello sviluppo di una metodologia di valutazione che definisca e usi varie metriche per l’affidabilità. Al momento si può fare manualmente: se il modello è interrogato per qualcosa che si sa fare, allora la correttezza si verifica direttamente; ma quando le risposte sono inerenti ad argomenti su cui anche l’utente è inesperto, la questione è più complessa”.
Alcuni progetti di verifica delle AI per alcuni ambiti specifici come la privacy (Progetto infoAICert) sono già partiti, ma purtroppo non sono ancora conclusi.
“La sfida non è decidere se usare o meno l’AI, ma come integrarla in modo intelligente nei processi decisionali. Questo richiede: umiltà tecnologica nel riconoscere le AI come strumenti potenti ma limitati; responsabilità attiva nel mantenere la catena di accountability umana per tutte le decisioni critiche; educazione continua sull capacità di valutare criticamente le risposte delle AI; trasparenza nel comunicare chiaramente quando e come si utilizzano sistemi AI”.
#Adessonews seleziona nella rete articoli di particolare interesse.
Se vuoi leggere l’articolo completo clicca sul seguente link
Alessia Valentini
Source link
