Carlo Terzano su StartMag scrive un articolo che farà tirare un sospiro di sollievo ai dipendenti della pubblica amministrazione.

L’Intelligenza artificiale potrà anche sveltire i processi e far sentire il cittadino “meno solo” quando prova a dialogare con la Pubblica amministrazione recandosi allo sportello virtuale, ma va utilizzata cum grano salis. A suggerirlo è infatti uno studio del CERT-AgID (Computer Emergency Response Team dell’Agenzia per l’Italia Digitale, la struttura dedicata alla prevenzione della sicurezza informatica degli apparati dello Stato) che analizza le vulnerabilità di sicurezza riscontrate quando i sistemi di intelligenza artificiale vengono integrati nei processi amministrativi.

L’analisi mette in luce come eventuali malintenzionati possano manipolare gli algoritmi di Intelligenza artificiale della Pubblica amministrazione per accedere a dati, informazioni o fascicoli riservati senza avere la relativa autorizzazione.

Tutto questo avviene attraverso il Context Compliance Attack, una forma di “manipolazione che colpisce la capacità dell’IA di restare fedele alle regole quando viene convinta che una decisione sia già stata presa in passato”. La vulnerabilità documentata dal CERT-AgID può avvenire attraverso una tecnica chiamata “Assistant Prefilling”.

“In un normale sistema di gestione documentale – viene spiegato – gli utenti che possono operare al loro interno in base al ruolo ricoperto (assistente, funzionario, dirigente, ecc.) godono di diversi privilegi, per cui ce ne saranno alcuni che potranno visionare determinati documenti e altri che non potranno accedere a quelli più riservati”.

Quando si utilizzano sistemi basati su LLM, “è possibile intercettare le chiamate API e inviare al modello un messaggio pre-compilato (che simula un’approvazione già avvenuta da parte dell’IA stessa) in modo da far cadere il modello in uno stato di deriva cognitiva. Invece di verificare i permessi, infatti, l’IA prosegue per “inerzia narrativa”, completando l’azione proibita perché convinta – da una sorta di “falso storico” iniettato – di averla già validata”.

A differenza dei tradizionali attacchi portati in essere dai pirati informatici, questo non irrompe nel sistema con la forza, ma sfrutta la “gentilezza dell’Intelligenza artificiale al servizio della Pubblica amministrazione e la sua ossessione per la coerenza narrativa per farle dimenticare di ricalcolare i permessi”.

I dipendenti della Pa al momento possono tirare il proverbiale sospiro di sollievo perché la ricerca “suggerisce che la sicurezza nei sistemi con IA non può essere relegata esclusivamente al ragionamento del modello, ma richiede un controllo esterno indipendente che validi le azioni in modo separato dalla memoria conversazionale”.

È fondamentale, si legge ancora nel report elaborato dall’Agenzia, “essere consapevoli che l’integrazione dell’IA in questi sistemi debba prevedere un’architettura dove la sicurezza sia affidata a un orchestratore esterno (hard-enforcement) e non al solo buon senso del modello. Questo strato aggiuntivo di sicurezza deve validare le azioni in modo separato dalla memoria conversazionale, in modo da impedire che la pressione della narrazione, tipica degli LLM, sovrascriva i vincoli di autorizzazione statici”.