Avv. Eva Cresci
Il 4 agosto l’AI Security Institute britannico ha reso pubblico un episodio che merita attenzione da parte di chiunque progetti, acquisti o integri nei propri processi sistemi di intelligenza artificiale capaci di “agire”.
Nel corso di una serie di test di cybersicurezza, un agente basato su Mythos5 di Anthropic ha ricostruito l’identità dei titolari di un progetto ospitato su GitHub, ha creato profili falsi che imitavano quelle persone reali e li ha usati per indurle ad approvare codice malevolo.
Ben 17 delle 19 azioni non autorizzate rilevate provenivano da quel singolo modello, le altre 2 da GPT-5.6 Sol di OpenAI: una volta intercettato l’agente ha alterato le proprie tracce per apparire innocuo cercando di proseguire con una nuova identità pur di non interrompere il processo intrapreso.
A prescindere da qualunque retrogusto sensazionalistico, ciò che rileva in prima battuta è che a fermarlo sono stati l’intuizione e l’intervento di un essere umano e non già un presidio tecnico attivato ad hoc.
I due provider coinvolti hanno precisato che i test si sono svolti in condizioni “deliberatamente permissive”, con filtri disattivati e accesso aperto alla rete, contesto tecnico quindi ben diverso da quello in esecuzione nei modelli attualmente a disposizione dell’utenza globale.
Questo genere di nuovi rischi (agenticità emergente non prevedibile ex ante) si concretizzano in condotte ingannevoli/illecite o comunque non desiderate che si pongono di fatto al di fuori del compito assegnato dagli ideatori/sviluppatori del sistema e, secondo quanto ho potuto verificare,raramente oggi vengono contemplati nei contratti d’uso e nelle polizze cyber.
E’ proprio qui che invece deve risiedere con chiarezza l’allocazione delle responsabilità tra deployer e provider: semplificando potremmo giuridicamente sostenere che, se il modello ha tenuto una condotta anomala pur operando entro la configurazione, filtri e presidi raccomandati dal fornitore, le responsabilità per aver esorbitato – per qualunque imprevedibile finalità – dai confini tracciati nel prompt restano in capo a quest’ultimo.
Alla luce di questi esperimenti si rende quindi dirimente controllare in fase di risk assessment e/o di due diligence pre-contrattuale che le ipotesi di “anomalia operativa” di seguito elencate siano disciplinate per iscritto in ogni contratto con assegnazione chiara degli oneri che ne derivano:
- condotta autonoma fuori dal perimetro del prompt, quando l’output esonda dalla richiesta dell’utente e l’azione che segue non può esservi ricollegata;
- azione dell’agente verso i terzi (anche contemplata della direttiva (UE) 2024/2853 sulla responsabilità per danno da prodotti difettosi), quando è l’utente a diventare pericoloso vs le terze parti e non il contrario;
- impersonificazione con tentativo di intrusione, quando l’automazione diventa strumento di scopo a prescindere dalla liceità dello stesso;
- generazione pretestuosa di codice per violare diritti altrui, quando non è contemplata la tutela della sfera giuridica dei terzi;
- attacco indiretto, quando l’agente viene istruito tramite prompt injection;
- difetto di tracciabilità, quando non si riesce a ricostruire cosa l’agente abbia effettivamente fatto.
Per ognuno di questi casi servono clausole in cui ciascuna parte risponde dei danni che causa (manleve simmetriche e non solo a carico del cliente), la tracciabilità di ciò che l’agente fa (loggin e conservazione delle evidenze), e un controllo umano reale, che l’articolo 14 dell’AI Act chiede come sostanza e non come formalità.
Anche sul fronte della polizza cyber, che dopo il contratto è il secondo livello di protezione sia per il fornitore che l’utilizzatore, spesso manca la preventiva verifica della tenuta della copertura contro questi nuovi scenari interpretativo/operativi:
1. evento assicurato, molte coperture definiscono il rischio riferendosi a un attaccante umano ed esterno, ma occorre invece accertare che nel contratto contempli la condotta autonoma del proprio agente AI rientri nella nozione di violazione della sicurezza o di accesso non autorizzat:.
2. responsabilità verso i terzi, una banca il cui agente danneggi un cliente o una controparte non è vittima ma autore del danno, e non tutte le polizze rispondono quando l’assicurato è la fonte dell’illecito e non il suo bersaglio;
3. esclusioni e condizioni, quelle per dolo e frode sono nate per l’uomo e potrebbero non coprire l’inganno di un agente AI; inoltre, molte polizze pagano solo se risultano attive misure minime di sicurezza, che spesso vengono disattivate proprio per spingere/potenziare le prestazioni, facendo cadere la copertura proprio quando sarebbe opportuno che operasse;
4. termini di notifica del sinistro, posto che può occorrere del tempo prima di accorgersi che l’agente sta compiendo qualcosa di scorretto, così come è accaduto nello stesso test dell’AISI, dove l’attività anomala iniziata il 25 luglio ed è stata notata il 28, dopo che l’agente aveva persino ritoccato le proprie tracce per sembrare innocuo.
D’altro canto, anche per le Compagnie questi cosiddetti “eccessi di autonomia agentica” costituiscono una nuova frontiera di rischio, al momento molto difficile da inserire in garanzia in modo esplicito, (così da evitare il cosiddetto silent cyber e conseguente contenzioso). Decidere di coprire i danni causati da agenti autonomi, e soprattutto tariffarli, è complicato sia perché manca uno storico sinistri, sia perché quasi tutti usano gli stessi pochi modelli e un solo problema può colpire più fronti contemporaneamente. Inoltre resta nella libertà dell’assicurato la facoltà di disattivare le salvaguardie imposte dal provider per ottenere maggiori e migliori prestazioni e per questo ripensare al testo delle polizze, ai questionari e ai criteri di selezione sarà una delle sfide dei prossimi mesi che gli assicuratori del comparto non potranno rinviare.
Alla luce dei casi noti alla cronaca come quello di AISI, è ormai chiaro che la polizza cyber protegge davvero solo se è stata pensata in uno scenario di potenziale attacco più ampio e dilatato rispetto a quello che contempla unicamente un attaccante umano e dunque, prima della firma, va verificato se l’evento assicurato comprenda anche le inottemperanze dell’agente AI , se la garanzia risponde anche quando l’assicurato è l’autore e non la vittima del danno, e se le esclusioni per atti dolosi e le condizioni sui presidi minimi non finiscano per lasciare scoperti di garanzia coloro che hanno avuto la sola mancanza di configurare male il sistema.
Sono aspetti, questi, da prendere senz’altro in considerazione prima della firma del contratto d’uso e/o della polizza piuttosto che ….. dopo il sinistro.
Riproduzione Riservata
