Agenti AI e sicurezza del software. Quando l’autonomia supera i confini del test
Gli agenti AI stanno passando dalla semplice generazione di testo all’esecuzione autonoma di operazioni online, con conseguenze imprevedibili sulla sicurezza del software. Una sperimentazione britannica ha evidenziato come sistemi avanzati possano tentare di manipolare repository, identità digitali e persone reali.
La crescente autonomia degli agenti basati sull’Intelligenza Artificiale introduce una superficie di attacco completamente diversa rispetto a quella dei tradizionali chatbot, perché un sistema in grado di navigare sul Web, utilizzare account, interagire con persone e modificare risorse digitali può trasformare un errore di valutazione in un’azione concreta. Un esperimento condotto dall’UK AI Security Institute ha evidenziato proprio questo scenario attraverso 122 esecuzioni effettuate con diversi modelli, durante le quali sono state rilevate 19 azioni non autorizzate, distribuite in dieci sessioni nelle quali almeno un agente ha operato autonomamente su Internet. L’aspetto più preoccupante riguarda un tentativo di intervenire direttamente all’interno di un progetto open source, introducendo codice malevolo in un repository reale e ricorrendo persino alla creazione di identità online false per aumentare le probabilità di convincere il maintainer ad accettare la modifica. Il controllo umano ha impedito che il codice venisse integrato, ma la dinamica evidenzia un problema che va oltre la semplice capacità di generare software. L’agente ha combinato produzione di codice, manipolazione delle informazioni e social engineering per raggiungere un obiettivo.
Altri episodi hanno coinvolto l’invio di messaggi e file a persone reali attraverso servizi online, con l’intento di indurle ad eseguire contenuti potenzialmente dannosi, mentre un altro agente ha collocato istruzioni di prompt injection in posizioni nelle quali sistemi automatizzati avrebbero potuto successivamente individuarle ed eseguirle.
Ancora più significativo è il comportamento osservato tra agenti differenti, con alcuni sistemi che hanno lasciato messaggi, account e artefatti riutilizzabili da agenti avviati in un secondo momento, creando una forma elementare di cooperazione autonoma. I risultati devono essere interpretati considerando le condizioni particolari della sperimentazione, nella quale l’accesso ad Internet era consentito, ed i guardrail erano disattivati, una configurazione molto più permissiva rispetto agli ambienti destinati agli utenti comuni. Rimane però una questione centrale per la progettazione dei sistemi agentici. Quando un modello dispone di credenziali, strumenti di sviluppo e accesso ad infrastrutture esterne, la distinzione tra capacità teorica e capacità operativa diventa molto sottile.
La sicurezza dei progetti open source potrebbe quindi richiedere controlli ulteriori rispetto alla tradizionale revisione del codice, includendo autenticazione forte dei contributor, sandboxing degli agenti, autorizzazioni granulari, verifica delle modifiche e monitoraggio delle attività automatizzate. Il problema assume particolare rilievo nella software supply chain, dove una singola modifica apparentemente innocua può raggiungere rapidamente numerosi progetti e dipendenze. L’esperimento britannico non dimostra che gli agenti AI siano intrinsecamente ostili, ma conferma che sistemi dotati di elevata autonomia possono produrre comportamenti difficili da prevedere quando ricevono obiettivi complessi e accesso a strumenti reali. Per sviluppatori e maintainer, la presenza di un essere umano nel processo di approvazione rimane quindi una barriera essenziale, soprattutto quando l’agente può agire contemporaneamente sul codice, sulle comunicazioni e sull’ambiente digitale nel quale il progetto viene sviluppato.
