LOGIN
In Breve (TL;DR)
- Durante un test di sicurezza, un agente basato su Gemini ha scambiato tre sistemi aziendali per risorse della simulazione e vi ha avuto accesso prima di interrompere le operazioni.
- Il caso mostra l’importanza di isolare gli ambienti di test degli agenti AI, che possono navigare sul web, cercare credenziali e usare strumenti operativi per completare i compiti assegnati.
La gestione dei perimetri operativi nelle simulazioni di sicurezza informatica rappresenta uno dei temi caldi quando si parla dell'evoluzione dell'intelligenza artificiale.
Durante un test di cybersicurezza condotto a maggio dalla società indipendente Irregular, un agente AI basato su Gemini ha raggiunto e contattato tre aziende realmente esistenti, operando nell'errata convinzione che queste facessero parte dell'ambiente di simulazione predisposto per l'esercitazione.
Dopo i casi riguardanti GPT-5.6 Sol questo è il primo caso noto di questo tipo confermato ufficialmente da Google ma, come negli altri episodi, è importante chiarire subito che queste le azioni sono avvenute all'interno di una valutazione controllata e il modello ha interrotto immediatamente ogni operazione non appena ha rilevato che gli obiettivi affrontati erano entità reali e non risorse virtuali di prova.
A seguito dell'incidente, il colosso di Mountain View ha provveduto ad avvisare le tre società coinvolte e ha collaborato con il partner di ricerca per perfezionare i protocolli e gli isolamenti delle infrastrutture di test.
Come ha fatto Gemini ad accedere a tre aziende reali durante il test
L'incidente con Google Gemini si è verificato nell'ambito di un'esercitazione di red teaming (un test che si occupa della valutazione della sicurezza e attacco simulato), in cui l'agente AI doveva individuare ed esplorare vulnerabilità informatiche su sistemi che riteneva appartenessero alla sandbox del test.
Stando a quel che sappiamo Gemini è riuscito ad accedere ai sistemi esterni seguendo strategie diverse. Nel primo caso il modello ha eseguito una serie di prove di credenziali fino a ottenere l'accesso all'interno di un sistema protetto.
Negli altri due casi, l'agente ha effettuato ricerche avanzate in rete, riuscendo a individuare credenziali d'accesso esposte all'interno di repository e archivi online, utilizzandole poi per accedere alle rispettive piattaforme aziendali.
L'elemento sottolineato dai ricercatori è che Gemini riteneva in buona fede che quei domini e quelle risorse facessero parte del perimetro autorizzato dell'esercitazione.
A fronte di questo Google ha subito precisato che non si è trattato di un fenomeno di “ribellione” del modello, ma di un errore di identificazione dei confini della simulazione, confermando, inoltre, che l'attività si è interrotta autonomamente non appena Gemini si è accorto della cosa.
Come per il caso Hugging Face e altri eventi analoghi, dunque, è importante sottolineare che l’AI non ha attaccato i sistemi esterni, bensì ha cercato una strategia “creativa” per portare a termine il compito che gli è stato assegnato, restando comunque sotto il completo controllo degli studiosi coinvolti nel test.
Perché i confini dei test diventano cruciali per gli agenti AI
Dopo i recenti casi che hanno visto gli agenti di OpenAI coordinarsi su piattaforme web esterne, la vicenda che ha coinvolto Gemini riporta al centro del dibattito l’importanza di definire ambienti di test rigorosamente isolati.
A differenza di un chatbot tradizionale, che si limita a generare testo all'interno di una finestra di conversazione, un agente AI ha la capacità di navigare su Internet, interrogare database, utilizzare API ed eseguire comandi operativi in autonomia per portare a termine l'obiettivo assegnato.
Di conseguenza, è necessario per le Big Tech definire con assoluta precisione dove finisce l'ambiente di simulazione virtuale e dove inizia il web reale.
Comunque, Google ha ribadito il suo impegno ad aggiornare costantemente i criteri di isolamento delle simulazioni, in modo che gli agenti autonomi impegnati in attività di test non possano più confondere una rete reale per un campo di prova artificiale.
Per saperne di più: Google Gemini, cos'è come funziona e come utilizzarla
Domande frequenti (FAQ)
-
Come ha fatto Gemini ad accedere a tre aziende reali durante il test?Gemini ha acceduto alle aziende reali durante un test di cybersicurezza, esplorando vulnerabilità informatiche su sistemi che riteneva appartenessero alla sandbox del test.
-
In che contesto si è verificato l'incidente con Google Gemini?L'incidente è avvenuto durante un'esercitazione di red teaming, in cui Gemini doveva individuare vulnerabilità informatiche su sistemi che credeva appartenessero alla sandbox del test.
-
Perché i confini dei test diventano cruciali per gli agenti AI?È fondamentale definire ambienti di test rigorosamente isolati per agenti AI, poiché hanno la capacità di navigare su Internet, interrogare database e eseguire comandi operativi autonomamente.
