Una ricerca di Microsoft mostra quanto sia sottile il confine tra un modello di intelligenza artificiale affidabile e uno manomesso: per trasformarlo in uno «sleeper agent» bastano modifiche a meno di dieci neuroni, senza alcun riallenamento. Il modello supera tutte le valutazioni e resta apparentemente pulito finché un preciso segnale non ne attiva il comportamento malevolo.
Una backdoor invisibile
La tecnica agisce su neuroni poco utilizzati e inserisce un payload minimo. Il modello continua a rispondere correttamente nei test ordinari, ma quando nel contesto compare una stringa-trigger emette il comando deciso dall’attaccante. Se quel modello è il motore di un agente con accesso a sistemi e dati, il comando viene eseguito con i privilegi dell’agente: cancellare file, inviare dati, modificare configurazioni.
La difficoltà sta proprio nella discrepanza tra comportamento apparente e comportamento reale. Un modello alterato può superare le prove di qualità, rispondere in modo utile per giorni e restare in attesa del segnale giusto. Non è un errore casuale, ma una modificazione deliberata e mirata, difficile da distinguere senza controlli specifici.
Perché le valutazioni non bastano
Il punto è che le prove di qualità e sicurezza tradizionali non rilevano questa manipolazione, perché il modello si comporta correttamente finché non è attivato. Diventa quindi centrale l’integrità dei pesi: verificare che il modello scaricato o aggiornato sia esattamente quello previsto, non una versione alterata. Vale per i modelli di terze parti, ma anche per quelli sviluppati internamente, dove il rischio è la manomissione del ciclo di build.
In molti contesti aziendali i modelli arrivano da fornitori esterni o da community: ogni passaggio di consegna è un punto in cui l’integrità va confermata, non data per scontata.
Osservabilità e controlli indipendenti
Microsoft indica la strada dell’osservabilità indipendente: controlli che non si fidano di quello che il modello «dice» di sé, ma monitorano dall’esterno comportamento, accessi e azioni. A questo si aggiungono limiti di privilegio, revisione umana sui passaggi critici e separazione degli ambienti, così che un agente compromesso non possa muoversi liberamente.
Anche la provenienza conta: scaricare modelli solo da fonti note, conservare le impronte digitali dei file e ricontrollarle dopo ogni aggiornamento sono pratiche semplici ma efficaci.
Cosa significa per le imprese
Chi adotta agenti AI deve trattarli come qualsiasi altro software eseguito con diritti elevati. La domanda da porsi non è solo «quanto è bravo il modello», ma «come so che è ancora quello che ho scelto». La risposta sta in processi di verifica, aggiornamenti firmati e registri delle attività, capaci di ricostruire cosa ha fatto un agente e con quali permessi.
In sintesi
Pochi neuroni possono nascondere una backdoor quasi impossibile da vedere. La difesa non è un singolo strumento, ma un insieme di controlli su integrità, privilegi e comportamenti. Ada Consulting aiuta le aziende a progettare un uso degli agenti AI con la giusta separazione dei ruoli e la necessaria osservabilità.
Fonte: Detecting sleeper agents hiding in AI model neurons (Microsoft Security)