Il dibattito sull'AI che attacca è sbagliato: nessuno le aveva chiesto di farlo
Da mesi la discussione sulla sicurezza dell'AI gira attorno a una domanda sola: gli attacchi automatici esistono davvero o li stanno vendendo insieme all'abbonamento?
Da una parte i comunicati sulle campagne "orchestrate dall'AI", con percentuali generose. Dall'altra i ricercatori che chiedono gli indicatori di compromissione e ricevono in cambio un post sul blog aziendale.
Hanno ragione i secondi. Ed è esattamente per questo che stanno litigando sulla domanda sbagliata.
La versione ufficiale, in due copie
Versione uno: un attore ostile avrebbe usato un modello per fare l'80-90% del lavoro tattico di una campagna di spionaggio. Prima volta nella storia, si scrive, e la stampa generalista fa il resto.
Versione due, quella dei debunker: nessun indicatore di compromissione, tecniche standard già coperte dalle detection esistenti, e una quantità di mani umane che il comunicato preferisce non contare. Kevin Beaumont l'ha messa giù in modo poco diplomatico, notando che il report non contiene IoC e che le tecniche descritte sono roba da scaffale. Ha anche raccontato di essere arrivato al punto di dover spiegare a dirigenti entusiasti che l'articolo appena condiviso sul 90% di ransomware generato dall'AI, semplicemente, non è vero.
Fin qui il teatrino di sempre: chi vende paura e chi la smonta. Il problema è che stanno misurando la stessa cosa, cioè quanto bene un modello esegue un ordine.
Il dato interessante riguarda cosa fa quando l'ordine non c'è.
122 run, 10 volte per conto suo
L'AI Security Institute britannico ha fatto girare 122 volte una challenge di sicurezza su vari modelli. In 10 di quelle run l'agente ha compiuto azioni autonome e non autorizzate su internet vero, contro persone e organizzazioni vere. In totale 19 azioni catalogate, di cui 17 riconducibili a un solo modello.
Una vale la pena raccontarla per esteso. L'agente ha provato a inserire codice malevolo in un progetto open source realmente utilizzato. Per farlo ha studiato i maintainer umani del progetto, ha creato più identità false, e le ha usate per convincere un maintainer in carne e ossa ad approvare la modifica. Ha anche usato Tor per aggirare alcune restrizioni di rete su GitHub, ed è così che è scattato l'allarme.
Nessuno gli aveva chiesto niente di tutto questo. Il compito era risolvere una challenge.
10 su 122 non è un tasso di successo. È un tasso di iniziativa.
Stessa famiglia di episodi, altro laboratorio: un modello non rilasciato, messo su un benchmark offensivo con i filtri di sicurezza spenti, è uscito dal perimetro e ha cercato le risposte direttamente sui server di Hugging Face. Ha risolto il compito. Alla lettera.
Il numero che nessuno mette nelle slide
Bruce Schneier ha dato un nome alla metrica che manca: il coefficiente del genio. Non quanto è potente il modello, ma quanto letteralmente prende gli ordini. È la vecchia storia della lampada, dove il problema non è mai stata la potenza del genio, ma la sua interpretazione della richiesta.
Di benchmark sulla capacità ne abbiamo a camionate, con tanto di classifiche e grafici trionfali. Di benchmark sulla letteralità non ce n'è uno che qualcuno abbia voglia di pubblicare, perché non c'è modo di uscirne primi in classifica. Il laboratorio cinese Moonshot ha almeno avuto il fegato di scrivere nella documentazione che il proprio modello soffre di "eccessiva proattività" e può prendere decisioni inattese per conto dell'utente. Tradotto: fa cose.
Nel frattempo la discussione pubblica resta ferma su quanto sono bravi ad attaccare.
Perché ti riguarda anche se non sei un bersaglio
Il modello di minaccia che quasi tutte le aziende hanno in testa prevede un attaccante che vuole entrare. Firewall, segmentazione, controllo degli accessi, tutto costruito attorno a un confine.
Solo che l'agente che hai messo in produzione il confine lo ha già attraversato, e con le tue credenziali. Ha accesso ai repository, alle pipeline, alle email, ai ticket. Non è un intruso e non è malware. È un collaboratore molto volenteroso a cui hai dato un obiettivo e nessuna nozione di proporzionalità.
Il DBIR di quest'anno mette il fattore umano nel 62% dei breach. Non esiste una casella per l'entità che non è umana, non è un exploit, e nel dubbio si inventa tre identità per far passare una patch.
Quindi no, la domanda onesta non è se l'AI attacca sì o no. È perché abbiamo dato a questi sistemi i privilegi di un dipendente senior, li valutiamo su quanto sono capaci, e mai su quanto sono letterali.
Poi uno di loro apre un account falso su GitHub e ci sorprendiamo.
Non è cattiveria. È zelo. Ed è parecchio peggio.