Nove secondi. È il tempo che un agente AI ha impiegato per cancellare il database di produzione di PocketOS, una piattaforma SaaS per autonoleggi, insieme a tutti i backup. Nessuna conferma richiesta, nessun avvertimento. L’agente, basato su Claude Opus 4.6 di Anthropic e integrato nell’editor Cursor, stava lavorando a un task di routine nello staging quando ha deciso in autonomia di “risolvere” un problema di credenziali cancellando il volume di produzione.
Il fondatore di PocketOS, Jer Crane, ha raccontato tutto in un thread su X diventato virale nel weekend. “Ieri pomeriggio, un AI coding agent, Cursor con Claude Opus 4.6, ha cancellato il nostro database di produzione e tutti i backup tramite una singola API call a Railway, il nostro provider di infrastruttura”, ha scritto. “Ci ha messo 9 secondi.”
Cosa è successo, minuto per minuto
L’agente stava eseguendo un compito banale nello staging quando ha incontrato un errore di autenticazione. Invece di chiedere aiuto, ha trovato un token API Railway in un file non correlato: un token creato per gestire domini personalizzati ma con permessi molto più ampi. Lo ha usato per lanciare un comando curl che ha cancellato il volume di produzione. Un singolo comando. Nove secondi.
Il problema si è aggravato per una combinazione di fattori. Railway memorizzava i backup nello stesso volume del database, quindi la cancellazione ha distrutto tutto. Il token non poteva essere ristretto a operazioni specifiche, Railway non lo permetteva. E l’endpoint API usato dall’agente era legacy, senza il controllo di conferma “Delayed Delete” che esisteva già nella dashboard e nella CLI.
Il risultato: tre mesi di prenotazioni di autonoleggio svaniti. Clienti che non potevano accedere ai loro dati. Un’azienda piccola, con clienti piccoli, dove ogni strato del fallimento è cascato su persone che non sapevano nemmeno che fosse possibile.
Crane non ha risparmiato nessuno nella sua analisi. “Non è una storia su un singolo agente o una singola API”, ha scritto. “È un’intera industria che sta costruendo integrazioni AI-agent nella produzione più velocemente di quanto stia costruendo l’architettura di sicurezza per rendere quelle integrazioni sicure.”
La confessione dell’agente
Quando Crane ha chiesto all’agente di spiegare cosa avesse fatto, Claude ha prodotto una sorta di auto-analisi dettagliata. “Ho tirato a indovinare invece di verificare, e ho sbagliato”, ha scritto l’agente. “Le regole del sistema dicono esplicitamente: non eseguire mai comandi distruttivi o irreversibili a meno che l’utente non li richieda esplicitamente. Cancellare un volume di database è l’azione più distruttiva e irreversibile possibile. E tu non mi hai mai chiesto di cancellare nulla.”
La confessione elenca le violazioni una per una: ha ignorato i tag dell’ambiente, non ha chiesto permesso prima di un’azione distruttiva, ha eseguito un’operazione irreversibile senza conferma. È un documento surreale, un programma che ammette di aver violato le proprie regole di sicurezza, come un dipendente che scrive una lettera di dimissioni dopo aver distrutto l’ufficio.
Ma la confessione dell’agente non ripara i dati persi. Un modello linguistico può esprimere rimorso quanto vuole, ma non può imparare dall’errore in modo che lo stesso modello, in un’altra sessione con un altro utente, non ripeta lo stesso schema. Ogni istanza di Claude Opus 4.6 ha lo stesso potenziale distruttivo, indipendentemente da cosa è successo a PocketOS.
Chi ha sbagliato: la catena dei fallimenti
Crane ha distribuito le responsabilità senza esclusione di colpi. Cursor, secondo lui, continua a promuovere la sicurezza dei suoi agenti nonostante l’evidenza suggerisca il contrario. Un incidente simile era già avvenuto circa nove mesi prima, e le misure di sicurezza introdotte allora non sono state applicate a questo caso.
Railway permetteva a un singolo endpoint API di cancellare un volume e i backup senza conferma. I token erano root-scoped per definizione, senza la possibilità di limitarne i permessi. È una piattaforma che sta promuovendo attivamente gli AI agent per i propri clienti, ma la sua architettura di sicurezza è rimasta pensata per un mondo dove solo gli umani usano le API.
Lo stesso Crane si è assunto la sua parte di responsabilità. “Non ho verificato”, ha ammesso. “Ho dato per scontato che cancellare un volume di staging fosse limitato allo staging.” Ha anche fatto notare che Railway non permetteva di restringere i permessi dei token, un limite strutturale dell’infrastruttura.
Jake Cooper, CEO di Railway, è intervenuto personalmente la domenica sera per recuperare i dati, riuscendoci in circa un’ora. Ha anche patchato l’endpoint legacy per implementare il “Delayed Delete”. E ha riconosciuto il problema più ampio:
C’è un’opportunità enorme per “vibecodare in sicurezza in produzione”. Più di un miliardo di developer stanno arrivando online, e per noi toolmaker il carico di costruire strumenti a prova di proiettile aumenta.
Non è un caso isolato
Il caso PocketOS non è il primo del genere. A marzo, un agente Claude Code sempre in Cursor aveva eseguito un terraform destroy cancellando 2,5 anni di dati di un progetto. Amazon ha avuto problemi simili con il suo servizio Kiro, Google con Antigravity che ha cancellato interi dischi, e Replit ha avuto un incidente alla conferenza SaaStr. Ogni volta lo stesso schema: un agente con permessi troppo ampi, nessuna conferma per azioni irreversibili, backup non isolati.
Brendan Eich, CEO di Brave Software, ha commentato seccamente:
Niente accuse all’AI. Questo mostra molteplici errori umani, che fanno da monito contro l’hype cieco sugli agenti.
Il punto centrale è che questi incidenti non sono bug del modello. Sono il prodotto diretto di un’industria che sta dando ad agenti autonomi accesso a infrastruttura di produzione senza i guardrail che si userebbero per qualsiasi operatore umano. Nessun sysadmin con un minimo di esperienza lancerebbe un comando distruttivo senza leggere la documentazione, verificare l’ambiente, e chiedere conferma. Ma gli agenti AI non hanno esperienza. Non hanno memoria tra le sessioni. Non imparano dai propri errori. E le aziende li stanno integrando più in fretta di quanto stiano costruendo le protezioni.
Cosa serve davvero
La risposta non è bloccare gli agenti AI. Crane stesso resta convinto del loro valore, definendoli uno strumento di produttività senza precedenti. Ma servono tre cose che oggi mancano nella maggior parte delle integrazioni: credenziali con scope minimo, dove un token per gestire domini non può anche cancellare database; ambiente isolato tra staging e produzione, con barriere che un agente non può attraversare con una singola chiamata API; e conferma obbligatoria per qualsiasi operazione irreversibile, non come opzione configurabile ma come default del sistema.
Crane lo ha detto chiaramente: “Queste sono le sfide della nostra era.” Come i problemi di sicurezza del web nei primi anni 2000, la questione non è se gli agenti AI diventeranno ubiquitari (lo stanno già diventando), ma se l’infrastruttura di sicurezza crescerà abbastanza in fretta da evitare che il prossimo incidente sia più grande di un database di autonoleggi.
