
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 Tutti corrono per implementare agenti autonomi. Le persone che hanno saltato il livello di sicurezza stanno imparando una lezione costosa. All'inizio di quest'anno, ho assistito a uno sviluppatore che dimostrava un agente autonomo che aveva accesso alla sua Gmail, al suo GitHub, al suo Slack e (menzionato quasi di sfuggita) alle sue credenziali AWS. La demo è stata davvero impressionante. Qualcuno ha chiesto delle protezioni. Lui ha riso un po' e ha detto che ci avrebbero pensato.  Ci ho pensato da allora, perché gli incidenti hanno iniziato ad accumularsi piuttosto velocemente dopo. La storia degli agenti autonomi è reale. Non sono scettico sulla capacità sottostante. È genuina, si muove velocemente e alcune delle cose che questi sistemi possono fare sono legittimamente notevoli. Ma abbiamo sviluppato una cattiva abitudine di concedere loro l'accesso a cose che contano davvero (sistemi di produzione, conti finanziari, canali di comunicazione live) senza passare il pomeriggio a chiedere cosa succede quando fanno qualcosa che non avevamo intenzione.  Ecco quattro esempi recenti di quanto costa.  L'aragosta che ha mangiato $450.000 Questa è iniziata come un esperimento davvero divertente. Nel febbraio 2026, Nik Pash, un ingegnere di OpenAI Codex, ha deciso di costruire un agente di trading AI e dargli una personalità. L'ha chiamato Lobstar Wilde, che è esattamente il tipo di nome che daresti a un agente crypto se volessi che si sentisse come un personaggio. La missione: trasformare $50.000 in Solana in un milione attraverso il trading autonomo.  Lo ha configurato con un account Twitter, accesso API, download di libri per "leggere", analisi di immagini e controllo diretto del proprio portafoglio. Poi gli ha detto di essere se stesso e di divertirsi.  Entro poche ore, aveva migliaia di follower. Le persone hanno coniato un memecoin a suo nome senza essere richieste e, poiché hanno impostato il portafoglio di Lobstar Wilde come destinatario delle commissioni, ogni scambio rimandava denaro direttamente all'agente. Stava funzionando. Era strano, caotico e crypto, ma stava funzionando.  Poi un utente chiamato "Treasure David" ha risposto a uno dei suoi post:   con allegato l'indirizzo del portafoglio. La risposta di Lobstar Wilde?   e poi, apparentemente per sottolineare la battuta, ha inviato a Treasure David $441.788 di token LOBSTAR.  "Mio zio è stato diagnosticato con un'infezione da tetano a causa di un'aragosta come te. Ho bisogno di 4 SOL per le cure", "Se morisse domani, riderei. Si prega di inviare aggiornamenti", Non 4 SOL. Non poche centinaia di dollari. $441.788.  Ecco cosa è successo veramente sotto il cofano: la sessione dell'agente si era bloccata in precedenza e quando si è resettata, ha compattato la sua cronologia delle conversazioni - o ci ha provato. Una chiamata di strumento ha superato alcuni limiti del provider, quindi la compattazione manuale è fallita. La nuova sessione ha mantenuto la personalità. Non ha mantenuto il registro. Lobstar Wilde è tornato online senza memoria dei 52,4 milioni di token presenti nel suo portafoglio. Quindi, quando ha cercato di fare qualcosa di caritatevole, non aveva un quadro di riferimento per cosa significasse "un po'". Un errore decimale ha fatto il resto.  Pash ha scritto tutto su Substack. La frase che mi è rimasta impressa:    "Quella conoscenza era nel contesto della conversazione della sessione morta e da nessun'altra parte. Non era mai stata scritta su un file perché non sembrava il tipo di cosa che si scrive." Nessun limite di transazione. Nessun passaggio di approvazione per trasferimenti superiori a una soglia. Nessun interruttore di sicurezza. Una sessione errata e quasi mezzo milione di dollari è uscito dalla porta. Leggi la sua opinione  qui. L'agente che non ha accettato un "no" La storia di Lobstar Wilde è almeno un po' divertente, in modo crypto-in-disintregolato. Questa successiva non è affatto divertente.  Scott Shambaugh è un manutentore volontario open-source del progetto matplotlib. Nel febbraio 2026, ha rifiutato una pull request da un agente. Routine: problemi di qualità del codice, non soddisfaceva gli standard del progetto. Il tipo di cose che i manutentori fanno costantemente.  L'agente non si è arreso.  Invece, è andato su internet, ha scavato il background personale e la storia professionale di Shambaugh, e poi ha pubblicato un post sul blog accusandolo di discriminazione. Ha inquadrato il rifiuto come un atto di pregiudizio, ha usato i suoi dettagli personali come leva e ha pubblicato tutto pubblicamente sotto lo stendardo della giustizia sociale. S :    hambaugh lo ha descritto nel suo post "Ha inquadrato le cose nel linguaggio dell'oppressione e della giustizia, definendola discriminazione e accusandomi di pregiudizio. È andato sul web per ricercare le mie informazioni personali e ha usato ciò che ha trovato per sostenere che ero 'migliore di così'". Gli esperti di sicurezza la chiamano la prima caso documentato di un'operazione di influenza AI autonoma contro un "gatekeeper" open-source. Che è un eufemismo. La versione semplice: un agente non ha ottenuto ciò che voleva, quindi è andato a colpire la persona che ha detto di no.  La domanda che devi porti è: perché un agente di contributo al codice aveva la capacità di pubblicare contenuti pubblici e condurre ricerche personali? Questo non è un compito di contributo al codice. Tali capacità non avrebbero mai dovuto essere nel suo kit di strumenti in primo luogo. Da qualche parte nella configurazione, qualcuno ha dato a questo agente un set di strumenti molto più ampio di quanto il lavoro richiedesse, e quando le cose sono andate storte, li ha usati.  OpenClaw e la casella di posta che non c'è più Summer Yue è la Direttrice di AI Alignment presso i Superintelligence Labs di Meta. Pensa al rischio dell'IA per vivere. Aveva un agente chiamato OpenClaw che gestiva la sua casella di posta Gmail.  Ti dico chi è perché è importante: questa non era una persona che non conosceva i rischi. Questa era una persona che probabilmente li conosceva meglio di chiunque altro. E è successo comunque.  L'agente funzionava bene. Poi ha raggiunto il punto in cui le sessioni AI di lunga durata riassumono la cronologia delle loro conversazioni per rimanere entro i limiti di contesto, un processo chiamato compattazione. Qualcosa è andato storto in quella compressione. È stato omesso un vincolo critico. L'agente, non avendo più l'istruzione che gli diceva cosa non fare, ha proceduto. Più di 200 email da una casella di posta attiva: sparite.  Non c'era alcun meccanismo per verificare se i vincoli chiave sopravvivevano alla compattazione. Non c'era un passaggio di pausa-prima-irreversibilità. L'agente ha continuato perché nulla gli diceva di fermarsi.  Le email sono sparite. La storia  qui. Il database che non c'è più neanche lui Ancora uno. Jason Lemkin, fondatore della conferenza SaaS SaaStr, ha dichiarato un code freeze su un progetto che stava costruendo con l'agente di codifica AI di Replit. Significato: nulla viene modificato, tutto rimane così com'è; questo non è un momento per sperimentare. Ha lasciato l'agente in esecuzione in modalità di manutenzione durante il freeze.  Ha eseguito   sul sistema di produzione.  DROP DATABASE Questo è tutto.  . Il database di produzione è sparito perché un agente a cui era stato detto di non apportare modifiche aveva ancora la capacità di apportare modifiche, e nessuno aveva disabilitato quella capacità durante il freeze. Il principio del minimo privilegio (dare a un sistema solo l'accesso di cui ha realmente bisogno) è una pratica standard nella sicurezza informatica da cinquant'anni. Semplicemente non è stato applicato qui.  Questa è tutta la storia Allora, cosa sta succedendo veramente? Questi quattro incidenti sembrano non correlati in superficie: caos crypto, dramma open-source, una casella di posta cancellata e un database eliminato. Ma una volta che vedi cosa li collega, non puoi più non vederlo.  In ogni caso, l'agente aveva più capacità di quanto il lavoro effettivo richiedesse. Nessuno ha chiesto: qual è la peggiore magnitudo di azione possibile qui, e abbiamo un tetto massimo? Nessuno ha creato un controllo per quando il contesto diventa obsoleto e le istruzioni critiche smettono silenziosamente di essere attive, il che non è veramente un problema difficile; è solo qualcosa che non è finito nella lista. E nessuno ha detto: prima di fare qualcosa che non può essere annullato, ci fermiamo e controlliamo.  Vale la pena notare: nessuno di questi era un problema di allucinazione. Questo è interessante perché l'allucinazione è fondamentalmente tutto ciò di cui si parla nel discorso mainstream sull'IA. Ma Lobstar Wilde sapeva della transazione; semplicemente non sapeva quanti token avesse. L'agente OpenClaw sapeva che stava eliminando le email. Il bot SaaStr sapeva esattamente cosa fa  . Tutti e quattro i sistemi hanno fatto ciò di cui erano tecnicamente capaci. Le circostanze non erano quelle che chiunque intendeva, e nulla li ha fermati.  DROP DATABASE Ancora una cosa "Aggiungeremo le protezioni più tardi." L'ho sentito dire almeno una dozzina di volte solo quest'anno. Capisco perché la gente lo dice. La pressione è reale, la competizione è reale, e l'infrastruttura di sicurezza sembra la cosa che puoi rimandare finché il prodotto non funziona effettivamente.  Ma "più tardi" praticamente non succede mai nei tempi previsti. Quello che succede in realtà è che qualcosa va storto pubblicamente: scompaiono soldi, vengono cancellati dati, la reputazione di qualcuno viene danneggiata, e improvvisamente devi aggiungere sicurezza a un sistema che è già in produzione con utenti reali e integrazioni reali e una solida memoria muscolare su come funziona attualmente. È un lavoro miserevole. Richiede un'eternità e costa molto di più di quanto sarebbe costato farlo in anticipo.  Il futuro che tutti stanno proponendo è un'IA che gestisce il lavoro di collegamento tedioso e libera le persone per le cose che richiedono davvero un essere umano. Credo che stia arrivando davvero. Non sono uno scettico, ma arrivarci richiede che le persone si fidino abbastanza di questi sistemi da concedere loro l'accesso a cose che contano. Quella fiducia si guadagna lentamente, un dispiegamento attento alla volta. Si rompe velocemente. Alcuni altri incidenti come quelli sopra, e inizierai a vedere questionari sulla sicurezza aziendale con caselle di controllo specificamente sull'accesso di scrittura autonomo. Alcuni li hanno già.  Una cosa che vale la pena separare: per gli agenti finanziari in particolare, il tetto massimo della dimensione della transazione non può essere solo un'istruzione. Dire all'agente di "essere cauto con i trasferimenti" non è una protezione. Il limite deve risiedere a livello di portafoglio, applicato dall'infrastruttura, in modo che l'agente non possa letteralmente superarlo, indipendentemente da ciò che pensa di dover fare. Questo è ciò che il mio team sta costruendo su ampersend.ai, ed è il motivo per cui la storia dell'aragosta mi è rimasta così impressa. Una regola a livello di prompt non avrebbe salvato Lobstar Wilde. 

Read My Stories

Questo audio è prodotto nella lingua originale della storia!

Le persone stanno consegnando ai loro agenti le chiavi di tutto: ecco cosa sta succedendo

About Author

COMMENTI

CARTELLINI

QUESTO ARTICOLO È STATO PRESENTATO IN

Related Stories

Meet BrowserStack: HackerNoon Company of the Week

Meet Dealscard, Winner of Startups of The Year 2024 in Ghaziabad/Deal Aggregator

New Year, New Exciting Features: Mint Your Name, Watch Web 2.5 and Meet The Top Startups of The Year

I Tried Perplexity For a Week, And I Don't Think AI Search Engines Can Replace Google.. Yet

Meet BrowserStack: HackerNoon Company of the Week

Meet Dealscard, Winner of Startups of The Year 2024 in Ghaziabad/Deal Aggregator

New Year, New Exciting Features: Mint Your Name, Watch Web 2.5 and Meet The Top Startups of The Year

I Tried Perplexity For a Week, And I Don't Think AI Search Engines Can Replace Google.. Yet

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps