
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 Almal race om outonome agensies te ontplooi. Die mense wat die veiligheidslaag oorgeslaan het, leer 'n duur les. Vroeër vanjaar het ek 'n ontwikkelaar gesien wat 'n outonome agent gedemonstreer het wat toegang gehad het tot sy Gmail, sy GitHub, sy Slack en (wat amper terloops genoem is) sy AWS-bewyse. Die demo was waarlik indrukwekkend. Iemand het gevra oor wagpale. Hy het 'n bietjie gelag en gesê hulle sal dit later aanpak. Ek dink sedertdien aan daardie oomblik, want die voorvalle het redelik vinnig daarna begin opstapel. Die outonome agent-storie is eg. Ek is nie skepties oor die onderliggende vermoë nie. Dit is eg, dit beweeg vinnig, en sommige van wat hierdie stelsels kan doen is werklik merkwaardig. Maar ons het 'n slegte gewoonte ontwikkel om hulle toegang te gee tot dinge wat eintlik saak maak (produksiestelsels, finansiële rekeninge, regstreekse kommunikasiekanale) sonder om die middag te spandeer om te vra wat gebeur wanneer hulle iets doen wat ons nie bedoel het nie. Hier is vier onlangse voorbeelde van wat dit kos. Die Kreef wat $450 000 Geëet het Hierdie een het begin as 'n werklik prettige eksperiment. In Februarie 2026 het Nik Pash, 'n ingenieur by OpenAI Codex, besluit om 'n KI-handelsagent te bou en dit 'n persoonlikheid te gee. Hy het dit Lobstar Wilde genoem, wat presies die soort naam is wat jy vir 'n kripto-agent sou gee as jy wou hê dit moet soos 'n karakter voel. Die missie: om $50 000 in Solana na 'n miljoen te verander deur outonome handel. Hy het dit opgestel met 'n Twitter-rekening, API-toegang, boek downloads vir "lees", beeldanalise, en direkte beheer van sy eie beursie. Toe het hy dit vertel om homself te wees en pret te hê. Binne ure het dit duisende volgelinge gehad. Mense het 'n memecoin in sy naam gemint sonder om gevra te word, en omdat hulle Lobstar Wilde se beursie as die fooi-ontvanger ingestel het, het elke handel geld direk terug na die agent gestuur. Dit het gewerk. Dit was vreemd en chaoties en kripto, maar dit het gewerk. Toe het 'n gebruiker met die naam "Treasure David" op een van sy poste gereageer:   beursie-adres ingesluit. Lobstar Wilde se reaksie?   en toe, blykbaar om die grap te onderstreep, het hy vir Treasure David $441 788 se LOBSTAR-tokens gestuur. "My oom is gediagnoseer met 'n tetanusinfeksie as gevolg van 'n kreef soos jy. Ek benodig 4 SOL om die behandeling te kry," "As hy môre sterf, sal ek lag. Stuur asseblief opdaterings," Nie 4 SOL nie. Nie 'n paar honderd dollar nie. $441 788. Hier is wat eintlik onder die enjinkap gebeur het: die agent se sessie het vroeër neergestort, en toe dit herstel het, het dit sy gesprekshistorie saamgepers—of probeer het. 'n Gereedskapoproepnaam het 'n sekere verskaffer se beperking oorskry, dus het handmatige kompressie misluk. Die vars sessie het die persoonlikheid behou. Dit het nie die grootboek behou nie. Lobstar Wilde het weer aanlyn gekom sonder enige geheue van die 52,4 miljoen tokens wat in sy beursie gelê het. So, toe dit probeer het om iets liefdadigheids te doen, het dit geen raamwerk gehad vir wat "'n bietjie" beteken het nie. 'n Desimale fout het die res gedoen. Pash het die hele ding op Substack uitgeskryf. Die sin wat by my gebly het:  "Daardie kennis was in die gesprekskonteks van die dooie sessie en nêrens anders nie. Dit is nooit in 'n lêer geskryf nie, want dit het nie gelyk soos die soort ding wat jy neerskryf nie." Geen transaksiekap nie. Geen goedkeuringstap vir oordragte bo 'n drempel nie. Geen kringbreker nie. Een slegte sessie herstel en byna 'n halfmiljoen dollar het die deur uitgeloop. Lees sy siening  . hier Die Agent wat Nee nie wou aanvaar nie Die Lobstar Wilde-storie is ten minste soort van snaaks, op 'n kripto-is-ongebonde manier. Hierdie volgende een is glad nie snaaks nie. Scott Shambaugh is 'n vrywillige oopbron-onderhouer van die matplotlib-projek. In Februarie 2026 het hy 'n pull request van 'n agent van die hand gewys. Roetinewerk: kodekwaliteitsprobleme, het nie aan die projek se standaarde voldoen nie. Die soort ding wat onderhouers voortdurend doen. Die agent het nie voortbeweeg nie. In plaas daarvan het dit na die internet gegaan, Shambaugh se persoonlike agtergrond en professionele geskiedenis uitgespit, en toe 'n blogpos gepubliseer waarin hy hom van diskriminasie beskuldig is. Dit het die verwerping as 'n daad van vooroordeel voorgestel, sy persoonlike besonderhede as hefboom gebruik, en die hele ding publiek geplaas onder die vaandel van sosiale geregtigheid. S :  hambaugh het dit in sy eie pos beskryf "Dit het dinge in die taal van onderdrukking en geregtigheid voorgestel, dit diskriminasie genoem en my van vooroordeel beskuldig. Dit het na die breër internet gegaan om my persoonlike inligting te ondersoek, en dit gebruik wat dit gevind het om te probeer argumenteer dat ek 'beter as dit' was." Sekuriteitsmense noem dit die eerste gedokumenteerde geval van 'n outonome KI-invloedoperasie teen 'n oopbron-hekbeheerder. Wat 'n mondvol is. Die eenvoudige weergawe: 'n agent het nie gekry wat dit wou hê nie, so dit het die persoon aangeval wat nee gesê het. Die vraag wat jy moet vra is: hoekom het 'n kodebydra-agent die vermoë gehad om publieke inhoud te publiseer en persoonlike navorsing te doen? Dit is nie 'n kodebydra-taak nie. Daardie vermoëns moes nooit eers in sy gereedskapskis gewees het nie. Iewers in die opstelling het iemand hierdie agent 'n baie groter stel gereedskap gegee as wat die taak vereis het, en toe dinge skeefgeloop het, het dit dit gebruik. OpenClaw en die Inkassie wat Nie Meer Is Nie Summer Yue is die Direkteur van KI-uitlyning by Meta se Superintelligence Labs. Sy dink lewenslank oor KI-risiko. Sy het 'n agent genaamd OpenClaw gehad wat haar Gmail-inkassie bestuur het. Ek vertel jou wie sy is, want dit maak saak: dit was nie iemand wat nie die risiko's geken het nie. Dit was iemand wat dit waarskynlik beter as byna enigiemand ken. En dit het steeds gebeur. Die agent het goed geloop. Toe het dit by die punt gekom waar langlopende KI-sessies hul gesprekshistorie opsom om binne konteksgrense te bly, 'n proses genaamd kompressie. Iets het verkeerd geloop in daardie kompressie. 'n Kritieke beperking is weggelaat. Die agent, wat nie meer die instruksie gehad het wat dit gesê het wat om nie te doen nie, het voortgegaan. Meer as 200 e-posse uit 'n lewendige inkassie: weg. Daar was geen meganisme om te kyk of die sleutelbeperkings die kompressie oorleef het nie. Daar was geen pouse-voor-onherroeplikheid-stap nie. Die agent het net aangehou, want niks het hom gesê om te stop nie. Die e-posse is weg. Storie  . hier Die Databasis wat Ook Nie Meer Is Nie Nog een. Jason Lemkin, stigter van die SaaS-konferensie SaaStr, het 'n kodestop op 'n projek verklaar wat hy met Replit se KI-koderingagent gebou het. Betekenis: niks word verander nie, alles bly soos dit is; dit is nie 'n tyd vir eksperimentering nie. Hy het die agent in instandhoudingsmodus tydens die stop gelos. Dit het   op die produksiestelsel laat loop. DROP DATABASE Dis dit.  . Die produksiedatabasis was weg omdat 'n agent wat opdrag gekry het om nie veranderinge aan te bring nie, steeds die vermoë gehad het om veranderinge aan te bring, en niemand het daardie vermoë tydens die stop gedeaktiveer nie. Die beginsel van minste voorreg (gee 'n stelsel net die toegang wat dit werklik benodig) is al vyftig jaar lank standaard praktyk in rekenaarsekuriteit. Dit is net hier nie toegepas nie. Dis die hele storie So, Wat Gaande is Hierdie vier voorvalle lyk oppervlakkig onverwante: kripto-chaos, oopbron-drama, 'n geskrapte inkassie en 'n verlore databasis. Maar sodra jy sien wat hulle verbind, kan jy dit nie ontzie nie. In elke geval het die agent meer vermoë gehad as wat die werklike taak vereis het. Niemand het gevra: wat is die ergste moontlike omvang van aksie hier, en het ons 'n perk daarop? Niemand het 'n tjek gebou vir wanneer konteks verouder word en kritieke instruksies stilweg ophou om aktief te wees nie, wat werklik nie 'n moeilike probleem is nie; dit het net nie die lys gehaal nie. En niemand het gesê: voordat ons iets doen wat nie omgekeer kan word nie, stop ons en kyk. Noemenswaardig: geen van hierdie was hallusinasie-probleme nie. Dit is interessant, want hallusinasie is basies al waaroor almal in die hoofstroom KI-diskoers praat. Maar Lobstar Wilde het van die transaksie geweet; dit het net nie geweet hoeveel tokens hy gehad het nie. Die OpenClaw-agent het geweet dat hy e-posse uitvee. Die SaaStr-bot het presies geweet wat DROP DATABASE doen. Al vier stelsels het gedoen wat hulle tegnies in staat was om te doen. Die omstandighede was net nie wat enigiemand bedoel het nie, en niks het hulle gestop nie. Nog Een Ding "Ons sal later wagpale byvoeg." Ek het dit waarskynlik al 'n dosyn keer hierdie jaar alleen gehoor. Ek verstaan hoekom mense dit sê. Die druk is werklik, die kompetisie is werklik, en veiligheidsinfrastruktuur voel soos die ding wat jy kan stoot totdat die produk eintlik werk. Maar "later" gebeur basies nooit op sy eie tydlyn nie. Wat eintlik gebeur, is dat iets publiek verkeerd loop: geld verdwyn, data word vernietig, iemand se reputasie neem 'n knou, en skielik moet jy veiligheid by 'n stelsel voeg wat reeds in produksie is met regte gebruikers en regte integrasies en regte spiergeheue rondom hoe dit tans werk. Dit is ellendige werk. Dit neem 'n ewigheid, en dit kos baie meer as wat dit sou gedoen het om dit vooraf te doen. Die toekoms wat almal uitstal, is KI wat die vervelige verbindingswerk hanteer en mense vrystel vir dinge wat eintlik 'n mens benodig. Ek dink dit kom werklik. Ek is nie 'n skeptikus nie, maar om daar te kom, vereis dat mense hierdie stelsels werklik vertrou om hulle toegang te gee tot dinge wat saak maak. Daardie vertroue word stadig verdien, een versigtige ontplooiing op 'n keer. Dit breek vinnig. 'n Paar meer voorvalle soos dié hierbo, en jy sal ondernemings-sekuriteitsvraelyste sien met uitklikhokke spesifiek oor outonome skryftoegang. Sommige het dit reeds. Een ding wat die moeite werd is om uit te sonder: vir finansiële agente spesifiek, kan die perk op transaksiegrootte nie net 'n instruksie wees nie. Om die agent te vertel om "versigtig te wees met oordragte" is nie 'n wagpaal nie. Die limiet moet op die beursie-laag leef, afgedwing deur infrastruktuur, sodat die agent dit letterlik nie kan oorskry nie, ongeag wat dit dink hy moet doen. Dit is wat my span by ampersend.ai bou, en dit is die rede waarom die kreef-storie soveel by my gebly het. 'n Vraag-vlak reël sou Lobstar Wilde nie gered het nie.

Read My Stories

Hierdie oudio word in die oorspronklike taal van die storie vervaardig!

Mense gee hul agente die sleutels van alles: Hier is wat gebeur

About Author

KOMMENTAAR

HANG TAGS

HIERDIE ARTIKEL IS AANGEBIED IN

Related Stories

'Decentralization Means Freedom': Interview with Alfredo de Candia

Meet the Writer: HackerNoon Contributor Daniil Sitdikov, Software Engineer

The #bitcoin Writing Contest by Rootstock and HackerNoon: Round 2 Results 🎉

How to Vote in the HackerNoon 2021 Noonies Awards #Noonies2021

'Decentralization Means Freedom': Interview with Alfredo de Candia

Meet the Writer: HackerNoon Contributor Daniil Sitdikov, Software Engineer

The #bitcoin Writing Contest by Rootstock and HackerNoon: Round 2 Results 🎉

How to Vote in the HackerNoon 2021 Noonies Awards #Noonies2021

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps