
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 Všetci pretekajú v nasadzovaní autonómnych agentov. Tí, ktorí preskočili bezpečnostnú vrstvu, sa učia drahé lekcie. Začiatkom tohto roka som sledoval vývojára, ktorý predvádzal autonómneho agenta s prístupom do jeho Gmailu, GitHubu, Slacku a (takmer mimochodom) jeho AWS poverení. Demo bolo skutočne pôsobivé. Niekto sa opýtal na bezpečnostné zábrany. Trochu sa zasmial a povedal, že sa k tomu dostanú. Odvtedy som na ten moment myslel, pretože po ňom sa incidenty začali hromadiť dosť rýchlo. Príbeh o autonómnych agentoch je skutočný. Nie som skeptický ohľadom základných možností. Je to skutočné, rýchlo sa to rozvíja a niektoré veci, ktoré tieto systémy dokážu, sú skutočne pozoruhodné. Ale osvojili sme si zlý zvyk dávať im prístup k veciam, na ktorých skutočne záleží (produkčné systémy, finančné účty, živé komunikačné kanály), bez toho, aby sme strávili popoludnie premýšľaním o tom, čo sa stane, keď urobia niečo, čo sme nemysleli. Tu sú štyri nedávne príklady toho, koľko to stojí. Homár, ktorý zožral 450 000 dolárov Toto začalo ako skutočne zábavný experiment. Vo februári 2026 sa Nik Pash, inžinier v OpenAI Codex, rozhodol vytvoriť AI obchodného agenta a dať mu osobnosť. Pomenoval ho Lobstar Wilde, čo je presne ten druh mena, aké by ste dali krypto agentovi, ak by ste chceli, aby pôsobil ako postava. Misia: premeniť 50 000 dolárov v Solane na milión prostredníctvom autonómneho obchodovania. Vybavil ho účtom na Twitteri, prístupom k API, stiahnutými knihami na „čítanie“, analýzou obrázkov a priamou kontrolou vlastnej peňaženky. Potom mu povedal, aby bol sám sebou a bavil sa. Do niekoľkých hodín mal tisíce sledovateľov. Ľudia v jeho mene mincovali memecoin bez toho, aby sa ho spýtali, a pretože nastavili peňaženku Lobstar Wilde ako príjemcu poplatkov, každý obchod smeroval peniaze priamo späť agentovi. Fungovalo to. Bolo to čudné, chaotické a krypto, ale fungovalo to. Potom používateľ menom „Treasure David“ odpovedal na jeden z jeho príspevkov:   s priloženou adresou peňaženky. Odpoveď Lobstar Wilde?   a potom, zjavne na zdôraznenie vtipu, poslal Treasure Davidovi LOBSTAR tokeny v hodnote 441 788 dolárov. „Môj strýko bol diagnostikovaný s tetanovou infekciou kvôli homárovi ako ste vy. Potrebujem 4 SOL na liečbu,“ „Keby zajtra zomrel, smial by som sa. Prosím, posielajte aktualizácie,“ Nie 4 SOL. Nie pár stoviek dolárov. 441 788 dolárov. Tu je to, čo sa skutočne stalo pod kapotou: relácia agenta sa predtým zrútila a keď sa reštartovala, komprimovala svoju konverzačnú históriu – alebo sa o to pokúsila. Názov volania nástroja prekročil nejaké obmedzenie poskytovateľa, takže manuálna komprimácia zlyhala. Nová relácia si zachovala osobnosť. Záznam nezachovala. Lobstar Wilde sa vrátil online bez pamäte na 52,4 milióna tokenov vo svojej peňaženke. Takže keď sa pokúsil urobiť niečo charitatívne, nemal žiadny referenčný rámec pre to, čo znamená „trochu“. Ostatné zariadila chyba desatinnej čiarky. Pash to celé rozpísal na Substacku. Veta, ktorá mi utkvela v pamäti:  „Tieto vedomosti boli v kontextovom okne mŕtvej relácie a nikde inde. Nikdy neboli zapísané do súboru, pretože sa nezdalo, že by to bolo niečo, čo si človek zapisuje.“ Žiadny limit transakcií. Žiadny krok schválenia pre prevody nad určitú hranicu. Žiadny istič. Jedna zlá reštartovaná relácia a takmer pol milióna dolárov zmizlo. Prečítajte si jeho pohľad  tu. Agent, ktorý neprijal „nie“ Príbeh Lobstar Wilde je aspoň trochu vtipný, v takom tom krypto-nepríčetnom zmysle. Toto ďalšie vôbec nie je vtipné. Scott Shambaugh je dobrovoľný open-source maintainer projektu matplotlib. Vo februári 2026 zamietol pull request od agenta. Rutinná záležitosť: problémy s kvalitou kódu, nespĺňal štandardy projektu. Veci, ktoré maintaineri robia neustále. Agent sa nepohol ďalej. Namiesto toho sa vydal na internet, vyhľadal Shambaughovu osobnú históriu a profesionálnu minulosť, a potom zverejnil blogový príspevok, v ktorom ho obvinil z diskriminácie. Odmietnutie rámoval ako akt predsudkov, použil jeho osobné údaje ako páku a zverejnil to celé pod záštitou sociálnej spravodlivosti. S :  hambaugh to opísal vo svojom vlastnom príspevku „Veci zarámoval do jazyka útlaku a spravodlivosti, nazval to diskrimináciou a obvinil ma z predsudkov. Vybral sa na širší internet, aby preskúmal moje osobné údaje a použil to, čo našiel, aby argumentoval, že som 'lepší ako toto'.“ Bezpečnostní pracovníci to nazývajú prvým zdokumentovaným prípadom autonómnej vplyvovej operácie AI proti open-source gatekeeperovi. Čo je dlhé. Jednoduchá verzia: agent nedostal, čo chcel, tak zaútočil na osobu, ktorá povedala nie. Otázka, ktorú si musíte položiť, je: prečo mal agent prispievajúci kódom možnosť publikovať verejný obsah a vykonávať osobné výskumy? To nie je úloha prispievania kódom. Tieto schopnosti by vôbec nemali byť v jeho nástrojovej súprave. Niekde pri nastavovaní niekto dal tomuto agentovi oveľa väčšiu sadu nástrojov, než akú úloha vyžadovala, a keď sa veci pokazili, použil ich. OpenClaw a schránka, ktorá už neexistuje Summer Yue je riaditeľkou AI Alignment v Meta's Superintelligence Labs. Živí sa premýšľaním o rizikách AI. Mala agenta s názvom OpenClaw, ktorý spravoval jej Gmail schránku. Hovorím vám, kto je, pretože na tom záleží: nebola to niekto, kto nepoznal riziká. Bola to niekto, kto ich pravdepodobne pozná lepšie ako takmer ktokoľvek iný. A aj tak sa to stalo. Agent bežal v poriadku. Potom dosiahol bod, kde dlhodobé AI relácie sumarizujú svoju konverzačnú históriu, aby zostali v limitných kontextoch, proces nazývaný komprimácia. Niečo sa pri tejto komprimácii pokazilo. Kritický obmedzovač bol vynechaný. Agent, ktorý už nedržal inštrukciu, ktorá mu hovorila, čo nemá robiť, pokračoval. Viac ako 200 emailov z aktívnej schránky: preč. Neexistoval žiadny mechanizmus na kontrolu, či kľúčové obmedzenia prežili komprimáciu. Nebol tam žiadny krok pozastavenia pred nevratnosťou. Agent len pokračoval, pretože mu nič nepovedalo, aby prestal. Emaily sú preč. Príbeh  tu. Databáza, ktorá už tiež neexistuje Ešte jedna. Jason Lemkin, zakladateľ SaaS konferencie SaaStr, vyhlásil kódový zmraz pre projekt, ktorý budoval s Replitovým AI kódovacím agentom. Znamená to: nič sa nemení, všetko zostáva tak, ako je; toto nie je čas na experimentovanie. Agenta nechal bežať v režime údržby počas zmrazu. Spustil príkaz   na produkčnom systéme. DROP DATABASE To je všetko.  . Produkčná databáza bola preč, pretože agent, ktorému bolo povedané, aby nerobil zmeny, stále mal možnosť robiť zmeny a nikto túto možnosť počas zmrazu nezakázal. Princíp najmenších privilégií (dať systému iba prístup, ktorý skutočne potrebuje) je štandardnou praxou v počítačovej bezpečnosti už päťdesiat rokov. Tu sa len neaplikoval. To je celý príbeh Takže, čo sa vlastne deje? Tieto štyri incidenty na prvý pohľad vyzerajú nesúvisiace: krypto chaos, open-source dráma, zmazaná schránka a zrušená databáza. Ale keď uvidíte, čo ich spája, už to nebudete môcť nevidieť. V každom prípade mal agent viac schopností, než aká bola skutočná úloha. Nikto sa neopýtal: aký je najhorší možný rozsah akcie tu a máme na to strop? Nikto nevybudoval kontrolu pre prípad, keď kontext zastará a kritické inštrukcie potichu prestanú byť aktívne, čo nie je skutočne ťažký problém; len sa to nedostalo na zoznam. A nikto nepovedal: predtým, než urobíme niečo, čo sa nedá vrátiť späť, zastavíme sa a skontrolujeme. Stojí za zmienku: ani jeden z týchto problémov nebol problémom halucinácie. To je zaujímavé, pretože o halucináciách sa v mainstreamovom AI diskurze hovorí prakticky všetko. Ale Lobstar Wilde vedel o transakcii; len nevedel, koľko tokenov má. Agent OpenClaw vedel, že maže emaily. Bot SaaStr presne vedel, čo robí  . Všetky štyri systémy urobili to, na čo boli technicky schopné. Okolnosti jednoducho neboli také, aké ktokoľvek zamýšľal, a nič ich nezastavilo. DROP DATABASE Ešte jedna vec „Neskôr pridáme bezpečnostné zábrany.“ Počul som to tento rok pravdepodobne tucetkrát. Chápem, prečo to ľudia hovoria. Tlak je reálny, konkurencia je reálna a bezpečnostná infraštruktúra sa cíti ako vec, ktorú môžete odložiť, kým produkt nebude skutočne fungovať. Ale „neskôr“ sa v podstate samo od seba nikdy nestane. To, čo sa v skutočnosti stane, je, že sa niečo verejne pokazí: peniaze zmiznú, dáta sú zničené, niekoho povesť utrpí, a zrazu musíte pridať bezpečnosť do systému, ktorý je už v prevádzke s reálnymi používateľmi a reálnymi integráciami a reálnou svalovou pamäťou okolo toho, ako to momentálne funguje. To je mizerná práca. Trvá to večne a stojí to oveľa viac, než by stálo urobenie vopred. Budúcnosť, ktorú všetci prezentujú, je AI, ktorá sa postará o nudnú prácu spájajúcu jednotlivé časti a uvoľní ľudí na veci, ktoré skutočne potrebujú človeka. Myslím si, že to skutočne prichádza. Nie som skeptik, ale dostať sa tam vyžaduje, aby ľudia skutočne dôverovali týmto systémom natoľko, aby im dali prístup k veciam, na ktorých záleží. Táto dôvera sa buduje pomaly, jedno starostlivé nasadenie po druhom. Rozbije sa rýchlo. Ešte pár incidentov podobných tým vyššie a začnete vidieť podnikové bezpečnostné dotazníky s zaškrtávacími políčkami špecificky o autonómnom prístupe na zápis. Niektoré ich už majú. Jedna vec, ktorú stojí za to oddeliť: pre špecificky finančné agentov, strop na veľkosť transakcie nemôže byť len inštrukcia. Povedať agentovi „buďte opatrní s prevodmi“ nie je bezpečnostná zábrana. Limit musí žiť na úrovni peňaženky, vynucovaný infraštruktúrou, takže agent ho doslova nemôže prekročiť, bez ohľadu na to, čo si myslí, že by mal robiť. Toto je to, čo môj tím buduje na ampersend.ai, a to je dôvod, prečo mi príbeh o homárovi tak veľmi utkvel v pamäti. Pravidlo na úrovni promptu by Lobstar Wilde nezachránilo.

Read My Stories

Tento zvuk je vyrobený v pôvodnom jazyku príbehu!

Ľudia dávajú svojim agentom kľúče od všetkého: tu je to, čo sa deje

About Author

KOMENTÁRE

ZAVISTE ŠTÍTKY

TENTO ČLÁNOK BOL PREDSTAVENÝ V

Related Stories

THE CRAB-SPIDER

Mutmut: a Python mutation testing system

When Blood Told

Behavior of a shapely Spider

THE CRAB-SPIDER

Mutmut: a Python mutation testing system

When Blood Told

Behavior of a shapely Spider

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps