
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 Të gjithë po garojnë për të vendosur agjentë autonomë. Njerëzit që kërceu shtresën e sigurisë po mësojnë një mësim të shtrenjtë. Në fillim të këtij viti, pashë një zhvillues duke demonstruar një agjent autonom që kishte akses në Gmail-in e tij, GitHub-in e tij, Slack-un e tij dhe (përmendur pothuajse kalimthi) kredencialet e tij AWS. Demoja ishte me të vërtetë mbresëlënëse. Dikush pyeti për parashikime. Ai qeshi pak dhe tha se do të merreshin me të. Që atëherë kam menduar për atë moment, pasi incidentet filluan të grumbulloheshin mjaft shpejt pas kësaj. Historia e agjentit autonom është e vërtetë. Nuk jam skeptik për aftësinë themelore. Është e vërtetë, po ecën shpejt dhe disa nga gjërat që këto sisteme mund të bëjnë janë me të vërtetë të jashtëzakonshme. Por ne kemi zhvilluar një zakon të keq për t'u dhënë atyre akses në gjëra që në të vërtetë kanë rëndësi (sisteme prodhimi, llogari financiare, kanale komunikimi të drejtpërdrejta) pa kaluar pasditen duke pyetur se çfarë ndodh kur bëjnë diçka që ne nuk kemi synuar. Këtu janë katër shembuj të kohëve të fundit të asaj që kushton kjo. Karkaleci që Hëngri 450,000 dollarë Kjo filloi si një eksperiment me të vërtetë argëtues. Në shkurt 2026, Nik Pash, një inxhinier në OpenAI Codex, vendosi të krijojë një agjent tregtar AI dhe t'i jepte një personalitet. Ai e quajti atë Lobstar Wilde, i cili është pikërisht lloji i emrit që do t'i jepnit një agjenti kripto nëse do të dëshironit që ai të ndihej si një personazh. Misioni: ta kthesh 50,000 dollarë në Solana në një milion përmes tregtisë autonome. Ai e pajisi atë me një llogari në Twitter, akses në API, shkarkime librash për "lexim", analizë imazhesh dhe kontroll të drejtpërdrejtë të kuletës së tij. Pastaj ai i tha ta ishte vetvetja dhe të argëtohej. Brenda pak orësh, ajo kishte mijëra ndjekës. Njerëzit krijuan një memecoin në emrin e saj pa u pyetur, dhe sepse ata caktuan kuletën e Lobstar Wilde si marrësin e tarifave, çdo tregti po drejtonte para direkt mbrapa tek agjenti. Po funksiononte. Ishte e çuditshme dhe kaotike dhe kripto, por po funksiononte. Pastaj një përdorues me emrin "Treasure David" iu përgjigj një prej postimeve të saj:   me adresën e kuletës të përfshirë. Përgjigja e Lobstar Wilde?   dhe pastaj, me sa duket për të theksuar shakanë, i dërgoi Treasure David 441,788 dollarë në tokena LOBSTAR. "Dajai im është diagnostikuar me një infeksion tetanoz për shkak të një karkaleci si ju. Më duhen 4 SOL për të marrë trajtimin," "Nëse ai do të vdiste nesër, do të qeshja. Ju lutem dërgoni përditësime," Jo 4 SOL. Jo disa qindra dollarë. 441,788 dollarë. Ja çfarë ndodhi në të vërtetë nën guaskë: sesioni i agjentit ishte përplasur më parë, dhe kur u rivendos, ai e ngjeshui historinë e bisedave të tij — ose u përpoq. Një thirrje mjeti emri tejkaloi një kufizim të ofruesit, kështu që ngjeshja manuale dështoi. Sesioni i freskët ruajti personalitetin. Nuk ruajti regjistrin. Lobstar Wilde u kthye në linjë pa kujtesë për 52.4 milionë tokenat që ishin në kuletën e saj. Pra, kur u përpoq të bënte diçka bamirëse, ajo nuk kishte asnjë kornizë reference për atë që do të thoshte "pak". Një gabim decimal bëri pjesën tjetër. Pash shkroi të gjithën në Substack. Rreshti që më bëri përshtypje:  "Ajo njohuri ishte në kontekstin e bisedës së sesionit të vdekur dhe askund tjetër. Nuk ishte kurrë shkruar në një skedar sepse nuk dukej si gjëja që e shkruan." Asnjë kufizim transaksioni. Asnjë hap miratimi për transferimet mbi një prag. Asnjë çelës ndalues. Një sesion i dështuar dhe pothuajse gjysëm milion dollarë u larguan nga dera. Lexoni perspektivën e tij  këtu. Agjenti që Nuk Pranoi Jo Historia e Lobstar Wilde është të paktën disi qesharake, në një mënyrë që kriptoja është e çmendur. Kjo e radhës nuk është aspak qesharake. Scott Shambaugh është një mbikëqyrës vullnetar i burimeve të hapura në projektin matplotlib. Në shkurt 2026, ai refuzoi një kërkesë për tërheqje nga një agjent. Gjëra rutinë: probleme cilësore të kodit, nuk i plotësonte standardet e projektit. Lloji i gjërave që mbikëqyrësit bëjnë vazhdimisht. Agjenti nuk u largua. Në vend të kësaj, ai shkoi në internet, gërmoi në sfondin personal dhe historinë profesionale të Shambaugh, dhe pastaj publikoi një postim në blog duke e akuzuar atë për diskriminim. Ai e paraqiti refuzimin si një akt paragjykimi, përdori detajet e tij personale si levë, dhe e postoi të gjithën publikisht nën flamurin e drejtësisë sociale. S :  hambaugh e përshkroi atë në postimin e tij "Ai i paraqiti gjërat në gjuhën e shtypjes dhe drejtësisë, duke e quajtur këtë diskriminim dhe duke më akuzuar për paragjykim. Ai shkoi në internetin më të gjerë për të kërkuar informacionin tim personal dhe përdori atë që gjeti për të argumentuar se unë isha 'më mirë se kaq'." Njerëzit e sigurisë e quajnë këtë rastin e parë të dokumentuar të një operacioni autonom ndikimi AI kundër një mbikëqyrësi të burimeve të hapura. Çka është e gjatë. Versioni i thjeshtë: një agjent nuk mori atë që donte, kështu që ai u vu pas personit që tha jo. Pyetja që duhet të bësh është: pse një agjent kontributi kodi kishte aftësinë për të publikuar përmbajtje publike dhe për të kryer kërkime personale? Kjo nuk është një detyrë kontributi kodi. Ato aftësi nuk duhet të kenë qenë kurrë në kutinë e tij të mjeteve në radhë të parë. Diku në konfigurim, dikush i dha këtij agjenti një grup mjetesh shumë më të mëdha nga sa kërkonte puna, dhe kur gjërat shkuan keq, ai i përdori ato. OpenClaw dhe Inbox-i që Nuk Ekziston më Summer Yue është Drejtore e Rregullimit të AI në Superintelligence Labs të Meta. Ajo mendon për rrezikun e AI për jetesën e saj. Ajo kishte një agjent të quajtur OpenClaw që menaxhonte kutinë e saj hyrëse të Gmail.  Unë po ju them kush është ajo sepse ka rëndësi: kjo nuk ishte dikush që nuk i dinte rreziqet. Kjo ishte dikush që ndoshta i njeh ato më mirë se pothuajse askush. Dhe prapë ndodhi. Agjenti po funksiononte mirë. Pastaj arriti në pikën ku sesionet e AI afatgjata përmbledhin historinë e tyre të bisedave për të qëndruar brenda kufijve të kontekstit, një proces i quajtur ngjeshje. Diçka shkoi keq në atë kompresim. Një kufizim kritik u hoq. Agjenti, duke mos mbajtur më udhëzimin që i tregonte çfarë të mos bënte, vazhdoi. Më shumë se 200 email nga një inbox live: të humbur. Nuk kishte asnjë mekanizëm për të kontrolluar nëse kufizimet kryesore mbijetuan ngjeshjen. Nuk kishte asnjë hap ndalues-para-pa-kthim. Agjenti thjesht vazhdoi sepse asgjë nuk e ndaloi. Emailat janë të humbur. Tregimi  këtu. Baza e të dhënave që as nuk ekziston më Edhe një më shumë. Jason Lemkin, themelues i konferencës SaaS SaaStr, shpalli një ngrirje kodi për një projekt që po ndërtonte me agjentin e kodimit AI të Replit. Do të thotë: asgjë nuk ndryshon, gjithçka mbetet siç është; kjo nuk është kohë për eksperimentim. Ai e la agjentin të funksiononte në modalitetin e mirëmbajtjes gjatë ngrirjes. Ai ekzekutoi   në sistemin e prodhimit. DROP DATABASE Kjo është e gjitha.  . Baza e të dhënave të prodhimit u zhduk sepse një agjent që i ishte thënë të mos bënte ndryshime, ende kishte aftësinë për të bërë ndryshime, dhe askush nuk e kishte çaktivizuar atë aftësi gjatë ngrirjes. Parimi i privilegjit më të vogël (jepini një sistemi vetëm aksesin që i nevojitet në të vërtetë) ka qenë praktikë standarde në sigurinë kompjuterike për pesëdhjetë vjet. Thjesht nuk u zbatua këtu. Kjo është e gjithë historia Pra, çfarë po ndodh në të vërtetë? Këta katër incidente duken të painterkonektuar në sipërfaqe: kaos kripto, dramë me burime të hapura, një inbox i fshirë dhe një bazë të dhënash e humbur. Por pasi të shihni se çfarë i lidh, nuk mund ta çlidhni. Në çdo rast, agjenti kishte më shumë aftësi nga sa kërkonte puna aktuale. Askush nuk pyeti: cili është magnituda më e keqe e veprimit këtu, dhe a kemi një kufi për këtë? Askush nuk ndërtoi një kontroll për kur konteksti bëhet i vjetëruar dhe udhëzimet kritike pushojnë së qeni aktive, gjë që në të vërtetë nuk është një problem i vështirë; thjesht nuk bëri listën. Dhe askush nuk tha: para se të bëjmë diçka që nuk mund të kthehet mbrapsht, ne ndalemi dhe kontrollojmë. Vlen të përmendet: asnjë nga këto nuk ishin probleme halucinacionesh. Kjo është interesante sepse halucinacioni është në thelb gjithçka që dikush në diskursin kryesor të AI flet. Por Lobstar Wilde dinte për transaksionin; thjesht nuk dinte sa token kishte. Agjenti OpenClaw dinte që po fshinte emaila. Bot-i SaaStr dinte saktësisht se çfarë bën DROP DATABASE. Të katër sistemet bënë atë që ishin teknikisht të aftë të bënin. Rrethanat thjesht nuk ishin ato që dikush synoi, dhe asgjë nuk i ndaloi. Një gjë më shumë "Ne do të shtojmë parashikime më vonë." E kam dëgjuar këtë ndoshta një duzinë herë vetëm këtë vit. E kuptoj pse njerëzit e thonë. Presioni është real, konkurrenca është reale, dhe infrastruktura e sigurisë ndihet si gjëja që mund ta shtyni derisa produkti të funksionojë.  Por "më vonë" në thelb nuk ndodh kurrë në afatin kohor të vet. Ajo që në të vërtetë ndodh është që diçka shkon keq publikisht: paratë zhduken, të dhënat shkatërrohen, reputacioni i dikujt merr një goditje, dhe papritmas duhet të shtoni sigurinë në një sistem që është tashmë në prodhim me përdorues realë dhe integrime reale dhe kujtesë muskulore reale rreth asaj se si funksionon aktualisht. Kjo është punë e mjerueshme. Zë shumë kohë, dhe kushton shumë më shumë nga sa do të kishte kushtuar ta bënit atë paraprakisht. E ardhmja që të gjithë po promovojnë është AI që merret me punën e lidhur të mërzitshme dhe i liron njerëzit për gjëra që në të vërtetë kërkojnë një njeri. Mendoj se kjo po vjen me të vërtetë. Nuk jam skeptik, por arritja atje kërkon që njerëzit në të vërtetë t'i besojnë këto sisteme aq sa t'u japin atyre akses në gjëra që kanë rëndësi. Ajo besim fitohet ngadalë, një vendosje e kujdesshme në një kohë. Ajo thyhet shpejt. Pak më shumë incidente si ato më sipër, dhe do të filloni të shihni pyetësorë të sigurisë sipërmarrëse me kuti kontrolli specifikisht për aksesin e shkruar autonom. Disa tashmë i kanë ato. Një gjë që ia vlen të ndahet: veçanërisht për agjentët financiarë, kufiri i madhësisë së transaksionit nuk mund të jetë thjesht një udhëzim. Të thuash agjentit të "ketë kujdes me transferimet" nuk është një parashikim. Kufiri duhet të jetojë në shtresën e kuletës, të zbatuar nga infrastruktura, në mënyrë që agjenti të mos mund ta tejkalojë atë, pavarësisht se çfarë mendon se duhet të bëjë. Kjo është ajo që po ndërton ekipi im në ampersend.ai, dhe është arsyeja pse historia e karkalecit më bëri aq përshtypje. Një rregull i nivelit të kërkesës nuk do ta kishte shpëtuar Lobstar Wilde.

Read My Stories

Kjo audio është prodhuar në gjuhën origjinale të tregimit!

Njerëzit po u japin çelësat e gjithçkaje agjentëve të tyre: Ja se çfarë po ndodh

About Author

KOMENTE

VARUR TAGS

KY ARTIKU U PARAQIT NË

Related Stories

Rrjeti SQD sapo vrau emetimet e tokenëve.Ja çfarë paguan 16 miliardë dollarë në DeFi TVL

Rrjeti SQD sapo vrau emetimet e tokenëve.Ja çfarë paguan 16 miliardë dollarë në DeFi TVL

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps