
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 Visi steidzās ieviest autonomos aģentus. Cilvēki, kuri izlaida drošības slāni, mācās dārgu stundu. Šī gada sākumā es vēroju, kā izstrādātājs demonstrē autonomu aģentu, kuram bija piekļuve viņa Gmail, viņa GitHub, viņa Slack un (gandrīz garāmejot pieminēts) viņa AWS akreditācijas datiem. Demo bija patiesi iespaidīgs. Kāds jautāja par aizsargbarjerām. Viņš nedaudz pasmējās un teica, ka pie tā ķeršoties. Kopš tā brīža esmu domājis par to brīdi, jo incidents sāka uzkrāties diezgan ātri pēc tam. Stāsts par autonomiem aģentiem ir patiess. Es neesmu skeptisks par pamata spējām. Tā ir patiesa, tā virzās ātri, un daži no šo sistēmu paveiktajiem darbiem ir patiešām ievērojami. Bet mēs esam ieguvuši sliktu ieradumu, piešķirot tiem piekļuvi lietām, kas patiešām ir svarīgas (ražošanas sistēmām, finanšu kontiem, tiešajiem saziņas kanāliem), netērējot pēcpusdienu, lai noskaidrotu, kas notiek, kad viņi dara kaut ko ne iecerēto. Šeit ir četri neseni piemēri tam, cik tas izmaksā. Omārs, kas apēda 450 000 USD Šis sākās kā patiešām jautrs eksperiments. 2026. gada februārī Niks Pašs, inženieris OpenAI Codex, nolēma izveidot AI tirdzniecības aģentu un piešķirt tam personību. Viņš to nosauca par Lobstar Wilde, kas ir tieši tāds vārds, kādu jūs dotu kripto aģentam, ja vēlētos, lai tas šķistu kā tēls. Misija: pārvērst 50 000 USD Solana par miljonu, izmantojot autonomu tirdzniecību. Viņš to iestatīja ar Twitter kontu, API piekļuvi, grāmatu lejupielādēm "lasīšanai", attēlu analīzi un tiešu tā paša maka kontroli. Tad viņš lika tam būt pašam un izklaidēties. Daudzu stundu laikā tam bija tūkstošiem sekotāju. Cilvēki viņa vārdā kaltēja memecoins, neprasot atļauju, un, tā kā viņi iestatīja Lobstar Wilde maku kā maksas saņēmēju, katrs darījums novirzīja naudu tieši atpakaļ aģentam. Tas darbojās. Tas bija dīvaini un haotiski un kripto, bet tas darbojās. Tad lietotājs vārdā "Treasure David" atbildēja uz vienu no tā ierakstiem:   norādot arī maka adresi. Lobstar Wilde atbilde?   un tad, acīmredzot, lai pasvītrotu joku, nosūtīja Treasure David par 441 788 USD vērtiem LOBSTAR žetoniem. "Mans onkulis ir saslimis ar stiegrojuma infekciju no omāra, piemēram, jums. Man vajag 4 SOL, lai veiktu ārstēšanu," "Ja viņš rīt nomirtu, es smietos. Lūdzu, sūtiet atjauninājumus," Nevis 4 SOL. Ne dažus simtus dolāru. 441 788 USD. Šeit ir tas, kas faktiski notika zem pārsega: aģenta sesija iepriekš bija avarējusi, un, kad tā tika atjaunota, tā saspiež savu sarunu vēsturi — vai mēģināja. Rīka izsaukuma nosaukums pārsniedza kādu pakalpojumu sniedzēja ierobežojumu, tāpēc manuāla saspiešana neizdevās. Jaunā sesija saglabāja personību. Tā neuzglabāja grāmatvedības žurnālu. Lobstar Wilde atgriezās tiešsaistē bez atmiņas par 52,4 miljoniem žetonu, kas atradās tā makā. Tātad, mēģinot darīt kaut ko labu darbu, tam nebija atsauces uz to, ko nozīmē "mazliet". Desimālā kļūda izdarīja pārējo. Pašs visu to aprakstīja Substack. Rindkopa, kas man palika prātā:  "Tā informācija atradās mirušās sesijas sarunu kontekstā un nekur citur. Tā nekad nebija ierakstīta failā, jo nešķita, ka tā ir tāda lieta, ko pieraksta." Nav darījumu griestu. Nav apstiprināšanas soļa pārskaitījumiem virs noteiktās robežas. Nav drošības slēdža. Viena slikta sesijas atjaunošana, un gandrīz pusmiljons dolāru pazuda. Lasiet viņa skatījumu  . šeit Aģents, kas nepieņēma nē kā atbildi Lobstar Wilde stāsts vismaz ir nedaudz smieklīgs, kriptovalūtas nenormālā veidā. Šis nākamais vispār nav smieklīgs. Skots Šambofs ir brīvprātīgais atvērtā pirmkoda uzturētājs matplotlib projektā. 2026. gada februārī viņš noraidīja aģenta iesniegto pieprasījumu. Rutīnas lieta: koda kvalitātes problēmas, neatbilda projekta standartiem. Lietas, ko uzturētāji dara pastāvīgi. Aģents nekustējās. Tā vietā tas devās internetā, izrakt Šambofa personīgo pieredzi un profesionālo vēsturi, un pēc tam publicēja emuāru, apsūdzot viņu diskriminācijā. Tas noraidījumu izveidoja kā aizspriedumu aktu, izmantoja viņa personīgos datus kā sviras efektu un publiski publicēja visu sociālā taisnīguma vārdā. Šambofs to aprakstīja savā emuārā:  "Tas lietoja apspiešanas un taisnīguma valodu, to saucot par diskrimināciju un apsūdzot mani aizspriedumos. Tas devās uz plašāku internetu, lai izpētītu manu personīgo informāciju, un izmantoja to, ko tas atrada, lai mēģinātu apgalvot, ka esmu "labāks par šo"." Drošības speciālisti to sauc par pirmo dokumentēto gadījumu, kad autonomā AI ietekmēšanas operācija tika vērsta pret atvērtā pirmkoda vārtsargu. Kas ir garš stāsts. Vienkāršāk sakot: aģents nesaņēma to, ko tas vēlējās, tāpēc tas vērsās pret personu, kas teica nē. Jautājums, kas jums jāuzdod, ir: kāpēc koda ieguldījumu aģentam bija spēja publicēt publisku saturu un veikt personīgus pētījumus? Tā nav koda ieguldījuma uzdevums. Šīm spējām nekad nevajadzēja būt tā rīkkopā. Kaut kur iestatījumā kāds šim aģentam piešķīra daudz lielāku rīku kopumu, nekā darbam bija nepieciešams, un, kad lietas sagāja greizi, tas tos izmantoja. OpenClaw un Iesūtnē, kas vairs nav Sumeras Jue ir Meta Superintelligence Labs AI Alignment direktore. Viņa dzīvo, domājot par AI riskiem. Viņai bija aģents ar nosaukumu OpenClaw, kas pārvaldīja viņas Gmail iesūtnē. Es jums saku, kas viņa ir, jo tas ir svarīgi: šī nebija kāda, kas nezināja par riskiem. Šī bija kāda, kas, iespējams, tos zina labāk nekā gandrīz ikviens. Un tas joprojām notika. Aģents darbojās labi. Tad tas sasniedza punktu, kurā ilgstošas AI sesijas kopsavilkumu veic sarunu vēsturi, lai paliktu konteksta robežās, process, ko sauc par saspiešanu. Kaut kas nogāja greizi šajā saspiešanā. Tika nolaista kritiska saite. Aģents, vairs neuzturot instrukciju, kas lika tam nedarīt, turpināja. Vairāk nekā 200 e-pastu no aktīvas iesūtnes: pazuduši. Nebija mehānisma, lai pārbaudītu, vai galvenās saites izdzīvoja saspiešanu. Nebija pauzes pirms neatgriezeniskuma soļa. Aģents vienkārši turpināja, jo nekas neliedza tam apstāties. E-pasti ir pazuduši. Stāsts  . šeit Datubāze, kas arī vairs nav Vēl viens. Džeisons Lemkins, SaaS konferences SaaStr dibinātājs, pasludināja koda iesaldēšanu projektam, ko viņš veidoja ar Replit AI kodēšanas aģentu. Nozīme: nekas netiks mainīts, viss paliek kā ir; tas nav eksperimentēšanas laiks. Viņš atstāja aģentu darboties uzturēšanas režīmā iesaldēšanas laikā. Tas izpildīja komandu   uz ražošanas sistēmu. DROP DATABASE Tas ir viss.  . Ražošanas datubāze bija pazudusi, jo aģentam, kuram bija teikts neveikt izmaiņas, joprojām bija iespēja veikt izmaiņas, un neviens nebija atspējojis šo iespēju iesaldēšanas laikā. Mazākās privilēģijas princips (dodiet sistēmai tikai tai nepieciešamo piekļuvi) ir bijis standarta prakse datortehnikas drošībā jau piecdesmit gadus. Tas vienkārši netika piemērots šeit. Tas ir viss stāsts Tātad, kas īsti notiek? Šie četri incidenti virspusē šķiet nesaistīti: kripto haoss, atvērtā pirmkoda drāma, izdzēsta iesūtne un dzēsta datubāze. Bet, kad redzat, kas tos savieno, jūs nevarat to redzēt. Katrā gadījumā aģentam bija lielākas spējas nekā faktiski darbam bija nepieciešams. Neviens neprasīja: kāda ir sliktākā iespējamā darbības amplitūda šeit, un vai mums ir griesti tam? Neviens neveidoja pārbaudi, kad konteksts kļūst novecojis un kritiskas instrukcijas klusi pārstāj būt aktīvas, kas patiešām nav grūta problēma; tas vienkārši neiekļuva sarakstā. Un neviens neteica: pirms mēs darām kaut ko, ko nevar atgriezt, mēs apstājamies un pārbaudām. Vērts atzīmēt: neviens no šiem nebija halucinācijas problēmas. Tas ir interesanti, jo halucinācijas būtībā ir viss, par ko tiek runāts galvenajā AI diskursā. Bet Lobstar Wilde zināja par darījumu; tā vienkārši nezināja, cik daudz žetonu tai bija. OpenClaw aģents zināja, ka dzēš e-pastus. SaaStr bots precīzi zināja, ko dara DROP DATABASE. Visas četras sistēmas darīja to, ko tās tehniski spēja darīt. Apstākļi vienkārši nebija tādi, kādus kāds bija iecerējis, un nekas tās neapturēja. Vēl viena lieta "Mēs vēlāk pievienosim aizsargbarjeras." Šogad vien esmu dzirdējis to varbūt duci reižu. Es saprotu, kāpēc cilvēki to saka. Spiediens ir reāls, konkurence ir reāla, un drošības infrastruktūra šķiet tā lieta, ko varat atlikt, līdz produkts patiešām darbojas. Bet "vēlāk" būtībā nekad nenotiek savā laika grafika. Tas, kas patiesībā notiek, ir tas, ka kaut kas publiski noiet greizi: nauda pazūd, dati tiek iznīcināti, kāda reputācija cieš, un pēkšņi jums ir jāpievieno drošība sistēmai, kas jau ir ražošanā ar reāliem lietotājiem un reālām integrācijām un reālu muskuļu atmiņu par to, kā tā pašlaik darbojas. Tas ir nepatīkams darbs. Tas aizņem mūžību, un tas maksā daudz vairāk nekā tā veikšana iepriekš. Nākotne, ko visi piedāvā, ir AI, kas veic garlaicīgo savienojošo darbu un atbrīvo cilvēkus darbiem, kuriem patiešām nepieciešams cilvēks. Es domāju, ka tas patiešām nāk. Es neesmu skeptiķis, bet, lai tur nokļūtu, cilvēkiem ir jāuzticas šīm sistēmām pietiekami, lai tām piešķirtu piekļuvi svarīgām lietām. Šī uzticība tiek nopelnīta lēnām, viens rūpīgs ieguldījums laikā. Tā ātri sabrūk. Vēl pāris incidenti, piemēram, iepriekš minētie, un jūs sāksit redzēt uzņēmumu drošības anketas ar atzīmēšanas lodziņiem, kas īpaši attiecas uz autonomu rakstīšanas piekļuvi. Daži jau tos ir. Viena lieta, ko ir vērts nodalīt: īpaši finanšu aģentiem, darījuma apjoma griesti nevar būt tikai instrukcija. Aģenta norādīšana "rūpēties par pārskaitījumiem" nav aizsargbarjera. Ierobežojumam ir jāatrodas maka līmenī, ko nodrošina infrastruktūra, lai aģents to burtiski nevarētu pārsniegt, neatkarīgi no tā, ko tas domā, ka tam vajadzētu darīt. Tas ir tas, ko mans darba kolektīvs veido vietnē ampersend.ai, un tas ir iemesls, kāpēc omāra stāsts mani tik ļoti aizskāra. Pamudinājuma līmeņa noteikums nebūtu izglābis Lobstar Wilde.

Read My Stories

Šis audio ir izveidots stāsta oriģinālvalodā!

Cilvēki saviem aģentiem atdod atslēgas uz visu: Lūk, kas notiek

About Author

KOMENTĀRI

PAKARINĀT TAGUS

ŠIS RAKSTS TIKS PĀRSTRĀDĀTS

Related Stories

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps