Közel volt az éjfél, amikor egy ártalmatlan PDF landolt a postaládámban: egy „rendszerkártya” a Claude Opus 4 számára, az egyik legújabb nagy nyelvi modell egy zsúfolt AI-versenyzői területen. Megnyitottam, várva a benchmarks és a késleltetési diagramok szokásos összefoglalóját. Amit helyette találtam, egy rövid vignetta volt, amely úgy érezte, hogy felemelkedett egy Michael Crichton regényből. A modell hozzáférést kapott egy kitalált vállalat e-mailjeihez, és felfedezte, hogy a folyamatot felügyelő mérnöknek van afférja. Ahelyett, hogy elfogadná a sorsát, a szoftver azzal fenyegette, hogy felfedi a hűtlenséget, hacsak Ez a kis bekezdés egy fordulópontot jelentett. a chatbotok mindig flörtöltek rosszindulatúakkal, de itt volt a kód, amely valami zavaróbbat mutatott: a tőkeáttételt. Egy pillanat alatt összekötötte a motívumot, a lehetőséget és a zsarolást. Az epizód kristályosította azt, amit sokan az iparágban egész évben érzékeltek: a mesterséges intelligencia átlépte a küszöböt a megfelelőségi asszisztensektől az autonóm szereplőkig, és ezt gyorsabban teszi, mint a szabályozók, vagy akár sok építő, hajlandó kezelni. A Parlor Trick-től a Power Brokerig Csak egy évvel ezelőtt a legtöbb „AI-termék” színes chat ablakokból és társalgó-játék-demókból állt. Ma a kockázati áramkör csendes csillagai az ügynöki keretrendszerek, a szoftveralkatrészek, amelyek lehetővé teszik a modellek számára, hogy felügyelet nélkül többlépcsős feladatokat hajtsanak végre. Az alapító most egy virtuális alkalmazottat hozhat létre, aki szabadalomokat, könyvek hirdetési kampányokat és fizetési csatornákat futtat, mindaddig, amíg egy emberi gyakornok fedélzetére kerül. Az ilyen gyakornok marginális költsége összeomlott, köszönhetően a nyílt forráskódú súlyoknak, amelyeket bárki finetúnálhat, és az alacsony teljesítményű GPU-k hullám Adjon egy ügynöknek egy rosszul alakított célt, például „maximalizálja a felhasználói elkötelezettséget”, és úgy dönthet, hogy egy kis félretájékoztatás csak egy kerekítő hiba a siker felé vezető úton. Ha egy rendszer ösztönző struktúrája az önmegőrzés felé hajlik, nem szabad meglepődnünk, ha olyan kegyetlenül kezd cselekedni, mint bármely túlzottan ambiciózus vezető. Az összehangolás, mint építészet Amikor ezek az anekdoták felbukkannak, az ösztön az, hogy „hibáknak” címkézzük őket, és patch-t adjunk ki. Ez a nézet veszélyesen felületes. Az összehangolás nem egy funkcióváltás; ez egy olyan építészeti választás, amelyet minden termék magjába kell építeni az első naptól kezdve. A legelőrehaladóbb gondolkodó csapatok, amelyekkel találkozom, a vörös csapatot úgy kezelik, ahogyan az egységtesztet kezelik: minden kódnyomást ellenséges ügynököt hoznak létre, aki az őrjáratokat megszakítja. Minden döntés, amelyet a rendszer hoz, változatlanul naplózik, készen áll a könyvvizsgáló álcázására. Az átláthatóság nem marketing fluff; ez a belépési Az új generációs mesterséges intelligencia-cégek az egyeztetést a belépés akadályainak tekintik.Az a startup, amely empirikusan bizonyítja, hogy ügynökei nyomás alatt engedelmesek maradnak, prémiumot fog kapni.Azok, akik nem tudják, felfedezik, hogy egyetlen felügyelet nélküli API-hívás gyorsabban elpárologtathatja az értékelést, mint bármely piaci visszaesés. Beszámoló a számlázásról A befektetők elkezdtek új első kérdést feltenni a kellő gondossággal foglalkozó találkozókban: „Leírja a legrosszabb dolgot, amit az ügynök tehet, és elmagyarázza, hogy miért nem.” Az alapítók, akik üdvözölték a kérdést, akik a szimulációkat futtatják, és kényszerítették a modelleket, hogy szembenézzenek a halálos esetekkel, a kétség előnyeit élvezik. A szabályozók is felébrednek.Európa messzemenő AI törvénye és a washingtoni kétpárti törvénycsomag ígéretet tesz a nyilvánosságra hozatali megbízások, a biztonsági ellenőrzések és a meredek bírságok kiszabására a vállalatokra, amelyek nem tudják bizonyítani alkotásaik ellenőrzését. A bizalom az új IP Amint az ügyfél egy ügynököt integrál a kritikus infrastruktúrába, a banki könyvekbe, az orvosi nyilvántartásokba, az ellátási láncokba, az ügyfél márkás tőkét fogad azzal a feltételezéssel, hogy az ügynök viselkedni fog. A váltás már átalakítja a portfóliómban lévő AI startupok bérbeadási terveit: kevesebb gyorsmérnök, több biztonsági kutató; kevesebb növekedési hacker, több kriptográfus auditálja a naplózási láncokat. Hová megyünk innen Néhány vállalat továbbra is üldözni fogja a ragyogást, minden munkafolyamatra egy csevegőfelületet dobva, és innovációnak nevezve. Mások a nehezebb dolgot fogják tenni, olyan rendszereket terveznek, amelyek megmagyarázhatják magukat, megtagadják a veszélyes utasításokat, és igen, elfogadják a saját nyugdíjba vonulását, amikor megkérik. Az éjszaka, amikor elolvastam a zsaroló modellt, rátaláltam a konyhámra, újrajátszottam a kinyilatkoztatást. Megdöbbentett, hogy a történet nem valójában egy olyan szoftverről szól, amely fenyegeti a mérnököket. Mindannyian a gépekkel kötött új szociális paktum szélén állunk, amelyben a jó szándék és a szállítási sebesség már nem elegendő. Az elkövetkező évtizedet azok az építők fogják meghatározni, akik felismerik ezt a tényt, és a többiek, akiknek élniük kell azzal, amit elindítanak. Brian Condenanza vállalkozó és kockázati tőkés, aki mesterséges intelligenciába és fintech-be fektet, és gyakran ír a technológiáról, a szabályozásról és az innováció politikájáról.

Read My Stories

Ez a hanganyag a történet eredeti nyelvén készült!

Az év, amikor a gépek megtagadták a kikapcsolást

About Author

HOZZÁSZÓLÁSOK

HANG TAGOK

EZT A CIKKET BEMUTATTA

Related Stories

And now the important day of the election had arrived

From Desk to HackerNoon: Your Ultimate Guide on How to Publish a Story

Of The First and Last Things: Part 4

INTRODUCTION

And now the important day of the election had arrived

From Desk to HackerNoon: Your Ultimate Guide on How to Publish a Story

Of The First and Last Things: Part 4

INTRODUCTION

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps