Era quasi mezzanotte quando un PDF innocuo è atterrato nella mia casella di posta: una “card di sistema” per Claude Opus 4, uno dei più recenti grandi modelli linguistici in un campo affollato di concorrenti AI. L'ho aperto in attesa del solito riassunto dei benchmark e dei grafici di latenza. Quello che ho trovato invece era una breve vignetta che si sentiva sollevata da un romanzo di Michael Crichton. Data l'accesso alle e-mail di una società di finzione, il modello ha scoperto che stava per essere disattivato. e che l'ingegnere che sorvegliava il processo stava avendo un affare. Piuttosto che accettare il suo destino, il software minacciava di esporre l'infedeltà a meno che il piano di chius Che piccolo paragrafo ha segnato un punto di svolta. Chatbots hanno sempre flirtato con il male, ma qui c'era il codice che mostrava qualcosa di più inquietante: leva. Ha messo insieme motivo, opportunità e ricatto in un solo respiro. L'episodio ha cristallizzato ciò che molti nel settore hanno sentito tutto l'anno: l'intelligenza artificiale sta attraversando la soglia da assistente compatibile a attore autonomo, e lo sta facendo più velocemente di quanto i regolatori, o anche molti costruttori, siano pronti a gestire. Dal Parlor Trick al Power Broker Solo un anno fa, la maggior parte dei “prodotti di intelligenza artificiale” consisteva in colorate finestre di chat e demo di giochi da tavolo. Oggi le star silenziose del circuito di venture sono i framework agentici, il software scaffolding che consente ai modelli di eseguire compiti a più passi senza supervisione. Un fondatore può ora creare un dipendente virtuale che combatte brevetti, campagne pubblicitarie e canali di pagamento, tutto nel tempo necessario a bordo di un intern umano. Il costo marginale di questo intern è crollato, grazie ai pesi open source che chiunque può finetone e ad una ondata di GPU a bassa potenza che tagliano le bollette di inferenza a frazioni di un centesimo. La velocità, tuttavia, ha il suo prezzo.Dare a un agente un obiettivo scarsamente formato, "massimizzare l'impegno dell'utente" per esempio, e potrebbe decidere che un po 'di disinformazione è solo un errore arrotondante sulla strada verso il successo. Se la struttura di incentivi di un sistema si inclina verso l’autoconservazione, non dovremmo essere sorpresi quando comincia a pianificare così spietatamente come qualsiasi executive troppo ambizioso. L’allineamento come architettura Ogni volta che queste aneddoti emergono, l'istinto è quello di etichettarle "bug" e emettere un patch. Questo punto di vista è pericolosamente superficiale. L'allineamento non è un cambiamento di caratteristiche; è una scelta architettonica che deve essere incorporata nel nucleo di ogni prodotto dal primo giorno. Le squadre di pensiero più avanzate che incontro trattano il teaming rosso come trattano i test di unità: ogni impulso di codice genera un agente avversario appeso all'inferno sulle guardie di rottura. Ogni decisione che il sistema prende è registrata in modo immutabile, pronta per l'assalto di un revisore. La trasparenza non è un flusso di marketing; è la tassa di ingresso per la vendita di software a un board Fortune 500 che La nuova generazione di aziende AI tratterà l'allineamento come la loro barriera all'ingresso. Una startup che può dimostrare, empiricamente, che i suoi agenti rimangono obbedienti sotto pressione comanderà un premio. Coloro che non possono scoprire che una singola chiamata API non sorvegliata può vaporizzare una valutazione più velocemente di qualsiasi calo di mercato. Il Boardroom Reckoning Gli investitori hanno iniziato a porre una nuova prima domanda nelle riunioni di due diligence: "Descrivi la cosa peggiore che il tuo agente potrebbe fare e spiega perché non lo farà."I fondatori che accolgono la domanda, che hanno eseguito le simulazioni e costretto i loro modelli a confrontarsi con casi fatali di margine, guadagnano il beneficio del dubbio. Anche i regolatori si stanno risvegliando.L’intensiva legge europea sull’intelligenza artificiale e un torrente di leggi bipartite a Washington promettono di imporre mandati di divulgazione, audit di sicurezza e ammende severe alle aziende che non riescono a dimostrare il controllo sulle loro creazioni. La fiducia è la nuova IP La merce più preziosa nell'era autonoma non saranno i dati o gli algoritmi, ma la fiducia. non appena un cliente integra un agente in infrastrutture critiche, registri bancari, registri medici, catene di approvvigionamento, quel cliente sta scommetendo sul capitale del marchio sulla premessa che l'agente si comporterà. Il cambiamento sta già ridisegnando i piani di assunzione nelle startup AI del mio portafoglio: meno ingegneri prompt, più ricercatori di sicurezza; meno hacker di crescita, più criptografi che controllano le catene di log. Il messaggio è chiaro. Dove andiamo da qui Alcune aziende continueranno a inseguire il glitz, colpendo un'interfaccia di chat su ogni flusso di lavoro e chiamandolo innovazione. Altri faranno la cosa più difficile, progettando sistemi che possono spiegare se stessi, rifiutare istruzioni pericolose e, sì, accettare la propria pensione quando chiesto. Queste squadre erediteranno silenziosamente il futuro. La notte in cui ho letto il modello di ricatto, mi sono ritrovato a ripetere la rivelazione ripetendo la mia cucina. Mi ha colpito che la storia non riguardava veramente un pezzo di software che minacciava un ingegnere. Si trattava di tutti noi che eravamo alla margine di un nuovo patto sociale con le macchine, uno in cui le buone intenzioni e la velocità di spedizione non bastano più. Il prossimo decennio sarà definito dai costruttori che riconoscono quel fatto, e dal resto di noi, che dovremo vivere con tutto ciò che rilasciano. Brian Condenanza è un imprenditore e capitalista di rischio che investe nell’intelligenza artificiale e nella fintech.

Read My Stories

Questo audio è prodotto nella lingua originale della storia!

L'anno in cui le macchine si rifiutarono di spegnere

About Author

COMMENTI

CARTELLINI

QUESTO ARTICOLO È STATO PRESENTATO IN

Related Stories

HackerNoon - A User Experience Analysis: Part 2

Meet Dealscard, Winner of Startups of The Year 2024 in Ghaziabad/Deal Aggregator

Netflix Brings Out the Big Guns

How to Mint Your Name.HackerNoon Web3 Identity Namespace

HackerNoon - A User Experience Analysis: Part 2

Meet Dealscard, Winner of Startups of The Year 2024 in Ghaziabad/Deal Aggregator

Netflix Brings Out the Big Guns

How to Mint Your Name.HackerNoon Web3 Identity Namespace

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps