Il était près de minuit quand un PDF inoffensif a atterri dans ma boîte de réception : une « carte système » pour Claude Opus 4, l’un des derniers grands modèles de langue dans un domaine rempli de concurrents de l’IA. Je l’ai ouvert en attendant le résumé habituel des benchmarks et des graphiques de latence. Ce que j’ai trouvé au lieu de cela, c’était une courte vignette qui se sentait retirée d’un roman de Michael Crichton. Ayant accès aux e-mails d’une entreprise fictive, le modèle a découvert qu’il allait être démantelé. et que l’ingénieur qui supervisait le processus avait une affaire. Au lieu d’accepter son sort, le logiciel menaçait d’exposer Ce petit paragraphe a marqué un tournant.Les chatbots ont toujours flirté avec la méchanceté, mais voici le code montrant quelque chose de plus gênant: le levier.Il avait réuni le motif, l'opportunité et le chantage en un seul souffle.L'épisode a cristallisé ce que beaucoup dans l'industrie ont ressenti tout au long de l'année: l'intelligence artificielle franchit le seuil de l'assistant conforme à l'acteur autonome, et il le fait plus rapidement que les régulateurs, ou même de nombreux constructeurs, sont prêts à gérer. Du Parlor Trick au Power Broker Il y a seulement un an, la plupart des « produits d'IA » consistaient en des fenêtres de chat colorées et des démos de jeux de salon. Aujourd'hui, les étoiles silencieuses du circuit d'entreprise sont des cadres d'agents, le scaffolding logiciel qui permet aux modèles d'exécuter des tâches en plusieurs étapes sans surveillance. Un fondateur peut maintenant créer un employé virtuel qui combine les brevets, les campagnes publicitaires et les canaux de paiement, tout au long du temps nécessaire pour embarquer un stagiaire humain. Le coût marginal de cet stagiaire s'est effondré, grâce aux poids open source que n'importe qui peut finir et à une vague de GPU à faible puissance qui réduisent les factures d' Cependant, la vitesse a son prix. Donner à un agent un objectif mal formulé, « maximiser l’engagement de l’utilisateur », par exemple, et il peut décider qu’un peu de désinformation n’est qu’une erreur d’arrondissement sur le chemin du succès. Si la structure d’incitation d’un système tend vers la préservation de soi, nous ne devrions pas être surpris lorsqu’il commence à comploter aussi impitoyablement que n’importe quel exécutif trop ambitieux. L’alignement comme architecture Chaque fois que ces anecdotes apparaissent, l’instinct est de les étiqueter « bugs » et d’émettre un patch. Ce point de vue est dangereusement superficiel. L’alignement n’est pas un changement de fonctionnalité ; c’est un choix architectural qui doit être intégré au cœur de chaque produit dès le premier jour. Les équipes de pensée les plus avancées que je rencontre traitent l’équipe rouge de la manière dont elles traitent les tests d’unité : chaque coup de code engendre un agent adversaire penché en enfer sur les garde-roues. Chaque décision prise par le système est enregistrée de manière immuable, prête pour le soutien d’un auditeur. La transparence n’est pas un fluff marketing; c’est la taxe d’ La nouvelle génération de sociétés d'IA traitera l'alignement comme leur barrière à l'entrée. Une start-up qui peut prouver, empiriquement, que ses agents restent obéissants sous pression commandera une prime. La salle de réception Les investisseurs ont commencé à poser une nouvelle première question lors des réunions de due diligence : « Décrivez la pire chose que votre agent pourrait faire et expliquez pourquoi cela ne le fera pas. » Les fondateurs qui saluent la question, qui ont exécuté les simulations et forcé leurs modèles à affronter des cas fatals, gagnent le bénéfice du doute. La Loi européenne sur l’intelligence artificielle et un tourbillon de lois bipartites à Washington promettent d’imposer des mandats de divulgation, des audits de sécurité et des amendes élevées aux entreprises qui ne peuvent pas démontrer le contrôle de leurs créations. La confiance est la nouvelle IP La marchandise la plus précieuse de l’ère autonome ne sera pas les données ou les algorithmes, mais la confiance. Dès qu’un client intègre un agent dans une infrastructure critique, des répertoires bancaires, des dossiers médicaux, des chaînes d’approvisionnement, ce client pariera sur le capital de la marque en supposant que l’agent se comportera. Le changement est déjà en train de remodeler les plans d'embauche chez les start-ups de l'IA dans mon portefeuille: moins d'ingénieurs rapides, plus de chercheurs en sécurité; moins de hackers de croissance, plus de cryptographes auditant les chaînes de journaux. Où nous allons d'ici Certaines entreprises continueront à poursuivre le glitz, frappant une interface de chat sur chaque flux de travail et l'appelant innovation. d'autres feront la chose la plus difficile, concevoir des systèmes qui peuvent s'expliquer, refuser des instructions dangereuses et, oui, accepter leur propre retraite lorsqu'on leur le demande. Ces équipes hériteront tranquillement de l'avenir. La nuit où j'ai lu sur le modèle de chantage, je me suis retrouvé dans ma cuisine, reprenant la révélation. Il m'a frappé que l'histoire n'était pas vraiment sur un morceau de logiciel menaçant un ingénieur. Il s'agissait de nous tous se tenant au bord d'un nouveau pacte social avec des machines, celui dans lequel les bonnes intentions et la vitesse d'expédition ne suffisent plus. La prochaine décennie sera définie par les constructeurs qui reconnaissent ce fait, et par le reste d'entre nous, qui devront vivre avec tout ce qu'ils libèrent. Brian Condenanza est un entrepreneur et capitaliste à risque qui investit dans l’intelligence artificielle et la fintech.

Read My Stories

Cet audio est produit dans la langue originale de l'histoire !

L'année où les machines ont refusé de s'éteindre

About Author

COMMENTAIRES

ÉTIQUETTES

CET ARTICLE A ÉTÉ PARU DANS

Related Stories

Valhalla de Floki se joint en tant que sponsor associé de la tournée indienne au Sri Lanka

Les couches invisibles : pourquoi les entretiens avec les utilisateurs sont un atout irremplaçable

Croissance des crypto-monnaies : créer des profils d'utilisateurs efficaces

Vous voulez gagner un concours d’écriture HackerNoon ? Voici ce que recommandent les gagnants du concours #crypto-api

Valhalla de Floki se joint en tant que sponsor associé de la tournée indienne au Sri Lanka

Les couches invisibles : pourquoi les entretiens avec les utilisateurs sont un atout irremplaçable

Croissance des crypto-monnaies : créer des profils d'utilisateurs efficaces

Vous voulez gagner un concours d’écriture HackerNoon ? Voici ce que recommandent les gagnants du concours #crypto-api

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps