Sur l'échec du coup d'État de Sam Altman au sein du conseil d'administration d'OpenAI et le danger de laisser le destin de l'IA entre les mains de quelques-uns

Hier, plus de 500 humains HackerNoon ont voté pour notre sondage demandant ce qui se passerait dans l'imprévisible tour de montagnes russes qui ne peut être décrit que comme une tentative de coup d'État épique de la part du conseil d'administration d'OpenAI (aujourd'hui disparu) , choisissant massivement l'option que Sam Altman finirait par voter. revenir à OpenAI en tant que PDG.

Et les lecteurs de HackerNoon ont raison ! La dernière et dernière négociation pour « ramener Sam ou nous démissionnerons » par les employés d'OpenAI et « amener Sam ou nous nous retirerons » par les investisseurs d'OpenAI, menés en grande partie par le PDG de Microsoft, Satya Nadella, et les poids lourds de la Silicone Valley (je J'en discuterai plus tard dans cet article) a finalement abouti à sa « fin heureuse ». Le coup d’État a échoué. Sam et Greg seraient désormais accueillis, dans leur retour triomphal, par 95 % d'OpenAI (plus de 778 employés sur 770, selon Bloomberg, ont signé la lettre), un tout nouveau conseil d'administration, et plus de renommée et de pouvoir que jamais !

L'arme fumante n'est pas encore dévoilée (et on ne sait pas si elle sera un jour clarifiée). Je suis toujours à moitié confiant que d'autres documents de recherche, des poursuites judiciaires et même des changements de politique seront publiés dans les mois ou les années à venir. pour faire la lumière sur ce qui s'est passé. Et ce n’est pas encore la fin de la tourmente chez OpenAI.

Mais d’abord, un petit récapitulatif

Pour être au courant à 100 % de ce drame, vous devriez lire mon article de vendredi, qui annonçait et spéculait sur les détails du licenciement de Sam Altman, et celui de lundi, qui présentait une chronologie de ce qui s'est passé au cours du week-end. . Quand nous nous sommes arrêtés, Sam et Greg étaient toujours sur le point de sortir et de rejoindre Microsoft, pour être juste une autre norme d'entreprise (mdr). Un nouveau PDG par intérim a été annoncé (en remplacement de la PDG déjà par intérim Mira Murati, qui s'est avérée être une fidèle de Sam) : Emmett Shear, surtout connu pour être l'ancien PDG de Twitch. Ouais, Twitch. La plateforme de streaming de jeux. Rien de lié à l'IA.

Satya Nadella, PDG de Microsoft, bien que très positif et optimiste dans toutes ses apparitions et annonces publiques , a indiqué avec force que des changements devront absolument être apportés au niveau de la gouvernance d'entreprise, et qu'il ne devrait plus y avoir de surprises pour Microsoft, actionnaire à 49%, et le partenaire institutionnel le plus important d'OpenAI. J'ai lu cela comme suit : le conseil d'administration doit être licencié et il n'y a aucune chance que Microsoft se retrouve à nouveau dans cette situation avec le nouveau conseil d'administration.

Et puis, vers minuit le mardi 21 novembre / tôt le matin le mercredi 22 novembre - Open AI a annoncé vous-savez-quoi, la nouvelle que Sam & Co et la plupart des optimistes de la Silicone Valley attendaient :

SAM 👏 EST 👏 DE RETOUR 👏

Dans cette même annonce, il a été mentionné que le nouveau conseil d'administration d'OpenAI serait composé de : Bret Taylor (président), Adam D'eangelo et Larry Summer. Notamment, il ne mentionne pas Sam Altman, Ilya Sutskever, Tasha McCauley et Helen Toner.

Le décalage entre les organisations à but non lucratif et à but lucratif : le fléau de l'existence d'OpenAI

Je pense que la théorie la plus plausible expliquant pourquoi le coup d'État a été autorisé est la suivante : le conseil d'administration (aujourd'hui disparu) d'OpenAI, une organisation à but non lucratif qui contrôle la LLC à but lucratif (allez comprendre), n'est censé avoir aucune incitation à le faire. maximiser le profit, qui est le point principal de l'OpenAI qui est le créateur du Chatgpt, qui a levé 13 milliards auprès de Microsoft et qui avait l'obligation fiduciaire de gagner de l'argent pour ses investisseurs. Tous les membres votants du conseil d’administration, y compris Altman lui-même, ne détiennent aucune action d’OpenAI. Leur mission, comme indiqué dans les statuts de l’entreprise, est de « garantir que l’intelligence artificielle générale – des systèmes d’IA généralement plus intelligents que les humains – profite à l’ensemble de l’humanité ». En d’autres termes, le conseil d’administration à but non lucratif, qui supervise la LLC à but lucratif, n’a aucun intérêt à rendre l’argent aux investisseurs , aux puissances de calcul de Microsoft (qui sont absolument nécessaires pour effectuer le type de recherche nécessaire au déploiement de l’AGI), ou au fait. qu'OpenAI, depuis la sortie de ChatGPT, était devenue de facto l'entreprise technologique de l'air du temps depuis des décennies. Tout ce qui l’intéressait et était légalement tenu de superviser, c’était le déploiement en toute sécurité de l’intelligence artificielle générale, ou AGI. En théorie, il était parfaitement heureux de ne plus gagner d’argent, de rétrécir et de revenir à un petit groupe de recherche d’élite.

Cette théorie me paraissait la plus plausible en raison (comme mentionné dans ma dernière histoire ) du fait que Ilya Sutskever , cofondatrice d'OpenAI et scientifique en chef, faisait partie de la faction originale du conseil d'administration qui a évincé Sam en premier lieu. (Il a ensuite regretté sa décision et a fait demi-tour qui, on peut le dire, a surpris absolument tout le monde.) Il est un esprit brillant et est largement considéré comme le cerveau de l'Opération. En fait, il a été courtisé vers OpenAI par Elon Musk lui-même (de Google Deepmind), ce qui, selon Musk , a provoqué une rupture apparente dans l'amitié de longue date d'Elon Musk et du PDG de Google, Larry Page. La fracture à l’époque (en 2015/2016) concernait la sécurité de l’IA. Ilya se souciait de la sécurité de l'IA, tout comme Elon, mais pas Larry. Ainsi, Ilya est devenu l'équipe OpenAI.

Une autre raison pour laquelle je pensais qu'il s'agissait d'un désaccord/d'un désalignement fondamental concernant la sécurité de l'IA est le fait qu'Helen Toner, l'un des trois membres du conseil d'administration qui ont voté pour évincer Sam, a récemment écrit un document de recherche qui (tel que rapporté par le New York Times) était en faveur du concurrent direct d'OpenAI, Anthropic et critique de l'approche d'OpenAI pour déployer l'AGI. Anthropic, remarquez, a été créé exactement à cause de cette tension en matière de sécurité de l’IA. Ses fondateurs sont Dario Amodei, ancien vice-président de la recherche d'OpenAI, et sa sœur, Daniela Amodei, qui était vice-présidente de la sécurité et de la politique d'OpenAI. Plusieurs autres anciens élèves de la recherche OpenAI faisaient également partie de l'équipe fondatrice d'Anthropic. Encore plus étrange, le PDG d'Anthropic, Dario, aurait été débauché par l'ancien conseil d'administration concernant une éventuelle fusion avec OpenAI (mdr, la société dont il est parti, en premier lieu), et aurait refusé.

Et enfin, hier encore, quelques heures seulement avant l'annonce du retour triomphal de Sam et Greg, Elon Musk, le fondateur et investisseur initial d'OpenAI lui-même, a partagé sur sa propre plateforme X, une lettre d'anciens employés « préoccupés » d'OpenAI concernant , entre autres choses, un modèle de comportement inquiétant de la part de Sam Altman et co, pour ne pas écouter les chercheurs en sécurité. Voir la lettre complète ici . En d’autres termes, la plupart des personnes qui étaient en désaccord majeur avec la sécurité de Sam concernant la sécurité de l’IA au fil des ans sont parties. Ce qui reste d'OpenAI, pour l'essentiel, ce sont les fidèles de Sam.

Rencontrez le nouveau conseil d'administration d'OpenAI

Lors des négociations visant au retour de Sam Altman en tant que PDG, l'(ancien) conseil d'administration a accepté que ces trois personnes initiales siègent au conseil d'administration. Alors, rencontrons-les.

Bret Taylor

Bret Taylor est l'un des technologues les mieux connectés et les plus respectés de la Silicon Valley. Il est surtout connu pour avoir été PDG de Salesforce, la société leader dans le domaine des services logiciels basés sur le cloud. Mais plus particulièrement, Taylor a joué un rôle central en tant que président du (ancien) conseil d'administration de Twitter, où il a joué un rôle déterminant dans (faire échouer) l'acquisition de Twitter par Elon Musk, après que le milliardaire ait fait volte-face. de l'accord de 44 milliards de dollars (voir ici , ici et ici ).

Larry Été

Lawrence « Larry » Summers est un économiste américain, ancien vice-président de l'économie du développement et économiste en chef de la Banque mondiale, et ancien secrétaire au Trésor des États-Unis. Il est surtout connu pour avoir été le 27e président de l'Université Harvard. Au cours de son mandat à Harvard, Summers a suscité la controverse avec ses commentaires sur les femmes dans la science, suggérant que les différences intrinsèques d'aptitude entre les hommes et les femmes pourraient être une raison de la sous-représentation des femmes dans les domaines scientifiques et techniques. Ces remarques ont suscité de nombreuses critiques et ont joué un rôle important dans sa démission éventuelle de la présidence de Harvard. Allez comprendre.

Adam D'Angelo

Adam D'Angelo, PDG de Quora, un site Web de questions-réponses populaire. Avant Quora, il était directeur de la technologie chez Facebook et pourrait également avoir été l'un de ses nombreux cofondateurs aux côtés de Mark Zuckerberg. Plus particulièrement, il est le seul membre permanent du conseil d'administration d'OpenAI à siéger encore dans ce nouveau conseil d'administration. Ouais, le conseil d'administration qui a évincé Sam en premier lieu.

Hmmm, un superbe négociateur d'affaires ( le seul adulte dans une pièce qui pouvait obliger Elon à adhérer à son contrat juridiquement contraignant pour acheter Twitter ), un économiste influent quoique controversé (les commentaires sexistes de Larry sur l'intellect des femmes n'auraient pas été de bon augure pour le conseil d'administration évincé). membres, tous deux des femmes !), et un mystérieux PDG qui donnait rarement des interviews (personne ne sait pourquoi Adam (prétendument) évincé Sam, même à ce jour)… ce sont les personnes qui contrôlent actuellement le sort de celui qui est sans doute le plus influent. technologie de notre époque.

Réflexions finales (espérons-le pour la dernière fois sur cette saga, pour l'instant)

L’IA pourrait être la technologie la plus importante de cette décennie et des décennies à venir. Mais l’histoire qui s’est déroulée le week-end dernier nous montre à quel point les personnes menacées par les personnes dont le contrôle est contrôlé sont incroyablement imparfaites. Technologie avisée + humains imparfaits = combo assez désastreux, à mon humble avis. Peu importe à quel point le conseil d'administration d'OpenAi, aujourd'hui disparu, semble imparfait, irrationnel et apparemment fou dans sa décision de licencier Sam, il y a toujours un gros, géant et énorme éléphant dans la pièce qui est l'événement qui a déclenché la décision du premier. lieu.

Il a été rapporté que Sam avait fondamentalement accepté une enquête approfondie à son retour. Et d’ici là, je resterai au mieux sceptique quant à la capacité de ce nouveau conseil d’administration à simultanément maintenir la noble mission d’OpenAI consistant à sauver l’humanité des robots super intelligents (paraphrasé) tout en gagnant beaucoup d’argent en même temps. Cela semble un paradoxe, tout comme le capitalisme, l’altruisme efficace et les êtres humains d’ailleurs.