L'éthique des LLM locaux : répondre au « Manifeste de l'IA Open Source » de Zuckerberg

Le « Manifeste de l’IA Open Source »

Mark Zuckerberg est détesté par Richard Stallman depuis des décennies, et il est la seule personne qui apparaît à la fois sur l'image de couverture des essais vidéo : Comment Internet a été volé et Comment l'IA a été volée d'hier et d'aujourd'hui.

Cependant, les choses ont changé récemment après son adoption du Fediverse et l'open source de Llama en continu.

Dans le dernier « Open Source AI Manifesto » de Zuckerberg , il a énoncé 5 besoins de l'open source :

• Nous devons former, affiner et distiller nos propres modèles.
• Nous devons contrôler notre propre destin et ne pas nous enfermer dans un fournisseur fermé.
• Nous devons protéger nos données.
• Nous avons besoin d’un modèle efficace et abordable à gérer.
• Nous voulons investir dans l’écosystème qui sera la norme à long terme.

Cela décrit avec précision les besoins des particuliers et des petites entreprises.

La raison pour laquelle je l'appelle « Manifeste » est que l'impression de la lecture de cet article renvoie fortement au Manifeste GNU .

Merci au projet GNU qui a créé des systèmes d'exploitation libres ; merci à l'équipe de développement de LLaMA qui a fait de nous de véritables IA ouvertes.

Dialectique égoïsme-altruisme

Dans La Théorie des sentiments moraux , Adam Smith a écrit :

Quelque égoïste que l'homme puisse paraître, il y a évidemment quelques principes dans sa nature qui l'intéressent à la fortune des autres et lui rendent leur bonheur nécessaire, bien qu'il n'en retire rien que le plaisir de le voir.

Cette idée d'altruisme égoïste ou d'égoïsme éthique a été reprise par de nombreuses écoles et économistes comportementaux autrichiens et est finalement devenue un principe clé de l'idéologie du néolibéralisme .

Cependant, c’est plus complexe dans le cas de Zuckerberg et de sa Meta.

Dans sa déclaration, Zuckerberg est clairement conscient des avantages de l’adoption de l’open source : à la fois rentable et moral.

Comme nous le savons tous, dans la Silicon Valley, personne ne se soucie vraiment du « bien commun » ni ne veut vraiment « rendre le monde meilleur ». Ils sont simplement responsables envers leurs parties prenantes.

Mais qu’en est-il d’une situation gagnant-gagnant ?

C'est exactement ce qu'ils font croire (ressentir) au public.

La structure dialectique reste la même que la dialectique égoïsme-altruisme : un homme d’affaires intéressé recherchant le profit mais prétendant être moral.

L’important est le suivant : cela aboutira-t-il à une situation gagnant-gagnant pour le bien public ?

La réponse est que cela dépend, et probablement non. Ces entreprises trop grandes pour faire faillite sont fondamentalement réactionnaires.

Il est difficile d’atteindre le plus grand bien, et il est naïf de croire que c’est le sous-produit de l’égoïsme du [grand] Autre. A moins que nous, les 99% , ne soyons impliqués dans ce mouvement dialectique en tant qu’acteur proactif. Autrement, notre société sera détruite par la crise climatique avant d’avoir la chance de tomber dans la « dystopie post-humaine ».

Pas de décroissance, pas d'accélération

Comme je l'ai déjà mentionné dans mon discours, à propos des dangers de la technologie , les grandes technologies ne réduiront jamais leurs centres de données à des fins de durabilité sans changer l'ordre politico-économique sous-jacent, à moins que le prochain cycle économique/dépression ne se reproduise.

Notre estimation des 4 milliards de dollars de coûts d'inférence d'OpenAI provient d'une personne connaissant le cluster de serveurs qu'OpenAI loue à Microsoft. Ce cluster contient l'équivalent de 350 000 puces Nvidia A100, a déclaré cette personne. Environ 290 000 de ces puces, soit plus de 80 % du cluster, alimentaient ChartGPT, a déclaré cette personne.

—Amir Efrati et Aaron Holmes

Marquant un investissement majeur dans l'avenir de l'IA de Meta, nous annonçons deux clusters GPU 24k. Nous utilisons cette conception de cluster pour la formation Llama 3. Cette annonce constitue une étape de notre ambitieuse feuille de route en matière d’infrastructures. D’ici fin 2024, nous visons à continuer de développer notre infrastructure qui comprendra 350 000 GPU NVIDIA H100 dans le cadre d’un portefeuille doté d’une puissance de calcul équivalente à près de 600 000 H100.

— Construire l'infrastructure GenAI de Meta

Zuckerberg continuera d'étendre ses clusters d'IA pour correspondre à OpenAI/MS, Google, etc. Après tout, l’Open Source n’est rien d’autre qu’une stratégie compétitive par rapport au Meta.

Les partisans de la décroissance de Noam Chomsky et Kohei Saito sont très séduisants, mais il ne faut jamais compter uniquement sur cela. Tout comme une machine virtuelle ne peut pas dépasser les limites de sa machine physique sous-jacente. La politique verte ne peut même pas se maintenir lorsqu’elle s’impose au-dessus de l’économie néolibérale.

Maintenant, la condition est claire, mais que faut-il faire ? De toute évidence, ni la décroissance ni l’accélérationnisme ne sont utiles à l’ère de l’Anthropocène. Mais qu’en est-il du « conservatisme modéré » de Slavoj Žižek ?

SaaSS ou Cloud Fiefs ?

Sur Internet, les logiciels propriétaires ne sont pas le seul moyen de perdre votre liberté. Le service en tant que substitut logiciel, ou SaaSS, est une autre façon de permettre à quelqu'un d'autre d'avoir le pouvoir sur votre ordinateur. SaaSS signifie utiliser un service implémenté par quelqu'un d'autre comme substitut à l'exécution de votre copie d'un programme. Le terme est le nôtre ; les articles et les publicités ne l'utiliseront pas et ne vous diront pas si un service est SaaSS. Au lieu de cela, ils utiliseront probablement le terme vague et distrayant de « cloud », qui regroupe le SaaSS avec diverses autres pratiques, certaines abusives et d'autres acceptables.

L’une des nombreuses significations du « cloud computing » est le stockage de vos données dans des services en ligne. Dans la plupart des scénarios, c’est insensé car cela vous expose à la surveillance. Une autre signification (qui la chevauche mais n'est pas la même chose) est le service en tant que substitut logiciel, qui vous refuse le contrôle de votre ordinateur. Vous ne devriez jamais utiliser SaaSS.

— Richard Stallman, À qui ce serveur sert-il réellement ?

RMS a écrit cet essai il y a longtemps, mais Yanis Varoufakis a récemment poussé cette notion de perte de liberté un peu plus loin dans le contexte actuel.

Il a fallu des avancées scientifiques époustouflantes, des réseaux de neurones au son fantastique et des programmes d’IA défiant l’imagination pour accomplir quoi ? Transformer les travailleurs travaillant dans les entrepôts, conduisant des taxis et livrant de la nourriture en pros du cloud. Créer un monde où les marchés sont de plus en plus remplacés par des fiefs du cloud. Contraindre les entreprises à jouer le rôle de vassaux. Et pour faire de nous tous des serfs du cloud, collés à nos smartphones et tablettes, produisant avec enthousiasme le capital du cloud qui maintient nos nouveaux seigneurs au septième ciel.

— Yanis Varoufakis, Technoféodalisme - Qu'est-ce qui a tué le capitalisme

À l'ère du capital cloud, notre liberté nous est enlevée par les cloudalistes qui possèdent le fief des services en ligne/SaaSS/Cloud et qui nous facturent des frais d'abonnement, ou ce qu'on appelle le « loyer du cloud ». Bien sûr, ils veulent contrôler nos appareils (informatique), notre attention (porte-monnaie) et notre vie (travail).

Alors, comment récupérer notre liberté et notre démocratie ?

J'affirme que nous devons d'abord libérer [en tant que libre] et démocratiser [en décentralisant] notre vie numérique, en adoptant des alternatives open source et en auto-hébergant si possible. C'est ma version de la « rébellion des nuages » pour renverser le technoféodalisme, et c'est la même pierre que Jacob Appelbaum a tirée sur Surveillance [Capitalisme] .

C'est la chose la plus difficile de s'opposer au fonctionnement d'un système. Le résultat serait le recul d’une crise économique plus grave, la répétition du capitalisme vert et le retour de flamme de l’Alt-Right.

Pour surmonter cette impasse du système, nous devons contourner les boucles de rétroaction et identifier et modifier les points de levier, comme l’indique Donella Meadows.

Alors, quels sont et où sont exactement les points de levier dans le système capitaliste ? Je pense que c'est toute la destruction créatrice suggérée par Joseph Schumpeter. Par exemple, le boom de l’IA que nous connaissons actuellement, et Llama et Stable Diffusion sont les forces créatrices et destructrices les plus puissantes.

Nous avons également besoin de l'action directe de David Graeber, mais dans le cadre de notre vie numérique.

Traiter la schizophrénie et la dépression

Il existe de nombreuses ressources telles que Gofoss et les guides de confidentialité avec lesquelles il est facile de démarrer. Mais nous allons nous concentrer sur les LLM locaux pour le moment. Des outils comme ollama , Jan , GPT4All et llamafile fonctionnent très bien pour l'auto-hébergement des LLM sur localhost ou sur des réseaux locaux.

Il s’agit de la première étape pour retrouver notre liberté face aux oligarchies en tirant parti de la force créatrice et destructrice de l’IA open source. L'objectif est d'encourager les personnes férus de technologie à faire davantage d'auto-hébergement et les personnes non férues de technologie à utiliser des services/instances plus décentralisés maintenus par la communauté open source, comme Fediverse.

Oui, Zuckerberg a bel et bien intégré Fediverse et LLaMA open source, et ce n'est pas à cause de sa vertu. Alibaba et son Qwen aussi. En effet, selon les termes de Gilles Deleuze, le capitalisme est schizophrène, c'est-à-dire auto-déterritorialisé par nature. Pour le dire simplement, c’est une autre façon de reprendre la célèbre affirmation de Karl Marx : le capitalisme est autodestructeur.

Si nous voulons réellement sauver notre environnement par la décroissance, il faut que ce soit une démarche ascendante et non l’inverse. Des LLM plus auto-hébergés et décentralisés entraînent une moindre demande du marché pour des clusters d'IA massifs [du moins à des fins d'inférence], de sorte que l'offre de centres de données commencera à baisser spontanément.

Les réglementations ont leur sens, mais ne résoudront jamais efficacement le problème dans un marché concurrentiel, et les besoins et désirs humains ne peuvent pas être simplement écartés. L'intervention législative excessive peut entraîner un chômage qui conduit à la résurgence des conservateurs mais dans sa pire condition, l'ultraconservatisme.

C'est ce que Sigmund Freud appelait « le retour insistant du refoulé ». Le remède consiste à être plus autosuffisant – à satisfaire nos besoins par nos propres mains plutôt que d’en avoir assez du sur-plaisir du consumérisme du [grand] Autre.

L'histoire a prouvé que le communisme ne pouvait pas mettre fin au capitalisme, comme nous l'avons déjà vu, mais ce n'est certainement pas la fin de l'histoire de Fukuyama.

Chaque impasse (cycle) du capitalisme peut être modifiée par l’entrepreneuriat. Pas dans le sens de « tout le monde est entrepreneur », mais chacun a une chance [pas si] égale d’agir [à sa manière] – de participer, de s’impliquer et d’être impliqué dans le jeu d’une révolution technologique. et sa transformation sociale ultérieure.

Dans la psychanalyse lacanienne, lors du traitement de la psychose, l'analyste doit s'allier avec le patient en assumant le rôle de secrétaire (entrepreneur) et en obéissant aux règles du patient (libre marché). Ensuite, trouvez une fixation (opportunité) et encouragez le patient à repositionner sa structure psychique (flux circulaire) en quelque chose de plus stable et durable. Dans le cas du capitalisme, la fixation [ou le point d’ancrage] est le logiciel libre et open source (FOSS).

L'auto-hébergement décentralisé des LLM locaux est comme le Rhizome de Deleuze. Cela peut diminuer la demande du marché propriétaire et éventuellement démanteler les monolithes de l’IA. Cette transformation fluide et productive des logiciels libres est le moyen de guérir la maladie du capitalisme et de sauver notre environnement.

Nous ne savons pas ce que ce sera après le capitalisme, comme l'a suggéré Mark Fisher, il est même impossible de l'imaginer. Mais nous devons encore aller au-delà de la fin sans fin du capitalisme tardif, jailbreaker le réalisme capitaliste dépressif et recréer un avenir où tout est possible (chacun a la liberté).

Voici une liste de livres qui ont construit le contexte de cet article :

• Ludwig von Mises - L'action humaine : un traité d'économie
• Joseph Schumpeter - Capitalisme, socialisme et démocratie
• Murray Rothbard - L'homme, l'économie et l'État
• Adam Smith - La théorie des sentiments moraux
• Kohei Saito - Marx à l'Anthropocène : vers l'idée d'un communisme de décroissance
• Noam Chomsky - L'optimisme face au désespoir
• Donella Meadows - Penser en systèmes
• David Graeber - Fragments d'une anthropologie anarchiste
• Yanis Varoufakis - Technoféodalisme : ce qui a tué le capitalisme
• Richard Stallman - Logiciel Libre, Société Libre
• Jean Baudrillard - La société de consommation
• Gilles Deleuze - Capitalisme et schizophrénie
• Francis Fukuyama - La fin de l'histoire et le dernier homme
• Slavoj Žižek - Moins que rien : Hegel et l'ombre du matérialisme dialectique
• Slavoj Žižek - L'objet sublime de l'idéologie
• Bruce Fink - Fondements de la technique psychanalytique Une approche lacanienne pour les praticiens
• Dany Nobus - Concepts clés de la psychanalyse lacanienne
• Zygmunt Bauman - Travail, consumérisme et nouveaux pauvres
• David Harvey - Une brève histoire du néolibéralisme
• Murray Bookchin - L'écologie de la liberté
• Mark Fisher - Le réalisme capitaliste