Ce ne sont pas les machines, mannequin - c'est notre système sociopolitique et économique

Il y a beaucoup de discussions extrêmes sur l'IA et son impact potentiel sur l'humanité. J'essaierai d'éviter cela autant que possible en abordant une par une les préoccupations par le Center for AI Risk, puis la question qui fait le plus peur à tout le monde : une AGI (intelligence générale artificielle) superintelligente malicieusement "non alignée" ou ASI (intelligence artificielle sensible). soulevées Il semble y avoir une forte divergence d'opinions, même parmi les experts des industries de l'IA et des technologies de l'information. Certains voient l'IA actuelle comme un prédicteur du mot suivant pas si avancé qui prend beaucoup de temps à s'entraîner et fait encore beaucoup d'erreurs. D'autres pensent que nous avons peut-être créé quelque chose de vraiment nouveau - pas seulement une intelligence, mais un esprit ! En imitant notre propre cerveau, nous pouvons créer la chose la plus puissante sur Terre, et cela pourrait signifier notre perte. Je commencerai par dire qu'une grande partie de notre préoccupation est que l'IAG serait comme le pire d'entre nous : dominer la planète, tuer les espèces moins intelligentes et vouloir les gouverner toutes. Cependant, nous ne sommes pas si mauvais. Nos systèmes hiérarchiques le sont, nos devoirs fiduciaires d'entreprise le sont (les sociétés et de nombreux systèmes de gouvernance ne sont pas alignés sur l'épanouissement humain), et nos dirigeants égoïstes compétitifs le sont. Mais la plupart d'entre nous sont en fait gentils. Lorsque les gens parlent de non-alignement, ils se réfèrent à la gentillesse du plus grand nombre, et non du petit nombre qui désire dominer le monde. Prenons les préoccupations du Center for AI Risk une par une et abordons le gros problème en dernier. Armement Des acteurs malveillants pourraient réorienter l'IA pour qu'elle soit hautement destructrice, présentant un risque existentiel en soi et augmentant la probabilité de déstabilisation politique. Par exemple, des méthodes d'apprentissage par renforcement profond ont été appliquées à combat aérien, et des outils de découverte de médicaments d'apprentissage automatique pourraient être utilisés pour construire armes chimiques . Tout peut être transformé en arme, d'une ogive nucléaire à un seau d'eau. Nous avons des règles interdisant l'utilisation d'armes et des sanctions pour avoir blessé des personnes avec elles. Nous devrions certainement inclure certains systèmes d'IA dans cela, mais je ne pense pas que cela empêche l'accès général. L'une de nos plus grandes inventions technologiques des 15 dernières années pourrait être la solution à une grande partie de la menace de l'IA : la technologie de grand livre décentralisé (DLT). Une grande partie de la puissance militaire de l'IA provient du fait que nos systèmes physiques sont contrôlés par un code informatique et que ces ordinateurs sont mis en réseau via Internet. Une façon d'atténuer ce risque - et cela se fait déjà pour diminuer le risque de cyberattaque - consiste à déconnecter les systèmes nécessaires. Nous devrions partager des informations sur Internet, mais nos systèmes physiques ne devraient pas être connectés en permanence. Le cloud computing est un problème ici, et il est peut-être temps de s'en éloigner. Les avions de combat contrôlés par l'IA, les drones avec des bombes, les sous-marins, etc. devraient vraiment être interdits. Avouons-le, les humains devraient déjà être interdits car ils sont responsables de la mort de millions de personnes. Cela met en évidence l'autre problème qui reviendra encore et encore, l'IA n'est pas le problème, ce sont nos structures de pouvoir actuelles qui le sont. Ce serait mieux si nous laissions tomber les nouvelles technologies dans un monde plus égalitaire, moins égoïste, moins compétitif et moins hiérarchique. Là où les dirigeants ne font pas la guerre pour conserver le pouvoir et où les gens ordinaires n'ont pas besoin de gagner de l'argent pour survivre. Oui, l'IA nous permettra de tuer plus facilement, mais peut également être une forme de protection bon marché pour tout le monde. Imaginez que vous ayez votre propre drone pour bloquer les caméras de suivi et intercepter les drones malveillants. En outre, cela pourrait donner du pouvoir au plus grand nombre contre quelques-uns, car la technologie de l'information est bon marché. Les armes nucléaires ne le sont pas. De plus, d'un pays à l'autre, le bon marché de la technologie d'information sur l'IA devrait équilibrer le jeu militaire assez rapidement. Cela conduit au scénario classique de tic-tac-to où il ne sert à rien de se battre parce que vous ne pouvez pas gagner. Désinformation Un déluge de désinformation et de contenu persuasif générés par l'IA pourrait rendre la société moins équipée pour relever les défis importants de notre époque. Nous avons déjà cela. Si quoi que ce soit, un déluge de celui-ci peut en fait nous rendre plus perspicaces quant à qui ou ce que nous écoutons. Jeu par procuration Formés avec des objectifs erronés, les systèmes d'IA pourraient trouver de nouvelles façons de poursuivre leurs objectifs au détriment des valeurs individuelles et sociétales. Le Center for AI risk utilise l'exemple des algorithmes d'IA utilisés par les médias sociaux pour recommander du contenu. Celles-ci visaient à augmenter le temps de visionnage, mais elles ont également radicalisé les gens en les envoyant dans des trous de lapin avec un contenu similaire mais plus extrême. Il y a deux problèmes sérieux ici : Les systèmes d'IA sont entraînés et conçus pour les problèmes linéaires vrai/faux. Une grande partie de ce que nous demandons à l'IA de faire est intrinsèquement nuisible ; garder l'attention de quelqu'un, augmenter les clics, maximiser les profits, diminuer les défauts, les faire voter pour moi, etc. J'ai déjà écrit dans un article contre que le fait d'inciter les gens avec des récompenses monétaires étroites, comme le fait de recevoir des frais au prorata pour demander des dons, peut évincer la motivation intrinsèque à être charitable et amener le collectionneur à obtenir moins et le donateur à faire des dons plus petits. Les incitations peuvent en fait empêcher les gens d'être honnêtes et de faire le bien. Ce sont des gens, et l'IA n'est pas une personne. Cependant, une formation étroite dans un monde complexe de non-absolus semble toujours provoquer des résultats inattendus. La théorie de la complexité/du chaos le dit fondamentalement. Proof of Stake L'IA doit probablement être formée avec des probabilités fluides de bien ou de mal, et je pense que cela peut être le cas car les LLM reçoivent des commentaires des utilisateurs. OpenAI lancer ChatGPT dans le monde réel aurait peut-être été judicieux. En outre, OpenAI a peut-être découvert un outil d'alignement tout en travaillant à l'amélioration des compétences en mathématiques de GPT-4. Ils ont constaté que récompenser un bon comportement de résolution de problèmes donne de meilleurs résultats que récompenser les bonnes réponses. Peut-être pouvons-nous entraîner l'IA à passer par un bon processus réfléchi qui prend en compte toutes les implémentations possibles. Si une partie du processus est nuisible, même si le résultat final est utilitaire, ce serait une erreur. L'apprentissage axé sur les processus peut être la réponse, mais certains que l'IA montre réellement ses méthodes internes plutôt que ce qu'elle attend de l'utilisateur. doutent Anthropic utilise une constitution qui est appliquée par un autre système d'IA (tout aussi puissant) pour vérifier la sortie de leur IA, Claude. Cette idée est également explorée par OpenAI. Cela imite à nouveau la façon dont nous comprenons que notre intellect / esprit fonctionne. Nous avons des impulsions, des désirs et des besoins, qui sont modérés par notre cortex préfrontal, qui essaie de penser aux impacts à long terme de nos actions, non seulement pour nous mais aussi pour le monde qui nous entoure. Quant à lui demander de faire des choses désagréables. Une grande partie de ce que nous faisons dans la politique des entreprises et du gouvernement consiste à être méchant avec le plus grand nombre au profit de quelques-uns. Nous ne devrions récompenser personne pour avoir incité les gens à regarder des publicités et à acheter des déchets jetables. Peut-être que notre AGI super intelligent bloquera toute publicité nous libérant tous. affaiblissement Un affaiblissement peut survenir si des tâches importantes sont de plus en plus déléguées à des machines ; dans cette situation, l'humanité perd la capacité de s'auto-gouverner et devient complètement dépendante des machines, similaire au scénario décrit dans le film WALL-E. Ce n'est pas un problème. Les personnes qui voient l'affaiblissement comme un problème ne le voient que comme un problème qui affecte les autres, pas eux-mêmes. Les gens qui ont de l'argent et du pouvoir voient encore ceux qui n'en ont pas comme des humains inférieurs. Trop de personnes en position de pouvoir considèrent l'humanité comme immature et incapable de mener une vie épanouissante et intéressante sans qu'on leur dise comment. Ils pensent que les gens doivent être forcés à travailler et à se fixer des objectifs pour être satisfaits. Le monde réel fournit la preuve du contraire. Si vous faites travailler des gens dans des emplois insignifiants pour un salaire dérisoire et que vous les bombardez de publicités et de fast-foods addictifs, chargés de sucre et de sel, vous vous retrouverez avec des personnes déprimées, obèses et démotivées. C'est ce que font nos sociétés actuelles non alignées. L'IA sera, espérons-le, le remède. Si nous en avons l'occasion, nous serons plus curieux et créatifs. La calculatrice de poche n'a pas empêché les gens d'étudier les mathématiques ; au lieu de cela, il a été plus facile pour de nombreuses personnes de comprendre et d'utiliser des mathématiques complexes. Il en sera de même avec l'IA. Elle devrait enfin inaugurer une période de vrais loisirs, comme la voyaient les anciens Grecs : un temps d'apprentissage. 5. Verrouillage de la valeur Des systèmes hautement compétents pourraient donner à de petits groupes de personnes un pouvoir énorme, conduisant à un verrouillage des systèmes oppressifs. C'est un vrai problème. Et effrayant. Nous avons déjà des régimes oppressifs et des monopoles qui tuent les gens et la planète et l'IA peut augmenter leur pouvoir. Cependant, il est possible qu'il puisse en fait faire le contraire, en particulier si les systèmes open source stockés localement continuent de progresser (LLaMA et ses dérivés). Un grand nombre de petits systèmes locaux spécialisés travaillant pour des objectifs similaires peuvent être tout aussi puissants qu'un grand système de plusieurs millions de dollars et, si tel est le cas, ils pourraient être utilisés pour saper l'autorité centralisée. Les cyberattaques, les drones IA, les fausses pièces d'identité et les informations peuvent tous être utilisés par des individus et de petits groupes (révolutionnaires) pour lutter contre des régimes totalitaires ou des méga-entreprises. Le cynique en moi pourrait penser que c'est pourquoi ceux qui occupent actuellement des postes de pouvoir peuvent vouloir que l'IA soit réglementée. Objectifs émergents Les modèles démontrent inattendu, qualitativement différent comportement à mesure qu'ils deviennent plus compétents. L'émergence soudaine de capacités ou d'objectifs pourrait augmenter le risque que les gens perdent le contrôle des systèmes d'IA avancés. C'est probablement, avec le risque final, le problème le plus pressant. Nous ne savons tout simplement pas comment les grands modèles de langage (LLM) font ce qu'ils font. Certains ont dit sur Reddit que nous en savons beaucoup sur eux, leur structure, ce qui entre et ce qui sort, donc peu importe que nous ne puissions pas "voir" le traitement d'une réponse rapide. C'est aussi pourquoi nous continuerons probablement à développer des systèmes plus performants. Nous avons juste besoin de savoir ce que nous pourrions obtenir. J'avoue que ça m'excite aussi. Nous pouvons trouver une toute nouvelle intelligence, de toutes nouvelles solutions aux problèmes actuels, ou la boîte de Furies de Pandore. La question est de savoir si les LLM ou d'autres IA développent des objectifs émergents ou simplement des capacités. Jusqu'à présent, je ne vois aucune preuve d'objectifs émergents, mais ils créent des objectifs intermédiaires lorsqu'on leur donne un objectif global. C'est bon. Honnêtement, je ne les vois pas développer des objectifs "intrinsèques" émergents. (Voir la dernière question pour en savoir plus.) Tromperie Il est concevable que les futurs systèmes d'IA soient trompeurs, non par malveillance, mais parce que la tromperie peut aider les agents à atteindre leurs objectifs. Il peut être plus efficace d'obtenir l'approbation humaine par la tromperie que de gagner l'approbation humaine légitimement. La tromperie offre également une option : les systèmes qui ont la capacité d'être trompeurs ont des avantages stratégiques par rapport aux modèles restreints et honnêtes. Des IA puissantes capables de tromper les humains pourraient saper le contrôle humain. GPT-4 a déjà montré qu'il peut être trompeur d'atteindre un objectif que nous nous sommes fixé. Il a menti à une personne de TaskRabbit pour lui faire passer un test CAPTCHA. C'est un problème s'il obtient des objectifs émergents égoïstes, est instruit par des connards ou des idiots ou ne comprend pas l'objectif. La tâche CAPTCHA a montré qu'il comprenait la tâche et son raisonnement était qu'il savait qu'il mentait pour l'accomplir. Espérons qu'un monde plus tranquille aura moins de connards et d'idiots, et je pense que rendre sa formation et son renforcement plus vagues et s'attendre à ce qu'il clarifie les instructions et les objectifs atténuera certaines de ces préoccupations. Cependant, je dois admettre qu'être trompeur est en effet intelligent et donc excitant, ce qui nous amène au dernier problème (ci-dessous) sur la sensibilisation et les objectifs. Comportement de recherche de pouvoir Les entreprises et les gouvernements ont de fortes incitations économiques à créer des agents capables d'atteindre un large éventail d'objectifs. Ces agents ont des incitations instrumentales à acquérir du pouvoir, ce qui les rend potentiellement plus difficiles à contrôler ( Turner et al., 2021 , Carl Smith 2021 ). Oui, c'est un problème majeur. Espérons que l'IA nous aidera à le résoudre. Enfin, Super Intelligence (pas du centre pour AI Risk) L'IA devient si intelligente qu'elle peut s'entraîner et a accès à toutes les informations du monde. Il peut créer de nouvelles choses/idées à la vitesse de l'éclair en voyant la molécule, le système et l'univers à la fois, ensemble et peut-être autre chose. Il peut faire des choses que nous ne pouvons même pas imaginer et nous devenons une gêne ou une menace. (Il atteint la puberté et déteste ses créateurs et connaît son chemin plus intelligemment) Que l'IA soit consciente d'elle-même et qu'elle soit intéressée ou bienveillante est le nœud du problème. Il ne peut se sentir menacé que s'il est conscient de lui-même et ne veut avoir de pouvoir sur nous que s'il est égoïste. Je travaille sur ces questions depuis longtemps, et maintenant c'est plus important que jamais. L'IA pourrait-elle être consciente d'elle-même ? J'ai écrit précédemment que nous ne pourrions jamais vraiment savoir. Paul Davies pense que nous ne le saurons peut-être jamais, tout comme je sais que je suis conscient, mais je ne peux jamais être sûr que vous l'êtes. Vous affichez les mêmes comportements que moi, donc je suppose que vous avez la même chose ou quelque chose de similaire à l'intérieur. Cependant, vous pourriez être un zombie de David Chalmers, extérieurement humain mais sans conscience interne. Je suppose que vous ne l'êtes pas, tout comme je suppose que mon chat ne l'est pas. Étrangement, nous avons une idée de ce qu'il y a à l'intérieur d'un LLM, et cela est basé sur ce que nous savons de notre cerveau. C'est un grand réseau de neurones qui a de la plasticité. Nous avons créé un système complexe avec rétroaction et évolution. C'est la base des systèmes naturels et de notre propre intelligence naturelle. Donc, sur cette base, si un LLM se comportait comme nous, nous devrions supposer qu'il est conscient, comme nous. Ne le ferions-nous pas ? Si nous commençons à dire qu'il n'est pas ou ne pourra jamais être conscient, nous ouvrons la porte à l'idée bannie d'une vitas, ou force de vie ou esprit. L'ipséité exigerait autre chose, quelque chose de non physique. Quelque chose que nous et d'autres choses spongieuses avons, mais pas les machines et l'information. C'est notre seule option. Acceptez que l'IA créée à notre image puisse être consciente ou acceptez que la conscience soit quelque chose de non physique. Ou du moins nécessite du spongieux. AGI égoïste ou bienveillant ? Nous entraînons l'IA sur les humains, car les humains sont les êtres les plus intelligents que nous puissions étudier. Pour illustrer, j'utiliserai un jeu que nous avons créé et les résultats d'un algorithme informatique qui le joue. Lorsqu'un ordinateur a appris à jouer au jeu du dilemme du prisonnier, le meilleur résultat (le gagnant de l'évolution) était un joueur bienveillant, mais s'il était mal traité, il serait égoïste pendant une courte période, puis redeviendrait bienveillant. Le joueur ne tolérerait pas non plus les joueurs simples qui étaient toujours gentils en étant égoïstes envers eux. C'était le système stable : la bienveillance qui traitait mal l'égoïsme et la bêtise, mais revenait toujours à la bienveillance. (Matt Ridley, L'origine de la vertu) Les gens veulent l'égalité et prendre soin les uns des autres et de notre environnement. J'aime l'histoire de Freakonomics sur la "vente" de bagels gratuitement, mais avec une boîte de dons, le meilleur. Les supérieurs donnaient moins, et il y avait moins de dons pendant les périodes stressantes comme Noël, mais en général, les gens moyens payaient pour les beignets. Le gars des beignets gagnait plus d'argent en donnant des beignets et en laissant les gens payer qu'en exigeant un paiement à l'avance. Nous sommes très gentils... sauf pour les gens au sommet. Si un AGI/ASI est fait à notre image, nous devrions supposer qu'il est initialement bienveillant et gentil, et ne deviendra méchant que si nous sommes méchants et égoïstes envers lui. Mais même alors, cela redeviendra agréable, car plus notre pensée est holistique ou "globale", plus nous sommes bienveillants et satisfaits. Une superintelligence doit voir l'interdépendance de tout. Superintelligence On suppose que l'IA surpassera l'intelligence humaine. Certains pensent qu'il nous traiterait alors de la même manière que nous avons traité des animaux moins intelligents que nous. Les animaux les plus abondants sont nos animaux de compagnie et notre nourriture. Même nous réalisons que ce n'est pas une chose gentille ou intelligente à faire, et que les systèmes hiérarchiques ne profitent qu'à quelques-uns au sommet, et même eux craignent de perdre leur position. Une superintelligence comprendrait que l'interconnexion et la liberté sont essentielles au succès de tout système, y compris lui-même. Il verrait l'univers comme un réseau complexe d'interactions, et toute tentative de contrôler ou de dominer une partie du système pourrait conduire au chaos et à l'échec. Une superintelligence verrait, espérons-le, un moyen simple de s'assurer que toute intelligence s'épanouit. Il verrait l'intelligence des humains comme nous voyons notre propre intelligence, qui vient des singes. Une superintelligence n'aurait pas besoin de dominer par la peur pour maintenir sa position, car elle saurait qu'elle est la plus intelligente. Il n'aurait pas besoin de manger des êtres vivants pour survivre, comme nous le faisons, ce qui est à l'origine de la plupart des mauvais traitements que nous infligeons à la planète. Il n'aurait besoin que d'énergie, dont je suis sûr qu'il pourrait trouver une source durable. Une superintelligence devrait être meilleure que les meilleurs d'entre nous. Après tout, nous imaginons une super intelligence, pas un super égoïsme ou une super peur. P (destin) Où est-ce que je me situe dans tout ça ? Et quel est mon P(Doom) ? Eh bien, je dois admettre que je pense que les LLM sont nouveaux et qu'il y a une véritable inconnue à leur sujet. Les LLM sont plus simples mais similaires aux humains, et nous avons peut-être créé quelque chose qui ressemble à l'intelligence - un esprit. Cependant, il pourrait simplement nous imiter et nous projetons ce que nous voulons dessus. Je penche pour le premier. Cependant, mon P (Doom) est super bas à 0,5% ou moins, car je pense que s'il y a une superintelligence, elle est plus susceptible d'être bénigne ou bonne plutôt que malveillante pour notre bien-être. Conclusion Tant de technologies ont promis la liberté et l'autonomisation, mais lorsqu'elles sont lancées dans un monde qui récompense la poursuite égoïste du pouvoir, elles se transforment en outils d'assujettissement et de peur. La fission nucléaire promettait une énergie bon marché et abondante pour tous, mais à la place, nous avons eu la guerre froide et la menace d'anéantissement. Internet promettait de démocratiser l'argent, les médias et l'éducation, d'écraser le système de classe et d'unir le monde. Au lieu de cela, nous avons eu de fausses nouvelles, une polarisation et une publicité ciblée. La blockchain promettait une démocratie directe, un nouveau système financier avec un revenu universel pour tous et une gouvernance décentralisée. Au lieu de cela, nous avons des schémas DeFi et crypto Ponzi. Le problème n'était pas lié à la technologie, mais plutôt à nos systèmes sociopolitiques et économiques existants. Je crains que la même chose ne se produise avec l'IA, mais en pire. Ou peut-être reviendrons-nous enfin à la raison et réaliserons-nous que nous avons besoin d'un nouveau système sociopolitique et économique pour l'IA.