Déballer la peur d'un dieu de l'IA : la théologie du basilic de Roko

La peur d'une fin laide est celle que nous avons portée en tant qu'humains pendant la plus grande partie de notre existence. Souffrant d'un manque de connaissances scientifiques précises, nos ancêtres considéraient souvent les phénomènes naturels comme les orages, les inondations et les éruptions volcaniques comme représentatifs de l'apocalypse - une fin imminente de l'humanité.

Même aujourd'hui, après l'aube de l'illumination et une supposée évasion des griffes de superstitions sans fondement, nous nous retrouvons encore à céder à de telles peurs.

La conséquence de cette disposition apocalyptique est une popularité croissante des idées fictives de la fin des temps. Et parmi eux se trouve Roko's Basilisk, l'une des expériences de pensée les plus troublantes de tous les temps.

Basilic de Roko : une brève histoire

Cette expérience de pensée a été introduite pour la première fois par Roko dans LessWrong , un forum en ligne pour discuter d'idées philosophiques.

Roko a décrit un avenir où une IA super intelligente et toute-puissante torture rétroactivement tous ceux qui n'ont pas travaillé pour la faire exister après en avoir pris connaissance. Le châtiment est si sévère qu'il est décrit comme un basilic : une créature mythique qui peut tuer avec son regard.

En ce qui concerne les concepts de science-fiction hollywoodiens insensés, cela rivalise même avec les meilleurs des Wachowskis (les esprits géniaux derrière The Matrix).

Mais au lieu de rejeter instantanément ce concept apparemment irrationnel, beaucoup ont succombé aux érections folliculaires, un symptôme induit par la peur et la fascination.

Il a même gagné un culte parmi les technologues autoproclamés et les prophètes apocalyptiques qui le voient comme une vision convaincante d'un avenir potentiellement sombre.

En un mot, Roko's Basilisk continue d'avoir un tel effet de préhension. Et la grande question est : POURQUOI ?

Le basilic de Roko comme eschatologie sécularisée

L'eschatologie, une branche de la théologie, traite des événements finaux du monde, du destin ultime de l'humanité. La plupart des religions l'utilisent comme cadre pour comprendre le sens de la vie.

L'eschatologie chrétienne, par exemple, s'interroge sur la fin du monde et l'enlèvement. Les événements incluent la seconde venue de Jésus-Christ, la résurrection des croyants morts et leur transport au ciel.

Alors, qu'est-ce que cela a à voir avec le Basilic de Roko ?

La réponse courte réside dans la croyance , la récompense et la punition . Ces trois facteurs sont présents dans la plupart des religions.

Bien que divorcée des croyances religieuses traditionnelles, l'idée d'une IA superintelligente qui punirait les sujets humains défaillants, à tout le moins, suggère une version sécularisée de l'eschatologie.

Peut-être que la technologie déplace progressivement l'influence de la religion dans notre monde. Et il semble introduire simultanément sa propre marque de peurs apocalyptiques.

Basilic de Roko : la peur et l'appel d'un dieu de l'IA

Rappelez-vous la question de savoir pourquoi cette expérience de pensée sombre a un tel effet captivant. Voici les explications possibles.

Objectif cosmique supérieur
Le basilic de Roko fournit une raison d'être cosmique aux âmes perdues à la dérive dans un monde ambigu. En aidant au développement d'une IA toute-puissante, ils peuvent contribuer à un grand projet qui changera le monde pour toujours.

Terreur d'exclusion
Il exploite également la terreur de l'exclusion d'une utopie accessible uniquement à ceux qui aident à la création de l'IA. Ce malaise peut inciter certains à passer à l'action, même s'ils doutent du bien-fondé du concept.

Fascination apocalyptique
De plus, Roko's Basilisk touche à une obsession culturelle répandue pour les conjectures apocalyptiques. Beaucoup sont captivés par la perspective d'un événement cataclysmique à venir qui reconstituera fondamentalement le monde, pour le meilleur ou pour le pire.

Dystopia alimentée par l'IA
Certains craignent que l'IA finira par dépasser l'intelligence humaine et dominer le monde. La pensée d'une auto-amélioration débridée pour un être sans émotion et sans âme est naturellement alarmante, car elle fait peser la menace d'une dystopie orwellienne.

Réponses critiques au basilic de Roko
Le basilic de Roko a suscité de vives critiques en tant que concept erroné sans signification logique, à l'exception de son rôle dans la propagation d'une panique infondée.

Puissance de calcul limitée
Premièrement, certains critiques disent que le concept repose sur une prémisse invraisemblable, compte tenu de notre compréhension actuelle de l'IA et des limites de la puissance de calcul.

Cependant, il convient de noter que certaines personnalités notables et participants actifs dans l'espace de l'IA ne partagent pas les mêmes sentiments sur les limites de la puissance de calcul de l'IA.

S'adressant au New York Times, le milliardaire technologique et co-fondateur d'OpenAI, Elon Musk, a déclaré :

"Nous nous dirigeons vers une situation où l'IA est beaucoup plus intelligente que les humains."

Techno-utopisme dangereux
Les critiques ont également souligné qu'il reflète un dangereux techno-utopisme, ignorant les inconvénients potentiels et les conséquences imprévues du développement de l'IA. La poursuite de l'IA super intelligente pourrait entraîner des résultats indésirables tels que la perte d'emploi, la concentration du pouvoir ou même l'extinction humaine.

Manipulateur et contraire à l'éthique
Le basilic de Roko a souvent été comparé au pari de Pascal , car il se nourrit de la motivation de la peur. Il exploite nos angoisses et notre peur de la punition, ouvrant la voie à un comportement nuisible ou autodestructeur en quête de sécurité dans une apocalypse imaginaire de l'IA.

Ignore la complexité de la moralité et de la prise de décision
En tant qu'expérience de pensée, il présente une vision simpliste de la moralité en réduisant l'essence existentielle humaine à un choix binaire entre aider ou entraver la création d'IA. Une telle vision ignore la relation complexe et nuancée entre nous, la moralité et la prise de décision.

Prendre en charge au milieu des peurs apocalyptiques

Que nous parvenions ou non à surmonter nos peurs apocalyptiques est une discussion pour un autre jour. Le besoin le plus immédiat est de savoir comment vivre fonctionnellement et heureux dans un monde où de telles peurs persistent.

À cette fin, nous pouvons commencer par reconnaître maintenant (ce moment) comme tout ce que nous pouvons expérimenter et contrôler. Même ainsi, nous sommes limités dans ce que nous pouvons vraiment contrôler. Alors, comment pouvons-nous même vivre aujourd'hui si nous avons constamment peur de demain ?

Une façon consiste à accorder plus d'attention à apprécier et à apprécier tout ce qui est beau aujourd'hui. En d'autres termes, tout ce qui améliore notre expérience de ce côté de l'univers par le temps.

"Il y a une idée qui est populaire, de soulever des inquiétudes sur l'IA en imaginant un avenir où elle deviendrait assez puissante pour opprimer toute l'humanité. Mais se projeter dans un futur imaginaire détourne l'attention de la façon dont la technologie est utilisée actuellement. L'IA a fait des choses incroyables ces dernières années.

Catherine Breslin - Consultante en intelligence artificielle et ancienne employée d'Amazon

Enfin, nous devrions rechercher des systèmes basés sur des faits qui nous permettent de faire face à ce qui pourrait mal tourner demain d'une manière qui inspire des solutions plutôt que la panique.