La crise énergétique de l'IA et une nouvelle dynamique en faveur de l'efficacité

Ce n’est un secret pour personne que nous sommes tombés sur un obstacle redoutable à notre avenir alimenté par l’IA : la consommation énergétique stupéfiante de nos modèles actuels.

Les leaders de l'industrie s'efforcent de trouver des réponses à court terme pour s'assurer de ne pas manquer la vague, avec des efforts ambitieux comme Microsoft rouvre les réacteurs nucléaires de Three Mile Island et Google travaille sur des projets géothermiques « inédits » .

Et pendant que cela se joue à la table des grands enfants, un troupeau de nouvelles startups s'appuient sur les progrès réalisés ces dernières années, repensant les fondamentaux pour voir s'il existe des solutions qui pourraient servir de solution à long terme.

Un projet qui ne nécessite pas des centaines de millions de dollars d’investissement en infrastructures.

Les exigences de puissance de l'IA sont une bombe à retardement

L'exploitation de modèles linguistiques volumineux dans leur version actuelle est un processus à forte consommation d'énergie qui se rapproche rapidement de niveaux insoutenables. L'entraînement d'un seul modèle d'IA peut émettre autant de carbone que cinq voitures sur toute leur durée de vie. Il ne s'agit pas seulement d'un problème environnemental ; c'est un cauchemar en termes d'évolutivité qui menace de faire dérailler la révolution de l'IA avant qu'elle ne prenne son plein essor.

Considérez ces faits qui donnent à réfléchir :

• GPT-3, avec ses 175 milliards de paramètres, aurait nécessité 1 287 MWh pour un seul cycle d'entraînement.
• L’empreinte carbone de la formation d’un grand modèle PNL est estimée à environ 626 000 livres d’équivalent CO2.
• À mesure que les modèles se développent, leur consommation d’énergie augmente également, souvent à un rythme ultra-linéaire.

Et à mesure que l’industrie cherche à développer des capacités d’IA toujours plus avancées, cette consommation d’énergie est vouée à exploser. Ce n’est pas seulement un problème au niveau opérationnel, mais aussi à plus grande échelle, car les leaders de l’industrie comme Google se sont engagés à atteindre des émissions nettes de carbone nulles en achetant des crédits carbone à des entreprises qui s’occupent par exemple de boucher des puits de pétrole et de gaz orphelins – un marché où la demande dépasse déjà largement l’offre.

Efficacité et activation minimale des paramètres : la nouvelle étoile du Nord de l'innovation en IA

La solution pourrait être assez simple : des modèles plus intelligents, plus petits et plus efficaces, conçus pour un ensemble d’objectifs spécifiques.

Réduire le champ d’application, en quelque sorte.

Le modèle open source Aria développé par Rhymes en est un exemple. Il utilise une activation minimale des paramètres. Bien que le modèle Aria dispose d'un total de 25,3 milliards de paramètres, il n'en active que 3,9 milliards pour une tâche donnée. Les modèles traditionnels, comme GPT-3, activent tous leurs paramètres pour chaque tâche, quelle que soit sa complexité, tandis que l'approche d'Aria est comparable à celle d'un chirurgien qui n'utilise que les instruments nécessaires à une procédure spécifique. De nombreux chirurgiens vous diront qu'ils n'ont pas besoin de déployer l'intégralité de l'équipement de la salle d'opération pour chaque opération.

Rhyme a mis en pratique cette approche avec BeaGo, qu'ils appellent « une recherche IA plus intelligente et plus rapide ». D'après mes tests, les résultats de BeaGo étaient indiscernables de ceux des produits concurrents de Perplexity et d'autres produits plus gourmands en énergie et en temps.

Mais il s’agit de bien plus qu’un simple rétrécissement du champ d’application : la startup a construit un modèle multimodal open source de mélange d’experts qui trie et gère intelligemment des données volumineuses et à long contexte de tous types, y compris du texte, de la vidéo et des images.

La solution de Rhymes pourrait ouvrir la voie à l’IA en 2025 et au-delà, tout cela sans dépenser des centaines de millions de dollars en infrastructures.

Le rappel : l’innovation ne s’arrête jamais

En fin de compte, le travail d’entreprises comme Rhymes nous rappelle que ce n’est pas parce que nous avons trouvé quelque chose qui fonctionne que la tâche d’innover est terminée. Alors que Microsoft et Google fonctionnent avec nos grands modèles de langage existants, s’efforçant de produire et d’amener l’IA sur le marché de masse, d’autres ne peuvent s’empêcher de travailler à la création de quelque chose d’encore meilleur.

Je suis encouragé par l’approche axée sur les startups que je vois ici à la fin de 2024 – combinant des capacités multimodales, une activation sélective de paramètres et une collaboration open source – qui offre un modèle sur la façon dont nous pouvons parvenir à une vision d’une IA qui fonctionne et qui travaille pour la planète.