Ce n’est un secret pour personne que nous sommes tombés sur un obstacle redoutable à notre avenir alimenté par l’IA : la consommation énergétique stupéfiante de nos modèles actuels.  Les leaders de l'industrie s'efforcent de trouver des réponses à court terme pour s'assurer de ne pas manquer la vague, avec des efforts ambitieux comme  et  .   Microsoft rouvre les réacteurs nucléaires de Three Mile Island   Google travaille sur des projets géothermiques « inédits »  Et pendant que cela se joue à la table des grands enfants, un troupeau de nouvelles startups s'appuient sur les progrès réalisés ces dernières années, repensant les fondamentaux pour voir s'il existe des solutions qui pourraient servir de solution à long terme.  Un projet qui   des centaines de millions de dollars d’investissement en infrastructures. ne nécessite pas  Les exigences de puissance de l'IA sont une bombe à retardement  L'exploitation de modèles linguistiques volumineux dans leur version actuelle est un processus à forte consommation d'énergie qui se rapproche rapidement de niveaux insoutenables. L'entraînement d'un seul modèle d'IA peut émettre autant de carbone que cinq voitures sur toute leur durée de vie. Il ne s'agit pas seulement d'un problème environnemental ; c'est un cauchemar en termes d'évolutivité qui menace de faire dérailler la révolution de l'IA avant qu'elle ne prenne son plein essor.  Considérez ces faits qui donnent à réfléchir :  GPT-3, avec ses 175 milliards de paramètres, aurait nécessité 1 287 MWh pour un seul cycle d'entraînement.  L’empreinte carbone de la formation d’un grand modèle PNL est estimée à environ 626 000 livres d’équivalent CO2.  À mesure que les modèles se développent, leur consommation d’énergie augmente également, souvent à un rythme ultra-linéaire.  Et à mesure que l’industrie cherche à développer des capacités d’IA toujours plus avancées, cette consommation d’énergie est vouée à exploser. Ce n’est pas seulement un problème au niveau opérationnel, mais aussi à plus grande échelle, car les leaders de l’industrie comme Google se sont engagés à atteindre des émissions nettes de carbone nulles en achetant des crédits carbone à des entreprises qui s’occupent par exemple   – un marché où la demande dépasse déjà largement l’offre. de boucher des puits de pétrole et de gaz orphelins  Efficacité et activation minimale des paramètres : la nouvelle étoile du Nord de l'innovation en IA  La solution pourrait être assez simple : des modèles plus intelligents, plus petits et plus efficaces, conçus pour un ensemble d’objectifs spécifiques.  Réduire le champ d’application, en quelque sorte.  Le   en est un exemple. Il utilise une activation minimale des paramètres. Bien que le modèle Aria dispose d'un total de 25,3 milliards de paramètres, il n'en active que 3,9 milliards pour une tâche donnée. Les modèles traditionnels, comme GPT-3, activent tous leurs paramètres pour chaque tâche, quelle que soit sa complexité, tandis que l'approche d'Aria est comparable à celle d'un chirurgien qui n'utilise que les instruments nécessaires à une procédure spécifique. De nombreux chirurgiens vous diront qu'ils n'ont pas besoin de déployer l'intégralité de l'équipement de la salle d'opération pour chaque opération. modèle open source Aria développé par Rhymes  Rhyme a mis en pratique cette approche avec BeaGo, qu'ils appellent « une recherche IA plus intelligente et plus rapide ». D'après mes tests, les résultats de BeaGo étaient indiscernables de ceux des produits concurrents de Perplexity et d'autres produits plus gourmands en énergie et en temps.  Mais il s’agit de bien plus qu’un simple rétrécissement du champ d’application : la startup a construit un modèle multimodal open source de mélange d’experts qui trie et gère intelligemment des données volumineuses et à long contexte de tous types, y compris du texte, de la vidéo et des images.  La solution de Rhymes pourrait ouvrir la voie à l’IA en 2025 et au-delà, tout cela sans dépenser des centaines de millions de dollars en infrastructures.  Le rappel : l’innovation ne s’arrête jamais  En fin de compte, le travail d’entreprises comme Rhymes nous rappelle que ce n’est pas parce que nous avons trouvé quelque chose qui   que la tâche d’innover est terminée. Alors que Microsoft et Google fonctionnent avec nos grands modèles de langage existants, s’efforçant de produire et d’amener l’IA sur le marché de masse, d’autres ne peuvent s’empêcher de travailler à la création de quelque chose d’encore meilleur. fonctionne  Je suis encouragé par l’approche axée sur les startups que je vois ici à la fin de 2024 – combinant des capacités multimodales, une activation sélective de paramètres et une collaboration open source – qui offre un modèle sur la façon dont nous pouvons parvenir à une vision d’une IA qui fonctionne et qui travaille pour la planète.

This story contains new, firsthand information uncovered by the writer.

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

Google

Island

Microsoft

Power

The Discoverability Company

More About Drew Chapin

Digital Discovery Expert

Cet audio est produit dans la langue originale de l'histoire !

La crise énergétique de l'IA et une nouvelle dynamique en faveur de l'efficacité

About Author

COMMENTAIRES

ÉTIQUETTES

CET ARTICLE A ÉTÉ PARU DANS

Related Stories

Les couches invisibles : pourquoi les entretiens avec les utilisateurs sont un atout irremplaçable

Libérer la puissance de l’IA. Une revue systématique des techniques de pointe : résumé et introduction

Appuyez pour gagner : Telegram pourrait intégrer les 10 prochains milliards d'utilisateurs de crypto avant Solana

Vous voulez gagner un concours d’écriture HackerNoon ? Voici ce que recommandent les gagnants du concours #crypto-api

Les couches invisibles : pourquoi les entretiens avec les utilisateurs sont un atout irremplaçable

Libérer la puissance de l’IA. Une revue systématique des techniques de pointe : résumé et introduction

Appuyez pour gagner : Telegram pourrait intégrer les 10 prochains milliards d'utilisateurs de crypto avant Solana

Vous voulez gagner un concours d’écriture HackerNoon ? Voici ce que recommandent les gagnants du concours #crypto-api

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps