A crise energética da IA e um novo impulso para a eficiência

Não é segredo que nos deparamos com um obstáculo formidável para o nosso futuro movido a IA: o impressionante consumo de energia dos nossos modelos atuais.

Os líderes da indústria estão se esforçando para encontrar respostas de curto prazo para garantir que não percam a onda, com esforços ambiciosos como A reabertura dos reatores nucleares da Microsoft em Three Mile Island e Google trabalhando em projetos geotérmicos “primeiros do gênero” .

E enquanto isso acontece na mesa dos grandes, um grupo de novas startups está construindo sobre o progresso feito nos últimos anos, repensando os fundamentos para ver se há soluções que possam servir como solução de longo prazo.

Um que não exija centenas de milhões de dólares em investimentos em infraestrutura.

As demandas de energia da IA são uma bomba-relógio

Operar grandes modelos de linguagem em sua iteração atual é um processo que consome muita energia e está rapidamente se aproximando de níveis insustentáveis. Treinar um único modelo de IA pode emitir tanto carbono quanto cinco carros durante toda a sua vida útil. Não é apenas uma preocupação ambiental; é um pesadelo de escalabilidade que ameaça descarrilar a revolução da IA antes que ela decole completamente.

Considere estes fatos preocupantes:

• O GPT-3, com seus 175 bilhões de parâmetros, supostamente exigiu 1.287 MWh para uma única execução de treinamento.
• A pegada de carbono do treinamento de um grande modelo de PNL é estimada em cerca de 626.000 libras de CO2 equivalente.
• À medida que os modelos crescem, também aumenta seu consumo de energia – geralmente em uma taxa superlinear.

E à medida que a indústria pressiona por capacidades de IA mais avançadas, esse consumo de energia deve disparar. Isso não é apenas um problema em nível operacional, mas também no cenário geral, já que líderes da indústria como o Google se comprometeram a atingir emissões líquidas de carbono zero por meio da compra de créditos de carbono de empresas que fazem coisas como tampar poços de petróleo e gás órfãos - um mercado onde a demanda já está superando em muito a oferta.

Eficiência e ativação mínima de parâmetros: a nova estrela-guia da inovação em IA

A solução pode ser bastante simples: modelos mais inteligentes, menores e mais eficientes, construídos para um conjunto de propósitos específicos.

Estreitando o escopo, se preferir.

Um exemplo disso é o modelo Aria de código aberto criado pela Rhymes , que emprega ativação mínima de parâmetros. Enquanto o modelo Aria ostenta um total de 25,3 bilhões de parâmetros, ele ativa apenas meros 3,9 bilhões para qualquer tarefa. Modelos tradicionais e convencionais como o GPT-3 ativam todos os seus parâmetros para cada tarefa, independentemente da complexidade, enquanto a abordagem do Aria é como um cirurgião usando apenas os instrumentos necessários para um procedimento específico. Muitos cirurgiões diriam que não precisam implantar todo o equipamento da sala de cirurgia para cada operação.

A Rhyme implementou isso na prática com o BeaGo, que eles chamam de "uma busca de IA mais inteligente e rápida". Com base em meus testes, os resultados do BeaGo foram indistinguíveis dos produtos concorrentes da Perplexity e de outros produtos que exigem mais energia e tempo.

Mas é mais do que simplesmente estreitar o escopo: a startup construiu um modelo multimodal de código aberto com uma mistura de especialistas que classifica e gerencia de forma inteligente dados grandes e de longo contexto de todos os tipos, incluindo texto, vídeo e imagens.

A solução de Rhymes pode estar iluminando o caminho para a IA em 2025 e além, tudo isso sem gastar centenas de milhões de dólares em infraestrutura.

O lembrete: a inovação nunca para

No final, o trabalho de empresas como a Rhymes serve como um lembrete de que só porque encontramos algo que funciona , não significa que a tarefa de inovar acabou. Enquanto a Microsoft e o Google correm com nossos grandes modelos de linguagem existentes, trabalhando para produzir e levar a IA ao mercado de massa, outros não podem parar de trabalhar na construção de algo ainda melhor.

Estou animado com a abordagem orientada por startups que vejo aqui no final de 2024 – combinando capacidades multimodais, ativação seletiva de parâmetros e colaboração de código aberto – que oferece um modelo de como podemos alcançar uma visão de uma IA que funcione e trabalhe para o planeta.