O desenvolvimento de grandes modelos de linguagem requer investimentos substanciais em tempo e recursos de GPU, o que se traduz diretamente em custos elevados. Quanto maior o modelo, mais pronunciados se tornam esses desafios.  Recentemente, Yandex introduziu uma nova solução:   , uma ferramenta de código aberto que promete revolucionar o treinamento LLM ao reduzir significativamente o consumo de recursos de GPU e o tempo de treinamento. Em um cenário de pré-treinamento envolvendo um modelo com 70 bilhões de parâmetros, o uso do YaFSDP pode economizar recursos de aproximadamente 150 GPUs. Isso se traduz em economias mensais potenciais de aproximadamente US$ 0,5 a US$ 1,5 milhão, dependendo do fornecedor ou plataforma de GPU virtual. YaFSDP  Yandex tornou o YaFSDP publicamente disponível em  .   GitHub   O desafio do treinamento LLM distribuído  O treinamento de LLMs em várias GPUs envolve operações complexas que levam a ineficiências e alto consumo de memória. Um dos principais problemas é a necessidade de enviar e receber grandes quantidades de dados entre GPUs. Por exemplo, em uma operação all_reduce típica, deve ser comunicado o dobro da quantidade de dados de gradiente do número de parâmetros de rede. No caso de um modelo Llama 70B, isso significa transferir 280 GB de dados por iteração.  Além disso, pesos, gradientes e estados do otimizador são duplicados nas GPUs, levando a uma enorme carga de memória. O modelo Llama 70B e o otimizador Adam requerem mais de 1 TB de memória, excedendo em muito a capacidade de memória típica de 80 GB da maioria das GPUs. Essa redundância retarda severamente o processo de treinamento e muitas vezes torna impraticável encaixar até mesmo modelos de tamanho moderado na memória da GPU.   Apresentando o YaFSDP  O YaFSDP da Yandex oferece uma solução altamente eficaz para esses desafios. Ao focar na otimização do consumo de memória e na eliminação de gargalos de comunicação, o YaFSDP aumenta a eficiência do treinamento LLM. Funciona fragmentando camadas em vez de parâmetros individuais, mantendo comunicações eficientes e evitando operações redundantes. Além disso, o YaFSDP pré-aloca buffers para todos os dados necessários, garantindo que o alocador Torch não introduza ineficiências.  O YaFSDP opera utilizando dois buffers para pesos e gradientes intermediários, com camadas ímpares usando um buffer e camadas pares usando o outro.   Os pesos das diferentes camadas são armazenados na mesma memória. Se as camadas tiverem a mesma estrutura, serão sempre idênticas. É crucial garantir que quando você precisar da camada X, o buffer contenha os pesos da camada X. Todos os parâmetros serão armazenados no bloco de memória correspondente dentro do buffer.    Consumo de memória  Durante o treinamento, os principais consumidores de memória são pesos, gradientes, estados do otimizador, buffers e ativações. O YaFSDP reduz significativamente o consumo de memória otimizando a forma como esses elementos são armazenados e acessados.    : dependem do número de processos e seu consumo de memória tende a se aproximar de zero à medida que o número de processos aumenta. Ao fragmentar esses componentes entre GPUs, o YaFSDP minimiza a duplicação e, assim, reduz o uso de memória. Pesos, gradientes e estados do otimizador    consomem uma quantidade constante de memória e armazenam valores intermediários durante os cálculos. Os buffers    dependem do tamanho do modelo e do número de tokens processados por GPU. As ativações   Ponto de verificação de ativação  O checkpoint de ativação é uma técnica que armazena apenas as ativações necessárias durante a passagem para frente e as recalcula durante a passagem para trás. Isso reduz significativamente o consumo de memória, pois apenas os dados essenciais são armazenados. Por exemplo, ao treinar um modelo Llama 2 70B com tamanho de lote de 8.192 tokens, o armazenamento de ativação pode ser reduzido de mais de 110 GB para apenas 5 GB.  No entanto, esta abordagem introduz sobrecarga computacional adicional, que o YaFSDP permite evitar ao não usar o checkpoint de ativação para algumas camadas, o que é possível devido à otimização da memória.   Otimização da Comunicação  O YaFSDP melhora a eficiência da comunicação da GPU, garantindo que os dados sejam transferidos somente quando necessário e sobrepondo a comunicação com a computação. Ele utiliza fluxos CUDA para gerenciar computações e comunicações simultâneas de maneira eficaz.  A ferramenta usa dois fluxos: um fluxo de computação e um fluxo de comunicação. Os eventos sincronizam esses fluxos, garantindo que as operações sejam executadas na ordem correta sem introduzir conflitos.   A passagem direta na terceira camada não começa até que a operação all_gather seja concluída (condição 1). Da mesma forma, a operação all_gather na terceira camada não começará até que a passagem direta na primeira camada que usa o mesmo buffer seja concluída (condição 2). Como não há ciclos neste esquema, o impasse é impossível.   Resultados experimentais e ganhos de desempenho  A implementação do YaFSDP mostrou melhorias notáveis na eficiência do treinamento. Em um cenário de pré-treinamento com um modelo com 70 bilhões de parâmetros, o YaFSDP conseguiu economizar recursos de aproximadamente 150 GPUs. Isso se traduz em economias mensais significativas de custos, variando de US$ 0,5 a US$ 1,5 milhão, dependendo do fornecedor ou plataforma de GPU virtual.  O YaFSDP reduz o tempo de treinamento em até 26% em comparação com métodos existentes como o FSDP e otimiza o uso de memória, possibilitando treinar modelos maiores com mais eficiência.   Yandex tornou o YaFSDP publicamente disponível em  . Os engenheiros de ML podem aproveitar esta ferramenta para aumentar a eficiência de seus processos de treinamento LLM. Ao abrir o código do YaFSDP, a Yandex visa promover a inovação e a colaboração na comunidade de IA, permitindo que os desenvolvedores treinem modelos de forma mais rápida e econômica.   GitHub  YaFSDP representa um avanço significativo no treinamento LLM. Enfrentar os desafios críticos de consumo de memória e ineficiências de comunicação permite um treinamento mais rápido e eficiente de grandes modelos de linguagem.

Este áudio é produzido no idioma original da história!

YaFSDP - uma ferramenta de treinamento LLM que reduz o uso de GPU em 20% - já foi lançada

About Author

COMENTARIOS

Rótulos

ESTE ARTIGO FOI APRESENTADO EM

Related Stories

Quer ganhar um concurso de redação do HackerNoon? Aqui está o que os vencedores do concurso #crypto-api recomendam

Liberando o poder da IA. Uma revisão sistemática de técnicas de ponta: resumo e introdução

Digital Nomads Ouçam: O que você precisa saber sobre o novo visto DTV da Tailândia

O guia completo para uma migração bem-sucedida para a nuvem: estratégias e práticas recomendadas

Quer ganhar um concurso de redação do HackerNoon? Aqui está o que os vencedores do concurso #crypto-api recomendam

Liberando o poder da IA. Uma revisão sistemática de técnicas de ponta: resumo e introdução

Digital Nomads Ouçam: O que você precisa saber sobre o novo visto DTV da Tailândia

O guia completo para uma migração bem-sucedida para a nuvem: estratégias e práticas recomendadas

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps