Le développement de grands modèles de langage nécessite des investissements substantiels en temps et en ressources GPU, ce qui se traduit directement par des coûts élevés. Plus le modèle est grand, plus ces défis deviennent prononcés.  Récemment, Yandex a introduit une nouvelle solution :   , un outil open source qui promet de révolutionner la formation LLM en réduisant considérablement la consommation de ressources GPU et le temps de formation. Dans un scénario de pré-formation impliquant un modèle avec 70 milliards de paramètres, l'utilisation de YaFSDP peut économiser les ressources d'environ 150 GPU. Cela se traduit par des économies mensuelles potentielles d'environ 0,5 à 1,5 million de dollars, selon le fournisseur ou la plate-forme de GPU virtuel. YaFSDP  Yandex a rendu YaFSDP accessible au public sur  .   GitHub   Le défi de la formation LLM distribuée  La formation de LLM sur plusieurs GPU implique des opérations complexes qui entraînent des inefficacités et une consommation de mémoire élevée. L’un des principaux problèmes est la nécessité d’envoyer et de recevoir d’énormes quantités de données entre les GPU. Par exemple, dans une opération all_reduce typique, deux fois plus de données de gradient qu'il y a de paramètres de réseau doivent être communiquées. Dans le cas d'un modèle Llama 70B, cela signifie transférer 280 Go de données par itération.  De plus, les poids, les gradients et les états des optimiseurs sont dupliqués sur les GPU, ce qui entraîne une énorme charge de mémoire. Le modèle Llama 70B et l'optimiseur Adam nécessitent plus de 1 To de mémoire, dépassant de loin la capacité de mémoire typique de 80 Go de la plupart des GPU. Cette redondance ralentit considérablement le processus de formation et rend souvent difficile l'insertion de modèles, même de taille moyenne, dans la mémoire GPU.   Présentation de YaFSDP  YaFSDP de Yandex offre une solution très efficace à ces défis. En se concentrant sur l'optimisation de la consommation de mémoire et l'élimination des goulots d'étranglement de communication, YaFSDP améliore l'efficacité de la formation LLM. Il fonctionne en fragmentant les couches au lieu des paramètres individuels, en maintenant des communications efficaces et en évitant les opérations redondantes. De plus, YaFSDP pré-alloue des tampons pour toutes les données requises, garantissant ainsi que l'allocateur Torch n'introduit pas d'inefficacité.  YaFSDP fonctionne en utilisant deux tampons pour les poids et gradients intermédiaires, les couches impaires utilisant un tampon et les couches paires utilisant l'autre.   Les poids des différentes couches sont stockés dans la même mémoire. Si les couches ont la même structure, elles seront toujours identiques. Il est crucial de s'assurer que lorsque vous avez besoin de la couche X, le tampon contient les poids de la couche X. Tous les paramètres seront stockés dans le bloc de mémoire correspondant dans le tampon.    Consommation de mémoire  Pendant l'entraînement, les principaux consommateurs de mémoire sont les poids, les gradients, les états d'optimisation, les tampons et les activations. YaFSDP réduit considérablement la consommation de mémoire en optimisant la façon dont ces éléments sont stockés et accessibles.    : ceux-ci dépendent du nombre de processus, et leur consommation de mémoire a tendance à se rapprocher de zéro à mesure que le nombre de processus augmente. En partageant ces composants sur les GPU, YaFSDP minimise la duplication et réduit ainsi l'utilisation de la mémoire. Poids, gradients et états d'optimisation    consomment une quantité constante de mémoire et stockent des valeurs intermédiaires pendant les calculs. Les tampons    dépendent de la taille du modèle et du nombre de jetons traités par GPU. Les activations   Points de contrôle d'activation  Le point de contrôle d'activation est une technique qui stocke uniquement les activations nécessaires lors de la passe avant et les recalcule lors de la passe arrière. Cela réduit considérablement l'empreinte mémoire, car seules les données essentielles sont stockées. Par exemple, lors de la formation d'un modèle Llama 2 70B avec un lot de 8 192 jetons, le stockage d'activation peut être réduit de plus de 110 Go à seulement 5 Go.  Cependant, cette approche introduit une surcharge de calcul supplémentaire, que YaFSDP permet d'éviter en n'utilisant pas le point de contrôle d'activation pour certaines couches, ce qui est possible grâce à l'optimisation de la mémoire.   Optimisation des communications  YaFSDP améliore l'efficacité de la communication GPU en garantissant que les données sont transférées uniquement lorsque cela est nécessaire et en chevauchant la communication avec le calcul. Il utilise les flux CUDA pour gérer efficacement les calculs et les communications simultanés.  L'outil utilise deux flux : un flux de calcul et un flux de communication. Les événements synchronisent ces flux, garantissant que les opérations sont exécutées dans le bon ordre sans introduire de blocages.   La passe avant sur la troisième couche ne démarre pas tant que l'opération all_gather n'est pas terminée (condition 1). De même, l'opération all_gather sur la troisième couche ne commencera pas tant que la transmission directe sur la première couche qui utilise le même tampon n'est pas terminée (condition 2). Puisqu’il n’y a pas de cycles dans ce schéma, une impasse est impossible.   Résultats expérimentaux et gains de performances  La mise en œuvre de YaFSDP a montré des améliorations remarquables en termes d’efficacité de la formation. Dans un scénario de pré-formation avec un modèle comportant 70 milliards de paramètres, YaFSDP a pu économiser les ressources d'environ 150 GPU. Cela se traduit par des économies mensuelles significatives, allant de 0,5 à 1,5 million de dollars, selon le fournisseur ou la plate-forme de GPU virtuel.  YaFSDP réduit le temps de formation jusqu'à 26 % par rapport aux méthodes existantes comme FSDP et optimise l'utilisation de la mémoire, permettant ainsi de former plus efficacement des modèles plus volumineux.   Yandex a rendu YaFSDP accessible au public sur  . Les ingénieurs ML peuvent tirer parti de cet outil pour améliorer l'efficacité de leurs processus de formation LLM. En open source YaFSDP, Yandex vise à favoriser l'innovation et la collaboration au sein de la communauté de l'IA, permettant aux développeurs de former des modèles plus rapidement et de manière rentable.   GitHub  YaFSDP représente une avancée significative dans la formation LLM. Relever les défis critiques de la consommation de mémoire et des inefficacités de communication permet une formation plus rapide et plus efficace de grands modèles de langage.

Cet audio est produit dans la langue originale de l'histoire !

YaFSDP - Un outil de formation LLM qui réduit l'utilisation du GPU de 20 % - est maintenant disponible

About Author

COMMENTAIRES

ÉTIQUETTES

CET ARTICLE A ÉTÉ PARU DANS

Related Stories

Les couches invisibles : pourquoi les entretiens avec les utilisateurs sont un atout irremplaçable

Le guide complet pour réussir une migration vers le cloud : stratégies et bonnes pratiques

Le modèle Bitcoin UTXO, alimentant un écosystème unique

Vous voulez gagner un concours d’écriture HackerNoon ? Voici ce que recommandent les gagnants du concours #crypto-api

Les couches invisibles : pourquoi les entretiens avec les utilisateurs sont un atout irremplaçable

Le guide complet pour réussir une migration vers le cloud : stratégies et bonnes pratiques

Le modèle Bitcoin UTXO, alimentant un écosystème unique

Vous voulez gagner un concours d’écriture HackerNoon ? Voici ce que recommandent les gagnants du concours #crypto-api

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps