100 jours d'IA, jour 16 : 5 points clés à retenir de l'événement pour développeurs IA de NVIDIA

Si l’IA est une ruée vers l’or, Nvidia est l’entreprise ultime en matière de pioches et de pelles. Tout ce qui concerne l'IA passe par Nvidia en raison de sa domination en tant que seule entreprise qui crée les puces (GPU) nécessaires au déploiement de grands modèles de langage coûteux en termes de calcul. À mesure que les modèles évoluent, le besoin de GPU plus puissants augmente et le monde entier compte sur Nvidia pour les satisfaire. Il n'est pas exagéré de dire que Nvidia est au cœur de tout ce qui concerne l'IA et ils ont récemment organisé leur conférence semestrielle des développeurs GTC (18-21 mars). Dans cet article, je vais résumer mes principaux points à retenir de cette conférence GTC très spéciale et ce que cela signifie pour l'espace gen AI.

À retenir 1 : l'IA ne se limite pas au secteur technologique

La puissance de ce que la génération IA peut faire et offrir n’a pas été perdue dans les secteurs non technologiques. Les entreprises de tous les secteurs de l’économie pensent qu’elles doivent adopter l’IA et trouver un moyen de collaborer, d’exécuter et de garder une longueur d’avance. La preuve ici est le nombre d’entreprises du secteur non technologique qui se sont associées à Nvidia. Des entreprises du commerce de détail, de l'automobile, de la construction, du design et de tout le reste ont annoncé des partenariats avec Nvidia.

À retenir 2 : nous avons besoin de GPU beaucoup plus gros

Depuis l'invention des transformateurs, nous doublons l'échelle des LLM tous les 6 mois. Par exemple, regardez le nombre de paramètres des modèles Open AI ci-dessous.

Dans la seule série GPT-3, le nombre de paramètres variait de 125 M à 175 B. Et les derniers modèles attendus de l’Open AI auraient un nombre de paramètres supérieur à 1 000 milliards et pourraient bientôt atteindre des milliards en moins de deux ans, si le rythme de mise à l’échelle se poursuit. Pour prendre en charge l’échelle croissante des LLM, nous avons besoin d’une puissance de calcul accrue. Pour conquérir le marché, Nvidia lance une nouvelle série de GPU appelée Blackwell, du nom du statisticien et mathématicien David Blackwell. Blackwell est une nouvelle série de GPU (GB200) mais aussi une nouvelle plateforme super informatique.

Voici une comparaison des performances du nouveau GPU Blackwell avec son GPU Hopper de génération précédente.

À retenir 3 : Passer de la récupération à la génération

Dans la génération informatique actuelle, tout consiste à récupérer une donnée stockée dans différents formats et à la présenter d’une manière utile à l’utilisateur. Mais dans la prochaine génération d'informatique et d'applications, nous sommes sur le point de voir davantage de choses générées à la demande de l'utilisateur et de les restituer à l'utilisateur. Dans le cas de chat-gpt par exemple, la réponse que vous obtenez n'est pas stockée au préalable dans une base de données, mais est générée en temps réel pour répondre à la question de l'utilisateur. Nous sommes sur le point d’assister à la génération de textes, d’images, de vidéos, de produits chimiques, de protéines et bien plus encore.

À retenir 4 : l'inférence s'améliore

L'inférence, c'est lorsque vous posez une question à chat-gpt, le modèle trouve la réponse sous forme de génération de jetons et renvoie la réponse sous forme de jetons. Si l’inférence n’est pas assez rapide, les consommateurs ne pourront utiliser aucune des applications d’IA. L'inférence est particulièrement délicate car les LLM sont de plus en plus grands et ne tiennent pas dans un seul GPU. Par conséquent, paralléliser l'inférence entre les GPU est une tâche difficile et implique de programmer les GPU Nvidia pour utiliser plusieurs techniques d'optimisation. Avec les GPU Blackwell, Nvidia est capable d’atteindre des vitesses d’inférence 30 fois plus rapides.

À retenir 5 : le véritable métaverse est l'Omnivers de NVidia

Au fur et à mesure que j’en apprends davantage sur Omniverse de Nvidia, je suis de plus en plus optimiste quant au produit et à l’idée. En effet, pour réellement exploiter l’IA et débloquer toutes les possibilités de l’automatisation et de la robotique, nous ne disposons pas de toutes les données nécessaires. Par exemple, disons que vous souhaitez créer un robot qui cuisine de bons plats de toutes sortes. Il n'existe aucune donnée permettant d'avoir une vue à la première personne des chefs cuisinant différents types de plats. Nous disposons de données générales sur diverses cuisines sous forme de vidéos YouTube, mais pour que les robots apprennent les mouvements physiques impliqués dans la cuisine, des données à la première personne sont nécessaires. Une simulation 3D du monde dans Omniverse peut aider à combler le manque de données nécessaire pour débloquer tous ces cas d'utilisation. Je suis extrêmement optimiste quant à l’idée.

C'est tout pour le jour 22 des 100 jours d'IA.

J'écris une newsletter intitulée Above Average dans laquelle je parle des idées de second ordre derrière tout ce qui se passe dans la grande technologie. Si vous êtes dans la technologie et que vous ne voulez pas être dans la moyenne, abonnez-vous .

Suivez-moi sur Twitter , LinkedIn ou HackerNoon pour les dernières mises à jour sur 100 jours d'IA ou ajoutez cette page à vos favoris . Si vous êtes dans le domaine de la technologie, vous pourriez être intéressé à rejoindre ma communauté de professionnels de la technologie ici .