Apporter l'IA au Datacenter

Avec toutes les hypothèses que nous faisons sur les progrès des données d'entreprise et des technologies cloud, il y a un fait évident qui est souvent négligé : la majorité des données d'entreprise les plus importantes restent dans le centre de données de l'entreprise.

Il y a de nombreuses raisons à cela - certaines raisonnables, d'autres moins. Dans certains cas, c'est en raison de la nature hautement sensible des données, qu'il s'agisse de la conformité HIPAA, de données bancaires sensibles ou d'autres problèmes de confidentialité. Dans d'autres cas, les données résident dans des systèmes (pensez aux anciennes données de planification des ressources d'entreprise ou aux données de recherche scientifique à l'échelle du pétaoctet) qui sont difficiles à déplacer vers le cloud. Et parfois, ce n'est que de l'inertie. Ce n'est pas une bonne excuse, mais ça arrive tout le temps.

Quelle qu'en soit la raison, l'hébergement de données sur des racks de serveurs d'entreprise s'est avéré être un véritable obstacle à la capacité de nombreuses entreprises à tirer parti de l'IA pour transformer leur activité, car il a été pratiquement impossible de fournir la puissance de calcul importante nécessaire pour piloter l'IA sur l'infrastructure sous-jacente à la plupart des centres de données.

Mais un mouvement est en cours, via une petite constellation de startups et de grands fabricants d'appareils, pour optimiser les modèles d'apprentissage automatique et mettre l'IA à la disposition des entreprises dont les données ne sont pas dans le cloud. Cela va changer la donne.

Le problème de la puissance de traitement

L'unité de traitement graphique, ou GPU, a été développée pour gérer les applications de traitement vidéo à haute intensité comme celles requises par les jeux vidéo modernes et les films haute résolution. Mais la capacité de ces processeurs à décomposer des tâches complexes en tâches plus petites et à les exécuter en parallèle rend également ces circuits intégrés spécifiques à une application (ASIC) très puissants très utiles pour l'intelligence artificielle. L'IA, après tout, nécessite des flux massifs de données pour affiner et former des modèles d'apprentissage automatique.

Les processeurs, d'autre part, sont les cerveaux flexibles des serveurs et, en tant que tels, ils sont conçus pour gérer une grande variété d'opérations, comme l'accès aux données du disque dur ou le déplacement des données du cache vers le stockage, mais ils n'ont pas la capacité de effectuez ces tâches en parallèle (les processeurs multicœurs peuvent gérer des tâches parallèles, mais pas au niveau des GPU). Ils ne sont tout simplement pas conçus pour gérer le type de charges de travail à haut débit exigées par l'IA.

Les GPU hautes performances sont très chers et jusqu'à récemment, ils étaient rares, grâce à la dépendance des crypto-mineurs sur ces puces hautes performances. Pour la plupart, ils sont du domaine des fournisseurs de cloud. En effet, les services de calcul haute performance sont l'une des principales raisons pour lesquelles les entreprises transfèrent leurs données vers le cloud. de Google Unité de traitement du tenseur , ou TPU, est un ASIC personnalisé développé uniquement pour accélérer les charges de travail d'apprentissage automatique. Amazon possède également ses propres puces pour alimenter les charges de travail AI/ML.

Optimisation pour l'IA

Les GPU ont été à la base de la ruée vers l'innovation en IA qui a récemment fait la une des journaux. Une grande partie de ces développements de grande envergure ont été conduits par des entreprises repoussant les limites de ce qui est possible sans trop penser à l'efficacité ou à l'optimisation. Par conséquent, les charges de travail produites par les nouveaux outils d'IA ont été massives et donc, par nécessité, gérées dans le cloud.

Mais au cours des six derniers mois environ, cela a changé. D'une part, les modèles ML tentaculaires qui pilotent tous ces outils d'IA de pointe sont considérablement condensés, mais génèrent toujours les mêmes résultats puissants.

j'ai installé le Vigogne application sur mon téléphone portable, par exemple. C'est un modèle de 13 milliards de paramètres qui exécute une exécution de type ChatGPT et s'exécute en temps réel, directement sur mon téléphone. Ce n'est pas du tout dans le cloud - c'est une application qui réside sur un appareil.

Le projet Vicuna est né de la Organisation des grands systèmes modèles , une collaboration entre l'UC Berkeley, l'UC Davis et l'Université Carnegie Mellon avec pour mission de "rendre les grands modèles accessibles à tous en co-développant des ensembles de données, des modèles, des systèmes et des outils d'évaluation ouverts".

C'est une mission que la grande technologie n'ignore pas. Les derniers ordinateurs de bureau et iPhone d'Apple disposent de capacités de traitement spécialisées qui accélèrent les processus de ML. Google et Apple font également beaucoup de travail pour optimiser leur logiciel pour le ML.

Il y a aussi une tonne d'ingénieurs talentueux dans les startups qui travaillent pour rendre le matériel plus performant de manière à rendre l'IA/ML plus accessible.

Troisième IA est un excellent exemple. La société propose un moteur logiciel capable de former de grands modèles d'apprentissage en profondeur à l'aide de processeurs. DataStax expérimente avec l'équipe ThirdAI depuis des mois et a été impressionné par ce qu'ils ont développé - à tel point que la semaine dernière, nous avons annoncé un partenariat avec l'entreprise pour rendre les grands modèles de langage sophistiqués (LLM) et d'autres technologies d'IA accessibles à toute organisation. , quel que soit l'endroit où se trouvent leurs données. (En savoir plus sur l'actualité du partenariat ici ).

Apportez l'IA aux données

En raison de tout ce travail acharné et de cette innovation, l'IA ne sera plus exclusivement disponible pour les organisations disposant de données dans le cloud. Ceci est extrêmement important pour la confidentialité, ce qui est l'une des principales raisons pour lesquelles de nombreuses organisations conservent leurs données sur leurs propres serveurs en premier lieu.

Avec la vague de transformation de l'IA qui a tout balayé au cours des 18 derniers mois environ, tout tourne autour des données. En effet, il n'y a pas d'IA sans données, où qu'elles se trouvent. Les efforts d'équipes comme ThirdAI permettent également à toutes les organisations d'« apporter l'IA aux données ».

Pendant longtemps, les entreprises ont été obligées de faire le contraire : apporter leurs données à l'IA. Ils ont dû consacrer des ressources, du temps et un budget considérables pour migrer les données des entrepôts de données et des lacs de données vers des plates-formes d'apprentissage automatique dédiées avant d'analyser les informations clés.

Cela entraîne des coûts de transfert de données importants et le temps nécessaire pour migrer, analyser et migrer affecte la rapidité avec laquelle les organisations peuvent apprendre de nouveaux modèles et agir avec les clients sur le moment.

Apporter l'IA aux données est quelque chose sur lequel nous nous sommes beaucoup concentrés chez DataStax avec nos efforts d'IA en temps réel , car c'est le moyen le plus rapide de prendre des mesures basées sur ML/AI, de ravir les clients et de générer des revenus. Amener l'IA dans le centre de données, et pas seulement dans le cloud, est une autre étape très importante pour faire de la vague technologique transformationnelle de l'IA une chose à laquelle toutes les entreprises peuvent participer.

* En savoir plus sur le nouveau Programme de partenariat DataStax IA , qui met en relation les entreprises avec des startups d'IA révolutionnaires pour accélérer le développement et le déploiement d'applications d'IA pour les clients.*

Par Ed Anuff, DataStax