Un magasin de vecteurs à l'échelle du pétaoctet pour l'avenir de l'AGI

Vous tombez sur une vidéo YouTube intrigante qui vous guide dans la création de votre propre chatbot. Après une heure d'expérimentation dans Visual Studio, vous avez un petit projet fantastique à présenter à vos collègues.

Cependant, lorsque votre patron exige la mise en œuvre de l'IA dans toute l'entreprise, vous vous rendez compte que cette preuve de concept ne convient qu'à un ordinateur portable ; ce n'est pas pratique pour la production.

Dans cette inflexion de la technologie de l'intelligence artificielle, seul un infime pourcentage d'entreprises ont fait quoi que ce soit à grande échelle avec l'IA générative. Un ordinateur portable POC peut s'en tirer avec une échelle de gigaoctets magasin de vecteur .

Mais cela changera rapidement, et quand ce sera le cas, mes collègues et moi de DataStax et du projet Apache Cassandra® y travaillons déjà, en utilisant une technologie éprouvée pour repousser les limites bien au-delà d'un gigaoctet de données vectorielles dans un centre de données.

À cette fin, aujourd'hui, nous avons annoncé la disponibilité générale de DataStax Astra DB avec recherche vectorielle . Nous construisons un avenir pour l'IA générative qui comprend des agents autonomes. Ces agents IA auront besoin de beaucoup de mémoire à accès rapide pour le rappel contextuel. Et devine quoi?

Les magasins Vector seront la clé pour satisfaire cette faim vorace de mémoire.

Plus de données partout

Plus nous utilisons de données vectorielles, plus il devient évident que l'échelle sera inévitablement le facteur limitant. Mais c'est là que Cassandra brille vraiment. Nous sommes confiants dans l'affirmation d'un magasin de vecteurs atteignant un pétaoctet car il est construit sur Cassandra.

Oui, la même Cassandra que nos utilisateurs utilisent déjà avec des clusters de la taille d'un pétaoctet. Au cours des 12 dernières années, en tant que projet open source, nous avons construit et optimisé un système pour les plus grandes charges de travail de données transactionnelles au monde.

Le stockage et la recherche de vecteurs ne sont qu'une fonctionnalité de plus à ajouter à une technologie déjà incroyable.

En prime, l'un des avantages les plus importants de l'utilisation de Cassandra comme magasin de vecteurs est son mécanisme de réplication intégré. Cela permet une réplication active-active à l'échelle mondiale, ce qui signifie que vos données peuvent exister et être mises à jour en temps réel à plusieurs endroits. À l'ère du big data, c'était une superpuissance pour de nombreuses organisations.

À l'ère de l'IA générative, ce sera une question de survie car les agents agiront de manière indépendante et globale. Stockage de données cohérent partout où cela est nécessaire, avec l'élasticité requise pour le rendre abordable à grande échelle.

Avons-nous vraiment besoin de ça ?

Maintenant, vous pourriez vous demander : "Qui a réellement besoin d'un magasin de vecteurs pouvant stocker un pétaoctet ?" Si l'histoire nous a appris quelque chose, le besoin de capacité de stockage de données augmente beaucoup plus rapidement que quiconque ne l'anticipe.

L'utilisation de vecteurs est rapidement devenue le moyen prédominant d'incorporer des données d'entreprise dans des modèles de base. Même si un réglage fin pourrait théoriquement aboutir au même résultat, de nombreuses entreprises ont découvert que l'incorporation de vecteurs offrait des avantages significatifs.

Il fournit la provenance des données, ce qui est particulièrement important dans les domaines réglementés comme la santé et le droit, et permet d'éviter les complexités du réglage des modèles.

Récupération-Génération Augmentée ( CHIFFON ) et la nouvelle génération augmentée de récupération active tournée vers l'avenir ( ÉCLATER ) sont des solutions impressionnantes qui peuvent réduire le problème des hallucinations de grands modèles de langage tout en utilisant les informations les plus dynamiques et les plus à jour.

Si vous recherchez les meilleurs résultats, combiner les LLM avec la recherche vectorielle est la voie à suivre.

Les LLM améliorés n'ont pas diminué le besoin de vecteurs. Avec leur consommation de ressources de calcul, de réseau et de stockage, les LLM deviennent le leader des dépenses d'infrastructure. Ils passeront à côté du chef de file actuel de ce que certains ont qualifié d'infrastructure « pétacoûtante » : le lac de données d'entreprise.

Cependant, combiner les LLM avec la recherche vectorielle peut fournir des performances et une qualité optimales à un coût raisonnable.

Ce n'est qu'une question de temps avant que nous ayons besoin de magasins de vecteurs de la taille d'un pétaoctet en fonction de la variété de choses que nous devrons intégrer. Un facteur critique dans l'efficacité de la recherche de similarité est la qualité de l'algorithme d'intégration utilisé, associée à un stockage et une récupération efficaces.

Ce n'est pas que le système est efficace tant qu'il n'y a pas trop de données. Le système doit être efficace bien au-delà du point où vous manquez de données pour lui donner.

Pas de douleur pour le cerveau de l'IA

ChatGPT a attiré l'attention de tout le monde et a créé une énorme quantité de spéculations "et si", mais en fin de compte, c'est un produit qui démontre une nouvelle classe d'architecture de données. Les LLM continueront de s'améliorer, mais ce que vous faites avec le LLM est ce qui crée de la valeur.

Des experts dans le domaine qui regardent vers l'avenir ont été la vraie révolution se fera en deux temps :

1. Intelligence Artificielle Générale (IAG)

   
   

2. Agents IA autonomes distribués

L'un ou l'autre de ces facteurs entraînera d'énormes contraintes sur les ressources et, combinés, pourraient causer beaucoup de problèmes aux organisations qui se heurtent à des limites. Les agents sont similaires aux humains : plus ils en savent, meilleures sont les décisions qui peuvent être prises.

Si vous aviez un simple agent de réservation de vol, considérez toutes les choses pertinentes qui doivent être rappelées immédiatement. Non seulement les horaires changeants et les conditions météorologiques, mais aussi l'expérience acquise après avoir réservé de nombreux vols. Attendez — expérience ?

Les agents de voyages humains ont une expérience approfondie du travail avec un système chaotique, et cette expérience peut être caractérisée par une chose : la mémoire. Les agents de l'IA gagneront en valeur au fur et à mesure qu'ils auront un aperçu de leurs tâches, et ces souvenirs seront stockés sous forme d'intégrations.

Nous ne voulons pas que nos agents subissent les mêmes problèmes vus dans le film Mémento , alors ne commençons même pas par des limites.

Commencez demain aujourd'hui

Alors, mon conseil ? Commencez à penser aux agents d'IA et à la façon dont vous allez les faire évoluer aujourd'hui. N'attendez pas demain, la semaine prochaine ou lorsque vous vous heurterez à cet inévitable barrage routier. Préparez-vous pour le succès maintenant.

Planifiez la croissance et l'évolutivité. Ne vous mettez pas dans une position où vous êtes obligé d'entreprendre une migration massive plus tard. J'ai été impliqué dans d'énormes projets de migration de données qui commencent toujours par : "Eh bien, nous ne pensions pas que nous aurions besoin de plus d'échelle."

Cassandra est open-source et libre d'utilisation. Si vous ne voulez pas avoir à gérer un grand cluster, DataStax Astra DB peut vous rendre opérationnel en quelques clics et évoluera automatiquement aussi haut que vous le souhaitez.

Et pour ceux qui regardent les tendances et essaient de planifier le prochain mouvement, les agents d'IA sont ce que vous devez considérer. L'avenir de l'IA est vaste et passionnant. Mais pour être prêt, nous devons nous préparer aujourd'hui.

En savoir plus sur les frameworks tels que LangChain et LlamaIndex et utilise CassIO pour accéder à un magasin de vecteurs à l'échelle du pétaoctet construit sur Cassandra robuste et fiable. Commencez du bon pied aujourd'hui et ne vous préparez pas à la migration plus tard.

Inaugurons ensemble l'avenir de l'IA, un magasin de vecteurs à l'échelle du pétaoctet à la fois.

Par Patrick McFadin, DataStax