AGI の未来のためのペタバイト規模のベクトル ストア

あなたは、独自のチャットボットの作成方法を説明する興味深い YouTube ビデオを見つけました。 Visual Studio で 1 時間実験を行った後、同僚に披露できる素晴らしい小さなプロジェクトが完成しました。

しかし、上司が社内全体に AI の導入を義務付けると、この概念実証はラップトップにのみ適していることに気づきました。実稼働環境では現実的ではありません。

この人工知能テクノロジーの変化の中で、生成 AI を大規模に活用した企業はほんのわずかです。ラップトップ POC はギガバイト規模でも問題なく使用可能ベクトルストア。

しかし、それはすぐに変わるでしょう。そして、それが起こるとき、DataStax の同僚と私、および Apache Cassandra® プロジェクトはすでにそれに取り組んでおり、実証済みのテクノロジーを使用して、1 つのデータセンター内のベクトル データのギガバイトの限界をはるかに超えています。

そのために、本日、ベクトル検索を備えた DataStax Astra DB の一般提供を発表しました。 。私たちは自律エージェントを特徴とする生成 AI の未来を構築しています。これらの AI エージェントは、状況に応じて呼び出すために大量の高速アクセス メモリを必要とします。そして、何だと思いますか？

ベクター ストアは、この貪欲なメモリへの飢えを満たす鍵となります。

どこでもより多くのデータ

使用するベクトル データが増えれば増えるほど、必然的にスケールが制限要因になることが明らかになります。しかし、ここがカサンドラが本当に輝くところです。私たちは、ベクター ストアが Cassandra 上に構築されているため、ペタバイトに達するという主張に自信を持っています。

はい、同じ Cassandra がすでにペタバイトサイズのクラスターで実行されています。過去 12 年間、私たちはオープンソース プロジェクトとして、世界最大のトランザクション データ ワークロードに対応するシステムを構築し、最適化してきました。

ベクトルの保存と検索は、すでに素晴らしいテクノロジーに追加されるもう 1 つの機能にすぎません。

おまけに、Cassandra をベクター ストアとして使用する最も重要な利点の 1 つは、組み込みのレプリケーション メカニズムです。これにより、アクティブ/アクティブ レプリケーションがグローバルに可能になり、データが複数の場所に存在し、リアルタイムで更新されることが可能になります。ビッグデータの時代には、これは多くの組織にとって大きな力でした。

生成型 AI の時代では、エージェントが独立してグローバルに行動するため、それは生き残りの問題になります。必要な場所に一貫したデータ ストレージを提供し、大規模な場合でも手頃な価格にするために必要な弾力性を備えています。

これは本当に必要ですか?

ここで、「ペタバイトを保存できるベクトル ストアを実際に必要とする人がいるでしょうか?」と疑問に思うかもしれません。歴史が私たちに何かを教えているとすれば、データ ストレージ容量の必要性は、誰もが予想しているよりもはるかに速く増加しています。

ベクトルの使用は、エンタープライズ データを基盤モデルに組み込む方法として急速に主流になりました。理論的には微調整で同じ結果が得られる可能性がありますが、多くの企業はベクトルを組み込むことで大きな利点が得られることを発見しました。

これは、医療や法律などの規制分野で特に重要となるデータの出所を提供し、モデル調整の複雑さを回避するのに役立ちます。

検索拡張生成 (ラグ) と、より新しい将来を見据えたアクティブ検索拡張世代 (フレア) は、最も動的で最新の情報を使用しながら、大規模な言語モデルの幻覚の問題を軽減できる優れたソリューションです。

最良の結果を求める場合は、LLM とベクトル検索を組み合わせるのが最適です。

LLM が改善されても、ベクターの必要性は減っていません。 LLM はコンピューティング、ネットワーク、ストレージのリソースを消費するため、インフラストラクチャ支出のリーダーになりつつあります。彼らは、一部の人が「ペタコスト」インフラストラクチャと呼ぶものの現在のリーダーであるエンタープライズ データ レイクを追い越すことになるでしょう。

ただし、LLM とベクトル検索を組み合わせると、最適なパフォーマンスと品質を合理的なコストで提供できます。

埋め込む必要があるさまざまなものに基づいて、ペタバイト規模のベクター ストアが必要になるのは時間の問題です。類似性検索の有効性における重要な要素は、使用される埋め込みアルゴリズムの品質と、効率的な保存と検索の組み合わせです。

データが多すぎるまでシステムが効率的であるとは言えません。システムは、提供するデータが不足する時点をはるかに超えて効率的である必要があります。

AI の脳には痛みはありません

ChatGPT はすべての人の注目を集め、膨大な量の「もしも」の推測を生み出しましたが、最終的には、新しいクラスのデータ アーキテクチャを実証する製品です。 LLM は今後も改善され続けますが、LLM を使用して何を行うかが価値を生み出します。

この分野の専門家が期待を寄せているのは、本当の革命は 2 つの部分で起こります。

1. 汎用人工知能 (AGI)

   
   

2. 分散型自律型 AI エージェント

これらのいずれかがリソースに多大な負担をもたらし、制限に直面している組織にとって、それらが組み合わさって多大な問題を引き起こす可能性があります。エージェントは人間と似ており、知識が増えるほど、より適切な意思決定を行うことができます。

単純な航空券予約エージェントを使用している場合は、すぐに呼び出す必要がある関連事項をすべて考慮してください。スケジュールや気象条件などの変更だけでなく、多くのフライトを予約したことで得られる経験。待ってください、経験ですか？

人間の旅行代理店は、混沌としたシステムを扱うことに深い経験を持っており、その経験は 1 つのもの、つまり記憶として特徴付けることができます。 AI エージェントは、タスクに関する洞察を得るにつれて価値が高まり、それらの記憶は埋め込みとして保存されます。

私たちはエージェントたちに映画で見られたのと同じ問題を経験してほしくないのです。メメント, したがって、制限を始めるのはやめましょう。

明日から今日始めよう

それで、私のアドバイスは？今すぐ AI エージェントとそれをどのように拡張するかについて考え始めてください。明日、来週、あるいは避けられない障害にぶつかったときを待ってはいけません。今すぐ成功に向けて準備を整えてください。

成長と拡張性を計画します。後で大規模な移行を余儀なくされるような状況に陥らないようにしてください。私はいくつかの大規模なデータ移行プロジェクトに参加してきましたが、そのプロジェクトはいつも「これ以上の規模が必要になるとは思わなかった」から始まります。

Cassandra はオープンソースであり、無料で使用できます。大規模なクラスターを実行する手間を省きたい場合は、 DataStax Astra DB数回クリックするだけで起動して実行でき、必要なだけ自動スケールします。

そして、トレンドラインを見て次の動きを計画しようとしている人にとって、AI エージェントは考慮すべきものです。 AI の未来は広大で、とてもエキサイティングです。しかし、それに備えるためには、今日から準備をする必要があります。

次のようなフレームワークについて学びますラングチェーンとラマインデックスそして使用しますカシオ堅牢で信頼性の高い Cassandra 上に構築されたペタバイト規模のベクター ストアにアクセスします。今日から正しいスタートを切り、後で移行する準備をしないでください。

一度に 1 ペタバイト規模のベクター ストアを一緒に AI の未来へ導きましょう。

パトリック・マクファディン著、DataStax