AI 主導のアプリケーションが実験からリアルタイムの生産システムに移行するにつれて、ベクトル類似性の検索に対する期待は劇的に上昇し続けます。 ScyllaDB Vector Search はこれらの制限を考慮して構築され、構造化されていない埋め込みとともに構造化されたデータを格納するための統一されたエンジンを提供し、管理されたデータベースシステムが規模で提供できる限界を超えるパフォーマンスを達成します。 アーキテクチャ A Glance ScyllaDB は、大量のベクトルセットで低ミリ秒のパフォーマンスを達成するために、ストレージとインデックスの責任を分離するアーキテクチャを採用し、ユーザの視点からシステムを統一的に維持します。 ScyllaDB ノードは、構造的な属性とベクトル埋め込みの両方を同じ分散テーブルに格納します。同時に、Rust で実装され、USearch エンジンによって動作し、ScyllaDB の予測可能な1桁のミリ秒遅延をサポートするために最適化されています。 SELECT … ORDER BY vector_column ANN_OF ? LIMIT k; 次に、互換性検索を実行し、候補行を返すVector Storeに内部ルーティングされます。この設計により、各レイヤーが独立してスケーリングし、独自のワークロード特性に最適化し、リソースの干渉を排除できます。 ベンチマーク100億ベクトル 実世界のパフォーマンスを評価するために、ScyllaDB は 設定には、i4i.16xlarge インスタンスで実行される 3 つの ScyllaDB ノード、それぞれ 64 つの vCPU を搭載し、それぞれ 192 つの vCPU を搭載する r7i.48xlarge インスタンスで実行される 3 つの Vector Store ノードが含まれている。 厳格なベンチマーク グラフ、パフォーマンス・コマンド・オフ、およびより高次元データセットの拡張ベンチマークの結果を含む完全なアーキテクチャ・ディープ・ダイブは、技術ブログ記事でご覧いただけます。 これらの追加結果は、96次元テストで観察された同じパターンに従います:例外的に低い遅延、高パスポート、および幅広い同時に負荷プロファイルの安定性。 ScyllaDBの低遅延ベクター検索エンジン構築 ScyllaDBの低遅延ベクター検索エンジン構築 シナリオ #1 - Ultra-Low Latency with Moderate Recall 最初のシナリオは、勧告エンジンやリアルタイムのパーソナライゼーションシステムなどのワークロードに設計され、主な目的は極めて低い遅延であり、リコールは適度に緩和することができます。 約70%のリクエストと30の同時検索で、システムはわずか1.7ミリ秒のp99遅延とわずか1.2ミリ秒のp50を維持し、毎秒25000のクエリを維持しました。 パワースポットウィンドウを拡張すると(p99 の遅延を 10 ミリ秒以下に保つ)クラスターは、p50 の遅延が 4.5 ミリ秒で k = 100 のための 60,000 QPS を達成し、p50 の遅延が 2.2 ミリ秒のための k = 10 のための 252,000 QPS を達成しました。 シナリオ #2 - High Recall with Slightly Higher Latency 第二のシナリオは、高信頼性のセマンティック検索およびリクエスト拡張生成パイプラインを含むほぼ完璧なリクエストを必要とするシステムをターゲットにします。ここでは、インデックスパラメータはm = 64、ef-construction = 512、ef-search = 512に大幅に増加しました。 50 件の同時検索と回収が 98% に近づき、ScyllaDB は p99 の遅延を 12 ミリ秒以下、p50 を 8 ミリ秒以下に保ち、6500 QPS を提供しました。 p99 の遅延を 20 ミリ秒以下、p50 を 10 ミリ秒以下に保ちながら最大持続可能なスピードに焦点を移すと、システムは 16 600 QPS を達成しました。 詳細な結果 下の表は、いくつかの代表的な同期レベルに関する結果の概要を示しています。 複雑さのない統一ベクター検索 ScyllaDB と Vector Search を統合する大きな利点は、実質的なパフォーマンスとネットワークコストの利点を提供することです。 ベクトルストアは、メタデータと埋め込みストレージの間で単一のネットワークホップでデータに近いところにあります。 ScyllaDB のシールド・パー・コア実行モデルと組み合わせたこの場所では、システムが重荷の下でもリアルタイムの遅延と巨大なパフォーマンスを提供することができます。 ScyllaDBのVector Searchは、スケールが速いだけでなく、操作が簡単です。その主要な利点は、単一のデータセット内で構造化されたおよび非構造化された検索を統合する能力です。これは、伝統的な属性とベクトル埋め込みを一方的に保存し、セマンティックな検索と従来の検索を組み合わせるクエリを表現することを意味します。例えば、データベースに「この特定の顧客に属し、過去30日以内に作成された5つの最も類似したドキュメントを見つける」ことを要求することができます。このアプローチは、トランザクションデータとベクトル検索のための別々のシステムを維持する共通の痛みを排除し、二つの真実源間の同期に関連する操作の脆弱性を除去します これはまた、ETLのドライブがないことや二重書き込みのリスクがないことを意味します。メタデータをトランザクションストアに保管しながら別々のベクトルデータベースに埋め込む代わりに、ScyllaDBはすべてを1つのシステムに統合します。あなたが必要とする唯一のパイプラインは、お好みのLLMまたはMLモデルを使用して埋め込みを生成する計算ステップです。 ScyllaDB は、システムの実証済み分散アーキテクチャに基づいて構築されているため、高度に可用性があり、水平にスケーラブルで、可用性ゾーンおよび地域にわたって抵抗性があります。それぞれ独自のモニタリング、セキュリティ構成、および故障モードを有する 2 つまたは 3 つの異なるテクノロジーを実行する代わりに、あなたは 1 つしか管理できません。 ロードマップ 製品は現在、Geeral Availability に入っています。これには、Cloud Portal プロビジョニング、On-Demand 請求、インスタンスタイプの完全な範囲、および追加のパフォーマンス最適化が含まれています。 Self-Service スケーリングは Q1 に予定されています。Q1 の終わりまでに、ネイティブフィルタリング機能を導入し、ベクトル検索クエリが ANN の結果を伝統的なプレディカットと組み合わせ、より正確なハイブリッド リハビリを可能にします。 さらに先を見ると、スカラルおよびバイナリの量子化をサポートし、メモリ使用量を削減し、ベクトルデータのライフサイクル自動化のためのTTL機能、および統合型ハイブリッド検索を組み合わせ、ANNとBM25を組み合わせ、単一のレクシカルおよびセマンティック関連性を確保します。 結論 ScyllaDB は、業界トップのベクター検索パフォーマンスを大規模に提供し、1 億のベクターのデータセットを処理し、p99 の遅延が 1.7 ミリ秒まで低く、最大 252,000 QPS のパフォーマンスを実証しました。 現在のベンチマークは、ScyllaDBのスケーラビリティの現在の状態を示しています。スカラー量子化とシールディングを含む、今後のロードマップで予定されている改善により、これらのパフォーマンス制限は来年増加する予定です。
