CassIO: OpenAI からインスピレーションを得た、生成 AI に最適なライブラリ

ChatGPT を頻繁に使用する場合は、ChatGPT がいわゆる幻覚に陥る傾向があることをご存知でしょう。現実には何の根拠もない、統計的には正しい言葉の素晴らしいコレクション。数か月前、大規模言語モデル (LLM) と LangChain に Apache Cassandra を使用することについてのプロンプトに対して、興味深い反応がありました。 ChatGPT は、Cassandra が LLM を作成する際の適切なツールの選択肢であるだけでなく、OpenAI が CassIO と呼ばれる MIT ライセンスの Python ライブラリとともに Cassandra を使用したと報告しました。

私たちはウサギの穴に入り、さらなるプロンプトを経て、ChatGPT が CassIO の使用方法について多くの詳細を説明しました。いくつかのサンプルコードと Web サイトも含まれていました。その後の研究では、ChatGPT 応答以外に CassIO の証拠は見つかりませんでしたが、種は蒔かれました。このライブラリが存在しない場合は、ライブラリが存在する必要があり、その後すぐに作業を開始しました。

史上最高の幻覚。

本物のCassIOは立ち上がってくれるでしょうか？

ChatGPT (そして、関連して OpenAI) にインスピレーションを与えたこの素晴らしいアイデアは何でしたか?優れた Python ライブラリを使用すると、開発者はより少ないリソースでより多くの作業を行うことができます。 DataStaxとAnant が力を合わせて開発しましたカシオCassandra と生成人工知能およびその他の機械学習ワークロードをシームレスに統合します。その主な目的は、Cassandra データベースにアクセスするプロセスを抽象化することです。 ベクトル検索機能を備えており、追加のコードの必要性を最小限に抑える、すぐに使用できるツールのセットを提供します。その結果、開発者は、基盤となるデータベースの複雑さが CassIO によって処理されていることを知り、AI システムの設計と実装に集中できます。その結果、手頃な規模と低遅延で実績のあるデータベースにアクセスできるようになります。 CassIO の本質は、実装プロセスを促進し、簡素化することにあります。

CassIO の強みは、特定の AI フレームワークに対する不可知主義にあります。それ自体は、次のようなインターフェイスの特定の実装の詳細には関係しません。ラングチェーン、ラマインデックス、 Microsoft セマンティック カーネル、またはその他のさまざまな生成 AI ツールキット。代わりに、CassIO の機能を使用しながら、フレームワークのインターフェイスに準拠する一連の「シン アダプター」を提供します。これにより、CassIO は AI アプリケーションとデータベースの間のギャップを埋めることができるため、アプリケーションは詳細に巻き込まれることなく Cassandra の機能を活用できるようになります。

LangChain との統合

ラングチェーン管理タスクの大部分と LLM とのやり取りを自動化します。メモリ、ベクトルベースの類似性検索、高度なプロンプト テンプレートの抽象化、およびその他の豊富な機能のサポートを提供します。 CassIO は LangChain とシームレスに統合し、Cassandra 固有のツールを拡張して次のようなタスクを合理化します。

• ストレージに Cassandra を使用する LLM 用のメモリ モジュール。チャット対話における最近のやり取りを記憶したり、過去の会話全体の概要を保持したりすることもできます。

• Cassandra 上で LLM 応答をキャッシュする機能。これにより、可能な場合はレイテンシとトークンが節約されます。Cassandra からプロンプトまたは長い LLM 会話内にデータが自動的に挿入されます。

• プロンプトの「部分化」のサポート。将来の供給のために一部の入力を未指定のままにします。

• からのデータの自動挿入ごちそう機能ストア (潜在的にカサンドラの支援を受けて) プロンプトに入力します。

  
  

これらのコンポーネントは連携して、データをプロンプトに組み込むプロセスを合理化し、LLM とデータベース間のスムーズな対話を保証します。

ベクトル検索との統合

の包含ベクトル検索Cassandra と DataStax の機能 Astra DB は最近、トランザクション データ用のすでに普及しているデータベースに重要な機能を統合しました。 Cassandra は高スケールであるという評判により、コストのかかる操作でデータを移動することなく、データを 1 か所で保存および処理できることを意味します。ベクトル検索の追加により、CassIO で利用できる次のような「意味を認識した」ツール群への扉が開かれました。

• クエリの正確な表現に依存しない LLM 応答のキャッシュ。
• ナレッジ ベースを保存し、関連する部分を取得して、特定の質問に対する最適な回答を構築できる「セマンティック インデックス」。このツールは、多くの特定のニーズに合わせて調整でき、回答に含まれる実際の情報を最大化するためにさまざまな情報を取得するように構成できます。
• LLM チャット インタラクションの「セマンティック メモリ」要素。遠い過去に発生した場合でも、関連する過去のやり取りを取得できます。

CassIO と LangChain を組み合わせることで、時間の経過とともにこれらの機能が拡張および改良され、進化し続ける LLM 管理のニーズに対応できます。現在の最先端は、LLM からより正確な応答を取得するためのプロンプトの連鎖です。と呼ばれる技術について説明した最近の論文では、思考の木、ベクトル検索の役割は、あるプロンプトから次のプロンプトまでの永続性において重要な役割を果たします。これらのアイデアが学術界から本番環境に移行するにつれて、Cassandra は実装の重要な部分として機能します。

次のプロンプト: CassIO の今後の予定

CassIO は進化するツールとして急速に成長しており、新しい開発やアップデートが頻繁に追加されています。この記事の執筆時点では、CassIO は LangChain をサポートしており、LlamaIndex も近々リリースされる予定です。このプロジェクトの長期的な目標は、次のような自律型 AI エージェントの大規模メモリをサポートすることです。ジャービス計画。 LLM を使用したエージェントは、複雑なタスクを処理する多くの業界に信じられないほどの影響を与えるエキサイティングな開発です。これらのエージェントはデータとやり取りのさまざまな側面を追跡する必要があり、Cassandra はその仕事に最適なデータベースです。信頼性とパフォーマンスに優れています。

今後のブートキャンプ「 NoCode、データ、AI: Cassandra による LLM ブートキャンプ」は、開発者にライブラリを実際に操作してチャット ボットを構築する機会を提供します。あなたの近くの都市でこのようなアクティビティが他にも開催されるので探してください。ユーザーが探索することをお勧めしますカシオにファイルの問題に参加します。フォーラムこの急速に現実化する幻覚の改善にご協力ください。

歴史がこの瞬間をどう判断するか誰にも分からない。 OpenAIからの内部情報漏洩だったのか？それとも、もう少し冷静に考えてみると、これは AI が人間の命令に従わせるための最初のステップなのでしょうか?いずれにせよ、開発者は生成 AI の世界に乗り出すときに、Cassandra のほぼ無限のスケールを活用するための使いやすいライブラリを手に入れることができました。

ChatGPT は私たちに贈り物をくれたので、これを使って何を構築するつもりですか?今後のウェビナーでベクトル検索について詳しく説明する予定です (登録ここ!) そして、今日すぐに入社して仕事を始めたい場合は、 DataStax アストラ素晴らしいチュートリアルがいくつかあります。

パトリック・マクファディン著、DataStax

Patrick McFadin は、オライリーの書籍「Managing Cloud Native Data on Kubernetes」の共著者です。彼は現在、DataStax で開発者関係に携わり、Apache Cassandra プロジェクトの貢献者として働いています。 Patrick は、Apache Cassandra のチーフ エバンジェリスト (彼は新しく誕生した Cassandra コミッターでもあります!) として働いており、DataStax のコンサルタントとしても働いており、実稼働環境で最大規模のデプロイメントのいくつかを構築することに大いに時間を費やしました。