インフラストラクチャ テクノロジの世界では、物事は急速に変化しています。  でデータベースを実行するのは難しいと考えられていたのは、それほど昔のことではありません。しかし、それは昨日の問題でした。 Kubernetes は仮想データセンターを迅速かつ効率的に作成するための強力な方法であるため、クラウドネイティブ アプリケーションのビルダーはステートフル ワークロードの実行に長けています。 Kubernetes 前回これについて書いたとき、仮想データ センターのアプリケーション スタックの他の部分、特にストリーミング ワークロードと分析を検討するために、少し範囲を広げました。 これら 2 つが Kubernetes のメインストリームに移行するにつれて、ユース ケースに関する議論はより興味深いものになります。 これらの基本的なデータ ツールにアクセスできる場合、これらのツールで何をしますか?ありがたいことに、業界はすでに 方向性を選択しているため、あまり深く調査する必要はありません。 AI/ML ワークロードという これを推進しているのは、より高速でアジャイルな MLOps をサポートする必要性です。 、別名リアルタイム人工知能 (AI) とも呼ばれます。  や などの企業は早期に採用しましたが、Kubernetes をより迅速に使用できるようにするための優れたプロジェクトが数多く用意されています。 オンライン予測 Uber Netflix  Feastでの機能提供 機械学習 (ML) モデルの構築と維持は、バック オフィスから本番環境のユーザーに近づいています。フィーチャ ストアは、データと機械学習モデルの間のブリッジとして機能し、モデルがオフライン フェーズとオンライン フェーズの両方でデータにアクセスするための一貫した方法を提供します。モデルのトレーニング中にデータ処理要件を管理し、オンライン フェーズ中にモデルへの低レイテンシのリアルタイム アクセスを提供します。これにより、両方のフェーズでデータの一貫性が確保され、オンラインとオフラインの要件が満たされます。 は、Kubernetes で実行されているフィーチャ ストアの例です。これはオープン ソースであり、組織はオフライン トレーニングとオンライン推論のために機能を一貫して保存および提供できます。 Feast は、ポイントインタイムの正確性などの特殊な機能を提供することで、従来のデータベースを超えています。 ごちそう  KServe を使用したモデル提供 は、機械学習モデルを Kubernetes にデプロイし、モデルのフェッチ、ロードを処理し、CPU または GPU が必要かどうかを判断するための API エンドポイントです。スケールアウトのために イベンティングと統合し、メトリクスやロギングなどのオブザーバビリティ機能を提供します。一番良いところ？使い方は簡単です。 KServe にモデル ファイルを指定するだけで、API が作成され、残りが処理されます。 KServe KNative 説明機能は、各予測について決定が下された理由についての洞察を提供し、機能の重要性を提供し、特定の結果につながったモデル内の要因を強調表示します。これは、機械学習の「重要だが難しい」部分の一部であるモデルのドリフトとバイアスを検出するために使用できます。これらの機能により、MLOps に関連する労力が軽減され、アプリケーションの信頼が構築されます。 KServe は最近、Google KubeFlow プロジェクトから分離され、 ML 推論プラットフォームを構築する取り組みの一環として、Bloomberg によって発表されました。   ハイライト ベクトル類似検索 ベクトル類似性検索 (VSS) は、データを検索する従来の方法を強化するもので、ベクトル数学を使用して 2 つのものが互いにどの程度「近い」かを検出する機械学習ツールです。これは、K 最近隣 (  ) アルゴリズムで、データをベクトルとして表現します。その後、データは CPU 集中型の KNN アルゴリズムを使用してベクトル化され、CPU 集中型の検索を軽減するためにインデックスが作成されます。エンド ユーザーは、VSS サーバーが提供するクエリ メカニズムを使用して、ベクトルを提供し、それに近いものを見つけることができます。 Kubernetes にデプロイできるオープンソース VSS サーバーには、  と が含まれます。どちらも、アプリケーション スタックに類似性検索を追加するために必要なすべてを提供します。   KNN Weaviate Milvus チームを編成 私の組み合わせ これで、Kubernetes にデプロイされた完全なスタックのレシピが得られます。すべての組織が実現しようとするべき結果は、生産性の向上とコストの削減です。最近 は、データ スペースのリーダーが Kubernetes にデータ インフラストラクチャをデプロイする際に両方を見つけていることを示しています。 前の記事 調査   ワークロードは、あなたが探求し始めたばかりの可能性があるため、今が正しい足取りで始めるのに最適な時期かもしれません。言及された 3 つの領域 — 特徴の提供、モデルの提供、ベクトルの類似性検索 — はすべて、私が Jeff Carpenter と共著した本でカバーされています。 」アプリケーション スタックにおける AI/ML の全体像: ほとんどの AI アプリケーションでは、リアルタイム要件がすぐに普及するでしょう。 Kubernetes を使用して高速で確実に構築することは、もはや AI の幻覚ではありません。 AI / ML   Kubernetes を使用したクラウドネイティブ データの管理 こちらにも掲載。

DataStax Astra DB is the vector database for getting GenAI apps into production, fast. Try it for free today!

DataStax

このオーディオは、ストーリーの元の言語で制作されています。

AI/ML ワークロードを Kubernetes にデプロイするための 3 つの主要ツール

About Author

コメント

ラベル

この記事は

Related Stories

AI の力を解き放つ。最先端技術の体系的レビュー: 概要と序論

Claude Sonnet 3.5 システムプロンプトの漏洩: 法医学的分析

タップして稼ぐ：テレグラムはソラナより先に次の100億人の暗号通貨ユーザーを獲得する可能性がある

フロキのヴァルハラがインドのスリランカツアーのアソシエイトスポンサーに加わる

AI の力を解き放つ。最先端技術の体系的レビュー: 概要と序論

Claude Sonnet 3.5 システムプロンプトの漏洩: 法医学的分析

タップして稼ぐ：テレグラムはソラナより先に次の100億人の暗号通貨ユーザーを獲得する可能性がある

フロキのヴァルハラがインドのスリランカツアーのアソシエイトスポンサーに加わる

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps