急速に進化するデータ ストレージと処理の世界では、効率的なクラウド ストレージ ソリューションと高度な AI 機能を組み合わせることで、膨大な量のデータを処理するための革新的なアプローチが実現します。この記事では、MinIO、Langchain、OpenAI の GPT-3.5 モデルを使用した実用的な実装を示し、MinIO バケットに保存されているドキュメントの要約に焦点を当てます。  MinIOのパワー MinIO は、Amazon S3 API と完全に互換性のあるオープンソースの高性能オブジェクト ストレージです。スケーラビリティに定評のある MinIO は、写真、ビデオ、ログ ファイル、バックアップ、コンテナ イメージなどの非構造化データの保存に最適です。ストレージだけではありません。MinIO は、データ レプリケーション、ライフサイクル管理、高可用性などの機能も提供しており、最新のクラウド ネイティブ アプリケーションに最適です。  LangchainとOpenAIの統合 Pythonベースのツールであるは、ドキュメントローダーとAIモデル間の相互作用を容易にします。私たちのユースケースでは、LangchainとOpenAIの  MinIOバケットからドキュメントを要約するモデル。この設定は、AIが膨大なデータから重要な情報を抽出し、データ分析と解釈を簡素化する方法を例示しています。ノートブックや読み込まれたドキュメントなど、この記事に関連する追加情報とサポート資料については、 の中に ディレクトリ。 ランチェイン gpt-3.5-ターボ-1106   MinIO Githubリポジトリ langchain-s3-minio  Langchainのインストール 実装を始める前に、Langchain がインストールされていることを確認してください。pip でインストールします。   pip install --upgrade langchain これにより、S3 ローダーと OpenAI モデルに使用する必要なライブラリがすべてカプセル化されます。 ステップ 1: Langchain S3 ディレクトリとファイル ローダー まず、Langchain の と を使用してドキュメントをロードすることに焦点を当てます。これらのローダーは、MinIO バケット内の指定されたディレクトリとファイルから複数のドキュメントと単一のドキュメントを取得する役割を担います。 S3DirectoryLoader S3FileLoader  MinIO 構成と Langchain S3 ファイルローダー from langchain_community.document_loaders.s3_file import S3FileLoader # MinIO Configuration for the public testing server endpoint = 'play.min.io:9000' access_key = 'minioadmin' secret_key = 'minioadmin' use_ssl = True # Initialize and load a single document file_loader = S3FileLoader( bucket='web-documentation', key='MinIO_Quickstart.md', endpoint_url=f'http{"s" if use_ssl else ""}://{endpoint}', aws_access_key_id=access_key, aws_secret_access_key=secret_key, use_ssl=use_ssl ) document = file_loader.load()  Python Langchain の例 - S3 ファイルローダー Langchain S3 ディレクトリローダー:   from langchain_community.document_loaders.s3_directory import S3DirectoryLoader # Initialize and load documents directory_loader = S3DirectoryLoader( bucket='web-documentation', prefix='', endpoint_url=f'http{"s" if use_ssl else ""}://{endpoint}', aws_access_key_id=access_key, aws_secret_access_key=secret_key, use_ssl=use_ssl ) documents = directory_loader.load()  Python Langchain の例 - S3 ディレクトリ ローダー  OpenAIによる要約 ステップ2： ドキュメントを読み込んだ後、OpenAI の GPT-3.5 モデル (  経由で Langchain ライブラリに含まれています) を使用して要約を生成します。このステップでは、モデルがコンテンツを理解して要約し、大規模なドキュメントから迅速な洞察を提供する機能を示します。 ChatOpenAI  OpenAI APIにアクセスするには、次のURLにアクセスしてAPIキーを取得してください。 キーを入手したら、それを以下のコードに統合して、ドキュメント要約に GPT-3.5 のパワーを活用します。   OpenAIプラットフォーム ドキュメント要約のコード例:   from langchain_openai import ChatOpenAI from langchain_core.output_parsers import StrOutputParser from langchain_core.prompts import ChatPromptTemplate from langchain_core.runnables import RunnableLambda import os # Set your OpenAI API key os.environ['OPENAI_API_KEY'] = 'your-openai-api-key' model = ChatOpenAI(temperature=0, model="gpt-3.5-turbo-1106") prompt = ChatPromptTemplate.from_template( "Summarize the following document '{document_name}':{context}Please provide the summary and key points." ) loaded_documents = [documents, document] # From S3 Loaders flattened_documents = [doc for sublist in loaded_documents for doc in sublist] for loaded_document in flattened_documents: document_text = loaded_document.page_content document_name = getattr(loaded_document, 'name', 'Unknown Document') # Assuming each document has a 'name' attribute chain = ( RunnableLambda(lambda x: {"context": document_text, "document_name": document_name}) | prompt | model | StrOutputParser() ) summary = chain.invoke(None) print("Summary:", summary)  Python Langchain の例 - OpenAI API を使用してドキュメントを要約する 以下は、このデモを実行したときの出力であり、LangChain を OpenAI の GPT-3.5 および MinIO S3 ストレージと統合した結果です。出力はデモンストレーションの目的で短縮されています。   Summary: The document is a quickstart guide for MinIO, a high-performance object storage system that is compatible with Amazon S3. It explains how to run MinIO on bare metal hardware or in containers. For Kubernetes environments, it recommends using the MinIO Kubernetes Operator. The key points are: - MinIO is a high-performance object storage system. - It is released under the GNU Affero General Public License v3.0. - MinIO is API compatible with Amazon S3. - It can be used to build high-performance infrastructure for machine learning, analytics, and application data workloads. - The guide provides quickstart instructions for running MinIO on bare metal hardware or in containers. - For Kubernetes environments, the MinIO Kubernetes Operator is recommended.  OpenAI APIからの応答 この方法は、Langchain フレームワークを使用して S3 ストレージから LLM にドキュメントをロードし、処理するという興味深い方法を強調しています。一方、OpenAI の GPT-3.5 モデルは、  サーバーから取得された の簡潔な概要と重要なポイントを生成します。AI を使用して広範なドキュメントを分析および要約することで、ユーザーはインストール、サーバー構成、SDK、その他の MinIO 機能などの重要な側面を迅速かつ徹底的に理解できます。これは、包括的なデータ ソースから重要な情報を抽出して提示する AI の能力を示しています。 play.min.io MinIO_Quickstart.md  Langchain を使用して MinIO バケットからドキュメントをロードする MinIO、Langchain、OpenAI の統合により、大量のデータを管理するための強力なツールセットが提供されます。Langchain の S3 ローダーである S3DirectoryLoader と S3FileLoader は、MinIO バケットからドキュメントを取得する際に重要な役割を果たしますが、Langchain にデータをロードするためだけのものです。これらのローダーは、バケットへのデータのアップロードに関連するアクションは実行しません。バケット ポリシーのアップロード、変更、管理などのタスクには、  が適切なツールです。この SDK は、ファイルのアップロード、バケットの管理など、MinIO ストレージを操作するための包括的な機能セットを提供します。詳細については、以下を参照してください。 、 。 MinIO Python SDK クイックスタート ガイド — Linux 向け MinIO オブジェクト ストレージ   Python クライアント API リファレンス — Linux 用 MinIO オブジェクト ストレージ  LangchainはAIモデルを使用してデータの取得と処理のプロセスを効率化しますが、MinIOバケット内のデータ管理の重労働はMinIO Python SDKに依存しています。これは、効率的なAI統合ストレージソリューションを構築する開発者やデータエンジニアが理解する必要がある重要な違いです。MinIOの機能と、さまざまなストレージ操作にPython SDKを活用する方法については、MinIOの公式ドキュメントを参照してください。 。 ドキュメンテーション  MinIOオブジェクトストレージをAIおよびMLプロセスの主要なデータリポジトリとして使用することで、データ管理パイプラインを簡素化できます。MinIOは、次のようなワンストップソリューションとして優れています。 これは、AI および ML の効果的な運用に不可欠です。この合理化されたアプローチにより、複雑さとオーバーヘッドが削減され、データへの迅速なアクセスが保証されるため、洞察が加速される可能性があります。 大規模なデータセットの保存、管理、取得  LLM ツールの使用を強化するために MinIO と Langchain の統合についてさらに詳しく知りたい場合は、「  」という記事でこのテーマについて包括的に説明しています。 LLM ツールの使用のために MinIO SDK を使用した Langchain エージェントの開発 開発の成功をお祈りします。 AI/MLの旅において、引き続き重要な役割を果たします。 あなたの洞察と発見を共有しましょう！ ミニオ スラック

The code in this story is for educational purposes. The readers are solely responsible for whatever they build with it.

Amazon

Before

Guide

MinIO

OpenAI

Power

Reach

Slack

Developers do. Download MinIO and see for yourself. 

このオーディオは、ストーリーの元の言語で制作されています。

MinIO、Langchain、OpenAI による大容量データの管理

About Author

コメント

ラベル

この記事は

Related Stories

クラウド移行を成功させるための完全ガイド: 戦略とベストプラクティス

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

暗号通貨の成長: 効果的なユーザーペルソナの作成

ユニークなエコシステムを支えるビットコインUTXOのモデル

クラウド移行を成功させるための完全ガイド: 戦略とベストプラクティス

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

暗号通貨の成長: 効果的なユーザーペルソナの作成

ユニークなエコシステムを支えるビットコインUTXOのモデル

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps