7,828 測定値

独自の RAG アプリを構築する: Ollama、Python、ChromaDB を使用して LLM をローカルでセットアップするためのステップバイステップガイド

に Nasser Maronie13m2024/07/04

長すぎる; 読むには

このチュートリアルでは、[Ollama]、[Python 3]、[ChromaDB] を使用してカスタムチャットボットを作成するプロセスについて説明します。独自の Retrieval-Augmented Generation (RAG) アプリケーションをローカルでホストすると、セットアップとカスタマイズを完全に制御できます。

featured image - 独自の RAG アプリを構築する: Ollama、Python、ChromaDB を使用して LLM をローカルでセットアップするためのステップバイステップガイド

データのプライバシーが最も重要である時代に、独自のローカル言語モデル (LLM)を設定することは、企業と個人の両方にとって重要なソリューションとなります。このチュートリアルは、システムでローカルにホストされているOllama 、 Python 3 、 ChromaDBを使用してカスタムチャットボットを作成するプロセスをガイドするように設計されています。このチュートリアルが必要な主な理由は次のとおりです。

完全なカスタマイズ: 独自の Retrieval-Augmented Generation (RAG) アプリケーションをローカルでホストすると、セットアップとカスタマイズを完全に制御できます。外部サービスに頼ることなく、特定のニーズに合わせてモデルを微調整できます。
プライバシーの強化: LLM モデルをローカルに設定することで、機密データをインターネット経由で送信することに伴うリスクを回避できます。これは、機密情報を扱う企業にとって特に重要です。プライベートデータを使用してモデルをローカルでトレーニングすることで、データが常に管理下に置かれます。
データセキュリティ: サードパーティの LLM モデルを使用すると、データが侵害や不正使用の危険にさらされる可能性があります。ローカル展開では、PDF ドキュメントなどのトレーニングデータを安全な環境内に保持することで、これらのリスクを軽減します。
データ処理の制御: 独自の LLM をホストすると、データを希望どおりに管理および処理できるようになります。これには、プライベートデータを ChromaDB ベクターストアに埋め込むことが含まれており、データ処理が標準と要件を満たしていることが保証されます。
インターネット接続からの独立性: チャットボットをローカルで実行すると、インターネット接続に依存しなくなります。これにより、オフラインのシナリオでも、チャットボットへの中断のないサービスとアクセスが保証されます。

このチュートリアルでは、プライバシーや制御を損なうことなく、ニーズに合わせてカスタマイズされた堅牢で安全なローカルチャットボットを構築できるようになります。

検索拡張生成 (RAG)

検索拡張生成 (RAG)は、情報検索とテキスト生成の長所を組み合わせて、より正確で文脈に即した応答を作成する高度な技術です。RAG の仕組みとその利点について、以下に詳しく説明します。

RAGとは何ですか?

RAG は、外部の知識ベースまたはドキュメントストアを組み込むことで言語モデルの機能を強化するハイブリッドモデルです。このプロセスには、次の 2 つの主要コンポーネントが含まれます。

検索: このフェーズでは、モデルは入力クエリに基づいて、データベースやベクターストアなどの外部ソースから関連するドキュメントまたは情報を取得します。
生成: 取得された情報は生成言語モデルによって使用され、一貫性があり文脈に適した応答が生成されます。

RAG はどのように機能しますか?

クエリ入力: ユーザーがクエリまたは質問を入力します。
ドキュメントの取得: システムはクエリを使用して外部のナレッジベースを検索し、最も関連性の高いドキュメントまたは情報のスニペットを取得します。
応答生成: 生成モデルは取得した情報を処理し、それを独自の知識と統合して、詳細かつ正確な応答を生成します。
出力: ナレッジベースからの具体的かつ関連性の高い詳細情報が追加された最終応答がユーザーに表示されます。

RAGの利点

精度の向上: 外部データを活用することで、RAG モデルは、特にドメイン固有のクエリに対して、より正確で詳細な回答を提供できます。
コンテキストの関連性: 検索コンポーネントにより、生成された応答が関連性のある最新の情報に基づいていることが保証され、応答の全体的な品質が向上します。
スケーラビリティ: RAG システムは、膨大な量のデータを組み込むように簡単に拡張できるため、幅広いクエリやトピックを処理できます。
柔軟性: これらのモデルは、外部の知識ベースを更新または拡張するだけでさまざまなドメインに適応できるため、汎用性が高くなります。

ローカルで RAG を使用する理由

プライバシーとセキュリティ: RAG モデルをローカルで実行すると、外部サーバーに送信する必要がないため、機密データが安全かつプライベートに保たれます。
カスタマイズ: 独自のデータソースの統合など、特定のニーズに合わせて取得および生成プロセスをカスタマイズできます。
独立性: ローカルセットアップにより、インターネットに接続していなくてもシステムが稼働し続け、一貫性のある信頼性の高いサービスが提供されます。

Ollama、Python、ChromaDB などのツールを使用してローカル RAG アプリケーションを設定すると、データとカスタマイズオプションを制御しながら、高度な言語モデルの利点を享受できます。

グラフィックプロセッサ

検索拡張生成 (RAG) で使用されるような大規模言語モデル (LLM) を実行するには、かなりの計算能力が必要です。これらのモデルでデータを効率的に処理して埋め込むための重要なコンポーネントの 1 つが、グラフィックスプロセッシングユニット (GPU) です。このタスクに GPU が不可欠な理由と、GPU がローカル LLM セットアップのパフォーマンスに与える影響について、次に説明します。

GPUとは何ですか?

GPU は、画像や動画のレンダリングを高速化するために設計された特殊なプロセッサです。順次処理タスクに最適化された中央処理装置 (CPU) とは異なり、GPU は並列処理に優れています。このため、GPU は機械学習やディープラーニングモデルに必要な複雑な数学的計算に特に適しています。

LLM にとって GPU が重要な理由

並列処理能力: GPU は数千の操作を同時に処理できるため、LLM でのトレーニングや推論などのタスクを大幅に高速化できます。この並列処理は、大規模なデータセットの処理やリアルタイムでの応答の生成に伴う大きな計算負荷にとって非常に重要です。
大規模モデルの処理効率: RAG で使用されるような LLM には、大量のメモリと計算リソースが必要です。GPU には高帯域幅メモリ (HBM) と複数のコアが搭載されており、これらのモデルに必要な大規模な行列乗算とテンソル演算を管理できます。
より高速なデータの埋め込みと取得: ローカル RAG 設定では、ChromaDB などのベクターストアにデータを埋め込み、関連するドキュメントをすばやく取得することがパフォーマンス向上に不可欠です。高性能 GPU はこれらのプロセスを高速化し、チャットボットが迅速かつ正確に応答できるようにします。
トレーニング時間の短縮: LLM のトレーニングには、数百万 (または数十億) のパラメータの調整が含まれます。GPU を使用すると、CPU と比較してこのトレーニングフェーズに必要な時間を大幅に短縮できるため、モデルをより頻繁に更新および改良できます。

適切なGPUの選択

ローカル LLM を設定する場合、GPU の選択はパフォーマンスに大きな影響を与える可能性があります。考慮すべき要素は次のとおりです。

メモリ容量: モデルが大きいほど、より多くの GPU メモリが必要になります。大規模なデータセットとモデルパラメータに対応するには、より高い VRAM (ビデオ RAM) を備えた GPU を探してください。
計算能力: GPU の CUDA コアの数が多いほど、並列処理タスクをより効率的に処理できます。計算能力の高い GPU は、ディープラーニングタスクに効果的です。
帯域幅: メモリ帯域幅が広いほど、GPU とメモリ間のデータ転送が高速化され、全体的な処理速度が向上します。

LLM 向け高性能 GPU の例

NVIDIA RTX 3090: 大容量の VRAM (24 GB) と強力な CUDA コアで知られ、ディープラーニングタスクに人気の選択肢です。
NVIDIA A100: AI と機械学習向けに特別に設計されており、大容量のメモリと高い計算能力により優れたパフォーマンスを提供します。
AMD Radeon Pro VII: 高いメモリ帯域幅と効率的な処理能力を備えた、もう 1 つの強力な候補です。

高性能 GPU への投資は、LLM モデルをローカルで実行するために不可欠です。これにより、データ処理の高速化、モデルの効率的なトレーニング、応答の迅速な生成が保証され、ローカル RAG アプリケーションの堅牢性と信頼性が向上します。GPU のパワーを活用することで、特定のニーズとデータプライバシー要件に合わせてカスタマイズされた独自のカスタムチャットボットをホストするメリットを十分に実現できます。

前提条件

セットアップに進む前に、次の前提条件が満たされていることを確認してください。

Python 3: Python は、RAG アプリのコードを記述するために使用する多目的プログラミング言語です。
ChromaDB: データの埋め込みを保存および管理するベクターデータベース。
Ollama: ローカルマシンにカスタム LLM をダウンロードして提供します。

ステップ1: Python 3をインストールして環境を設定する

Python 3 環境をインストールして設定するには、次の手順に従ってください: マシンにPython 3 をダウンロードして設定します。次に、Python 3 が正常にインストールされ、実行されていることを確認します。

 $ python3 --version # Python 3.11.7

プロジェクト用のフォルダーを作成します (例: local-rag 。

 $ mkdir local-rag $ cd local-rag

venvという名前の仮想環境を作成します。

 $ python3 -m venv venv

仮想環境をアクティブ化します。

 $ source venv/bin/activate # Windows # venv\Scripts\activate

ステップ2: ChromaDBとその他の依存関係をインストールする

pip を使用して ChromaDB をインストールします。

 $ pip install --q chromadb

モデルをシームレスに操作するには、Langchain ツールをインストールします。

 $ pip install --q unstructured langchain langchain-text-splitters $ pip install --q "unstructured[all-docs]"

アプリを HTTP サービスとして提供するには、Flask をインストールします。

 $ pip install --q flask

ステップ3: Ollamaをインストールする

Ollama をインストールするには、次の手順に従います。Ollamaのダウンロードページにアクセスし、ご使用のオペレーティングシステム用のインストーラーをダウンロードします。次のコマンドを実行して、Ollama のインストールを確認します。

 $ ollama --version # ollama version is 0.1.47

必要な LLM モデルを取得します。たとえば、Mistral モデルを使用する場合は、次のようにします。

 $ ollama pull mistral

テキスト埋め込みモデルを取得します。たとえば、Nomic Embed Text モデルを使用するには、次のようにします。

 $ ollama pull nomic-embed-text

次に、Ollama モデルを実行します。

 $ ollama serve

RAGアプリを構築する

Python、Ollama、ChromaDB、その他の依存関係を使用して環境をセットアップしたので、次はカスタムローカル RAG アプリを構築します。このセクションでは、実践的な Python コードを確認し、アプリケーションを構築する方法の概要を説明します。

`app.py`

これはメインの Flask アプリケーションファイルです。ベクターデータベースにファイルを埋め込み、モデルから応答を取得するためのルートを定義します。

 import os from dotenv import load_dotenv load_dotenv() from flask import Flask, request, jsonify from embed import embed from query import query from get_vector_db import get_vector_db TEMP_FOLDER = os.getenv('TEMP_FOLDER', './_temp') os.makedirs(TEMP_FOLDER, exist_ok=True) app = Flask(__name__) @app.route('/embed', methods=['POST']) def route_embed(): if 'file' not in request.files: return jsonify({"error": "No file part"}), 400 file = request.files['file'] if file.filename == '': return jsonify({"error": "No selected file"}), 400 embedded = embed(file) if embedded: return jsonify({"message": "File embedded successfully"}), 200 return jsonify({"error": "File embedded unsuccessfully"}), 400 @app.route('/query', methods=['POST']) def route_query(): data = request.get_json() response = query(data.get('query')) if response: return jsonify({"message": response}), 200 return jsonify({"error": "Something went wrong"}), 400 if __name__ == '__main__': app.run(host="0.0.0.0", port=8080, debug=True)

`embed.py`

このモジュールは、アップロードされたファイルの保存、データの読み込みと分割、ベクターデータベースへのドキュメントの追加などの埋め込みプロセスを処理します。

 import os from datetime import datetime from werkzeug.utils import secure_filename from langchain_community.document_loaders import UnstructuredPDFLoader from langchain_text_splitters import RecursiveCharacterTextSplitter from get_vector_db import get_vector_db TEMP_FOLDER = os.getenv('TEMP_FOLDER', './_temp') # Function to check if the uploaded file is allowed (only PDF files) def allowed_file(filename): return '.' in filename and filename.rsplit('.', 1)[1].lower() in {'pdf'} # Function to save the uploaded file to the temporary folder def save_file(file): # Save the uploaded file with a secure filename and return the file path ct = datetime.now() ts = ct.timestamp() filename = str(ts) + "_" + secure_filename(file.filename) file_path = os.path.join(TEMP_FOLDER, filename) file.save(file_path) return file_path # Function to load and split the data from the PDF file def load_and_split_data(file_path): # Load the PDF file and split the data into chunks loader = UnstructuredPDFLoader(file_path=file_path) data = loader.load() text_splitter = RecursiveCharacterTextSplitter(chunk_size=7500, chunk_overlap=100) chunks = text_splitter.split_documents(data) return chunks # Main function to handle the embedding process def embed(file): # Check if the file is valid, save it, load and split the data, add to the database, and remove the temporary file if file.filename != '' and file and allowed_file(file.filename): file_path = save_file(file) chunks = load_and_split_data(file_path) db = get_vector_db() db.add_documents(chunks) db.persist() os.remove(file_path) return True return False

`query.py`

このモジュールは、クエリの複数のバージョンを生成し、関連するドキュメントを取得し、コンテキストに基づいて回答を提供することで、ユーザークエリを処理します。

 import os from langchain_community.chat_models import ChatOllama from langchain.prompts import ChatPromptTemplate, PromptTemplate from langchain_core.output_parsers import StrOutputParser from langchain_core.runnables import RunnablePassthrough from langchain.retrievers.multi_query import MultiQueryRetriever from get_vector_db import get_vector_db LLM_MODEL = os.getenv('LLM_MODEL', 'mistral') # Function to get the prompt templates for generating alternative questions and answering based on context def get_prompt(): QUERY_PROMPT = PromptTemplate( input_variables=["question"], template="""You are an AI language model assistant. Your task is to generate five different versions of the given user question to retrieve relevant documents from a vector database. By generating multiple perspectives on the user question, your goal is to help the user overcome some of the limitations of the distance-based similarity search. Provide these alternative questions separated by newlines. Original question: {question}""", ) template = """Answer the question based ONLY on the following context: {context} Question: {question} """ prompt = ChatPromptTemplate.from_template(template) return QUERY_PROMPT, prompt # Main function to handle the query process def query(input): if input: # Initialize the language model with the specified model name llm = ChatOllama(model=LLM_MODEL) # Get the vector database instance db = get_vector_db() # Get the prompt templates QUERY_PROMPT, prompt = get_prompt() # Set up the retriever to generate multiple queries using the language model and the query prompt retriever = MultiQueryRetriever.from_llm( db.as_retriever(), llm, prompt=QUERY_PROMPT ) # Define the processing chain to retrieve context, generate the answer, and parse the output chain = ( {"context": retriever, "question": RunnablePassthrough()} | prompt | llm | StrOutputParser() ) response = chain.invoke(input) return response return None

`get_vector_db.py`

このモジュールは、ドキュメントの埋め込みの保存と取得に使用されるベクターデータベースインスタンスを初期化して返します。

 import os from langchain_community.embeddings import OllamaEmbeddings from langchain_community.vectorstores.chroma import Chroma CHROMA_PATH = os.getenv('CHROMA_PATH', 'chroma') COLLECTION_NAME = os.getenv('COLLECTION_NAME', 'local-rag') TEXT_EMBEDDING_MODEL = os.getenv('TEXT_EMBEDDING_MODEL', 'nomic-embed-text') def get_vector_db(): embedding = OllamaEmbeddings(model=TEXT_EMBEDDING_MODEL,show_progress=True) db = Chroma( collection_name=COLLECTION_NAME, persist_directory=CHROMA_PATH, embedding_function=embedding ) return db

アプリを実行してください!

環境変数を保存するための.envファイルを作成します。

 TEMP_FOLDER = './_temp' CHROMA_PATH = 'chroma' COLLECTION_NAME = 'local-rag' LLM_MODEL = 'mistral' TEXT_EMBEDDING_MODEL = 'nomic-embed-text'

app.pyファイルを実行してアプリサーバーを起動します。

 $ python3 app.py

サーバーが稼働したら、次のエンドポイントへのリクエストを開始できます。

PDF ファイルを埋め込むコマンドの例 (例: resume.pdf):

 $ curl --request POST \ --url http://localhost:8080/embed \ --header 'Content-Type: multipart/form-data' \ --form file=@/Users/nassermaronie/Documents/Nasser-resume.pdf # Response { "message": "File embedded successfully" }

モデルに質問するコマンドの例:

 $ curl --request POST \ --url http://localhost:8080/query \ --header 'Content-Type: application/json' \ --data '{ "query": "Who is Nasser?" }' # Response { "message": "Nasser Maronie is a Full Stack Developer with experience in web and mobile app development. He has worked as a Lead Full Stack Engineer at Ulventech, a Senior Full Stack Engineer at Speedoc, a Senior Frontend Engineer at Irvins, and a Software Engineer at Tokopedia. His tech stacks include Typescript, ReactJS, VueJS, React Native, NodeJS, PHP, Golang, Python, MySQL, PostgresQL, MongoDB, Redis, AWS, Firebase, and Supabase. He has a Bachelor's degree in Information System from Universitas Amikom Yogyakarta." }