オンライン チャット アプリケーションで人間のような応答を生成する複雑さについて考えてみましょう。インフラストラクチャを効率的にし、現実的な対応を実現するにはどうすればよいでしょうか?解決策は AI 言語モデルです。このガイドでは、チャット アプリケーション専用に微調整された 130 億パラメータの言語モデルである の新しい  LLM の a16z-infra の実装について詳しく説明します。このモデルは、AI モデル ホスティング サービスである Replicate でホストされており、わずか数行のコードまたは単純な API 呼び出しで複雑で強力なモデルを操作できます。 Meta llama13b-v2-chat このガイドでは、llama13b-v2-chat モデルの概要、その入力と出力についての考え方、チャット補完を作成するためにそれを使用する方法について説明します。また、  を使用して類似のモデルを見つけて AI アプリケーションを強化する方法についても説明します。それでは、AI の専門用語を切り取って核心に迫りましょう。 AIModels.fyi で私をフォローしてください! このようなコンテンツをもっと見るには、 または 購読 Twitter  LLaMA-v2 チャット モデルについて Replicate で利用可能な モデルは、  によって作成され、Meta の新しい LLaMA v2 モデルの上に構築されています。 Meta は、人間の言語をよりよく理解して生成することを目的として LLaMA を作成しました。これから検証するチャット モデルは、人間のユーザーと AI チャットボットの間の対話を改善するためにさらに微調整されています。このモデルは 130 億ものパラメーターを備えており、この特定のユースケースに合わせて大幅に調整されています。このモデルおよび a16z-infra による他のモデルの詳細については、  の で確認できます。 LLaMA13b-v2-chat a16z-infra チーム AIModels.fyi 作成者のページ  llama13b-v2-chat モデルのレプリケート実装では、予測に強力な Nvidia A100 (40GB) GPU が使用され、予測あたりの平均実行時間は 7 秒です。 1 回あたりの価格はわずか 0.014 ドルなので、低予算のプロジェクトやスタートアップにとって広く利用できます。  LLaMA v2 チャットの入力と出力を理解する モデルに何が入り、何がモデルから出てくるかを理解することは、モデルの機能を効果的に活用するための鍵となります。それでは、モデルの入力と出力について理解しましょう。 入力 モデルは次の入力を受け入れます。    (文字列): Llama v2 に送信するプロンプト。 prompt    (整数): 生成するトークンの最大数。通常、1 つの単語は 2 ～ 3 個のトークンで構成されることに注意してください。デフォルト値は 500 です。 max_length    (数値): 出力のランダム性を調整します。 1 より大きい場合はランダム、0 は決定的です。適切な開始値は 0.75 です。 temperature    (数値): テキストのデコード中に、最も可能性の高いトークンの上位 p パーセントからサンプリングします。可能性の低いトークンを無視するには、この値を低くします。デフォルト値は 1 です。 top_p    (数値): 生成されたテキスト内で繰り返される単語に対するペナルティを提供します。 1はペナルティなし。 1 より大きい値は繰り返しを妨げ、1 より小さい値は繰り返しを促進します。 repetition_penalty    (ブール値): ログにデバッグ出力を提供するために使用されます。 debug モデルの作成者は、プロンプトを作成するときに次の構造に従うことを推奨していることに注意してください。   User: <your prompt goes here> Assistant: 例えば...   User: give me tips on things to do in Maine Assistant: モデルの出力 モデルは次の出力を生成します。 出力構造をカタログ化した生の JSON スキーマ - さらなる計算またはユーザー インターフェイスに使用される文字列の配列。出力スキーマの例を次に示します。   { "type": "array", "items": { "type": "string" }, "title": "Output", "x-cog-array-type": "iterator", "x-cog-array-display": "concatenate" } さて、このモデルの使い方の核心部分に移りましょう。  LLaMA v2 チャットを使用して自然なチャット完了を生成する コードに手を出した初心者であっても、ベテランであっても、llama13b-v2-chat モデルを使用して現実的なチャット補完を作成するのは非常に楽しいものです。 ただ遊んでいてモデルがどのように機能するかを知りたい場合は モデルのインターフェイスを操作し、その仕組みを理解してください。プロジェクトに実装する準備ができたら、以下の手順に従います。 、このデモ リンクを使用して まず、Node.js クライアントをインストールして環境をセットアップする必要があります。   npm install Replicate 次に、API トークンを認証し、環境変数として設定します。このトークンは個人的なものであるため、機密として保持する必要があります。   export REPLICATE_API_TOKEN=r8_****** 次に、次のスクリプトを使用してモデルを実行できます。   import Replicate from "replicate"; const replicate = new Replicate({ auth: process.env.REPLICATE_API_TOKEN, }); const output = await replicate.run( "a16z-infra/llama13b-v2-chat:df7690f1994d94e96ad9d568eac121aecf50684a0b0963b25a41cc40061269e5", { input: { prompt: "..." } } ); 予測が完了したときに呼び出される Webhook を設定することもできます。これは、ログの管理や自動アラートの設定に役立つ可能性があります。   const prediction = await replicate.predictions.create({ version: "df7690f1994d94e96ad9d568eac121aecf50684a0b0963b25a41cc40061269e5", input: { prompt: "..." }, webhook: "https://example.com/your-webhook", webhook_events_filter: ["completed"] }); 詳細については、いつでも に関するドキュメントを参照してください。 Replicate さらに詳しく:  を使用して他の Text-to-Text モデルを見つける AIModels.fyi あなたのアプリケーション用に他のチャットボットを試してみませんか?  使用すると、llama13b-v2-chat に類似したモデルを簡単に見つけることができます。 AIModels.fyi を ここでは、特定のニーズを満たす他の AI モデルを見つけるのに役立つステップバイステップのガイドを示します。 ステップ 1:  にアクセスします。 AIModels.fyi   にアクセスして探索を始めてください。 AIModels.fyi ステップ 2: 検索バーを使用する 「text-to-text」、「言語モデル」などのキー フレーズを入力します。検索エンジンは、クエリに適合するモデルのリストを提供します。 ステップ 3: 結果をフィルタリングする 検索を絞り込むためのフィルターは、検索結果ページにあります。タイプ、コスト、人気、さらには特定の作成者別にモデルをフィルタリングして並べ替えることができます。たとえば、予算に優しいテキストツーテキスト モデルを探している場合は、モデルを価格で並べ替えて、最も安いオプションを見つけることができます。 結論 このガイドでは、機能が豊富でコスト効率の高い言語モデルである LLaMA v2 の可能性を探りました。これは、次のチャット アプリケーションのバックボーンとなる可能性があり、微妙で現実的な会話を強化します。これで、このモデルを実装し、その入出力を理解し、関連するチャット完了を効果的に生成する方法がわかりました。 知識を深めていく際には、次の他のガイドが役立つ場合があります。   LangChain チャット モデル: 概要 LangChain と DeepInfra を使用したカスタマー サポート チャットボットの構築: ステップバイステップ ガイド あなたの想像力をこれらの AI ツールと融合させることで、人工知能の広大な世界に飛び込み、新しくてエキサイティングなプロジェクトを作成できます。次にどこへ行くのか楽しみです。より多くのチュートリアルを購読し、新しく改善された AI モデルの最新情報を入手し、次の AI プロジェクトの創造力を養うことを忘れないでください。それまで、AI の冒険を楽しんでください。忘れずに で挨拶してください。 私の twitter で私をフォローしてください! このようなコンテンツをもっと見るには、 か 購読する Twitter

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

This writer has a vested interest be it monetary, business, or otherwise, with 1 or more of the products or companies mentioned within.

Tell me why my site sucks so I can make it better. Be mean.

Read My Stories

このオーディオは、ストーリーの元の言語で制作されています。

チャットアプリケーション用の LLaMA v2 の詳細

About Author

コメント

ラベル

この記事は

Related Stories

AI/ML データレイクのリファレンスアーキテクチャを構築するためのアーキテクトガイド

デジタルノマドの皆さん、タイの新しい DTV ビザについて知っておくべきこと

タップして稼ぐ：テレグラムはソラナより先に次の100億人の暗号通貨ユーザーを獲得する可能性がある

State of the Noonion: A New Era For Brands and Writers

AI/ML データレイクのリファレンスアーキテクチャを構築するためのアーキテクトガイド

デジタルノマドの皆さん、タイの新しい DTV ビザについて知っておくべきこと

タップして稼ぐ：テレグラムはソラナより先に次の100億人の暗号通貨ユーザーを獲得する可能性がある

State of the Noonion: A New Era For Brands and Writers

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps

チャット アプリケーション用の LLaMA v2 の詳細

About Author

コメント

ラベル

この記事は

Related Stories

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps

チャットアプリケーション用の LLaMA v2 の詳細