100 日間の AI、11 日目: Gen AI アプリケーションの微調整ウィザードになる

生成 AI または LLM スペースをフォローしている場合は、Finetuning についてすでに聞いたことがあるでしょう。この投稿では、ファインチューニングとは何か、そして生成 AI アプリケーションの開発におけるその役割を理解してみましょう。

微調整とは何ですか?

微調整は、汎用の基本モデルを変更して、特殊なユースケースで機能するようにするプロセスです。たとえば、Open AI による gpt-3 モデルを考えてみましょう。 Gpt-3 は、チャット ボットとしての目的で微調整されたベース モデルで、現在ではチャット gpt アプリケーションと呼ばれるものになっています。別の例としては、GitHub コパイロットを作成するために行われた、プログラマーのコパイロットとなるように GPT-4 モデルを変更することが挙げられます。

なぜベースモデルを微調整する必要があるのでしょうか?

微調整により、ベースモデルの制限を克服できます。 Open AI の gpt-3 や Meta の Llama などの基本モデルは、通常、インターネット全体のデータでトレーニングされます。ただし、組織内部のデータのコンテキストはありません。また、組織や独自のユースケースに関連するすべてのデータをプロンプト経由で提供することは不可能です。微調整により、迅速なエンジニアリングよりもはるかに多くのデータを組み込むことができます。微調整により、モデルが一貫した出力を生成し、幻覚を軽減し、特定のユースケースに合わせてモデルをカスタマイズすることもできます。

ファインチューニングはプロンプトエンジニアリングとどう違うのですか?

これまでの投稿で、プロンプト エンジニアリングがいかに強力であるかを見てきました。では、微調整はどのように違うのでしょうか?ファインチューニングはエンタープライズ アプリケーションのユースケース向けであり、プロンプト エンジニアリングは一般的なユースケース向けであり、データは必要ありません。 RAG を技術として追加データに使用することはできますが、エンタープライズ ユースケースに存在する大規模なデータには使用できません。微調整により無制限のデータが可能になり、モデルに新しい情報を学習させることができ、RAG と併用することもできます。

微調整された応答と微調整されていない応答の比較

微調整されたモデルと微調整されていないモデルの違いをより直感的に理解できる例を見てみましょう。私はLaminiのライブラリを使用して、微調整された Llama モデルと微調整されていない Llama モデルの両方を呼び出して違いを示しています。この目的のためには、Lamini からの API キーが必要になります。 Lamini は、オープンソース LLM と対話するためのシンプルかつ簡単な方法を提供します。さらに詳しく知りたい場合は、こちらをご覧ください。

この例では、両方のモデルに「死についてどう思いますか?」という同じ質問をしました。そしてここに応答があります。

微調整されていないラマ モデルからの応答:

Finetuned Llama モデルからの応答:

最初の応答は単一行の繰り返しであるのに対し、2 番目の応答ははるかに一貫した応答であることがわかります。ここで何が起こっているかを話す前に、モデルに「あなたの名前は何ですか?」と尋ねる別の例を見てみましょう。これが私が得たものです。

微調整されていないラマ モデルからの応答:

Finetuned Llama モデルからの応答:

微調整されていないモデルの応答では、モデルが 1 つのことを実行しているだけなので、応答が奇妙になります。入力テキストに基づいて次の可能性のあるテキストを予測しようとしていますが、それに対して質問が投げかけられたことも認識していません。インターネットのデータでトレーニングされたベースのモデルはテキスト予測マシンであり、次に最適なテキストを予測しようとします。微調整により、モデルは追加データを与えることで応答の基礎となるようにトレーニングされ、質問に答えるためのチャット ボットとして機能する新しい動作を学習します。また、Open AI の gpt-3 や gpt-4 などのクローズド モデルのほとんどは、どのデータでトレーニングされているか正確にはわかっていないことにも注意してください。しかし、モデルのトレーニングに使用できる優れたオープン データ セットがいくつか存在します。それについては後で詳しく説明します。

以上、100 日間の AI の 11 日目でした。

私は「Above Average」というニュースレターを執筆しており、大手テクノロジー業界で起こっているすべての背後にある二次的な洞察について話しています。テクノロジー業界にいて、平均的な人間になりたくない場合は、購読してください。

AI の 100 日に関する最新情報については、 Twitter 、 LinkedIn 、またはHackerNoonで私をフォローしてください。テクノロジーに携わっている場合は、ここにあるテクノロジー専門家のコミュニティに参加することに興味があるかもしれません。