The Times 対 Microsoft/OpenAI: モデルは「記憶」と呼ばれる動作を示します。 (9)

IV.事実上の申し立て

B. 被告の GenAI 製品

2. GenAI モデルの仕組み

75. 被告の GenAI 製品の中心となるのは、「ラージ言語モデル」または「LLM」と呼ばれるコンピュータ プログラムです。 GPT のさまざまなバージョンは LLM の例です。 LLM は、トレーニングに使用される可能性のある数十億の例に基づいて、特定のテキスト文字列に続く可能性のある単語を予測することによって機能します。

76. LLM の出力をその入力に追加し、それをモデルにフィードバックすると、文と段落が単語ごとに生成されます。これが、ChatGPT と Bing Chat がユーザーのクエリに対する応答、つまり「プロンプト」を生成する方法です。

77. LLM は、これらの予測を行うために使用するトレーニング コーパスからの情報を「パラメータ」と呼ばれる数値としてエンコードします。 GPT-4 LLM には約 1 兆 7,600 億のパラメーターがあります。

78. LLM のパラメータの値を設定するプロセスは「トレーニング」と呼ばれます。これには、トレーニング作業のエンコードされたコピーをコンピューターのメモリに保存し、単語をマスクしてモデルに繰り返し渡し、マスクされた単語と、モデルがそれらを埋めるために予測する単語との差を最小限に抑えるようにパラメーターを調整することが含まれます。

79. 一般的なコーパスでトレーニングされた後、モデルは、たとえば、コンテンツやスタイルをよりよく模倣するために特定の種類の作品を使用して追加のトレーニングを実行したり、強化するために人間のフィードバックを提供したりすることによって、さらに「微調整」を受ける場合があります。望ましくない行動を抑制したり、抑制したりする。

80. この方法でトレーニングされたモデルは、「暗記」と呼ばれる動作を示すことが知られています [10]。つまり、適切なプロンプトが与えられると、モデルはトレーニングされた教材の大部分を繰り返します。この現象は、LLM パラメータがこれらのトレーニング作業の多くの取得可能なコピーをエンコードしていることを示しています。

81. トレーニングが完了すると、LLM には、出力を「グラウンディング」するために、ユースケースまたは主題に固有の情報が提供される場合があります。たとえば、LLM は、コンテキストとして提供されるドキュメントなどの特定の外部データに基づいてテキスト出力を生成するように要求される場合があります。この方法を使用して、被告の総合検索アプリケーションは次のとおりです。(1) 質問などの入力を受け取ります。 (2) 応答を生成する前に、入力に関連する関連文書を取得します。 (3) コンテキストを提供するために、元の入力と取得した文書を結合します。 (4) 結合されたデータを LLM に提供し、自然言語応答を生成します。[11]以下に示すように、この方法で生成された検索結果は、モデル自体が記憶していない可能性のある作品を広範囲にコピーまたは厳密に言い換えている可能性があります。

[11] Ben Ufuk Tezcan、「情報との対話方法: 検索の新時代」、マイクロソフト (2023 年 9 月 19 日)、https://azure.microsoft.com/en-us/blog/how-we-interact-検索新時代の情報/。