The Times vs. Microsoft/OpenAI: Modelle zeigen ein Verhalten namens „Auswendiglernen“. (9)

IV. FAKTISCHE BEHAUPTUNG

B. GenAI-Produkte der Beklagten

2. Wie GenAI-Modelle funktionieren

75. Das Herzstück der GenAI-Produkte der Beklagten ist ein Computerprogramm, das als „großes Sprachmodell“ oder „LLM“ bezeichnet wird. Die verschiedenen Versionen von GPT sind Beispiele für LLMs. Ein LLM funktioniert, indem es Wörter vorhersagt, die wahrscheinlich einer bestimmten Textfolge folgen, basierend auf den potenziell Milliarden von Beispielen, die zum Trainieren verwendet werden.

76. Wenn man die Ausgabe eines LLM an seine Eingabe anhängt und sie wieder in das Modell einspeist, entstehen Sätze und Absätze Wort für Wort. Auf diese Weise generieren ChatGPT und Bing Chat Antworten auf Benutzeranfragen oder „Eingabeaufforderungen“.

77. LLMs kodieren die Informationen aus dem Trainingskorpus, die sie verwenden, um diese Vorhersagen zu treffen, als Zahlen, die „Parameter“ genannt werden. Es gibt etwa 1,76 Billionen Parameter im GPT-4 LLM.

78. Der Prozess des Festlegens der Werte für die Parameter eines LLM wird als „Training“ bezeichnet. Dazu gehört das Speichern codierter Kopien der Trainingsarbeiten im Computerspeicher, das wiederholte Durchlaufen des Modells mit ausgeblendeten Wörtern und das Anpassen der Parameter, um den Unterschied zwischen den ausgeblendeten Wörtern und den Wörtern, die das Modell vorhersagt, um sie auszufüllen, zu minimieren.

79. Nach dem Training an einem allgemeinen Korpus können Modelle einer weiteren „Feinabstimmung“ unterzogen werden, indem sie beispielsweise zusätzliche Trainingsrunden mit bestimmten Arten von Werken durchführen, um deren Inhalt oder Stil besser nachzuahmen, oder ihnen zur Verstärkung menschliches Feedback geben gewünschte oder unerwünschte Verhaltensweisen unterdrücken.

80. Es ist bekannt, dass auf diese Weise trainierte Modelle ein Verhalten an den Tag legen, das als „Auswendiglernen“ bezeichnet wird.[10] Das heißt, wenn sie die richtige Aufforderung erhalten, wiederholen sie große Teile des Materials, auf dem sie trainiert wurden. Dieses Phänomen zeigt, dass LLM-Parameter abrufbare Kopien vieler dieser Trainingsarbeiten kodieren.

81. Nach der Schulung können LLMs spezifische Informationen für einen Anwendungsfall oder ein Thema erhalten, um ihre Ergebnisse zu „erden“. Beispielsweise kann ein LLM aufgefordert werden, eine Textausgabe basierend auf bestimmten externen Daten, beispielsweise einem Dokument, zu generieren, die als Kontext bereitgestellt werden. Mithilfe dieser Methode können die synthetischen Suchanwendungen der Beklagten (1) eine Eingabe, beispielsweise eine Frage, erhalten; (2) relevante Dokumente im Zusammenhang mit der Eingabe abrufen, bevor eine Antwort generiert wird; (3) die Originaleingabe mit den abgerufenen Dokumenten kombinieren, um Kontext bereitzustellen; und (4) die kombinierten Daten einem LLM zur Verfügung stellen, der eine Antwort in natürlicher Sprache generiert.[11] Wie unten gezeigt, können auf diese Weise generierte Suchergebnisse weitgehend Werke kopieren oder eng umschreiben, die sich die Modelle selbst möglicherweise nicht eingeprägt haben.

[11] Ben Ufuk Tezcan, Wie wir mit Informationen interagieren: Die neue Ära der Suche, MICROSOFT (19. September 2023), https://azure.microsoft.com/en-us/blog/how-we-interact- mit-informationen-die-neue-ära-der-suche/.