《泰晤士报》诉微软/OpenAI：模型表现出一种称为“记忆”的行为。 (9)

四．事实指控

B. 被告的 GenAI 产品

2. GenAI 模型如何工作

75. 被告 GenAI 产品的核心是一个称为“大语言模型”或“LLM”的计算机程序。不同版本的 GPT 是法学硕士的示例。法学硕士的工作原理是根据用于训练给定文本字符串的潜在数十亿个示例来预测可能跟随给定文本字符串的单词。

76. 将法学硕士的输出附加到其输入并将其反馈到模型中会逐字生成句子和段落。这就是 ChatGPT 和 Bing Chat 生成对用户查询或“提示”的响应的方式。

77. 法学硕士将用于进行这些预测的训练语料库中的信息编码为称为“参数”的数字。 GPT-4 LLM 中大约有 1.76 万亿个参数。

78. 设置法学硕士参数值的过程称为“培训”。它涉及将训练作品的编码副本存储在计算机内存中，将它们重复传递给模型，并屏蔽掉单词，并调整参数以最小化屏蔽单词与模型预测填充它们的单词之间的差异。

79. 在通用语料库上进行训练后，模型可能会进一步受到“微调”，例如，使用特定类型的作品进行额外轮次的训练，以更好地模仿其内容或风格，或者向它们提供人类反馈以强化期望的行为或抑制不期望的行为。

80. 众所周知，以这种方式训练的模型会表现出一种称为“记忆”的行为。[10]也就是说，在正确的提示下，它们会重复训练时使用的大部分材料。这种现象表明 LLM 参数对许多训练作品的可检索副本进行编码。

81. 经过培训后，法学硕士可能会获得特定于用例或主题的信息，以便“奠定”其输出的基础。例如，法学硕士可能会被要求根据作为上下文提供的特定外部数据（例如文档）生成文本输出。使用这种方法，被告的综合搜索应用程序：（1）接收输入，例如问题； (2) 在生成响应之前检索与输入相关的相关文档； (3) 将原始输入与检索到的文档相结合以提供上下文； (4) 将组合数据提供给法学硕士，后者生成自然语言响应。[11]如下所示，以这种方式生成的搜索结果可能会大量复制或密切释义模型本身可能没有记住的作品。

[11] Ben Ufuk Tezcan，我们如何与信息交互：搜索的新时代，微软（2023 年 9 月 19 日），https://azure.microsoft.com/en-us/blog/how-we-interact-与信息搜索新时代/。