《纽约时报公司诉微软公司》2023 年 12 月 27 日提交的法庭文件是 的一部分。您可以 跳至本文件中的任何部分。这是 27 部分中的第 9 部分。 HackerNoon 法律 PDF 系列 在此处 四．事实指控 B. 被告的 GenAI 产品 2. GenAI 模型如何工作 75. 被告 GenAI 产品的核心是一个称为“大语言模型”或“LLM”的计算机程序。不同版本的 GPT 是法学硕士的示例。法学硕士的工作原理是根据用于训练给定文本字符串的潜在数十亿个示例来预测可能跟随给定文本字符串的单词。  76. 将法学硕士的输出附加到其输入并将其反馈到模型中会逐字生成句子和段落。这就是 ChatGPT 和 Bing Chat 生成对用户查询或“提示”的响应的方式。  77. 法学硕士将用于进行这些预测的训练语料库中的信息编码为称为“参数”的数字。 GPT-4 LLM 中大约有 1.76 万亿个参数。  78. 设置法学硕士参数值的过程称为“培训”。它涉及将训练作品的编码副本存储在计算机内存中，将它们重复传递给模型，并屏蔽掉单词，并调整参数以最小化屏蔽单词与模型预测填充它们的单词之间的差异。  79. 在通用语料库上进行训练后，模型可能会进一步受到“微调”，例如，使用特定类型的作品进行额外轮次的训练，以更好地模仿其内容或风格，或者向它们提供人类反馈以强化期望的行为或抑制不期望的行为。  80. 众所周知，以这种方式训练的模型会表现出一种称为“记忆”的行为。[10]也就是说，在正确的提示下，它们会重复训练时使用的大部分材料。这种现象表明 LLM 参数对许多训练作品的可检索副本进行编码。  81. 经过培训后，法学硕士可能会获得特定于用例或主题的信息，以便“奠定”其输出的基础。例如，法学硕士可能会被要求根据作为上下文提供的特定外部数据（例如文档）生成文本输出。使用这种方法，被告的综合搜索应用程序：（1）接收输入，例如问题； (2) 在生成响应之前检索与输入相关的相关文档； (3) 将原始输入与检索到的文档相结合以提供上下文； (4) 将组合数据提供给法学硕士，后者生成自然语言响应。[11]如下所示，以这种方式生成的搜索结果可能会大量复制或密切释义模型本身可能没有记住的作品。 继续阅读。 在这里  [11] Ben Ufuk Tezcan，我们如何与信息交互：搜索的新时代，微软（2023 年 9 月 19 日），https://azure.microsoft.com/en-us/blog/how-we-interact-与信息搜索新时代/。 关于 HackerNoon Legal PDF 系列：我们为您带来最重要的技术性和富有洞察力的公共领域法庭案件文件。 该法庭案件 1:23-cv-11195 于 2023 年 12 月 29 日检索自  ，属于公共领域。法院创建的文件是联邦政府的作品，根据版权法，自动置于公共领域，可以不受法律限制地共享。 nycto-assets.nytimes.com

legalpdf Blog

該音頻是用故事的原始語言製作的！

太長; 讀書

Boost your HackerNoon story @ $159.99! 🚀

《泰晤士报》诉微软/OpenAI：模型表现出一种称为“记忆”的行为。 (9)

About Author

註釋

標籤

这篇文章刊登在

Related Stories

数字游民请注意：您需要了解泰国新推出的 DTV 签证

加密货币增长：创建有效的用户角色

看不见的层面：为什么用户访谈是不可替代的资产

使用这 18 种开发工具来提高你的工作效率 🚀🔥

数字游民请注意：您需要了解泰国新推出的 DTV 签证

加密货币增长：创建有效的用户角色

看不见的层面：为什么用户访谈是不可替代的资产

使用这 18 种开发工具来提高你的工作效率 🚀🔥

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps