paint-brush
The Times против Microsoft/OpenAI: модели демонстрируют поведение, называемое «запоминанием». (9)к@legalpdf
103 чтения

The Times против Microsoft/OpenAI: модели демонстрируют поведение, называемое «запоминанием». (9)

Слишком долго; Читать

LLM работает, предсказывая слова, которые могут следовать за заданной текстовой строкой, на основе потенциально миллиардов примеров, используемых для ее обучения.
featured image - The Times против Microsoft/OpenAI: модели демонстрируют поведение, называемое «запоминанием». (9)
Legal PDF: Tech Court Cases HackerNoon profile picture

Судебное заявление компании New York Times против корпорации Microsoft от 27 декабря 2023 г. является частью серии юридических документов HackerNoon в формате PDF . Вы можете перейти к любой части этого файла здесь . Это 9 часть из 27.

IV. ФАКТИЧЕСКИЕ ОБЪЯВЛЕНИЯ

B. Продукты GenAI ответчиков

2. Как работают модели GenAI


75. В основе продуктов GenAI Ответчиков лежит компьютерная программа, называемая «большая языковая модель» или «LLM». Различные версии GPT являются примерами LLM. LLM работает, предсказывая слова, которые могут следовать за заданной текстовой строкой, на основе потенциально миллиардов примеров, используемых для ее обучения.


76. Присоединение выходных данных LLM к входным данным и подача их обратно в модель позволяет получить предложения и абзацы слово за словом. Именно так ChatGPT и Bing Chat генерируют ответы на запросы пользователей или «подсказки».


77. LLM кодируют информацию из обучающего корпуса, которую они используют для прогнозирования, в виде чисел, называемых «параметрами». В LLM GPT-4 содержится около 1,76 триллиона параметров.


78. Процесс установки значений параметров LLM называется «обучением». Он включает в себя хранение закодированных копий учебных работ в памяти компьютера, многократное пропускание их через модель с замаскированными словами и настройку параметров для минимизации разницы между замаскированными словами и словами, которые, по прогнозам модели, заполняют их.


79. После обучения на общем корпусе модели могут подвергаться дальнейшей «тонкой настройке», например, путем проведения дополнительных раундов обучения с использованием конкретных типов работ для лучшего воспроизведения их содержания или стиля или предоставления им обратной связи с людьми для закрепления желаемое или подавлять нежелательное поведение.


80. Известно, что модели, обученные таким образом, демонстрируют поведение, называемое «запоминанием».[10] То есть при наличии правильной подсказки они будут повторять большие порции материалов, на которых их обучали. Этот феномен показывает, что параметры LLM кодируют извлекаемые копии многих из этих обучающих работ.


81. После обучения LLM может быть предоставлена информация, специфичная для варианта использования или предмета, чтобы «обосновать» их результаты. Например, LLM может быть предложено сгенерировать текстовый вывод на основе конкретных внешних данных, таких как документ, предоставленный в качестве контекста. Используя этот метод, приложения синтетического поиска Ответчиков: (1) получают входные данные, например вопрос; (2) получить соответствующие документы, связанные с входными данными, прежде чем генерировать ответ; (3) объединить исходные данные с полученными документами, чтобы обеспечить контекст; и (4) предоставить объединенные данные в LLM, который генерирует ответ на естественном языке.[11] Как показано ниже, результаты поиска, созданные таким образом, могут во многом копировать или перефразировать произведения, которые сами модели, возможно, не запомнили.


Продолжить чтение здесь .


[11] Бен Уфук Тезкан, «Как мы взаимодействуем с информацией: новая эра поиска», MICROSOFT (19 сентября 2023 г.), https://azure.microsoft.com/en-us/blog/how-we-interact- с-информацией-новая-эра-поиска/.



О HackerNoon Legal PDF-серия: Мы представляем вам наиболее важные технические и содержательные материалы судебных дел, являющиеся общественным достоянием.


Это судебное дело 1:23-cv-11195, полученное 29 декабря 2023 г. с сайта nycto-assets.nytimes.com , является частью общественного достояния. Созданные судом документы являются произведениями федерального правительства и в соответствии с законом об авторском праве автоматически становятся общественным достоянием и могут распространяться без юридических ограничений.