The Times против Microsoft/OpenAI: модели демонстрируют поведение, называемое «запоминанием». (9)

IV. ФАКТИЧЕСКИЕ ОБЪЯВЛЕНИЯ

B. Продукты GenAI ответчиков

2. Как работают модели GenAI

75. В основе продуктов GenAI Ответчиков лежит компьютерная программа, называемая «большая языковая модель» или «LLM». Различные версии GPT являются примерами LLM. LLM работает, предсказывая слова, которые могут следовать за заданной текстовой строкой, на основе потенциально миллиардов примеров, используемых для ее обучения.

76. Присоединение выходных данных LLM к входным данным и подача их обратно в модель позволяет получить предложения и абзацы слово за словом. Именно так ChatGPT и Bing Chat генерируют ответы на запросы пользователей или «подсказки».

77. LLM кодируют информацию из обучающего корпуса, которую они используют для прогнозирования, в виде чисел, называемых «параметрами». В LLM GPT-4 содержится около 1,76 триллиона параметров.

78. Процесс установки значений параметров LLM называется «обучением». Он включает в себя хранение закодированных копий учебных работ в памяти компьютера, многократное пропускание их через модель с замаскированными словами и настройку параметров для минимизации разницы между замаскированными словами и словами, которые, по прогнозам модели, заполняют их.

79. После обучения на общем корпусе модели могут подвергаться дальнейшей «тонкой настройке», например, путем проведения дополнительных раундов обучения с использованием конкретных типов работ для лучшего воспроизведения их содержания или стиля или предоставления им обратной связи с людьми для закрепления желаемое или подавлять нежелательное поведение.

80. Известно, что модели, обученные таким образом, демонстрируют поведение, называемое «запоминанием».[10] То есть при наличии правильной подсказки они будут повторять большие порции материалов, на которых их обучали. Этот феномен показывает, что параметры LLM кодируют извлекаемые копии многих из этих обучающих работ.

81. После обучения LLM может быть предоставлена информация, специфичная для варианта использования или предмета, чтобы «обосновать» их результаты. Например, LLM может быть предложено сгенерировать текстовый вывод на основе конкретных внешних данных, таких как документ, предоставленный в качестве контекста. Используя этот метод, приложения синтетического поиска Ответчиков: (1) получают входные данные, например вопрос; (2) получить соответствующие документы, связанные с входными данными, прежде чем генерировать ответ; (3) объединить исходные данные с полученными документами, чтобы обеспечить контекст; и (4) предоставить объединенные данные в LLM, который генерирует ответ на естественном языке.[11] Как показано ниже, результаты поиска, созданные таким образом, могут во многом копировать или перефразировать произведения, которые сами модели, возможно, не запомнили.

[11] Бен Уфук Тезкан, «Как мы взаимодействуем с информацией: новая эра поиска», MICROSOFT (19 сентября 2023 г.), https://azure.microsoft.com/en-us/blog/how-we-interact- с-информацией-новая-эра-поиска/.