The Times x Microsoft/OpenAI: os modelos exibem um comportamento chamado “memorização”. (9)

4. ALEGAÇÕES FATUAIS

B. Produtos GenAI dos Réus

2. Como funcionam os modelos GenAI

75. No centro dos produtos GenAI dos Réus está um programa de computador denominado “modelo de linguagem grande” ou “LLM”. As diferentes versões do GPT são exemplos de LLMs. Um LLM funciona prevendo palavras que provavelmente seguirão uma determinada sequência de texto com base nos bilhões de exemplos potencialmente usados para treiná-la.

76. Anexar a saída de um LLM à sua entrada e realimentá-la no modelo produz frases e parágrafos palavra por palavra. É assim que o ChatGPT e o Bing Chat geram respostas às consultas dos usuários, ou “solicitações”.

77. Os LLMs codificam as informações do corpus de treinamento que usam para fazer essas previsões como números chamados “parâmetros”. Existem aproximadamente 1,76 trilhão de parâmetros no GPT-4 LLM.

78. O processo de definição dos valores dos parâmetros de um LLM é chamado de “treinamento”. Envolve armazenar cópias codificadas dos trabalhos de treinamento na memória do computador, passá-los repetidamente pelo modelo com palavras mascaradas e ajustar os parâmetros para minimizar a diferença entre as palavras mascaradas e as palavras que o modelo prevê para preenchê-las.

79. Depois de serem treinados em um corpus geral, os modelos podem ser ainda sujeitos a “ajustes finos”, por exemplo, realizando rodadas adicionais de treinamento usando tipos específicos de trabalhos para melhor imitar seu conteúdo ou estilo, ou fornecendo-lhes feedback humano para reforçar desejado ou suprimir comportamentos indesejados.

80. Sabe-se que os modelos treinados desta forma exibem um comportamento chamado “memorização”.[10] Isto é, se receberem o estímulo certo, repetirão grandes porções dos materiais nos quais foram treinados. Este fenômeno mostra que os parâmetros LLM codificam cópias recuperáveis de muitos desses trabalhos de treinamento.

81. Uma vez treinados, os LLMs podem receber informações específicas para um caso de uso ou assunto, a fim de “fundamentar” seus resultados. Por exemplo, um LLM pode ser solicitado a gerar uma saída de texto com base em dados externos específicos, como um documento, fornecido como contexto. Usando este método, os aplicativos de pesquisa sintética dos Réus: (1) recebem uma entrada, como uma pergunta; (2) recuperar documentos relevantes relacionados ao input antes de gerar uma resposta; (3) combinar a entrada original com os documentos recuperados para contextualizar; e (4) fornecer os dados combinados para um LLM, que gera uma resposta em linguagem natural.[11] Conforme mostrado abaixo, os resultados da pesquisa gerados desta forma podem copiar extensivamente ou parafrasear de perto trabalhos que os próprios modelos podem não ter memorizado.

[11] Ben Ufuk Tezcan, How We Interact with Information: The New Era of Search, MICROSOFT (19 de setembro de 2023), https://azure.microsoft.com/en-us/blog/how-we-interact- com-informações-a-nova-era-da-pesquisa/.