The Times contra Microsoft/OpenAI: los modelos exhiben un comportamiento llamado "memorización". (9)

IV. ALEGACIONES DE HECHO

B. Productos GenAI de los demandados

2. Cómo funcionan los modelos GenAI

75. En el corazón de los productos GenAI de los demandados se encuentra un programa informático llamado “modelo de lenguaje grande” o “LLM”. Las diferentes versiones de GPT son ejemplos de LLM. Un LLM funciona prediciendo palabras que probablemente sigan una cadena de texto determinada en función de los miles de millones potenciales de ejemplos utilizados para entrenarlo.

76. Agregar el resultado de un LLM a su entrada y reintroducirlo en el modelo produce oraciones y párrafos palabra por palabra. Así es como ChatGPT y Bing Chat generan respuestas a las consultas de los usuarios o "solicitudes".

77. Los LLM codifican la información del corpus de entrenamiento que utilizan para hacer estas predicciones como números llamados "parámetros". Hay aproximadamente 1,76 billones de parámetros en el LLM GPT-4.

78. El proceso de establecer los valores de los parámetros de un LLM se llama "capacitación". Implica almacenar copias codificadas de los trabajos de entrenamiento en la memoria de la computadora, pasarlas repetidamente a través del modelo con palabras enmascaradas y ajustar los parámetros para minimizar la diferencia entre las palabras enmascaradas y las palabras que el modelo predice para completarlas.

79. Después de haber sido entrenados en un corpus general, los modelos pueden estar sujetos a un mayor “ajuste”, por ejemplo, realizando rondas adicionales de entrenamiento utilizando tipos específicos de obras para imitar mejor su contenido o estilo, o proporcionándoles retroalimentación humana para reforzarlos. deseados o reprimir comportamientos no deseados.

80. Se sabe que los modelos entrenados de esta manera exhiben un comportamiento llamado “memorización”. [10] Es decir, si se les da la indicación adecuada, repetirán grandes porciones de los materiales con los que fueron entrenados. Este fenómeno muestra que los parámetros LLM codifican copias recuperables de muchos de esos trabajos de formación.

81. Una vez capacitados, los LLM pueden recibir información específica sobre un caso de uso o un tema para “consolidar” sus resultados. Por ejemplo, se le puede pedir a un LLM que genere un resultado de texto basado en datos externos específicos, como un documento, proporcionado como contexto. Usando este método, las aplicaciones de búsqueda sintética de los Demandados: (1) reciben una entrada, como una pregunta; (2) recuperar documentos relevantes relacionados con la entrada antes de generar una respuesta; (3) combinar la entrada original con los documentos recuperados para proporcionar contexto; y (4) proporcionar los datos combinados a un LLM, que genera una respuesta en lenguaje natural.[11] Como se muestra a continuación, los resultados de búsqueda generados de esta manera pueden copiar en gran medida o parafrasear trabajos que los propios modelos tal vez no hayan memorizado.

[11] Ben Ufuk Tezcan, Cómo interactuamos con la información: la nueva era de la búsqueda, MICROSOFT (19 de septiembre de 2023), https://azure.microsoft.com/en-us/blog/how-we-interact- con-información-la-nueva-era-de-la-búsqueda/.