The Times contre Microsoft/OpenAI : les modèles présentent un comportement appelé « mémorisation ». (9)

IV. ALLÉGATIONS FACTUELLES

B. Produits GenAI des défendeurs

2. Comment fonctionnent les modèles GenAI

75. Au cœur des produits GenAI des défendeurs se trouve un programme informatique appelé « grand modèle de langage » ou « LLM ». Les différentes versions de GPT sont des exemples de LLM. Un LLM fonctionne en prédisant les mots susceptibles de suivre une chaîne de texte donnée sur la base des milliards d'exemples potentiellement utilisés pour la former.

76. Ajouter le résultat d'un LLM à son entrée et le réinjecter dans le modèle produit des phrases et des paragraphes mot par mot. C'est ainsi que ChatGPT et Bing Chat génèrent des réponses aux requêtes des utilisateurs, ou « invites ».

77. Les LLM codent les informations du corpus de formation qu'ils utilisent pour faire ces prédictions sous forme de nombres appelés « paramètres ». Il y a environ 1,76 billion de paramètres dans le LLM GPT-4.

78. Le processus de définition des valeurs des paramètres d'un LLM est appelé « formation ». Cela implique de stocker des copies codées des travaux de formation dans la mémoire de l'ordinateur, de les transmettre de manière répétée dans le modèle avec des mots masqués et d'ajuster les paramètres pour minimiser la différence entre les mots masqués et les mots que le modèle prédit pour les remplir.

79. Après avoir été formés sur un corpus général, les modèles peuvent être davantage soumis à un « réglage fin », par exemple en effectuant des cycles de formation supplémentaires en utilisant des types spécifiques d'œuvres pour mieux imiter leur contenu ou leur style, ou en leur fournissant un feedback humain pour renforcer leur formation. désirés ou supprimer les comportements indésirables.

80. Les modèles formés de cette manière sont connus pour présenter un comportement appelé « mémorisation ».[10] Autrement dit, si on leur donne la bonne invitation, ils répéteront de grandes parties des matériaux sur lesquels ils ont été formés. Ce phénomène montre que les paramètres LLM codent des copies récupérables de bon nombre de ces travaux de formation.

81. Une fois formés, les LLM peuvent recevoir des informations spécifiques à un cas d’utilisation ou à un sujet afin de « fonder » leurs résultats. Par exemple, un LLM peut être invité à générer une sortie texte basée sur des données externes spécifiques, telles qu'un document, fournies comme contexte. En utilisant cette méthode, les applications de recherche synthétique des défendeurs : (1) reçoivent une entrée, telle qu'une question ; (2) récupérer les documents pertinents liés à l'entrée avant de générer une réponse ; (3) combiner l'entrée originale avec les documents récupérés afin de fournir un contexte ; et (4) fournir les données combinées à un LLM, qui génère une réponse en langage naturel.[11] Comme indiqué ci-dessous, les résultats de recherche générés de cette manière peuvent copier largement ou paraphraser de près des œuvres que les modèles eux-mêmes n'ont peut-être pas mémorisés.

[11] Ben Ufuk Tezcan, Comment nous interagissons avec l'information : la nouvelle ère de la recherche, MICROSOFT (19 septembre 2023), https://azure.microsoft.com/en-us/blog/how-we-interact- avec-informations-la-nouvelle-ère-de-recherche/.