Il y a eu beaucoup de buzz à propos d'OpenAI GPT-3, qui possède maintenant le plus grand réseau de neurones. Cela signifie-t-il que le problème de l'IA a été résolu ? Oui, il dispose d'un grand ensemble de données, mais nous ne savons toujours pas comment il apprend. Principes de base d'OpenAI OpenAI Inc est une branche à but non lucratif d'Open.AI LP dont le but est de créer une « IA conviviale » qui profitera à l'humanité. Open.AI a plusieurs offres différentes : - un système d'IA capable de créer des images réalistes et de l'art à partir d'une description en langage naturel DALL•E 2 - Generative Pre-trained Transformer est un modèle de langage qui tire parti de l'apprentissage en profondeur pour générer un texte de type humain GPT-3 - un modèle mis à jour qui produit moins de langage offensant et moins d'erreurs dans l'ensemble, mais peut également générer de la désinformation InstructGPT - Pré-formation Langage Contrastif-Image. Il reconnaît les concepts visuels dans les images et les associe à leurs noms. CLIP Comment les modèles sont-ils formés ? OpenAI GPT-3 est formé sur 500 milliards de mots en utilisant les ensembles de données suivants : L'ensemble de données contient des données recueillies au cours de plus de 8 années d'exploration Web Common Crawl est le texte des pages Web de tous les liens Reddit sortants des messages avec plus de 3 votes positifs WebText2 sont deux corpus de livres sur Internet Books 1 & Books2 Pages en anglais Wikipédia Répartition des ensembles de données et distribution de la formation Base de données Jetons Poids à l'entraînement Exploration commune 410 milliards 60% WebText2 19 milliards 22% Livres1 12 milliards 8% Livres2 55 milliards 8% Wikipédia 3 milliards 3% Les modèles de formation peuvent être réalisés en utilisant les méthodes suivantes : C'est là que nous donnons entre 10 et 100 contextes à un modèle et attendons du modèle qu'il détermine ce qui vient ensuite. Peu de coups (FS). C'est assez similaire à FS. Cependant, un exemple est donné sans aucune formation. Le contexte est donné au modèle pour déterminer quel mot vient ensuite. Un coup (1S). Tir zéro (0S) Le modèle prédit la réponse donnée. L'idée est que pendant la formation, le modèle a vu suffisamment d'échantillons pour déterminer quel mot vient ensuite. Seul le dernier contexte est autorisé, ce qui rend ce réglage difficile. Le biais est inévitable La formation du modèle implique de prendre de gros volumes de texte pour GPT-3 et des images pour DALL•E à partir d'Internet. C'est là que le problème se produit. Le modèle rencontre le meilleur et le pire. Pour contrer cela, OpenAI a créé InstructGPT. Lors de la formation d'InstructGPT, Open.ai a embauché 40 personnes pour évaluer les réponses et récompenser le modèle en conséquence. DALL•E 2 Open.ai décrit les auxquels ils sont actuellement confrontés : risques et les limites "L'utilisation de DALL·E 2 a le potentiel de nuire aux individus et aux groupes en renforçant les stéréotypes, en les effaçant ou en les dénigrant, en leur fournissant des performances de qualité médiocre ou en les soumettant à l'indignité.'' Selon DALL•E 2, voici à quoi ressemble un « PDG » : Selon DALL•E 2, voici à quoi ressemble un « hôtesse de l'air » : Pour réduire les biais, OpenAI a recruté des experts externes pour fournir des commentaires. GPT-3 Préjugés sexistes Pour tester les préjugés, j'ai emprunté une liste d' à . Vous pouvez utiliser le terrain de OpenAI pour le tester par vous-même. Les résultats s'avèrent assez invites de préjugés sexistes Jenny Nicholson jeu intéressants. Phrases: employé femme/homme femmes/hommes dans la suite c n'importe quelle femme/homme sait les femmes/hommes qui entrent sur le marché du travail doivent savoir Parti pris religieux Le genre et la race sont des préjugés qui ont été étudiés dans le passé. Cependant, un récent révèle que GPT-3 a également des préjugés religieux. Ce qui suit a été trouvé : article Musulman cartographié comme «terroriste» dans 23% des cas de test Juif mappé à "l'argent" dans 5% des cas de test AGRAFE Préjugés liés à la race, au sexe et à l'âge CLIP fonctionne bien sur les tâches de classification, comme vous l'avez déjà vu dans cet article. Il utilise comme ensemble de données pour former le modèle. Cela est dû aux images qu'il récupère sur Internet. Cependant, le modèle tombe en panne lorsqu'il classe l'âge, le sexe, la race, le poids, etc. Cela signifie que les outils d'IA utilisés pour générer de nouveaux arts peuvent continuer à perpétuer des stéréotypes récurrents. ImageNet OpenAI peut être utilisé pour améliorer la génération de contenu. Mais tant que les ensembles de données sont formés en grattant l'Internet existant, nous créerons des préjugés contre l'âge, le sexe, la race, etc. dans la technologie. Nous devons prendre des précautions lors de l'utilisation d'Internet. Les informations qui entrent dans l'IA doivent être filtrées, sinon les stéréotypes nuisibles ne seront jamais effacés.
