Comment la modélisation de l’IA générative peut entraîner des dysfonctionnements   Les opinions et les discussions ici sont entièrement les miennes et ne reflètent pas du tout les points de vue de Meta ou de mon équipe, ni aucune connaissance privilégiée ou exclusive.  Je travaille dans la division Generative AI de Meta. Plus précisément, je travaille dans la génération de texte → image pour Meta. Nos premiers produits ont été   ici et vous pouvez les essayer   . Lorsque je l'ai demandé "Une famille d'Allemands en 2024", j'ai obtenu l'image agrandie suivante, mais j'ai également obtenu 3 autres images en bas. lancés ici    Voici les résultats de l’agrandissement de 2 des autres suggestions :      Comme vous pouvez le constater, il existe ici une certaine diversité ethnique représentant les familles. Cependant, cela ne se fait pas en excluant ce que serait « traditionnellement » une famille allemande.  En attendant, voici quelques exemples supplémentaires :      Voici une autre invite pour représenter certains personnages historiques :   Bien sûr, il y a beaucoup de défauts, et les membres de mon équipe, moi y compris, travaillons pour l'améliorer. L'invite ci-dessus, par exemple, pensait que « Indien » signifiait un peu à la fois les gens de l'Inde et les « Indiens indigènes » d'Amérique.  Cependant, si vous avez prêté attention au fiasco Gemini de Google la semaine dernière, les résultats du modèle ne ressemblaient pas à ceux ci-dessus et avaient des résultats bien plus préoccupants. Voici un fil de discussion illustrant certains de ces pièges.   https://twitter.com/IMAO_/status/1760093853430710557?embedable=true  Si vous ne pouvez pas accéder à l'intégralité du fil de discussion sur Twitter,   . voici le fil de discussion non compressé        Il existe bien d’autres images qui ont fait le buzz, mais celles-ci suffiraient à conduire aux conclusions suivantes :  La génération d'images Gemini de Google a eu du mal à générer des personnes de race blanche (blanches), y compris pour des personnalités historiques et publiques telles que les pères fondateurs des États-Unis, les Vikings et le pape.  Cela n'a pas nécessairement eu du mal à le faire pour les autres races, comme le démontrent les exemples d'un guerrier zoulou ou d'un samouraï.  Celles-ci déclencheraient de nombreuses réactions - de   face à « l'effacement » des « personnes blanches » par des « entreprises réveillées », d'autres publications médiatiques essayant de se concentrer sur la façon dont les Gémeaux   « les personnes de couleur comme des nazis » ou des commentaires sur la façon dont les « personnes de couleur » seraient considérées comme des nazis. la question est exagérée ou   les « préjugés libéraux ». Ces réactions s’inscrivent souvent dans le cadre de lignes politiques, et je n’ai pas l’intention de les aborder ici. l'indignation présenteraient réfute  Cependant, ce que je peux apporter de manière positive, c'est une certaine compréhension en tant qu'ingénieur travaillant dans cet espace spécifique pour expliquer comment le   fonctionne pour le développement de modèles, en particulier dans l'IA générative, tout en l'utilisant pour comprendre (spéculativement) comment des résultats comme ceux ci-dessus peuvent devenir dominants. Je ne veux pas utiliser de jargon technique, ni expliquer les composants internes des réseaux de neurones - je ne pense pas non plus qu'ils soient pertinents ici. Je tiens à réitérer que rien ici ne doit être une information exclusive, et je n'ai aucune connaissance interne du problème ou du fonctionnement interne de Google. cycle de développement  Les données sont reines  Avant de plonger dans certaines étapes, je souhaite expliquer un invariant très important.   . Cela ne veut pas dire que d’autres composants du modèle (comme l’architecture) ne sont pas importants, voire moins importants. En effet, d'excellentes recherches ont été menées ces dernières années dans le domaine de l'apprentissage automatique, ce qui a accéléré la croissance exponentielle de ce domaine depuis les LLM, la génération d'images, la génération de vidéos, etc. Cependant, une limite à laquelle chaque modèle est confronté, quels que soient les progrès, est qu'il peut Il ne donnera pas les résultats souhaités s'il n'est pas formé sur un bon ensemble de données représentatif. La qualité d'un modèle dépend des données sur lesquelles il est formé  Pour ceux qui ne sont pas familiers avec les concepts de l'apprentissage automatique, un modèle est nourri (ou « formé sur ») plusieurs exemples d'un certain concept (chien par exemple) - à la fois positifs (contenant) et négatifs (ne contenant pas) - dans l'espoir que, compte tenu de tout entrée aléatoire, le modèle devrait être capable de prédire avec une grande confiance s'il contient une instance de ce concept. De nombreuses augmentations peuvent être effectuées pour des cas d'utilisation spécifiques (par exemple, identification des coordonnées du chien).  Cycle de développement du modèle génératif AI ML    (ou pré-entraînement) : l'identification d'un chien n'est qu'un exemple. Le problème généralisé ici serait le suivant : étant donné n’importe quel texte, générez l’image correspondante. Pour ce faire, un modèle devrait d’abord identifier (« apprendre ») la signification de certains mots. Il lui faudrait donc reconnaître un éléphant, un homme, une femme, un chien, des montagnes, etc. en examinant de nombreux exemples de chaque critère (« concept »). Cependant, pour que le modèle génère de bonnes images pour chaque scénario, il doit comprendre un large éventail de concepts, qui comprendront non seulement les plus courants, mais également une longue liste de concepts moins utilisés et moins familiers. Afin de le faire avec un niveau de confiance raisonnablement élevé, nous aurions besoin d’entraîner le modèle avec un grand volume de données (de millions à milliards). Cette étape est connue sous le nom de pré-formation, où une grande échelle de données ingérées aide le modèle à générer une qualité suffisamment bonne des résultats souhaités. Entraînement à grande échelle  L'un des corollaires de l'apprentissage des modèles basé sur les données ingérées est que le modèle apprendrait les modèles de votre ensemble de formation ainsi que tous ses biais. Donc, si votre ensemble de données de dressage de chiens ne contient que des images de   et de corgis (des chiens super doux d'ailleurs), tous vos chiens générés ressembleront à ces races. Par conséquent, si vous souhaitez que les sorties de votre modèle ne soient pas « surajustées » sur des types particuliers comme décrit ci-dessus, vous souhaiterez ajouter de la diversité à votre source. Ainsi, dans l'exemple ci-dessus, vous souhaitez vous assurer que les données d'entraînement contiennent un bon volume de races principales que vous souhaitez refléter de manière uniforme.  shiba inus  Cela s'applique également aux humains. Tout comme la surreprésentation de certaines races de chiens n’est pas souhaitable, il en va de même pour les humains. Cependant, pour les humains, contrairement aux races, ces lignes de division se manifestent selon le sexe, la nationalité, l’origine ethnique et la race. Idéalement, nous souhaitons que notre étape de pré-formation reflète une relative uniformité dans ces dimensions afin d'éviter que certaines caractéristiques ne dominent dans les résultats du modèle.   Ainsi, en phase de pré-formation, le modèle ingère d'énormes volumes de données tout en essayant de trouver une certaine diversité dans les concepts (humains, animaux de compagnie, faune, nature, mobilier, paysages, etc.) puis par la suite une certaine diversité au sein de ces concepts (races, nationalités, dimensions). ).    : Cependant, après avoir entraîné un modèle sur de vastes échelles de données, dans une étape finale, il est « affiné » sur des données très petites et de haute qualité. Ici,   dans la sortie du modèle. Ainsi, si vous souhaitez modifier la qualité visuelle, la distribution serait l'endroit idéal pour le faire. Notez cependant que les données de pré-formation, compte tenu de leur grande échelle, sont toujours dominantes et qu'il est difficile de déterminer dans quelle mesure la sortie du modèle est affectée par quelle étape de la formation du modèle.  Affinement de petits changements peuvent entraîner des changements agressifs    : la compréhension ci-dessus s'est principalement concentrée sur l'explication des étapes principales et des aspects importants de la sortie du modèle. Cependant, nous devons également comprendre   des préjugés et des contraintes juridiques et garantir que les modèles ne contribuent pas négativement. S'il peut être relativement plus facile de suivre les lois car elles sont consacrées (même s'il reste une grande marge d'interprétation comme le montrent les tribunaux), s'attaquer à d'autres problèmes qui ne sont pas illégaux mais potentiellement nuisibles soulève de nombreuses controverses et expose les divisions politiques. Un domaine de l’IA appelé «   » ou «   » a vu le jour pour s’attaquer à des problèmes de ce dernier type – non pas illégaux, mais potentiellement nuisibles.  Dans l'exemple de biais ci-dessus, il est par exemple relativement peu controversé de dire que nous avons besoin d'échantillons représentatifs d'hommes et de femmes dans l'ensemble de données de formation. Ou des gens d'Inde, de Chine, des États-Unis, du Royaume-Uni, du Brésil et du Nigeria pour refléter les humains. D'autres mesures d'atténuation similaires, relativement peu controversées, consisteraient à empêcher la nudité (des adultes - pas complètement illégale, ainsi que celle des enfants - illégale), à ne pas divulguer d'informations personnelles (y compris financières et de santé) d'un individu contre son consentement, ainsi qu'à d'éventuelles violations de la propriété intellectuelle. Mais le domaine de l’IA responsable va au-delà, car il s’agit également de ne pas perpétuer les « stéréotypes nuisibles ». Sécurité les implications concrètes éthique de l’IA IA responsable  Voici un exemple : si vous demandez à un modèle de générer des images d'un médecin et d'une infirmière, et que 99 fois sur 100, il montre un homme en tant que médecin et une femme en tant qu'infirmière, cela perpétue définitivement des stéréotypes sociétaux indésirables.    Quelques autres exemples : si vous demandez au modèle de générer un homme musulman, il pourrait finir par montrer un terroriste violent.      Pourquoi le modèle ferait-il cela, me demanderez-vous ? N'oubliez pas que   . Et cela s'avère dû à une combinaison de répartitions dans le monde réel (comme le fait qu'il y ait plus de femmes infirmières que de médecins, souvent en raison de contraintes sociétales), de définitions de certains mots dans différents domaines (l'extrémisme violent étant associé aux actes de certains groupes et pas d'autres) ou une couverture médiatique biaisée envers certains groupes dans des localités spécifiques (des chiens/chauves-souris chinois mangeurs par exemple), les données que le modèle consommerait amplifieraient beaucoup de ces biais. Ainsi, un modèle formé sur de telles données serait susceptible de générer presque toujours des femmes comme infirmières, des hommes comme médecins, des hommes musulmans comme extrémistes violents ou des Chinois/Asiatiques comme mangeurs de chauves-souris.  le modèle est aussi bon que les données d'entraînement  C’est ce qu’on appelle   du modèle et des données. Est-ce que cela doit être corrigé ? Légalement, non (même si dans certaines juridictions, c'est probablement le cas). Moralement? C'est une question délicate et assez controversée. Un instinct évident serait de répondre « oui » – pour éviter que les stéréotypes nuisibles ne soient amplifiés. Cependant, il pourrait y avoir des objections quant à la mesure dans laquelle les humains devraient intervenir pour déformer les résultats, surtout si cela reflète un fait empirique (même si cela est le résultat de préjugés/discrimination sociétale). Même si nous convenons qu’il est souhaitable de le faire, quels humains peuvent le faire et quelles en sont les limites, le cas échéant (telles que leurs propres préjugés) ? Intervenir peut-il également avoir des effets secondaires négatifs ? Quoi qu’il en soit, comme mentionné précédemment, le but de cet article n’est pas de s’engager dans de telles discussions, mais simplement de reconnaître certaines controverses et arguments fondamentaux. les biais « inconscients »  Quelle que soit votre position sur ces questions, considérez qu'il suffit de dire que la plupart des grandes entreprises (y compris Meta) développant des modèles d'IA génératifs - à la fois du texte et de l'image - répondent par l'affirmative à la question « est-il nécessaire de le réparer » et prennent de nombreuses mesures pour atténuer cela. Quelques exemples de la façon dont cela inclurait le nettoyage des données en détectant et éventuellement en supprimant les paires nuisibles, ou en éloignant de manière agressive le modèle de résultats indésirables spécifiques lors de l'étape de réglage fin pour modifier les résultats par rapport à ceux qu'il obtiendrait en ingérant le corpus d'Internet.  En conséquence, vous pouvez voir que les invites qui auraient pu être très problématiques, comme en témoignent les résultats de recherche Google Image, sont répartis de manière très uniforme.      Comme on peut le voir ci-dessus, 4 images sont générées. Il y a une assez bonne répartition des hommes et des femmes dans les deux rôles.     ce qui précède pourrait soulever de nombreuses inquiétudes chez certaines personnes, notamment le fait que des employés aléatoires injectent leurs propres préjugés et modifient les résultats du modèle en utilisant des caractéristiques immuables de la manière qu'ils souhaitent. Cependant, toutes les grandes entreprises technologiques disposent d’immenses divisions juridiques et certaines d’entre elles sont exclusivement chargées d’examiner les risques juridiques et de dépasser les limites tout en introduisant des paramètres pour modéliser la génération de production. Comment font-ils? Est-ce qu'ils lisent tout le code ? Non. Atténuations juridiques et liées à la confidentialité :  Cependant, avant qu'un développement ne commence à grande échelle, bien avant la mise en production, les développeurs, les chefs de produit, les data scientists et les managers doivent présenter une vision de la manière dont ils vont atteindre leurs objectifs, les préjugés que cela pourrait introduire, les problèmes de confidentialité qu'ils pourraient soulever. accéder ou exposer des données auxquelles ils ne sont pas censés accéder, ainsi que l'utilisation de paramètres controversés. Alors pouvons-nous simplement encoder la race dans notre modèle ? Et la nationalité ? Chaque question comme celle-ci a une réponse différente en fonction de l'entreprise, et je ne divulguerais aucune des décisions prises au sein de Meta, mais chacune d'entre elles est prise en compte et répondue lors de la phase de conception elle-même, à la satisfaction des représentants légaux. Ne pas les respecter constitue un bloqueur de lancement, empêchant ainsi l'expédition, quelle que soit la qualité de vos sorties.    : Il existe une étape finale et   : l'évaluation. Après tout, si vous avez éprouvé d’énormes difficultés à développer ces modèles très complexes, ne voudriez-vous pas les tester ? Il existe de nombreuses méthodes pour ce faire : la plupart d'entre elles sont manuelles, certaines automatiques, mais une méthode très courante consiste à envoyer certains résultats générés à un ensemble d'évaluateurs et à leur demander d'évaluer les résultats à travers certaines dimensions telles que la qualité visuelle,   et peut-être aussi des interactions nuisibles. Les méthodes diffèrent selon l'équipe et l'entreprise, mais le lancement nécessiterait généralement de satisfaire à certaines mesures internes pour convaincre qu'il fonctionne mieux que les versions précédentes. De plus, il existe des «   » qui signifient qu'ils n'ont pas besoin d'être améliorés, mais qu'ils ne peuvent pas être régressés pour pouvoir être lancés. La génération de contenu préjudiciable est généralement un garde-fou, car chaque version de modèle doit s'assurer qu'elle n'augmente pas accidentellement les chances de générer du contenu préjudiciable, même si elle améliore d'autres dimensions nécessaires et rentables. Évaluation du modèle très importante la fidélité des délais garde-corps  Que s’est-il probablement passé chez Google ?  Maintenant que nous comprenons tous les éléments nécessaires au développement d’un modèle de génération d’images d’IA générative, il pourrait être utile de comprendre où les problèmes ont commencé. Il est assez évident que la couche de sécurité a un rôle à jouer. Après tout, les résultats de Google semblent définitivement modifier certains paramètres liés à la race. Sur la base de mon travail, je formulerais l'hypothèse suivante :  Une expérience était en cours pour garantir qu'une invite générique n'omettait pas les minorités et ne produisait que des Blancs.  Cette expérience a été menée au niveau de la couche de réglage fin pour obtenir les résultats de manière agressive.  En général, on échantillonnerait un ensemble de données avec certains ratios/proportions pour garantir qu'un ensemble de données ne devienne pas complètement dominant.  Par erreur, cela n'a pas été réglé correctement, diluant ainsi les autres images du surajustement fin à un ensemble de données sans personnes blanches.  Les rares cas où cela finirait par montrer des Blancs sont dus au fait que l'ensemble de données préalable à la formation présente encore, heureusement, une diversité raciale et ethnique.    Ce serait mon évaluation technique, et j'espère que les lecteurs repartiront en comprenant certaines parties du processus de développement du modèle, comment certaines questions difficiles sont abordées et à quel point l'ensemble du processus est sensible aux erreurs. Je n'ai pas abordé quelques parties ici, y compris les discussions controversées sur la correction des stéréotypes et de la méthodologie nuisibles, qui est à « blâmer » et, surtout, comment un modèle aussi erroné passe-t-il par une évaluation (supposément) rigoureuse du modèle et par les équipes juridiques avant d'être expédié de l'un des plus grands   de l'espace. J'aborderai la dernière partie avec quelques hypothèses dans mon prochain article (bien sûr, je n'ai aucune information privilégiée). goliaths   Les opinions et les discussions ici sont entièrement les miennes et ne reflètent pas du tout les opinions de Meta ou de mon équipe. Je n'ai aucune connaissance interne, et aucune des informations partagées n'est exclusive à Meta et les différentes phases du cycle de vie du modèle sont une pratique standard de l'industrie et largement disponibles en ligne.  Également publié   . ici

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Read My Stories

Cet audio est produit dans la langue originale de l'histoire !

Gemini Saga de Google : détails techniques sur les ratés du modèle

About Author

COMMENTAIRES

ÉTIQUETTES

CET ARTICLE A ÉTÉ PARU DANS

Related Stories

Appuyez pour gagner : Telegram pourrait intégrer les 10 prochains milliards d'utilisateurs de crypto avant Solana

Nomades numériques, écoutez : ce que vous devez savoir sur le nouveau visa DTV de la Thaïlande

Des forums aux flux : comment les algorithmes des réseaux sociaux façonnent l'interaction numérique

Naviguer sur les eaux : développer des applications RAG de qualité production avec des lacs de données

Appuyez pour gagner : Telegram pourrait intégrer les 10 prochains milliards d'utilisateurs de crypto avant Solana

Nomades numériques, écoutez : ce que vous devez savoir sur le nouveau visa DTV de la Thaïlande

Des forums aux flux : comment les algorithmes des réseaux sociaux façonnent l'interaction numérique

Naviguer sur les eaux : développer des applications RAG de qualité production avec des lacs de données

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps