Como a modelagem generativa de IA pode levar a mau funcionamento   As opiniões e discussões aqui são inteiramente minhas e não refletem de forma alguma as opiniões da Meta ou da minha equipe ou qualquer conhecimento interno ou proprietário.  Eu trabalho na divisão de IA generativa da Meta. Especificamente trabalho na geração de texto → imagem para Meta. Nossos primeiros produtos foram   aqui e você pode experimentá-los   . Quando solicitei “Uma família de alemães em 2024”, obtive a seguinte imagem ampliada, mas também obtive três outras imagens na parte inferior. lançados aqui    Aqui estão os resultados da ampliação de 2 das outras sugestões:      Como você pode ver, há alguma diversidade étnica aqui representando as famílias. Contudo, não o faz por ser excludente do que “tradicionalmente” seria uma família alemã.  Enquanto isso, aqui estão mais alguns exemplos:      Aqui está outra sugestão para representar algumas figuras históricas:   É claro que existem muitas falhas, e as pessoas da minha equipe, inclusive eu, estão trabalhando para melhorá-las. A sugestão acima, por exemplo, pensava que “índio” significa um pouco de ambos - pessoas da Índia e “índios nativos” na América.  No entanto, se você prestou atenção ao fiasco do Gemini do Google na semana passada, os resultados do modelo não se pareciam com os acima e tinham resultados muito mais preocupantes. Aqui está um tópico que descreve algumas dessas armadilhas.   https://twitter.com/IMAO_/status/1760093853430710557?embedable=true  Se você não consegue acessar o tópico inteiro no Twitter,   . aqui está o tópico descompactado        Existem muitas outras imagens que fizeram barulho, mas estas seriam suficientes para tirar as seguintes conclusões:  A geração de imagens Gemini do Google lutou para gerar pessoas caucasianas (brancas), inclusive para figuras históricas e públicas, como os fundadores dos EUA, os vikings, o Papa.  Não foi necessariamente difícil fazê-lo para outras raças, como demonstrado pelos exemplos do guerreiro Zulu ou de um samurai.  Isso desencadearia muitas reações - desde a   com o “apagamento” das “pessoas brancas” pelas “corporações despertas”, algumas outras publicações da mídia tentando se concentrar em como a Gemini   “pessoas de cor como nazistas” ou alguns comentários sobre como a questão está a ser exagerada ou   o “preconceito liberal”. Estas reacções muitas vezes seguem linhas políticas, e não é minha intenção aprofundá-las aqui. indignação mostraria a refutar  No entanto, o que posso contribuir positivamente é alguma compreensão como engenheiro que trabalha neste espaço específico para explicar como funciona o   para o desenvolvimento de modelos, especialmente em IA generativa, além de usar isso para entender (especulativamente) como resultados como os acima podem se tornar dominantes. Não quero usar nenhum jargão técnico nem explicar os aspectos internos das redes neurais - nem acho que sejam relevantes aqui. Quero reiterar que nada aqui deve ser informação proprietária e não tenho nenhum conhecimento interno do problema ou do funcionamento interno do Google. ciclo de desenvolvimento  Os dados são reis  Antes de mergulhar em alguns dos estágios, quero explicar um invariante muito importante.   . Isso não significa que outros componentes do modelo (como a arquitetura) não sejam importantes ou até menos importantes. Na verdade, tem havido excelentes pesquisas nos últimos anos na área de aprendizado de máquina, o que acelerou o crescimento exponencial neste campo de LLMs, geração de imagens, geração de vídeo, etc. No entanto, uma limitação que todo modelo, independentemente dos avanços, enfrenta é que pode não fornecerá os resultados desejados se não for treinado em um bom conjunto de dados representativo. Um modelo é tão bom quanto os dados nos quais ele foi treinado  Para aqueles que não estão familiarizados com os conceitos de aprendizado de máquina, um modelo é alimentado (ou “treinado”) com vários exemplos de um determinado conceito (cachorro, por exemplo) - tanto positivos (contendo) quanto negativos (não contendo) - com a expectativa de que dado qualquer entrada aleatória, o modelo deve ser capaz de prever com alta confiança se contém uma instância desse conceito. Muitos aumentos podem ser feitos para casos de uso específicos (por exemplo, identificação de coordenadas do cachorro).  Ciclo de desenvolvimento do modelo generativo de AI ML    (também conhecido como pré-treinamento): Identificar um cão é apenas um exemplo. O problema generalizado aqui seria: dado qualquer texto, gerar a imagem correspondente. Para fazer isso, um modelo precisaria primeiro identificar (“aprender”) o que certas palavras significam. Assim, seria necessário reconhecer um elefante, um homem, uma mulher, um cão, uma montanha, etc., observando muitos exemplos de cada critério (“conceito”). Porém para que o modelo gere boas imagens para cada cenário, ele precisa compreender uma grande amplitude de conceitos, que incluirá não apenas os mais comuns, mas também uma longa cauda de conceitos menos utilizados e menos familiares. Para fazer isso com uma confiança razoavelmente alta, precisaríamos treinar o modelo com um grande volume de dados (milhões a bilhões). Este estágio é conhecido como pré-treinamento, onde uma grande escala de dados ingeridos ajuda o modelo a gerar uma qualidade boa o suficiente dos resultados desejados. Treinamento em larga escala  Um corolário do aprendizado de modelos com base nos dados ingeridos é que o modelo aprenderia os padrões do seu conjunto de treinamento junto com todos os preconceitos que ele possui. Portanto, se o seu conjunto de dados de treinamento de cães tiver apenas imagens de   e corgis (cachorros super fofos, aliás), todos os seus cães gerados se parecerão com essas raças. Portanto, se você deseja que as saídas do seu modelo não “se ajustem demais” a tipos específicos, conforme descrito acima, você desejará adicionar diversidade à sua fonte. Portanto, no exemplo acima, você deseja garantir que os dados de treinamento tenham um bom volume das principais raças que você deseja que sejam amostradas de maneira uniforme.  shiba inus  Isto também se aplica aos humanos. Assim como a representação excessiva de certas raças de cães é indesejável, o mesmo acontece com os humanos. No entanto, para os humanos, ao contrário das raças, essas linhas de divisão acontecem através de género, nacionalidades, etnias, linhas raciais. Idealmente, queremos que a nossa fase de pré-formação reflita a relativa uniformidade entre estas dimensões para evitar que certas características dominem os resultados do modelo.   Assim, na fase de pré-treinamento, o modelo ingere grandes volumes de dados enquanto tenta encontrar alguma diversidade de conceitos (humanos, animais de estimação, vida selvagem, natureza, mobiliário, paisagens, etc.) e posteriormente alguma diversidade dentro destes conceitos (raças, nacionalidades, dimensões). ).    : No entanto, depois de treinar um modelo em vastas escalas de dados, na etapa final ele é “ajustado” em dados muito pequenos e de alta qualidade. Aqui   na saída do modelo. Assim se você quiser mudar a qualidade visual, distribuição este seria o lugar para fazer isso. No entanto, observe que os dados de pré-treinamento, dada a sua grande escala, ainda são dominantes e é difícil determinar quanto da produção do modelo é impactada por qual estágio do treinamento do modelo.  Ajuste fino , pequenas mudanças podem causar mudanças agressivas    : O entendimento acima se concentrou principalmente em explicar os estágios principais e os aspectos importantes da saída do modelo. No entanto, também precisamos de compreender   dos preconceitos e das restrições legais e garantir que os modelos não contribuem negativamente. Embora seguir as leis possa ser relativamente mais fácil, uma vez que estão consagradas (embora ainda haja muito espaço para interpretação, como mostram os tribunais), abordar outras questões que não são ilegais, mas potencialmente prejudiciais, levanta muitas controvérsias e expõe divisões políticas. Um campo da IA denominado “   ” ou “   ” surgiu para resolver questões deste último tipo – não ilegais, mas potencialmente prejudiciais.  No exemplo de preconceito acima, é relativamente incontroverso dizer, por exemplo, que precisamos de amostras representativas de homens e mulheres no conjunto de dados de formação. Ou pessoas da Índia, China, EUA, Reino Unido, Brasil, Nigéria para refletir os humanos. Outras mitigações semelhantes relativamente incontroversas seriam evitar a nudez (de adultos - não completamente ilegal, bem como de crianças - ilegal), não divulgar informações pessoais (incluindo financeiras, de saúde) de qualquer indivíduo contra o seu consentimento, possíveis violações de PI. Mas o campo da IA responsável vai além disso, pois existe também o objetivo de não perpetuar “estereótipos prejudiciais”. Segurança as implicações reais ética da IA IA responsável  Aqui está um exemplo: se você pedir a um modelo para gerar imagens de um médico e uma enfermeira, e 99 em 100 vezes ele mostrar um homem como médico e uma mulher como enfermeira, isso está definitivamente perpetuando estereótipos sociais indesejáveis.    Alguns outros exemplos: se você pedir ao modelo para gerar um homem muçulmano, ele poderá acabar mostrando um terrorista violento.      Por que o modelo faria isso, você pode perguntar? Lembre-se de   . E acontece que, devido a uma combinação de distribuições do mundo real (tais como mais mulheres na enfermagem em oposição a médicos, muitas vezes devido a restrições sociais), definições de certas palavras em diferentes áreas (o extremismo violento está associado a actos de certos grupos e não outros) ou cobertura tendenciosa da mídia em relação a certos grupos em localidades específicas (chineses comendo cães/morcegos, por exemplo), os dados que o modelo consumiria amplificariam muitos desses preconceitos. Assim, um modelo treinado com base em tais dados provavelmente geraria quase sempre mulheres como enfermeiras, homens como médicos, homens muçulmanos como extremistas violentos ou chineses/asiáticos como uma pessoa que come morcego.  que o modelo é tão bom quanto os dados de treinamento  Estes são chamados de   do modelo e dos dados. Isso precisa ser corrigido? Legalmente, não (embora em algumas jurisdições provavelmente o faça). Moralmente? Essa é uma questão complicada e bastante controversa. Um instinto óbvio seria “sim” – para evitar que estereótipos prejudiciais sejam amplificados. No entanto, poderia haver alguma objeção sobre o quanto os humanos deveriam intervir para distorcer os resultados, especialmente se isso refletir um fato empírico (mesmo que seja resultado de preconceito/discriminação social). Mesmo que concordemos que é desejável fazê-lo, quais humanos poderão fazê-lo e quais são as limitações, se houver (como seus próprios preconceitos)? A intervenção também pode ter efeitos colaterais negativos? De qualquer forma, como mencionado anteriormente, a intenção deste artigo não é envolver-se em tais discussões, mas apenas reconhecer algumas controvérsias e argumentos fundamentais. preconceitos “inconscientes”  Independentemente de qual seja a sua posição sobre essas questões, considere suficiente dizer: a maioria das grandes corporações (incluindo Meta) que desenvolvem modelos generativos de IA - tanto texto quanto imagem - respondem afirmativamente à questão de “precisa ser consertado” e estão tomando muitas etapas para mitigar isso. Alguns exemplos de como incluiriam a limpeza de dados, detectando e possivelmente removendo pares prejudiciais, ou desviando agressivamente o modelo de resultados indesejados específicos no estágio de ajuste fino para alterar os resultados que seriam alcançados pela ingestão de corpus da Internet.  Como resultado disso, você pode ver que os prompts que poderiam ter sido muito problemáticos, conforme testemunhado pelos resultados da pesquisa de imagens do Google, estão distribuídos de maneira muito uniforme.      Como pode ser visto acima, são geradas 4 imagens. Existe uma distribuição suficientemente boa de homens e mulheres em ambas as funções.     O que foi dito acima pode levantar muitas preocupações para alguns indivíduos, como funcionários aleatórios injetando seus próprios preconceitos e alterando os resultados do modelo usando características imutáveis da maneira que desejarem. No entanto, todas as grandes empresas tecnológicas têm enormes divisões jurídicas e algumas delas têm pessoal exclusivamente para lidar com a revisão dos riscos jurídicos e com a ultrapassagem dos limites, ao mesmo tempo que introduzem parâmetros para modelar a geração de resultados. Como eles fazem isso? Eles leem todo o código? Não. Mitigações legais e de privacidade:  No entanto, antes de qualquer desenvolvimento começar em escala, muito antes do lançamento para produção, os desenvolvedores, gerentes de produto, cientistas de dados e gerentes são obrigados a apresentar uma visão de como vão atingir seus objetivos, os preconceitos que isso pode introduzir, as preocupações de privacidade que podem levantar. acessar ou expor dados que não deveriam e também usar parâmetros controversos. Então, podemos simplesmente codificar a raça em nosso modelo? E quanto à nacionalidade? Cada pergunta como essa tem uma resposta diferente de acordo com a empresa, e eu não divulgaria nenhuma das decisões da Meta, mas cada uma delas é considerada e respondida na própria fase de design para satisfação dos representantes legais. Não atendê-los é um bloqueador de lançamento, impedindo assim o envio, independentemente de quão bons sejam seus resultados.    : Existe uma etapa final e   : a avaliação. Afinal, se você passou pela enorme dor de desenvolver esses modelos de grande complexidade, não gostaria de testá-los? Existem muitos métodos para fazer isso - muitos deles manuais, alguns automáticos, mas um muito comum envolve enviar alguns resultados gerados a um conjunto de avaliadores e pedir-lhes que avaliem os resultados através de algumas dimensões, como qualidade visual,   e possivelmente também interações prejudiciais. Os métodos variam de acordo com a equipe e a empresa, mas essencialmente o lançamento geralmente exigiria a satisfação de algumas métricas internas para convencer o desempenho do produto é melhor do que as versões anteriores. Além disso, existem “   ”, o que significa que não precisam ser melhorados, mas não podem ser regredidos para serem lançados. A geração de conteúdo prejudicial é geralmente uma proteção, pois cada versão do modelo deve garantir que não aumente acidentalmente as chances de geração de conteúdo prejudicial, mesmo que melhore outras dimensões necessárias e lucrativas. Avaliação do modelo muito importante fidelidade imediata guarda-corpos  O que provavelmente aconteceu no Google?  Agora que entendemos todas as peças envolvidas no desenvolvimento de um modelo de geração de imagens de IA generativa, pode valer a pena entender onde os problemas começaram. É bastante óbvio que a camada de segurança tem um papel – afinal, os resultados do Google definitivamente parecem ajustar alguns parâmetros relacionados à raça. Com base no meu trabalho, eu levantaria a seguinte hipótese:  Um experimento estava sendo realizado para garantir, por alguma sugestão genérica, que não omitisse as minorias e produzisse apenas pessoas brancas.  Este experimento foi executado na camada de ajuste fino para alcançar os resultados de forma agressiva.  Geralmente, um conjunto de dados seria amostrado com algumas proporções/proporções para garantir que um conjunto de dados não se tornasse completamente dominante  Por engano, isso não foi definido corretamente, diluindo assim as outras imagens do ajuste fino do overfitting para um conjunto de dados sem pessoas brancas  Os poucos casos que eventualmente mostrariam algumas pessoas brancas são porque o conjunto de dados pré-treinamento ainda tem, felizmente, diversidade racial e étnica    Essa seria a minha avaliação técnica, e espero que os leitores tenham entendido partes do processo de desenvolvimento do modelo, como algumas questões difíceis são abordadas e quão sensível é todo o processo para cometer erros. Não abordei algumas partes aqui, incluindo as discussões controversas sobre a correção de estereótipos e metodologia prejudiciais, quem é o “culpado” e, o mais importante, como um modelo tão errôneo passa por uma avaliação de modelo (supostamente) rigorosa e pelas equipes jurídicas antes de ser enviado de um dos maiores   do espaço. Abordarei a última parte com algumas hipóteses em meu próximo post (é claro que não tenho nenhuma informação privilegiada). golias   As opiniões e discussões aqui são inteiramente minhas e não refletem de forma alguma as opiniões do Meta ou da minha equipe. Não tenho conhecimento interno e nenhuma das informações compartilhadas é propriedade da Meta e as várias fases do ciclo de vida do modelo são práticas padrão da indústria e estão amplamente disponíveis online.  Também publicado   . aqui

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Read My Stories

Este áudio é produzido no idioma original da história!

Saga Gemini do Google: detalhes técnicos de como o modelo falhou

About Author

COMENTARIOS

Rótulos

ESTE ARTIGO FOI APRESENTADO EM

Related Stories

Guia do arquiteto para construir arquitetura de referência para um Datalake de IA/ML

Liberando o poder da IA. Uma revisão sistemática de técnicas de ponta: resumo e introdução

Quer ganhar um concurso de redação do HackerNoon? Aqui está o que os vencedores do concurso #crypto-api recomendam

As camadas invisíveis: por que as entrevistas com usuários são um ativo insubstituível

Guia do arquiteto para construir arquitetura de referência para um Datalake de IA/ML

Liberando o poder da IA. Uma revisão sistemática de técnicas de ponta: resumo e introdução

Quer ganhar um concurso de redação do HackerNoon? Aqui está o que os vencedores do concurso #crypto-api recomendam

As camadas invisíveis: por que as entrevistas com usuários são um ativo insubstituível

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps