Todos vocês já viram imagens incríveis como essas, inteiramente geradas por um modelo de inteligência artificial. Cobri várias abordagens em meu canal, como Craiyon, Imagen e o mais conhecido, Dall-e 2. A maioria das pessoas quer experimentá-los e gerar imagens a partir de prompts aleatórios, mas a maioria desses modelos não é de código aberto, o que significa que nós, pessoas comuns como nós, não podemos usá-los livremente. Por quê? É nisso que vamos nos aprofundar neste vídeo... Referências ►Leia o artigo completo: ►Artigo da OpenAI: ►Vídeo de Dalle 2: ►Vídeo do Craiyon: ►Use o Craiyon: ►Meu boletim diário: https://www.louisbouchard.ai/how-openai-reduces-risks-for-dall-e-2/ https://openai.com/blog/dall-e-2-pre-training-mitigations/ https://youtu.be/rdGVbPI42sA https://youtu.be/qOxde_JV0vI https://www.craiyon.com/ https://www.getrevue.co/profile/whats_ai Transcrição de vídeo 0:00 todos vocês já viram imagens incríveis 0:02 como estes inteiramente gerados por um 0:05 modelo de inteligência artificial que cobri 0:07 várias abordagens no meu canal como 0:09 crayon imogen e o mais conhecido 0:12 delicatessen 2. a maioria das pessoas quer experimentá-los e 0:15 gerar imagens de prompts aleatórios, mas 0:18 a maioria desses modelos não é aberta 0:20 fonte, o que significa que pessoas comuns gostam 0:23 nós não podemos usá-los livremente porque isso é 0:26 no que vamos mergulhar neste vídeo 0:29 eu disse que a maioria deles não era de código aberto 0:32 bem crayon é e as pessoas geraram 0:35 memes incríveis usando isso você pode ver como 0:38 tal modelo pode se tornar perigoso 0:40 permitindo que qualquer um gere qualquer coisa que não 0:43 apenas para os possíveis usos indevidos relativos 0:45 as gerações, mas os dados usados para 0:47 treinar tais modelos também vindos de 0:50 imagens aleatórias na internet bem 0:52 muito qualquer coisa com conteúdo questionável 0:55 e produzindo algumas imagens inesperadas 0:58 dados de treinamento também podem ser recuperados 1:00 através da engenharia inversa do modelo 1:02 que provavelmente é um openai indesejado 1:05 também usou isso para justificar o não lançamento 1:08 o modelo daily2 para o público aqui nós 1:10 vai pesquisar quais são 1:12 investigando como riscos potenciais e como 1:14 eles estão tentando mitigá-los eu vou 1:16 através de um artigo muito interessante eles 1:18 escreveu cobrindo seu pré-processamento de dados 1:21 etapas ao treinar dalit ii, mas antes 1:24 então permita-me alguns segundos para ser meu 1:26 patrocinar e compartilhar meu projeto mais recente 1:28 o que pode lhe interessar recentemente 1:31 criou uma newsletter diária compartilhando ai 1:34 notícias e pesquisas com um simples e 1:36 uma linha clara para saber se o papel 1:38 código ou notícias valem o seu tempo, você pode 1:41 inscreva-se no linkedin ou com o seu 1:43 e-mail o link está na descrição 1:45 abaixo de 1:46 então o que openai realmente tem em mente 1:48 quando eles dizem que estão fazendo 1:50 esforços para reduzir os riscos 1:52 primeiro e o mais óbvio é que 1:55 eles estão filtrando violentos e 1:57 imagens sexuais das centenas de 1:59 milhões de imagens na internet este 2:02 é impedir que o modal aprenda 2:04 como produzir violento e sexual 2:06 conteúdo ou até mesmo devolver o original 2:08 imagens como gerações é como não 2:11 ensinando seu filho a lutar se você 2:13 não quero que ele entre em brigas 2:15 pode ajudar, mas está longe de ser perfeito 2:17 consertar ainda acredito que seja necessário 2:20 temos esses filtros em nossos conjuntos de dados e 2:22 definitivamente ajuda neste caso, mas como fazer 2:25 eles fazem exatamente isso eles constroem vários 2:27 modelos treinados para classificar os dados a serem 2:30 filtrados ou não, dando-lhes alguns 2:32 diferentes exemplos positivos e negativos 2:34 e melhorar iterativamente os classificadores 2:37 com feedback humano, cada classificador foi 2:39 através de todo o nosso conjunto de dados excluindo mais 2:42 imagens do que o necessário apenas no caso, pois é 2:44 muito melhor para o modelo não ver mal 2:47 dados em primeiro lugar, em vez de 2:48 tentando corrigir o tiro depois 2:51 cada classificador terá um único 2:53 compreensão de qual conteúdo filtrar 2:56 e todos vão se complementar 2:57 garantindo uma boa filtragem se por bem 3:00 significa que não há imagens falso-negativas 3:02 pelo processo de filtragem 3:04 ainda vem com desvantagens primeiro o 3:07 conjunto de dados é claramente menor e pode não 3:10 representar com precisão o mundo real 3:12 que pode ser bom ou ruim dependendo 3:14 o caso de uso, eles também encontraram um 3:16 efeito colateral inesperado desses dados 3:18 processo de filtragem ampliou o 3:21 preconceitos do modelo em relação a certos 3:23 demografia introduzindo o segundo 3:25 coisa que openai está fazendo como um pré-treinamento 3:28 mitigação reduzir os vieses causados por 3:31 esta filtragem, por exemplo, depois 3:33 filtrando um dos vieses que eles notaram 3:36 foi que o modal gerou mais imagens 3:38 de homens e menos de mulheres em comparação com 3:41 modais treinados no conjunto de dados original 3:44 explicaram que uma das razões 3:46 pode ser que as mulheres apareçam com mais frequência do que 3:48 homens em conteúdo sexual que pode influenciar 3:50 seus classificadores para remover mais falsos 3:53 imagens negativas contendo mulheres de 3:55 o conjunto de dados criando uma lacuna no 3:57 proporção de gênero que o modelo observa em 4:00 treinamento e réplicas para corrigir que eles 4:02 ponderar novamente o conjunto de dados filtrados para corresponder 4:05 a distribuição inicial 4:07 conjunto de dados pré-filtro aqui é um exemplo 4:10 eles cobrem usando cães e gatos onde o 4:12 o filtro removerá mais resíduos do que gatos 4:14 então a solução será dobrar o 4:16 perda de treinamento para imagens de cachorros que 4:19 será como enviar duas imagens de dugs 4:21 em vez de um e compensando o 4:23 falta de imagens isso é mais uma vez apenas um 4:26 proxy para o viés de filtragem real, mas 4:29 ainda reduz a lacuna de distribuição de imagem 4:31 entre o pré-filtrado e o 4:33 conjunto de dados filtrados 4:35 a última questão é uma questão de 4:36 memorização algo que os modelos parecem 4:39 ser muito mais poderoso do que eu, como nós 4:42 disse que é possível regurgitar o 4:44 dados de treinamento de tal geração de imagem 4:46 modelos que não são desejados na maioria dos casos 4:49 aqui também queremos gerar novidades 4:51 imagens e não simplesmente copiar e colar imagens 4:54 da internet, mas como podemos evitar 4:56 que assim como nossa memória você não pode 4:59 realmente decida o que você lembra e o que 5:01 vai embora assim que você vê algo 5:03 ou gruda ou não, eles encontraram 5:05 que, assim como os humanos aprendendo um novo 5:07 conceito se o modelo vê a mesma imagem 5:10 inúmeras vezes no conjunto de dados, pode 5:12 acidentalmente saber de cor no final 5:15 de seu treinamento e gerá-lo exatamente 5:17 para um prompt de texto semelhante ou idêntico 5:20 esta é uma correção fácil e confiável 5:23 apenas descubra quais imagens são muito 5:25 semelhante e exclua as duplicatas facilmente 5:28 fazer isso significará comparar cada 5:30 imagem com todos os outros significados de imagem 5:33 centenas de quatrilhões de pares de imagens 5:36 para comparar, eles simplesmente começam por 5:38 agrupar imagens semelhantes e 5:41 em seguida, compare as imagens com todas as outras 5:43 imagens dentro do mesmo e alguns outros 5:46 aglomerados em torno dele reduzindo imensamente 5:48 a complexidade enquanto ainda encontra 97 de 5:52 todos os pares duplicados novamente outra correção para 5:55 fazer dentro do conjunto de dados antes do treinamento 5:57 nosso modelo diário openai também menciona 6:00 algum próximo passo que eles estão investigando 6:02 e se você gostou deste vídeo eu 6:04 definitivamente convidá-lo a ler seus 6:06 artigo detalhado para ver todos os detalhes 6:08 deste trabalho de mitigação pré-treinamento 6:11 é muito interessante e bem escrito 6:13 artigo deixe-me saber o que você pensa 6:15 seus esforços de mitigação e seus 6:17 escolha de limitar o acesso do modelo a 6:19 o público 6:20 deixe um comentário ou participe da discussão 6:22 em nossa comunidade no discord obrigado 6:24 por assistir até o final e eu vou 6:26 vejo você na próxima semana com outro incrível 6:29 papel [Música]
