DALL·E 2 Mitigações Pré-Treinamento

Todos vocês já viram imagens incríveis como essas, inteiramente geradas por um modelo de inteligência artificial. Cobri várias abordagens em meu canal, como Craiyon, Imagen e o mais conhecido, Dall-e 2.

A maioria das pessoas quer experimentá-los e gerar imagens a partir de prompts aleatórios, mas a maioria desses modelos não é de código aberto, o que significa que nós, pessoas comuns como nós, não podemos usá-los livremente. Por quê? É nisso que vamos nos aprofundar neste vídeo...

Referências

►Leia o artigo completo: https://www.louisbouchard.ai/how-openai-reduces-risks-for-dall-e-2/
►Artigo da OpenAI: https://openai.com/blog/dall-e-2-pre-training-mitigations/
►Vídeo de Dalle 2:
►Vídeo do Craiyon:
►Use o Craiyon: https://www.craiyon.com/
►Meu boletim diário: https://www.getrevue.co/profile/whats_ai

Transcrição de vídeo

0:00

todos vocês já viram imagens incríveis

0:02

como estes inteiramente gerados por um

0:05

modelo de inteligência artificial que cobri

0:07

várias abordagens no meu canal como

0:09

crayon imogen e o mais conhecido

0:12

delicatessen 2. a maioria das pessoas quer experimentá-los e

0:15

gerar imagens de prompts aleatórios, mas

0:18

a maioria desses modelos não é aberta

0:20

fonte, o que significa que pessoas comuns gostam

0:23

nós não podemos usá-los livremente porque isso é

0:26

no que vamos mergulhar neste vídeo

0:29

eu disse que a maioria deles não era de código aberto

0:32

bem crayon é e as pessoas geraram

0:35

memes incríveis usando isso você pode ver como

0:38

tal modelo pode se tornar perigoso

0:40

permitindo que qualquer um gere qualquer coisa que não

0:43

apenas para os possíveis usos indevidos relativos

0:45

as gerações, mas os dados usados para

0:47

treinar tais modelos também vindos de

0:50

imagens aleatórias na internet bem

0:52

muito qualquer coisa com conteúdo questionável

0:55

e produzindo algumas imagens inesperadas

0:58

dados de treinamento também podem ser recuperados

1:00

através da engenharia inversa do modelo

1:02

que provavelmente é um openai indesejado

1:05

também usou isso para justificar o não lançamento

1:08

o modelo daily2 para o público aqui nós

1:10

vai pesquisar quais são

1:12

investigando como riscos potenciais e como

1:14

eles estão tentando mitigá-los eu vou

1:16

através de um artigo muito interessante eles

1:18

escreveu cobrindo seu pré-processamento de dados

1:21

etapas ao treinar dalit ii, mas antes

1:24

então permita-me alguns segundos para ser meu

1:26

patrocinar e compartilhar meu projeto mais recente

1:28

o que pode lhe interessar recentemente

1:31

criou uma newsletter diária compartilhando ai

1:34

notícias e pesquisas com um simples e

1:36

uma linha clara para saber se o papel

1:38

código ou notícias valem o seu tempo, você pode

1:41

inscreva-se no linkedin ou com o seu

1:43

e-mail o link está na descrição

1:45

abaixo de

1:46

então o que openai realmente tem em mente

1:48

quando eles dizem que estão fazendo

1:50

esforços para reduzir os riscos

1:52

primeiro e o mais óbvio é que

1:55

eles estão filtrando violentos e

1:57

imagens sexuais das centenas de

1:59

milhões de imagens na internet este

2:02

é impedir que o modal aprenda

2:04

como produzir violento e sexual

2:06

conteúdo ou até mesmo devolver o original

2:08

imagens como gerações é como não

2:11

ensinando seu filho a lutar se você

2:13

não quero que ele entre em brigas

2:15

pode ajudar, mas está longe de ser perfeito

2:17

consertar ainda acredito que seja necessário

2:20

temos esses filtros em nossos conjuntos de dados e

2:22

definitivamente ajuda neste caso, mas como fazer

2:25

eles fazem exatamente isso eles constroem vários

2:27

modelos treinados para classificar os dados a serem

2:30

filtrados ou não, dando-lhes alguns

2:32

diferentes exemplos positivos e negativos

2:34

e melhorar iterativamente os classificadores

2:37

com feedback humano, cada classificador foi

2:39

através de todo o nosso conjunto de dados excluindo mais

2:42

imagens do que o necessário apenas no caso, pois é

2:44

muito melhor para o modelo não ver mal

2:47

dados em primeiro lugar, em vez de

2:48

tentando corrigir o tiro depois

2:51

cada classificador terá um único

2:53

compreensão de qual conteúdo filtrar

2:56

e todos vão se complementar

2:57

garantindo uma boa filtragem se por bem

3:00

significa que não há imagens falso-negativas

3:02

pelo processo de filtragem

3:04

ainda vem com desvantagens primeiro o

3:07

conjunto de dados é claramente menor e pode não

3:10

representar com precisão o mundo real

3:12

que pode ser bom ou ruim dependendo

3:14

o caso de uso, eles também encontraram um

3:16

efeito colateral inesperado desses dados

3:18

processo de filtragem ampliou o

3:21

preconceitos do modelo em relação a certos

3:23

demografia introduzindo o segundo

3:25

coisa que openai está fazendo como um pré-treinamento

3:28

mitigação reduzir os vieses causados por

3:31

esta filtragem, por exemplo, depois

3:33

filtrando um dos vieses que eles notaram

3:36

foi que o modal gerou mais imagens

3:38

de homens e menos de mulheres em comparação com

3:41

modais treinados no conjunto de dados original

3:44

explicaram que uma das razões

3:46

pode ser que as mulheres apareçam com mais frequência do que

3:48

homens em conteúdo sexual que pode influenciar

3:50

seus classificadores para remover mais falsos

3:53

imagens negativas contendo mulheres de

3:55

o conjunto de dados criando uma lacuna no

3:57

proporção de gênero que o modelo observa em

4:00

treinamento e réplicas para corrigir que eles

4:02

ponderar novamente o conjunto de dados filtrados para corresponder

4:05

a distribuição inicial

4:07

conjunto de dados pré-filtro aqui é um exemplo

4:10

eles cobrem usando cães e gatos onde o

4:12

o filtro removerá mais resíduos do que gatos

4:14

então a solução será dobrar o

4:16

perda de treinamento para imagens de cachorros que

4:19

será como enviar duas imagens de dugs

4:21

em vez de um e compensando o

4:23

falta de imagens isso é mais uma vez apenas um

4:26

proxy para o viés de filtragem real, mas

4:29

ainda reduz a lacuna de distribuição de imagem

4:31

entre o pré-filtrado e o

4:33

conjunto de dados filtrados

4:35

a última questão é uma questão de

4:36

memorização algo que os modelos parecem

4:39

ser muito mais poderoso do que eu, como nós

4:42

disse que é possível regurgitar o

4:44

dados de treinamento de tal geração de imagem

4:46

modelos que não são desejados na maioria dos casos

4:49

aqui também queremos gerar novidades

4:51

imagens e não simplesmente copiar e colar imagens

4:54

da internet, mas como podemos evitar

4:56

que assim como nossa memória você não pode

4:59

realmente decida o que você lembra e o que

5:01

vai embora assim que você vê algo

5:03

ou gruda ou não, eles encontraram

5:05

que, assim como os humanos aprendendo um novo

5:07

conceito se o modelo vê a mesma imagem

5:10

inúmeras vezes no conjunto de dados, pode

5:12

acidentalmente saber de cor no final

5:15

de seu treinamento e gerá-lo exatamente

5:17

para um prompt de texto semelhante ou idêntico

5:20

esta é uma correção fácil e confiável

5:23

apenas descubra quais imagens são muito

5:25

semelhante e exclua as duplicatas facilmente

5:28

fazer isso significará comparar cada

5:30

imagem com todos os outros significados de imagem

5:33

centenas de quatrilhões de pares de imagens

5:36

para comparar, eles simplesmente começam por

5:38

agrupar imagens semelhantes e

5:41

em seguida, compare as imagens com todas as outras

5:43

imagens dentro do mesmo e alguns outros

5:46

aglomerados em torno dele reduzindo imensamente

5:48

a complexidade enquanto ainda encontra 97 de

5:52

todos os pares duplicados novamente outra correção para

5:55

fazer dentro do conjunto de dados antes do treinamento

5:57

nosso modelo diário openai também menciona

6:00

algum próximo passo que eles estão investigando

6:02

e se você gostou deste vídeo eu

6:04

definitivamente convidá-lo a ler seus

6:06

artigo detalhado para ver todos os detalhes

6:08

deste trabalho de mitigação pré-treinamento

6:11

é muito interessante e bem escrito

6:13

artigo deixe-me saber o que você pensa

6:15

seus esforços de mitigação e seus

6:17

escolha de limitar o acesso do modelo a

6:19

o público

6:20

deixe um comentário ou participe da discussão

6:22

em nossa comunidade no discord obrigado

6:24

por assistir até o final e eu vou

6:26

vejo você na próxima semana com outro incrível

6:29

papel

[Música]