paint-brush
DALL·E 2 Mitigações Pré-Treinamentopor@whatsai
509 leituras
509 leituras

DALL·E 2 Mitigações Pré-Treinamento

por Louis Bouchard6m2022/07/18
Read on Terminal Reader
Read this story w/o Javascript

Muito longo; Para ler

A maioria dos modelos de inteligência artificial não é de código aberto, o que significa que nós, pessoas comuns como nós, não podemos usá-los livremente. É nisso que vamos nos aprofundar neste vídeo... O mais conhecido, Dall-e 2, pode ser usado para gerar imagens a partir de prompts aleatórios. Os dados usados para treinar esses modelos também vêm de imagens aleatórias na internet bastante bonitas. Analisaremos o que eles estão tentando mitigar os riscos e como estão filtrando imagens violentas e sexuais da internet.

Company Mentioned

Mention Thumbnail
featured image - DALL·E 2 Mitigações Pré-Treinamento
Louis Bouchard HackerNoon profile picture

Todos vocês já viram imagens incríveis como essas, inteiramente geradas por um modelo de inteligência artificial. Cobri várias abordagens em meu canal, como Craiyon, Imagen e o mais conhecido, Dall-e 2.

A maioria das pessoas quer experimentá-los e gerar imagens a partir de prompts aleatórios, mas a maioria desses modelos não é de código aberto, o que significa que nós, pessoas comuns como nós, não podemos usá-los livremente. Por quê? É nisso que vamos nos aprofundar neste vídeo...

Referências

►Leia o artigo completo: https://www.louisbouchard.ai/how-openai-reduces-risks-for-dall-e-2/
►Artigo da OpenAI: https://openai.com/blog/dall-e-2-pre-training-mitigations/
►Vídeo de Dalle 2:
►Vídeo do Craiyon:
►Use o Craiyon: https://www.craiyon.com/
►Meu boletim diário: https://www.getrevue.co/profile/whats_ai

Transcrição de vídeo

0:00

todos vocês já viram imagens incríveis

0:02

como estes inteiramente gerados por um

0:05

modelo de inteligência artificial que cobri

0:07

várias abordagens no meu canal como

0:09

crayon imogen e o mais conhecido

0:12

delicatessen 2. a maioria das pessoas quer experimentá-los e

0:15

gerar imagens de prompts aleatórios, mas

0:18

a maioria desses modelos não é aberta

0:20

fonte, o que significa que pessoas comuns gostam

0:23

nós não podemos usá-los livremente porque isso é

0:26

no que vamos mergulhar neste vídeo

0:29

eu disse que a maioria deles não era de código aberto

0:32

bem crayon é e as pessoas geraram

0:35

memes incríveis usando isso você pode ver como

0:38

tal modelo pode se tornar perigoso

0:40

permitindo que qualquer um gere qualquer coisa que não

0:43

apenas para os possíveis usos indevidos relativos

0:45

as gerações, mas os dados usados para

0:47

treinar tais modelos também vindos de

0:50

imagens aleatórias na internet bem

0:52

muito qualquer coisa com conteúdo questionável

0:55

e produzindo algumas imagens inesperadas

0:58

dados de treinamento também podem ser recuperados

1:00

através da engenharia inversa do modelo

1:02

que provavelmente é um openai indesejado

1:05

também usou isso para justificar o não lançamento

1:08

o modelo daily2 para o público aqui nós

1:10

vai pesquisar quais são

1:12

investigando como riscos potenciais e como

1:14

eles estão tentando mitigá-los eu vou

1:16

através de um artigo muito interessante eles

1:18

escreveu cobrindo seu pré-processamento de dados

1:21

etapas ao treinar dalit ii, mas antes

1:24

então permita-me alguns segundos para ser meu

1:26

patrocinar e compartilhar meu projeto mais recente

1:28

o que pode lhe interessar recentemente

1:31

criou uma newsletter diária compartilhando ai

1:34

notícias e pesquisas com um simples e

1:36

uma linha clara para saber se o papel

1:38

código ou notícias valem o seu tempo, você pode

1:41

inscreva-se no linkedin ou com o seu

1:43

e-mail o link está na descrição

1:45

abaixo de

1:46

então o que openai realmente tem em mente

1:48

quando eles dizem que estão fazendo

1:50

esforços para reduzir os riscos

1:52

primeiro e o mais óbvio é que

1:55

eles estão filtrando violentos e

1:57

imagens sexuais das centenas de

1:59

milhões de imagens na internet este

2:02

é impedir que o modal aprenda

2:04

como produzir violento e sexual

2:06

conteúdo ou até mesmo devolver o original

2:08

imagens como gerações é como não

2:11

ensinando seu filho a lutar se você

2:13

não quero que ele entre em brigas

2:15

pode ajudar, mas está longe de ser perfeito

2:17

consertar ainda acredito que seja necessário

2:20

temos esses filtros em nossos conjuntos de dados e

2:22

definitivamente ajuda neste caso, mas como fazer

2:25

eles fazem exatamente isso eles constroem vários

2:27

modelos treinados para classificar os dados a serem

2:30

filtrados ou não, dando-lhes alguns

2:32

diferentes exemplos positivos e negativos

2:34

e melhorar iterativamente os classificadores

2:37

com feedback humano, cada classificador foi

2:39

através de todo o nosso conjunto de dados excluindo mais

2:42

imagens do que o necessário apenas no caso, pois é

2:44

muito melhor para o modelo não ver mal

2:47

dados em primeiro lugar, em vez de

2:48

tentando corrigir o tiro depois

2:51

cada classificador terá um único

2:53

compreensão de qual conteúdo filtrar

2:56

e todos vão se complementar

2:57

garantindo uma boa filtragem se por bem

3:00

significa que não há imagens falso-negativas

3:02

pelo processo de filtragem

3:04

ainda vem com desvantagens primeiro o

3:07

conjunto de dados é claramente menor e pode não

3:10

representar com precisão o mundo real

3:12

que pode ser bom ou ruim dependendo

3:14

o caso de uso, eles também encontraram um

3:16

efeito colateral inesperado desses dados

3:18

processo de filtragem ampliou o

3:21

preconceitos do modelo em relação a certos

3:23

demografia introduzindo o segundo

3:25

coisa que openai está fazendo como um pré-treinamento

3:28

mitigação reduzir os vieses causados por

3:31

esta filtragem, por exemplo, depois

3:33

filtrando um dos vieses que eles notaram

3:36

foi que o modal gerou mais imagens

3:38

de homens e menos de mulheres em comparação com

3:41

modais treinados no conjunto de dados original

3:44

explicaram que uma das razões

3:46

pode ser que as mulheres apareçam com mais frequência do que

3:48

homens em conteúdo sexual que pode influenciar

3:50

seus classificadores para remover mais falsos

3:53

imagens negativas contendo mulheres de

3:55

o conjunto de dados criando uma lacuna no

3:57

proporção de gênero que o modelo observa em

4:00

treinamento e réplicas para corrigir que eles

4:02

ponderar novamente o conjunto de dados filtrados para corresponder

4:05

a distribuição inicial

4:07

conjunto de dados pré-filtro aqui é um exemplo

4:10

eles cobrem usando cães e gatos onde o

4:12

o filtro removerá mais resíduos do que gatos

4:14

então a solução será dobrar o

4:16

perda de treinamento para imagens de cachorros que

4:19

será como enviar duas imagens de dugs

4:21

em vez de um e compensando o

4:23

falta de imagens isso é mais uma vez apenas um

4:26

proxy para o viés de filtragem real, mas

4:29

ainda reduz a lacuna de distribuição de imagem

4:31

entre o pré-filtrado e o

4:33

conjunto de dados filtrados

4:35

a última questão é uma questão de

4:36

memorização algo que os modelos parecem

4:39

ser muito mais poderoso do que eu, como nós

4:42

disse que é possível regurgitar o

4:44

dados de treinamento de tal geração de imagem

4:46

modelos que não são desejados na maioria dos casos

4:49

aqui também queremos gerar novidades

4:51

imagens e não simplesmente copiar e colar imagens

4:54

da internet, mas como podemos evitar

4:56

que assim como nossa memória você não pode

4:59

realmente decida o que você lembra e o que

5:01

vai embora assim que você vê algo

5:03

ou gruda ou não, eles encontraram

5:05

que, assim como os humanos aprendendo um novo

5:07

conceito se o modelo vê a mesma imagem

5:10

inúmeras vezes no conjunto de dados, pode

5:12

acidentalmente saber de cor no final

5:15

de seu treinamento e gerá-lo exatamente

5:17

para um prompt de texto semelhante ou idêntico

5:20

esta é uma correção fácil e confiável

5:23

apenas descubra quais imagens são muito

5:25

semelhante e exclua as duplicatas facilmente

5:28

fazer isso significará comparar cada

5:30

imagem com todos os outros significados de imagem

5:33

centenas de quatrilhões de pares de imagens

5:36

para comparar, eles simplesmente começam por

5:38

agrupar imagens semelhantes e

5:41

em seguida, compare as imagens com todas as outras

5:43

imagens dentro do mesmo e alguns outros

5:46

aglomerados em torno dele reduzindo imensamente

5:48

a complexidade enquanto ainda encontra 97 de

5:52

todos os pares duplicados novamente outra correção para

5:55

fazer dentro do conjunto de dados antes do treinamento

5:57

nosso modelo diário openai também menciona

6:00

algum próximo passo que eles estão investigando

6:02

e se você gostou deste vídeo eu

6:04

definitivamente convidá-lo a ler seus

6:06

artigo detalhado para ver todos os detalhes

6:08

deste trabalho de mitigação pré-treinamento

6:11

é muito interessante e bem escrito

6:13

artigo deixe-me saber o que você pensa

6:15

seus esforços de mitigação e seus

6:17

escolha de limitar o acesso do modelo a

6:19

o público

6:20

deixe um comentário ou participe da discussão

6:22

em nossa comunidade no discord obrigado

6:24

por assistir até o final e eu vou

6:26

vejo você na próxima semana com outro incrível

6:29

papel

[Música]