DALL·E 2 Mitigaciones previas al entrenamiento

Todos han visto imágenes asombrosas como estas, generadas en su totalidad por un modelo de inteligencia artificial. Cubrí múltiples enfoques en mi canal, como Craiyon, Imagen y el más conocido, Dall-e 2.

La mayoría de la gente quiere probarlos y generar imágenes a partir de indicaciones aleatorias, pero la mayoría de estos modelos no son de código abierto, lo que significa que nosotros, la gente normal como nosotros, no podemos usarlos libremente. ¿Por qué? Esto es en lo que nos sumergiremos en este video...

Referencias

►Lea el artículo completo: https://www.louisbouchard.ai/how-openai-reduces-risks-for-dall-e-2/
►Artículo de OpenAI: https://openai.com/blog/dall-e-2-pre-training-mitigations/
►Dalle 2 video:
►Video de Craiyon:
►Utilice Craiyon: https://www.craiyon.com/
►Mi boletín diario: https://www.getrevue.co/profile/whats_ai

Transcripción del vídeo

0:00

todos ustedes han visto imágenes asombrosas

0:02

como estos generados enteramente por un

0:05

modelo de inteligencia artificial que cubrí

0:07

múltiples enfoques en mi canal como

0:09

crayon imogen y los mas conocidos

0:12

fiambres 2. la mayoría de la gente quiere probarlos y

0:15

generar imágenes a partir de indicaciones aleatorias, pero

0:18

la mayoría de estos modelos no están abiertos

0:20

fuente que significa que a la gente normal le gusta

0:23

nosotros no podemos usarlos libremente por qué esto es

0:26

en qué nos sumergiremos en este video

0:29

dije que la mayoría de ellos no eran de código abierto

0:32

bueno crayon es y la gente ha generado

0:35

memes increíbles usándolo puedes ver cómo

0:38

tal modelo puede volverse peligroso

0:40

permitir que cualquiera genere cualquier cosa que no

0:43

sólo para los posibles usos indebidos con respecto a

0:45

las generaciones pero los datos utilizados para

0:47

entrenar tales modelos también viniendo de

0:50

imágenes aleatorias en internet bonitas

0:52

mucho cualquier cosa con contenido cuestionable

0:55

y produciendo unas imágenes inesperadas la

0:58

también se pueden recuperar datos de entrenamiento

1:00

mediante ingeniería inversa del modelo

1:02

que probablemente sea una apertura no deseada

1:05

también usó esto para justificar no publicar

1:08

el modelo daily2 al público aquí

1:10

investigare cuales son

1:12

investigando los riesgos potenciales y cómo

1:14

están tratando de mitigarlos voy

1:16

a través de un artículo muy interesante

1:18

escribió cubriendo su preprocesamiento de datos

1:21

pasos al entrenar dalit ii pero antes

1:24

así que permíteme unos segundos para ser mío

1:26

patrocina y comparte mi proyecto más reciente

1:28

que te puede interesar hace poco

1:31

creó un boletín diario compartiendo ai

1:34

noticias e investigaciones con un simple y

1:36

claro de una sola línea para saber si el papel

1:38

el código o las noticias valen su tiempo, puede

1:41

suscríbete en linkedin o con tu

1:43

email el link esta en la descripcion

1:45

abajo

1:46

Entonces, ¿qué tiene Openai realmente en mente?

1:48

cuando dicen que están haciendo

1:50

esfuerzos para reducir los riesgos

1:52

La primera y la más obvia es que

1:55

están filtrando violentos y

1:57

imágenes sexuales de los cientos de

1:59

millones de imágenes en internet esto

2:02

es evitar que el modal aprenda

2:04

cómo producir violento y sexual

2:06

contenido o incluso devolver el original

2:08

imágenes como generaciones es como no

2:11

enseñándole a su hijo cómo pelear si usted

2:13

no quiero que se meta en peleas

2:15

podría ayudar, pero está lejos de ser perfecto

2:17

arreglar todavía creo que es necesario

2:20

tener tales filtros en nuestros conjuntos de datos y

2:22

definitivamente ayuda en este caso, pero ¿cómo

2:25

hacen exactamente eso construyen varios

2:27

modelos entrenados para clasificar los datos a ser

2:30

filtrados o no, dándoles unos cuantos

2:32

diferentes ejemplos positivos y negativos

2:34

y mejorar iterativamente los clasificadores

2:37

con retroalimentación humana cada clasificador fue

2:39

a través de todo nuestro conjunto de datos eliminando más

2:42

imágenes de las necesarias por si acaso, ya que es

2:44

mucho mejor para que la modelo no se vea mal

2:47

datos en primer lugar en lugar de

2:48

tratando de corregir el tiro después

2:51

cada clasificador tendrá un único

2:53

comprensión de qué contenido filtrar

2:56

y todos se complementarán

2:57

asegurando un buen filtrado si por bueno

3:00

significa que no hay imágenes negativas falsas

3:02

a través del proceso de filtrado

3:04

todavía viene con desventajas primero el

3:07

conjunto de datos es claramente más pequeño y puede no

3:10

representar con precisión el mundo real

3:12

que puede ser bueno o malo dependiendo de

3:14

el caso de uso también encontraron un

3:16

efecto secundario inesperado de estos datos

3:18

proceso de filtrado amplificó la

3:21

sesgos del modelo hacia ciertos

3:23

demografía presentando el segundo

3:25

lo que openai está haciendo como pre-entrenamiento

3:28

mitigación reducir los sesgos causados por

3:31

este filtrado por ejemplo después

3:33

filtrando uno de los sesgos que notaron

3:36

era que el modal generaba mas imagenes

3:38

de hombres y menos de mujeres en comparación con

3:41

modales entrenados en el conjunto de datos original

3:44

explicaron que una de las razones

3:46

Puede ser que las mujeres aparezcan con más frecuencia que

3:48

hombres en contenido sexual que puede sesgar

3:50

sus clasificadores para eliminar más falsos

3:53

imágenes negativas que contienen mujeres de

3:55

el conjunto de datos creando una brecha en el

3:57

proporción de género que el modelo observa en

4:00

entrenamiento y réplicas para arreglar que

4:02

volver a ponderar el conjunto de datos filtrados para que coincida

4:05

la distribución de la inicial

4:07

el conjunto de datos de prefiltro aquí es un ejemplo

4:10

cubren el uso de gatos y perros donde el

4:12

el filtro eliminará más excavaciones que gatos

4:14

por lo que la solución será duplicar el

4:16

pérdida de entrenamiento para imágenes de perros que

4:19

será como enviar dos imágenes de dugs

4:21

en lugar de uno y compensando el

4:23

falta de imágenes, esto es una vez más solo un

4:26

proxy para el sesgo de filtrado real, pero

4:29

todavía reduce la brecha de distribución de la imagen

4:31

entre el prefiltrado y el

4:33

conjunto de datos filtrados

4:35

el último tema es un tema de

4:36

memorización algo que los modelos parecen

4:39

ser mucho más poderoso de lo que soy como nosotros

4:42

dijo que es posible regurgitar el

4:44

datos de entrenamiento de dicha generación de imágenes

4:46

modelos que no se desean en la mayoría de los casos

4:49

aquí también queremos generar novela

4:51

imágenes y no simplemente copiar y pegar imágenes

4:54

de Internet, pero ¿cómo podemos prevenir

4:56

que al igual que nuestra memoria no puedes

4:59

decide realmente lo que recuerdas y lo que

5:01

desaparece una vez que ves algo

5:03

o se pega o no se encuentran

5:05

que al igual que los humanos aprendiendo un nuevo

5:07

concepto si el modelo ve la misma imagen

5:10

numerosas veces en el conjunto de datos puede

5:12

accidentalmente me lo sé de memoria al final

5:15

de su entrenamiento y generarlo exactamente

5:17

para un mensaje de texto similar o idéntico

5:20

esta es una solución fácil y confiable

5:23

solo averigüe qué imágenes son también

5:25

similar y eliminar los duplicados fácil

5:28

hacer esto significará comparar cada

5:30

imagen con cualquier otro significado de imagen

5:33

cientos de billones de pares de imágenes

5:36

para comparar en su lugar, simplemente comienzan por

5:38

agrupar imágenes similares y

5:41

luego compare las imágenes con todas las demás

5:43

imágenes dentro del mismo y algunos otros

5:46

se agrupa a su alrededor reduciendo inmensamente

5:48

la complejidad sin dejar de encontrar 97 de

5:52

todos los pares duplicados otra vez otra solución para

5:55

hacer dentro del conjunto de datos antes del entrenamiento

5:57

nuestro modelo diario openai también menciona

6:00

algún próximo paso que están investigando

6:02

y si has disfrutado este video yo

6:04

Definitivamente te invito a leer sus

6:06

artículo en profundidad para ver todos los detalles

6:08

de este trabajo de mitigación previo a la capacitación

6:11

es muy interesante y bien escrito

6:13

artículo déjame saber lo que piensas de

6:15

sus esfuerzos de mitigación y su

6:17

elección de limitar el acceso del modelo a

6:19

el público

6:20

deja un comentario o únete a la discusión

6:22

en nuestra comunidad en discord gracias

6:24

por mirar hasta el final y lo haré

6:26

nos vemos la semana que viene con otra increíble

6:29

papel

[Música]