Imagic: edición de imágenes con IA a partir de comandos de texto

El periódico de esta semana puede ser su próximo modelo favorito hasta la fecha.

Si cree que los modelos de generación de imágenes recientes como DALLE o Stable Diffusion son geniales, no podrá creer lo increíble que es este.

"Este" es Imagic.

Imagic toma un modelo basado en difusión capaz de tomar texto y generar imágenes a partir de él y adapta el modelo para editar las imágenes. Solo mira eso... Puedes generar una imagen y luego enseñarle al modelo a editarla como quieras.

Obtenga más información en el siguiente video...

Referencias:

►Lea el artículo completo: https://www.louisbouchard.ai/imagic/
►Kawar, B., Zada, S., Lang, O., Tov, O., Chang, H., Dekel, T., Mosseri, I. and Irani, M., 2022. Imagic: imagen real basada en texto Edición con modelos de difusión. preimpresión de arXiv arXiv:2210.09276.
► Úselo con difusión estable: https://github.com/justinpinkney/stable-diffusion/blob/main/notebooks/imagic.ipynb
►My Newsletter (¡Una nueva aplicación de IA explicada semanalmente en sus correos electrónicos!): https://www.louisbouchard.ai/newsletter/

Transcripción del vídeo

0:24

mira que puedes generar una imagen

0:26

y luego enséñele al modelo a editarlo

0:29

como quieras, este es un gran paso

0:31

hacia tener tu propio Photoshop

0:33

diseñador gratis el modelo no solo

0:36

entiende lo que quieres mostrar pero

0:38

también es capaz de mantenerse realista

0:41

manteniendo las propiedades de la inicial

0:43

imagenes solo mira como se queda el perro

0:46

lo mismo en todas las imagenes aqui esta tarea es

0:49

llamada edición de imagen condicionada por texto

0:51

esto significa editar imágenes usando solo

0:54

texto y una imagen inicial que fue

0:57

casi imposible ni siquiera un año

0:59

hace ahora mira lo que puede hacer sí esto

1:03

todo se hace desde una sola imagen de entrada

1:05

y una frase corta donde ves lo que

1:07

te gustaría tener lo increíble que es eso

1:09

lo único aún más genial es cómo

1:12

funciona, profundicemos en ello, pero primero si

1:15

actualmente estás aprendiendo IA o quieres

1:17

Empieza a aprenderlo, te encantará.

1:19

oportunidad Sé lo difícil que puede ser

1:22

hacer un progreso real al aprender IA

1:24

a veces estructura extra y

1:26

la responsabilidad puede ser lo que te proponga

1:29

el siguiente nivel si eso suena como usted

1:31

únete al patrocinador de este video Delta

1:33

Academy en Delta Academy se aprende

1:36

Aprendizaje por refuerzo construyendo un juego.

1:38

AIS en una cohorte en vivo va de cero a

1:41

alphago a través de la exportación hecha a mano

1:43

tutoriales interactivos discusiones en vivo

1:46

con estos expertos y la IA semanal

1:48

concursos de construcción no es sólo

1:51

otro sitio web de spam de curso es intenso

1:53

práctico y centrado en la alta calidad

1:56

diseñado por expertos de deepmind Oxford

1:58

y Cambridge es donde van los codificadores

2:01

A prueba de futuro su portador desde el

2:03

Avance de la IA y diviértase más con un

2:06

comunidad en vivo de pares y expertos para

2:08

empujarte hacia adelante escribirás icónico

2:10

algoritmos en Python que van desde dqn a

2:13

alphago uno de los mejores programas de la historia

2:16

Hice unirse a ellos ahora a través de mi enlace a continuación

2:18

y use el código de promoción ¿Qué es AI para obtener?

2:21

10% de descuento

2:23

Entonces, ¿cómo funciona iMagic como lo dijimos?

2:26

toma una imagen y un título para editar el

2:29

establece la imagen e incluso puedes generar

2:31

múltiples variaciones de este modelo

2:33

como la gran mayoría de los periódicos

2:35

que se publican estos días se basa en

2:38

modelos de difusión más específicamente

2:41

toma un modelo generador de imágenes que fue

2:43

ya capacitado para generar imágenes a partir de

2:45

texto y lo adapta a la edición de imágenes en

2:48

su caso usa Imogen que yo

2:51

cubierto en un video anterior es un

2:53

modelo generativo basado en difusión capaz de

2:55

crear imágenes de alta definición después

2:57

siendo entrenado en un enorme conjunto de datos de

3:00

pares de pies de imagen en el caso de

3:02

iMagic simplemente toman este pre-entrenado

3:05

modelo de imagen como línea de base y hacer

3:08

modificaciones al mismo con el fin de editar el

3:10

imágenes enviadas como entrada manteniendo la imagen

3:13

apariencia específica como la del perro

3:16

raza e identidad y editarlo

3:18

siguiendo nuestro texto así que para empezar tenemos

3:21

para codificar tanto el texto como la inicial

3:23

borde de la imagen para que se pueda entender

3:25

por nuestro modelo de imagen cuando esto se hace

3:28

optimizamos nuestro texto codifica nuestro texto

3:31

incrustaciones para adaptarse mejor a nuestra inicial

3:33

imagen básicamente tomando nuestro texto

3:35

representación y optimizarla para nuestros

3:38

imagen inicial llamada e optimizar para ser

3:41

seguro que entiende que en este ejemplo

3:43

queremos generar el mismo tipo de

3:45

imagen con un pájaro de aspecto similar y

3:48

fondo entonces tomamos nuestro pre-entrenado

3:51

generador de imágenes para afinar su significado

3:53

que volveremos a entrenar la imagen y el modelo

3:55

manteniendo las incrustaciones de texto optimizadas que

3:58

acaba de producir lo mismo por lo que estos dos

4:01

Los pasos se utilizan para obtener el texto incrustado.

4:03

más cerca de la imagen incrustada por

4:06

congelar uno de los dos y obtener el

4:08

otro más cercano que asegurará que

4:10

optimizar tanto para el texto como para la inicial

4:12

imagen no solo uno de los dos ahora que

4:15

nuestro modelo entiende la imagen inicial

4:17

en nuestro texto y entiende que ellos

4:19

son similares tenemos que enseñárselo a

4:21

generar nuevas variaciones de imagen para este

4:24

texto esta chispa es super simple nuestro texto

4:27

incrustaciones e imagen optimizada

4:29

las incrustaciones son muy similares pero aún así

4:32

no es exactamente lo mismo lo único que hacemos

4:34

aquí es que tomamos la imagen incrustada

4:36

en nuestro espacio codificado y moverlo un poco

4:39

hacia el texto incrustado en este momento

4:42

si le pide al modelo iMagic que genere

4:45

una imagen usando el texto optimizado

4:47

debe darle la misma imagen que su

4:49

imagen de entrada por lo que si mueve la incrustación

4:52

un poco hacia su texto lo incrusta

4:55

también editará la imagen un poco hacia

4:58

lo que quieres cuanto más lo mueves adentro

5:00

este espacio, más grande será la edición

5:02

y cuanto más te alejes de

5:05

tu imagen inicial por lo que lo único que

5:07

necesita averiguar ahora es el tamaño de

5:10

este paso que quieres dar hacia tu

5:12

envía un mensaje de texto y listo cuando encuentres tu

5:15

equilibrio perfecto tienes un modelo nuevo

5:17

capaz de generar tantas variaciones como

5:20

quieres conservar la imagen importante

5:22

vistas de atributos mientras se edita la forma

5:25

quieres por supuesto que los resultados no son

5:27

perfecto todavía como se puede ver aquí donde

5:30

el modelo tampoco se edita correctamente

5:32

o hace modificaciones de imagen aleatorias a

5:35

la imagen inicial como recortar o

5:37

haciendo zoom inapropiadamente aún permanece

5:40

bastante impresionante si me preguntas, encuentro

5:42

el ritmo de la generación de imágenes

5:44

progreso increíble y eso es tanto

5:47

increíble y aterrador al mismo tiempo

5:50

Me encantaría saber tu opinión sobre este tipo

5:52

de generación y edición de imágenes

5:54

modelos crees que son buenos o

5:57

cosa mala que tipo de consecuencias tu

5:59

puede pensar en que tales modelos se conviertan en

6:02

cada vez más poderoso puedes encontrar más

6:04

detalles sobre los parámetros específicos que

6:06

utilizan para lograr estos resultados en sus

6:08

paper al que definitivamente los invito

6:10

lee también te invito a ver mi imagen

6:13

y video si desea más información

6:14

sobre la parte de generación de imágenes y

6:17

entender cómo funciona enorme gracias a

6:20

mis amigos en Delta Academy por trabajar

6:22

sobre hacer que aprender IA sea divertido, algo que soy

6:26

apasionado por favor pruébalo

6:28

y déjame saber lo que piensas

6:30

personalmente amo esta forma de enseñar y

6:33

Estoy seguro de que usted también se lo agradecerá

6:35

apoyando mi trabajo revisando sus

6:37

sitio web y viendo el video completo

6:39

y espero que les haya gustado nos vemos

6:42

la próxima semana con otro artículo increíble