Incluso Disney está invirtiendo en IA: una mirada al envejecimiento facial para efectos visuales

Ya sea para divertirnos en un filtro de Snapchat, para una película o incluso para quitarnos unos acertijos, todos tenemos en mente una utilidad para poder cambiar nuestra edad en una imagen.

Esto generalmente lo hacen artistas expertos que usan Photoshop o una herramienta similar para editar sus imágenes. Peor aún, en un video, ¡tienen que hacer este tipo de edición manual para cada cuadro! Imagínese la cantidad de trabajo necesario para eso. Bueno, aquí hay tanto una solución como un nuevo problema a esta situación...

Referencias

►Lea el artículo completo: https://www.louisbouchard.ai/disney-re-age/
►Loss et al., DisneyResearch, 2022: FRAN, https://studios.disneyresearch.com/2022/11/30/production-ready-face-re-aging-for-visual-effects/
►GAN explicadas:
►SAM: https://yuval-alaluf.github.io/SAM/
►Discordia: https://www.louisbouchard.ai/learn-ai-together/
►Twitter: https://twitter.com/Whats_AI
►My Newsletter (¡Una nueva aplicación de IA explicada semanalmente en sus correos electrónicos!): https://www.louisbouchard.ai/newsletter/

Transcripción del vídeo

0:02

[Música]

0:06

ya sea para un divertido filtro de Snapchat

0:08

para una película o incluso para eliminar algunos

0:11

acertijos todos tenemos una utilidad en mente

0:13

por ser capaz de cambiar nuestra edad en un

0:15

imagen esto generalmente lo hace un experto

0:18

artistas usando Photoshop o similar

0:20

herramienta para editar tus fotos peor en un

0:23

video que tienen que hacer este tipo de

0:24

edición manual para cada cuadro solo

0:27

imagina la cantidad de trabajo necesario para

0:29

que bueno, aquí hay una solución y una

0:32

nuevo problema a esta situación Disney's

0:35

la publicación más reciente Fran puede hacer eso

0:38

automáticamente esto es un gran problema para el

0:41

industria del cine que le permite instantáneamente

0:43

envejecer a alguien durante toda una película con

0:46

muy poco yeso sin embargo es un problema

0:48

para los artistas, ya que corta simultáneamente

0:51

algunas oportunidades de trabajo y ayudarlos a reducir

0:53

largas y tediosas horas de trabajo para concentrarse

0:56

Tareas relacionadas con el talento algo genial aquí

0:58

es que crearon una herramienta frontal

1:01

para que los artistas usen y editen los resultados

1:03

hacer su trabajo más eficiente al

1:05

centrándose en mejorar los detalles en lugar de

1:08

que las ediciones monotónicas de copiar y pegar de

1:10

de un cuadro a otro me encantaría escuchar

1:13

tus pensamientos sobre eso en los comentarios

1:15

a continuación o chatee en nuestra comunidad de Discord

1:17

aprendan IA juntos pero para este video

1:20

centrémonos una vez más en lo puramente

1:22

lados positivos de este trabajo el

1:24

progreso científico que hicieron en el

1:26

Reenvejecimiento digital de Rostros en video

1:29

has estado viendo los resultados de esto

1:31

nuevo algoritmo de Fran y creo que puedes

1:33

Ya estoy de acuerdo en lo increíbles que son estos

1:35

resultados mira solo mira cuanto mas

1:38

realista se ve en comparación con otros

1:40

enfoques de reenvejecimiento de última generación que

1:42

contienen muchos artefactos y fallan en mantener

1:44

la identidad de la persona la misma más

1:47

el enfoque de amigos no requiere

1:49

Centre las caras como estos otros

1:51

enfoques hacen lo que lo hace aún más

1:53

impresionante lo que es aún más increíble

1:55

es lo simple que es su enfoque primero

1:58

Fran, como era de esperar, representa la cara.

2:01

red de re-envejecimiento esto significa que el

2:04

modelo es capaz de tomar una cara y cambiar

2:06

con que edad se ve la persona

2:08

consistencia realismo y alta resolución

2:11

resultados a través de expresiones variables

2:13

puntos de vista y condiciones de iluminación para

2:16

películas la edad del actor es la apariencia

2:19

generalmente cambiado por el equipo de producción

2:20

usando disfraces dedicados, peinados, etc.

2:23

para representar la edad deseada y sólo la

2:26

la cara se deja para que los artistas digitales la editen

2:29

fotograma a fotograma que es donde entra Fran

2:32

en centrarse estrictamente en las regiones de la piel de

2:35

el rostro también se enfocan en edades adultas

2:38

como las películas ya tienen eficiente y

2:40

Técnicas diferentes para muy pequeños.

2:42

re-envejecimiento como todo su cuerpo y caras

2:44

Las formas son diferentes y más pequeñas en

2:47

esos casos, pero ¿cómo pueden tomar una cara

2:49

desde cualquier posición y simplemente cambie su

2:52

apariencia para agregar o quitar algunas docenas

2:54

Años principalmente porque no tienen suelo

2:56

verdad sobre esta tarea, lo que significa que

2:59

no se puede entrenar un algoritmo para replicar

3:01

fotos de antes y después ya que

3:03

no los tengo existen muy pocos ejemplos

3:05

de la misma persona con 20 o más años

3:08

separados en cada ángulo necesitan tener un

3:10

enfoque diferente y convencional

3:12

enfoques de aprendizaje supervisado donde usted

3:14

trata de replicar los ejemplos que

3:16

ya tiene en su conjunto de datos

3:18

típicamente los investigadores abordan esto

3:20

problema usando modelos poderosos entrenados en

3:22

Sin embargo, generó caras falsas de todas las edades.

3:25

los resultados son bastante impresionantes

3:27

principalmente trabajar en centrado y frontal

3:29

rostros debido a los datos de entrenamiento de fake

3:32

caras generadas para ello por lo tanto los resultados

3:35

son difícilmente generalizables al mundo real

3:38

escenas ya que realmente no mantienen el

3:40

identidad de la persona ya que no era

3:42

entrenado usando la misma persona en

3:44

diferentes períodos de tiempo, pero sólo un

3:46

variedad de diferentes personas de diferentes

3:48

edades y tales modelos estáticos difícilmente pueden

3:52

producir movimientos faciales realistas debido

3:54

a su formación sobre imágenes estáticas

3:57

no conoce la mecánica del mundo real

3:58

cambios de iluminación, etc.

4:01

su primera contribución es abordar

4:03

esta brecha en el número de imágenes de

4:05

la misma persona a diferentes edades su

4:08

El objetivo aquí es hacer lo mismo que

4:10

enfoques anteriores pero con una pequeña

4:12

tweak que seguirán usando generado

4:15

caras falsas pero construirá un conjunto de datos

4:18

lleno de las mismas caras con diferentes

4:20

bordes por lo que básicamente la misma persona con

4:23

el mismo fondo y el mismo todo

4:25

excepto la edad para tener el algoritmo

4:27

enfocado estrictamente en la cara en

4:29

diferentes edades se dieron cuenta de que incluso si

4:32

estos enfoques realmente no

4:33

generalizar bien en su mundo real y

4:36

en escenas de video todavia entienden

4:38

el proceso de envejecimiento muy bien por lo que

4:40

podría usarlos para generar más imágenes

4:43

de la misma persona a diferentes edades como

4:45

un primer paso para construir un mejor conjunto de datos

4:48

este paso se hace usando un modelo llamado

4:50

suma que puede tomar la cara de una persona que

4:53

está perfectamente centrado y reactivo

4:56

solo se usará para construir nuestro conjunto

4:57

de fotos de antes y después que se utilizarán

4:59

por entrenar a su fan un algoritmo este

5:02

paso es necesario ya que nuestros algoritmos

5:04

son demasiado tontos para generalizar a partir de unos pocos

5:07

ejemplos como lo hacemos los humanos y no podemos

5:10

obtener casi tantas fotos de la vida real

5:12

caras con la misma iluminación igual

5:15

fondo y la misma ropa en

5:17

diferentes edades debe ser artificialmente

5:19

generado su segunda contribución es

5:22

utilizando este nuevo conjunto de imágenes que

5:24

creado y entrenamiento y algoritmo capaz

5:27

para replicar este proceso en Real World

5:30

escenas junto con buena consistencia

5:32

a través de cuadros de video el algoritmo que

5:35

construido es de hecho bastante simple y

5:37

similar a la mayoría de imagen a imagen

5:39

algoritmos de traducción que encontrarás

5:41

usan una arquitectura unet que toma

5:44

una edad de entrada y salida y una imagen para

5:48

aprender la mejor manera de transformarlo en

5:50

una nueva imagen codificándola en la mayoría

5:53

espacio significativo posible y decodificación

5:55

en la nueva imagen para que la red

5:58

aprende a tomar cualquier imagen y meterla en

6:00

lo que llamamos un espacio latente donde

6:03

tener nuestras codificaciones este espacio latente

6:06

básicamente contiene todo lo necesario

6:08

información que la red aprendió para su

6:10

tareas específicas, así que básicamente el

6:12

diferentes características de la cara para esto

6:14

individuo en particular, pero no

6:16

contienen información sobre la imagen

6:18

fondo u otras características que no son

6:20

necesario para el reenvejecimiento entonces toma esto

6:23

información para predecir algún tipo de

6:25

máscara de envejecimiento esta máscara sólo

6:27

contener las partes que necesitan ser editadas

6:29

en la imagen para un efecto de envejecimiento

6:31

haciendo las tareas mucho más manejables

6:34

que predecir la imagen completa una vez

6:36

de nuevo y simplemente fusionamos este predicho

6:39

máscara a nuestra imagen inicial para obtener el

6:41

cara re-envejecida esta máscara es la principal

6:43

razón por la cual su enfoque es tanto

6:45

mejor en la preservación de la persona

6:47

identidad ya que limitan su

6:49

Campo de acción de la red para el reenvejecimiento

6:51

modificaciones solamente y no la totalidad

6:54

imagen o incluso toda la cara cuando

6:56

no puedo hacerlo más inteligente solo hazlo

6:59

es más específico el modo muñeca es

7:01

entrenado siguiendo un enfoque de pistola que

7:03

significa como lo cubrimos en muchos videos

7:05

usará otro modelo que ves aquí

7:08

a la derecha llamado discriminador

7:10

entrenados simultáneamente y acostumbrados a

7:12

calcular si la imagen de re-envejecimiento generada

7:15

es similar a las que tenemos en nuestro

7:17

conjunto de datos de entrenamiento básicamente calificando su

7:20

resultados para orientar la formación y

7:22

voila así es como Fran te ayuda a envejecer

7:25

tu cara entre 18 y 85

7:28

años de edad, por supuesto, esto era sólo un

7:30

simple resumen de este nuevo disney

7:32

publicación de investigación y recomendaría

7:34

leyendo su excelente artículo para más

7:36

información y análisis de resultados si Ud.

7:39

no están familiarizados con las armas, sugiero

7:40

viendo el breve video de introducción I

7:43

hecho sobre ellos gracias por mirar

7:45

y te veré la próxima vez con

7:47

otro papel increíble

7:48

[Música]

7:59

gracias

[Música]