Même Disney investit dans l'IA : un regard sur le vieillissement du visage pour les effets visuels

Que ce soit pour s'amuser dans un filtre Snapchat, pour un film, ou même pour lever quelques énigmes, nous avons tous en tête une utilité pour pouvoir changer notre âge en une photo.

Cela est généralement fait par des artistes qualifiés utilisant Photoshop ou un outil similaire pour éditer vos photos. Pire, dans une vidéo, ils doivent faire ce genre de montage manuel pour chaque image ! Imaginez la quantité de travail nécessaire pour cela. Eh bien, voici à la fois une solution et un nouveau problème à cette situation...

Les références

►Lire l'article complet : https://www.louisbouchard.ai/disney-re-age/
►Loss et al., DisneyResearch, 2022 : FRAN, https://studios.disneyresearch.com/2022/11/30/production-ready-face-re-aging-for-visual-effects/
►GAN expliqués :
►SAM : https://yuval-alaluf.github.io/SAM/
►Discord : https://www.louisbouchard.ai/learn-ai-together/
►Twitter : https://twitter.com/Whats_AI
►Ma Newsletter (Une nouvelle application d'IA expliquée chaque semaine à vos mails !) : https://www.louisbouchard.ai/newsletter/

Transcription vidéo

0:02

[La musique]

0:06

que ce soit pour un filtre Snapchat amusant

0:08

pour un film ou même pour supprimer quelques

0:11

énigmes nous avons tous une utilité en tête

0:13

pour pouvoir changer notre âge dans un

0:15

image cela est généralement fait par des personnes qualifiées

0:18

artistes utilisant Photoshop ou similaire

0:20

outil pour éditer vos photos pire dans un

0:23

vidéo ils doivent faire ce genre de

0:24

édition manuelle pour chaque image juste

0:27

imaginez la quantité de travail nécessaire pour

0:29

que bien voici à la fois une solution et un

0:32

nouveau problème à cette situation Disney's

0:35

publication la plus récente Fran peut le faire

0:38

automatiquement c'est un gros problème pour le

0:41

l'industrie cinématographique vous permettant de instantanément

0:43

re-vieillir quelqu'un pour tout un film avec

0:46

très peu de casting cependant c'est un problème

0:48

pour les artistes car il coupe simultanément

0:51

certaines opportunités d'emploi et les aider à couper

0:53

des heures de travail longues et fastidieuses sur lesquelles se concentrer

0:56

Tâches liées au talent quelque chose de cool ici

0:58

est qu'ils ont créé un outil frontal

1:01

pour que les artistes utilisent et modifient les résultats

1:03

rendre leur travail plus efficace en

1:05

se concentrer sur l'amélioration des détails plutôt

1:08

que les modifications monotones de copier-coller de

1:10

d'une image à l'autre j'aimerais entendre

1:13

vos pensées à ce sujet dans les commentaires

1:15

ci-dessous ou discutez sur notre communauté Discord

1:17

apprenez l'IA ensemble mais pour cette vidéo

1:20

concentrons-nous une fois de plus sur le pur

1:22

les côtés positifs de ce travail

1:24

les progrès scientifiques qu'ils ont réalisés dans le

1:26

re-vieillissement numérique des visages en vidéo

1:29

vous avez vu les résultats de ceci

1:31

nouvel algorithme Fran et je crois que vous pouvez

1:33

déjà d'accord sur la façon dont ces incroyables

1:35

résultats regardez juste regardez combien de plus

1:38

réaliste, il a l'air par rapport aux autres

1:40

approches de reaging de pointe qui

1:42

contiennent de nombreux artefacts et ne parviennent pas à conserver

1:44

l'identité de la personne le même plus

1:47

l'approche des amis ne nécessite pas de

1:49

Centrez les faces comme ces autres

1:51

approches font ce qui le rend encore plus

1:53

impressionnant ce qui est encore plus incroyable

1:55

c'est à quel point leur approche est simple

1:58

Fran représente sans surprise le visage

2:01

re-aging Network cela signifie que le

2:04

le modèle est capable de prendre un visage et de changer

2:06

quel âge la personne a l'air avec

2:08

cohérence réalisme et haute résolution

2:11

résultats sur des expressions variables

2:13

points de vue et conditions d'éclairage pour

2:16

films l'apparence d'âge de l'acteur est

2:19

généralement changé par l'équipe de production

2:20

en utilisant des costumes dédiés coiffures Etc

2:23

pour représenter l'âge visé et seulement le

2:26

le visage est laissé aux artistes numériques pour le modifier

2:29

image par image où Fran vient

2:32

en se concentrant strictement sur les régions de la peau de

2:35

le visage, ils se concentrent également sur les âges adultes

2:38

comme les films ont déjà efficace et

2:40

différentes techniques pour les très jeunes

2:42

re-vieillissant comme tout leur corps et leurs visages

2:44

les formes sont différentes et plus petites

2:47

ces cas, mais comment peuvent-ils prendre un visage

2:49

de n'importe quelle position et changez simplement son

2:52

apparence pour ajouter ou supprimer quelques douzaines

2:54

Des années principalement parce qu'ils n'ont pas de fondement

2:56

vérité sur cette tâche, ce qui signifie qu'ils

2:59

ne peut pas entraîner un algorithme à répliquer

3:01

photos avant et après puisqu'elles

3:03

ne les ont pas très peu d'exemples existent

3:05

de la même personne avec 20 ans ou plus

3:08

à part sous tous les angles dont ils ont besoin pour avoir un

3:10

approche différente et conventionnelle

3:12

approches d'apprentissage supervisé où vous

3:14

essayez de reproduire les exemples que vous

3:16

avez déjà dans votre jeu de données

3:18

généralement, les chercheurs s'y attaquent

3:20

problème à l'aide de modèles puissants formés sur

3:22

généré de faux visages de tous âges

3:25

les résultats sont assez impressionnants

3:27

travail principalement centré et frontal

3:29

visages en raison des données de formation de faux

3:32

visages générés pour cela donc les résultats

3:35

sont difficilement généralisables au monde réel

3:38

scènes car ils ne gardent pas vraiment le

3:40

l'identité de la personne car ce n'était pas

3:42

formé par la même personne à

3:44

différentes périodes de temps, mais juste un

3:46

variété de personnes différentes de différents

3:48

âges et de tels modèles statiques peuvent difficilement

3:52

produire des mouvements faciaux réalistes dus

3:54

à sa formation sur les images statiques il

3:57

ne connaît pas la mécanique du monde réel

3:58

changements d'éclairage, etc.

4:01

leur première contribution s'attaque

4:03

cet écart dans le nombre d'images de

4:05

la même personne à des âges différents leur

4:08

le but ici est de faire la même chose que

4:10

approches précédentes mais avec un petit

4:12

tweak qu'ils utiliseront toujours généré

4:15

faux visages mais construira un ensemble de données

4:18

plein des mêmes visages avec différents

4:20

bords donc fondamentalement la même personne avec

4:23

le même fond et le même tout

4:25

sauf l'age pour avoir l'algorithme

4:27

concentré strictement sur le visage à

4:29

âges différents, ils pensaient que même si

4:32

ces approches ne sont pas vraiment

4:33

bien généraliser dans leur monde réel et

4:36

dans les scènes vidéo, ils comprennent encore

4:38

le processus de vieillissement très bien afin qu'ils

4:40

pourrait les utiliser pour générer plus d'images

4:43

de la même personne à des âges différents

4:45

une première étape pour construire un meilleur ensemble de données

4:48

cette étape est réalisée à l'aide d'un modèle appelé

4:50

somme qui peut prendre le visage d'une personne qui

4:53

est parfaitement centrée et réactif

4:56

ne servira qu'à construire notre ensemble

4:57

des photos avant et après à utiliser

4:59

pour former leur fan un algorithme ce

5:02

étape est nécessaire puisque nos algorithmes

5:04

sont trop bêtes pour généraliser à partir de quelques

5:07

des exemples comme nous les humains le faisons et nous ne pouvons pas

5:10

obtenir presque autant de photos réelles

5:12

visages avec le même éclairage même

5:15

arrière-plan et même vêtements à

5:17

différents âges, il doit être artificiellement

5:19

généré leur deuxième contribution est

5:22

en utilisant ce nouvel ensemble d'images, ils

5:24

créé et formation et algorithme capables

5:27

pour reproduire ce processus sur Real World

5h30

scènes avec une bonne cohérence

5:32

à travers les images vidéo, l'algorithme qu'ils

5:35

construit est en fait assez simple et

5:37

similaire à la plupart image à image

5:39

algorithmes de traduction que vous trouverez

5:41

ils utilisent une architecture unet qui prend

5:44

un âge d'entrée et de sortie et une image à

5:48

apprendre la meilleure façon de le transformer en

5:50

une nouvelle image en l'encodant dans le plus

5:53

espace significatif possible et décodage

5:55

dans la nouvelle image afin que le réseau

5:58

apprend à prendre n'importe quelle image et à l'intégrer

6:00

ce que nous appelons un espace latent où nous

6:03

avons nos encodages cet espace latent

6:06

contient essentiellement tout le nécessaire

6:08

informations que le réseau a apprises pour ses

6:10

des tâches spécifiques donc essentiellement le

6:12

différentes caractéristiques du visage pour cela

6:14

individu particulier mais ne

6:16

contenir des informations sur l'image

6:18

arrière-plan ou d'autres fonctionnalités qui ne sont pas

6:20

nécessaire pour reaging alors il faut ceci

6:23

informations pour prédire une sorte de

6:25

masque anti-âge ce masque ne fera que

6:27

contiennent les parties qui doivent être modifiées

6:29

sur la photo pour un effet re-vieillissement

6:31

rendre les tâches beaucoup plus gérables

6:34

que de prédire l'image entière une fois

6:36

à nouveau et nous fusionnons simplement cette prédiction

6:39

masque à notre image initiale pour obtenir le

6:41

visage re-vieilli ce masque est le principal

6:43

raison pour laquelle leur approche est tellement

6:45

mieux préserver la personne

6:47

identité car ils limitent leur

6:49

Champ d'action du réseau au reaging

6:51

modifications seulement et pas le tout

6:54

image ou même tout le visage lorsque vous

6:56

Je ne peux pas le rendre plus intelligent

6:59

il est plus spécifique que la poupée de mode soit

7:01

formés à la suite d'une approche au canon qui

7:03

signifie que nous l'avons couvert dans de nombreuses vidéos

7:05

utilisera un autre modèle que vous voyez ici

7:08

à droite appelé un discriminateur

7:10

formés simultanément et habitués à

7:12

calculer si l'image de régénération générée

7:15

est similaire à ceux que nous avons dans notre

7:17

ensemble de données de formation évaluant essentiellement son

7:20

résultats pour orienter la formation et

7:22

voilà comment Fran vous aide à vieillir

7:25

votre visage entre 18 et 85

7:28

ans bien sûr ce n'était qu'un

7h30

aperçu simple de ce nouveau Disney

7:32

publication de recherche et je recommanderais

7:34

lire leur excellent article pour en savoir plus

7:36

analyse des informations et des résultats si vous

7:39

ne sont pas familiers avec les armes à feu, je suggère

7h40

regarder la courte vidéo d'introduction I

7:43

fait à leur sujet merci d'avoir regardé

7:45

et je vous verrai la prochaine fois avec

7:47

un autre papier incroyable

7:48

[La musique]

7:59

Merci

[La musique]