paint-brush
甚至迪斯尼也在投资人工智能:看看面部再老化的视觉效果经过@whatsai
1,045 讀數
1,045 讀數

甚至迪斯尼也在投资人工智能:看看面部再老化的视觉效果

经过 Louis Bouchard7m2022/12/24
Read on Terminal Reader

太長; 讀書

这通常是由熟练的艺术家使用 Photoshop 或类似工具编辑您的图片来完成的。最糟糕的是,在视频中,他们必须对每一帧进行这种手动编辑!想象一下为此需要的工作量。好吧,这既是解决方案,也是针对这种情况的新问题……
featured image - 甚至迪斯尼也在投资人工智能:看看面部再老化的视觉效果
Louis Bouchard HackerNoon profile picture

无论是为了在 Snapchat 滤镜中取乐,还是为了看电影,甚至是为了消除一些谜语,我们都有一个实用工具可以改变我们在照片中的年龄。

这通常是由熟练的艺术家使用 Photoshop 或类似工具编辑您的图片来完成的。最糟糕的是,在视频中,他们必须对每一帧进行这种手动编辑!想象一下为此需要的工作量。好吧,这既是解决方案也是解决这种情况的新问题......

参考

►阅读全文: https ://www.louisbouchard.ai/disney-re-age/
►Loss 等人,DisneyResearch,2022:FRAN, https ://studios.disneyresearch.com/2022/11/30/production-ready-face-re-aging-for-visual-effects/
►GAN 解释: ://youtu.be/ZnpZsiy_p2M
►山姆: https ://yuval-alaluf.github.io/SAM/
►Discord: https ://www.louisbouchard.ai/learn-ai-together/
►推特: https ://twitter.com/Whats_AI
►我的时事通讯(每周向您的电子邮件解释一个新的 AI 应用程序!): https ://www.louisbouchard.ai/newsletter/

视频成绩单

0:02

[音乐]

0:06

是否是为了一个有趣的 Snapchat 过滤器

0:08

看电影甚至删除一些

0:11

我们都有一个实用的谜语

0:13

因为能够改变我们的年龄

0:15

图片这通常由熟练的人完成

0:18

使用 Photoshop 或类似软件的艺术家

0:20

最差编辑照片的工具

0:23

他们必须做这种视频

0:24

仅对每一帧进行手动编辑

0:27

想象一下需要的工作量

0:29

那么这既是一个解决方案又是一个

0:32

这种情况迪斯尼的新问题

0:35

最近的出版物 Fran 可以做到这一点

0:38

自动这对

0:41

电影业让你瞬间

0:43

为整部电影让某人重新变老

0:46

演员很少,但这是个问题

0:48

对于艺术家,因为它同时切割

0:51

一些工作机会并帮助他们削减

0:53

需要专注于漫长而乏味的工作时间

0:56

人才相关的任务这里很酷

0:58

是他们创建了一个基于前端的工具

1:01

供艺术家使用和编辑结果

1:03

使他们的工作更有效率

1:05

专注于改进细节而不是

1:08

比单调的复制粘贴编辑

1:10

一帧接一帧我很想听

1:13

你在评论中对此的想法

1:15

在下方或在我们的 Discord 社区聊天

1:17

一起学习人工智能,但为了这个视频

1:20

让我们再次关注纯粹

1:22

这项工作的积极方面

1:24

他们取得的科学进步

1:26

视频中人脸的数字再老化

1:29

你已经看到了这个的结果

1:31

新的 Fran 算法,我相信你可以

1:33

已经同意这些有多神奇

1:35

结果只看多了多少

1:38

与其他相比看起来很逼真

1:40

最先进的再生方法

1:42

包含许多工件并且无法保留

1:44

此人的身份相同加上

1:47

朋友的方法不需要

1:49

将这些面孔居中

1:51

方法使它变得更加

1:53

令人印象深刻,更令人难以置信

1:55

他们的方法首先是多么简单

1:58

弗兰不出所料代表面子

2:01

再老化网络这意味着

2:04

模型能够拍脸并改变

2:06

这个人看起来多大了

2:08

一致性现实主义和高分辨率

2:11

跨变量表达式的结果

2:13

的观点和照明条件

2:16

电影演员的年龄外貌是

2:19

通常由制作组更改

2:20

使用专用服装发型等

2:23

描绘目标年龄

2:26

脸留给数字艺术家编辑

2:29

逐帧,这是弗兰来的地方

2:32

严格关注皮肤区域

2:35

他们也关注成人年龄的脸

2:38

因为电影已经有效率和

2:40

非常年轻的不同技术

2:42

重新老化为他们的整个身体和面部

2:44

形状不同,体积更小

2:47

那些案件,但他们怎么能面对

2:49

从任何位置,只需改变它

2:52

添加或删除几十个外观

2:54

岁月主要是因为他们没有地面

2:56

这项任务的真相意味着他们

2:59

无法训练算法来复制

3:01

自从他们之前和之后的照片

3:03

没有他们 很少有例子存在

3:05

同一个人有 20 年或更长时间

3:08

除了在每个角度他们需要有一个

3:10

不同的方法和常规

3:12

监督学习方法

3:14

尝试复制你的例子

3:16

已经在你的数据集中

3:18

通常研究人员会解决这个问题

3:20

使用训练有素的强大模型的问题

3:22

虽然生成了所有年龄段的假面孔

3:25

结果令人印象深刻

3:27

主要工作在居中和正面

3:29

人脸由于假的训练数据

3:32

为它生成的面孔因此结果

3:35

很难推广到现实世界

3:38

场景,因为他们并没有真正保留

3:40

人的身份,因为它不是

3:42

使用同一个人训练

3:44

不同的时间段,但只是一个

3:46

各种各样的不同的人

3:48

年龄和这样的静态模型很难

3:52

由于产生逼真的面部动作

3:54

对其静态图像的训练

3:57

不知道现实世界的力学

3:58

灯光变化等

4:01

他们的第一个贡献是解决

4:03

图像数量上的差距

4:05

同一个人在不同的年龄

4:08

这里的目标是做同样的事情

4:10

以前的方法,但有一个小

4:12

调整他们仍将使用生成的

4:15

假脸,但会建立一个数据集

4:18

充满了不同的相同面孔

4:20

边缘所以基本上是同一个人

4:23

相同的背景和相同的一切

4:25

除了拥有算法的年龄

4:27

严格专注于面部

4:29

不同年龄段的人认为即使

4:32

这些方法并没有真正

4:33

在他们的现实世界中很好地概括并且

4:36

在视频场景中他们仍然理解

4:38

老化过程真的很好,所以他们

4:40

可以使用它们来生成更多图像

4:43

同一个人在不同年龄

4:45

构建更好数据集的第一步

4:48

这一步是使用一个名为

4:50

可以拍一个人脸的总和

4:53

完全居中并作为试剂

4:56

只会用于构建我们的集合

4:57

要使用的前后图片

4:59

用于训练他们的粉丝一个算法

5:02

这一步是必要的,因为我们的算法

5:04

太愚蠢了,无法从少数人中概括

5:07

我们人类所做的例子,我们不能

5:10

获得几乎与真实照片一样多的照片

5:12

相同灯光下的脸 相同

5:15

背景和相同的衣服

5:17

不同年龄一定是人为的

5:19

产生了他们的第二个贡献是

5:22

他们使用这组新图像

5:24

创建并训练和算法能够

5:27

在现实世界中复制这个过程

5:30

场景连贯性好

5:32

跨视频帧他们的算法

5:35

构建实际上非常简单

5:37

类似于大多数图像到图像

5:39

你会发现翻译算法

5:41

他们使用一个 unet 架构,它需要

5:44

输入和输出年龄和图像

5:48

学习将其转化为最佳方法

5:50

通过将新图像编码成最

5:53

有意义的空间可能和解码

5:55

它变成了新形象所以网络

5:58

学会拍摄任何图像并将其放入

6:00

我们称之为潜在空间的东西

6:03

让我们的编码这个潜在空间

6:06

基本上包含所有必要的

6:08

网络为其学习的信息

6:10

具体任务所以基本上

6:12

面部的不同特征

6:14

特定的个人,但不

6:16

包含有关图像的信息

6:18

背景或其他不属于的特征

6:20

需要重新老化然后它需要这个

6:23

预测某种信息的信息

6:25

再老化面膜这个面膜只会

6:27

包含需要编辑的部分

6:29

在图片中用于重新老化效果

6:31

使任务更易于管理

6:34

比预测整个图像一次

6:36

再次,我们简单地合并这个预测

6:39

掩码到我们的初始图像以获得

6:41

再老脸这个面膜是主打

6:43

他们的方法如此之多的原因

6:45

更善于维护人的

6:47

身份,因为他们限制了他们的

6:49

网络对再生的作用域

6:51

仅修改而非全部

6:54

图像甚至整张脸,当你

6:56

不能让它更聪明只是让

6:59

更具体地说,模式娃娃是

7:01

按照枪法训练

7:03

意味着正如我们在许多视频中所介绍的那样

7:05

将使用您在此处看到的另一个模型

7:08

在右边称为鉴别器

7:10

同时训练并习惯于

7:12

计算生成的re-age图像是否

7:15

类似于我们的

7:17

训练数据集基本上对其进行评级

7:20

指导培训的结果和

7:22

瞧,这就是弗兰如何帮助你重新变老

7:25

你的脸在 18 到 85 之间的任何地方

7:28

岁当然这只是一个

7:30

这个新迪士尼的简单概述

7:32

研究出版物,我会推荐

7:34

阅读他们的优秀论文以获得更多信息

7:36

信息和结果分析,如果你

7:39

我建议不熟悉枪支

7:40

观看简短的介绍视频我

7:43

关于他们谢谢你的观看

7:45

下次见

7:47

另一篇惊人的论文

7:48

[音乐]

7:59

谢谢你

[音乐]