Ngay cả Disney cũng đang đầu tư vào AI: Nhìn lại quá trình tái tạo khuôn mặt để tạo hiệu ứng hình ảnh

Cho dù đó là để giải trí trong bộ lọc Snapchat, để xem một bộ phim hay thậm chí để giải một vài câu đố, tất cả chúng ta đều nghĩ đến một tiện ích là có thể thay đổi tuổi của mình trong một bức ảnh.

Điều này thường được thực hiện bởi các nghệ sĩ lành nghề sử dụng Photoshop hoặc một công cụ tương tự để chỉnh sửa ảnh của bạn. Tệ nhất là trong một video, họ phải thực hiện kiểu chỉnh sửa thủ công này cho mọi khung hình! Chỉ cần tưởng tượng số lượng công việc cần thiết cho điều đó. Chà, đây vừa là giải pháp vừa là vấn đề mới cho tình huống này...

Người giới thiệu

►Đọc toàn bộ bài viết: https://www.louisbouchard.ai/disney-re-age/
►Loss và cộng sự, DisneyResearch, 2022: FRAN, https://studios.disneyresearch.com/2022/11/30/production-ready-face-re-aging-for-visual-effects/
►GAN giải thích:
►SAM: https://yuval-alaluf.github.io/SAM/
►Discord: https://www.louisbouchard.ai/learn-ai-together/
►Twitter: https://twitter.com/Whats_AI
►Bản tin của tôi (Một ứng dụng AI mới được giải thích hàng tuần cho email của bạn!): https://www.louisbouchard.ai/newsletter/

Bản ghi video

0:02

[Âm nhạc]

0:06

cho dù đó là bộ lọc Snapchat thú vị

0:08

cho một bộ phim hoặc thậm chí để loại bỏ một vài

0:11

câu đố tất cả chúng ta có một tiện ích trong tâm trí

0:13

để có thể thay đổi tuổi của chúng tôi trong một

0:15

hình ảnh này thường được thực hiện bởi tay nghề cao

0:18

các nghệ sĩ sử dụng Photoshop hoặc tương tự

0:20

công cụ để chỉnh sửa hình ảnh của bạn tồi tệ nhất trong một

0:23

video họ phải làm loại này

0:24

chỉnh sửa thủ công cho mọi khung hình

0:27

tưởng tượng số lượng công việc cần thiết cho

0:29

đó cũng là một giải pháp và một

0:32

vấn đề mới cho tình huống này của Disney

0:35

ấn phẩm gần đây nhất Fran có thể làm điều đó

0:38

tự động đây là một vấn đề lớn đối với

0:41

ngành công nghiệp điện ảnh cho phép bạn ngay lập tức

0:43

làm lại tuổi cho ai đó trong cả một bộ phim với

0:46

rất ít diễn viên tuy nhiên đó là một vấn đề

0:48

cho các nghệ sĩ vì nó đồng thời cắt

0:51

một số cơ hội việc làm và giúp họ cắt giảm

0:53

giờ làm việc dài và tẻ nhạt để tập trung vào

0:56

Các nhiệm vụ liên quan đến tài năng có gì đó thú vị ở đây

0:58

là họ đã tạo ra một công cụ dựa trên nền tảng

1:01

để các nghệ sĩ sử dụng và chỉnh sửa kết quả

1:03

làm cho công việc của họ hiệu quả hơn bằng cách

1:05

tập trung vào việc cải thiện các chi tiết thay vì

1:08

so với các chỉnh sửa sao chép, dán đơn điệu từ

1:10

khung hình này sang khung hình khác tôi muốn nghe

1:13

suy nghĩ của bạn về điều đó trong các ý kiến

1:15

bên dưới hoặc trò chuyện trên Cộng đồng Discord của chúng tôi

1:17

cùng tìm hiểu AI nhưng đối với video này

1:20

chúng ta hãy tập trung một lần nữa vào hoàn toàn

1:22

mặt tích cực của công việc này

1:24

tiến bộ khoa học họ đã đạt được trong

1:26

tái lão hóa kỹ thuật số của Khuôn mặt trong video

1:29

bạn đã thấy kết quả của việc này

1:31

thuật toán Fran mới và tôi tin rằng bạn có thể

1:33

đã đồng ý về mức độ tuyệt vời của những điều này

1:35

kết quả nhìn chỉ cần nhìn vào bao nhiêu nữa

1:38

thực tế nó trông so với khác

1:40

phương pháp tiếp cận reaging nhà nước-of-the-nghệ thuật mà

1:42

chứa nhiều đồ tạo tác và không giữ được

1:44

danh tính của người đó cùng cộng

1:47

cách tiếp cận bạn bè không yêu cầu

1:49

Căn giữa các mặt như những mặt khác

1:51

cách tiếp cận làm điều đó làm cho nó thậm chí nhiều hơn

1:53

ấn tượng những gì thậm chí còn đáng kinh ngạc hơn

1:55

cách tiếp cận đầu tiên của họ đơn giản như thế nào

1:58

Fran không ngạc nhiên khi đứng trước khuôn mặt

2:01

lão hóa lại Mạng, điều này có nghĩa là

2:04

người mẫu có thể thay đổi khuôn mặt

2:06

người bao nhiêu tuổi nhìn với

2:08

chủ nghĩa hiện thực nhất quán và độ phân giải cao

2:11

kết quả trên biểu thức biến

2:13

điểm nhìn và điều kiện ánh sáng cho

2:16

phim tuổi của diễn viên xuất hiện là

2:19

thường được thay đổi bởi đội ngũ sản xuất

2:20

sử dụng trang phục chuyên dụng kiểu tóc vv

2:23

để mô tả độ tuổi mục tiêu và chỉ

2:26

khuôn mặt được để lại cho các nghệ sĩ kỹ thuật số chỉnh sửa

2:29

từng khung hình, đó là nơi Fran đến

2:32

trong việc tập trung nghiêm ngặt vào các vùng da của

2:35

khuôn mặt họ cũng tập trung vào lứa tuổi trưởng thành

2:38

như phim đã có hiệu quả và

2:40

kỹ thuật khác nhau cho rất trẻ

2:42

tái lão hóa khi toàn bộ cơ thể và khuôn mặt của họ

2:44

hình dạng khác nhau và nhỏ hơn trong

2:47

những trường hợp đó nhưng làm sao họ có thể nhận được

2:49

từ bất kỳ vị trí nào và chỉ cần thay đổi vị trí của nó

2:52

xuất hiện để thêm hoặc xóa một vài chục

2:54

Nhiều năm chủ yếu vì họ không có mặt bằng

2:56

sự thật về nhiệm vụ này có nghĩa là họ

2:59

không thể đào tạo một thuật toán để sao chép

3:01

trước và sau hình ảnh kể từ khi họ

3:03

không có chúng rất ít ví dụ tồn tại

3:05

của cùng một người với 20 năm trở lên

3:08

ngoài ở mọi góc độ họ cần phải có một

3:10

cách tiếp cận khác và thông thường

3:12

phương pháp học tập có giám sát nơi bạn

3:14

cố gắng sao chép các ví dụ bạn

3:16

đã có trong bộ dữ liệu của bạn

3:18

thông thường các nhà nghiên cứu giải quyết vấn đề này

3:20

vấn đề bằng cách sử dụng các mô hình mạnh mẽ được đào tạo trên

3:22

mặc dù đã tạo ra những khuôn mặt giả ở mọi lứa tuổi

3:25

kết quả khá ấn tượng họ

3:27

chủ yếu làm việc ở trung tâm và phía trước

3:29

khuôn mặt do dữ liệu đào tạo giả mạo

3:32

các khuôn mặt được tạo cho nó, do đó, kết quả

3:35

hầu như không thể khái quát hóa với Thế giới thực

3:38

cảnh vì họ không thực sự giữ

3:40

danh tính của người như nó không phải là

3:42

được đào tạo sử dụng cùng một người tại

3:44

khoảng thời gian khác nhau nhưng chỉ là một

3:46

nhiều người khác nhau của những người khác nhau

3:48

tuổi và các mô hình tĩnh như vậy khó có thể

3:52

tạo ra các chuyển động trên khuôn mặt thực tế do

3:54

để đào tạo về hình ảnh tĩnh nó

3:57

không biết cơ học thế giới thực

3:58

thay đổi ánh sáng vv

4:01

đóng góp đầu tiên của họ là giải quyết

4:03

Khoảng cách này trong số lượng hình ảnh từ

4:05

cùng một người ở các độ tuổi khác nhau

4:08

mục tiêu ở đây là làm điều tương tự như

4:10

phương pháp tiếp cận trước đó nhưng với một nhỏ

4:12

chỉnh sửa họ vẫn sẽ sử dụng được tạo

4:15

khuôn mặt giả nhưng sẽ xây dựng một bộ dữ liệu

4:18

đầy những khuôn mặt giống nhau nhưng khác nhau

4:20

các cạnh về cơ bản là cùng một người với

4:23

cùng một nền tảng và mọi thứ giống nhau

4:25

ngoại trừ tuổi để có thuật toán

4:27

tập trung nghiêm ngặt vào khuôn mặt tại

4:29

các độ tuổi khác nhau, họ nhận ra rằng ngay cả khi

4:32

những cách tiếp cận này không thực sự

4:33

khái quát tốt trong thế giới thực của họ và

4:36

trong các cảnh video họ vẫn hiểu

4:38

quá trình lão hóa thực sự tốt vì vậy họ

4:40

có thể sử dụng chúng để tạo ra nhiều hình ảnh hơn

4:43

của cùng một người ở các độ tuổi khác nhau như

4:45

bước đầu tiên để xây dựng một tập dữ liệu tốt hơn

4:48

bước này được thực hiện bằng cách sử dụng một mô hình gọi là

4:50

tổng có thể lấy khuôn mặt của một người

4:53

được căn giữa hoàn hảo và thuốc thử nó

4:56

sẽ chỉ được sử dụng để xây dựng tập hợp của chúng tôi

4:57

hình ảnh trước và sau khi sử dụng

4:59

để đào tạo người hâm mộ của họ một thuật toán này

5:02

bước này là cần thiết vì các thuật toán của chúng tôi

5:04

quá ngu ngốc để khái quát hóa từ một vài

5:07

ví dụ như con người chúng ta làm và chúng ta không thể

5:10

có được gần như nhiều hình ảnh của thực tế

5:12

khuôn mặt có cùng ánh sáng giống nhau

5:15

bối cảnh và quần áo giống nhau tại

5:17

các độ tuổi khác nhau nó phải là nhân tạo

5:19

tạo ra đóng góp thứ hai của họ là

5:22

sử dụng bộ hình ảnh mới này, họ

5:24

tạo và đào tạo và thuật toán có thể

5:27

để tái tạo quá trình này trên Real World

5:30

cảnh cùng với tính nhất quán tốt

5:32

trên các khung hình video, thuật toán mà chúng

5:35

được xây dựng trên thực tế khá đơn giản và

5:37

tương tự như hầu hết các hình ảnh để hình ảnh

5:39

thuật toán dịch bạn sẽ tìm thấy

5:41

họ sử dụng một kiến trúc unet mà mất

5:44

một tuổi đầu vào và đầu ra và một hình ảnh để

5:48

tìm hiểu cách tốt nhất để biến nó thành

5:50

một hình ảnh mới bằng cách mã hóa nó thành nhiều nhất

5:53

không gian có nghĩa có thể và giải mã

5:55

nó vào hình ảnh mới để mạng

5:58

học cách lấy bất kỳ hình ảnh nào và đưa nó vào

6:00

cái mà chúng ta gọi là không gian tiềm ẩn nơi chúng ta

6:03

có mã hóa của chúng tôi không gian tiềm ẩn này

6:06

về cơ bản chứa tất cả những thứ cần thiết

6:08

thông tin mạng học được cho nó

6:10

nhiệm vụ cụ thể vì vậy về cơ bản các

6:12

các đặc điểm khác nhau của khuôn mặt cho điều này

6:14

cá nhân cụ thể nhưng không

6:16

chứa thông tin về hình ảnh

6:18

nền hoặc các tính năng khác không có

6:20

cần thiết cho reaging sau đó nó mất này

6:23

thông tin để dự đoán một số loại

6:25

mặt nạ tái lão hóa mặt nạ này sẽ chỉ

6:27

chứa các phần cần chỉnh sửa

6:29

trong hình cho hiệu ứng tái lão hóa

6:31

làm cho các nhiệm vụ dễ quản lý hơn nhiều

6:34

hơn là dự đoán toàn bộ hình ảnh một lần

6:36

một lần nữa và chúng tôi chỉ cần hợp nhất dự đoán này

6:39

mặt nạ cho hình ảnh ban đầu của chúng tôi để có được

6:41

tái lão hóa khuôn mặt mặt nạ này là chính

6:43

lý do tại sao cách tiếp cận của họ là rất nhiều

6:45

tốt hơn trong việc bảo vệ người đó

6:47

danh tính kể từ khi họ giới hạn của họ

6:49

Lĩnh vực hoạt động của mạng đối với phép đo

6:51

chỉ sửa đổi chứ không phải toàn bộ

6:54

hình ảnh hoặc thậm chí toàn bộ khuôn mặt khi bạn

6:56

không thể làm cho nó thông minh hơn chỉ làm cho

6:59

cụ thể hơn là chế độ búp bê

7:01

được huấn luyện theo cách tiếp cận súng mà

7:03

có nghĩa là như chúng tôi đã trình bày trong nhiều video, nó

7:05

sẽ sử dụng một mô hình khác mà bạn thấy ở đây

7:08

bên phải được gọi là người phân biệt đối xử

7:10

được đào tạo đồng thời và được sử dụng để

7:12

tính toán nếu hình ảnh tuổi lại được tạo

7:15

tương tự như những gì chúng ta có trong

7:17

tập dữ liệu đào tạo về cơ bản đánh giá nó

7:20

Kết quả hướng dẫn đào tạo và

7:22

voila đây là cách Fran giúp bạn trẻ lại

7:25

khuôn mặt của bạn ở bất cứ đâu giữa 18 và 85

7:28

tất nhiên đây chỉ là một

7:30

tổng quan đơn giản về Disney mới này

7:32

xuất bản nghiên cứu và tôi muốn giới thiệu

7:34

đọc bài báo xuất sắc của họ để biết thêm

7:36

phân tích thông tin và kết quả nếu bạn

7:39

không quen với súng tôi đề nghị

7:40

xem video giới thiệu ngắn tôi

7:43

làm về họ cảm ơn bạn đã xem

7:45

và tôi sẽ gặp bạn lần sau với

7:47

một bài báo tuyệt vời khác

7:48

[Âm nhạc]

7:59

Cảm ơn

[Âm nhạc]