介绍 BANMo：从猫图片到可变形 3D 模型

这是 BANMo，这是我几周前参加的 CVPR 2022 活动中分享的一种受 NeRF 启发的方法。

BANMo 拍照以创建可变形的 3D 模型。如果您从事视觉特效、游戏开发或创建 3D 场景，这个新的 AI 模型非常适合您。如果很快在您的创建流程中看到此模型或类似方法，我不会感到惊讶，这样您就可以在制作 3D 模型上花费更少的时间、金钱和精力。在视频中了解更多...

参考

►阅读全文： https ://www.louisbouchard.ai/banmo/
►项目页面： https ://banmo-www.github.io/
►论文：Yang, G.、Vo, M.、Neverova, N.、Ramanan, D.、Vedaldi, A. 和
Joo, H., 2022. Banmo：从许多人身上构建可动画的 3d 神经模型
休闲视频。在 IEEE/CVF 计算机会议论文集中
视觉和模式识别（第 2863-2873 页）。
►代码： https ://github.com/facebookresearch/banmo
►My Newsletter（每周在您的电子邮件中解释的新 AI 应用程序！）： https ://www.louisbouchard.ai/newsletter/

视频记录

0:00

如果您从事 VFX 游戏开发或

0:02

创建 3D 场景这个新的 AI 模型是

0:06

对你来说，我不会感到惊讶

0:08

此模型或您的类似方法

0:10

创建管道很快就允许

0:12

你花更少的时间金钱和

0:14

努力制作 3D 模型看看

0:18

这当然不是完美的，但是

0:20

用一个随意的视频立即完成

0:23

取自手机，不需要

0:25

昂贵的 midi 相机设置或复杂

0:28

深度传感器背后的美女之一

0:31

人工智能使复杂和昂贵

0:33

可供初创公司使用的技术是

0:35

个人创建项目

0:37

只用专业品质的结果

0:40

拍摄一个物体并将其转化为

0:42

可以立即导入的模型

0:45

然后微调细节，如果你是

0:46

不满意，但整个模型会

0:49

几秒钟之内到那里什么

0:51

你看到的是结果

0:52

最近分享了一款名为banmu的AI模型

0:55

在我参加的 cvpr 活动中，我将

0:58

老实说，他们引起了我的注意，因为

1:00

因为猫仍然不是

1:02

完全点击诱饵报纸和

1:05

方法其实挺棒的

1:07

不像其他 Nerf 方法

1:09

在 3D 模型中重建对象

1:11

禁止模式处理任务召回

1:13

铰接式 3D 形状重建

1:16

这意味着它适用于视频和

1:18

图片来模拟可变形物体和

1:22

什么比猫更容易变形

1:24

有什么比看到更酷的

1:26

结果是了解它是如何工作的

1:29

模型开头随便几个

1:31

拍摄您想要的对象的视频

1:34

捕捉显示它如何移动和变形

1:36

本身就是您要发送的地方

1:38

你的猫在花瓶里啜饮的视频

1:41

竹子带着这些视频来创作

1:44

他们称之为规范空间

1:47

这个初步结果会给你

1:49

关于物体形状的信息

1:51

外观和发音是

1:53

模型对对象的理解

1:55

塑造它在空间中的移动方式和

1:57

它属于一块砖和一块

1:59

那些大球所描述的血液和

2:01

各种颜色然后采用这个 3D

2:04

表示并应用您的任何姿势

2:06

想要模拟猫的行为和

2:08

贴近现实的表达方式

2:11

可能看起来像魔术不是吗

2:13

那是因为我们还没有在这里完成

2:16

快速从视频转到模型

2:18

但这就是有趣的地方

2:20

那么他们用什么来从图像中获取

2:23

在此表示的视频

2:25

你猜对了的规范空间

2:28

如果您不熟悉类似 nerf 的模型

2:30

用这种方法，我强烈邀请你

2:32

观看我制作的众多视频之一

2:34

覆盖他们，然后回来休息

2:36

插入受 Nerf 启发的方法将

2:39

必须预测三个基本要素

2:40

用于每个属性

2:42

三维像素或体素

2:46

如您在此处看到的对象颜色密度和

2:49

使用神经网络的规范嵌入

2:51

为此训练网络以实现 3D

2:54

具有逼真关节的模型和

2:56

运动板木使用相机的空间

2:59

在多个帧中的位置

3:01

了解它所在的数组

3:03

拍摄允许它重建和

3:05

通过迭代改进 3D 模型

3:07

视频的所有帧类似于什么

3:10

我们将了解物体的移动

3:12

它四处看看

3:14

指示这部分已完成

3:16

通过观察视频自动

3:18

由于规范嵌入，我们

3:20

刚刚提到这个嵌入将

3:22

包含每个的所有必要功能

3:24

允许您查询的对象的一部分

3:27

有一个新的所需位置

3:29

对象并强制连贯

3:31

重建给定观察它

3:33

将基本上映射通缉的位置

3:35

从图片到 3D 模型

3:38

正确的观点和照明

3:40

条件和提供 Q 是

3:42

最后需要的形状和关节

3:45

值得一提的是我们的颜色

3:47

颜色代表猫的身体

3:49

不同的属性共享

3:51

我们使用的视频和图像这是

3:54

我们将学习和关注的功能

3:57

从所有人那里获取有价值的信息

3:59

视频并将它们合并到相同的 3D 中

4:01

模型来改善我们的结果，瞧

4:05

你最终得到了这个美丽的 3D

4:08

您可以使用的可变形卡路里削减

4:10

你的申请当然是

4:13

只是对banmu的概述，我邀请

4:15

您可以阅读本文以更深入地了解

4:17

了解您应该了解的模型

4:19

一定要订阅频道，如果

4:21

这种人工智能新闻让你感兴趣

4:23

我正在分享类似的令人兴奋的方法

4:26

每周感谢您的收看，直到

4:28

结束，我下周见

4:30

用另一张神奇的纸

4:32

外国的

4:36

[音乐]