BlobGAN：GAN 迈出的一大步

BlobGAN 允许对图像进行不真实的操作，使控制简单的 blob 变得超级容易。所有这些小斑点代表一个物体，您可以移动它们或使它们变大、变小甚至移除它们，它对图像中它所代表的物体具有相同的效果。这太酷了！

正如作者在他们的结果中分享的那样，您甚至可以通过复制 blob 创建新颖的图像，在数据集中创建看不见的图像，！如果我错了，请纠正我，但我相信这是一篇（如果不是第一篇）论文，它使图像的修改变得像移动 blob 一样简单，并允许在训练数据集中看不到的编辑。

与我们都知道的一些公司相比，你实际上可以玩这个！他们公开分享了他们的代码和一个 Colab 演示，您可以立即尝试。更令人兴奋的是 BlobGAN 的工作原理。在视频中了解更多信息！

观看视频

参考

►阅读全文： https ://www.louisbouchard.ai/blobgan/
►Epstein, D.、Park, T.、Zhang, R.、Shechtman, E. 和 Efros, AA, 2022。
BlobGAN：空间分离的场景表示。 arXiv 预印本
arXiv:2205.02837。
►项目链接： https ://dave.ml/blobgan/
►代码： https ://github.com/dave-epstein/blobgan
►Colab 演示： https ://colab.research.google.com/drive/1clvh28Yds5CvKsYYENGLS3iIIrlZK4xO?usp=sharing#scrollTo=0QuVIyVplOKu
►我的时事通讯（一个新的 AI 应用程序每周向您的电子邮件解释！）： https ://www.louisbouchard.ai/newsletter/

视频记录

0:00

如果您认为枪支的进步

0:02

结束了，你大错特错了

0:04

这是blob枪，这篇新论文是

0:07

只是令人难以置信的blob枪允许

0:09

对图像的虚幻处理变得超级

0:12

轻松控制所有简单的blob

0:14

这些小斑点代表一个物体

0:17

你可以移动它们来制作它们

0:19

更大更小甚至删除它们和

0:22

它会对

0:24

它在图像中表示的对象 this

0:26

就像作者分享的那样酷

0:29

他们的成果你甚至可以创造小说

0:31

通过复制 blubs 创建图像

0:34

像这样在数据集中看不见的图像

0:37

如果房间有两个吊扇，请纠正我

0:40

我错了，但我相信这是其中之一

0:42

不是第一篇论文

0:44

修改图像很简单

0:46

移动 blob 并允许

0:49

培训中未见的编辑

0:51

数据集，你实际上可以玩

0:53

这家与其他公司相比，我们

0:55

都知道他们分享的都是公开的

0:58

还有一个协作演示，您可以立即尝试

1:00

更令人兴奋的是 bloggian 的工作方式

1:03

我们将在几秒钟内深入探讨

1:05

发表一篇优秀的论文，比如

1:07

研究人员需要运行的blobgun

1:09

在多台机器上进行多次实验

1:12

玩枪的人知道多久

1:14

这个过程很痛苦，可以加

1:16

他们的代码在 github 和

1:18

google collab 这意味着他们的代码有

1:21

有趣的是可以重现这个

1:24

这也是一个真正的强项

1:26

剧集的赞助商权重和偏见

1:28

权重和偏见改变了我的生活

1:30

研究员它跟踪你需要的一切

1:32

使您的代码可重现

1:34

超参数 github 提交

1:36

硬件使用指标和 python

1:38

版本让你没有头疼 ok

1:41

有些可能仍然出现，因为

1:43

截止日期或错误，但没有尝试

1:45

重现实验权重和

1:47

偏见在以下情况下也非常有用

1:49

与他人分享您的实验结果

1:51

你的同事一个很好的工具是

1:53

他们可以充当仪表板的报告

1:56

主管 pis 或经理检查如何

1:59

实验意义更大

2:01

研究时间，同时提高你的

2:03

反馈的质量请不要喜欢

2:06

大多数保留代码的研究人员

2:08

秘密并尝试使用权重和偏差

2:10

使用下面的第一个链接

2:13

现在让我们回到我们的纸球枪

2:16

空间分离的场景

2:18

陈述 标题说的是它

2:21

blovkian 使用 blob 来解开

2:23

场景中的物体意味着

2:25

模型学习将每个 blob 与

2:28

场景中的特定对象，例如

2:30

受过训练的床窗或吊扇

2:33

您可以移动 blob 和对象

2:35

周围单独使它们更大或

2:37

较小的复制它们甚至删除

2:40

他们从图片当然是

2:42

结果并不完全现实，但

2:44

正如一个伟大的人所说，想象一下

2:47

这种方法的潜力还有两个

2:49

文件下线

2:51

更酷的是这次培训

2:53

发生在一个无监督的方案中

2:55

意味着你不需要每一个

2:57

像你一样训练它的图像示例

3:00

在监督学习中的一个简单例子

3:02

是监督训练需要

3:05

你有所有想要的

3:06

图像中设置的操作

3:08

教 blob 学习那些

3:10

转换，而在无监督

3:13

学习你不需要这么广泛

3:15

数据和模型将学习实现

3:17

这个任务本身关联着诈唬牌

3:20

没有明确地对自己的对象

3:22

我们用一个标签来训练模型

3:24

枪中的发生器和鉴别器

3:27

时尚我会做一个快速

3:28

概述，因为我已经涵盖了枪支

3:30

以前的许多视频和枪一样

3:33

鉴别器的责任是

3:35

训练生成器创建逼真的

3:38

图像最重要的部分

3:40

架构是我们的生成器

3:42

blobs 和 style gun 2 like decoder i

3:45

还涵盖了基于风格的枪式发电机

3:48

如果您对其他视频感到好奇

3:50

它是如何工作的，但简而言之，我们首先

3:52

创建我们的blob 这是通过采取

3:55

大多数发生器中的随机噪声

3:57

网络并将其映射到 blob 中

4:00

第一个神经网络，这将是

4:02

在培训期间学习，那么您需要

4:05

做不可能的事

4:07

表示并创建真实图像

4:10

这就是甘魔法的地方

4:12

因为你还在听

4:14

请考虑订阅

4:16

频道并喜欢视频，这意味着

4:18

很多，也免费支持我的工作

4:21

我们有一个叫做learn ai的社区

4:23

一起上discord学习交流

4:26

与其他人工智能爱好者一起，我深信不疑

4:28

你会喜欢那里的，我会很高兴的

4:30

遇见你

4:32

我们需要像建筑一样的明星枪

4:34

从这些 blob 创建我们的图像

4:37

当然，我们添加了架构

4:39

我们刚刚创建作为输入的 blob

4:41

而不是通常的随机噪声

4:43

然后我们使用

4:45

鉴别器学习生成

4:47

一旦我们拥有了真实的图像

4:50

足够的结果意味着我们的模型可以

4:52

采用 blob 表示而不是

4:54

噪声并生成图像，但我们仍然

4:57

有问题我们如何解开

4:59

那些 blob 并使它们匹配对象

5:02

这就是我们的美丽

5:04

无监督的方法模型将

5:06

迭代改进，创造现实

5:08

结果，同时也学习如何

5:11

以 a 的形式表示这些图像

5:13

您可以在此处看到的固定数量的 blob

5:15

blubs 是如何经常用来表示的

5:17

相同的物体或非常相似的物体

5:20

在这里的场景中，您还可以看到如何

5:22

同样的手套被用来代表

5:24

要么是一扇窗户，要么是一幅画

5:26

很有意义同样你可以

5:29

看到光几乎总是

5:31

类似地在布卢布堡中表示

5:33

你可以看到 blubs 经常出现

5:35

代表同一地区的

5:37

场景肯定会把你带到

5:39

数据集中图像的相似性

5:42

用于这个实验，瞧这个

5:45

blobgan 是如何学会操纵的

5:47

使用非常直观的 blob 的场景

5:50

我很高兴看到

5:52

结果的真实性提高了保持

5:54

使用这种技术的类似方法

5:57

我们可以设计简单的交互式应用程序

5:59

让设计师和任何人

6:01

轻松操作图像，这非常

6:04

令人兴奋的当然这只是一个

6:06

这篇新论文的概述和我

6:08

强烈建议阅读他们的论文

6:10

为了更好的理解和很多

6:12

有关他们方法的更多详细信息

6:13

他们像我一样做的实施和测试

6:16

早些时候在视频中说他们还

6:18

公开分享他们的代码和颜色

6:20

演示您可以立即尝试所有

6:22

链接在下面的描述中

6:24

感谢您观看到最后

6:27

我下周见

6:28

惊人的纸

[音乐]