BlobGAN：GAN 迈出的一大步

BlobGAN 允许对图像进行不真实的操作，使控制简单的 blob 变得超级容易。所有这些小斑点代表一个物体，您可以移动它们或使它们变大、变小甚至移除它们，它对图像中它所代表的物体具有相同的效果。这太酷了！ 正如作者在他们的结果中分享的那样，您甚至可以通过复制 blob 创建新颖的图像，在数据集中创建看不见的图像， ！如果我错了，请纠正我，但我相信这是一篇（如果不是第一篇）论文，它使图像的修改变得像移动 blob 一样简单，并允许在训练数据集中看不到的编辑。 例如有两个吊扇的房间 与我们都知道的一些公司相比，你实际上可以玩这个！他们公开分享了他们的代码和一个 Colab 演示，您可以立即尝试。更令人兴奋的是 BlobGAN 的工作原理。在视频中了解更多信息！ 观看视频 参考 ►阅读全文： ://www.louisbouchard.ai/blobgan/ ►Epstein, D.、Park, T.、Zhang, R.、Shechtman, E. 和 Efros, AA, 2022。 BlobGAN：空间分离的场景表示。 arXiv 预印本 arXiv:2205.02837。 ►项目链接： ://dave.ml/blobgan/ ►代码： ://github.com/dave-epstein/blobgan ►Colab 演示： ://colab.research.google.com/drive/1clvh28Yds5CvKsYYENGLS3iIIrlZK4xO?usp=sharing#scrollTo=0QuVIyVplOKu ►我的时事通讯（一个新的 AI 应用程序每周向您的电子邮件解释！）： ://www.louisbouchard.ai/newsletter/ https https https https https 视频记录 0:00 如果您认为枪支的进步 0:02 结束了，你大错特错了 0:04 这是blob枪，这篇新论文是 0:07 只是令人难以置信的blob枪允许 0:09 对图像的虚幻处理变得超级 0:12 轻松控制所有简单的blob 0:14 这些小斑点代表一个物体 0:17 你可以移动它们来制作它们 0:19 更大更小甚至删除它们和 0:22 它会对 0:24 它在图像中表示的对象 this 0:26 就像作者分享的那样酷 0:29 他们的成果你甚至可以创造小说 0:31 通过复制 blubs 创建图像 0:34 像这样在数据集中看不见的图像 0:37 如果房间有两个吊扇，请纠正我 0:40 我错了，但我相信这是其中之一 0:42 不是第一篇论文 0:44 修改图像很简单 0:46 移动 blob 并允许 0:49 培训中未见的编辑 0:51 数据集，你实际上可以玩 0:53 这家与其他公司相比，我们 0:55 都知道他们分享的都是公开的 0:58 还有一个协作演示，您可以立即尝试 1:00 更令人兴奋的是 bloggian 的工作方式 1:03 我们将在几秒钟内深入探讨 1:05 发表一篇优秀的论文，比如 1:07 研究人员需要运行的blobgun 1:09 在多台机器上进行多次实验 1:12 玩枪的人知道多久 1:14 这个过程很痛苦，可以加 1:16 他们的代码在 github 和 1:18 google collab 这意味着他们的代码有 1:21 有趣的是可以重现这个 1:24 这也是一个真正的强项 1:26 剧集的赞助商权重和偏见 1:28 权重和偏见改变了我的生活 1:30 研究员它跟踪你需要的一切 1:32 使您的代码可重现 1:34 超参数 github 提交 1:36 硬件使用指标和 python 1:38 版本让你没有头疼 ok 1:41 有些可能仍然出现，因为 1:43 截止日期或错误，但没有尝试 1:45 重现实验权重和 1:47 偏见在以下情况下也非常有用 1:49 与他人分享您的实验结果 1:51 你的同事一个很好的工具是 1:53 他们可以充当仪表板的报告 1:56 主管 pis 或经理检查如何 1:59 实验意义更大 2:01 研究时间，同时提高你的 2:03 反馈的质量请不要喜欢 2:06 大多数保留代码的研究人员 2:08 秘密并尝试使用权重和偏差 2:10 使用下面的第一个链接 2:13 现在让我们回到我们的纸球枪 2:16 空间分离的场景 2:18 陈述 标题说的是它 2:21 blovkian 使用 blob 来解开 2:23 场景中的物体意味着 2:25 模型学习将每个 blob 与 2:28 场景中的特定对象，例如 2:30 受过训练的床窗或吊扇 2:33 您可以移动 blob 和对象 2:35 周围单独使它们更大或 2:37 较小的复制它们甚至删除 2:40 他们从图片当然是 2:42 结果并不完全现实，但 2:44 正如一个伟大的人所说，想象一下 2:47 这种方法的潜力还有两个 2:49 文件下线 2:51 更酷的是这次培训 2:53 发生在一个无监督的方案中 2:55 意味着你不需要每一个 2:57 像你一样训练它的图像示例 3:00 在监督学习中的一个简单例子 3:02 是监督训练需要 3:05 你有所有想要的 3:06 图像中设置的操作 3:08 教 blob 学习那些 3:10 转换，而在无监督 3:13 学习你不需要这么广泛 3:15 数据和模型将学习实现 3:17 这个任务本身关联着诈唬牌 3:20 没有明确地对自己的对象 3:22 我们用一个标签来训练模型 3:24 枪中的发生器和鉴别器 3:27 时尚我会做一个快速 3:28 概述，因为我已经涵盖了枪支 3:30 以前的许多视频和枪一样 3:33 鉴别器的责任是 3:35 训练生成器创建逼真的 3:38 图像最重要的部分 3:40 架构是我们的生成器 3:42 blobs 和 style gun 2 like decoder i 3:45 还涵盖了基于风格的枪式发电机 3:48 如果您对其他视频感到好奇 3:50 它是如何工作的，但简而言之，我们首先 3:52 创建我们的blob 这是通过采取 3:55 大多数发生器中的随机噪声 3:57 网络并将其映射到 blob 中 4:00 第一个神经网络，这将是 4:02 在培训期间学习，那么您需要 4:05 做不可能的事 4:07 表示并创建真实图像 4:10 这就是甘魔法的地方 4:12 因为你还在听 4:14 请考虑订阅 4:16 频道并喜欢视频，这意味着 4:18 很多，也免费支持我的工作 4:21 我们有一个叫做learn ai的社区 4:23 一起上discord学习交流 4:26 与其他人工智能爱好者一起，我深信不疑 4:28 你会喜欢那里的，我会很高兴的 4:30 遇见你 4:32 我们需要像建筑一样的明星枪 4:34 从这些 blob 创建我们的图像 4:37 当然，我们添加了架构 4:39 我们刚刚创建作为输入的 blob 4:41 而不是通常的随机噪声 4:43 然后我们使用 4:45 鉴别器学习生成 4:47 一旦我们拥有了真实的图像 4:50 足够的结果意味着我们的模型可以 4:52 采用 blob 表示而不是 4:54 噪声并生成图像，但我们仍然 4:57 有问题我们如何解开 4:59 那些 blob 并使它们匹配对象 5:02 这就是我们的美丽 5:04 无监督的方法模型将 5:06 迭代改进，创造现实 5:08 结果，同时也学习如何 5:11 以 a 的形式表示这些图像 5:13 您可以在此处看到的固定数量的 blob 5:15 blubs 是如何经常用来表示的 5:17 相同的物体或非常相似的物体 5:20 在这里的场景中，您还可以看到如何 5:22 同样的手套被用来代表 5:24 要么是一扇窗户，要么是一幅画 5:26 很有意义同样你可以 5:29 看到光几乎总是 5:31 类似地在布卢布堡中表示 5:33 你可以看到 blubs 经常出现 5:35 代表同一地区的 5:37 场景肯定会把你带到 5:39 数据集中图像的相似性 5:42 用于这个实验，瞧这个 5:45 blobgan 是如何学会操纵的 5:47 使用非常直观的 blob 的场景 5:50 我很高兴看到 5:52 结果的真实性提高了保持 5:54 使用这种技术的类似方法 5:57 我们可以设计简单的交互式应用程序 5:59 让设计师和任何人 6:01 轻松操作图像，这非常 6:04 令人兴奋的当然这只是一个 6:06 这篇新论文的概述和我 6:08 强烈建议阅读他们的论文 6:10 为了更好的理解和很多 6:12 有关他们方法的更多详细信息 6:13 他们像我一样做的实施和测试 6:16 早些时候在视频中说他们还 6:18 公开分享他们的代码和颜色 6:20 演示您可以立即尝试所有 6:22 链接在下面的描述中 6:24 感谢您观看到最后 6:27 我下周见 6:28 惊人的纸 [音乐]