4,730 讀數

使用 CodeFormer 将 AI 生成的怪物变成人类

经过 Mike Young5m2023/04/12

太長; 讀書

CodeFormer 是一种强大的人脸修复算法，旨在处理旧照片和 AI 生成的人脸。这是一种图像到图像模型，每次运行成本为 0.0055 美元，在 Nvidia T4 GPU 硬件上的平均运行时间为 10 秒。 CodeFormer 的底层技术是基于一个基于 Transformer 的预测网络。

featured image - 使用 CodeFormer 将 AI 生成的怪物变成人类

人工智能图像修复世界的实践之旅

有时，人工智能生成的照片有点……不稳定。也许它们质量低下，或者可能存在使图像看起来不完美的奇怪伪像。但不要害怕！ CodeFormer 来拯救这一天，帮助您立即修复这些图像。在本指南中，我将向您介绍 CodeFormer 模型，向您展示它的工作原理，并解释如何使用它来修复 AI 生成的略微变形的照片。我将引导您完成我用来清理从另一个 AI 模型获得的奇怪图像的确切步骤，如下所示：

这张图来自奥术扩散模型，我将其用于另一篇博文。我将向您展示如何使用我遵循的相同工作流程来清理您自己生成的图像，甚至将它们放大以使其看起来更好。我将使用 Replicate python SDK 完成此演练，但也支持许多其他语言在复制.

在本指南中，我还将向您展示我们如何使用复制法典找到相似的模型并决定我们喜欢哪一个。 Replicate Codex 是一款免费的社区工具，可让您搜索、筛选、排序和比较 AI 模型，并为您的 AI 项目找到合适的模型。

CodeFormer 在 Replicate Codex 上排名第六。它非常受欢迎，运行量超过 800 万次。因此，可以肯定地说，社区真的很喜欢这个工具——这意味着您可能也想使用它！

关于 CodeFormer

CodeFormer，创建者苏州，是一种强大的面部修复算法，旨在处理旧照片和 AI 生成的面部。这是一种图像到图像模型，每次运行成本为 0.0055 美元，在 Nvidia T4 GPU 硬件上的平均运行时间为 10 秒。

CodeFormer 的底层技术基于基于 Transformer 的预测网络，该网络对代码预测的全局组成和上下文进行建模。这允许模型发现与目标人脸非常接近的自然人脸，即使输入严重退化。还包括一个可控的特征转换模块，可以在保真度和质量之间进行灵活的权衡。您可以阅读有关 CodeFormer 工作原理的更多信息在 Github 上.

了解 CodeFormer 的输入和输出

在我们开始处理这个项目之前，让我们花点时间了解模型期望的输入和输出。

输入

image （文件）：您要修复的输入图像。
codeformer_fidelity （数字）：质量（较低的数字）和保真度（较高的数字）之间的平衡。默认值：0.5。
background_enhance (boolean)：是否使用 Real-ESRGAN 增强背景图像。默认值：假。
face_upsample （布尔值）：是否为高分辨率 AI 创建的图像对恢复的面部进行上采样。默认值：假。
upscale （整数）：图像的最终上采样比例。默认值：2。

产出

模型的输出是表示固定图像的 URI 字符串。它是一个 JSON 对象，格式如下：

 { "type": "string", "title": "Output", "format": "uri" }

现在我们了解了输入和输出，让我们深入研究如何使用 CodeFormer 修复一张扭曲的 AI 生成的照片。

使用 CodeFormer 的分步指南

如果您不喜欢编码，您可以通过他们的 UI 直接与 CodeFormer 在 Replicate 上的“演示”进行交互。你可以使用此链接直接与界面交互并尝试一下！这是使用模型参数并获得一些快速反馈和验证的好方法。

如果您更懂技术并且希望最终在 CodeFormer 之上构建一个很酷的工具，您可以按照这些简单的步骤使用 Replicate 上的模型来恢复和增强您的图像。

确保您有一个 Replicate 帐户和方便的 API 密钥！

第一步：安装Python客户端

这很容易做到：

 pip install replicate

第 2 步：设置您的 API 令牌

您可以从帐户选项卡中的复制中获取此信息。

 export REPLICATE_API_TOKEN=[token]

第 3 步：运行模型

您只需要几行代码即可使用 Replicate python SDK 执行此操作。

 import replicate output = replicate.run( "sczhou/codeformer:7de2ea26c616d5bf2245ad0d5e24f0ff9a6204578a5c876db53142edd9d2cd56", input={"image": open("path/to/file", "rb")} ) print(output)

在此步骤中，我们导入replicate库并调用run函数以使用提供的输入图像执行 CodeFormer 模型。输出将打印为表示固定图像的 URI 字符串。

这是我从这个过程中得到的输出图像，与我开始时可怕的输入相对照。多么大的进步！

更进一步——使用 Replicate Codex 寻找其他图像修复模型

Replicate Codex 是发现满足各种创意需求（包括图像生成、图像到图像转换等）的 AI 模型的绝佳资源。它是 Replicate 上所有模型的完全可搜索、可过滤、标记的数据库，还允许您比较模型并按价格排序或由创建者探索。它是免费的，并且还有一封摘要电子邮件，当新型号出现时会提醒您，以便您试用。

如果您有兴趣寻找与 CodeFormer 类似的模型...

第 1 步：访问 Replicate Codex

前往复制法典开始搜索类似型号。

第 2 步：使用搜索栏

使用页面顶部的搜索栏搜索具有特定关键字的模型，例如“图像修复”、“面部增强”或“超分辨率”。这将向您显示与您的搜索查询相关的模型列表。

第 3 步：过滤结果

在搜索结果页面的右侧，您会发现几个可以帮助您缩小模型列表范围的过滤器。您可以按类型（图像到图像、文本到图像等）、成本、受欢迎程度甚至特定创作者对模型进行过滤和排序。

通过应用这些过滤器，您可以找到最适合您特定需求和偏好的模型。例如，如果您正在寻找最受欢迎的图像修复模型，您可以只搜索然后按运行次数排序。在这种情况下，您会找到 GFPGAN 模型，我也用它来恢复旧照片 - 请参阅我的文章在这里了解更多信息。我在下面包含了一个来自 GFPGAN 的示例恢复，因此您也可以了解它如何处理图像。