CodeFormer を使用して、AI によって生成された怪物を人間に変える

AI 画像復元の世界を体験する旅

ときどき、AI が生成した写真が少し出てくることがあります。品質が低いか、画像が完璧とは言えない奇妙なアーティファクトが含まれている可能性があります。しかし、恐れる必要はありません。 CodeFormer はその日を救うためにここにあり、それらの画像をすぐに修正するのに役立ちます。このガイドでは、CodeFormer モデルを紹介し、それがどのように機能するかを示し、それを使用して AI が生成したわずかに歪んだ写真を修正する方法を説明します。以下に示すように、別の AI モデルから取得した奇妙な画像をクリーンアップするために使用した正確な手順を順を追って説明します。

この画像は、秘術拡散別のブログ投稿で使用していたモデル。私が従ったのと同じワークフローを使用して、生成された独自の画像をクリーンアップし、見栄えを良くするためにアップスケールする方法を紹介します。ここでは、Replicate python SDK を使用してこのウォークスルーを行いますが、他にも多くの言語がサポートされています。レプリケート時.

このガイドでは、使用方法も示しますコーデックスを複製同様のモデルを見つけて、どれが好きかを決定します。 Replicate Codex は、AI モデルを検索、フィルター処理、並べ替え、比較して、AI プロジェクトに適したモデルを見つけることができる無料のコミュニティ ツールです。

CodeFormer は、Replicate Codex で 6 位にランクされています。 800万回を超える超人気です。したがって、コミュニティがこのツールを本当に気に入っていると言っても過言ではありません。

CodeFormerについて

によって作成されたCodeFormer蘇州は、古い写真と AI によって生成された顔の両方で機能するように設計された、堅牢な顔復元アルゴリズムです。これは、実行あたり 0.0055 ドルの費用がかかる Image-to-Image モデルであり、Nvidia T4 GPU ハードウェアでの平均実行時間は 10 秒です。

CodeFormer の基盤となるテクノロジーは、トランスフォーマー ベースの予測ネットワークに基づいており、コード予測のためにグローバルな構成とコンテキストをモデル化します。これにより、モデルは、入力が大幅に劣化している場合でも、ターゲットの顔に非常に近い自然な顔を検出できます。制御可能な特徴変換モジュールも含まれており、忠実度と品質の間の柔軟なトレードオフを可能にします。 CodeFormer の仕組みについて詳しく読むことができますGithubで.

CodeFormer の入力と出力を理解する

このプロジェクトに取り掛かる前に、モデルが期待する入力と出力を理解しておきましょう。

入力

1. image (file): 修正したい入力画像。
2. codeformer_fidelity (数値): 品質 (低い数値) と忠実度 (高い数値) のバランス。デフォルト値: 0.5。
3. background_enhance (boolean): Real-ESRGAN で背景画像を強化するかどうか。デフォルト値: false。
4. face_upsample (boolean): 高解像度の AI 作成画像用に復元された顔をアップサンプリングするかどうか。デフォルト値: false。
5. upscale (整数): 画像の最終的なアップサンプリング スケール。デフォルト値: 2。

出力

モデルの出力は、固定イメージを表す URI 文字列です。これは JSON オブジェクトであり、次の形式のようになります。

 { "type": "string", "title": "Output", "format": "uri" }

入力と出力を理解したところで、CodeFormer を使用して歪んだ AI 生成写真を修正してみましょう。

CodeFormer を使用するためのステップバイステップ ガイド

コーディングに慣れていない場合は、Replicate の UI を介して CodeFormer の「デモ」を直接操作できます。あなたはできるこのリンクを使用してくださいインターフェイスを直接操作して試してみてください。これは、モデルのパラメーターを操作して、フィードバックと検証をすばやく取得するための優れた方法です。

より技術的で、最終的に CodeFormer の上にクールなツールを構築することを検討している場合は、次の簡単な手順に従って、Replicate のモデルを使用してイメージを復元および強化できます。

Replicate アカウントと API キーが手元にあることを確認してください。

ステップ 1: Python クライアントをインストールする

これはとても簡単です:

 pip install replicate

ステップ 2: API トークンを設定する

これは、[アカウント] タブの [複製] から取得できます。

 export REPLICATE_API_TOKEN=[token]

ステップ 3: モデルを実行する

Replicate python SDK でこれを行うには、数行のコードが必要です。

 import replicate output = replicate.run( "sczhou/codeformer:7de2ea26c616d5bf2245ad0d5e24f0ff9a6204578a5c876db53142edd9d2cd56", input={"image": open("path/to/file", "rb")} ) print(output)

このステップでは、 replicateライブラリをインポートし、 run関数を呼び出して、提供された入力イメージで CodeFormer モデルを実行します。出力は、固定イメージを表す URI 文字列として出力されます。

これは、このプロセスから得た出力画像であり、最初に使用した恐ろしい入力に対して表示されています。なんという改善！

さらに進める - Replicate Codex で他の画像復元モデルを見つける

Replicate Codex は、画像生成、画像から画像への変換など、さまざまなクリエイティブ ニーズに対応する AI モデルを発見するための素晴らしいリソースです。これは、Replicate のすべてのモデルの完全に検索、フィルター、タグ付けされたデータベースであり、モデルを比較して価格で並べ替えたり、作成者別に探索したりすることもできます。無料で、新しいモデルが出たときに通知するダイジェスト メールも付いているので、試してみることができます。

CodeFormer に類似したモデルを見つけることに興味がある場合は...

ステップ 1: レプリケート コーデックスにアクセスする

に向かうコーデックスを複製類似モデルの検索を開始します。

ステップ 2: 検索バーを使用する

ページ上部の検索バーを使用して、「画像の復元」、「顔の強調」、「超解像」などの特定のキーワードでモデルを検索します。これにより、検索クエリに関連するモデルのリストが表示されます。

ステップ 3: 結果をフィルタリングする

検索結果ページの右側には、モデルのリストを絞り込むのに役立ついくつかのフィルターがあります。モデルの種類 (画像から画像、テキストから画像など)、コスト、人気、または特定の作成者によって、モデルをフィルター処理および並べ替えることができます。

これらのフィルターを適用することで、特定のニーズや好みに最適なモデルを見つけることができます。たとえば、最も人気のある画像復元モデルを探している場合は、検索して実行数で並べ替えることができます。その場合、古い写真の復元にも使用した GFPGAN モデルが見つかります。 ここに私の書き込み詳細については。以下に GFPGAN からの復元の例を含めたので、画像の処理方法も理解できます。

結論

このガイドでは、CodeFormer モデルを調べ、その入力と出力について学び、それを使用して歪んだ AI 生成写真を修正する方法を示しました。また、Replicate Codex の検索機能とフィルター機能を活用して類似のモデルを見つけ、それらの出力を比較する方法についても説明しました。これにより、AI を利用した画像の強調と復元の世界で視野を広げることができます。

このガイドが、AI の創造的な可能性を探求し、あなたの想像力に命を吹き込むきっかけになったことを願っています。読んでくれてありがとう。 Replicate Codex を使用して、AI の世界を拡張し、探索してください!

こちらにも掲載