Mit CodeFormer KI-generierte Monstrositäten in Menschen verwandeln

Eine praktische Reise durch die Welt der KI-Bildwiederherstellung

Manchmal wirken KI-generierte Fotos etwas … wackelig. Möglicherweise ist die Qualität gering oder es gibt seltsame Artefakte, die das Bild nicht perfekt aussehen lassen. Aber keine Angst! CodeFormer rettet den Tag und hilft Ihnen, diese Bilder im Handumdrehen zu reparieren. In dieser Anleitung stelle ich Ihnen das CodeFormer-Modell vor, zeige Ihnen, wie es funktioniert, und erkläre, wie Sie damit ein leicht verzerrtes KI-generiertes Foto korrigieren können. Ich werde Sie durch die genauen Schritte führen, mit denen ich das seltsame Bild bereinigt habe, das ich von einem anderen KI-Modell erhalten habe (siehe unten):

Dieses Bild stammt von Arkane Verbreitung Modell, das ich für einen anderen Blog-Beitrag verwendet habe. Ich zeige Ihnen, wie Sie mit demselben Arbeitsablauf, den ich befolgt habe, Ihre selbst erstellten Bilder bereinigen und sie sogar hochskalieren können, damit sie besser aussehen. Ich werde diese exemplarische Vorgehensweise mit dem Replicate Python SDK durchführen, aber es werden auch viele andere Sprachen unterstützt auf Replizieren .

In diesem Ratgeber zeige ich Ihnen auch, wie wir es nutzen können Kodex replizieren um ähnliche Modelle zu finden und zu entscheiden, welches uns gefällt. Replicate Codex ist ein kostenloses Community-Tool, mit dem Sie KI-Modelle suchen, filtern, sortieren und vergleichen und das richtige Modell für Ihr KI-Projekt finden können.

CodeFormer belegt bei Replicate Codex den 6. Platz. Es ist mit über 8 Millionen Läufen sehr beliebt. Man kann also mit Sicherheit sagen, dass die Community dieses Tool wirklich mag – und das bedeutet, dass Sie es vielleicht auch gerne verwenden möchten!

Über CodeFormer

CodeFormer, erstellt von sczhou ist ein robuster Gesichtswiederherstellungsalgorithmus, der sowohl mit alten Fotos als auch mit KI-generierten Gesichtern funktioniert. Es handelt sich um ein Image-to-Image-Modell, das 0,0055 US-Dollar pro Ausführung kostet, mit einer durchschnittlichen Laufzeit von 10 Sekunden auf Nvidia T4-GPU-Hardware.

Die zugrunde liegende Technologie von CodeFormer basiert auf einem Transformer-basierten Vorhersagenetzwerk, das die globale Zusammensetzung und den Kontext für die Codevorhersage modelliert. Dadurch kann das Modell natürliche Gesichter entdecken, die den Zielgesichtern sehr nahe kommen, selbst wenn die Eingaben stark beeinträchtigt sind. Außerdem ist ein steuerbares Feature-Transformationsmodul enthalten, das einen flexiblen Kompromiss zwischen Wiedergabetreue und Qualität ermöglicht. Erfahren Sie mehr über die Funktionsweise von CodeFormer auf Github .

Die Eingaben und Ausgaben von CodeFormer verstehen

Bevor wir mit der Arbeit an diesem Projekt beginnen, nehmen wir uns einen Moment Zeit, um die Eingaben und Ausgaben zu verstehen, die das Modell erwartet.

Eingaben

1. image (Datei): Das Eingabebild, das Sie korrigieren möchten.
2. codeformer_fidelity (Zahl): Ein Gleichgewicht zwischen Qualität (niedrigere Zahl) und Treue (höhere Zahl). Standardwert: 0,5.
3. background_enhance (boolean): Ob das Hintergrundbild mit Real-ESRGAN verbessert werden soll. Standardwert: false.
4. face_upsample (boolean): Gibt an, ob wiederhergestellte Gesichter für hochauflösende, von der KI erstellte Bilder hochgerechnet werden sollen. Standardwert: false.
5. upscale (Ganzzahl): Der endgültige Upsampling-Maßstab des Bildes. Standardwert: 2.

Ausgänge

Die Ausgabe des Modells ist eine URI-Zeichenfolge, die das feste Bild darstellt. Es ist ein JSON-Objekt und sieht wie folgt aus:

 { "type": "string", "title": "Output", "format": "uri" }

Nachdem wir nun die Ein- und Ausgaben verstanden haben, wollen wir uns mit der Verwendung von CodeFormer befassen, um ein verzerrtes, von der KI generiertes Foto zu korrigieren.

Eine Schritt-für-Schritt-Anleitung zur Verwendung von CodeFormer

Wenn Sie keine Lust auf Codierung haben, können Sie über die Benutzeroberfläche direkt mit der „Demo“ von CodeFormer auf Replicate interagieren. Du kannst Benutzen Sie diesen Link um direkt mit der Schnittstelle zu interagieren und es auszuprobieren! Dies ist eine gute Möglichkeit, mit den Parametern des Modells zu experimentieren und schnelles Feedback und eine Validierung zu erhalten.

Wenn Sie eher technisch versiert sind und irgendwann ein cooles Tool auf CodeFormer aufbauen möchten, können Sie diese einfachen Schritte befolgen, um Ihre Bilder mithilfe des Modells auf Replicate wiederherzustellen und zu verbessern.

Stellen Sie sicher, dass Sie ein Replicate-Konto und Ihren API-Schlüssel zur Hand haben!

Schritt 1: Installieren Sie den Python-Client

Das geht ganz einfach:

 pip install replicate

Schritt 2: Richten Sie Ihr API-Token ein

Sie können dies über „Replizieren“ auf der Registerkarte „Konto“ abrufen.

 export REPLICATE_API_TOKEN=[token]

Schritt 3: Führen Sie das Modell aus

Dazu benötigen Sie nur ein paar Codezeilen mit dem Replicate Python SDK.

 import replicate output = replicate.run( "sczhou/codeformer:7de2ea26c616d5bf2245ad0d5e24f0ff9a6204578a5c876db53142edd9d2cd56", input={"image": open("path/to/file", "rb")} ) print(output)

In diesem Schritt importieren wir die replicate und rufen die run auf, um das CodeFormer-Modell mit dem bereitgestellten Eingabebild auszuführen. Die Ausgabe wird als URI-String gedruckt, der das feste Bild darstellt.

Hier ist das Ausgabebild, das ich aus diesem Prozess erhalten habe, im Vergleich zu den schrecklichen Eingaben, mit denen ich begonnen habe. Was für eine Verbesserung!

Gehen Sie noch einen Schritt weiter – Finden Sie andere Bildwiederherstellungsmodelle mit Replicate Codex

Replicate Codex ist eine fantastische Ressource zum Entdecken von KI-Modellen, die verschiedene kreative Anforderungen erfüllen, darunter Bildgenerierung, Bild-zu-Bild-Konvertierung und vieles mehr. Es handelt sich um eine vollständig durchsuchbare, filterbare und mit Tags versehene Datenbank aller Modelle auf Replicate. Außerdem können Sie Modelle vergleichen und nach Preis sortieren oder nach dem Ersteller erkunden. Es ist kostenlos und verfügt außerdem über eine Zusammenfassungs-E-Mail, die Sie benachrichtigt, wenn neue Modelle auf den Markt kommen, damit Sie sie ausprobieren können.

Wenn Sie daran interessiert sind, ähnliche Modelle wie CodeFormer zu finden ...

Schritt 1: Besuchen Sie Replicate Codex

Geh 'rüber zu Kodex replizieren um mit der Suche nach ähnlichen Modellen zu beginnen.

Schritt 2: Verwenden Sie die Suchleiste

Verwenden Sie die Suchleiste oben auf der Seite, um mit bestimmten Schlüsselwörtern nach Modellen zu suchen, z. B. „Bildwiederherstellung“, „Gesichtsverbesserung“ oder „Superauflösung“. Dadurch wird Ihnen eine Liste von Modellen angezeigt, die mit Ihrer Suchanfrage in Zusammenhang stehen.

Schritt 3: Filtern Sie die Ergebnisse

Auf der rechten Seite der Suchergebnisseite finden Sie mehrere Filter, mit denen Sie die Liste der Modelle eingrenzen können. Sie können Modelle nach Typ (Bild-zu-Bild, Text-zu-Bild usw.), Kosten, Beliebtheit oder sogar nach bestimmten Erstellern filtern und sortieren.

Durch die Anwendung dieser Filter können Sie die Modelle finden, die Ihren spezifischen Bedürfnissen und Vorlieben am besten entsprechen. Wenn Sie beispielsweise nach einem Bildwiederherstellungsmodell suchen, das am beliebtesten ist, können Sie einfach suchen und dann nach der Anzahl der Durchläufe sortieren. In diesem Fall finden Sie das GFPGAN-Modell, mit dem ich auch alte Fotos wiederhergestellt habe – siehe mein Beitrag hier für mehr Informationen. Ich habe unten eine Beispielwiederherstellung von GFPGAN beigefügt, damit Sie auch einen Eindruck davon bekommen, wie es mit Bildern umgeht.

Abschluss

In diesem Leitfaden haben wir das CodeFormer-Modell untersucht, seine Ein- und Ausgaben kennengelernt und gezeigt, wie man es zur Korrektur verzerrter KI-generierter Fotos verwendet. Wir haben auch besprochen, wie wir die Such- und Filterfunktionen in Replicate Codex nutzen können, um ähnliche Modelle zu finden und ihre Ergebnisse zu vergleichen, wodurch wir unseren Horizont in der Welt der KI-gestützten Bildverbesserung und -wiederherstellung erweitern können.

Ich hoffe, dieser Leitfaden hat Sie dazu inspiriert, die kreativen Möglichkeiten der KI zu erkunden und Ihre Fantasie zum Leben zu erwecken. Danke fürs Lesen. Viel Spaß beim Verbessern von Bildern und beim Erkunden der Welt der KI mit Replicate Codex!

Auch hier veröffentlicht