Transformer des monstruosités générées par l'IA en humains avec CodeFormer

Un voyage pratique à travers le monde de la restauration d'images par IA

Parfois, les photos générées par l'IA sortent un peu... bancales. Peut-être qu'ils sont de mauvaise qualité, ou peut-être qu'il y a des artefacts étranges qui rendent l'image moins que parfaite. Mais n'ayez crainte ! CodeFormer est là pour vous sauver la mise en vous aidant à réparer ces images en un rien de temps. Dans ce guide, je vais vous présenter le modèle CodeFormer, vous montrer comment il fonctionne et vous expliquer comment l'utiliser pour corriger une photo générée par l'IA légèrement déformée. Je vais vous guider à travers les étapes exactes que j'ai utilisées pour nettoyer l'image étrange que j'ai obtenue d'un autre modèle d'IA, illustré ci-dessous :

Cette image provient du arcane-diffusion modèle, que j'utilisais pour un autre article de blog. Je vais vous montrer comment vous pouvez utiliser le même flux de travail que j'ai suivi pour nettoyer vos propres images générées et même les mettre à l'échelle pour qu'elles soient plus belles. Je vais faire cette procédure pas à pas en utilisant le SDK Replicate python, mais il existe également de nombreux autres langages pris en charge sur Répliquer .

Dans ce guide, je vais également vous montrer comment nous pouvons utiliser Répliquer le codex pour trouver des modèles similaires et décider lequel nous plaît. Replicate Codex est un outil communautaire gratuit qui vous permet de rechercher, filtrer, trier et comparer des modèles d'IA et de trouver celui qui convient à votre projet d'IA.

CodeFormer est classé 6ème sur Replicate Codex. C'est super populaire, avec plus de 8 millions de courses. Donc, on peut dire que la communauté aime vraiment cet outil - et cela signifie que vous aimerez peut-être l'utiliser aussi !

À propos de CodeFormer

CodeFormer, créé par Sczhou , est un algorithme de restauration de visage robuste conçu pour fonctionner avec les vieilles photos et les visages générés par l'IA. Il s'agit d'un modèle Image-to-Image qui coûte 0,0055 $ par exécution, avec une durée d'exécution moyenne de 10 secondes sur le matériel GPU Nvidia T4.

La technologie sous-jacente de CodeFormer est basée sur un réseau de prédiction basé sur Transformer, qui modélise la composition globale et le contexte pour la prédiction de code. Cela permet au modèle de découvrir des visages naturels qui se rapprochent étroitement des visages cibles, même lorsque les entrées sont fortement dégradées. Un module de transformation de fonctionnalités contrôlable est également inclus, ce qui permet un compromis flexible entre fidélité et qualité. Vous pouvez en savoir plus sur le fonctionnement de CodeFormer sur Github .

Comprendre les entrées et les sorties de CodeFormer

Avant de commencer à travailler sur ce projet, prenons une seconde pour comprendre les entrées et les sorties attendues par le modèle.

Contributions

1. image (fichier) : l'image d'entrée que vous souhaitez corriger.
2. codeformer_fidelity (nombre) : un équilibre entre la qualité (nombre inférieur) et la fidélité (nombre supérieur). Valeur par défaut : 0,5.
3. background_enhance (booléen) : s'il faut améliorer l'image d'arrière-plan avec Real-ESRGAN. Valeur par défaut : faux.
4. face_upsample (booléen) : s'il faut suréchantillonner les visages restaurés pour les images haute résolution créées par l'IA. Valeur par défaut : faux.
5. upscale (entier) : l'échelle de suréchantillonnage finale de l'image. Valeur par défaut : 2.

Les sorties

La sortie du modèle est une chaîne URI représentant l'image fixe. C'est un objet JSON et ressemble au format ci-dessous :

 { "type": "string", "title": "Output", "format": "uri" }

Maintenant que nous comprenons les entrées et les sorties, plongeons dans l'utilisation de CodeFormer pour réparer une photo générée par l'IA déformée.

Un guide étape par étape pour utiliser CodeFormer

Si vous n'êtes pas prêt à coder, vous pouvez interagir directement avec la "démo" de CodeFormer sur Replicate via leur interface utilisateur. Tu peux utilisez ce lien pour interagir directement avec l'interface et l'essayer ! C'est une bonne façon de jouer avec les paramètres du modèle et d'obtenir des commentaires et une validation rapides.

Si vous êtes plus technique et que vous cherchez à créer un outil sympa sur CodeFormer, vous pouvez suivre ces étapes simples pour restaurer et améliorer vos images à l'aide du modèle sur Replicate.

Assurez-vous d'avoir un compte Replicate et votre clé API à portée de main !

Étape 1 : Installez le client Python

C'est assez facile à faire :

 pip install replicate

Étape 2 : Configurez votre jeton d'API

Vous pouvez l'obtenir à partir de Replicate dans l'onglet de votre compte.

 export REPLICATE_API_TOKEN=[token]

Étape 3 : exécuter le modèle

Vous avez juste besoin de quelques lignes de code pour le faire avec le SDK Replicate python.

 import replicate output = replicate.run( "sczhou/codeformer:7de2ea26c616d5bf2245ad0d5e24f0ff9a6204578a5c876db53142edd9d2cd56", input={"image": open("path/to/file", "rb")} ) print(output)

Dans cette étape, nous importons la bibliothèque replicate et appelons la fonction run pour exécuter le modèle CodeFormer avec l'image d'entrée fournie. La sortie sera imprimée sous la forme d'une chaîne URI représentant l'image fixe.

Voici l'image de sortie que j'ai obtenue de ce processus, comparée à l'entrée hideuse avec laquelle j'ai commencé. Quelle amélioration !

Aller plus loin - Trouver d'autres modèles de restauration d'images avec le codex répliqué

Replicate Codex est une ressource fantastique pour découvrir des modèles d'IA qui répondent à divers besoins créatifs, notamment la génération d'images, la conversion d'image en image et bien plus encore. Il s'agit d'une base de données entièrement consultable, filtrable et étiquetée de tous les modèles sur Replicate, et vous permet également de comparer les modèles et de trier par prix ou d'explorer par le créateur. C'est gratuit, et il contient également un e-mail récapitulatif qui vous avertira lorsque de nouveaux modèles sortiront afin que vous puissiez les essayer.

Si vous souhaitez trouver des modèles similaires à CodeFormer...

Étape 1 : Visitez la réplique du codex

Dirigez-vous vers Répliquer le codex pour commencer votre recherche de modèles similaires.

Étape 2 : Utilisez la barre de recherche

Utilisez la barre de recherche en haut de la page pour rechercher des modèles avec des mots-clés spécifiques, tels que "restauration d'image", "amélioration du visage" ou "super-résolution". Cela vous montrera une liste de modèles liés à votre requête de recherche.

Étape 3 : filtrer les résultats

Sur le côté droit de la page des résultats de recherche, vous trouverez plusieurs filtres qui peuvent vous aider à affiner la liste des modèles. Vous pouvez filtrer et trier les modèles par type (image à image, texte à image, etc.), coût, popularité ou même créateurs spécifiques.

En appliquant ces filtres, vous pouvez trouver les modèles qui correspondent le mieux à vos besoins et préférences spécifiques. Par exemple, si vous recherchez un modèle de restauration d'image le plus populaire, vous pouvez simplement rechercher puis trier par nombre d'exécutions. Dans ce cas, vous trouverez le modèle GFPGAN, que j'ai également utilisé pour restaurer d'anciennes photos - voir ma rédaction ici pour plus d'informations. J'ai inclus un exemple de restauration de GFPGAN ci-dessous afin que vous puissiez également avoir une idée de la façon dont il gère les images.

Conclusion

Dans ce guide, nous avons exploré le modèle CodeFormer, découvert ses entrées et ses sorties, et montré comment l'utiliser pour corriger des photos déformées générées par l'IA. Nous avons également discuté de la manière d'exploiter les fonctionnalités de recherche et de filtrage dans Replicate Codex pour trouver des modèles similaires et comparer leurs résultats, ce qui nous permet d'élargir nos horizons dans le monde de l'amélioration et de la restauration d'images alimentées par l'IA.

J'espère que ce guide vous a inspiré à explorer les possibilités créatives de l'IA et à donner vie à votre imagination. Merci d'avoir lu. Bonne amélioration d'image et exploration du monde de l'IA avec Replicate Codex !

Également publié ici