Transformando monstruosidades geradas por IA em humanos com o CodeFormer

Uma jornada prática pelo mundo da restauração de imagens com IA

Às vezes, as fotos geradas por IA saem um pouco... instáveis. Talvez sejam de baixa qualidade ou talvez existam artefatos estranhos que fazem a imagem parecer menos do que perfeita. Mas não tema! O CodeFormer está aqui para salvar o dia, ajudando você a corrigir essas imagens rapidamente. Neste guia, apresentarei o modelo CodeFormer, mostrarei como ele funciona e explicarei como usá-lo para corrigir uma foto gerada por IA levemente distorcida. Vou orientá-lo nas etapas exatas que usei para limpar a imagem estranha que obtive de outro modelo de IA, mostrado abaixo:

Esta imagem veio do difusão arcana modelo, que eu estava usando para outro post do blog. Mostrarei como você pode usar o mesmo fluxo de trabalho que segui para limpar suas próprias imagens geradas e até mesmo aprimorá-las para que tenham uma aparência melhor. Farei este passo a passo usando o Replicate python SDK, mas também há muitos outros idiomas suportados ao replicar .

Neste guia, também mostrarei como podemos usar Replicar Codex para encontrar modelos semelhantes e decidir qual deles gostamos. O Replicate Codex é uma ferramenta comunitária gratuita que permite pesquisar, filtrar, classificar e comparar modelos de IA e encontrar o modelo certo para o seu projeto de IA.

CodeFormer está classificado em 6º no Replicate Codex. É super popular, com mais de 8 milhões de execuções. Portanto, é seguro dizer que a comunidade realmente gosta dessa ferramenta - e isso significa que você também pode gostar de usá-la!

Sobre o CodeFormer

CodeFormer, criado por sczhou , é um algoritmo robusto de restauração facial projetado para funcionar com fotos antigas e rostos gerados por IA. É um modelo de imagem para imagem que custa US$ 0,0055 por execução, com um tempo médio de execução de 10 segundos no hardware Nvidia T4 GPU.

A tecnologia subjacente do CodeFormer é baseada em uma rede de previsão baseada em Transformer, que modela a composição global e o contexto para previsão de código. Isso permite que o modelo descubra faces naturais que se aproximam das faces de destino, mesmo quando as entradas estão severamente degradadas. Um módulo de transformação de recursos controlável também está incluído, o que permite uma compensação flexível entre fidelidade e qualidade. Você pode ler mais sobre como o CodeFormer funciona no Github .

Compreendendo as entradas e saídas do CodeFormer

Antes de começarmos a trabalhar neste projeto, vamos dedicar um segundo para entender as entradas e saídas que o modelo espera.

entradas

1. image (arquivo): A imagem de entrada que você deseja corrigir.
2. codeformer_fidelity (número): Um equilíbrio entre qualidade (menor número) e fidelidade (maior número). Valor padrão: 0,5.
3. background_enhance (boolean): Se a imagem de fundo deve ser aprimorada com Real-ESRGAN. Valor padrão: falso.
4. face_upsample (boolean): se deve aumentar a amostra de rostos restaurados para imagens de alta resolução criadas por IA. Valor padrão: falso.
5. upscale (integer): A escala de upsampling final da imagem. Valor padrão: 2.

Saídas

A saída do modelo é uma string URI que representa a imagem fixa. É um objeto JSON e se parece com o formato abaixo:

 { "type": "string", "title": "Output", "format": "uri" }

Agora que entendemos as entradas e saídas, vamos nos aprofundar no uso do CodeFormer para consertar uma foto distorcida gerada por IA.

Um guia passo a passo para usar o CodeFormer

Se você não gosta de codificação, pode interagir diretamente com a "demonstração" do CodeFormer no Replicate por meio da interface do usuário. Você pode use este link para interagir diretamente com a interface e experimentá-lo! Essa é uma boa maneira de brincar com os parâmetros do modelo e obter feedback e validação rápidos.

Se você for mais técnico e quiser eventualmente criar uma ferramenta interessante sobre o CodeFormer, siga estas etapas simples para restaurar e aprimorar suas imagens usando o modelo no Replicate.

Certifique-se de ter uma conta Replicate e sua chave de API à mão!

Etapa 1: instalar o cliente Python

Isso é bem fácil de fazer:

 pip install replicate

Etapa 2: configurar seu token de API

Você pode obter isso em Replicar na guia da sua conta.

 export REPLICATE_API_TOKEN=[token]

Etapa 3: execute o modelo

Você só precisa de algumas linhas de código para fazer isso com o Replicate python SDK.

 import replicate output = replicate.run( "sczhou/codeformer:7de2ea26c616d5bf2245ad0d5e24f0ff9a6204578a5c876db53142edd9d2cd56", input={"image": open("path/to/file", "rb")} ) print(output)

Nesta etapa, importamos a biblioteca replicate e chamamos a função run para executar o modelo CodeFormer com a imagem de entrada fornecida. A saída será impressa como uma string URI representando a imagem fixa.

Aqui está a imagem de saída que obtive desse processo, mostrada contra a entrada hedionda com a qual comecei. Que melhoria!

Indo além - Encontrando outros modelos de restauração de imagens com o Codex replicado

O Replicate Codex é um recurso fantástico para descobrir modelos de IA que atendem a várias necessidades criativas, incluindo geração de imagem, conversão de imagem para imagem e muito mais. É um banco de dados totalmente pesquisável, filtrável e marcado de todos os modelos no Replicate, e também permite comparar modelos e classificar por preço ou explorar pelo criador. É gratuito e também possui um resumo por e-mail que o alertará quando novos modelos forem lançados para que você possa experimentá-los.

Se você estiver interessado em encontrar modelos semelhantes ao CodeFormer...

Passo 1: Visite Replicar Codex

Dirija-se a Replicar Codex para iniciar sua busca por modelos similares.

Etapa 2: use a barra de pesquisa

Use a barra de pesquisa na parte superior da página para pesquisar modelos com palavras-chave específicas, como "restauração de imagem", "aprimoramento facial" ou "super-resolução". Isso mostrará uma lista de modelos relacionados à sua consulta de pesquisa.

Passo 3: Filtre os Resultados

No lado direito da página de resultados da pesquisa, você encontrará vários filtros que podem ajudá-lo a restringir a lista de modelos. Você pode filtrar e classificar por modelos por tipo (imagem para imagem, texto para imagem etc.), custo, popularidade ou até mesmo criadores específicos.

Ao aplicar esses filtros, você pode encontrar os modelos que melhor atendem às suas necessidades e preferências específicas. Por exemplo, se você estiver procurando por um modelo de restauração de imagem que seja o mais popular, basta pesquisar e classificar pelo número de execuções. Nesse caso, você encontrará o modelo GFPGAN, que também usei para restaurar fotos antigas - veja minha redação aqui Para maiores informações. Incluí um exemplo de restauração do GFPGAN abaixo para que você possa ter uma noção de como ele lida com as imagens também.

Conclusão

Neste guia, exploramos o modelo CodeFormer, aprendemos sobre suas entradas e saídas e demonstramos como usá-lo para corrigir fotos distorcidas geradas por IA. Também discutimos como aproveitar os recursos de pesquisa e filtro no Replicate Codex para encontrar modelos semelhantes e comparar seus resultados, permitindo-nos ampliar nossos horizontes no mundo do aprimoramento e restauração de imagens com tecnologia AI.

Espero que este guia tenha inspirado você a explorar as possibilidades criativas da IA e dar vida à sua imaginação. Obrigado por ler. Feliz aprimoramento de imagens e exploração do mundo da IA com o Replicate Codex!

Também publicado aqui