Présentation de Drag Your GAN : Faites glisser des objets pour créer de nouvelles images

Nouvelles passionnantes dans le monde de l'IA et de l'édition d'images : Drag Your GAN, une recherche révolutionnaire, vient d'être présentée par Pan et al. !

Cette nouvelle approche vous permet de modifier les images en faisant simplement glisser des points de A à B, révolutionnant la façon dont nous interagissons avec l'édition d'images. Il ne s'agit pas seulement d'édition, mais en fait de la création d'images entièrement nouvelles, vous permettant de modifier la position des objets, les poses des sujets, etc.

Faites glisser votre GAN donne la priorité au déplacement d'objets précis plutôt qu'à la génération d'images ou à la manipulation de texte

L'IA adapte de manière réaliste l'intégralité de l'image, en modifiant la position, la pose, la forme, les expressions et d'autres éléments du cadre de l'objet.

🐶🌄 Modifiez les expressions des chiens, faites-les s'asseoir, ajustez les poses humaines ou même modifiez les paysages de manière transparente. Drag Your GAN offre un moyen innovant et interactif d'expérimenter l'édition d'images.

Comment ça marche? Drag Your Gan exploite StyleGAN2, une architecture GAN de pointe de NVIDIA. En opérant dans l'espace des fonctionnalités (code latent), l'IA apprend à éditer correctement les images à travers une série d'étapes et de calculs de perte.

Même si les résultats sont fantastiques, comme vous le verrez ci-dessous, il est essentiel de noter que Drag Your Gan a certaines limitations, notamment le fait de ne pouvoir éditer que les images générées pour le moment. Les images font partie de la distribution. D'autres limitations sont que la sélection des points est basée sur les couleurs et le contraste des pixels, de sorte que vous ne pouvez pas vraiment faire glisser quoi que ce soit. Si vous prenez une partie d'une voiture rouge et que vous la déplacez en restant sur la voiture rouge, il se peut qu'elle ne comprenne pas du tout que vous la déplacez.

Hâte de pouvoir essayer?

Les auteurs mentionnent que le code devrait être disponible en juin.

Regardez la vidéo pour en savoir plus sur ce nouveau style de manipulation d'images avec DragYourGan !

Apprenez-en plus en regardant la vidéo et passez à la partie que vous souhaitez via la transcription