Avez-vous déjà imaginé pouvoir prendre une photo et y plonger comme par magie comme s'il s'agissait d'une porte vers un autre monde ? Eh bien, que vous y ayez pensé ou non, certaines personnes l'ont fait, et grâce à elles, c'est désormais possible avec l'IA ! Ce n'est qu'à un pas de la téléportation et de pouvoir être là physiquement. Peut-être qu'un jour l'IA aidera à cela et résoudra également un problème réel ! Je plaisante, c'est vraiment cool, et je suis content que certaines personnes travaillent dessus. C'est InfiniteNature… Zéro ! Il s'appelle ainsi car il s'agit d'un suivi d'un article que j'ai précédemment couvert et intitulé InfiniteNature. Quelle est la différence? Qualité! En savoir plus dans la vidéo... Références ►Lire l'article complet : ►Li, Z., Wang, Q., Snavely, N. et Kanazawa, A., 2022. InfiniteNature-Zero : Apprentissage Perpetual View Generation of Natural Scènes à partir d'images uniques. Dans Conférence européenne sur la vision par ordinateur (pp. 515-534). Springer, Cham, ► Site du code et du projet : ►Ma Newsletter (Une nouvelle application d'IA expliquée chaque semaine à vos mails !) : https://www.louisbouchard.ai/infinitenature-zero/ https://arxiv.org/abs/2207.11148 https://infinite-nature-zero.github.io/ https://www.louisbouchard.ai/newsletter/ Transcription vidéo 0:00 avez-vous déjà imaginé pouvoir 0:02 prenez une photo et plongez comme par magie 0:04 dedans comme si ce serait une porte vers 0:06 un autre monde bien si vous pensiez 0:08 à ce sujet ou non, certaines personnes l'ont fait et 0:11 grâce à eux c'est désormais possible avec l'IA 0:13 ce n'est qu'à un pas de 0:16 téléportation et pouvoir être là 0:18 physiquement peut-être qu'un jour l'IA aidera 0:21 avec cela et résoudre un problème réel aussi 0:23 Je plaisante, c'est vraiment cool et 0:25 Je suis content que certaines personnes y travaillent 0:27 c'est la nature infinie zéro ça s'appelle 0:31 de cette façon parce que c'est un suivi d'un 0:33 article que j'ai précédemment couvert appelé 0:35 nature infinie quelle est la différence 0:37 la qualité regarde ça c'est tellement 0:40 mieux dans un seul papier c'est incroyable 0:43 vous pouvez réellement vous sentir comme si vous étiez 0:45 plonger dans l'image et c'est seulement 0:47 nécessite une image d'entrée à quel point c'est cool 0:50 que la seule chose encore plus cool est de savoir comment 0:53 ça marche plongeons dedans mais d'abord 0:56 accordez-moi 10 secondes de votre temps pour un 0:58 sponsor de cette vidéo moi-même oui seulement 10 1:01 secondes je ne pense pas que je mérite plus 1:02 par rapport aux entreprises étonnantes qui 1:04 parrainez généralement mon travail si vous aimez le 1:06 vidéos d'abord je pense que vous devriez 1:08 abonne toi a la chaine mais moi aussi 1:10 pensez que vous allez adorer mes deux newsletters 1:12 où je partage des articles de recherche quotidiens et 1:15 news et l'hebdomadaire où je partage 1:17 ces vidéos et très intéressantes 1:19 discussions liées à ces documents et 1:21 Éthique de l'IA, vous devriez probablement me suivre 1:24 sur Twitter ainsi qu'à quoi sert l'IA si vous voulez 1:26 aime rester au courant de l'actualité 1:28 et des tonnes de papiers sur le terrain arrivent 1h30 avec les délais cvpr qui viennent 1:32 passé et vous ne voulez pas manquer 1:34 ceux-là alors comment la nature infinie zéro 1:37 travailler tout commence par une seule image 1:40 vous envoyez en entrée oui une seule image 1:43 ne nécessite pas de vidéo ou plusieurs 1:44 vues ou toute autre chose c'est différent 1:47 de leur article précédent que j'ai aussi 1:49 couvert là où ils avaient besoin de vidéos pour les aider 1:51 le modèle comprend les scènes naturelles 1:53 pendant la formation, c'est aussi pourquoi ils 1:55 appelons ce modèle la nature infinie zéro 1:58 car il ne nécessite aucune vidéo ici 2:01 leur travail est divisé en trois méthodes 2:03 utilisé pendant la formation afin d'obtenir 2:05 ces résultats pour démarrer le modèle 2:07 échantillonne au hasard deux caméras virtuelles 2:10 des trajectoires qui vous diront où 2:12 tu vas dans l'image pourquoi aussi 2:14 parce que la force est nécessaire pour 2:16 générer une nouvelle vue vous indiquant où 2:19 voler dans l'image pour générer une seconde 2:21 image c'est la trajectoire réelle que vous 2:24 prendra le deuxième virtuel 2:25 trajectoire est utilisée pendant l'entraînement pour 2:28 plonger et revenir à l'image d'origine pour 2:31 apprendre au modèle à apprendre la géométrie consciente 2:33 affinement de la vue lors de la génération de la vue 2:36 d'une manière auto-supervisée comme nous l'enseignons 2:39 pour revenir à une image que nous avons déjà 2:42 dans notre ensemble de données d'entraînement, ils se réfèrent à 2:44 cette approche en tant que caméra virtuelle cyclique 2:46 trajectoire comme début et fin 2:48 les vues sont les mêmes que notre image d'entrée 2:51 faites cela en allant à un virtuel ou un faux 2:54 exemple de point de vue et retour au 2:56 vue originale après juste pour enseigner 2:58 la partie Reconstruction au modèle 3:01 points de vue sont échantillonnés à l'aide d'un 3:03 algorithme appelé l'algorithme du pilote automatique 3:05 trouver le ciel et non sauter dedans 3:08 les rochers ou le sol comme personne ne le voudrait 3:10 pour ce faire, pendant la formation, nous utilisons un 3:13 approche de type pistolet utilisant un discriminateur 3:15 pour mesurer combien la nouvelle vue 3:17 généré ressemble à une image réelle 3:19 représenté par L contradictoire ou ladv 3:23 alors oui les armes ne sont pas encore mortes c'est un 3:26 application très cool d'entre eux pour 3:28 guider la formation quand vous n'avez pas 3h30 n'importe quel toit au sol par exemple lorsque vous 3:32 n'ont pas d'images infinies dans ce cas 3:34 en gros ils utilisent un autre modèle a 3:37 discriminateur formé sur notre formation 3:39 ensemble de données qui peut voir si une image semble 3:42 en faire partie ou pas si en fonction de son 3:44 répondre vous pouvez améliorer la génération à 3:46 le faire ressembler à une image de nos données 3:49 ensemble qui semble soi-disant réaliste nous 3:52 aussi mesurer la différence entre nos 3:53 l'image initiale régénérée et la 3:56 l'original pour aider le modèle 3:57 améliorer itérativement la reconstruction 3:59 agissant représenté par L Rick ici et 4:03 nous répétons simplement ce processus plusieurs fois 4:05 fois pour générer nos nouveaux cadres et 4:07 créer ce genre de vidéos il y en a une 4:10 dernière chose à peaufiner avant de les obtenir 4:12 des résultats étonnants qu'ils ont vus avec leur 4:14 s'approcher du ciel en raison de son infini 4:17 la nature par rapport au sol change 4:19 beaucoup trop rapidement pour réparer qu'ils utilisent 4:21 un autre modèle de segmentation pour trouver 4:24 ciel automatiquement dans le généré 4:26 images et corrigez-les à l'aide d'un 4:28 système de mélange entre les produits générés 4:31 ciel et le ciel de notre image initiale 4:33 pour que ça ne change pas trop vite 4:35 et irréaliste après l'entraînement avec 4:38 ce processus et cette échelle en deux étapes 4:40 raffinement infini nature 0 vous permet 4:42 avoir des trajectoires stables à longue distance 4:44 pour les scènes naturelles ainsi qu'avec précision 4:47 générer des vues Noble qui sont 4:49 géométriquement cohérent et le tour est joué 4:52 comment prendre une photo et plonger dans 4:54 c'est comme si tu étais un oiseau je t'invite à 4:56 lire leur article pour plus de détails sur 4:58 leur méthode et en limitation 5:00 surtout en ce qui concerne la façon dont ils parviennent à 5:02 former leur modèle d'une manière si intelligente 5:05 car j'ai omis quelques détails techniques 5:07 rendre cela possible pour Simplicity en 5:09 la façon dont le code est disponible et lié 5:11 ci-dessous si vous voulez essayer laissez-moi 5:13 savoir si vous le faites et envoyez-moi les résultats 5:15 j'aimerais bien les voir merci pour 5:17 regarder et j'espère que vous avez apprécié cela 5:19 vidéo je vous verrai la semaine prochaine avec 5:21 un autre papier incroyable
