Qu'est-ce que le modèle d'IA InfiniteNature-Zero ?

Avez-vous déjà imaginé pouvoir prendre une photo et y plonger comme par magie comme s'il s'agissait d'une porte vers un autre monde ?

Eh bien, que vous y ayez pensé ou non, certaines personnes l'ont fait, et grâce à elles, c'est désormais possible avec l'IA ! Ce n'est qu'à un pas de la téléportation et de pouvoir être là physiquement. Peut-être qu'un jour l'IA aidera à cela et résoudra également un problème réel ! Je plaisante, c'est vraiment cool, et je suis content que certaines personnes travaillent dessus.

C'est InfiniteNature… Zéro ! Il s'appelle ainsi car il s'agit d'un suivi d'un article que j'ai précédemment couvert et intitulé InfiniteNature. Quelle est la différence? Qualité!

En savoir plus dans la vidéo...

Références

►Lire l'article complet : https://www.louisbouchard.ai/infinitenature-zero/
►Li, Z., Wang, Q., Snavely, N. et Kanazawa, A., 2022.
InfiniteNature-Zero : Apprentissage Perpetual View Generation of Natural
Scènes à partir d'images uniques. Dans Conférence européenne sur la vision par ordinateur
(pp. 515-534). Springer, Cham, https://arxiv.org/abs/2207.11148
► Site du code et du projet : https://infinite-nature-zero.github.io/
►Ma Newsletter (Une nouvelle application d'IA expliquée chaque semaine à vos mails !) : https://www.louisbouchard.ai/newsletter/

Transcription vidéo

0:00

avez-vous déjà imaginé pouvoir

0:02

prenez une photo et plongez comme par magie

0:04

dedans comme si ce serait une porte vers

0:06

un autre monde bien si vous pensiez

0:08

à ce sujet ou non, certaines personnes l'ont fait et

0:11

grâce à eux c'est désormais possible avec l'IA

0:13

ce n'est qu'à un pas de

0:16

téléportation et pouvoir être là

0:18

physiquement peut-être qu'un jour l'IA aidera

0:21

avec cela et résoudre un problème réel aussi

0:23

Je plaisante, c'est vraiment cool et

0:25

Je suis content que certaines personnes y travaillent

0:27

c'est la nature infinie zéro ça s'appelle

0:31

de cette façon parce que c'est un suivi d'un

0:33

article que j'ai précédemment couvert appelé

0:35

nature infinie quelle est la différence

0:37

la qualité regarde ça c'est tellement

0:40

mieux dans un seul papier c'est incroyable

0:43

vous pouvez réellement vous sentir comme si vous étiez

0:45

plonger dans l'image et c'est seulement

0:47

nécessite une image d'entrée à quel point c'est cool

0:50

que la seule chose encore plus cool est de savoir comment

0:53

ça marche plongeons dedans mais d'abord

0:56

accordez-moi 10 secondes de votre temps pour un

0:58

sponsor de cette vidéo moi-même oui seulement 10

1:01

secondes je ne pense pas que je mérite plus

1:02

par rapport aux entreprises étonnantes qui

1:04

parrainez généralement mon travail si vous aimez le

1:06

vidéos d'abord je pense que vous devriez

1:08

abonne toi a la chaine mais moi aussi

1:10

pensez que vous allez adorer mes deux newsletters

1:12

où je partage des articles de recherche quotidiens et

1:15

news et l'hebdomadaire où je partage

1:17

ces vidéos et très intéressantes

1:19

discussions liées à ces documents et

1:21

Éthique de l'IA, vous devriez probablement me suivre

1:24

sur Twitter ainsi qu'à quoi sert l'IA si vous voulez

1:26

aime rester au courant de l'actualité

1:28

et des tonnes de papiers sur le terrain arrivent

1h30

avec les délais cvpr qui viennent

1:32

passé et vous ne voulez pas manquer

1:34

ceux-là alors comment la nature infinie zéro

1:37

travailler tout commence par une seule image

1:40

vous envoyez en entrée oui une seule image

1:43

ne nécessite pas de vidéo ou plusieurs

1:44

vues ou toute autre chose c'est différent

1:47

de leur article précédent que j'ai aussi

1:49

couvert là où ils avaient besoin de vidéos pour les aider

1:51

le modèle comprend les scènes naturelles

1:53

pendant la formation, c'est aussi pourquoi ils

1:55

appelons ce modèle la nature infinie zéro

1:58

car il ne nécessite aucune vidéo ici

2:01

leur travail est divisé en trois méthodes

2:03

utilisé pendant la formation afin d'obtenir

2:05

ces résultats pour démarrer le modèle

2:07

échantillonne au hasard deux caméras virtuelles

2:10

des trajectoires qui vous diront où

2:12

tu vas dans l'image pourquoi aussi

2:14

parce que la force est nécessaire pour

2:16

générer une nouvelle vue vous indiquant où

2:19

voler dans l'image pour générer une seconde

2:21

image c'est la trajectoire réelle que vous

2:24

prendra le deuxième virtuel

2:25

trajectoire est utilisée pendant l'entraînement pour

2:28

plonger et revenir à l'image d'origine pour

2:31

apprendre au modèle à apprendre la géométrie consciente

2:33

affinement de la vue lors de la génération de la vue

2:36

d'une manière auto-supervisée comme nous l'enseignons

2:39

pour revenir à une image que nous avons déjà

2:42

dans notre ensemble de données d'entraînement, ils se réfèrent à

2:44

cette approche en tant que caméra virtuelle cyclique

2:46

trajectoire comme début et fin

2:48

les vues sont les mêmes que notre image d'entrée

2:51

faites cela en allant à un virtuel ou un faux

2:54

exemple de point de vue et retour au

2:56

vue originale après juste pour enseigner

2:58

la partie Reconstruction au modèle

3:01

points de vue sont échantillonnés à l'aide d'un

3:03

algorithme appelé l'algorithme du pilote automatique

3:05

trouver le ciel et non sauter dedans

3:08

les rochers ou le sol comme personne ne le voudrait

3:10

pour ce faire, pendant la formation, nous utilisons un

3:13

approche de type pistolet utilisant un discriminateur

3:15

pour mesurer combien la nouvelle vue

3:17

généré ressemble à une image réelle

3:19

représenté par L contradictoire ou ladv

3:23

alors oui les armes ne sont pas encore mortes c'est un

3:26

application très cool d'entre eux pour

3:28

guider la formation quand vous n'avez pas

3h30

n'importe quel toit au sol par exemple lorsque vous

3:32

n'ont pas d'images infinies dans ce cas

3:34

en gros ils utilisent un autre modèle a

3:37

discriminateur formé sur notre formation

3:39

ensemble de données qui peut voir si une image semble

3:42

en faire partie ou pas si en fonction de son

3:44

répondre vous pouvez améliorer la génération à

3:46

le faire ressembler à une image de nos données

3:49

ensemble qui semble soi-disant réaliste nous

3:52

aussi mesurer la différence entre nos

3:53

l'image initiale régénérée et la

3:56

l'original pour aider le modèle

3:57

améliorer itérativement la reconstruction

3:59

agissant représenté par L Rick ici et

4:03

nous répétons simplement ce processus plusieurs fois

4:05

fois pour générer nos nouveaux cadres et

4:07

créer ce genre de vidéos il y en a une

4:10

dernière chose à peaufiner avant de les obtenir

4:12

des résultats étonnants qu'ils ont vus avec leur

4:14

s'approcher du ciel en raison de son infini

4:17

la nature par rapport au sol change

4:19

beaucoup trop rapidement pour réparer qu'ils utilisent

4:21

un autre modèle de segmentation pour trouver

4:24

ciel automatiquement dans le généré

4:26

images et corrigez-les à l'aide d'un

4:28

système de mélange entre les produits générés

4:31

ciel et le ciel de notre image initiale

4:33

pour que ça ne change pas trop vite

4:35

et irréaliste après l'entraînement avec

4:38

ce processus et cette échelle en deux étapes

4:40

raffinement infini nature 0 vous permet

4:42

avoir des trajectoires stables à longue distance

4:44

pour les scènes naturelles ainsi qu'avec précision

4:47

générer des vues Noble qui sont

4:49

géométriquement cohérent et le tour est joué

4:52

comment prendre une photo et plonger dans

4:54

c'est comme si tu étais un oiseau je t'invite à

4:56

lire leur article pour plus de détails sur

4:58

leur méthode et en limitation

5:00

surtout en ce qui concerne la façon dont ils parviennent à

5:02

former leur modèle d'une manière si intelligente

5:05

car j'ai omis quelques détails techniques

5:07

rendre cela possible pour Simplicity en

5:09

la façon dont le code est disponible et lié

5:11

ci-dessous si vous voulez essayer laissez-moi

5:13

savoir si vous le faites et envoyez-moi les résultats

5:15

j'aimerais bien les voir merci pour

5:17

regarder et j'espère que vous avez apprécié cela

5:19

vidéo je vous verrai la semaine prochaine avec

5:21

un autre papier incroyable