¿Qué es el modelo de IA InfiniteNature-Zero?

¿Alguna vez has imaginado poder tomar una foto y sumergirte mágicamente en ella como si fuera una puerta a otro mundo?

Bueno, ya sea que haya pensado en esto o no, algunas personas lo hicieron, y gracias a ellos, ¡ahora es posible con IA! Esto está a solo un paso de la teletransportación y poder estar allí físicamente. ¡Quizás algún día la IA ayude con eso y solucione un problema real también! Solo bromeo, esto es realmente genial, y me alegro de que algunas personas estén trabajando en ello.

Esto es Naturaleza Infinita... ¡Cero! Se llama así porque es una continuación de un artículo que cubrí anteriormente llamado InfiniteNature. ¿Cual es la diferencia? ¡Calidad!

Conoce más en el vídeo...

Referencias

►Lea el artículo completo: https://www.louisbouchard.ai/infinitenature-zero/
►Li, Z., Wang, Q., Snavely, N. y Kanazawa, A., 2022.
InfiniteNature-Zero: Aprendizaje Perpetuo Vista Generación de Natural
Escenas de imágenes individuales. En la Conferencia Europea de Visión por Computador
(págs. 515-534). Springer, Cham, https://arxiv.org/abs/2207.11148
►Código y sitio web del proyecto: https://infinite-nature-zero.github.io/
►My Newsletter (¡Una nueva aplicación de IA explicada semanalmente en sus correos electrónicos!): https://www.louisbouchard.ai/newsletter/

Transcripción del vídeo

0:00

¿alguna vez has imaginado poder

0:02

toma una foto y bucea mágicamente

0:04

en él como si fuera una puerta a

0:06

otro mundo bien si pensabas

0:08

sobre esto o no algunas personas lo hicieron y

0:11

gracias a ellos ahora es posible con IA

0:13

esto está a un paso de

0:16

teletransportación y poder estar allí

0:18

físicamente tal vez algún día la IA ayude

0:21

con eso y solucionar un problema real también

0:23

Solo estoy bromeando, esto es realmente genial y

0:25

Me alegro de que algunas personas estén trabajando en ello.

0:27

esto es naturaleza infinita cero se llama

0:31

de esta manera porque es un seguimiento de un

0:33

papel que cubrí anteriormente llamado

0:35

naturaleza infinita cual es la diferencia

0:37

calidad solo mira que es mucho

0:40

mejor en un solo papel es increible

0:43

realmente puedes sentir que eres

0:45

sumergirse en la imagen y solo

0:47

requiere una imagen de entrada qué genial es

0:50

que lo único aún más genial es cómo

0:53

funciona, profundicemos en él, pero primero

0:56

permítame 10 segundos de su tiempo para una

0:58

patrocinador de este video yo mismo si solo 10

1:01

segundos no creo que merezca mas

1:02

en comparación con las increíbles empresas que

1:04

sueles patrocinar mi trabajo si te gusta el

1:06

videos primero creo que deberías

1:08

suscríbete al canal pero yo también

1:10

creo que te encantarán mis dos boletines

1:12

donde comparto trabajos de investigación diarios y

1:15

noticias y el semanal donde comparto

1:17

estos videos y muy interesantes

1:19

debates relacionados con estos documentos y

1:21

Ética de la IA, probablemente deberías seguirme

1:24

en Twitter también en ¿Qué es la IA?

1:26

gusta estar al día con las noticias

1:28

y papeles en el campo se vienen toneladas

1:30

fuera con los plazos de cvpr que solo

1:32

aprobado y no te lo quieres perder

1:34

esos entonces ¿cómo la naturaleza infinita cero

1:37

trabajo todo comienza con una sola imagen

1:40

envías como entrada sí una sola imagen

1:43

no requiere un video o múltiples

1:44

vistas o cualquier otra cosa esto es diferente

1:47

de su artículo anterior que también

1:49

cubierto donde necesitaban videos para ayudar

1:51

el modelo entiende escenas naturales

1:53

durante el entrenamiento, razón por la cual también

1:55

llama a este modelo naturaleza infinita cero

1:58

porque requiere cero videos aquí

2:01

su trabajo se divide en tres métodos

2:03

utilizado durante el entrenamiento con el fin de obtener

2:05

esos resultados para iniciar el modelo

2:07

muestras aleatorias de dos cámaras virtuales

2:10

trayectorias que te dirán dónde

2:12

vas en la imagen porque tambien

2:14

porque la fuerza es necesaria para

2:16

generar una nueva vista que le indique dónde

2:19

volar en la imagen para generar un segundo

2:21

imagen esta es la trayectoria real que

2:24

tomará el segundo virtual

2:25

trayectoria se utiliza durante el entrenamiento para

2:28

bucear y volver a la imagen original para

2:31

enseñar al modelo a aprender geometría consciente

2:33

refinamiento de la vista durante la generación de la vista

2:36

de forma autosupervisada a medida que lo enseñamos

2:39

para volver a una imagen que ya tenemos

2:42

en nuestro conjunto de datos de entrenamiento se refieren a

2:44

este enfoque como una cámara virtual cíclica

2:46

trayectoria como el comienzo y el final

2:48

las vistas son las mismas que nuestra imagen de entrada

2:51

hazlo yendo a un sitio virtual o falso.

2:54

muestra Viewpoint y volviendo a la

2:56

vista original después solo para enseñar

2:58

la parte de Reconstrucción al modelo la

3:01

Los puntos de vista se muestrean usando un

3:03

algoritmo llamado algoritmo de piloto automático

3:05

para encontrar el cielo y no paracaidismo en

3:08

las rocas o el suelo como a nadie le gustaría

3:10

para hacer eso entonces durante el entrenamiento usamos un

3:13

enfoque similar a un arma usando un discriminador

3:15

para medir cuánto la nueva vista

3:17

generado parece una imagen real

3:19

representada con L adversarial o ladv

3:23

así que sí, las armas aún no están muertas, este es un

3:26

muy buena aplicación de ellos para

3:28

guiando el entrenamiento cuando no tienes

3:30

cualquier techo bajo, por ejemplo, cuando

3:32

no tiene imágenes infinitas en este caso

3:34

básicamente usan otro modelo a

3:37

discriminador entrenado en nuestro entrenamiento

3:39

conjunto de datos que puede ver si una imagen parece

3:42

ser parte de ella o No Tan en base a su

3:44

respuesta se puede mejorar la generación a

3:46

hacer que parezca una imagen de nuestros datos

3:49

conjunto que supuestamente parece realista

3:52

medir también la diferencia entre nuestros

3:53

imagen inicial regenerada y la

3:56

original para ayudar al modelo

3:57

mejora iterativamente en la reconstrucción

3:59

actuando representado por L Rick aquí y

4:03

simplemente repetimos este proceso múltiples

4:05

tiempos para generar nuestros marcos novedosos y

4:07

crear este tipo de videos hay uno

4:10

Lo último que hay que modificar antes de obtener esos

4:12

resultados asombrosos vieron que con su

4:14

acercarse al cielo debido a su infinito

4:17

la naturaleza comparada con los cambios del suelo

4:19

demasiado rápido para arreglar que usan

4:21

otro modelo de segmentación para encontrar la

4:24

cielo automáticamente en el generado

4:26

imágenes y arreglarlo usando un inteligente

4:28

sistema de mezcla entre el generado

4:31

cielo y el cielo de nuestra imagen inicial

4:33

para que no cambie demasiado rápido

4:35

y poco realista después de entrenar con

4:38

este proceso de dos pasos y la escala

4:40

refinamiento infinito naturaleza 0 te permite

4:42

tener trayectorias estables de largo alcance

4:44

para escenas naturales, así como con precisión

4:47

generar puntos de vista nobles que son

4:49

geométricamente coherente y listo esto es

4:52

cómo puedes tomar una foto y sumergirte en

4:54

como si fueras un pájaro te invito a

4:56

lea su artículo para obtener más detalles sobre

4:58

su método y en la limitación

5:00

especialmente en cuanto a cómo logran

5:02

entrenar a su modelo de una manera tan inteligente

5:05

como omití algunos detalles técnicos

5:07

haciendo esto posible para Simplicity by

5:09

la forma en que el código está disponible y vinculado

5:11

a continuación, si quieres probarlo, déjame

5:13

saber si lo haces y enviarme los resultados

5:15

Me encantaría verlos gracias por

5:17

mirando y espero que hayas disfrutado esto

5:19

video te veré la próxima semana con

5:21

otro papel increíble