O que é o modelo de IA InfiniteNature-Zero?

Já imaginou poder tirar uma foto e simplesmente mergulhar nela magicamente como se fosse uma porta para outro mundo?

Bem, quer você tenha pensado nisso ou não, algumas pessoas pensaram e, graças a elas, agora é possível com IA! Este é apenas um passo do teletransporte e poder estar lá fisicamente. Talvez um dia a IA ajude com isso e conserte um problema real também! Estou apenas brincando, isso é muito legal e estou feliz que algumas pessoas estejam trabalhando nisso.

Isso é InfiniteNature… Zero! É chamado assim porque é uma continuação de um artigo que abordei anteriormente chamado InfiniteNature. Qual é a diferença? Qualidade!

Saiba mais no vídeo...

Referências

►Leia o artigo completo: https://www.louisbouchard.ai/infinitenature-zero/
►Li, Z., Wang, Q., Snavely, N. e Kanazawa, A., 2022.
InfiniteNature-Zero: Learning Perpetual View Generation of Natural
Cenas de Imagens Individuais. Na Conferência Europeia sobre Visão Computacional
(pp. 515-534). Springer, Cham, https://arxiv.org/abs/2207.11148
►Código e site do projeto: https://infinite-nature-zero.github.io/
►Meu boletim informativo (um novo aplicativo de IA explicado semanalmente para seus e-mails!): https://www.louisbouchard.ai/newsletter/

Transcrição de vídeo

0:00

você já imaginou poder

0:02

tire uma foto e simplesmente mergulhe magicamente

0:04

nele como se fosse uma porta para

0:06

outro mundo bem se você pensou

0:08

sobre isso ou não algumas pessoas fizeram e

0:11

graças a eles agora é possível com IA

0:13

isso é apenas um passo de distância

0:16

teletransporte e poder estar lá

0:18

fisicamente talvez um dia a IA ajude

0:21

com isso e corrigir um problema real também

0:23

Estou apenas brincando, isso é muito legal e

0:25

Estou feliz que algumas pessoas estão trabalhando nisso

0:27

isso é natureza infinita zero é chamado

0:31

desta forma porque é uma continuação de um

0:33

papel que eu cobri anteriormente chamado

0:35

natureza infinita qual é a diferença

0:37

qualidade olha só que é muito

0:40

melhor em apenas um papel é incrível

0:43

você pode realmente se sentir como se estivesse

0:45

mergulhar na imagem e só

0:47

requer uma imagem de entrada o quão legal é

0:50

que a única coisa ainda mais legal é como

0:53

funciona, vamos mergulhar nisso, mas primeiro

0:56

permita-me 10 segundos do seu tempo para um

0:58

patrocinador deste vídeo eu mesmo sim apenas 10

1:01

segundos acho que não mereço mais

1:02

em comparação com as empresas incríveis que

1:04

geralmente patrocinam meu trabalho se você gosta do

1:06

vídeos primeiro, acho que você deveria

1:08

se inscreve no canal mas também

1:10

acho que você vai adorar meus dois boletins

1:12

onde compartilho pesquisas diárias e

1:15

notícias e o semanal onde compartilho

1:17

esses videos e muito interessante

1:19

discussões relacionadas a esses documentos e

1:21

Ética da IA, você provavelmente deveria me seguir

1:24

no Twitter, bem como no que é IA, se você

1:26

gosto de ficar por dentro das novidades

1:28

e papéis no campo toneladas estão chegando

1:30

fora com os prazos cvpr que apenas

1:32

passou e você não quer perder

1:34

aqueles então como é que a natureza infinita é zero

1:37

trabalho tudo começa com uma única imagem

1:40

você envia como entrada sim uma única imagem

1:43

não requer um vídeo ou vários

1:44

visualizações ou qualquer outra coisa isso é diferente

1:47

de seu papel anterior que eu também

1:49

coberto onde eles precisavam de vídeos para ajudar

1:51

o modelo entende cenas naturais

1:53

durante o treinamento e é também por isso que eles

1:55

chame este modelo de natureza infinita zero

1:58

porque requer zero vídeos aqui

2:01

seu trabalho é dividido em três métodos

2:03

usado durante o treinamento para obter

2:05

esses resultados para iniciar o modelo

2:07

amostra aleatoriamente duas câmeras virtuais

2:10

trajetórias que lhe dirão onde

2:12

você vai na imagem porque também

2:14

porque a força é necessária para

2:16

gerar uma nova visualização informando onde

2:19

voe na imagem para gerar um segundo

2:21

imagem esta é a trajetória real que você

2:24

estará levando o segundo virtual

2:25

trajetória é usada durante o treinamento para

2:28

mergulhar e voltar à imagem original para

2:31

ensine o modelo a aprender geometria ciente

2:33

refinamento de visualização durante a geração de visualização

2:36

de forma auto-supervisionada enquanto ensinamos

2:39

para voltar a uma imagem que já temos

2:42

em nosso conjunto de dados de treinamento, eles se referem

2:44

esta abordagem como uma câmera virtual cíclica

2:46

trajetória como início e fim

2:48

as visualizações são as mesmas que nossa imagem de entrada

2:51

faça isso indo a um site virtual ou falso

2:54

sample Viewpoint e retornando ao

2:56

visão original depois só para ensinar

2:58

a parte de reconstrução para o modelo o

3:01

pontos de vista são amostrados usando um

3:03

algoritmo chamado algoritmo do piloto automático

3:05

para encontrar o céu e não Skydive em

3:08

rochas ou no chão como ninguém gostaria

3:10

para fazer isso, então, durante o treinamento, usamos um

3:13

abordagem semelhante a uma arma usando um discriminador

3:15

para medir o quanto a nova visão

3:17

gerado parece uma imagem real

3:19

representado com L adversarial ou ladv

3:23

então sim, as armas não estão mortas, mas isso é um

3:26

aplicação muito legal deles para

3:28

orientando o treinamento quando você não tem

3:30

qualquer telhado térreo, por exemplo, quando você

3:32

não tem imagens infinitas neste caso

3:34

basicamente eles usam outro modelo a

3:37

discriminador treinado em nosso treinamento

3:39

conjunto de dados que pode ver se uma imagem parece

3:42

fazer parte ou não com base em sua

3:44

resposta você pode melhorar a geração para

3:46

fazer com que pareça uma imagem de nossos dados

3:49

conjunto que supostamente parece realista nós

3:52

também medir a diferença entre os nossos

3:53

imagem inicial regenerada e o

3:56

original para ajudar o modelo

3:57

melhorar iterativamente na reconstrução

3:59

atuando representado por L Rick aqui e

4:03

nós simplesmente repetimos este processo várias vezes

4:05

vezes para gerar nossos novos quadros e

4:07

criar esses tipos de vídeos há um

4:10

última coisa a ajustar antes de obter aqueles

4:12

resultados surpreendentes, eles viram que com seus

4:14

aproximar do céu devido ao seu infinito

4:17

natureza em comparação com as mudanças do solo

4:19

rápido demais para consertar o que eles usam

4:21

outro modelo de segmentação para encontrar o

4:24

céu automaticamente no gerado

4:26

imagens e corrigi-lo usando um inteligente

4:28

sistema de mistura entre o gerado

4:31

céu e o céu da nossa imagem inicial

4:33

para que não mude muito rapidamente

4:35

e irrealisticamente após o treinamento com

4:38

este processo de duas etapas e escala

4:40

refinamento a natureza infinita 0 permite

4:42

ter trajetórias estáveis de longo alcance

4:44

para cenas naturais, bem como com precisão

4:47

gerar visualizações nobres que são

4:49

geometricamente coerente e pronto, isso é

4:52

como você pode tirar uma foto e mergulhar

4:54

como se você fosse um pássaro eu te convido

4:56

leia o artigo deles para mais detalhes sobre

4:58

seu método e na limitação

5:00

especialmente em relação a como eles conseguem

5:02

treinar seu modelo de uma maneira tão inteligente

5:05

pois omiti alguns detalhes técnicos

5:07

tornando isso possível para Simplicidade por

5:09

a forma como o código está disponível e vinculado

5:11

abaixo, se você gostaria de tentar, deixe-me

5:13

saiba se faz e me mande os resultados

5:15

Eu adoraria vê-los obrigado por

5:17

assistindo e espero que tenham gostado

5:19

vídeo te vejo na próxima semana com

5:21

outro papel incrível