O que é o modelo de IA InfiniteNature-Zero?

Já imaginou poder tirar uma foto e simplesmente mergulhar nela magicamente como se fosse uma porta para outro mundo? Bem, quer você tenha pensado nisso ou não, algumas pessoas pensaram e, graças a elas, agora é possível com IA! Este é apenas um passo do teletransporte e poder estar lá fisicamente. Talvez um dia a IA ajude com isso e conserte um problema real também! Estou apenas brincando, isso é muito legal e estou feliz que algumas pessoas estejam trabalhando nisso. Isso é InfiniteNature… Zero! É chamado assim porque é uma continuação de um artigo que abordei anteriormente chamado InfiniteNature. Qual é a diferença? Qualidade! Saiba mais no vídeo... Referências ►Leia o artigo completo: ►Li, Z., Wang, Q., Snavely, N. e Kanazawa, A., 2022. InfiniteNature-Zero: Learning Perpetual View Generation of Natural Cenas de Imagens Individuais. Na Conferência Europeia sobre Visão Computacional (pp. 515-534). Springer, Cham, ►Código e site do projeto: ►Meu boletim informativo (um novo aplicativo de IA explicado semanalmente para seus e-mails!): https://www.louisbouchard.ai/infinitenature-zero/ https://arxiv.org/abs/2207.11148 https://infinite-nature-zero.github.io/ https://www.louisbouchard.ai/newsletter/ Transcrição de vídeo 0:00 você já imaginou poder 0:02 tire uma foto e simplesmente mergulhe magicamente 0:04 nele como se fosse uma porta para 0:06 outro mundo bem se você pensou 0:08 sobre isso ou não algumas pessoas fizeram e 0:11 graças a eles agora é possível com IA 0:13 isso é apenas um passo de distância 0:16 teletransporte e poder estar lá 0:18 fisicamente talvez um dia a IA ajude 0:21 com isso e corrigir um problema real também 0:23 Estou apenas brincando, isso é muito legal e 0:25 Estou feliz que algumas pessoas estão trabalhando nisso 0:27 isso é natureza infinita zero é chamado 0:31 desta forma porque é uma continuação de um 0:33 papel que eu cobri anteriormente chamado 0:35 natureza infinita qual é a diferença 0:37 qualidade olha só que é muito 0:40 melhor em apenas um papel é incrível 0:43 você pode realmente se sentir como se estivesse 0:45 mergulhar na imagem e só 0:47 requer uma imagem de entrada o quão legal é 0:50 que a única coisa ainda mais legal é como 0:53 funciona, vamos mergulhar nisso, mas primeiro 0:56 permita-me 10 segundos do seu tempo para um 0:58 patrocinador deste vídeo eu mesmo sim apenas 10 1:01 segundos acho que não mereço mais 1:02 em comparação com as empresas incríveis que 1:04 geralmente patrocinam meu trabalho se você gosta do 1:06 vídeos primeiro, acho que você deveria 1:08 se inscreve no canal mas também 1:10 acho que você vai adorar meus dois boletins 1:12 onde compartilho pesquisas diárias e 1:15 notícias e o semanal onde compartilho 1:17 esses videos e muito interessante 1:19 discussões relacionadas a esses documentos e 1:21 Ética da IA, você provavelmente deveria me seguir 1:24 no Twitter, bem como no que é IA, se você 1:26 gosto de ficar por dentro das novidades 1:28 e papéis no campo toneladas estão chegando 1:30 fora com os prazos cvpr que apenas 1:32 passou e você não quer perder 1:34 aqueles então como é que a natureza infinita é zero 1:37 trabalho tudo começa com uma única imagem 1:40 você envia como entrada sim uma única imagem 1:43 não requer um vídeo ou vários 1:44 visualizações ou qualquer outra coisa isso é diferente 1:47 de seu papel anterior que eu também 1:49 coberto onde eles precisavam de vídeos para ajudar 1:51 o modelo entende cenas naturais 1:53 durante o treinamento e é também por isso que eles 1:55 chame este modelo de natureza infinita zero 1:58 porque requer zero vídeos aqui 2:01 seu trabalho é dividido em três métodos 2:03 usado durante o treinamento para obter 2:05 esses resultados para iniciar o modelo 2:07 amostra aleatoriamente duas câmeras virtuais 2:10 trajetórias que lhe dirão onde 2:12 você vai na imagem porque também 2:14 porque a força é necessária para 2:16 gerar uma nova visualização informando onde 2:19 voe na imagem para gerar um segundo 2:21 imagem esta é a trajetória real que você 2:24 estará levando o segundo virtual 2:25 trajetória é usada durante o treinamento para 2:28 mergulhar e voltar à imagem original para 2:31 ensine o modelo a aprender geometria ciente 2:33 refinamento de visualização durante a geração de visualização 2:36 de forma auto-supervisionada enquanto ensinamos 2:39 para voltar a uma imagem que já temos 2:42 em nosso conjunto de dados de treinamento, eles se referem 2:44 esta abordagem como uma câmera virtual cíclica 2:46 trajetória como início e fim 2:48 as visualizações são as mesmas que nossa imagem de entrada 2:51 faça isso indo a um site virtual ou falso 2:54 sample Viewpoint e retornando ao 2:56 visão original depois só para ensinar 2:58 a parte de reconstrução para o modelo o 3:01 pontos de vista são amostrados usando um 3:03 algoritmo chamado algoritmo do piloto automático 3:05 para encontrar o céu e não Skydive em 3:08 rochas ou no chão como ninguém gostaria 3:10 para fazer isso, então, durante o treinamento, usamos um 3:13 abordagem semelhante a uma arma usando um discriminador 3:15 para medir o quanto a nova visão 3:17 gerado parece uma imagem real 3:19 representado com L adversarial ou ladv 3:23 então sim, as armas não estão mortas, mas isso é um 3:26 aplicação muito legal deles para 3:28 orientando o treinamento quando você não tem 3:30 qualquer telhado térreo, por exemplo, quando você 3:32 não tem imagens infinitas neste caso 3:34 basicamente eles usam outro modelo a 3:37 discriminador treinado em nosso treinamento 3:39 conjunto de dados que pode ver se uma imagem parece 3:42 fazer parte ou não com base em sua 3:44 resposta você pode melhorar a geração para 3:46 fazer com que pareça uma imagem de nossos dados 3:49 conjunto que supostamente parece realista nós 3:52 também medir a diferença entre os nossos 3:53 imagem inicial regenerada e o 3:56 original para ajudar o modelo 3:57 melhorar iterativamente na reconstrução 3:59 atuando representado por L Rick aqui e 4:03 nós simplesmente repetimos este processo várias vezes 4:05 vezes para gerar nossos novos quadros e 4:07 criar esses tipos de vídeos há um 4:10 última coisa a ajustar antes de obter aqueles 4:12 resultados surpreendentes, eles viram que com seus 4:14 aproximar do céu devido ao seu infinito 4:17 natureza em comparação com as mudanças do solo 4:19 rápido demais para consertar o que eles usam 4:21 outro modelo de segmentação para encontrar o 4:24 céu automaticamente no gerado 4:26 imagens e corrigi-lo usando um inteligente 4:28 sistema de mistura entre o gerado 4:31 céu e o céu da nossa imagem inicial 4:33 para que não mude muito rapidamente 4:35 e irrealisticamente após o treinamento com 4:38 este processo de duas etapas e escala 4:40 refinamento a natureza infinita 0 permite 4:42 ter trajetórias estáveis de longo alcance 4:44 para cenas naturais, bem como com precisão 4:47 gerar visualizações nobres que são 4:49 geometricamente coerente e pronto, isso é 4:52 como você pode tirar uma foto e mergulhar 4:54 como se você fosse um pássaro eu te convido 4:56 leia o artigo deles para mais detalhes sobre 4:58 seu método e na limitação 5:00 especialmente em relação a como eles conseguem 5:02 treinar seu modelo de uma maneira tão inteligente 5:05 pois omiti alguns detalhes técnicos 5:07 tornando isso possível para Simplicidade por 5:09 a forma como o código está disponível e vinculado 5:11 abaixo, se você gostaria de tentar, deixe-me 5:13 saiba se faz e me mande os resultados 5:15 Eu adoraria vê-los obrigado por 5:17 assistindo e espero que tenham gostado 5:19 vídeo te vejo na próxima semana com 5:21 outro papel incrível