Aqui está o BANMo, uma abordagem inspirada em NeRF compartilhada no evento CVPR 2022 do qual participei algumas semanas atrás. O BANMo tira fotos para criar modelos 3D deformáveis. Se você trabalha com efeitos visuais, desenvolvimento de jogos ou criação de cenas 3D, este novo modelo de IA é para você. Eu não ficaria surpreso em ver este modelo ou abordagens semelhantes em seu pipeline de criação muito em breve, permitindo que você gaste muito menos tempo, dinheiro e esforço na criação de modelos 3D. Saiba mais no vídeo... Referências ►Leia o artigo completo: ►Página do projeto: ►Papel: Yang, G., Vo, M., Neverova, N., Ramanan, D., Vedaldi, A. e Joo, H., 2022. Banmo: Construindo modelos 3D neurais animáveis de muitos vídeos casuais. In Proceedings of the IEEE/CVF Conference on Computer Visão e Reconhecimento de Padrões (pp. 2863–2873). ►Código: ►Meu boletim informativo (um novo aplicativo de IA explicado semanalmente para seus e-mails!): https://www.louisbouchard.ai/banmo/ https://banmo-www.github.io/ https://github.com/facebookresearch/banmo https://www.louisbouchard.ai/newsletter/ Transcrição de vídeo 0:00 se você estiver no desenvolvimento de jogos VFX ou 0:02 criando cenas 3D este novo modelo AI é 0:06 para você eu não ficaria surpreso em ver 0:08 este modelo ou abordagens semelhantes em seu 0:10 pipeline de criação muito em breve permitindo 0:12 você gaste muito menos tempo dinheiro e 0:14 esforço em fazer modelos 3D basta olhar 0:18 que é claro que não é perfeito, mas que 0:20 foi feito instantaneamente com um vídeo casual 0:23 tirado de um telefone que não precisava de um 0:25 configuração de câmera midi cara ou complexa 0:28 sensores de profundidade uma das belezas por trás 0:31 IA tornando complexa e cara 0:33 As tecnologias disponíveis para startups são 0:35 individuais para criar projetos 0:37 com resultados de qualidade profissional apenas 0:40 filmar um objeto e transformá-lo em um 0:42 modelo que você pode importar imediatamente você pode 0:45 em seguida, ajuste os detalhes se você estiver 0:46 não satisfeito, mas todo o modelo vai 0:49 estar lá dentro de alguns segundos o que 0:51 você tem visto são os resultados de 0:52 um modelo de IA chamado banmu recentemente compartilhado 0:55 no evento da cvpr que participei estarei 0:58 honestamente, eles chamaram minha atenção porque 1:00 por causa dos gatos ainda não foi 1:02 clickbait completamente o papel e 1:05 abordagem é realmente incrível 1:07 não é como a outra abordagem Nerf para 1:09 reconstrução de objetos em modelos 3D 1:11 o modo banido aborda uma rechamada de tarefa 1:13 reconstrução de forma 3D articulada 1:16 o que significa que funciona com vídeos e 1:18 imagens para modelar objetos deformáveis e 1:22 o que é mais deformável do que um gato e 1:24 o que é ainda mais legal do que ver o 1:26 resultados é entender como funciona 1:29 o modelo começa com alguns casualmente 1:31 vídeos feitos do objeto que você deseja 1:34 captura mostrando como ele se move e se deforma 1:36 em si é onde você deseja enviar um 1:38 vídeo do seu gato comendo em um vaso 1:41 bamboo leva esses vídeos para criar então 1:44 o que eles chamam de espaço canônico 1:47 este resultado inicial lhe dará 1:49 informações sobre a forma do objeto 1:51 aparência e articulações é o 1:53 compreensão do modelo de seu objeto 1:55 moldar como ele se move através do espaço e 1:57 onde ele pertence entre um tijolo e um 1:59 sangue descrito por aquelas grandes bolas e 2:01 várias cores então leva este 3D 2:04 representação e aplica qualquer pose que você 2:06 quer simular o comportamento do gato e 2:08 articulações tão próximas da realidade quanto 2:11 possível parece mágica não é 2:13 isso é porque não terminamos aqui nós 2:16 rapidamente passou de um vídeo para o modelo 2:18 mas é aqui que se torna interessante 2:20 então o que eles usam para ir de imagens de 2:23 um vídeo para tal representação neste 2:25 espaço canônico você adivinhou um 2:28 modelo tipo nerf se você não estiver familiarizado 2:30 com esta abordagem eu convido você 2:32 para assistir a um dos muitos vídeos que fiz 2:34 cobrindo-os e volte para o resto 2:36 inserir o método inspirado em Nerf irá 2:39 tem que prever três essenciais 2:40 propriedades usadas para cada 2:42 pixel tridimensional ou voxels do 2:46 objeto como você vê aqui densidade de cor e 2:49 uma incorporação canônica usando um neural 2:51 rede treinada para isso conseguir um 3D 2:54 modelo com articulações realistas e 2:56 o movimento banmu usa o espaço da câmera 2:59 localização em vários quadros para 3:01 entender a matriz da qual é 3:03 filmagem permitindo-lhe reconstruir e 3:05 melhorar o modelo 3D de forma iterativa através 3:07 todos os quadros dos vídeos semelhantes ao que 3:10 faremos para entender o movimento de um objeto 3:12 ao redor e olhe para ele em tudo 3:14 direções esta parte é feita 3:16 automaticamente observando os vídeos 3:18 graças à incorporação canônica que 3:20 acabei de mencionar que esta incorporação irá 3:22 conter todas as características necessárias de cada 3:24 parte do objeto para permitir que você consulte 3:27 com uma nova posição desejada para o 3:29 objeto e forçando um coerente 3:31 reconstrução dada observações 3:33 irá basicamente mapear a posição Procurada 3:35 da imagem até o modelo 3D com 3:38 os pontos de vista e iluminação corretos 3:40 condições e fornecer Q é para o 3:42 forma necessária e articulações um último 3:45 coisa a mencionar é nossas cores aquelas 3:47 as cores representam o corpo do gato 3:49 atributos compartilhados nos diferentes 3:51 vídeos e imagens que usamos este é o 3:54 recurso que vamos aprender e olhar para 3:57 obter informações valiosas de todos 3:59 vídeos e mesclá-los no mesmo 3D 4:01 modelo para melhorar nossos resultados e pronto 4:05 você acaba com este lindo 3D 4:08 corte de calorias deformável que você pode usar em 4:10 suas aplicações é claro que isso foi 4:13 apenas uma visão geral de banmu e eu convido 4:15 você a ler o jornal para um conhecimento mais profundo 4:17 compreensão do modelo que você deve 4:19 com certeza se inscreva no canal se 4:21 esse tipo de notícia de IA interessa a você como 4:23 Estou compartilhando abordagens emocionantes semelhantes 4:26 toda semana obrigado por assistir até 4:28 o fim e eu vou te ver na próxima semana 4:30 com outro papel incrível 4:32 estrangeiro 4:36 [Música]
