これは、数週間前に参加した CVPR 2022 イベントで共有された、NeRF にヒントを得たアプローチである BANMo です。 BANMo は写真を撮って変形可能な 3D モデルを作成します。 VFX、ゲーム開発、または 3D シーンの作成に携わっている場合、この新しい AI モデルは最適です。作成パイプラインでこのモデルまたは同様のアプローチが間もなく登場し、3D モデルの作成に費やす時間、費用、および労力が大幅に削減されても、私は驚かないでしょう。動画で詳しく... 参考文献 ►記事全文を読む: ►プロジェクトページ： ://banmo-www.github.io/ ►論文: Yang, G., Vo, M., Neverova, N., Ramanan, D., Vedaldi, A. Joo, H., 2022. Banmo: 多くのモデルからアニメート可能な 3D ニューラル モデルを構築する カジュアル動画。コンピュータに関する IEEE/CVF 会議の議事録 視覚とパターン認識 (pp. 2863–2873)。 ►コード: ►マイ ニュースレター (毎週メールで説明される新しい AI アプリケーション!): https://www.louisbouchard.ai/banmo/ https https://github.com/facebookresearch/banmo https://www.louisbouchard.ai/newsletter/ ビデオトランスクリプト 0:00 VFX ゲーム開発に携わっている場合、または 0:02 3D シーンを作成するこの新しい AI モデルは、 0:06 あなたにとって、私は見ても驚かないでしょう 0:08 このモデルまたは同様のアプローチ 0:10 作成パイプラインを非常に短時間で許可する 0:12 お金を費やす時間を大幅に削減し、 0:14 見るだけで3Dモデルを作る努力 0:18 もちろん完璧ではありませんが、 0:20 カジュアルなビデオで即座に行われました 0:23 必要のない電話から取った 0:25 高価な midi カメラのセットアップまたは複雑な 0:28 深さセンサーの背後にある美しさの 1 つ 0:31 AI は複雑でコストがかかる 0:33 スタートアップが利用できるテクノロジーは、 0:35 プロジェクトを作成する個人 0:37 プロ品質の結果で 0:40 オブジェクトを撮影し、 0:42 すぐにインポートできるモデル 0:45 必要に応じて詳細を微調整します 0:46 満足していませんが、モデル全体が 0:49 数秒以内にそこにいる 0:51 あなたが見てきたのは 0:52 最近共有された banmu という AI モデル 0:55 私が参加した cvpr イベントで 0:58 正直なところ、彼らは私の注目を集めました 1:00 猫のせいでまだそうではなかった 1:02 紙を完全にクリックベイトし、 1:05 アプローチは実際にはかなり素晴らしいです 1:07 他の Nerf のアプローチとは異なります 1:09 3D モデルでのオブジェクトの再構築 1:11 禁止モードはタスクのリコールに取り組みます 1:13 多関節の 3D 形状再構成 1:16 つまり、ビデオで動作し、 1:18 変形可能なオブジェクトをモデル化するための画像と 1:22 猫よりも変形しやすいものと 1:24 見るよりもさらにクールなことは何ですか 1:26 結果はそれがどのように機能するかを理解することです 1:29 モデルはさりげなくいくつかから始まります 1:31 あなたがしたいオブジェクトのビデオを撮りました 1:34 動きや変形の様子をキャプチャ 1:36 それ自体があなたが送信したい場所です 1:38 猫が花瓶にすする動画 1:41 竹はそれらのビデオを作成してから作成します 1:44 彼らが正準空間と呼ぶもの 1:47 この最初の結果はあなたに与える 1:49 オブジェクトの形状に関する情報 1:51 外観とアーティキュレーション 1:53 オブジェクトのモデルの理解 1:55 空間を移動する方法を形作り、 1:57 レンガとブロックの間に属する場所 1:59 それらの大きなボールによって描写される血と 2:01 この 3D を取るさまざまな色 2:04 表現し、任意のポーズを適用します 2:06 猫の行動をシミュレートしたい 2:08 現実に近いアーティキュレーション 2:11 可能性は魔法のようですね 2:13 それは私たちがここで終わっていないからです 2:16 すぐにビデオからモデルになりました 2:18 しかし、これは興味深いところです 2:20 彼らは何を使って 2:23 このような表現へのビデオ 2:25 あなたが推測した正準空間 2:28 慣れていない場合はnerfのようなモデル 2:30 このアプローチで、私はあなたを強く招待します 2:32 私が作った多くのビデオの1つを見るために 2:34 それらをカバーし、残りのために戻ってきます 2:36 ナーフにインスパイアされたメソッドを挿入します 2:39 3つの重要な要素を予測する必要があります 2:40 それぞれに使用されるプロパティ 2:42 の 3 次元ピクセルまたはボクセル 2:46 ここに表示されているオブジェクトの色密度と 2:49 ニューラルを使用した標準的な埋め込み 2:51 3D を実現するために訓練されたネットワーク 2:54 リアルなアーティキュレーションを備えたモデルと 2:56 動き banmu は、カメラの空間を使用します 2:59 複数のフレーム内の位置 3:01 元の配列を理解する 3:03 再構築を可能にする撮影と 3:05 を通じて 3D モデルを繰り返し改善する 3:07 何に似ているビデオのすべてのフレーム 3:10 オブジェクトの動きを理解するために行います 3:12 ぐるぐるまわって全体を見る 3:14 この部分が行われる方向 3:16 動画を見て自動的に 3:18 標準的な埋め込みのおかげで 3:20 先ほど述べたように、この埋め込みは 3:22 それぞれに必要なすべての機能が含まれています 3:24 クエリを実行できるオブジェクトの一部 3:27 の新しい希望の位置で 3:29 オブジェクトと一貫性のある強制 3:31 観測を与えられた再構成 3:33 基本的に指名手配の位置をマッピングします 3:35 写真から3Dモデルまで 3:38 正しい視点と照明 3:40 条件と提供 Q は 3:42 最後に必要な形状とアーティキュレーション 3:45 言及することは私たちの色です 3:47 色は猫の体を表しています 3:49 さまざまな要素で共有される属性 3:51 私たちが使用したビデオと画像はこれです 3:54 私たちが学び、見る機能 3:57 みんなから貴重な情報を 3:59 ビデオとそれらを同じ 3D にマージする 4:01 結果を改善するためのモデルと出来上がり 4:05 あなたはこの美しい3Dで終わる 4:08 で使えるデフォルメカロリーカット 4:10 もちろん、これはあなたのアプリケーションでした 4:13 banmuの概要と私は招待します 4:15 あなたは論文をより深く読むために 4:17 あなたがすべきモデルの理解 4:19 だったら絶対チャンネル登録 4:21 この種の AI ニュースは、次のように興味があります 4:23 同様のエキサイティングなアプローチを共有しています 4:26 毎週 までご覧いただきありがとうございます 4:28 最後に、また来週お会いしましょう 4:30 別の素晴らしい紙で 4:32 外国 4:36 [音楽]
