Facebookは、DNRよりも高速で優れているため、仮想アバターの詳細をより現実的にするために、ANRの関節式ニューラルレンダリングを提案しています。
リアリズムをキャプチャすることは、コンピュータビジョンの重要な目標の1つです。3Dレンダリングとニューラルネットワークの進歩により、非常に忠実な方法がもたらされました。ただし、これには通常、高価で複雑なキャプチャ設定が必要であり、結果のモデルの単純なデジタル化と送信が妨げられます。最近のDeferredNeural Rendering（DNR）スタイルでは、不正確なジオメトリと比較的単純なニューラルシェーダーを使用して、視点に関連する効果を持つ複雑なシーンを真にキャプチャできます。最初のステップでは、ジオメトリはニューラル潜在テクスチャを使用してラスタライズされ、畳み込みネットワークを使用してRGB画像に変換されます。レンダリングネットワークとニューラルテクスチャの両方が、現実的な結果を生成するように最適化されています。
DNRは、硬い物体に特に適しています。そのパイプラインは、自然な方法で変形可能なオブジェクトに拡張できます。スキンメッシュを使用してジオメトリをキャプチャできます。次に、ポーズグリッドからラスタライズされたニューラルテクスチャをRGB画像に変換できます。概念的には非常に単純ですが、ニューラルネットワークはより複雑な変形関連の効果を学習する必要があります。さらに、レンダリングに使用されるメッシュは通常、実際のジオメトリを完全に表現していないため、位置合わせの問題が発生し、変形可能なオブジェクトシーンでのDNRの適用が制限されます。
この問題に対応して、ジョージア工科大学、ドイツのボン大学、Facebook Reality Lab、およびEpic Gamesで構成されるチームが、Articulated Neural Rendering（ANR）を使用して問題を解決することを提案しました。報告によると、ANRは神経影モデル構造から最適化されたソリューションにDNRを体系的に再構築し、チームはANRを使用してアニメーションで最も困難な問題の1つである仮想アバターを解決します。以下の画像は、ANRによってレンダリングされた仮想アバターの例です。
具体的には、DNRは非常に強力ですが、ビューに関連する外観情報を学習するには、正確な3Dジオメトリが必要です。特に、その形状が通常大まかな統計的身体モデルによって表される、関節のある服を着た人間の外観については、実際にそのような仮定をすることは困難です。ANRは、単純な統計的人体モデルを使用して、各フレームの身体統計と3D姿勢情報をキャプチャします。ボディモデルは、衣服や髪の毛のないラフなボディジオメトリのみを表します。したがって、DNRパイプラインを直接使用すると、歪みやぼやけが発生します。研究者は、ビデオのキーフレームを使用して、神経テクスチャにエンコードされた静的な外観を学習し、他のフレームを使用して、外観の動的なポーズ条件付きレンダリングを学習しました。キーフレームベースのトレーニングスキームにより、モデルはDNRより5倍速く収束し、DNRよりも優れた仮想アバターを生成します。チームは、モデル内の複数のID ANRを同時にトレーニングして、ニューラルテクスチャモデルとシェーディングモデルを分離します。統計ボリュームモデルには一貫した表面パラメータ化があるため、モデルは関連するセマンティック対応を使用して、複数のニューラルテクスチャのコンポーネントを変更および混合し、ニューラルテクスチャの領域を変更することで仮想トライオンを実現できます。
研究者によって得られたモデルは2次元にのみ適していますが、非常に小さなネットワーク（161Mパラメーター）を使用して、実際の写真効果に近い耐久性のある3次元の外観をレンダリングできることが実験的に検証されています。2つのユーザー調査によると、ANRはDNRパイプラインよりも優れているだけでなく、仮想アバターを作成するための方法を使用する他の多くのパイプラインよりも優れています。知覚的には、この方法には時間安定性と優れた外観の詳細があります。
ANRは、ジョイントオブジェクトの非常に詳細な表現を生成できます。従来のレンダリングパイプラインは高解像度グリッドと詳細なRGBテクスチャを使用しますが、研究者は低解像度グリッドと高次元ニューラルテクスチャを使用し、ニューラルネットワークを使用して新しいビューから詳細なRGB外観をレンダリングします。
この論文の寄稿には3つの側面があります。最初に、チームは新しいニューラルレンダリングフレームワークであるANRを提案しました。これは、大まかな3D形状と任意の骨格の動きに基づいて高品質の仮想アバターを生成するために使用されます。次に、ANRは、ネットワークパラメータのセットを使用して複数の機能をキャプチャして表示できる最初のニューラルアバターモデルです。第三に、ANRを使用すると、外観の編集や機能のブレンドを簡単に行うことができます。
一般に、研究者は主に新しいニューラルレンダリングフレームワークであるANRを導入しました。これは、任意のスケルタルアニメーションと視点を持つ高品質の仮想アバターを処理するために使用できます。この方法の鍵は、幾何学的なずれと姿勢に関連する表面の変形を考慮することです。関連するソリューションは、まったく新しいニューラルレンダリング構造と調整された最適化スキームを含むエンドツーエンドの学習フレームワークに統合されています。ANRは、単一のニューラルレンダリングモデルを使用して複数のアバターをレンダリングできます。テクスチャとジオメトリを分離することで、ANRは外観のブレンドと編集を実現できます。より高品質の結果を得るために、モデルを特定のロゴに微調整することができます。さらに、ANRは現在、シーンライティングを神経の外観に焼き付けており、ライティングと表面反射を内部分解で分離することは、将来の重要な方向性です。
この論文に関する研究の説明と計算の説明の詳細については、関連する論文ANR：仮想アバターの関節式ニューラルレンダリングをご覧ください。
© 2020 www.ourvrworld.com