Download as PDF, PPTX
Uploaded bycvpaper. challenge
PDF, PPTX3,274 views
【メタサーベイ】Neural Fields
cvpaper.challenge の メタサーベイ発表スライドです。cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ作成・アイディア考案・議論・実装・論文投稿に取り組み、凡ゆる知識を共有します。http://xpaperchallenge.org/cv/
Related topics:
Recommended
![[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis](/image.pl?url=https%3a%2f%2fcdn.slidesharecdn.com%2fss_thumbnails%2fnerfdlseminar1-200327021512-thumbnail.jpg%3fwidth%3d640%26amp%3bheight%3d640%26amp%3bfit%3dbounds&f=jpg&w=240)
![SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる？？ 〜](/image.pl?url=https%3a%2f%2fcdn.slidesharecdn.com%2fss_thumbnails%2fss1ssii2022hkatoneural3drepresentationhiroharukato-220607054619-fadc6480-thumbnail.jpg%3fwidth%3d640%26amp%3bheight%3d640%26amp%3bfit%3dbounds&f=jpg&w=240)
![[解説スライド] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis](/image.pl?url=https%3a%2f%2fcdn.slidesharecdn.com%2fss_thumbnails%2fnerf20200327slideshare-200326131430-thumbnail.jpg%3fwidth%3d640%26amp%3bheight%3d640%26amp%3bfit%3dbounds&f=jpg&w=240)
![[DL輪読会]GQNと関連研究，世界モデルとの関係について](/image.pl?url=https%3a%2f%2fcdn.slidesharecdn.com%2fss_thumbnails%2f20180817-180827085537-thumbnail.jpg%3fwidth%3d640%26amp%3bheight%3d640%26amp%3bfit%3dbounds&f=jpg&w=240)
![SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜](/image.pl?url=https%3a%2f%2fcdn.slidesharecdn.com%2fss_thumbnails%2fts120220608ssiitransformerr2-220607054025-3adacf07-thumbnail.jpg%3fwidth%3d640%26amp%3bheight%3d640%26amp%3bfit%3dbounds&f=jpg&w=240)
![[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows](/image.pl?url=https%3a%2f%2fcdn.slidesharecdn.com%2fss_thumbnails%2fswintransformer-210514020542-thumbnail.jpg%3fwidth%3d640%26amp%3bheight%3d640%26amp%3bfit%3dbounds&f=jpg&w=240)
![[DL輪読会]Vision Transformer with Deformable Attention （Deformable Attention Tra...](/image.pl?url=https%3a%2f%2fcdn.slidesharecdn.com%2fss_thumbnails%2fdl0114-220114032933-thumbnail.jpg%3fwidth%3d640%26amp%3bheight%3d640%26amp%3bfit%3dbounds&f=jpg&w=240)
![[DL輪読会]Objects as Points](/image.pl?url=https%3a%2f%2fcdn.slidesharecdn.com%2fss_thumbnails%2f20190614centernetkuboshizuma-190614004246-thumbnail.jpg%3fwidth%3d640%26amp%3bheight%3d640%26amp%3bfit%3dbounds&f=jpg&w=240)
![[DL輪読会]A Higher-Dimensional Representation for Topologically Varying Neural R...](/image.pl?url=https%3a%2f%2fcdn.slidesharecdn.com%2fss_thumbnails%2fahigher-dimensionalrepresentationfortopologicallyvaryingneuralradiancefields1-210924021911-thumbnail.jpg%3fwidth%3d640%26amp%3bheight%3d640%26amp%3bfit%3dbounds&f=jpg&w=240)
More Related Content
What's hot
![[DL輪読会]BANMo: Building Animatable 3D Neural Models from Many Casual Videos](/image.pl?url=https%3a%2f%2fcdn.slidesharecdn.com%2fss_thumbnails%2fbanmo-220225035310-thumbnail.jpg%3fwidth%3d640%26amp%3bheight%3d640%26amp%3bfit%3dbounds&f=jpg&w=240)
![SSII2022 [TS3] コンテンツ制作を支援する機械学習技術〜 イラストレーションやデザインの基礎から最新鋭の技術まで 〜](/image.pl?url=https%3a%2f%2fcdn.slidesharecdn.com%2fss_thumbnails%2fts32022ssiiess-220607054523-e80be8dc-thumbnail.jpg%3fwidth%3d640%26amp%3bheight%3d640%26amp%3bfit%3dbounds&f=jpg&w=240)
![[DL輪読会]Deep Face Recognition: A Survey](/image.pl?url=https%3a%2f%2fcdn.slidesharecdn.com%2fss_thumbnails%2f20181221-181221023935-thumbnail.jpg%3fwidth%3d640%26amp%3bheight%3d640%26amp%3bfit%3dbounds&f=jpg&w=240)
【メタサーベイ】Neural Fields
- 1.Neural Fieldsmeta-surveyCCCS2022Neural Fieldsgroup, cvpaper.challenge
- 2.
- 3.What is NeuralFields?● Neural Networkにより、（主に）3次元の場を再構成する方法論に関する小研究分野● 代表例：NeRF（Neural Radiance Fields）https://www.matthewtancik.com/nerf より
- 4.
- 5.NeRF？• Neural RadianceField• 複数のサンプリングした視点で撮影された画像を学習すると，未知視点の画像を生成するタスクNovel View Image Synthesisが超キレイにできることでインパクトを与えた深層学習モデル• 論文読んでも・解説聞いても良く分からない！→本資料で前提から解決する予定5学習した学習した学習してない！→でも生成
- 6.
- 7.
- 8.「光」って見る角度で変わるんじゃね？反射する方向で明度が変わるものがある。鏡とか金属とか(x,y,z,θ)=明るい黄色 (x,y,z,θ)=暗い黄色 8BRDF:Bidirectional Reflectance Distribution Function双方向反射分布関数
- 9.「光」って見る角度で変わるんじゃね？反射する方向で色も変わる。プリズムとかクジャクの羽とか(x,y,z,θ)=明るい黄色 (x,y,z,θ)=暗い青BRDF: BidirectionalReflectance Distribution Function双方向反射分布関数※異方性材質9
- 10.透明な物体ってあるんじゃね？実はお肌は複数の反射光の重ね合わせ（お肌の透明感）(x, y, z,θ)=(色, 透明度)皮脂表皮真皮10
- 11.透明な物体ってあるんじゃね？実はお肌は複数の反射光の重ね合わせ（お肌の透明感）(x, y, z,θ)=(色, 透明度)Radiance Field (放射輝度場)11
- 12.「見える」モデルたち• Lv. 1: Lambert反射 (x, y, z)=色• ある位置にある物体が出す光• Lv. 2 : BRDF (x, y, z, θ)=色• ある位置にある物体が，ある方向に出す光• Lv. Max : Radiance Field (x, y, z, θ)=(色, 透明度)• ある位置にある物体が，ある方向に出す，光，その透明度12「光の見え方はこれで完全シミュレート可能」
- 13.「見える」モデルたち• Lv. 1: Lambert反射 (x, y, z)=色• ある位置にある物体が出す光• Lv. 2 : BRDF (x, y, z, θ)=色• ある位置にある物体が，ある方向に出す光• Lv. Max : Radiance Field (x, y, z, θ)=(色, 透明度)• ある位置にある物体が，ある方向に出す，光，その透明度なんで使ってなかったの？13「光の見え方はこれで完全シミュレート可能」
- 14.「見える」モデルたち• Lv. 1: Lambert反射 (x, y, z)=色• ある位置にある物体が出す光• Lv. 2 : BRDF (x, y, z, θ)=色• ある位置にある物体が，ある方向に出す光• Lv. Max : Radiance Field (x, y, z, θ)=(色, 透明度)• ある位置にある物体が，ある方向に出す，光，その透明度「光の見え方はこれで完全シミュレート可能」なんで使ってなかったの？ 激重 空間全部で計算！！！！表面だけ見ればいい14
- 15.
- 16.
- 17.
- 18.Deep Learning でRadiance Fieldを作るθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aCGモデラーAIｵﾅｼｬｯｽおｋNeural Radiance FieldNeRF18
- 19.Deep Learning でRadiance Fieldを作るθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aCGモデラーAIｳｨｯｽ多視点画像集めてきてNeural Radiance FieldNeRF19
- 20.
- 21.
- 22.NeRFの「結果の差」ズバリ，作れる画像 vs オリジナル画像NeRF入力出力学習-の差の大きさを表す指標※Loss22
- 23.
- 24.NeRFから画像を作る光線が通った「点」の出す光色の重ね合わせ＝足し算 ※光は加法混色どんどんまぶしくなる※Volume Rendering遮蔽効果色位置差密度(不透明度)足し算は微分可能＝学習可能出力NeuralRadiance Field連続場実体はMLP(x,y,z,θ,φ) -> (r,g,b,σ)(x,y,z,θ,φ) -> (r,g,b,σ)(x,y,z,θ,φ) -> (r,g,b,σ)24
- 25.NeRFから画像を作る光線が通った「点」の出す光色の重ね合わせ＝足し算 ※光は加法混色どんどんまぶしくなる※Volume Rendering遮蔽効果色位置差密度(不透明度)足し算は微分可能＝学習可能出力NeuralRadiance Field連続場実体はMLP(x,y,z,θ,φ) -> (r,g,b,σ)(x,y,z,θ,φ) -> (r,g,b,σ)(x,y,z,θ,φ) -> (r,g,b,σ)25https://blog.albert2005.co.jp/2020/05/08/nerf/より
- 26.
- 27.
- 28.
- 29.• 数学用語• f(x)=0とする表現•値0で切ったところの断面• cf. y=f(x)• xの値が決まればyは明らか(explicit)Implicit Function (陰関数)y=f(x)xに対応するyの値（写像）f(x,y)=00のところの断面explicit implicit𝑥2 + 𝑦2 − 𝑟 = 029
- 30.Implicit FunctionとCG• 従来のCG：頂点定義•離散• ポリゴンの角張り• 頂点数による処理時間と滑らかさのトレードオフ• 点と面の定義でわかりやすい• Implicit FunctionによるCG：数式定義• 連続• レイキャスティング等の発展により実現• 解像度に依存しない滑らかさ• 関数定義をどうする？𝑥2 + 𝑦2 − 𝑟 = 0{ 𝑥1, 𝑦1 , 𝑥2, 𝑦2 , 𝑥3, 𝑦3 … }30？
- 31.3D再構成とImplicit Function• 距離場•モノがある点＝0として，そこからの距離の場として表現• 計測ノイズがモデルで緩衝できる• なめらかな表現• 距離場いろいろ• SDF (Signed Distance Field)• TSDF (Truncated SDF)• Kinect Fusion(※非deep)で採用• DeepSDF• 距離場(SDF)をNeuralに求める方法31
- 32.NeRFとImplicit Functionの関係性• どちらも場を表現するものとして持ち出されたモノ•NeRF(Neuralな輝度場)はDeepSDF(Neuralな距離場)のテクニックを継承している• NeRF自体は厳密にはImplicit Functionではない（と思う）θ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,a注目点 → NN → 距離注目点＋向き → NN → 色＋密度32
- 33.NeRFとImplicit Functionの違うところ• 距離場は面に興味があるが，輝度場は興味がない•輝度場はボリューム全体で見えを形成するが，距離場は面のみ• 輝度場はもやっと，距離場はソリッドθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,aθ,r,g,b,a面の位置に興味があり，面＝0と定義「面」はない全てが透明体通った光の重ね合わせが結果33
- 34.Neural Fields• 深層学習のテクニックによる「場」の復元として研究が発展している•場：時空の各点に対応する連続値の物理量（点→物理量）• 場たち占有場 (Occupancy) 点→あるorない距離場 (Distance Field) 点→距離放射輝度場 (Radiance Field) 点＋向き→色＋密度オプティカルフロー場 (Flow Field) 点→オプティカルフローFourier Field フーリエ空間上の点→スペクトル値Audio 時刻→音圧etc.Jan. 2019Mar. 2020Dec. 2018※脳神経科学で言うところのNeural Fieldとは異なるImplicit34
- 35.NeRF: Representing Scenesas NeuralRadiance Fields for View Synthesis書いた人：鈴木亮太Ben Mildenhall (UC Berkeley) et al. ECCV 2020 (oral) Best Paper Honorable Mentionhttps://www.matthewtancik.com/nerf概要新規性コメント・気づき等3次元座標+光線方向(x,y,z,Θ,φ)を入力すると，色と密度※注(R,G,B,σ)を出力する関数をMLPに学習させ、未知視点画像を生成するタスクNovel View Synthesisを高度に実現した。・Novel View Synthesisを圧倒的な性能で、しかも単純な13層のMLP構造で実現している、一躍注目を浴びた衝撃的な研究。ここから多数の派生研究が急激に発生している。・圧倒的な性能・空間を復元するという、GANとは異なる方法論（CG的）※密度：不透明度に相当Σ(R,G,B,σ)ihttps://blog.albert2005.co.jp/2020/05/08/nerf/よりhttps://www.matthewtancik.com/nerfより未知画像生成結果超きれい！透明な光の重ね合わせMLP！超シンプル
- 36.Why Neural Fieldsmeta-survey?● 2020年からの急激な伸び！● 画像生成のみならず，3DCV，3DCG他…の多岐分野に波及！● 原動力は？方向性のトレンドは？2022.5.30アクセスメタサーベイしよう！
- 37.参考資料リスト● Neural Fieldsin Visual Computing and Beyondhttps://arxiv.org/pdf/2111.11426.pdf● 画像生成・生成モデル メタサーベイhttps://www.slideshare.net/cvpaperchallenge/ss-248586051● NeRFの派生研究まとめhttps://www.slideshare.net/DeepLearningJP2016/dlneural-radiance-field-nerf● Awesome Implicit Neural Representationshttps://github.com/vsitzmann/awesome-implicit-representations● Awesome NeRFhttps://github.com/yenchenlin/awesome-NeRF● NeRF at ICCV2021https://dellaert.github.io/NeRF21/● ALBERTのNeRFチュートリアルhttps://github.com/ALBERT-Inc/NeRF-tutorial
- 38.
- 39.NeRFじゃなくてNeural Fields?● NeRF: Radiance Field（放射輝度場）を復元● 場ならなんでも表現可能なのでは！？ → Neural Fields○ 占有格子：Occupancy networks, IM-Net○ 距離場：DeepSDF, PIFu○ 放射輝度場：NeRF○ ラベル場：Neural Semantic Field○ 変形場：nerfies○ etc.Σ(R,G,B,σ)i
- 40.Neural Implicit Representation(NIR) じゃないの？● Implicit Representation: 隠関数表現○ f(x)=0とする表現● CGでも隠関数表現というトピックが注目○ SDF，TSDF：物体の面を0として表現○ 密に点群を用意せずとも，関数でCG表現できる！● Implicitじゃなくても場を表現可能（したい）！○ 代表例：NeRF○ 空間に透明度を持たせる＝境界面がない＝ F(x,d)=(rgba)● SDF → NeRF → Neural Fields ← いまここ→ NIRSDFDistance(x)=0 の x が面である01 1OccupancyP(x)=0 の x が面である
- 41.
- 42.データセット● LLFF dataset：ForwardFacing（視線方向が大まかに一致したカメラ配置）に撮影された実写データ。壁などで奥行き上限のあるシーンを撮影● NeRF synthetic dataset：CGで生成されたフォトリアルな映像。球面上に配置したカメラから中央に配置した被写体を撮影し、背景は透過（マスクあり）。● DTU MVS dataset：ロボットアームで取られた真値の点群付き実写映像．● BlendedMVS：CGの大規模シーンデータ（NeuS以外は使ってなさそう．．．）● RTMV Dataset：高解像度，カメラ配置方法をランダム化したデータセットCGはおのおの生成可能．実世界志向，シーンの大規模化の需要があるか？CG，SfM結果データを取り回しやすいフレームワークの需要？
- 43.計算速度問題● オリジナルのNeRFは学習・レンダリングが遅い！！○ レンダリング速度：56.185s＠NVIDIA GTX 1080 Ti, Intel i7-3770k CPU, 32GB RAM (KiloNeRFより引用)○ 1シーン10時間程度 x Nシーン …！！！● 学習が遅いといろいろ試しにくい → 研究が進みにくい → 解決したい！● 構造が単純すぎる！絶対最適化できるはず！！● 黎明期の第一の課題として，研究派生が多数
- 44.計算速度問題への対応（レンダリング）○シーンを分割して複数の小規模なネットワークで表現するアプローチDeRF (British Columbia大)：Voronoi空間分割でシーンの分解方法を含め学習．3倍高速化NSVF(MPI)：Sparse Voxel Octreeでモノのある箇所にのみNNを配置．10倍高速化KiloNeRF (MPI)：数千オーダーの小規模NNに分割．3000倍高速化○ボリュームレンダリングの積分構造を定式化しサンプリングを回避するアプローチAutoInt (Stanford)：ネットワークの一階微分のグラフを別途作成して学習し、２点の計算のみで定積分を計算可能に○ネットワークの計算結果を事前にキャッシュすることでレンダリングを高速化SNeRG (Google)：視点依存性の特徴ベクトル化し、小規模なネットワークで色を生成PlenOctree (UC Berkley)：反射モデルの入力に対する基底を与えてパラメータ化
- 45.計算速度問題への対応（学習）モデルを空間計算量側に展開し、INRを使わずに直接離散化したボリューム表現を最適化するアプローチが普及DirectVoxGO (清華大)：ボクセルでRadiance Fieldを保持して直接学習．15分で収束Plenoxels(UC Berkley)：PlenOctreeを直接学習．8分で収束InstantNGP (NVidia)：PositionalEncodingの代わりに多重ボクセル構造の結合で表現。５秒で収束学習時の計算最適化はInstantNGPで最終形態とみられる自分の研究に高速化を導入しやすいフレームワークの需要？
- 46.形状表現／学習の安定化オリジナルのNeRFではPositionalEncoding(PE)により微細な形状を表現→収束が遅く、ノイズが残りやすい課題があった◯活性化関数による安定化SIREN (MIT)：PEではなく隠れ層の活性化関数にSINを使用GARF (アデレード大)：活性化関数にガウス関数を使用し、バンドパスフィルタのような挙動を実現◯PEの重みづけによる周波数操作Nerfies(Google)：Progressive Trainingを提案BARF (CMU/MIT)：高周波成分を減衰させたPEでの学習ステップを導入mip-NeRF (Google)：サンプリングを点ではなく楕円や円錐とみなしてPEで積分を計算何れも高周波成分を用いない学習ステップが存在→大局的な挙動が安定している