Download as PDF, PPTX
![[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...](/image.pl?url=https%3a%2f%2fcdn.slidesharecdn.com%2fss_thumbnails%2f181214dlpointnet-181214053349-thumbnail.jpg%3fwidth%3d640%26amp%3bheight%3d640%26amp%3bfit%3dbounds&f=jpg&w=240)
![[DL輪読会]Dense Captioning分野のまとめ](/image.pl?url=https%3a%2f%2fcdn.slidesharecdn.com%2fss_thumbnails%2fdlseminar-201202012355-thumbnail.jpg%3fwidth%3d640%26amp%3bheight%3d640%26amp%3bfit%3dbounds&f=jpg&w=240)
![SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜](/image.pl?url=https%3a%2f%2fcdn.slidesharecdn.com%2fss_thumbnails%2fss2ssii2022-220607054716-2760bd30-thumbnail.jpg%3fwidth%3d640%26amp%3bheight%3d640%26amp%3bfit%3dbounds&f=jpg&w=240)
![[解説スライド] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis](/image.pl?url=https%3a%2f%2fcdn.slidesharecdn.com%2fss_thumbnails%2fnerf20200327slideshare-200326131430-thumbnail.jpg%3fwidth%3d640%26amp%3bheight%3d640%26amp%3bfit%3dbounds&f=jpg&w=240)
![[DL輪読会]Objects as Points](/image.pl?url=https%3a%2f%2fcdn.slidesharecdn.com%2fss_thumbnails%2f20190614centernetkuboshizuma-190614004246-thumbnail.jpg%3fwidth%3d640%26amp%3bheight%3d640%26amp%3bfit%3dbounds&f=jpg&w=240)
![[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing](/image.pl?url=https%3a%2f%2fcdn.slidesharecdn.com%2fss_thumbnails%2fglide2-220107030326-thumbnail.jpg%3fwidth%3d640%26amp%3bheight%3d640%26amp%3bfit%3dbounds&f=jpg&w=240)
More Related Content
What's hot
Similar to Point net
![[DL輪読会]“Spatial Attention Point Network for Deep-learning-based Robust Autono...](/image.pl?url=https%3a%2f%2fcdn.slidesharecdn.com%2fss_thumbnails%2f20210729kokiyamane-210730035349-thumbnail.jpg%3fwidth%3d640%26amp%3bheight%3d640%26amp%3bfit%3dbounds&f=jpg&w=240)
![[DL輪読会]Pyramid Stereo Matching Network](/image.pl?url=https%3a%2f%2fcdn.slidesharecdn.com%2fss_thumbnails%2f2019-05-31psmnetpyramidstereomatchingnetwork-hiroakisugisaki-190531000258-thumbnail.jpg%3fwidth%3d640%26amp%3bheight%3d640%26amp%3bfit%3dbounds&f=jpg&w=240)
![[DL輪読会]Differentiable Mapping Networks: Learning Structured Map Representatio...](/image.pl?url=https%3a%2f%2fcdn.slidesharecdn.com%2fss_thumbnails%2fdifferentiablemappingnetworks-200707033539-thumbnail.jpg%3fwidth%3d640%26amp%3bheight%3d640%26amp%3bfit%3dbounds&f=jpg&w=240)
![[DL輪読会]Unsupervised Learning of 3D Structure from Images](/image.pl?url=https%3a%2f%2fcdn.slidesharecdn.com%2fss_thumbnails%2fsugihara-161213071700-thumbnail.jpg%3fwidth%3d640%26amp%3bheight%3d640%26amp%3bfit%3dbounds&f=jpg&w=240)
Point net
- 1.
- 2.
- 3.発表の概要• 発表論文• PointNet:Deep Learning on Point Sets for 3DClassification and Segmentation• どんな論文？• ３次元点群形式の形状データをディープラーニングで扱えるようにした• 分類やセマンティックセグメンテーションなどのタスクに適用• 特徴は？• 応用範囲がめっちゃ広い！• 技術的には・・・• 点群の順序に対して不変なネットワーク• ローカル・グローバル両方加味した特徴抽出• 向きに対してロバスト
- 4.PointNet: Deep Learningon PointSets for 3D Classification andSegmentationAuthors:Charles R. Qi, Hao Su, Kaichun Mo, Leonidas J. GuibasPresenter:K. Fujimoto
- 5.Convolutional Neural Network•高性能な画像認識の実現• 畳み込み層、プーリング層、全結合層等で構成
- 6.CNN for 3Dmodel• ３DCNN• ３次元点群データに対する畳み込み層• 点群をボクセルに変換する事で画像と同様に扱う• 課題：点群で表現可能だった細かな凹凸の欠損
- 7.PointNet• 点群データを直接扱うことのできるネットワーク• 点の順序や向きに対してロバスト•応用範囲が広い• 分類、セグメンテーション、点の特徴抽出
- 8.点群に対する要件• 点群の順序に対して不変な結果であること• (p1,p2, p3, p4)も(p1, p4, p3, p2)も同じ形状を示す• 局所的な特徴も取れること• 近傍の点同士の配置関係で形状が決まるため• 回転に不変であること• 画像と異なり座標系の取り方が任意• z方向が上のように一概に定義できない場合もある
- 9.
- 10.
- 11.
- 12.
- 13.
- 14.
- 15.
- 16.簡単に解説• 順序によらない特徴抽出• その他の例としては、•加算• 積算などがある。MaxPoolingが良いらしい。
- 17.
- 18.アライメントに関するネットワーク• T-Net• 点群を入力しアフィン変換行列を出力するネットワーク•アフィン変換・・・回転・並進・拡大縮小MaxPoolingMLPAffineMatrix
- 19.実験• 実験内容• 実験１•分類• パーツセグメンテーション• セマンティックセグメンテーション• 検出、法線推定、点対応付け• 実験２• 順序に関するロバスト性検証• アライメントに関する実験• 点削減に対するロバスト性• 実験３• 全体に寄与する点の抽出• 実験４• ネットワーク効率に関する実験
- 20.実験１：点群の分類• 条件• ModelNet40ベンチマーク•12,311個の人工CADデータ、40カテゴリ• 大凡SOTA
- 21.実験２：パーツセグメンテーション• 条件• ShapeNetパーツデータセット•16,881個のデータ、16カテゴリ、50種類のパーツ• 精度はSOTA
- 22.実験３：セマンティックセグメンテーション• 条件• Stanford3D semantic parsing data• 6 areas including 271 rooms, 13 categories
- 23.
- 24.
- 25.
- 26.Point to pointcorrespondence
- 27.
- 28.まとめ• 提案手法• PointNet•ボクセルなどの中間表現にせず、計測した点群データを直接扱えるネットワーク• 技術• 点の順序に依存しない特徴抽出• 局所・全体を考慮した推論• 回転にロバストなネットワーク• 結果• 広い応用範囲（分類、セグメンテーション、検出・・・）• ネットワークサイズは小さいにも関わらずSOTA
- 29.その他• 各点は、一点のみの特徴しか取っておらず、近傍の特徴も計算すべきでは？• PointNet++という著者の報告が最近arxivに出た•なんと僕がこの論文を発表しようと決めた当日• Chainerで実装中• https://github.com/peisuke/pointnet.chainerのdevブランチで実装中