Movatterモバイル変換

第１回最新のML,CV,NLP関連論文読み会2017/06/18@peisuke

自己紹介名前：藤本敬介所属：ABEJA研究テーマ：コンピュータビジョン、ロボティクス点群：認識、メッシュ化、統合画像：認識、SfM、MVSロボット：移動ロボット制御、マニピュレータその他：情報処理学会論文編集委員会（２０１６年度副査）各種学会会員

発表の概要• 発表論文• PointNet: Deep Learning on Point Sets for 3DClassification and Segmentation• どんな論文？• ３次元点群形式の形状データをディープラーニングで扱えるようにした• 分類やセマンティックセグメンテーションなどのタスクに適用• 特徴は？• 応用範囲がめっちゃ広い！• 技術的には・・・• 点群の順序に対して不変なネットワーク• ローカル・グローバル両方加味した特徴抽出• 向きに対してロバスト

PointNet: Deep Learning on PointSets for 3D Classification andSegmentationAuthors:Charles R. Qi, Hao Su, Kaichun Mo, Leonidas J. GuibasPresenter:K. Fujimoto

Convolutional Neural Network• 高性能な画像認識の実現• 畳み込み層、プーリング層、全結合層等で構成

CNN for 3D model• ３DCNN• ３次元点群データに対する畳み込み層• 点群をボクセルに変換する事で画像と同様に扱う• 課題：点群で表現可能だった細かな凹凸の欠損

PointNet• 点群データを直接扱うことのできるネットワーク• 点の順序や向きに対してロバスト• 応用範囲が広い• 分類、セグメンテーション、点の特徴抽出

点群に対する要件• 点群の順序に対して不変な結果であること• (p1, p2, p3, p4)も(p1, p4, p3, p2)も同じ形状を示す• 局所的な特徴も取れること• 近傍の点同士の配置関係で形状が決まるため• 回転に不変であること• 画像と異なり座標系の取り方が任意• z方向が上のように一概に定義できない場合もある

PointNetの構成• 全体図

PointNetの構成• PointNetの特徴②順序に不変な変換③局所特徴と全体特徴の併⽤④向きに不変となる変換①点群の畳み込み

PointNetの構成の詳細• 点群に対する畳み込みxyzxyzxyzp1p2p364 64MLP(重みは各点共有)

点群の順に不変な特徴抽出• 僕が一番読みたかったところ• やり方は・・・

簡単に解説• 順序によらない特徴抽出• その他の例としては、• 加算• 積算などがある。MaxPoolingが良いらしい。

局所特徴と全体特徴の併用• くっつけるだけ！！！

アライメントに関するネットワーク• T-Net• 点群を入力しアフィン変換行列を出力するネットワーク• アフィン変換・・・回転・並進・拡大縮小MaxPoolingMLPAffineMatrix

実験• 実験内容• 実験１• 分類• パーツセグメンテーション• セマンティックセグメンテーション• 検出、法線推定、点対応付け• 実験２• 順序に関するロバスト性検証• アライメントに関する実験• 点削減に対するロバスト性• 実験３• 全体に寄与する点の抽出• 実験４• ネットワーク効率に関する実験

実験１：点群の分類• 条件• ModelNet40ベンチマーク• 12,311個の人工CADデータ、40カテゴリ• 大凡SOTA

実験２：パーツセグメンテーション• 条件• ShapeNetパーツデータセット• 16,881個のデータ、16カテゴリ、50種類のパーツ• 精度はSOTA

実験３：セマンティックセグメンテーション• 条件• Stanford 3D semantic parsing data• 6 areas including 271 rooms, 13 categories

Normal vector estimationGTPred

ネットワーク効率• 既存のネットワークよりも小さい、精度は同程度• 点ごとに計算できるのでCPUで並列化しやすい

まとめ• 提案手法• PointNet• ボクセルなどの中間表現にせず、計測した点群データを直接扱えるネットワーク• 技術• 点の順序に依存しない特徴抽出• 局所・全体を考慮した推論• 回転にロバストなネットワーク• 結果• 広い応用範囲（分類、セグメンテーション、検出・・・）• ネットワークサイズは小さいにも関わらずSOTA

その他• 各点は、一点のみの特徴しか取っておらず、近傍の特徴も計算すべきでは？• PointNet++という著者の報告が最近arxivに出た• なんと僕がこの論文を発表しようと決めた当日• Chainerで実装中• https://github.com/peisuke/pointnet.chainerのdevブランチで実装中

Movatterモバイル変換

Change Language

Point net

Embed presentation

Recommended

More Related Content

What's hot

Similar to Point net

More from Fujimoto Keisuke

Point net