Movatterモバイル変換

自律移動ロボットのためのロボットビジョン〜オープンソースの自動運転ソフトAutowareを解説〜2022.6.9河口信夫（名古屋大学／株式会社ティアフォー）斉藤之寛（株式会社ティアフォー）

本日のチュートリアル構成• イントロ：河口信夫（名古屋大/TIER IV）• 自律移動ロボットとは• ROSとは？ Autoware とは？• The Autoware Foundation• Autoware.ai から Autoware Core/Universe へ• メイン：斉藤之寛（TIER IV）• 自動運転• Autowareのアーキテクチャ• 自動運転のためのロボットビジョン

自己紹介：河口信夫（かわぐちのぶお）名古屋大学工学研究科情報・通信工学専攻教授（未来社会創造機構モビリティ社会研究所副所長)TMI (超学際移動イノベーション）卓越大学院コーディネータ自動運転ベンチャー (株) ティアフォーフェローNPO法人位置情報サービス研究機構(Lisra) 代表理事総務省スマートIoT推進フォーラムテストベッド分科会長・研究テーマ：ユビキタス・コンピューティング代表的な成果： HASC コーパス/ツール• カウントダウン時刻表アプリ「駅.Locky」（300万人が利用）• 需給交換プラットフォーム/社会活動OS Synerex駅.Locky

自律移動ロボット• 周囲の状況をセンサー等で認識して、状況を判断し自律的に移動できるロボット• 今後の社会で様々な活躍が期待されている• 自動運転車両• 自律移動車椅子• 警備ロボット• 自動配送・配膳ロボット• 掃除ロボット

掃除ロボット：ルンバカメラによる障害物認識衝突センサによる環境認識走行結果から地図作成（SLAM）赤外線センサによる段差推定

ロボットを動かす仕組みセンサー群LiDARGPSCAMERAIMUMOTORSTEERING環境の認識自己位置推定物体認識センサードライバ判断空間地図動作指示アクチュエータドライバアクチュエータ群ロボットミドルウェア / ROSAutoware

自動運転ソフトウェア AutowareMachine Learning/Deep LearningMany-Core CPUs GPUsEmbedded OS RTOS and Real-Time LinuxROSCUDAECUECUECUECUCANCamera GNSSLIDARRadarOpenCVPCLMonitoringADAS SafetyControlControlControlControlPerception Planning ControlAutonomous Driving SystemVehicular SystemDriver InterfaceCarDriverDistributedDataProceesingLarge-scaleDBMSIn-memoryDBMSPedestrianFPGAsStatistical Analysishttps://github.com/autowarefoundation/autoware2015年に名古屋大が公開※AutowareはThe Autoware Foundationの登録商標です

(Robot Operating System)とは？• ロボット向けに多様なセンサ・モジュール・アクチュエータを統合的に扱えるフレームワーク• ロボット開発におけるツール・ライブラリを提供• 可視化・シミュレーション・記録・通信Willow Garage が2007年から開発（ちなみに、OpenCVの開発にも2008年に参加）• 2009年に最初のROSが公開（0.4）• 2010年にROS1.0• 2012年に、OSRF が設立 2013年からは開発を主導（現在では Open Robotics に）• 2017年からは ROS2 もリリース

の特長• ノード(モジュール)の集合としてシステムを構築• ノード間は「トピック」と呼ばれるチャンネルを通じて通信• 複数PC間でも通信可能• Publish/Subscribe 形式での通信 (送受信の分離）• 多数のパッケージが公開• ナビゲーション、ロボットハンド• ハードウェアドライバ• ライブラリ（PCL, OpenCV）• 連携ツール

ROSツールの例視覚化・シミュレーション強力なGUIでROSとの連携が充実Gazebo : 3D物理シミュレーター簡単にシステム状態を視覚化可能［再生データ］● 記録したセンサデータ(rosbagファイル)● 指定した値のデータRViz：3D視覚化ツール

ROS1からROS2へ• ROS１は、研究開発を主なターゲット• 品質保証の枠組みが無く、障害に弱い• ターゲットOSが実質的に Ubuntu のみ• 開発プロセスなどの定義もなし• 独自の通信プロトコル• リアルタイム性などを保障し「プロダクト」として利用できるソフトウェアが必要→ ROS2では、これらの課題を解決・開発プロセスを定め、品質を保証・CIのダッシュボードなどを整備・標準化された通信プロトコルを導入（OMG標準 DDS）

● Master が単一障害点● すべてのノードが１つのプロセス● プロセス間でリソースは共有不可能● 「Nodelet」という仕組みはあるが。。。○ 別API（実装時間で選択）○ 壊れやすい○ 共有ポインター通信のみ○ QoSなし● 実行管理/起動順管理が困難○ 実行順序を変えるためには再起動ROS 1:特徴Masterアプリケーションプロセスノードプロセスノードプロセスノード

● Masterなしで、DDSで通信（相互に Discovery）● 複数ノードを同一のプロセスに統合可能○ 全てのノードを一つのプロセスに統合することも可能○ 複数のプロセスを利用することも可能（ノード数＞プロセス数）● コンパイルまたはランタイムで確定可能● 同一プロセスのため下記のメリット○ ゼロコピー通信が可能○ 実行順番が指定可能○ 平行または連続実行可能○ 振る舞いと実行を分離○ ライフサイクル管理ROS 2:特徴アプリケーションプロセスノードプロセスノードノードUDP上のDDSまたは共有メモリ上のDDS ゼロコピー通信

The Autoware Foundation2018年12月設立Autoware の国際展開が目的国際的企業がプレミアムメンバーとして参画Autoware.ai→ これまでのAutoware(ROS1 ベース)Autoware.IO→ センサ＋ライブラリAutoware Core/Universe→ 次世代 Autowave(ROS2ベース)Autowareに関する権利を移管

Autowareも ROS2 へ移行Autoware.ai : ROS1 ベース・プロトタイプ実装・プロダクトには向いていない（認証なし）Autoware Core : ROS2ベース・製品開発に活用可能Autoware Universe : ROS2ベース・Core を包含し、研究開発に利用 ROS1 は 2025には EOL を予定

Autoware Core / Universe• AWF が主にメンテする範囲と、それ以外の領域を明確化• Core:• AWF が考慮する ODD に対応• ドキュメントも完全に• Universe:• Core の上に拡張される機能• この上で研究開発を行い機能追加• Robo-Taxi やレースなど複雑なユースケースに対応

Autowareが実現したこと• 自動運転は社会に大きなインパクトを与える• 単なる技術ではなく、革命的な変化• 産業的にも影響範囲が大きい• オープンソース化により世界中で利用可能• 自動車産業以外でも、自動運転に注目→ 何ができるのか、検証のために利用• 最新技術がすぐに導入できる• 得意な部分だけをやれば、他は借りてこられる• 多様な形態で自動運転が可能• 乗用車からゴルフカート、小型自動配送ロボットまで技術的優位性だけでなく、オープン性を武器に自動運転の民主化！

[SIP第2期自動運転（システムとサービスの拡張）]自動運転社会実現へのシナリオ

名古屋大学でのAutowareの活用• 当初は自動運転の実装を目的としてきたが、ベンチャー設立(TIER IV)で開発中心は移行• より幅広い応用に向けて、自律移動ロボットに移行(道路を走る自動車より、様々な考慮が必要）• 自律移動ロボットは、自動車と比較して、速度は遅く、体積・重量が小さいので実験には使いやすい• 倉庫分野での Autoware 応用を実施

TIER IV LogieeS-TC について• Autowareで遠隔・自動走行が可能（自己位置推定）• サイズ: 694x1100x613mm• 650mmx450mm 程度の20kg 程度の荷物を搭載可能(補強すれば100kg以上も可能）• 150kg 程度はけん引も可能（ただし、けん引の仕組みは要検討）• 駆動方式：対向2輪型駆動（2輪独立駆動）• 車輪サイズ：16inch• 移動速度： 6km程度• 最大移動距離：16-24 km程度Autowareによる自動制御の例

自律移動ロボットの実験場所23◼物流センター 2Fの実際の倉庫の一部で実証（実作業を行っている中で、混在して実験を実施）

Autoware で得られた点群3次元地図24

Autoware 対応をしている他のロボット• ROSベースのため、ベースのロボットの変更が容易MiRThouzer(Doog)

固定LiDAR＋カメラとの連携LiDAR : Robosense LiDAR-M1 :75万点／秒FOV: ±12.5度(自動運転用を固定設置で利用）カメラ : 4K解像度

ロボット側からの視点

画像処理による作業者の認識

その他の応用• ディスプレイロボット• バッテリーロボット

TIER IVSpeakerSaito Yukihiro前職ではソニー株式会社の研究開発本部に所属し、自律移動ロボティクスシステムのソフトウェア開発に従事。現在はTIER IVにて、自動運転OSS「Autoware」における全体アーキテクチャ設計および認識モジュールの開発を担当

TIER IVCONTENTS01 / INTRODUCTION• 自動運転の意義とは• 自動運転がもたらす世界• 自動運転の歴史02 / TECHNOLOGY• Autowareから見た世界• Autowareのアーキテクチャー• Vehicle & Sensors• Sensing & Localization• Perception: Traffic Light Recognition• Planning : Lane Driving• Control• Perception: Detection• Simulation & Tests03 / CLOSING

TIER IV自動運転の意義とは？世界で交通事故により年間130万人が死亡毎日ボーイング787が約12機墜落している換算自動車の運転による拘束車社会のアメリカでは毎日の通勤に平均1時間かかっているhttps://www.jasic.org/j/14_automated-driving/pdf/sympo5.pdf

TIER IV自動運転の歴史3720042009201420182015DARPA Grand ChallengeGoogle (Waymo)自動運転プロジェクト開始Autoware 研究開発開始The Autoware Foundation 設立AutowareリリースTIER IV設立2007DARPA Urban Challenge1920~1980磁気マーカーを使った自動運転https://www.youtube.com/watch?v=ntIczNQKfjQ&feature=youtu.behttps://www.youtube.com/watch?v=cdgQpa1pUUEhttps://ja.wikipedia.org/wiki/DARPA%E3%82%B0%E3%83%A9%E3%83%B3%E3%83%89%E3%83%BB%E3%83%81%E3%83%A3%E3%83%AC%E3%83%B3%E3%82%B8https://www.herox.com/blog/159-the-drive-for-autonomous-vehicles-the-darpa-grand1980~カメラ・レーザーレンジセンサーを用いた自動運転の研究Autoware開発推進の業界団体世界中の約50社が加入Autoware : 自動運転システム用オープンソースソフトウェア

TIER IVWhat is Autoware?The world’s first open-source autonomous driving software30+ 20+ 500+Vehicles Countries Companies

TIER IVDynamic ObjectTraffic LightDetection ClassifierMissionScenario SelectorControlLocalizationSensing Map Data Vehicle InterfaceSensorsLaneDrivingParking Etc.ScenarioPlanningPerceptionDetection Tracking PredictionVehicle

TIER IVDynamic ObjectMissionScenario SelectorControlMap Data Vehicle InterfaceParking Etc.ScenarioPlanningPerceptionTracking PredictionSensors VehicleLocalizationSensingLaneDrivingTraffic LightDetection ClassifierControlDetection最後にお話しします

TIER IVDynamic ObjectMissionScenario SelectorControlMap Data Vehicle InterfaceParking Etc.ScenarioPlanningPerceptionDetection Tracking PredictionSensors VehicleLocalizationSensingLaneDrivingTraffic LightDetection Classifier

センサー構成図Velodyne VLS-128 Alpha Prime(LiDAR / 360° Detection)Velodyne VLP-16(LiDAR / Side/Rear Detection)Livox Horizon(LiDAR / Long-range Detection)FLIR BlackflyS w/ JetsonAGX(Camera / Object Recognition)Leopard Imaging w/ FlickerMitigation(Camera / Traffic Light Recognition)u-blox F9P(GNSS / Localization)TamagawaSeiki TAG300N(IMU/ Localization)Livox Horizon Livox HorizonLeopard Imaging38 deg + 65 degFLIR BlackflyS70 deg x 6

LiDARVelodyne (VLS-128, HDL-64E, VLS-32C, HDL-32E, VLP-16),Hesai (Pandar 20P, Pander 40P, Pandar 64),Ouster (OS-16, OS-64), Robosense (RS-32),Leishen, Innoviz, Omron

Camera- LEDフリッカー対策- HDRIMX490 一般的なカメラ

Camera-LiDARLiDAR-LiDARセンサー同期複数LiDARによる干渉回転タイミングの同期Camera x6 + LiDARによる360度センシングLiDARの回転タイミングに合わせてカメラのシャッターを切る

TIER IVNDT Scan MatchingPCD高精度地図 LiDARセンサーデータ

TIER IVSensing & LocalizationSensingPoints PreprocessorEgo PointsRemoverDistortionCorrectionOutlierFilterLiDARConcatIMUDriverGNSSDriverIMUVehicle Data Vehicle VehicleInterfaceMapGNSSLocalizationPose EstimatorTwist EstimatorPose Twist FusionFilterLocalizer DiagnosticsCropRangeDownSamplerNDT ScanMatcherIMU wheelvelocity fuserPoseInitializerSafety Diagnostic NodeLocalization SystemDiagnostic NodeDelay GateMahalanobisGateMeasurementUpdateModel Prediction

TIER IVSensingPoints PreprocessorEgo PointsRemoverDistortionCorrectionOutlierFilterLiDARConcatIMUDriverGNSSDriverIMUVehicle Data Vehicle VehicleInterfaceMapGNSSLocalizationPose EstimatorTwist EstimatorPose Twist FusionFilterLocalizer DiagnosticsCropRangeDownSamplerNDT ScanMatcherIMU wheelvelocity fuserPoseInitializerSafety Diagnostic NodeLocalization SystemDiagnostic NodeDelay GateMahalanobisGateMeasurementUpdateModel Prediction・点群歪み補正LiDARの点群1つ1つに観測時刻を埋め込み、IMUを用いて車両移動による観測の歪みを補正歪み補正なし歪み補正ありNDTEKFNDTEKFSensing & Localization

TIER IVSensingPoints PreprocessorEgo PointsRemoverDistortionCorrectionOutlierFilterLiDARConcatIMUDriverGNSSDriverIMUVehicle Data Vehicle VehicleInterfaceMapGNSSLocalizationPose EstimatorTwist EstimatorPose Twist FusionFilterLocalizer DiagnosticsCropRangeDownSamplerNDT ScanMatcherIMU wheelvelocity fuserPoseInitializerSafety Diagnostic NodeLocalization SystemDiagnostic NodeDelay GateMahalanobisGateMeasurementUpdateModel Prediction・Pose / Twist インターフェース研究開発が盛んに行われている他モジュールとの結合を容易に行えるように、位置と速度情報を分離して推定し、後段で処理を統合Sensing & Localization

TIER IVSensingPoints PreprocessorEgo PointsRemoverDistortionCorrectionOutlierFilterLiDARConcatIMUDriverGNSSDriverIMUVehicle Data Vehicle VehicleInterfaceMapGNSSLocalizationPose EstimatorTwist EstimatorPose Twist FusionFilterLocalizer DiagnosticsCropRangeDownSamplerNDT ScanMatcherIMU wheelvelocity fuserPoseInitializerSafety Diagnostic NodeLocalization SystemDiagnostic NodeDelay GateMahalanobisGateMeasurementUpdateModel Prediction・EKF - NDT Feedbackさまざまなセンサーを統合した推定結果を初期位置として利用し、マッチング精度を上げるNDTが苦手な環境でも継続的に動作可能・遅延対応各センサー間（車両・LiDAR・Autoware）で時刻同期を行い、計測された遅延を考慮して現在位置と速度を推定Sensing & Localization

TIER IVSensingPoints PreprocessorEgo PointsRemoverDistortionCorrectionOutlierFilterLiDARConcatIMUDriverGNSSDriverIMUVehicle Data Vehicle VehicleInterfaceMapGNSSLocalizationPose EstimatorTwist EstimatorPose Twist FusionFilterLocalizer DiagnosticsCropRangeDownSamplerNDT ScanMatcherIMU wheelvelocity fuserPoseInitializerSafety Diagnostic NodeLocalization SystemDiagnostic NodeDelay GateMahalanobisGateMeasurementUpdateModel PredictionSensing & Localization

Perception : Traffic Light Recognition

TIER IVPerception : Traffic Light RecognitionDetection ClassificationMapbasedDetectorFineDetectorCNNColor FilterSensingImage PreprocessorCameraRouteRectifierMap or・自車経路に関係する信号機のみを検出・識別・高精度マップ上の信号機との対応付Traffic Light RecognitionImage

TIER IVPerception : Traffic Light RecognitionDetection ClassificationMapbasedDetectorFineDetectorCNNColor FilterSensingImage PreprocessorCameraRouteRectifierMap or推定誤差によるずれを考慮した候補領域を生成※ 自己位置推定誤差、キャリブ誤差、バイブレーションTraffic Light RecognitionImage

TIER IVPerception : Traffic Light RecognitionDetection ClassificationMapbasedDetectorFineDetectorCNNColor FilterSensingImage PreprocessorCameraRouteRectifierMapImageor画像処理フィルタcolorfilterbinalizenoisefilter入力画像青フィルタ黄フィルタ赤フィルタredCNN red入力画像環境・カメラに対して調節がしやすい矢印等の色識別以外に対して拡張しやすいTraffic Light Recognition

TIER IV- Blind Spot- Crosswalk- Intersection- Stop Line- Traffic Light- Detection Area- etc.Lane DrivingBehavior PlannerBehaviorPathPlannerMotion PlannerBehaviorVelocityPlannerMotionPathPlannerMotionVelocityPlanner- Lane Change - Obstacle Avoidance- Path Smoothing- Narrow Space Driving- Obstacle Stop- Car Following- Velocity SmoothingFromMission PlannerTrajectoryBehavior Planner：意思決定・交通ルールに関わる計画Motion Planner：車両運動に関わる計画PathPlanning : Lane DrivingRouteTo Control

TIER IV- Blind Spot- Crosswalk- Intersection- Stop Line- Traffic Light- Detection Area- etc.Lane DrivingBehavior PlannerBehaviorPathPlannerMotion PlannerBehaviorVelocityPlannerMotionPathPlannerMotionVelocityPlanner- Lane Change - Obstacle Avoidance- Path Smoothing- Narrow Space Driving- Obstacle Stop- Car Following- Velocity SmoothingFromMission PlannerTrajectoryPathRouteTo ControlPlanning : Lane Driving・レーンチェンジ駐車車両やルート指示に応じてレーンチェンジを行う周囲の車両速度を見てレーンチェンジの実行可否を判断Behavior Planner：交通ルールに関わる計画Motion Planner：車両運動に関わる計画

TIER IV・横断歩道横断歩道上の歩行者や、横断歩道に向かって走ってくる自転車等の移動予測から経路速度を調整・交差点交差点周囲の動物体の移動予測情報や、前方の渋滞車両検知結果などから、交差点における速度を調整Planning : Lane DrivingBehavior Planner：交通ルールに関わる計画Motion Planner：車両運動に関わる計画Lane DrivingBehavior PlannerBehaviorPathPlannerMotion PlannerBehaviorVelocityPlannerMotionPathPlannerMotionVelocityPlannerTrajectoryPathTo Control- Blind Spot- Crosswalk- Intersection- Stop Line- Traffic Light- Detection Area- etc.- Lane Change - Obstacle Avoidance- Path Smoothing- Narrow Space Driving- Obstacle Stop- Car Following- Velocity SmoothingFromMission PlannerRoute

TIER IVLane DrivingBehavior PlannerBehaviorPathPlannerMotion PlannerBehaviorVelocityPlannerMotionPathPlannerMotionVelocityPlannerFromMission PlannerTrajectoryPathRouteTo Control・障害物回避 / 経路平滑化 / 狭路走行最適化手法を用いて路駐車両や工事現場領域の回避経路を生成車両形状と走行可能領域を考慮した狭路の走行経路も対応Planning : Lane Driving Behavior Planner：交通ルールに関わる計画Motion Planner：車両運動に関わる計画- Blind Spot- Crosswalk- Intersection- Stop Line- Traffic Light- Detection Area- etc.- Lane Change - Obstacle Avoidance- Path Smoothing- Narrow Space Driving- Obstacle Stop- Car Following- Velocity Smoothing

TIER IVLane DrivingBehavior PlannerBehaviorPathPlannerMotion PlannerBehaviorVelocityPlannerMotionPathPlannerMotionVelocityPlannerFromMission PlannerTrajectoryPathRouteTo ControlPlanning : Lane DrivingBehavior Planner：交通ルールに関わる計画Motion Planner：車両運動に関わる計画・速度平滑化横G・最大速度・加速度制約の下でジャーク（加速度の微分）が最小になるように経路速度を計画- Blind Spot- Crosswalk- Intersection- Stop Line- Traffic Light- Detection Area- etc.- Lane Change - Obstacle Avoidance- Path Smoothing- Narrow Space Driving- Obstacle Stop- Car Following- Velocity Smoothing

TIER IVControlControl Command- Steering angle- Steering angle rate- Velocity- Acceleration・Lateral Controller：経路追従のための操舵角を計算（pure pursuit / MPC）・Longitudinal Controller：目標速度へ追従するための加速度を計算（PID）・Vehicle Cmd Gate：最大速度・加速度・ジャーク制約・Accel Map Converter：目標加速度をアクセル・ブレーキペダル値へ変換Vehicle InterfaceControlTrajectory FollowerLateralControllerVehicleCmd GateAccel MapConverterTrajectoryLongitudinalControllerVehicleInterfaceToVehicleControlCommand

TIER IVControl制御指示の応答遅延 0.3 [s] x 17 [m/s] = 5.1 [m]路面環境に依存した摩擦係数の変化雨・雪など温度変化や経年劣化によるディスクブレーキ挙動の変化スロットルと加速度の非線形性ステアリング機構の摩擦・不感帯経路勾配センサー性能の限界（ジャーク計算）乗車人数に応じた質量の変化ハンドル - タイヤ可変ギア比タイヤ弾性・空気圧

TIER IVVehicle InterfaceControlTrajectory FollowerLateralControllerVehicleCmd GateAccel MapConverterTrajectory・Lateral Controller経路追従のための操舵角を計算ControlLongitudinalControllerVehicleInterfaceToVehicleControlCommandControl Command- Steering angle- Steering angle rate- Velocity- Acceleration- pure pursuit経路の前方に目標点を設定し、そこへ向かうように目標操舵角を計算。人の操縦感覚に近い- Model Predictive Control (MPC)車両データ*を用いて将来の動作を予測し、最も上手く経路に沿う操舵角を計算。厳密な制御が可能* 操舵遅延、操舵変化率制約、横滑りなど

TIER IVVehicle InterfaceControlTrajectory FollowerLateralControllerVehicleCmd GateAccel MapConverterTrajectoryControlLongitudinalControllerVehicleInterfaceToVehicleControlCommandControl Command- Steering angle- Steering angle rate- Velocity- Acceleration・Longitudinal Controller目標速度へ沿うための目標加速度を計算（PID）加減速指示の遅延や勾配補正も対応停車時は特殊シーケンスで正着精度と乗り心地を両立・加速度マップ目標加速度を車両のアクセル・ブレーキ値に変換

Perception : Detection01 / 自動運転におけるDetection02 / 実環境での難しさ03 / Detectionの性能向上

TIER IV自動運転におけるDetection Cameraベース- CenterNet, SMOKE, etc. LiDARベース- PointPillars, CenterPoint, etc. Camera-LiDARベース- Frustum PointNet, etc.2D Box detection3D Box detection Cameraベース- Yolo系, SSD系, etc.空間情報がわかる3Dの方が多くの自動運転システムと相性が良い画像上での位置はわかるが空間情報がない

TIER IV自動運転におけるDetection Cameraベース- CenterNet, SMOKE, etc. LiDARベース- PointPillars, CenterPoint, etc. Camera-LiDARベース- Frustum PointNet, etc.○ センサーが安価✖ カメラの内部パラメータまで学習されるため他データセットで転用しにくい✖ 数十mまでしか距離推定精度がでない(解像度依存)✖ 360度認識するには複数台必要になり計算コストが大きい○ 360度認識する計算コストが低い○ 100m以上まで距離推定精度が安定する✖ 他データセットで学習したものでは実環境で精度を出しにくい✖ センサーが高価※LiDARベースのPros/Consを引き継ぐ○ 形状的な特徴が少ないものでも検出が安定✖ 手法によってはCamera-LiDARの外部パラメータを学習するため、他データセットで転用しにくい✖ 計算コストが大きい

TIER IVAutowareで現在実装されているDetectionの構成例CenterPointInstance SegmentationMerger2D BB FusionYOLOValidatorClusteringShape EstimationDetection ByTrackerMulti Object TrackingDetection LayerTracking Layer

TIER IVPointRCNN [1]PointPillarsSECONDVoxelNetSTD [2] 3DSSD [3]SA-SSDPV-RCNNLiDAR-based 3D DetectionVoxelNet-based approachesPointNet-based approaches[1] Shi, Shaoshuai, Xiaogang Wang, and Hongsheng Li. "Pointrcnn: 3d object proposal generation and detection from point cloud." Proceedings of the IEEEConference on Computer Vision and Pattern Recognition. 2019.[2] Yang, Zetong, et al. "Std: Sparse-to-dense 3d object detector for point cloud." Proceedings of the IEEE International Conference on Computer Vision. 2019.[3] Yang, Zetong, et al. "3dssd: Point-based 3d single stage object detector." Proceedings of the IEEE/CVF Conference on Computer Vision and PatternRecognition. 2020.CenterPoint計算コストと精度を両立

TIER IVCenterPointYin, Tianwei, Xingyi Zhou, and Philipp Krähenbühl. "Center-based 3d object detection and tracking." arXiv preprint arXiv:2006.11275 (2020).Ge, Runzhou, et al. "Afdet: Anchor free one stage 3d object detection." arXiv preprint arXiv:2006.12671 (2020).点群をBEVの特徴量画像に変換物体の中心を当てに行き、大きさ姿勢も同時に出力Lang, Alex H., et al. "Pointpillars: Fast encoders for object detection from point clouds." Proceedings of the IEEE/CVF Conference on Computer Visionand Pattern Recognition. 2019.

TIER IVTrain: WaymoInference: Waymoオープンデータセット nuScenes Waymo Open Dataset Kitti Dataset A2D2 Lyft Level 5 Dataset Etc.Train: nuScenesInference: TIER IV実環境での応用の難しさ学習とは異なるデータセットで推論した場合、精度が大幅に低下要因- センサ構成/取付位置- センサモデル- 走行環境

TIER IVData Augmentationによる汎化性能向上Train: nuScenes without DAInference: TIER IVTrain: nuScenes with DAInference: TIER IVData Augmentation X軸・Y軸反転 スケーリング- 原点中心・Z軸方向 回転- Z軸・X軸・Y軸方向 平行移動- z方向 点群のダウンサンプル 点群のノイズ- 疑似的な雨や霧 物体のコピー&ペースト

TIER IV実環境で精度を出すためのその他の手段 Domain Adaptationの活用 Synthetic Dataの活用 自前データセットの作成研究段階で実応用はこれから- 例： ST3D++(Unsupervised Domain Adaptation)Train: WaymoEvaluation: KITTICAR AP(0.7)easy medium hardWithout Domain Adaptation 12.50 12.85 13.87With Domain Adaptation 70.85 63.49 64.52※各スライドでの評価結果とは評価データセットが異なるためあくまでもスライド内における相対指標となります

TIER IVCenterPointの改善の一部の例 BEVベースでは情報の損失が大きく、立体的な情報が失われる- BEVではトラックと壁の区別がつきにくい Single Frameでは精度が出ない点群をBEVの特徴量画像に変換CenterPointYOLO Range Image basedSemantic SegmentationPointPaintingによるCamera画像やLiDARのRangeImageの活用※今回はCamera画像を話しますMulti FrameによるDensification（副効果として物体の速度出力も可能）

TIER IVPointPaintingoff-the-shelfoff-the-shelfwith cameracalibration paramsVora, Sourabh, et al. "Pointpainting: Sequential fusion for 3d object detection." Proceedings of the IEEE/CVF Conference on Computer Vision andPattern Recognition. 2020.97利点 いろいろな手法を取り込みやすい- Cameraの2Dの検出器やLiDARのSemantic Segmentationなど 異なるセンサーをフュージョンする際にキャリブレーション結果はパラメータとして追い出せる

TIER IVmAP CAR AP Pedestrian AP Cyclist APCenterPoint 60.58 73.56 53.00 38.89CenterPoint withPointPaintingGT 71.13 74.32 59.95 61.90yolov4 (COCOdataset)68.11 74.62 57.27 55.99PointPaintingによるCamera画像の活用 ※各スライドでの評価結果とは評価データセットが異なるためあくまでもスライド内における相対指標となります

TIER IVmAP CAR AP Pedestrian AP Cyclist APCenterPoint 60.58 73.56 53.00 38.89CenterPoint withPointPaintingGT 71.13 74.32 59.95 61.90yolov4 (COCOdataset)68.11 74.62 57.27 55.99PointPaintingによるCamera画像の活用

TIER IVCurrentVehicleCoordinatesGlobalCoordinatesPastVehicleCoordinatesMulti FrameによるDensificationwithout transformation with transformationmovingobjectstaticobjectCenterPointの入力点群に現在フレームからの時間差を特徴量として追加

TIER IVMulti FrameによるDensificationMulti Frameをinputすることにより精度向上と同時にoutputとしてDetectionの段階でオブジェクトの速度の学習が可能に※一部オブジェクトの残像は、開発時の可視化の不具合

TIER IVMethod Car AP Pedestrian AP Cyclist AP Inference timeCenterPoint 82.94 35.07 32.66 49.7 msCenterPoint + Densification 84.73 46.30 59.90 64.4 msCenterPoint + PointPainting 83.71 49.53 62.89 63.3 msCenterPoint + Densification + PointPainting 85.29 52.79 66.66 85.0 msMulti FrameによるDensificationEnvironment：Core i7 10700K / GeForce GTX 1060 6G / CUDA 10.2 / cuDNN 7.6.5 / TensorRT 7.0.0※各スライドでの評価結果とは評価データセットが異なるためあくまでもスライド内における相対指標となります

105ROSBAGreplaySimulatorPlanning SimulatorEnd2EndSimulatorReal TestSensing ◯ ◯ ◯Localization ◯ ◯ ◯Perception ◯◯（一部）・Detection（疑似点群生成機能の利用）・Tracking・Perception◯ ◯Planning ◯ ◯ ◯Control ◯（一部）・ステアリング、加減速の遅延、振動を模擬◯ ◯OSS化準備中

107https://www.youtube.com/watch?v=iW-a7cKUxuYAutowareに興味がある方は、インストールからチュートリアルの動作までの動画を作成したのでこちらをご覧ください最後にGithub: https://github.com/autowarefoundation/autowareDocumentation: https://autowarefoundation.github.io/autoware-documentation/main/Q&A: https://github.com/autowarefoundation/autoware/discussionsIssue: https://github.com/autowarefoundation/autoware.universe/issuesDiscord: https://discord.com/invite/Q94UsPvReQスターを付けてもらえると嬉しいです

Movatterモバイル変換

Change Language

SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン〜オープンソースの自動運転ソフトAutowareを解説〜

Recommended

More Related Content

What's hot

Similar to SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン〜オープンソースの自動運転ソフトAutowareを解説〜

More from SSII

SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン〜オープンソースの自動運転ソフトAutowareを解説〜

Movatterモバイル変換

SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン〜 オープンソースの自動運転ソフトAutowareを解説 〜

Recommended

More Related Content

What's hot

Similar to SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン〜 オープンソースの自動運転ソフトAutowareを解説 〜

More from SSII

SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン〜 オープンソースの自動運転ソフトAutowareを解説 〜

SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン〜オープンソースの自動運転ソフトAutowareを解説〜

Similar to SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン〜オープンソースの自動運転ソフトAutowareを解説〜

SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン〜オープンソースの自動運転ソフトAutowareを解説〜