JP2005217883A - ステレオ画像を用いた道路平面領域並びに障害物検出方法 - Google Patents

Abstract

【課題】
車載カメラからのステレオ画像を利用して走行可能な平面領域及び障害物を検出する道路平面領域並びに障害物検出方法を提供する。
【解決手段】
道路面に対する射影変換行列を動的に推定するステップと、前記射影変換行列を用いて走行可能な平面領域を抽出するステップと、前記射影変換行列を分解することにより道路面の傾きを算出するステップと、前記道路面の傾きを基にＶＰＰ画像を生成するステップと、前記ＶＰＰ画像上で前記走行可能な平面領域と自車輌の位置と方向を提示するステップと、前記ＶＰＰ画像上で前記走行可能な平面領域より自車輌から障害物までの方向別距離を算出するステップと、前記ＶＰＰ画像上で前記走行可能な平面領域より自車輌から障害物までの方向別相対速度を算出するステップと、前記ＶＰＰ画像に前記走行可能な平面領域を重ね合わせて表示すると共に、前記方向別距離と前記方向別相対速度情報を表示するステップとを有する。
【選択図】 図１

Description

本発明は、自動車の安全運転の運転者支援や自律移動車の自動運転を実現するために、車載ステレオカメラにより、道路平面領域並びに、先行車、対向車、駐車車輌、歩行者など道路上に存在する全ての障害物を検出するためのステレオ画像を用いた道路平面領域並びに障害物検出方法に関するものである。

従来、自律移動車の誘導において視覚による走行環境の認識、特に走行可能な領域の検出、また、走行環境に存在する障害物の検出のために、レーザレーダ、超音波やミリ波レーダーを利用する方法と、画像を利用する方法に大別することができる。

レーザレーダやミリ波レーダーを用いる検出方法では、一般に装置が高価であり、また十分な空間解像が得られないという問題があった。超音波センサを用いる検出方法では、遠くの計測が困難であって、また空間分解能も低いという問題があった。

また、画像を用いる方法では、単眼による方法と、複眼を用いる方法に分けることができる。従来、画像を用いる方法の多くは単眼、すなわち、１つの視点から得られる画像を用いるもので、主に、高速道路等の整備された環境で用いることを想定し、路面の白線（例えば分離線や中央線）等を検出することにより、走行領域を検出している。しかしながら、白線等の存在が保証されず、また路面の色やパターンがさまざまであるような一般道や駐車場等では、単眼による画像方法により、つまり、単眼画像に投影された濃度パターンのみから、走行可能領域と障害物を安定に区別することは困難であるという問題があった。

一方、複眼による画像方法、すなわち、ステレオ画像を利用する検出方法では、原理的には環境の３次元構造を利用できるため、より安定に走行環境を認識できる可能性がある。特に、走行可能な領域は空間中でほぼ平面であるとみなせることから、画像を２次元射影変換し、各画像の重なり具合から、平面領域か否か、或いは、障害物か否かを検出するという方法が、例えば、非特許文献１、非特許文献２、非特許文献３及び非特許文献４に示されたように、既に提案されている。

ところが、非特許文献１、非特許文献２、非特許文献３及び非特許文献４に示された従来の検出方法では、カメラと道路平面の位置関係が常に一定であることを前提とし、予めキャリブレーションすることにより、固定された同一の２次元射影変換を行うことにより、道路の平面領域並びに障害物を検出するようにしている。しかしながら、走行面（道路面）が傾斜したり、移動に伴って車体が傾いたりすることがあるので、車載カメラと道路平面の位置関係が常に一定であるといった仮定は、実際に成立しないことがよくある。従って、固定された同一の２次元射影変換を用いる従来の検出方法では、走行面（道路面）が傾斜したり、移動に伴って車体が傾いたりすることに対処することが、極めて困難であるという問題があった。
ルオン・キュー．−ティー（Luong，Q.-T），ウェーバー・ジェイ（Weber，J），（コラー・ディー（Koller，D），マリク・ジェイ（Malik，J）共著、「インテグレイティッド・ステレオ・ベイスド・アプローチ・トゥー・オートマティック・ビークル・ガイダンス（An Integrated stereo-based approach to automatic vehicle guidance）」、１９９５年、プロシジァー．アイ・シー・シー・ブイ（Proc. ICCV）、ｐ．５２−５７オノグチ・ケイ（Onoguchi,K）,タケダ・エヌ（Takeda,N），ワタナベ・エム（Watanabe,M）共著、「プランナー・プロジェクション・ステレオプシス・メソッド・フォア・ロード・エクストラクション（Planar Projection Stereopsis Method for Road Extraction）」、１９９５年、プロシジァー．アイ・アール・オー・エス（Proc.IROS）、ｐ．２４９−２５６ストールヨハン・ケイ（Storjohann,K）,ジールケ・ティー（Zielke,T）,マロット・エイチ（Mallot,H），フォンシーレン・ダブリュー（Vonseelen,W）共著、「ビジュアル・オブスタクル・ディテクション・フォア・オートマティカリー・ガイディッド・ビークル（Visual Obstacle Detection for Automatically Guided Vehicles）、１９９０年、プロシジァー．アイ・シー・アール・エイ（Proc.ICRA）、ｐ．７１６−７６６シエ・エム（Xie,M）著、「マッチング・フリー・ステレオ・ビジョン・フォア・ディテクティング・オブスタクル・オン・グランド・プレイン，マシン・ビジョン・アンド・アプリケーション（Matching free stereo vision for detecting obstacles on a ground plane，Machine Vision and Application）、１９９６年、ボリューム９．ナンバー１（Vol.9,No.1）、ｐ．９−１３ホイング−ヤング・シャム（Heung-Yeung Shum）、リチャード・セーリスキ（Richard Szeliski），「"パノラミック・イメージ・モザイク"テクニカル・レポート"Panoramic Image Mosaics"」，Technical report」、１９９７年、エム・エス・アール−ティー・アール−９７−２３，マイクロソフト・リサーチ（MSR-TR-97-23，Microsoft Research）オー・ディー・フォーゲラス（O.D.Faugeras），エフ・ラスマン（F.Lustman）共著、「"モーション・アンド・ストラクチャー・フロム・モーション・イン・ピースワイズ・プランナー・エンバイアロンメント"（"Motion and Structure from Motion In A Piecewise Planar Environment"）、１９９８年、プロシジァー．インターナショナル・ジャーナル・オブ・パターン・レコグニション・アンド・アーティフィシャル・インテリジェンス，ボリューム１．２，ナンバー３（Proc. International Journal of Pattern Recognition and Artificial Intelligence，Vol.2，No.3），ｐ４５８−５０８

上記のように、道路平面領域並びに障害物検出方法には、レーザレーダ、超音波やミリ波レーダーを利用するものと、画像を利用するものに大別することができる。レーザレーダ、超音波やミリ波レーダーを利用する検出方法は、装置が高価であったり、計測精度が低い点と空間分解能も低いという問題があった。また、画像を利用する検出方法では、高速道路等の整備された使用環境に限定されていたり、車の走行中の振動や道路面の傾斜に対処できないため、一般道や駐車場等の使用環境では計測精度が著しく悪くなるという問題があった。

本発明は、上述のような事情よりなされたものであり、本発明の目的は、車載ステレオカメラから得られる画像情報のみを利用して、道路面の傾斜や車の走行によるカメラの振動に対処できるように、車輌の実空間における走行可能な領域を動的に求め、また車輌から見た各方向毎の障害物までの距離や相対速度を算出・提示することを可能にした、ステレオ画像を用いた道路平面領域並びに障害物検出方法を提供することにある。

本発明は、ステレオ画像を用いた道路平面領域並びに障害物検出方法に関し、本発明の上記目的は、自動車に搭載される撮像手段によって撮影された、基準画像と参照画像から構成されるステレオ動画像のみを利用して、走行可能な道路平面領域及び道路面上に存在する全ての障害物を検出できるようにしたステレオ画像を用いた道路平面領域並びに障害物検出方法であって、道路面に対する射影変換行列を動的に推定する第１のステップと、第１のステップで求まった前記射影変換行列を用いて、走行可能な平面領域を抽出する第２のステップと、第１のステップで求まった前記射影変換行列を分解することにより道路面の傾きを算出する第３のステップと、第３のステップで算出された前記道路面の傾きを基に道路面を上方から見た仮想投影面画像を生成する第４のステップと、第４のステップで生成された前記仮想投影面画像の上で、前記走行可能な平面領域と自車輌の位置と方向を算出する第５のステップとを有することによって達成される。

また、本発明は、前記仮想投影面画像の上での前記走行可能な平面領域より自車輌から障害物までの方向別距離を算出する第６のステップと、前記仮想投影面画像の上での前記走行可能な平面領域より自車輌から障害物までの方向別相対速度を算出する第７のステップとを更に有することにより、或いは、前記仮想投影面画像に前記走行可能な平面領域を重ね合わせて表示すると共に、前記方向別距離と前記方向別相対速度情報を表示する第８のステップとを更に有することにより、或いは、前記第１のステップでは、前記基準画像及び前記参照画像にＬＯＧフィルタ処理とヒストグラム平坦化処理を施してから、領域ベースの手法により、前記ステレオ画像間の道路面に対応する射影変換行列を動的に推定するようにし、前記第２のステップでは、前記射影変換行列によって前記参照画像を射影変換し、前記基準画像と射影変換された前記参照画像との差分画像を求め、前記差分画像に平滑化フィルタをかけてから、閾値を使って２値化して２値画像が得られ、前記２値画像に前時刻平面領域の推定結果を利用すると共にテクスチャレス領域を考慮することによって、走行可能な平面領域を抽出するようにし、前記第３のステップでは、前記道路面の傾きを示す道路平面姿勢パラメータは、基準カメラ光学中心から道路平面までの距離と道路平面の法線ベクトルであるようにし、前記第４のステップでは、前記道路平面姿勢パラメータを使って、前記基準画像を射影変換して、道路平面と平行な仮想投影面画像を生成するようにすることによってより効果的に達成される。

まず、本発明に係るステレオ画像を用いた道路平面領域並びに障害物検出方法によれば、ステレオ画像の撮像手段である画像センサとしてＣＣＤカメラを用いるため、装置が安価で汎用的もので、コスト削減の達成といった優れた効果を奏する。

次に、本発明に係るステレオ画像を用いた道路平面領域並びに障害物検出方法によれば、常に安定に走行可能領域と車輌から障害物までの方向別距離・相対速度を動的に求めることができるので、求められた走行可能領域と車輌から障害物までの方向別距離・相対速度に基づいて、衝突危険性の警告・衝突回避等の運転者支援や車輌の自動運転等を可能にするといった優れた効果を奏する。

更に、本発明に係るステレオ画像を用いた道路平面領域並びに障害物検出方法において、カメラの設置やキャリブレーションが大変容易であるということで、本発明は大変実用化に向いた方法であることには間違いない。

以下、図面を参照しながら、本発明の実施の形態を説明する。

本実施形態では、左右２台のステレオカメラを自動車に搭載し、該ステレオカメラを搭載した自動車（以下、該ステレオカメラを搭載した自動車を自車輌または車輌と称する）が走行することによる振動や道路面の傾斜変化がある条件の下で、歩行者、駐車車輌、対向車や先行車等道路面上に存在する全ての障害物を検出する状況を想定している。

また、本実施形態では、右側のステレオカメラを基準カメラとし、左側のステレオカメラを参照カメラとする。そして、基準カメラで撮影されたステレオ画像を基準画像とし、参照カメラで撮影されたステレオ画像を参照画像とする。なお、本発明では、ステレオ画像（つまり、基準画像及び参照画像）のみを利用して、走行可能な平面領域及び障害物を検出しているので、そのステレオ画像を撮影するカメラ（つまり、基準カメラ及び参照カメラ）の配置として、場合によって、左側のステレオカメラを基準カメラとし、右側のステレオカメラを参照カメラとすることもできる。

ちなみに、下記ステップＳ１００及びステップＳ１１０におけるステレオ画像を撮影するステレオカメラとして、基準カメラは自動車の左側に搭載されており、参照カメラは自動車の右側に搭載されている。ほかのステップにおけるステレオ画像を撮影するステレオカメラとして、基準カメラは自動車の右側に搭載されており、参照カメラは自動車の左側に搭載されている。

まず、本発明の着眼点としては、２台の車載ステレオカメラを利用して、そのステレオカメラより撮影されたステレオ画像中から空間の平面に対応する領域とその平面の向きを求めることにより、実空間に対応した座標系における走行可能領域を動的に求め、さらに車輌の各方向毎の障害物までの距離や相対速度を算出・提示するようにしているところである。

つまり、本発明に係るステレオ画像を用いた道路平面領域並びに障害物検出方法とは、２台の車載ステレオカメラから得られる画像情報を用いて、車輌が走行できる平坦な領域（以下、走行可能領域と称する）を動的に求め、且つ、求められた走行可能領域を実空間に対応した座標系にマッピングすることにより、車輌の各方向毎の障害物までの距離や相対速度を算出・提示し、車輌の衝突危険性の警告・衝突回避等の運転者支援や車輌の自動運転等を可能にするための方法である。

なお、本発明では、自動車に搭載されるステレオカメラとして、ＣＣＤカメラを用いることが望ましいが、それに限定されることはない。また、以下の実施の形態において、ステレオカメラとして、ＣＣＤカメラを用いることを前提とする。

図１は本発明の全体の流れを示すフローチャートである。図１に示されるように、本発明に係るステレオ画像を用いた道路平面領域並びに障害物検出方法では、先ず、道路面に対する射影変換行列を動的に推定する（ステップＳ１００）。次に、ステップＳ１００で求まった射影変換行列を用いて、道路面の平面領域（以下、道路面の平面領域を道路平面領域と称し、また、走行可能な平面領域と称することもある）を抽出する（ステップＳ１１０）。さらに、ステップＳ１００で求まった射影変換行列を分解することにより道路面の傾きを算出する（ステップＳ１２０）。ステップＳ１２０で算出された道路面の傾きを基に道路面を上方から見た画像（本発明では、この画像を仮想投影面（ＶＰＰ：Virtual Projection Plane）画像と称する）を生成する（ステップＳ１３０）。そして、ステップＳ１３０で生成された仮想投影面画像（ＶＰＰ画像）上で、走行可能な平面領域と自車輌の位置、方向を提示する（ステップＳ１４０）。次に、仮想投影面画像上での道路平面領域の自車輌からの最遠部すなわち障害物までの各方向毎の距離を算出する（ステップＳ１５０）。同様に、仮想投影面画像上での道路平面領域の自車輌からの最遠部すなわち障害物までの各方向毎の相対速度をも算出する（ステップＳ１６０）。最後に、仮想投影面画像（ＶＰＰ画像）に走行可能な平面領域を重ね合わせて表示すると共に、ステップＳ１５０、ステップＳ１６０で算出された方向別距離、方向別相対速度情報を表示する（ステップＳ１７０）。

次に、本発明をステップ毎により詳細に説明する。まず、本発明に用いられる平面の投影と２次元射影変換の原理を説明する。

図２に示されたように、空間中にある平面上の点Ｍが２枚のステレオ画像に投影されるとき、ステレオ画像における基準画像Ｉ_b上での同次座標をｍ_b、参照画像Ｉ_r上での同次座標をｍ_rとすると、各々は下記数１に示すように、２次元射影変換によって関係付けられることはよく知られている。

ここで、

は３×３の射影変換行列であり、

は定数倍の不定性を許して等しいものとする。また、図２において、Ｏは基準カメラの光学中心で、Ｏ^´は参照カメラの光学中心で、

は基準カメラ座標系から参照カメラ座標系への回転行列で、

は参照カメラ座標系における基準カメラと参照カメラの並進ベクトルで、ｄは基準カメラと平面の距離で、

は平面の法線ベクトルである。

そこで、道路等の走行可能な領域は、空間中でほぼ平面であると見なすことができれば、一方のステレオ画像に対して適切な射影変換を施すことにより、平面の部分に対しては一致するような画像が得られる。

つまり、平面抽出を利用して障害物検出を行う本発明では、平面上に障害物が存在する場合、その領域は平面として認識されないため、走行可能な領域でないとの検出が可能となる。また、平面領域以外の領域では障害物が含まれており、結果的に平面の拡がりを計測することで障害物の検出が可能となる。

＜ステップＳ１００＞道路面に対する射影変換行列を動的に推定する
まず、自動車に搭載される２台のステレオカメラで撮影されて入力されたステレオ画像に対して、カメラ間の明るさの違い等を除くため、ＬＯＧ(Laplacian Of Gaussian)フィルタをかけ、さらに、ヒストグラム平坦化処理を施す。図３は入力されるステレオ原画像の一例を示す。図３（Ａ）は基準画像を示し、図３（Ｂ）は参照画像を示している。また、図４は、図３に示されるステレオ原画像にＬＯＧフィルタ処理とヒストグラム平坦化処理を施した結果画像を示す。図４（Ａ）は図３（Ａ）の基準画像の処理後の画像を示し、図４（Ｂ）は図３（Ｂ）の参照画像の処理後の画像を示している。

次いで、非特許文献５に開示された領域ベースの手法により、平面（本実施例では、道路面）に対応する射影変換行列を求める。すなわち、ある領域Ｒ^I内で、以下の評価関数

を最小化する

を、繰り返し最適化により求める。

但し、Ｉ_b(ｍ)、Ｉ_r(ｍ)は、それぞれ画像位置ｍでの基準画像、参照画像の濃度値を表す。

上記の推定には、適当に真値に近い初期値としての射影変換行列

と、領域Ｒ^I（本発明では、以後「計算領域」と呼ぶことにする）を必要とする。そこで本発明では、時系列情報を利用し、以下に述べる手順により、その射影変換行列と計算領域を求める。

まず、各時刻においてステレオ画像間の射影変換行列

と、基準画像の時間的に連続する２画像間の射影変換行列

、及び基準画像に対する平面領域Ｒを求めていく。そして、ある時刻ｔの推定の際には、前時刻ｔ−１までの上記推定結果を利用する。以下、図５を参照しながら、その手順を更に詳細に説明する。
（１）まず、連続する基準画像Ｉ_b(ｔ−１)、Ｉ_b(ｔ)間の射影変換行列

を求める。その時、射影変換行列の初期値としては、前時刻に推定された射影変換行列

を、また計算領域としては、Ｉ_b(ｔ−１)に対して前時刻で求められている平面領域Ｒ(ｔ−１)を用いることができる。
（２）次に、（１）で求められた射影変換行列

を用いて、前時刻の平面領域Ｒ(ｔ−１)を変換することにより、現時刻における平面領域の予測値Ｒ^I(ｔ)を求める。
（３）更に、ステレオ画像Ｉ_b(ｔ)、Ｉ_r(ｔ)間の射影変換行列

は、前時刻において推定された

を初期値とし、（２）で求められたＲ^I(ｔ)を計算領域として、求められる。

本発明では、上記手順（１）、（２）、（３）により、時系列画像を用いた連続推定において、十分に真値に近い初期値としての射影変換行列と計算領域を用いることができるため、安定な推定を可能にしている。

また、本発明において、上述した射影変換行列と計算領域の推定手順では、射影変換行列

は、その都度ステレオ画像から求めることが可能なため、カメラの内部パラメータや２台のカメラ配置、カメラと道路面との位置関係等は知る必要がなく、また、道路面自体が傾いたり、走行中にカーブや道路面の凹凸で車体が傾斜したり、カメラが振動したりすることによっての変化があっても対応することができる。

＜ステップＳ１１０＞求まった射影変換行列を用いて、道路面の平面領域（走行可能な平面領域）を抽出する
ステップＳ１００で求めた射影変換行列を利用して、基準画像中から平面に対応した領域を抽出する。図６に図３のステレオ原画像を用いた一連の処理結果を示す。図６(Ａ)は、ＬＯＧフィルタ処理とヒストグラム平坦化処理を施した基準画像（図４(Ａ)と同じ）である。図６(Ｂ)は、ステップＳ１００で述べた方法により推定した射影変換行列

を用いて、図４(Ｂ)の参照画像を射影変換した結果である。図６(Ａ)の画像と図６(Ｂ)の画像の差分（差の絶対値）を求めたものが図６(Ｃ)である。図６(Ｃ)の画像を見ると、平面（道路面）に対しては、図６(Ａ)、図６(Ｂ)両画像の位置が一致しているため、全体的に黒く、それ以外の部分ではずれているため、白っぽく見える。次に、図６(Ｃ)の差分画像に対し、平均化フィルタをかけた上で２値化したものが図６(Ｄ)である。図６(Ｄ)は、図６(Ａ)と図６(Ｂ)の画像に対し、ＳＡＤ(Sum of Absolute Difference)を用いたマッチングを行っていることに相当する。

ここで、前時刻の平面領域抽出結果が利用できる場合には、その結果を以下のように利用する。ステップＳ１００でも述べたように、前時刻の平面領域Ｒ(ｔ−１)と基準画像の時系列間の射影変換行列

より、現時刻において予想される平面領域が得られる。時系列画像間では平面領域がそれほど急激には変化しないとすれば、図７に示すように、現時刻における平面領域と非平面領域の境界は、前時刻から予想される境界に対してある一定の幅に収まると考えられる。そこで、それ以外の部分に関しては、前時刻の結果より平面領域ないし非平面領域とみなすことができるため、それを図６(Ｄ)のマッチング結果に反映する。さらに、走行可能な平面領域はある程度の大きさを持っていると考えられるため、収縮・膨張処理により、面積が小さな領域や細長い領域を除く処理を施した結果が図６(Ｅ)である。図６(Ｆ)は、抽出された結果が原画像とどう対応しているのかが分かるように、原画像に対し、抽出された平面領域以外の明るさを落して表示したものである。図６(Ｆ)より、抽出された領域が実際の道路面に良く一致していることが分かる。

一方、以上で述べた方法においては、基準画像と射影変換後の参照画像で、平面以外に対する画像上の位置がずれ、その結果、画像濃度に差が生じるということを前提としている。しかしながら、例えば、テクスチャの無い建物の壁が画像上で大きな領域を占めるような場合には、問題が生じる。そのような領域では、たとえ位置がずれていても、濃度の差が生じないからである。図８(Ａ)と図８(Ｂ)は、そのような画像の例を示しており、この場合のマッチング結果（図６(Ｄ)に相当）は、図８(Ｄ)に示すものとなる。図８(Ｄ)に示されるように、明らかに、マッチング結果に正面の建物の壁を含んでしまっている。

そこで、このような問題に対処するため、以下のようなテクスチャレス領域処理を施す。以下、図９を参照しながら、その具体的な処理手順を説明する。

先ず、ＬＯＧフィルタの出力結果が０に近い領域をテクスチャレス領域として抽出し、領域毎にラベリングする（図９(ａ)のＡ、Ｂ）。つまり、これらの領域は、マッチングによる平面領域判定が困難な部分である。実際、このような画像に対してマッチングによる判定を行うと、図９(ｃ)の斜線部のような領域が得られ、結果としてＣの部分が誤判定となる。

次に、テクスチャレス領域Ａ、Ｂに対し、次のような判定を行う（図９(ｄ)を参照）。あるテクスチャレス領域の全体が、図９(ｃ)のマッチング結果に含まれていれば、そのテクスチャレス領域は、平面領域とする（つまり、領域Ｂの場合）。なお、実際の平面領域と非平面領域の間には、画像上でエッジや濃淡の差等の何らかの境界が存在すると考えられる。その境界部は、本発明では、テクスチャレス領域とはならず、かつマッチング領域に属することになる。従って、テクスチャレス領域が仮に平面領域の縁に存在しているような場合でも、処理結果においては、テクスチャレス領域が、マッチング領域内で境界部の分だけ内側に現れることになる。また、あるテクスチャレス領域の全体が、図９(ｃ)のマッチング結果に含まれていなければ、そのテクスチャレス領域全体を非平面領域とする（つまり、領域Ａの場合）。

最後に、図９(ｃ)のマッチング結果から、非平面領域と判定されたテクスチャレス領域を除いて、正確な平面領域が得られる（図９(ｅ)を参照）。

上記で述べたテクスチャレス領域処理は、以下のように解釈することができる。まず、テクスチャレス領域では、局所的なマッチングを行っても、位置ずれが生じているかどうかの判定をすることができない。そこで、テクスチャレス領域をまとめ、各々の領域を"塊"として、ずれの判定を行う。その際、平面領域に含まれるテクスチャレス領域では、当然位置ずれがないために全体がマッチングすることになるが、非平面領域中のテクスチャレス領域の場合には、位置がずれるため、領域のある部分が必ず周囲の別の領域と重なり、その部分はマッチングにより非平面部と判定されることになる。そこで、そのようなテクスチャレス領域全体を非平面領域と判定する。

以上のテクスチャレス領域処理を行って得られた結果を図１０に示す。図１０(Ｂ)は、図１０(Ａ)の基準画像に対して、テクスチャレス領域を抽出した結果である。図１０(Ｃ)は、上記で述べたテクスチャレス領域処理を加えて、平面領域を抽出した結果である。図１０(Ｄ)は、原画像との重ね合わせ表示である。

また、図１１にテクスチャレス領域処理を行って得られた別の結果を示す。この例では、空（非平面領域）の部分と、路面のペイント（平面領域）の部分にテクスチャレス領域が存在しているが、テクスチャレス領域処理により、空（非平面領域）に対応したテクスチャレス領域のみがマッチング結果から除かれ、図１１(Ｅ)及び図１１(Ｆ)に示すように、良好な結果が得られていることが良く分かる。

以上をまとめると、本発明での平面抽出の全体の流れは図１２に示される通りで、その各々の部分の処理を以下で説明する。
＜１＞ＬＯＧフィルタ
本発明で用いられる領域ベースの手法（非特許文献５参照）の短所として、２つの画像の明るさが異なると、うまく処理が行えないところである。そこで、この画像間の明るさの差を取り除くために、入力されたステレオ原画像にＬＯＧフィルタをかける。ＬＯＧフィルタは下記数３のように示される。本実施例ではσ＝１、ウィンドウサイズ＝７としている。

また、ＬＯＧフィルタをかけた画像は、コントラストがとても低いので、本発明では、ヒストグラム平坦化によってコントラストを上げるようにしている。
＜２＞射影変換行列の推定
ステップＳ１００に説明された方法により、ステレオ画像間の平面の射影変換行列を動的に推定する。
＜３＞射影変換画像
＜２＞により得られた平面を表す射影変換行列によって、参照画像を射影変換する。射影変換行列が表す平面は、あたかも基準カメラから撮影したかのように一致し、射影変換行列が表す平面上にないものは、歪んで投影される。本発明ではこの性質を利用して平面領域を求める。
＜４＞差分画像
平面上に存在する点は基準画像へ正確に投影されるので、輝度値の差分は小さい。逆に、平面上にない点の輝度値の差分は大きくなる。閾値処理を施して差分の小さい領域を平面領域とする。このとき、ピクセルごとの差分ではノイズによる影響が大きいので、ＳＡＤによるマッチングを施す。具体的には、差分画像に平滑化フィルタをかけることで実現している。その後、閾値を使って２値化する。
＜５＞前時刻平面領域の利用
ステレオ動画像において、前時刻と現時刻に撮影された画像にはとても高い相関がある。同様に、処理結果においても相関が高いことを利用して、前時刻の処理結果を利用することで安定した処理を行うようしている。ここでは現時刻に抽出される平面領域と非平面領域の境界が前時刻から予想される境界に対してある一定幅に収まると考えられる。そこで、それ以外の部分に関しては、前時刻の結果より平面領域ないし非平面領域と見なすことができるため、それを２値画像(マッチング結果)に反映する。
＜６＞テクスチャレス領域
＜４＞の差分画像だけを利用すると、画像上であまりテクスチャの無い領域、つまりテクスチャレス領域では、濃度値の変化が無いため、たとえ異なる場所が重なりあっていたとしても道路領域として認識してしまう恐れがある。また、テクスチャレス領域をそのまま道路領域からすべて取り除いてしまうと、本来道路領域であるのに誤って非道路領域としてしまう恐れがある。道路領域内にもテクスチャレス領域が存在するためである。そこでＬＯＧフィルタをかけると、空間周波数が０に近い領域をテクスチャレス領域として抽出し、領域ごとにラベリングする（図１３(ａ)のＡ、Ｂ）。
＜７＞テクスチャレス領域の考慮
＜６＞でラベリングしたテクスチャレス領域ごとに基準画像と参照画像のマッチング結果（図１３(ｃ)）に完全に収まっている領域は道路領域とし、ずれが生じている領域（図１３(ｃ)のＣ）は非道路領域とする。
＜８＞Opening処理
求めたい道路領域は、自動車の走行可能な道路領域である。そこで、抽出された結果から、自動車の走行できない領域を取り除いている。まず、自動車の走行不可能な小さな領域を道路領域抽出結果から取り除く。得られた道路領域抽出結果からその面積を求め、閾値以下の領域を除去している。また、道路領域全体に収縮膨張処理を施す。

＜ステップＳ１２０＞射影変換行列を分解することにより道路面の傾きを算出する
ここでは平面領域抽出において得られた射影変換行列から、道路面の姿勢を表すパラメータである、基準カメラから道路平面までの距離ｄと道路平面の法線ベクトル

を求める方法について説明する。

まず、道路平面の射影変換行列

は図２のようなカメラ配置の場合、下記数４で表される。

但し、

は基準カメラ座標系から参照カメラ座標系への回転行列で、

は参照カメラ座標系における基準カメラと参照カメラの並進ベクトルで、ｄは基準カメラと道路平面の距離で、

は道路平面の法線ベクトルで、Ａ₁、Ａ₂はそれぞれ基準カメラと参照カメラの内部パラメータである。

ここで、定数項ｋ≠０を付けるのは、画像から得られた射影変換行列には定数倍の自由度が存在することを表す。カメラの内部パラメータＡ₁、Ａ₂が既知であるとすると、下記数５は成立する。

ここで、非特許文献６に記載されたFaugerasらの手法によって射影変換行列

を特異値分解する。

上記数６において、

でそれぞれ対応する行、列を入れ換えれば

のように並べ替えることができる。以後、降順に並んでいるとする。上記数５と上記数６を比較して、

ここで、

とすると、下記数９を得る。

もとの

は、以下のような関係式から求めることができる。

上記数１０から、

を得るには

を求めればよいことが分かる。

ここで、基準カメラ座標系の基底

を導入し、

とし、上記数９から得られる３つの方程式と

は単位ベクトルであること、

は正規直交行列より

も単位ベクトルとなること、また

は回転行列なのでノルム変化がないことより、下記数１１が導出される。

これを

と置き、

の連立一次方程式として解くと、下記数１２を得る。

よって、下のように

の特異値が（I）重解を持たない場合、（II）重解を持つ場合、（III）３重解を持つ場合に場合分けして考える。
（I）

（II）

（III）

ここで、ｋ＝±σ₁もしくはｋ＝±σ₃は成り立たない。これは背理法で示される。よって、

にかかっている定数倍の項ｋは、

を特異値分解したときのσ₂として求まることが分かる。次に、ｋ＞０のときには、２台のカメラを平面の同じ側に配置にして平面の同じ面をカメラが撮影している場合に相当し、本発明で扱うカメラ配置である。また(III)の３重解の場合は、２つのカメラの光学中心が一致、つまり回転だけの場合なので、除外する。これらの関係より、一般的に、

は下記数１３のように書ける。

（I）

のとき

より

を得る。つまり、

は

周りの回転行列である。以下それぞれ条件を入れて計算すると、下記数１４、数１５及び数１６を得る。

（II）

のとき及び（III）σ₁＝σ₂(σ₂＝σ₃)のとき
上記数１３より、

は単位行列になる。このとき、

と書ける。

ここで、

の符号の違いにより、

は４つの解の不定性が発生している。そこで、「２台のカメラから平面が見えている」という条件を与える。つまり、光学中心を出た視線がレンズを通り、平面へ到達するということである。得られた

の候補のうち、

との内積が正になる

を選べば良い。これで４つから２つに絞れる。さらに、解を一意にするために、本実施例では２台のカメラ同士の位置関係が撮影中変化しないという条件を加えることで解決している。また、ｄを求めるためには、得られた

の絶対値と

から次の式より求めることができる。

つまり、２台のカメラのベースライン

を与えることでｄが決まる。

＜ステップＳ１３０＞道路平面を上方から見た画像（仮想投影面画像）を生成する
ステップＳ１２０で求められた道路平面の姿勢パラメータを使って、図１４に示されるように、基準画像に基づいて、道路平面と平行な仮想投影面(ＶＰＰ：Virtual Projection Plane)画像を生成する。図１４の中の記号を以下のように定義する。

は道路平面と基準カメラの座標系における法線ベクトルで、ｆは基準カメラの焦点距離で、ｄは基準カメラ光学中心と道路平面との距離で、また、ｅ_OZは基準カメラの光軸である。

ここで、ステップＳ１２０で射影変換行列を分解することで得られた法線ベクトルを

とする。

まず、基準カメラの光軸ｅ_OZと

との外積を回転軸として、ｅ_OZと

のなす角をθ回転させる変換行列を

とすると、

と表せる。基準カメラをこの

により回転させたＶＰＰ画像へ変換する射影変換行列は、基準カメラの内部パラメータ行列を

、仮想カメラ（つまり、ＶＰＰカメラ）の内部パラメータ行列を

とすると、

と表せる。

次に、ＶＰＰ画像の鉛直軸と基準カメラの光軸の向きを一致させる。基準カメラの光軸方向の単位ベクトル

をＶＰＰカメラ座標系から見たベクトル

を考え、それをＶＰＰ画像座標系に正射影したベクトル

を考える。

まず、

である。

次に、

のｘ成分をｕ_x、ｙ成分をｕ_yと表すとき、

をｘ−ｙ平面に正射影した

なるベクトル

を考える。

この

をＶＰＰ画像座標に射影すると、同次ＶＰＰ画像座標上での無限遠点

に変換される。

と

を定義し、これをカメラ方向と呼ぶ。求める回転行列

はカメラ方向

を、「ＶＰＰ画像座標の−ｖ方向」＝「ＶＰＰカメラ座標系の−ｙ方向」に一致させる回転変換であるので、

を満たす

を求める。上記数２２の

と組み合わせることにより、基準画像からＶＰＰ画像への射影変換行列

は、

となる。

上記数２６の

により、基準画像を射影変換してＶＰＰ画像を生成する。３次元空間でｍと表すことのできる点を基準画像へ投影して得られる基準画像座標の点

と、同じく点ｍをＶＰＰ画像へ投影したときのＶＰＰ画像座標の点

の間には、

が成り立つので、ＶＰＰ画像上の点ｍ_iの輝度は、

の逆行列

を用いて対応する原画像上の点ｍ_0iの輝度値を代入することで得られる。

ただし、

は行列

のｉ行ｊ列成分を表すとする。

以上の射影変換行列を使い、図１６の基準画像を入力としてＶＰＰ画像を計算すると、図１９が生成される。なお、図１５は参照画像で、また、図１８は図１７に示される平面領域を原画像に重ね合わせた結果である。

＜ステップＳ１４０＞ＶＰＰ画像上で走行可能な平面領域と自車輌の位置、方向を算出する
まずステップＳ１３０で説明された方法によって、図１７のように平面領域のみ（白い領域）をＶＰＰ画像に変換した画像が図２０である（つまり、この画像において白い領域が平面領域である）。

次に、ＶＰＰ画像の特徴について説明する。推定した平面上に載っている点は、上記数２７の変換により正しい座標のＶＰＰ画像に変換されるが、平面から浮いている点（例えば、車や壁など)は、ＶＰＰ画像に変換すると正しい位置に変換されるわけではない。すなわち、ＶＰＰ画像に変換することで、推定した道路平面領域を平行に上方から見た画像が生成されたわけであり、その画像から得られる座標は、実空間に対応した座標系となっている。

次に、ＶＰＰ画像上に落とした光学中心を得るためには、上記数１８における

と仮想カメラの内部パラメタ

と道路平面の法線ベクトル

、上記数２５の

を使い、同次ＶＰＰ画像座標上での光学中心の同次座標を

とすると、

より、ＶＰＰ画像の画像座標は

は

として得る。図２１の中ではＯが基本カメラの光学中心を道路平面に投影した点である。以後、この点を基準カメラ位置原点とする。よって、カメラと車輌の位置関係からＶＰＰ画像上での車輌の位置がわかる。また、図２１に示すように、ＶＰＰ画像で垂直な軸Ｙは光軸に一致する。つまり、光軸と車輌との取り付け角が既知であれば、ＶＰＰ画像中で自車輌の方向を算出できる。

＜ステップＳ１５０＞ＶＰＰ画像上での道路平面領域の自車輌からの最遠部すなわち障害物までの各方向毎の距離を算出する
領域の拡がりを求めるには、図２０のような平面領域をＶＰＰ画像に変換した画像を用意し、その画像上での基準カメラ位置原点から光軸（Ｙ軸）に対して、θ傾いた直線を伸ばし、平面領域の端を計算する（図２２参照）。画像上での基準カメラ位置原点Ｏから平面領域の端の座標を求めることにより、光軸からθ傾いた場所における画像上での平面の拡がり長さを求めることができる。画像上での長さは仮想カメラの内部パラメータと、基準カメラ光学中心と道路平面との距離ｄを使うことで実際の距離に変換できる。つまり、この処理により平面領域の方向別距離が算出されたわけである。

本実施例においては、撮影した画像の解像度などの制約上、基準カメラ位置原点から光軸方向に３２ｍまで前方を領域の拡がりとして計算できる上限とした。また、計測範囲は光軸から２５度の範囲で０.５度刻みとした。

＜ステップＳ１６０＞ＶＰＰ画像上での道路平面領域の自車輌からの最遠部すなわち障害物までの各方向毎の相対速度を算出する
次に、ＶＰＰ画像上での道路平面領域の自車輌からの最遠部すなわち障害物までの方向別相対速度を算出する。各時刻について、各方向別にステップＳ１５０で述べた方法を利用し、道路平面領域の方向別距離を計算する。

ここでは、例えば、光軸(Ｙ軸)からθ傾いた平面の相対速度を求めるために、光軸(Ｙ軸)からθ傾いた方向別距離を過去の５フレーム使い、また、画像は３０ｆｐｓで撮影しているため、１フレームで１／３０ｓであるので、最小２乗法を使うことで１／３０ｓ毎の方向別距離の時系列データから傾きを求め、時速に換算したことで、その方向の相対速度が算出できたわけである（図２３参照）。従って、同様の処理を各方向について行うことで、平面領域のほぼ全体について平面領域の相対速度が算出される。

＜ステップＳ１７０＞ＶＰＰ画像に走行可能な平面領域を重ね合わせて表示すると共に、算出された方向別距離、方向別相対速度情報を表示する
ステップＳ１５０及びステップＳ１６０で述べた方法により、各方向における道路平面領域の距離と相対速度が計算できたわけである。

本発明では、得られた道路平面の方向別距離と方向別相対速度を分かり易く表示できるように工夫した。その結果が図２４で示す画像である。まず、図２４に示された画像の右側の画像は、基準画像をＶＰＰ画像に変換したものに、平面領域をＶＰＰ画像に変換したものを重ねたものである。図２４に示された画像の右側の画像において、水色の領域が合成した平面領域であり、平面領域の端にある各点は領域の端点（この点１つ１つが平面の方向別距離であり、図中では矢印Ａで示している点)を表し、端点の色の付け方は次のようなルールがある。

まず、平面の拡がり速度が負（平面が縮む、つまり、カメラに向かってくる方向）の場合は、危険度があるため、暖色系の色の点で表示する。一方、平面の拡がり速度が正（平面が拡がる、つまり、カメラから離れる方向）の場合は、危険度は低くなるため、寒色系の色の点で表示し、また、平面の拡がりがないものについては緑の点で表示することとした。図２４に示された画像の左側の下にあるグラデーションは、平面の拡がり速度による点の色の推移を示すものであり、各数字はそれぞれ時速（ｋｍ／ｈ）に相当している。また、基準カメラ位置原点からの一定距離になるような同心円弧５ｍ毎に描き（図中では矢印Ｂで示している）、カメラを搭載した車の幅を赤いラインで示した（図中では矢印Ｃで示している）。

次に、図２４に示された画像の左側の画像は、基準画像に平面領域を合成したもので、平面領域を水色で表している。平面領域の各端点は、ＶＰＰ画像を基に計算した画像の座標を数２７の

を使って変換することで、基準画像での領域の端点に対応する座標が計算されるため、その座標を利用し、表示している（図中では矢印Ｄで示している）。ここで使用される色の決定の仕方は、図２４に示された画像の右側の画像の端点と同じルールを利用する。また、光軸から一定角度毎（本実施例では５度ごと）の点の上にその点の基準カメラ位置原点からの距離をメートル単位で表示している（図中では矢印Ｅで示している）。

上記のような方向別距離、方向別相対速度情報の表示方法により、本発明を用いた道路平面領域並びに障害物検出結果の例を図２５と図２６に示す。なお、図２５と図２６は、自動車に搭載したカメラで撮影したステレオ動画像に対し、本発明を適用した結果を示し、ちなみに、その結果は市街地における道路平面領域並びに障害物検出結果で、ステレオ動画像に対する処理結果から３フレーム（１／１０秒）毎の結果を抜き出して表示している。

上述したように、ステップＳ１００〜ステップＳ１７０を有する本発明に係るステレオ画像を用いた道路平面領域並びに障害物検出方法では、自動車に搭載された２台のステレオカメラから撮像されたステレオ動画像から得られる時系列情報を利用することにより、安定に射影変換行列と道路平面領域を連続的に推定することが可能になり、道路面自体が傾いたり、走行中にカーブや路面の凹凸で車体が傾斜したり、自動車に搭載されたカメラが振動したりすることがあっても、射影変換行列は一定ではなく、常に、ステレオ動画像から射影変換行列が求められるので、こういった問題を解決することができた。

また、本発明では、射影変換行列を分解することによって算出された道路面の傾きに基づいて、仮想投影面画像（ＶＰＰ画像）を生成し、更に、ＶＰＰ画像上での平面領域の自車輌からの障害物までの方向別距離、方向別相対速度を算出し、最後に、ＶＰＰ画像に走行可能な平面領域を重ね合わせて表示すると共に、算出された方向別距離、方向別相対速度情報を表示するようにしているので、自動車に対する走行可能な領域及び障害物の表示は視覚的な表示となり、大変実用性の高い方法である。

なお、本発明を適用する際に、自動車に搭載されるステレオカメラとしてはＣＣＤカメラを用いることが好ましいが、それに限定されることはなく、ステレオ動画像を撮影できる撮影手段であれば、ほかの撮影手段を用いることも可能である。また、本発明を自動車以外の走行物体に適用することも可能である。

本発明の全体の流れを示すフローチャートである。平面の投影と２次元射影変換を説明するための模式図である。ステレオ原画像の一例を示す図である。図３に示されるステレオ原画像にＬＯＧフィルタ処理とヒストグラム平坦化処理を施した結果画像を示す図である。時系列情報を利用した射影変換行列と計算領域の推定手順を説明するための模式図である。平面領域抽出結果を示す図である。前時刻から予想される領域を説明するための模式図である。大きなテクスチャレス領域が存在するステレオ画像の平面領域抽出を説明するための図である。テクスチャレス領域処理を説明するための模式図である。大きなテクスチャレス領域が存在するステレオ画像に対してテクスチャレス領域処理を行って得られた平面領域抽出結果を示す図である。平面領域内にもテクスチャレス領域が存在するステレオ画像に対してテクスチャレス領域処理を行って得られた平面領域抽出結果を示す図である。本発明での平面抽出の全体の流れ図である。テクスチャレス領域の考慮方法を説明するための模式図である。本発明の仮想投影面画像（ＶＰＰ画像）を説明するための模式図である。参照画像の一例を示す図である。基準画像の一例を示す図である。平面領域抽出結果を示す図である。図１７の平面領域を図１６の原画像に重ね合わせた結果を示す図である。図１６の基準画像のＶＰＰ画像を示す図である。図１７の平面領域のＶＰＰ画像を示す図である。ＶＰＰ画像の特徴を説明するための図である。ＶＰＰ画像上での平面領域の自車輌からの障害物までの方向別距離の算出を説明するための模式図である。方向別平面領域の相対速度計算を説明するための図である。本発明を用いた道路平面領域並びに障害物検出結果を示す画像である。本発明を用いた道路平面領域並びに障害物検出結果の一例を示す図である。本発明を用いた道路平面領域並びに障害物検出結果の他の例を示す図である。

Claims (4)

1. 自動車に搭載される撮像手段によって撮影された、基準画像と参照画像から構成されるステレオ動画像のみを利用して、走行可能な道路平面領域及び道路面上に存在する全ての障害物を検出できるようにしたステレオ画像を用いた道路平面領域並びに障害物検出方法であって、
   道路面に対する射影変換行列を動的に推定する第１のステップと、
   第１のステップで求まった前記射影変換行列を用いて、走行可能な平面領域を抽出する第２のステップと、
   第１のステップで求まった前記射影変換行列を分解することにより道路面の傾きを算出する第３のステップと、
   第３のステップで算出された前記道路面の傾きを基に道路面を上方から見た仮想投影面画像を生成する第４のステップと、
   第４のステップで生成された前記仮想投影面画像の上で、前記走行可能な平面領域と自車輌の位置と方向を算出する第５のステップと、
   を有することを特徴とするステレオ画像を用いた道路平面領域並びに障害物検出方法。
2. 前記仮想投影面画像の上での前記走行可能な平面領域より自車輌から障害物までの方向別距離を算出する第６のステップと、
   前記仮想投影面画像の上での前記走行可能な平面領域より自車輌から障害物までの方向別相対速度を算出する第７のステップと、
   を更に有する請求項１に記載のステレオ画像を用いた道路平面領域並びに障害物検出方法。
3. 前記仮想投影面画像に前記走行可能な平面領域を重ね合わせて表示すると共に、前記方向別距離と前記方向別相対速度情報を表示する第８のステップと、
   を更に有する請求項２に記載のステレオ画像を用いた道路平面領域並びに障害物検出方法。
4. 前記第１のステップでは、前記基準画像及び前記参照画像にＬＯＧフィルタ処理とヒストグラム平坦化処理を施してから、領域ベースの手法により、前記ステレオ画像間の道路面に対応する射影変換行列を動的に推定するようにし、
   前記第２のステップでは、前記射影変換行列によって前記参照画像を射影変換し、前記基準画像と射影変換された前記参照画像との差分画像を求め、前記差分画像に平滑化フィルタをかけてから、閾値を使って２値化して２値画像が得られ、前記２値画像に前時刻平面領域の推定結果を利用すると共にテクスチャレス領域を考慮することによって、走行可能な平面領域を抽出するようにし、
   前記第３のステップでは、前記道路面の傾きを示す道路平面姿勢パラメータは、基準カメラ光学中心から道路平面までの距離と道路平面の法線ベクトルであるようにし、
   前記第４のステップでは、前記道路平面姿勢パラメータを使って、前記基準画像を射影変換して、道路平面と平行な仮想投影面画像を生成する請求項３に記載のステレオ画像を用いた道路平面領域並びに障害物検出方法。

Images