【０００１】[0001]
【発明の属する技術分野】本発明は、車両周辺監視装
置、障害物検出方法、及び障害物検出プログラムを記憶
した媒体に関し、特に、バスやトラック等の車両に設置
され車両の周辺における監視領域の画像を撮像し、撮像
された画像に基づいて車両の周辺を監視する車両周辺監
視装置、この車両周辺監視装置を用いて、周辺監視時に
警報を発すべき障害物の障害物検出方法、及びこの装置
に用いられる障害物検出プログラムを記憶した、車両周
辺監視装置を制御するコンピュータで読み取り可能な媒
体に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a vehicle periphery monitoring device, an obstacle detection method, and a medium storing an obstacle detection program, and more particularly, to a monitoring area installed around a vehicle such as a bus or a truck. Vehicle periphery monitoring device that captures an image and monitors the periphery of the vehicle based on the captured image, an obstacle detection method for an obstacle that should issue an alarm when monitoring the periphery using the vehicle periphery monitoring device, and this device The present invention relates to a computer-readable medium that stores an obstacle detection program used in a computer and that controls a vehicle periphery monitoring device.
【０００２】[0002]
【従来の技術】図１５は、本発明の車両周辺監視装置の
基本構成を説明するための機能ブロック図である。2. Description of the Related Art FIG. 15 is a functional block diagram for explaining a basic configuration of a vehicle periphery monitoring device according to the present invention.
【０００３】従来この種の車両周辺監視装置としては、
例えば、図１５に示すように、特開平７−２５０３１９
号公報（発明の名称：車両周辺監視装置、出願日：１９
９４年３月１４日）に開示された技術がある。Conventionally, this type of vehicle periphery monitoring device includes:
For example, as shown in FIG.
Patent Publication (Title of Invention: Vehicle Perimeter Monitoring Device, Filing Date: 19)
(March 14, 1994).
【０００４】すなわち、図１５に示すように、車両周辺
監視装置Ａは、２台の撮影手段より構成されるステレオ
カメラ（ｓｔｅｒｅｏｓｃｏｐｉｃ ｃａｍｅｒａ）に
より得られた画像データに基づいて車両周辺を監視する
ものであって、撮像手段により出力された画像信号を記
録するメモリ（右）１及びメモリ（左）２と、メモリ１
（２）の記録画像の歪曲収差を補正するための歪曲収差
補正手段７と、メモリの一方１（２）に記録画像を高さ
０と仮定し、この画像を他方のメモリ２（１）に投影し
た投影画像を作成し、投影画像と他方のメモリ２（１）
の画像データとの差より路面上の画像を除去する路面画
像除去手段３と、他方のメモリ２（１）の水平方向の微
分値と路面画像除去手段３より出力される画像データよ
り物体のエッジを検出する物体エッジ検出手段４と、メ
モリ１（２）の画像データ及び物体エッジ検出手段４よ
り出力される画像データより障害物の位置を算出する物
体位置算出手段５と、物体位置算出手段により算出され
た位置データに基づいて警報を出力する警報手段６とを
有していた。That is, as shown in FIG. 15, a vehicle periphery monitoring device A monitors the periphery of a vehicle based on image data obtained by a stereoscopic camera composed of two photographing means. A memory (right) 1 and a memory (left) 2 for recording an image signal output by the imaging means;
(2) Distortion aberration correcting means 7 for correcting the distortion of the recorded image, and one of the memories 1 (2) assuming that the recorded image has a height of 0, and storing this image in the other memory 2 (1). A projected image is created, and the projected image and the other memory 2 (1) are created.
Road image removing means 3 for removing the image on the road surface from the difference from the image data of the other, and the edge of the object from the horizontal differential value of the other memory 2 (1) and the image data output from the road image removing means 3 , An object position calculating means 5 for calculating the position of an obstacle from the image data of the memory 1 (2) and the image data outputted from the object edge detecting means 4, and an object position calculating means. Alarm means 6 for outputting an alarm based on the calculated position data.
【０００５】このような構成を有する車両周辺監視装置
Ａは、ステレオカメラによって撮影された画像信号によ
り路面に描かれた模様を除去し、高さのある物体のみを
抽出して処理時間を短縮することができるといった効果
が開示されている。[0005] The vehicle periphery monitoring device A having such a configuration removes a pattern drawn on a road surface by an image signal photographed by a stereo camera, extracts only a tall object, and shortens the processing time. The effect of being able to do so is disclosed.
【０００６】図１６は、従来技術を用いた対応点の検出
を状態を説明するための動作図であって、図１６（ａ）
は、右画像中で抽出した特徴点に対してマスクを設定し
た状態を説明するための動作図であり、図１６（ｂ）
は、障害物が含まれるステレオ画像の左画像に対してマ
スクを用いてスキャニング動作を探索範囲内で実行して
対応点を検出した状態を説明するための動作図である。FIG. 16 is an operation diagram for explaining a state of detecting a corresponding point using the conventional technique.
FIG. 16B is an operation diagram for explaining a state in which a mask is set for the feature points extracted in the right image, and FIG.
FIG. 8 is an operation diagram for explaining a state in which a scanning operation is performed in a search range on a left image of a stereo image including an obstacle within a search range and a corresponding point is detected.
【０００７】このような従来の車両周辺監視装置Ａで
は、障害物を検出する際、図１６（ａ）に示すように、
右画像中で抽出した特徴点に対してマスク１を設定し、
続いて、図１６（ｂ）に示すように、ステレオ画像の左
画像中に含まれる障害物に対して右画像中のマスク１と
画像相関のある部分を検出するスキャニング動作を左画
像中の固定の探索範囲（例えば、左端から右端までの全
画素である９０画素）内で実行することに依り、マスク
１と画像相関があるマスク２の部分における対応点を検
出していた。In such a conventional vehicle periphery monitoring device A, when detecting an obstacle, as shown in FIG.
Mask 1 is set for the feature points extracted in the right image,
Subsequently, as shown in FIG. 16B, a scanning operation for detecting a portion having image correlation with the mask 1 in the right image for an obstacle included in the left image of the stereo image is fixed in the left image. (For example, 90 pixels, which are all pixels from the left end to the right end), the corresponding point in the mask 2 portion having the image correlation with the mask 1 is detected.
【０００８】[0008]
【発明が解決しようとする課題】図１７は、図１５の車
両周辺監視装置を用いた対応点の検出を状態を説明する
ための動作図であって、図１７（ａ）は、２つの障害物
が含まれるステレオ画像を示す図であり、図１７（ｂ）
は２つの障害物が含まれるステレオ画像の左画像に対し
てマスクを用いてスキャニング動作を固定の探索範囲で
実行して対応点を検出した状態を説明するための動作図
である。FIG. 17 is an operation diagram for explaining a state of detection of a corresponding point using the vehicle periphery monitoring device of FIG. 15, and FIG. FIG. 17B is a diagram showing a stereo image including an object, and FIG.
FIG. 7 is an operation diagram for explaining a state in which a scanning operation is performed on a left image of a stereo image including two obstacles using a mask in a fixed search range and corresponding points are detected.
【０００９】しかしながら、このような従来の車両周辺
監視装置Ａでは、スキャニング動作における探索範囲が
固定（例えば、図中の下端から上端までの全画素である
９０画素固定）に設定されていた。However, in such a conventional vehicle periphery monitoring device A, the search range in the scanning operation is set to a fixed value (for example, fixed to 90 pixels which is all pixels from the lower end to the upper end in the figure).
【００１０】この為、図１７（ａ）に示すように、２つ
の障害物（一方が車両の近くに存在する障害物Ａ、他方
が障害物Ａよりも車両から遠くに存在する障害物Ｂ）が
含まれるステレオ画像に対して走査線（具体的には、走
査線０乃至走査線８）に沿ってスキャニング動作をする
場合、車両の一番近くに存在する障害物Ａに対して車両
と障害物Ａとの間の視差を測定できる程度に探索範囲を
限定して設定すれば十分であるにも関わらず、常に固定
の探索範囲（則ち、９０画素）をスキャニングしてしま
い、その結果、車両の安全走行に最も重要な役割を果た
す、車両の一番近くに存在する障害物に対する車両−障
害物間距離を運転者に報知するまでに多くの時間を要し
てしまうという技術的課題があった。For this reason, as shown in FIG. 17A, two obstacles (one is an obstacle A located closer to the vehicle, and the other is an obstacle B located farther from the vehicle than the obstacle A). When a scanning operation is performed along a scanning line (specifically, scanning lines 0 to 8) on a stereo image including Although it is sufficient to set the search range limited enough to measure the parallax with the object A, it always scans a fixed search range (that is, 90 pixels), and as a result, There is a technical problem that it takes a lot of time to notify a driver of a vehicle-to-obstacle distance to an obstacle located closest to the vehicle, which plays the most important role in the safe driving of the vehicle. there were.
【００１１】また同様の主旨で、従来の車両周辺監視装
置Ａでは、障害物は各々高さが異なるにも関わらず、ス
キャニング動作における探索範囲が固定（例えば、図中
の下端から上端までの全画素である９０画素固定）に設
定されていた。For the same purpose, in the conventional vehicle periphery monitoring device A, the search range in the scanning operation is fixed (for example, the entire range from the lower end to the upper end in the figure) despite the different heights of the obstacles. (Fixed to 90 pixels).
【００１２】この為、２つの障害物（一方が車両の近く
に存在する障害物Ａ、他方が障害物Ａよりも車両から遠
くに存在する障害物Ｂであって、高さが各々異なる２つ
の障害物）が含まれるステレオ画像に対して走査線（具
体的には、走査線０乃至走査線８）に沿ってスキャニン
グ動作をする場合、車両の一番近くに存在する障害物Ａ
の高さに応じて車両と障害物Ａとの間の視差を測定でき
る程度に探索範囲を限定して設定すれば十分であるにも
関わらず、常に固定の探索範囲（則ち、上端から下端ま
での９０画素）をスキャニングしてしまい、その結果、
車両の安全走行に最も重要な役割を果たす、車両の一番
近くに存在する障害物に対する車両−障害物間距離を運
転者に報知するまでに多くの時間を要してしまうという
技術的課題もあった。Therefore, there are two obstacles (one is an obstacle A near the vehicle, the other is an obstacle B farther from the vehicle than the obstacle A, and two obstacles having different heights are used. When a scanning operation is performed along a scan line (specifically, scan line 0 to scan line 8) on a stereo image including an obstacle, an obstacle A existing closest to the vehicle is detected.
Although it is sufficient to set the search range limited enough to measure the parallax between the vehicle and the obstacle A according to the height of the vehicle, the search range is always fixed (that is, from the upper end to the lower end). Up to 90 pixels). As a result,
There is also a technical problem that it takes a lot of time to notify a driver of a vehicle-obstacle distance to an obstacle located closest to the vehicle, which plays the most important role in safe driving of the vehicle. there were.
【００１３】図１８（ａ）は、図１６において、複数の
障害物が右画像中に存在する様子を示した図であり、図
１８（ｂ）は、図１６において、複数の障害物が左画像
中に存在する様子を示した図である。FIG. 18A is a view showing a state in which a plurality of obstacles are present in the right image in FIG. 16, and FIG. FIG. 5 is a diagram showing a state existing in an image.
【００１４】図１９（ａ）は、図１８において、複数の
障害物が右画像（左画像）中に存在する様子を示した図
であり、図１９（ｂ）は、右画像の特徴点に対応する左
画像の複数の特徴点を検出するスキャニング動作を実行
する様子を説明するための図である。FIG. 19A is a diagram showing a state in which a plurality of obstacles are present in the right image (left image) in FIG. 18, and FIG. 19B is a diagram showing the feature points of the right image. FIG. 14 is a diagram for explaining a state in which a scanning operation for detecting a plurality of feature points of a corresponding left image is performed.
【００１５】図２０は、図１９のスキャニング動作を実
行する際に、左画像において複数の特徴点が検出された
場合に、これらの特徴点と一方の画像における特徴点と
の画像相関関係を求めた結果を説明するための図であ
る。FIG. 20 shows a case where a plurality of feature points are detected in the left image when performing the scanning operation of FIG. FIG. 9 is a diagram for explaining the result.
【００１６】またこのような従来の車両周辺監視装置Ａ
では、図１８（ａ），（ｂ）に示すように、複数の障害
物（則ち、障害物ａ、障害物ｂ、及び路画面（５０［ｋ
ｍ／ｈ］の速度制限表示）の３つの障害物）が同時に画
像内に存在した状態でスキャニング動作を実行して画像
相関関係を求めた場合、障害物ｂについては走査線を共
有する障害物が存在しないため、相関値のディップは１
つとなり、その結果、正確に対応点を検出することがで
きる（図１９（ａ）及び（ｂ）参照）。Further, such a conventional vehicle periphery monitoring device A
Then, as shown in FIGS. 18A and 18B, a plurality of obstacles (that is, an obstacle a, an obstacle b, and a road screen (50 [k
m / h] of the speed limit display), the scanning operation is performed in a state where the three obstacles) are simultaneously present in the image, and the image correlation is obtained. Does not exist, the dip in the correlation value is 1
As a result, the corresponding point can be accurately detected (see FIGS. 19A and 19B).
【００１７】しかしながら、障害物ａについては、図１
９（ｂ）に示すような状態でスキャニング動作を実行し
て画像相関関係を求めた結果、複数の特徴点が検出され
た場合に、特徴点１が路画面（５０［ｋｍ／ｈ］）と第
１走査線を共有することに起因して、図２０に示すよう
に、第１走査線についての相関値に障害物ｂに関するデ
ィップと路画面に関するディップとの２つが検出されて
しまう。この結果、特徴点１に対応する対応点として路
画面上の対応点が誤って検出され、誤った障害物検出が
実行される可能性があった。However, regarding the obstacle a, FIG.
As a result of executing the scanning operation in the state shown in FIG. 9B and obtaining the image correlation, when a plurality of feature points are detected, the feature point 1 is set to the road screen (50 [km / h]). Due to the sharing of the first scanning line, as shown in FIG. 20, two dips relating to the obstacle b and the dip relating to the road screen are detected in the correlation value for the first scanning line. As a result, there is a possibility that a corresponding point on the road screen is erroneously detected as a corresponding point corresponding to the feature point 1, and erroneous obstacle detection is performed.
【００１８】本発明は、このような従来の問題点を解決
することを課題としており、特に、車両に所定距離だけ
離間して設置された左右２台の撮像手段に依り車両の周
辺における監視領域の左画像及び右画像を撮像し、得ら
れた左画像と右画像との視差に基づいて障害物と車両と
の間の距離を検知して監視領域を監視する車両周辺監視
装置において、左画像又は右画像に対して所定の走査線
間隔で実行されるスキャニング動作に応じて、左画像又
は右画像に含まれる障害物画像とスキャニング動作にお
ける走査線との交点である特徴点を抽出すると共に、左
画像又は右画像の何れか一方の特徴点に対応する左画像
又は右画像の他方の特徴点を対応点として検出するスキ
ャニング動作を実行する際に、最も近くに存在する障害
物と車両との距離に応じて、障害物と車両との間の距離
毎に予め求めておいた走査線と視差との関係式に、走査
線毎に各々求められた視差及び走査線の条件を代入する
ことに依り、関係式に基づいて障害物と車両との間の対
応点検出開始点を走査線毎に設定して探索範囲を求め、
更に、他方の画像において複数の特徴点が検出された場
合に、これらの特徴点と一方の画像における特徴点との
画像相関関係を求めて一方の画像の特徴点に対して最も
画像相関関係の強い他方の画像の特徴点を一方の画像の
特徴点に対応する他方の画像の対応点として選択し、一
方の画像の特徴点とこれに対応する対応点とに基づいて
特徴点毎の視差を求めることに依り、各障害物と車両と
の間の距離を各々検知して監視領域を監視するように構
成されている車両周辺監視装置に依り、複数の障害物が
同時に画像内の同一走査線上に存在した状態でスキャニ
ング動作を実行した場合であっても、正しい対応点を検
出して正しい障害物検出が実行することを課題としてい
る。An object of the present invention is to solve such a conventional problem. In particular, a monitoring area in the periphery of a vehicle is provided by two left and right image pickup means installed at a predetermined distance from the vehicle. In a vehicle periphery monitoring device that captures a left image and a right image of a vehicle and detects a distance between an obstacle and a vehicle based on parallax between the obtained left image and the right image to monitor a monitoring area, Or, according to a scanning operation performed at a predetermined scanning line interval for the right image, and extracting a feature point that is an intersection of an obstacle image included in the left image or the right image and a scanning line in the scanning operation, When performing a scanning operation for detecting the other feature point of the left image or the right image corresponding to one of the feature points of the left image or the right image as a corresponding point, the obstacle between the nearest obstacle and the vehicle distance Accordingly, by substituting the parallax and scanning line conditions obtained for each scanning line into the relational expression between the scanning line and the parallax obtained in advance for each distance between the obstacle and the vehicle, A search range is determined by setting a corresponding point detection start point between the obstacle and the vehicle for each scanning line based on the relational expression,
Further, when a plurality of feature points are detected in the other image, an image correlation between these feature points and a feature point in one image is obtained, and the image correlation of the feature point of one image is the highest. The feature point of the other strong image is selected as the corresponding point of the other image corresponding to the feature point of the one image, and the parallax for each feature point is determined based on the feature point of the one image and the corresponding point corresponding thereto. The plurality of obstacles are simultaneously detected on the same scan line in the image by the vehicle periphery monitoring device configured to monitor the monitoring area by detecting the distance between each obstacle and the vehicle. An object of the present invention is to detect a correct corresponding point and execute a correct obstacle detection even when a scanning operation is performed in a state where the scanning operation exists.
【００１９】更に、２つの障害物（一方が車両の近くに
存在する障害物、他方が障害物よりも車両から遠くに存
在する障害物Ｂ）が含まれるステレオ画像に対して走査
線に沿ってスキャニング動作をする場合、車両の一番近
くに存在する障害物に対して車両と障害物との間の視差
を測定できる程度に探索範囲を限定して設定することが
可能となり、その結果、車両の安全走行に最も重要な役
割を果たす、車両の一番近くに存在する障害物に対する
車両−障害物間距離を短時間で求めて運転者に迅速に報
知することを課題としている。Further, along a scan line for a stereo image including two obstacles (one obstacle near the vehicle and another obstacle B farther from the vehicle than the obstacle). When performing the scanning operation, it is possible to limit the search range to the extent that the parallax between the vehicle and the obstacle can be measured with respect to the obstacle existing closest to the vehicle, and as a result, the vehicle It is an object of the present invention to obtain a vehicle-to-obstacle distance for an obstacle existing closest to a vehicle, which plays the most important role in safe driving of a vehicle, in a short time, and promptly notify the driver.
【００２０】また、左画像又は右画像に対して所定の走
査線間隔で実行されるスキャニング動作に応じて、左画
像又は右画像に含まれる障害物画像とスキャニング動作
における走査線との交点である特徴点を抽出する工程
と、前工程に続いて、左画像又は右画像の何れか一方の
特徴点に対応する左画像又は右画像の他方の特徴点を対
応点として検出するスキャニング動作を実行する工程に
おいて、最も近くに存在する障害物と車両との距離に応
じて、障害物と車両との間の距離毎に予め求めておいた
走査線と視差との関係式に、走査線毎に各々求められた
視差及び走査線の条件を代入する工程と、前工程に続い
て、関係式に基づいて障害物と車両との間の対応点検出
開始点を走査線毎に設定して探索範囲を求める工程を有
し、更に、他方の画像において複数の特徴点が検出され
た場合に、これらの特徴点と一方の画像における特徴点
との画像相関関係を求めて一方の画像の特徴点に対して
最も画像相関関係の強い他方の画像の特徴点を一方の画
像の特徴点に対応する他方の画像の対応点として選択す
る工程と、前工程に続いて、一方の画像の特徴点とこれ
に対応する対応点とに基づいて特徴点毎の視差を求める
工程とに依り、各障害物と車両との間の距離を各々検知
して監視領域を監視する障害物検出方法に依り、複数の
障害物が同時に画像内の同一走査線上に存在した状態で
スキャニング動作を実行した場合であっても、正しい対
応点を検出して正しい障害物検出を実行することを課題
としている。In addition, according to the scanning operation performed at a predetermined scanning line interval on the left image or the right image, the intersection point between the obstacle image included in the left image or the right image and the scanning line in the scanning operation. Following the step of extracting feature points and the preceding step, a scanning operation for detecting the other feature point of the left image or the right image corresponding to one of the feature points of the left image or the right image as a corresponding point is performed. In the process, according to the distance between the nearest obstacle and the vehicle, the relational expression between the scanning line and the parallax determined in advance for each distance between the obstacle and the vehicle, each for each scanning line Substituting the determined parallax and scanning line conditions, and following the previous step, setting a corresponding point detection start point between the obstacle and the vehicle for each scanning line based on a relational expression to set a search range. And the other image In the case where a plurality of feature points are detected in, the image correlation between these feature points and the feature points in one image is obtained, and the other image having the strongest image correlation with the feature point in one image is obtained. Selecting a feature point as a corresponding point of the other image corresponding to a feature point of the one image; and, following the previous step, for each feature point based on the feature point of the one image and the corresponding point corresponding thereto. A plurality of obstacles are present on the same scanning line in the image at the same time, according to an obstacle detection method of detecting a distance between each obstacle and the vehicle and monitoring a monitoring area. An object of the present invention is to detect a correct corresponding point and execute a correct obstacle detection even when a scanning operation is performed in a state where the scanning operation is performed.
【００２１】更に、２つの障害物（一方が車両の近くに
存在する障害物、他方が障害物よりも車両から遠くに存
在する障害物Ｂ）が含まれるステレオ画像に対して走査
線に沿ってスキャニング動作をする場合、車両の一番近
くに存在する障害物に対して車両と障害物との間の視差
を測定できる程度に探索範囲を限定して設定することが
可能となり、その結果、車両の安全走行に最も重要な役
割を果たす、車両の一番近くに存在する障害物に対する
車両−障害物間距離を短時間で求めて運転者に迅速に報
知することを課題としている。Further, along a scan line, a stereo image including two obstacles (one obstacle near the vehicle and the other obstacle B farther from the vehicle than the obstacle) is included. When performing the scanning operation, it is possible to limit the search range to an extent that can measure the parallax between the vehicle and the obstacle with respect to the obstacle existing closest to the vehicle, and as a result, the vehicle It is an object of the present invention to obtain a vehicle-to-obstacle distance for an obstacle existing closest to a vehicle, which plays the most important role in safe driving of a vehicle, in a short time, and promptly notify the driver.
【００２２】また、左画像又は右画像に対して所定の走
査線間隔で実行されるスキャニング動作に応じて、左画
像又は右画像に含まれる障害物画像とスキャニング動作
における走査線との交点である特徴点を抽出するプログ
ラムステップと、前プログラムステップに続いて、左画
像又は右画像の何れか一方の特徴点に対応する左画像又
は右画像の他方の特徴点を対応点として検出するスキャ
ニング動作を実行するプログラムステップにおいて、最
も近くに存在する障害物と車両との距離に応じて、障害
物と車両との間の距離毎に予め求めておいた走査線と視
差との関係式に、走査線毎に各々求められた視差及び走
査線の条件を代入するプログラムステップと、前プログ
ラムステップに続いて、関係式に基づいて障害物と車両
との間の対応点検出開始点を走査線毎に設定して探索範
囲を求めるプログラムステップを有し、更に、他方の画
像において複数の特徴点が検出された場合に、これらの
特徴点と一方の画像における特徴点との画像相関関係を
求めて一方の画像の特徴点に対して最も画像相関関係の
強い他方の画像の特徴点を一方の画像の特徴点に対応す
る他方の画像の対応点として選択するプログラムステッ
プと、前プログラムステップに続いて、一方の画像の特
徴点とこれに対応する対応点とに基づいて特徴点毎の視
差を求めるプログラムステップとに依り、複数の障害物
が同時に画像内の同一走査線上に存在した状態でスキャ
ニング動作を実行した場合であっても、正しい対応点を
検出して正しい障害物検出が実行することを課題として
いる。In addition, in accordance with a scanning operation performed at a predetermined scanning line interval on the left image or the right image, the intersection point between an obstacle image included in the left image or the right image and a scanning line in the scanning operation. Following the previous program step and a program step of extracting a feature point, a scanning operation of detecting the other feature point of the left image or the right image corresponding to one of the left image or the right image as a corresponding point. In the program steps to be executed, the relation between the scanning line and the parallax obtained in advance for each distance between the obstacle and the vehicle, according to the distance between the closest obstacle and the vehicle, A program step for substituting the parallax and scanning line conditions determined for each of the steps, and a correspondence check between the obstacle and the vehicle based on the relational expression following the previous program step. A program step of setting a start point for each scanning line to obtain a search range, and further, when a plurality of feature points are detected in the other image, the feature point and the feature point in one image are detected. A program step of determining an image correlation and selecting a feature point of the other image having the strongest image correlation with respect to a feature point of the one image as a corresponding point of the other image corresponding to the feature point of the one image; Following the previous program step, a plurality of obstacles are simultaneously placed on the same scan line in the image by a program step of obtaining a parallax for each feature point based on the feature point of one image and the corresponding point corresponding thereto. It is an object of the present invention to detect a correct corresponding point and execute correct obstacle detection even when a scanning operation is performed in a state where the scanning operation exists.
【００２３】更に、２つの障害物（一方が車両の近くに
存在する障害物、他方が障害物よりも車両から遠くに存
在する障害物Ｂ）が含まれるステレオ画像に対して走査
線に沿ってスキャニング動作をする場合、車両の一番近
くに存在する障害物に対して車両と障害物との間の視差
を測定できる程度に探索範囲を限定して設定することが
可能となり、その結果、車両の安全走行に最も重要な役
割を果たす、車両の一番近くに存在する障害物に対する
車両−障害物間距離を短時間で求めて運転者に迅速に報
知することを課題としている。Further, a stereo image including two obstacles (one obstacle near the vehicle and the other obstacle B farther from the vehicle than the obstacle) is scanned along a scanning line. When performing the scanning operation, it is possible to limit the search range to an extent that can measure the parallax between the vehicle and the obstacle with respect to the obstacle existing closest to the vehicle, and as a result, the vehicle It is an object of the present invention to obtain a vehicle-to-obstacle distance for an obstacle existing closest to a vehicle, which plays the most important role in safe driving of a vehicle, in a short time, and promptly notify the driver.
【００２４】[0024]
【課題を解決するための手段】請求項１に記載の発明
は、車両１１に所定距離Ｌだけ離間して設置された左右
２台の撮像手段に依り車両１１の周辺における監視領域
１２内の障害物１４を含む左画像及び右画像を撮像し、
得られた左画像と右画像との視差Ｐｒｌｘに基づいてこ
の障害物１４と車両１１との間の距離Ｌを検知して監視
領域１２を監視する車両周辺監視装置１０において、前
記左画像又は右画像に対して所定の走査線Ｓｃｎ_k(0≦
k≦m，k,mは整数)間隔で実行されるスキャニング動作に
応じて、左画像又は右画像に含まれる少なくとも１つ以
上の障害物１４の画像と前記スキャニング動作における
各走査線Ｓｃｎ_k(0≦k≦m，k,mは整数)との交点である
特徴点Ｐ_i(０≦i≦n，i,nは整数)を抽出すると共に、
前記左画像又は右画像の何れか一方の前記特徴点Ｐ_i
(０≦i≦n，i,nは整数)に対応する当該左画像又は右画
像の他方の前記特徴点Ｐ_i(０≦i≦n，i,nは整数)を対
応点Ｑ_i(0≦i≦n，i,nは整数)として検出する前記スキ
ャニング動作を実行する際に当該他方の画像において複
数の前記特徴点Ｐ_i(０≦i≦n，i,nは整数)が検出され
た場合に、これらの特徴点Ｐ_i(０≦i≦n，i,nは整数)
と当該一方の画像における特徴点Ｐ_i(０≦i≦n，i,nは
整数)との画像相関関係を求め、当該一方の画像の特徴
点Ｐ_i(０≦i≦n，i,nは整数)に対して最も画像相関関
係の強い当該他方の画像の特徴点Ｐ_i(０≦i≦n，i,nは
整数)を当該一方の画像の特徴点Ｐ_i(０≦i≦n，i,nは
整数)に対応する当該他方の画像の対応点Ｑ_i(0≦i≦
n，i,nは整数)として選択し、当該一方の画像の特徴点
Ｐ_i(０≦i≦n，i,nは整数)とこれに対応する当該対応
点Ｑ_i(0≦i≦n，i,nは整数)とに基づいて当該特徴点Ｐ
_i(０≦i≦n，i,nは整数)毎の視差Ｐｒｌｘを求めるこ
とに依り、各障害物１４と車両１１との間の距離Ｌを各
々検知して監視領域１２を監視するように構成されてい
る、ことを特徴とする車両周辺監視装置１０である。According to a first aspect of the present invention, there is provided an image processing apparatus in which an obstacle in a monitoring area in the vicinity of a vehicle is determined by two left and right imaging means installed at a predetermined distance from the vehicle. Capturing a left image and a right image including the object 14,
In the vehicle periphery monitoring device 10 that detects the distance L between the obstacle 14 and the vehicle 11 based on the obtained parallax Prlx between the left image and the right image and monitors the monitoring area 12, the left image or the right A predetermined scanning line Scn_k (0 ≦
According to the scanning operation performed at intervals of k ≦ m, k, and m are at least one image of at least one obstacle 14 included in the left image or the right image, and each scanning line Scn_k (0) in the scanning operation. A feature point P_i (0 ≦ i ≦ n, i, n is an integer) which is an intersection with ≦ k ≦ m, k, m is an integer is extracted,
The feature point P_i of one of the left image and the right image
(0 ≦ i ≦ n, i, n is an integer) and the other feature point P_i (0 ≦ i ≦ n, i, n is an integer) of the left image or the right image corresponding to the corresponding point Q_i (0 ≦ i ≦ n, i, n are integers) When executing the scanning operation to detect as the plurality of feature points P_i (0 ≦ i ≦ n, i, n are integers) in the other image, , These characteristic points P_i (0 ≦ i ≦ n, i, n are integers)
And the feature point P_i (0 ≦ i ≦ n, i, n is an integer) in the one image is obtained, and the feature point P_i (0 ≦ i ≦ n, i, n is an integer) of the one image is obtained. ), The feature point P_i (0 ≦ i ≦ n, i, n is an integer) of the other image having the strongest image correlation is used as the feature point P_i (0 ≦ i ≦ n, i, n) of the one image. Corresponding to the corresponding point Q_i (0 ≦ i ≦
n, i, n are integers), and the feature point P_i (0 ≦ i ≦ n, i, n is an integer) of the one image and the corresponding point Q_i (0 ≦ i ≦ n, i) corresponding thereto are selected. , n is an integer).
_i (0 ≦ i ≦ n, where i and n are integers) are determined so as to monitor the monitoring area 12 by detecting the distance L between each obstacle 14 and the vehicle 11 by determining the parallax Prlx for each. The vehicle periphery monitoring device 10 is configured as described above.
【００２５】なお、本発明において、車両１１とは運転
者や作業者自らが操作している車両１１を意味する。ま
た、車両１１の周辺における監視領域１２とは、特に、
車両１１の後尾近傍領域や側方近傍領域等の運転者が視
認し難い死角領域を意味するものであって、例えば、バ
ス車両１１がバックするときに、ルームミラーやサイド
ミラーで確認し難い後尾近傍領域や側方近傍領域を意味
する。また、障害物１４とは、車両１１の走行時に接触
しては問題となるような対象物を意味するものであっ
て、例えば、後方近傍の自車両１１走行予想軌跡の範囲
内に存在する通行人や建造物等を意味するものである。In the present invention, the vehicle 11 means the vehicle 11 operated by the driver or the operator himself. In addition, the monitoring area 12 around the vehicle 11 particularly
It means a blind spot area such as a rear area near the vehicle 11 or a side area near the driver, which is difficult for the driver to visually recognize. It means the neighborhood area or the side neighborhood area. The obstacle 14 means an object that may cause a problem when the vehicle 11 travels. It means people and buildings.
【００２６】請求項１に記載の発明に依れば、複数の障
害物１４，…，１４が同時に画像内の同一走査線Ｓｃｎ
_k(0≦k≦m，k,mは整数)上に存在した状態でスキャニン
グ動作を実行した場合であっても、特徴点Ｐ_i(０≦i≦
n，i,nは整数)に対して最も画像相関関係の強い当該他
方の画像の特徴点Ｐ_i(０≦i≦n，i,nは整数)を対応点
Ｑ_i(0≦i≦n，i,nは整数)として選択して、正しい対応
点Ｑ_i(0≦i≦n，i,nは整数)を検出できるようになり、
その結果、正しい障害物検出が実行できるようになる。According to the first aspect of the present invention, a plurality of obstacles 14,..., 14 are simultaneously scanned in the same scanning line Scn in an image.
_k (0 ≦ k ≦ m, where k and m are integers), even if the scanning operation is performed, the feature point P_i (0 ≦ i ≦
A feature point P_i (0 ≦ i ≦ n, i, n is an integer) of the other image having the strongest image correlation with respect to n, i, n is an integer) and a corresponding point Q_i (0 ≦ i ≦ n, i) , n are integers), so that the correct corresponding point Q_i (0 ≦ i ≦ n, i, n is an integer) can be detected,
As a result, correct obstacle detection can be performed.
【００２７】請求項２に記載の発明は、請求項１に記載
の車両周辺監視装置１０において、各障害物１４に対し
て前記スキャニング動作を実行する際に、当該障害物１
４上の前記特徴点Ｐ_i(０≦i≦n，i,nは整数)と同一走
査線Ｓｃｎ_k(0≦k≦m，k,mは整数)上において前記対応
点Ｑ_i(0≦i≦n，i,nは整数)を探索するためのスキャニ
ング範囲である探索範囲Ｓｃｎ_rngを当該各障害物１４
と車両１１との距離Ｌに応じて最も短くなるように選択
し、当該特徴点Ｐ_i(０≦i≦n，i,nは整数)及び当該最
短の探索範囲Ｓｃｎ_rngを用いて当該各障害物１４に対
するスキャニング動作を各々実行して前記対応点Ｑ_i(0
≦i≦n，i,nは整数)を検出すると共に、当該検出した前
記各対応点Ｑ_i(0≦i≦n，i,nは整数)に基づいて当該特
徴点Ｐ_i(０≦i≦n，i,nは整数)毎の視差Ｐｒｌｘを求
めることに依り、各障害物１４と車両１１との間の距離
Ｌを各々検知して監視領域１２を監視するように構成さ
れている、ことを特徴とする車両周辺監視装置１０であ
る。According to a second aspect of the present invention, in the vehicle surroundings monitoring apparatus according to the first aspect, when the scanning operation is performed on each of the obstacles, the obstacles are detected by the first obstacle.
4 and the corresponding point Q_i (0 ≦ i ≦ n) on the same scanning line Scn_k (0 ≦ k ≦ m, k, m is an integer) on the feature point P_i (0 ≦ i ≦ n, i, n is an integer). , I, n are integers), a search range Scn_rng which is a scanning range for searching for each obstacle 14
Is selected so as to be the shortest in accordance with the distance L between the vehicle and the vehicle 11, and using the feature point P_i (0 ≦ i ≦ n, i and n are integers) and the shortest search range Scn_rng, the respective obstacles 14 are selected. Are respectively performed to perform the scanning operation on the corresponding points Q_i (0
≤ i ≤ n, i, n are integers, and based on the detected corresponding points Q_i (0 ≤ i ≤ n, i, n are integers), the corresponding feature points P_i (0 ≤ i ≤ n) , I, n are integers), the distance L between each obstacle 14 and the vehicle 11 is detected and the monitoring area 12 is monitored by obtaining the parallax Prlx. It is a vehicle periphery monitoring device 10 which is a feature.
【００２８】請求項２に記載の発明に依れば、請求項１
に記載の効果に加えて、最も近くに存在する障害物１４
と車両１１との距離Ｌに応じて探索範囲Ｓｃｎ_rngを最
も短くなるように選択することに依って、車両１１から
の距離Ｌが各々異なる複数の障害物１４，…，１４（例
えば、一方が車両１１の近くに存在する障害物１４、他
方が障害物１４よりも車両１１から遠くに存在する障害
物１４）が含まれるステレオ画像に対して走査線Ｓｃｎ
_k(0≦k≦m，k,mは整数)に沿ってスキャニング動作をす
る場合、車両１１の一番近くに存在する障害物１４に対
して車両１１と障害物１４との間の視差Ｐｒｌｘを測定
できる程度に探索範囲Ｓｃｎ_rngを限定して設定するこ
とが運転者の手を煩わせることなく可能となり、その結
果、車両１１の安全走行に最も重要な役割を果たす、車
両１１の一番近くに存在する障害物１４に対する車両１
１−障害物１４間距離Ｌを短時間で求めて運転者に迅速
に報知することが可能となる効果を奏する。According to the invention described in claim 2, according to claim 1
In addition to the effects described above, the nearest obstacle 14
By selecting the search range Scn_rng to be the shortest according to the distance L between the vehicle 11 and the vehicle 11, a plurality of obstacles 14,... The scanning line Scn is provided for a stereo image including an obstacle 14 near the obstacle 11 and an obstacle 14) on the other side of the vehicle 11 farther than the obstacle 14.
When performing a scanning operation along _k (0 ≦ k ≦ m, where k and m are integers), a parallax Prlx between the vehicle 11 and the obstacle 14 with respect to the obstacle 14 existing closest to the vehicle 11 Can be set so as to limit the search range Scn_rng to such an extent that the vehicle can be measured, and as a result, the closest role to the vehicle 11, which plays the most important role in the safe driving of the vehicle 11, can be achieved. 1 for obstacle 14 existing in
There is an effect that the distance L between the 1-obstacle 14 can be obtained in a short time and the driver can be quickly notified.
【００２９】この結果、障害物１４と車両１１との距離
Ｌの判断、及びこれらの判断に基づく障害物回避行動等
の車両周辺監視作業における運転者の労力を軽減するこ
とが可能となり、運転者が車両１１の操作に専念できる
ようになるといった効果を奏する。As a result, it is possible to reduce the driver's labor in determining the distance L between the obstacle 14 and the vehicle 11 and monitoring the surroundings of the vehicle such as avoiding an obstacle based on the determination. Can concentrate on the operation of the vehicle 11.
【００３０】更に、従来に比較して障害物１４を早期且
つ的確に発見でき、障害物１４の発見の早期警報が可能
となり、故に、早期且つ的確な障害物回避行動が実行可
能となるといった効果を奏する。Further, as compared with the conventional art, the obstacle 14 can be found earlier and more accurately, and an early warning of the finding of the obstacle 14 can be made. Therefore, an earlier and more accurate obstacle avoiding action can be executed. To play.
【００３１】請求項３に記載の発明は、請求項１又は２
に記載の車両周辺監視装置１０において、最も近くに存
在する障害物１４に対して前記スキャニング動作を実行
する際に、当該障害物１４上の前記特徴点Ｐ_i(０≦i≦
n，i,nは整数)と同一走査線Ｓｃｎ_k(0≦k≦m，k,mは整
数)上において前記対応点Ｑ_i(0≦i≦n，i,nは整数)を
探索するためのスキャニング範囲である探索範囲Ｓｃｎ
_rngを当該各障害物１４と車両１１との距離Ｌに応じて
最も短くなるように選択し、当該特徴点Ｐ_i(０≦i≦
n，i,nは整数)及び当該最短の探索範囲Ｓｃｎ_rngを用
いて当該各障害物１４に対するスキャニング動作を各々
実行して前記対応点Ｑ_i(0≦i≦n，i,nは整数)を検出す
ると共に、当該検出した前記各対応点Ｑ_i(0≦i≦n，i,
nは整数)に基づいて当該特徴点Ｐ_i(０≦i≦n，i,nは整
数)毎の視差Ｐｒｌｘを求めることに依り、各障害物１
４と車両１１との間の距離Ｌを各々検知して監視領域１
２を監視するように構成されている、ことを特徴とする
車両周辺監視装置１０である。The third aspect of the present invention is the first or second aspect.
In performing the scanning operation on the nearest obstacle 14 in the vehicle surroundings monitoring device 10 according to the above, the feature point P_i (0 ≦ i ≦
n, i, n are integers and the same scanning line Scn_k (0 ≦ k ≦ m, k, m is an integer) for searching for the corresponding point Q_i (0 ≦ i ≦ n, i, n is an integer). Search range Scn which is the scanning range
_rng is selected to be the shortest according to the distance L between each obstacle 14 and the vehicle 11, and the corresponding feature point P_i (0 ≦ i ≦
Using the shortest search range Scn_rng and the shortest search range Scn_rng, the scanning operation for each of the obstacles 14 is executed to detect the corresponding point Q_i (0 ≦ i ≦ n, i, n is an integer). And the corresponding corresponding points Q_i (0 ≦ i ≦ n, i,
By obtaining the parallax Prlx for each feature point P_i (0 ≦ i ≦ n, i, n is an integer) based on n is an integer, each obstacle 1
The distance L between the vehicle 4 and the vehicle 11 is detected and the monitoring area 1 is detected.
2 is a vehicle periphery monitoring device 10 configured to monitor the vehicle periphery 2.
【００３２】請求項３に記載の発明に依れば、請求項１
又は２に記載の効果に加えて、最も近くに存在する障害
物１４と車両１１との距離Ｌに応じて走査線Ｓｃｎ_k(0
≦k≦m，k,mは整数)毎に探索範囲Ｓｃｎ_rngを最も短く
なるように選択することに依って、車両１１からの距離
Ｌが各々異なる複数の障害物１４，…，１４（例えば、
一方が車両１１の近くに存在する障害物１４、他方が障
害物１４よりも車両１１から遠くに存在する障害物１
４）が含まれるステレオ画像に対して走査線Ｓｃｎ_k(0
≦k≦m，k,mは整数)に沿ってスキャニング動作をする場
合、車両１１の一番近くに存在する障害物１４に対して
車両１１と障害物１４との間の視差Ｐｒｌｘを測定でき
る程度に探索範囲Ｓｃｎ_rngを走査線Ｓｃｎ_k(0≦k≦
m，k,mは整数)毎に限定して設定することが運転者の手
を煩わせることなく可能となり、その結果、車両１１の
安全走行に最も重要な役割を果たす、車両１１の一番近
くに存在する障害物１４に対する車両１１−障害物１４
間距離Ｌを短時間で求めて運転者に更に迅速に報知する
ことが可能となる効果を奏する。According to the invention described in claim 3, according to claim 1
Or the scanning line Scn_k (0) according to the distance L between the nearest obstacle 14 and the vehicle 11 in addition to the effect described in 2.
By selecting the search range Scn_rng to be the shortest for each ≦ k ≦ m, where k and m are integers, a plurality of obstacles 14,.
One of the obstacles 14 exists near the vehicle 11, and the other one of the obstacles 1 exists farther from the vehicle 11 than the obstacle 14.
The scanning line Scn_k (0)
≦ k ≦ m, where k and m are integers), the parallax Prlx between the vehicle 11 and the obstacle 14 can be measured with respect to the obstacle 14 existing closest to the vehicle 11. The search range Scn_rng to the scan line Scn_k (0 ≦ k ≦
m, k, and m are integers), and can be set without any trouble of the driver. As a result, the most important role of the vehicle 11 that plays the most important role Vehicle 11-obstacle 14 for nearby obstacle 14
There is an effect that the distance L can be obtained in a short time and the driver can be notified more quickly.
【００３３】請求項４に記載の発明は、請求項２又は３
に記載の車両周辺監視装置１０において、左画像又は右
画像の何れか一方における各特徴点Ｐ_i(０≦i≦n，i,n
は整数)に対応する当該左画像又は右画像の他方の前記
特徴点Ｐ_i(０≦i≦n，i,nは整数)を前記対応点Ｑ_i(0
≦i≦n，i,nは整数)として各々検出するための前記スキ
ャニング範囲である最短の探索範囲Ｓｃｎ_rngの選択が
走査線Ｓｃｎ_k(0≦k≦m，k,mは整数)毎に実行されて当
該走査線Ｓｃｎ_k(0≦k≦m，k,mは整数)毎に選択された
最短の探索範囲Ｓｃｎ_rng内で当該対応点Ｑ_i(0≦i≦
n，i,nは整数)を検出することに依って、当該特徴点Ｐ_
i(０≦i≦n，i,nは整数)及び当該最短の探索範囲Ｓｃｎ
_rngを用いて検出した対応点Ｑ_i(0≦i≦n，i,nは整数)
に基づいて視差Ｐｒｌｘを求めるように構成されてい
る、ことを特徴とする車両周辺監視装置１０である。The invention described in claim 4 is the invention according to claim 2 or 3
In the vehicle periphery monitoring device 10 described in above, each feature point P_i (0 ≦ i ≦ n, i, n) in either the left image or the right image
The other characteristic point P_i (0 ≦ i ≦ n, i, n is an integer) of the left image or the right image corresponding to the corresponding point Q_i (0
Selection of the shortest search range Scn_rng, which is the scanning range for detection as ≤i≤n, i, n is an integer, is executed for each scanning line Scn_k (0≤k≤m, k, m are integers). The corresponding point Q_i (0 ≦ i ≦ 0) within the shortest search range Scn_rng selected for each scanning line Scn_k (0 ≦ k ≦ m, where k and m are integers)
n, i, and n are integers) to detect the feature point P_
i (0 ≦ i ≦ n, i, n is an integer) and the shortest search range Scn
Corresponding point Q_i detected using _rng (0 ≦ i ≦ n, i, n are integers)
The vehicle surroundings monitoring device 10 is configured to calculate the parallax Prlx based on the following.
【００３４】請求項４に記載の発明に依れば、請求項２
又は３と同様の効果を奏する。According to the invention described in claim 4, according to claim 2,
Or, the same effect as 3 can be obtained.
【００３５】請求項５に記載の発明は、請求項１乃至４
のいずれか一項に記載の車両周辺監視装置１０におい
て、前記視差Ｐｒｌｘを前記走査線Ｓｃｎ_k(0≦k≦m，
k,mは整数)毎に各々求めると共に、当該求められた視差
Ｐｒｌｘに基づいて障害物１４と車両１１との間の距離
Ｌを当該走査線Ｓｃｎ_k(0≦k≦m，k,mは整数)毎に検知
するように構成されている、ことを特徴とする車両周辺
監視装置１０である。The fifth aspect of the present invention provides the first to fourth aspects.
In the vehicle surroundings monitoring device 10 according to any one of the above, the parallax Prlx is set to the scanning line Scn_k (0 ≦ k ≦ m,
k and m are integers, and the distance L between the obstacle 14 and the vehicle 11 is determined based on the determined parallax Prlx by the scanning line Scn_k (0 ≦ k ≦ m, k, m are integers). ) Is configured to detect each of the vehicle periphery monitoring devices.
【００３６】請求項５に記載の発明に依れば、請求項１
乃至４のいずれか一項に記載の効果と同様の効果を奏す
る。According to the invention described in claim 5, according to claim 1,
The same effects as the effects described in any one of (4) to (4) are achieved.
【００３７】請求項６に記載の発明は、請求項５に記載
の車両周辺監視装置１０において、前記走査線Ｓｃｎ_k
(0≦k≦m，k,mは整数)毎に検知した距離Ｌに基づいて、
監視領域１２内に存在する障害物１４の中から、車両１
１の走行方向の監視領域１２に対して最も車両１１に近
い位置に存在する障害物１４を指定するように構成され
ている、ことを特徴とする車両周辺監視装置１０であ
る。According to a sixth aspect of the present invention, in the vehicle periphery monitoring device 10 according to the fifth aspect, the scanning line Scn_k
(0 ≦ k ≦ m, where k and m are integers) based on the distance L detected
From the obstacles 14 existing in the monitoring area 12, the vehicle 1
The vehicle periphery monitoring device 10 is configured to designate an obstacle 14 located closest to the vehicle 11 with respect to a monitoring region 12 in one traveling direction.
【００３８】請求項６に記載の発明に依れば、請求項５
に記載の効果と同様の効果を奏する。According to the invention described in claim 6, according to claim 5,
The same effect as the effect described in (1) is obtained.
【００３９】請求項７に記載の発明は、請求項５又は６
に記載の車両周辺監視装置１０において、前記スキャニ
ング動作において、障害物１４と車両１１との間の距離
Ｌ毎に予め求めておいた前記走査線Ｓｃｎ_k(0≦k≦m，
k,mは整数)と視差Ｐｒｌｘとの関係式ｆｎｃに、前記走
査線Ｓｃｎ_k(0≦k≦m，k,mは整数)毎に各々求められた
視差Ｐｒｌｘ及び当該走査線Ｓｃｎ_k(0≦k≦m，k,mは
整数)の条件を代入することに依り、当該関係式ｆｎｃ
に基づいて障害物１４と車両１１との間の距離Ｌを当該
走査線Ｓｃｎ_k(0≦k≦m，k,mは整数)毎に検知するよう
に構成されている、ことを特徴とする車両周辺監視装置
１０である。The invention described in claim 7 is the invention according to claim 5 or 6.
In the vehicle surroundings monitoring device 10 described in the above, in the scanning operation, the scanning line Scn_k (0 ≦ k ≦ m, obtained in advance for each distance L between the obstacle 14 and the vehicle 11).
In a relational expression fnc between k and m is an integer) and the parallax Prlx, the parallax Prlx and the scanning line Scn_k (0 ≦ k) respectively obtained for each of the scanning lines Scn_k (0 ≦ k ≦ m, k, and m are integers). ≦ m, k, m are integers), the relational expression fnc
The distance L between the obstacle 14 and the vehicle 11 is detected for each scanning line Scn_k (0 ≦ k ≦ m, where k and m are integers) based on The peripheral monitoring device 10.
【００４０】請求項７に記載の発明に依れば、請求項５
又は６に記載の効果に加えて、障害物１４と車両１１と
の間の距離Ｌ毎に予め求めておいた走査線Ｓｃｎ_k(0≦
k≦m，k,mは整数)と視差Ｐｒｌｘとの関係式ｆｎｃを用
いることに依り、探索範囲Ｓｃｎ_rngを走査線Ｓｃｎ_k
(0≦k≦m，k,mは整数)毎に最も短くなるように選択する
ことが的確且つ簡便に実現でき、装置規模を小さくで
き、更に、装置コストを低減することができるといった
効果を奏する。According to the invention of claim 7, according to claim 5,
Or in addition to the effect described in 6, the scanning line Scn_k (0 ≦ 1) obtained in advance for each distance L between the obstacle 14 and the vehicle 11.
By using the relational expression fnc between k ≦ m, k, and m are integers) and the parallax Prlx, the search range Scn_rng is changed to the scanning line Scn_k.
(0 ≦ k ≦ m, where k and m are integers) can be accurately and easily selected to be the shortest, and the apparatus scale can be reduced and the apparatus cost can be reduced. Play.
【００４１】この結果、障害物１４と車両１１との距離
Ｌの判断を関係式ｆｎｃを用いて客観的に判定できるの
で、運転者の個人差や判断の再現性のばらつきを回避で
き、更に、これらの判断に基づく障害物回避行動等の車
両周辺監視作業における運転者の労力を軽減することが
可能となり、運転者が車両１１の操作に専念できるよう
になるといった効果を奏する。As a result, the determination of the distance L between the obstacle 14 and the vehicle 11 can be objectively determined using the relational expression fnc, so that it is possible to avoid individual differences among drivers and variations in the reproducibility of the determination. It is possible to reduce the driver's labor in the vehicle periphery monitoring work such as the obstacle avoidance action based on these determinations, so that the driver can concentrate on the operation of the vehicle 11.
【００４２】更に、従来に比較して障害物１４を早期且
つ的確に発見でき、障害物１４の発見の早期警報が可能
となり、故に、早期且つ的確な障害物回避行動が実行可
能となるといった効果を奏する。Furthermore, the obstacle 14 can be found earlier and more accurately than in the past, and an early warning of the finding of the obstacle 14 can be made. Therefore, an earlier and more accurate obstacle avoiding action can be performed. To play.
【００４３】請求項８に記載の発明は、請求項５乃至７
のいずれか一項に記載の車両周辺監視装置１０におい
て、前記スキャニング動作において次の走査線Ｓｃｎ_k
(0≦k≦m，k,mは整数)上で前記特徴点Ｐ_i(０≦i≦n，
i,nは整数)が抽出されて前記対応点Ｑ_i(0≦i≦n，i,n
は整数)の抽出が実行される際に、直前までの走査線Ｓ
ｃｎ_l（１≦ｌ≦m，l,mは整数）毎に求められている距
離Ｌの中から最短距離Ｌ_minに対応する前記関係式ｆｎ
ｃを選択すると共に、当該選択した関係式ｆｎｃと当該
次走査線Ｓｃｎ_k(0≦k≦m，k,mは整数)との関係の基づ
いて当該次走査線Ｓｃｎ_k(0≦k≦m，k,mは整数)に対す
る前記対応点Ｑ_i(0≦i≦n，i,nは整数)の対応点検出開
始点Ｓｃｎ_strt、及び当該対応点検出開始点Ｓｃｎ_st
rtを始点とする前記探索範囲Ｓｃｎ_rngを求めるように
構成されている、ことを特徴とする車両周辺監視装置１
０である。The invention described in claim 8 is the invention according to claims 5 to 7
In the vehicle periphery monitoring device 10 according to any one of the above, in the scanning operation, the next scanning line Scn_k
(0 ≦ k ≦ m, k and m are integers) on the feature point P_i (0 ≦ i ≦ n,
i, n are integers, and the corresponding point Q_i (0 ≦ i ≦ n, i, n
Is an integer), the scanning line S up to immediately before is extracted.
cn_l (1 ≦ l ≦ m, where l and m are integers), the relational expression fn corresponding to the shortest distance L_min from the distances L obtained.
c, and based on the relationship between the selected relational expression fnc and the next scanning line Scn_k (0 ≦ k ≦ m, k and m are integers), the next scanning line Scn_k (0 ≦ k ≦ m, k , m are integers), the corresponding point detection start point Scn_strt of the corresponding point Q_i (0 ≦ i ≦ n, i, n is an integer) and the corresponding point detection start point Scn_st
The vehicle periphery monitoring device 1 is configured to obtain the search range Scn_rng starting from rt.
0.
【００４４】請求項８に記載の発明に依れば、請求項５
乃至７のいずれか一項に記載の効果に加えて、直前まで
の走査線Ｓｃｎ_l（１≦ｌ≦m，l,mは整数）毎に求めら
れている距離Ｌの中から最短距離Ｌ_minに対応する関係
式ｆｎｃを用いることに依り、探索範囲Ｓｃｎ_rngを走
査線Ｓｃｎ_k(0≦k≦m，k,mは整数)毎に最も短くなるよ
うに選択することが的確且つ簡便に実現でき、装置規模
を小さくでき、更に、装置コストを低減することができ
るといった効果を奏する。According to the invention described in claim 8, according to claim 5,
8. In addition to the effects described in any one of the above items 7, the distance L corresponds to the shortest distance L_min from the distances L obtained for each immediately preceding scanning line Scn_1 (1 ≦ l ≦ m, where l and m are integers) By using the relational expression fnc, it is possible to accurately and easily select the search range Scn_rng so as to be the shortest for each scanning line Scn_k (0 ≦ k ≦ m, where k and m are integers). And the cost of the apparatus can be reduced.
【００４５】この結果、障害物１４と車両１１との距離
Ｌの判断を関係式ｆｎｃを用いて動的且つ客観的に判定
できるので、運転者の個人差や判断の再現性のばらつき
を回避でき、更に、これらの判断に基づく迅速な障害物
回避行動等の車両周辺監視作業における運転者の労力を
軽減することが可能となり、運転者が車両１１の操作に
専念できるようになるといった効果を奏する。As a result, the distance L between the obstacle 14 and the vehicle 11 can be determined dynamically and objectively by using the relational expression fnc, so that it is possible to avoid individual differences among drivers and variations in reproducibility of the determination. Further, it is possible to reduce the driver's labor in the vehicle periphery monitoring work such as a quick obstacle avoidance action based on these determinations, so that the driver can concentrate on the operation of the vehicle 11. .
【００４６】更に、関係式ｆｎｃを用いた最短探索範囲
Ｓｃｎ_rngの動的且つ客観的な判定が可能となることに
依り、従来に比較して障害物１４を早期且つ的確に発見
でき、障害物１４の発見の早期警報が可能となり、故
に、早期且つ的確な障害物回避行動が実行可能となると
いった効果を奏する。Furthermore, the dynamic and objective determination of the shortest search range Scn_rng using the relational expression fnc becomes possible. This makes it possible to perform an early and accurate obstacle avoiding action.
【００４７】請求項９に記載の発明は、請求項８に記載
の車両周辺監視装置１０において、前記左右２台の撮像
手段であって、前記左画像の情報２０_L及び前記右画像
の情報２０_Rを生成するための画像読取手段２０と、前
記左画像情報２０_L又は前記右画像情報２０_Rに対して
所定の走査線Ｓｃｎ_k(0≦k≦m，k,mは整数)間隔及びで
前記スキャニング動作を制御する画像操作手段２１と、
前記スキャニング動作に応じて、前記左画像情報２０_L
又は前記右画像情報２０_Rに含まれる障害物１４の画像
との当該スキャニング動作における走査線Ｓｃｎ_k(0≦
k≦m，k,mは整数)との交点である前記特徴点Ｐ_i(０≦i
≦n，i,nは整数)にかかる情報２２ａを抽出する特徴点
抽出手段２２と、前記スキャニング動作における同一走
査線Ｓｃｎ_k(0≦k≦m，k,mは整数)上で、前記左画像情
報２０_L又は前記右画像情報２０_Rの何れか一方の前記
特徴点Ｐ_i(０≦i≦n，i,nは整数)に対応する当該左画
像情報２０_L又は右画像情報２０_Rの他方の前記特徴点
Ｐ_i(０≦i≦n，i,nは整数)を前記対応点Ｑ_i(0≦i≦
n，i,nは整数)として検出するための最短の探索範囲Ｓ
ｃｎ_rngを当該走査線Ｓｃｎ_k(0≦k≦m，k,mは整数)毎
に各々求めて最短探索範囲情報２４ａを当該走査線Ｓｃ
ｎ_k(0≦k≦m，k,mは整数)毎に各々生成する手段であっ
て、前記探索範囲Ｓｃｎ_rngを最も短くなるように選択
することに依って最短の探索範囲Ｓｃｎ_rngを求めて前
記最短探索範囲情報２４ａを生成する探索範囲最適化手
段２４と、前記走査線Ｓｃｎ_k(0≦k≦m，k,mは整数)毎
の前記探索範囲情報２６ａに応じて前記左画像又は右画
像に対して所定の走査線Ｓｃｎ_k(0≦k≦m，k,mは整数)
間隔で前記スキャニング動作を実行する手段であって、
左画像又は右画像に含まれる少なくとも１つ以上の障害
物１４の画像と当該スキャニング動作における各特徴点
Ｐ_i(０≦i≦n，i,nは整数)が抽出されると共に、前記
一方の画像における前記各特徴点Ｐ_i(０≦i≦n，i,nは
整数)に対応する前記対応点Ｑ_i(0≦i≦n，i,nは整数)
を各々検出する際に前記他方の画像において複数の前記
特徴点Ｐ_i(０≦i≦n，i,nは整数)が検出された場合
に、これらの特徴点Ｐ_i(０≦i≦n，i,nは整数)と当該
一方の画像における特徴点Ｐ_i(０≦i≦n，i,nは整数)
との前記画像相関関係を求め、当該一方の画像の特徴点
Ｐ_i(０≦i≦n，i,nは整数)に対して最も画像相関関係
の強い当該他方の画像の特徴点Ｐ_i(０≦i≦n，i,nは整
数)を当該一方の画像の特徴点Ｐ_i(０≦i≦n，i,nは整
数)に対応する当該他方の画像の前記対応点Ｑ_i(0≦i≦
n，i,nは整数)として選択して対応点Ｑ_i(0≦i≦n，i,n
は整数)情報２６ａを当該走査線Ｓｃｎ_k(0≦k≦m，k,m
は整数)毎に各々生成する対応点Ｑ_i(0≦i≦n，i,nは整
数)検出手段２６と、前記スキャニング動作において、
前記左画像情報２０_L又は前記右画像情報２０_Rの何れ
か一方の前記特徴点Ｐ_i(０≦i≦n，i,nは整数)と当該
特徴点Ｐ_i(０≦i≦n，i,nは整数)に対応する当該左画
像情報２０_L又は右画像情報２０_Rの他方の前記対応点
Ｑ_i(0≦i≦n，i,nは整数)との視差Ｐｒｌｘを前記走査
線Ｓｃｎ_k(0≦k≦m，k,mは整数)毎に各々求めると共
に、当該求められた視差Ｐｒｌｘに基づいて障害物１４
と車両１１との間の距離Ｌを当該走査線Ｓｃｎ_k(0≦k
≦m，k,mは整数)毎に検知して当該走査線Ｓｃｎ_k(0≦k
≦m，k,mは整数)毎に距離情報２８ａを各々生成する距
離演算手段２８と、監視領域１２内に存在する各障害物
１４に対応した前記距離情報２８ａに基づいて、当該障
害物１４の中から、車両１１の走行方向の監視領域１２
に対して最も車両１１に近い位置に存在する障害物１４
を指定する障害物監視手段３０とを有する、ことを特徴
とする車両周辺監視装置１０である。According to a ninth aspect of the present invention, in the vehicle surroundings monitoring apparatus 10 according to the eighth aspect, the two left and right imaging units are configured to transmit the left image information 20_L and the right image information 20_R. Controlling the scanning operation at an interval of a predetermined scanning line Scn_k (0 ≦ k ≦ m, where k and m are integers) with respect to the image reading means 20 for generating and the left image information 20_L or the right image information 20_R. Image operation means 21 for performing
In response to the scanning operation, the left image information 20_L
Alternatively, in the scanning operation with the image of the obstacle 14 included in the right image information 20_R, the scanning line Scn_k (0 ≦
The feature point P_i (0 ≦ i) which is an intersection with k ≦ m, where k and m are integers.
A feature point extracting unit 22 for extracting information 22a relating to ≦ n, i, n are integers, and the left image on the same scanning line Scn_k (0 ≦ k ≦ m, k, m are integers) in the scanning operation. Information 20_L or the right image information 20_R, the other characteristic point P_i of the left image information 20_L or the right image information 20_R corresponding to the characteristic point P_i (0 ≦ i ≦ n, i, n is an integer). (0 ≦ i ≦ n, i, n are integers) and the corresponding point Q_i (0 ≦ i ≦
(n, i, n are integers) the shortest search range S for detection
cn_rng is obtained for each of the scanning lines Scn_k (0 ≦ k ≦ m, where k and m are integers), and the shortest search range information 24a is obtained for the scanning line Sc.
means for generating each of n_k (0 ≦ k ≦ m, k and m are integers). A search range optimizing unit 24 that generates search range information 24a and the left image or the right image according to the search range information 26a for each of the scanning lines Scn_k (0 ≦ k ≦ m, where k and m are integers). And predetermined scanning line Scn_k (0 ≦ k ≦ m, where k and m are integers)
Means for performing the scanning operation at intervals,
An image of at least one or more obstacles 14 included in the left image or the right image and each feature point P_i (0 ≦ i ≦ n, i and n are integers) in the scanning operation are extracted, and the one image is extracted. The corresponding points Q_i (0 ≦ i ≦ n, i, n are integers) corresponding to the respective feature points P_i (0 ≦ i ≦ n, i, n are integers)
When a plurality of feature points P_i (0 ≦ i ≦ n, i, n are integers) are detected in the other image when each of the feature points is detected, these feature points P_i (0 ≦ i ≦ n, i , n are integers) and the feature point P_i in the one image (0 ≦ i ≦ n, i, n are integers)
And the feature point P_i of the other image having the strongest image correlation with respect to the feature point P_i (0 ≦ i ≦ n, i, n is an integer) of the one image. i ≦ n, i, n are integers) and the corresponding point Q_i (0 ≦ i ≦ 0) of the other image corresponding to the feature point P_i (0 ≦ i ≦ n, i, n is an integer) of the one image.
n, i, n are selected as integers, and corresponding points Q_i (0 ≦ i ≦ n, i, n
Is an integer) information 26a to the scanning line Scn_k (0 ≦ k ≦ m, k, m
In the scanning operation, corresponding points Q_i (0 ≦ i ≦ n, i and n are integers) detecting means 26 generated for each of
The feature point P_i (0 ≦ i ≦ n, i, n is an integer) of either the left image information 20_L or the right image information 20_R and the feature point P_i (0 ≦ i ≦ n, i, n are integers) ) Corresponding to the scan line Scn_k (0 ≦ k ≦ m, 0 ≦ i ≦ n, where 0 ≦ i ≦ n, i, n are integers) with the other corresponding point Q_i (0 ≦ i ≦ n, i, n is an integer). k and m are integers), and the obstacles 14 are determined based on the obtained parallax Prlx.
The distance L between the scanning line Scn_k (0 ≦ k
≤m, k, and m are integers, and the scanning line Scn_k (0≤k
≦ m, k, and m are integers) based on the distance calculation means 28 for generating the distance information 28a for each obstacle and the distance information 28a corresponding to each obstacle 14 existing in the monitoring area 12. Of the monitoring direction 12 of the traveling direction of the vehicle 11
Obstacle 14 located closest to vehicle 11 with respect to
And an obstacle monitoring means 30 for designating the vehicle surroundings.
【００４８】請求項９に記載の発明に依れば、請求項８
に記載の効果に加えて、対応点Ｑ_i(0≦i≦n，i,nは整
数)検出手段２６を設けることに依り、複数の障害物１
４，…，１４が同時に画像内の同一走査線Ｓｃｎ_k(0≦
k≦m，k,mは整数)上に存在した状態でスキャニング動作
を実行した場合であっても、特徴点Ｐ_i(０≦i≦n，i,n
は整数)に対して最も画像相関関係の強い当該他方の画
像の特徴点Ｐ_i(０≦i≦n，i,nは整数)を対応点Ｑ_i(0
≦i≦n，i,nは整数)として選択して、正しい対応点Ｑ_i
(0≦i≦n，i,nは整数)を検出できるようになり、その結
果、正しい障害物検出が実行できるようになる。According to the ninth aspect of the present invention, an eighth aspect is provided.
In addition to the effects described in (1), the provision of the corresponding point Q_i (0 ≦ i ≦ n, i, n is an integer) detecting means 26 allows the
,..., 14 simultaneously scan the same scanning line Scn_k (0 ≦
Even when the scanning operation is executed in a state where the scanning point exists on k ≦ m, k, and m are integers, the characteristic point P_i (0 ≦ i ≦ n, i, n)
The feature point P_i (0 ≦ i ≦ n, i, n is an integer) of the other image having the strongest image correlation with the corresponding point Q_i (0
≤ i ≤ n, i, n are integers) and correct corresponding points Q_i
(0 ≦ i ≦ n, i, n are integers), and as a result, correct obstacle detection can be performed.
【００４９】更に、車両１１からの距離Ｌが各々異なる
複数の障害物１４，…，１４が含まれるステレオ画像に
対して走査線Ｓｃｎ_k(0≦k≦m，k,mは整数)に沿ってス
キャニング動作をする場合、探索範囲最適化手段２４を
設けることに依り、車両１１の一番近くに存在する障害
物１４に対して車両１１と障害物１４との間の視差Ｐｒ
ｌｘを測定できる程度に探索範囲Ｓｃｎ_rngを走査線Ｓ
ｃｎ_k(0≦k≦m，k,mは整数)毎に限定して設定すること
が運転者の手を煩わせることなく可能となる。Further, for a stereo image including a plurality of obstacles 14,..., 14 at different distances L from the vehicle 11, along a scanning line Scn_k (0 ≦ k ≦ m, where k and m are integers). In the case of performing the scanning operation, the parallax Pr between the vehicle 11 and the obstacle 14 with respect to the obstacle 14 existing closest to the vehicle 11 is obtained by providing the search range optimizing unit 24.
scan range Scn_rng to the extent that lx can be measured
cn_k (0 ≦ k ≦ m, where k and m are integers) can be limitedly set without any trouble of the driver.
【００５０】この結果、車両１１の安全走行に最も重要
な役割を果たす、車両１１の一番近くに存在する障害物
１４に対する車両１１−障害物１４間距離Ｌを更に短時
間で求めて運転者に更に迅速に報知することが可能とな
る効果を奏する。As a result, the distance L between the vehicle 11 and the obstacle 14, which plays the most important role in the safe driving of the vehicle 11, with respect to the obstacle 14 closest to the vehicle 11 is determined in a shorter time. The effect that the notification can be performed more quickly can be achieved.
【００５１】更に、障害物１４と車両１１との距離Ｌの
判断を関係式ｆｎｃを用いて動的且つ客観的に判定でき
るので、運転者の個人差や判断の再現性のばらつきを回
避でき、更に、これらの判断に基づく迅速な障害物回避
行動等の車両周辺監視作業における運転者の労力を軽減
することが可能となり、運転者が車両１１の操作に専念
できるようになるといった効果を奏する。Further, the distance L between the obstacle 14 and the vehicle 11 can be determined dynamically and objectively by using the relational expression fnc, so that it is possible to avoid individual differences between drivers and variations in reproducibility of the determination. Furthermore, it is possible to reduce the driver's labor in the vehicle periphery monitoring work such as the rapid obstacle avoidance action based on these determinations, and the driver can concentrate on the operation of the vehicle 11.
【００５２】更に、関係式ｆｎｃを用いた最短探索範囲
Ｓｃｎ_rngの動的且つ客観的な判定が可能となることに
依り、従来に比較して障害物１４を早期且つ的確に発見
でき、障害物１４の発見の早期警報が可能となり、故
に、早期且つ的確な障害物回避行動が実行可能となると
いった効果を奏する。Furthermore, the dynamic and objective determination of the shortest search range Scn_rng using the relational expression fnc becomes possible. This makes it possible to perform an early and accurate obstacle avoiding action.
【００５３】このように迅速な障害物１４の検出が可能
となることに依り、例えば、車両１１の走行中におい
て、時々刻々変化する監視領域１２内に障害物１４が突
然侵入してきたような動的な対応が要求される場合であ
っても、障害物１４を早期に且つ的確に発見して障害物
１４発見の早期警報を運転者に発することが可能とな
り、その結果、運転者の車両１１操作を妨げることな
く、監視領域１２に突発的に侵入してくる障害物１４の
動的な認識、このような障害物１４の大きさ・形状の動
的な判断、車両１１との距離Ｌの動的な判断、及びこれ
らの動的な判断に基づく速やかな障害物回避行動等の車
両周辺監視作業に要求される運転者の労力を軽減するこ
とが可能となり、車両１１の安全操作へ運転者が意識を
集中できるようになるといった効果を奏する。The rapid detection of the obstacle 14 makes it possible, for example, that the obstacle 14 suddenly enters the constantly changing monitoring area 12 while the vehicle 11 is running. Even when a proper response is required, it is possible to quickly and accurately detect the obstacle 14 and issue an early warning to the driver of the discovery of the obstacle 14, and as a result, the driver's vehicle 11 Dynamic recognition of an obstacle 14 suddenly entering the monitoring area 12 without hindering the operation, dynamic determination of the size and shape of such an obstacle 14, and determination of the distance L from the vehicle 11 It is possible to reduce the driver's labor required for the vehicle periphery monitoring work such as the dynamic judgment and the prompt obstacle avoidance action based on these dynamic judgments. Can concentrate their consciousness The effect of Tsu.
【００５４】請求項１０に記載の発明は、請求項９に記
載の車両周辺監視装置１０において、前記距離演算手段
２８は、前記スキャニング動作において、障害物１４と
車両１１との間の距離Ｌ毎に予め求めておいた前記走査
線Ｓｃｎ_k(0≦k≦m，k,mは整数)と視差Ｐｒｌｘとの関
係式ｆｎｃに、前記走査線Ｓｃｎ_k(0≦k≦m，k,mは整
数)毎に各々求められた視差Ｐｒｌｘ及び当該走査線Ｓ
ｃｎ_k(0≦k≦m，k,mは整数)の条件を代入することに依
り、当該関係式ｆｎｃに基づいて障害物１４と車両１１
との間の距離Ｌを当該走査線Ｓｃｎ_k(0≦k≦m，k,mは
整数)毎に検知して当該走査線Ｓｃｎ_k(0≦k≦m，k,mは
整数)毎に前記距離情報２８ａを各々生成するように構
成されている、ことを特徴とする車両周辺監視装置１０
である。According to a tenth aspect of the present invention, in the vehicle surroundings monitoring apparatus according to the ninth aspect, the distance calculating means includes: for each of the distances L between the obstacle and the vehicle in the scanning operation; In the relational expression fnc between the scanning line Scn_k (0 ≦ k ≦ m, k and m are integers) and the parallax Prlx, the scanning line Scn_k (0 ≦ k ≦ m, k and m are integers) is obtained in advance. Parallax Prlx and scanning line S obtained for each
By substituting the condition of cn_k (0 ≦ k ≦ m, where k and m are integers), the obstacle 14 and the vehicle 11 are determined based on the relational expression fnc.
Is detected for each scanning line Scn_k (0 ≦ k ≦ m, k, m is an integer) and the distance L is determined for each scanning line Scn_k (0 ≦ k ≦ m, k, m is an integer). The vehicle surroundings monitoring device 10 is configured to generate the information 28a.
It is.
【００５５】請求項１０に記載の発明に依れば、請求項
９に記載の効果に加えて、関係式ｆｎｃを用いた最短探
索範囲Ｓｃｎ_rngの動的且つ客観的な判定が可能となる
ことに依り、従来に比較して障害物１４を早期且つ的確
に発見でき、障害物１４の発見の早期警報が可能とな
り、故に、早期且つ的確な障害物回避行動が実行可能と
なるといった効果を奏する。According to the tenth aspect of the invention, in addition to the effect of the ninth aspect, a dynamic and objective determination of the shortest search range Scn_rng using the relational expression fnc is made possible. As a result, the obstacle 14 can be found earlier and more accurately than in the past, and an early warning of the finding of the obstacle 14 can be made. Therefore, an effect is achieved that an earlier and more accurate obstacle avoiding action can be executed.
【００５６】また、探索範囲Ｓｃｎ_rngを走査線Ｓｃｎ
_k(0≦k≦m，k,mは整数)毎に最も短くなるように選択す
ることが的確且つ簡便に実現でき、装置規模を小さくで
き、更に、装置コストを低減することができるといった
効果を奏する。The search range Scn_rng is set to the scanning line Scn.
_k (0 ≦ k ≦ m, where k and m are integers) can be accurately and easily selected to be the shortest, and the apparatus scale can be reduced and the apparatus cost can be reduced. Play.
【００５７】請求項１１に記載の発明は、請求項９に記
載の車両周辺監視装置１０において、前記探索範囲最適
化手段２４は、前記スキャニング動作において次の走査
線Ｓｃｎ_k(0≦k≦m，k,mは整数)上で前記特徴点Ｐ_i
(０≦i≦n，i,nは整数)が抽出されて前記対応点Ｑ_i(0
≦i≦n，i,nは整数)の抽出が実行される際に、直前まで
の走査線Ｓｃｎ_l（１≦ｌ≦m，l,mは整数）毎に求めら
れている前記距離情報２８ａの中から最短の当該距離情
報２８ａに対応する前記関係式ｆｎｃを選択すると共
に、当該選択した関係式ｆｎｃと当該次走査線Ｓｃｎ_k
(0≦k≦m，k,mは整数)との関係の基づいて当該次走査線
Ｓｃｎ_k(0≦k≦m，k,mは整数)に対する前記対応点Ｑ_i
(0≦i≦n，i,nは整数)の対応点検出開始点Ｓｃｎ_str
t、及び当該対応点検出開始点Ｓｃｎ_strtを始点とする
前記探索範囲Ｓｃｎ_rngを求めて前記最短探索範囲情報
２４ａを生成するように構成されている、ことを特徴と
する車両周辺監視装置１０である。According to an eleventh aspect of the present invention, in the vehicle surroundings monitoring apparatus 10 according to the ninth aspect, the search range optimizing means 24 performs the next scanning line Scn_k (0 ≦ k ≦ m, (where k and m are integers).
(0 ≦ i ≦ n, i and n are integers) are extracted and the corresponding point Q_i (0
When the extraction of ≦ i ≦ n, i, n is an integer), the distance information 28a obtained for each scanning line Scn_l (1 ≦ l ≦ m, l, m is an integer) immediately before is extracted. The relational expression fnc corresponding to the shortest distance information 28a is selected from among them, and the selected relational expression fnc and the next scanning line Scn_k are selected.
(0 ≦ k ≦ m, k, m are integers) and the corresponding point Q_i for the next scanning line Scn_k (0 ≦ k ≦ m, k, m is an integer) based on the relationship
(0 ≦ i ≦ n, i, n are integers) corresponding point detection start point Scn_str
t and the search range Scn_rng starting from the corresponding point detection start point Scn_strt to generate the shortest search range information 24a.
【００５８】請求項１１に記載の発明に依れば、請求項
９に記載の効果に加えて、直前までの走査線Ｓｃｎ_l
（１≦ｌ≦m，l,mは整数）毎に求められている距離情報
２８ａ（則ち、動的に求められた距離情報２８ａ）の中
から最短の距離情報２８ａに対応する関係式ｆｎｃを選
択して対応点検出開始点Ｓｃｎ_strtを決定することに
依り、探索範囲Ｓｃｎ_rngを走査線Ｓｃｎ_k(0≦k≦m，
k,mは整数)毎に最も短くなるように動的に選択すること
が的確且つ簡便に実現でき、装置規模を小さくでき、更
に、装置コストを低減することができるといった効果を
奏する。According to the eleventh aspect of the present invention, in addition to the effect of the ninth aspect, in addition to the effects of the ninth aspect, the scanning line Scn_l immediately before
A relational expression fnc corresponding to the shortest distance information 28a from the distance information 28a (that is, the dynamically obtained distance information 28a) obtained for each (1 ≦ l ≦ m, l, m is an integer). Is selected to determine the corresponding point detection start point Scn_strt, so that the search range Scn_rng is changed to the scanning line Scn_k (0 ≦ k ≦ m,
It is possible to accurately and easily realize the dynamic selection so as to be the shortest for each of k and m), and to reduce the size of the device and the cost of the device.
【００５９】請求項１２に記載の発明は、請求項９又は
１１に記載の車両周辺監視装置１０において、前記左画
像情報２０_L並びに前記右画像情報２０_R、及び当該左
画像情報２０_Lと当該右画像情報２０_Rとの視差Ｐｒｌ
ｘに基づいて、ステレオ画像情報３２ａを作成するステ
レオ画像演算手段３２と、前記ステレオ画像情報３２ａ
を表示する表示手段３４とを有する、ことを特徴とする
車両周辺監視装置１０である。According to a twelfth aspect of the present invention, in the vehicle periphery monitoring device 10 according to the ninth or eleventh aspect, the left image information 20_L and the right image information 20_R, and the left image information 20_L and the right image information Parallax Prl with 20_R
x based on the stereo image information 32a;
And a display means 34 for displaying the vehicle periphery monitoring device 10.
【００６０】請求項１２に記載の発明に依れば、請求項
９又は１１に記載の効果に加えて、運転者に理解しやす
いようなステレオ画像を表示することができ、その結
果、車両１１の安全走行に最も重要な役割を果たす、車
両１１の一番近くに存在する障害物１４を短時間で表示
して運転者に迅速に報知することが可能となる効果を奏
する。According to the twelfth aspect of the present invention, in addition to the effect of the ninth or eleventh aspect, a stereoscopic image which can be easily understood by a driver can be displayed. The most important role in the safe driving of the vehicle 11 is that the obstacle 14 present closest to the vehicle 11 can be displayed in a short time and the driver can be quickly informed.
【００６１】例えば、時々刻々変化する監視領域１２内
に障害物１４が突然侵入してきたような動的な対応が要
求される場合であっても、障害物１４を早期に且つ的確
に発見して障害物１４発見の早期警報を表示手段３４を
介して運転者に発することが可能となり、その結果、マ
ンマシーンインタフェース性能が向上し、運転者の車両
１１操作を妨げることなく、監視領域１２に突発的に侵
入してくる障害物１４の動的な認識、このような障害物
１４の大きさ・形状の動的な判断、車両１１との距離Ｌ
の動的な判断、及びこれらの動的な判断に基づく速やか
な障害物回避行動等の車両周辺監視作業に要求される運
転者の労力を軽減することが可能となり、車両１１の安
全操作へ運転者が意識を集中できるようになるといった
効果を奏する。For example, even in a case where a dynamic response is required such that the obstacle 14 suddenly enters the monitoring area 12 that changes every moment, the obstacle 14 is detected quickly and accurately. An early warning of the obstacle 14 can be issued to the driver via the display means 34. As a result, the performance of the man-machine interface is improved, and the driver suddenly enters the monitoring area 12 without hindering the operation of the vehicle 11. Dynamic recognition of obstacles 14 that intrude dynamically, dynamic determination of the size and shape of such obstacles 14, distance L from the vehicle 11
And the driver's effort required for the vehicle periphery monitoring work such as prompt obstacle avoidance action based on these dynamic judgments can be reduced. This has the effect of allowing the person to concentrate their consciousness.
【００６２】請求項１３に記載の発明は、請求項９乃至
１２のいずれか一項に記載の車両周辺監視装置１０にお
いて、前記表示手段３４は、前記ステレオ画像情報３２
ａを表示すると共に、監視領域１２内に存在する各障害
物１４に対応した前記距離情報２８ａを障害物１４毎に
表示するように構成されている、ことを特徴とする車両
周辺監視装置１０である。According to a thirteenth aspect of the present invention, in the vehicle periphery monitoring device according to any one of the ninth to twelfth aspects, the display means 34 displays the stereo image information 32.
a, and the distance information 28a corresponding to each obstacle 14 present in the monitoring area 12 is displayed for each obstacle 14. is there.
【００６３】請求項１３に記載の発明に依れば、請求項
９乃至１２のいずれか一項に記載の効果に加えて、運転
者に理解しやすいようなステレオ画像及び障害物１４に
対応した前記距離情報２８ａを表示することができ、そ
の結果、車両１１の安全走行に最も重要な役割を果た
す、車両１１の一番近くに存在する障害物１４とその距
離情報２８ａとを有機的に関連づけて短時間で表示して
運転者に迅速に報知することが可能となる効果を奏す
る。According to the thirteenth aspect of the present invention, in addition to the effects of any one of the ninth to twelfth aspects, a stereo image and an obstacle which can be easily understood by a driver are supported. The distance information 28a can be displayed, and as a result, the obstacle 14 closest to the vehicle 11, which plays the most important role in the safe driving of the vehicle 11, is organically associated with the distance information 28a. This makes it possible to display the information in a short time and promptly notify the driver.
【００６４】例えば、時々刻々変化する監視領域１２内
に障害物１４が突然侵入してきたような動的な対応が要
求される場合であっても、障害物１４を早期に且つ的確
に発見して障害物１４発見の早期警報及び距離情報２８
ａを表示手段３４を介して運転者に発することが可能と
なり、その結果、マンマシーンインタフェース性能が向
上し、運転者の車両１１操作を妨げることなく、監視領
域１２に突発的に侵入してくる障害物１４の動的な認
識、このような障害物１４の大きさ・形状の動的な判
断、車両１１との距離Ｌの動的な判断、及びこれらの動
的な判断に基づく速やかな障害物回避行動等の車両周辺
監視作業に要求される運転者の労力を軽減することが可
能となり、車両１１の安全操作へ運転者が意識を集中で
きるようになるといった効果を奏する。For example, even in a case where a dynamic response is required such that the obstacle 14 suddenly enters the monitoring area 12 that changes every moment, the obstacle 14 is detected early and accurately. Early warning of obstacle 14 detection and distance information 28
a can be emitted to the driver via the display means 34, and as a result, the man-machine interface performance is improved, and the driver enters the monitoring area 12 suddenly without hindering the driver's operation of the vehicle 11. Dynamic recognition of the obstacle 14, dynamic determination of the size and shape of the obstacle 14, dynamic determination of the distance L to the vehicle 11, and prompt obstacles based on these dynamic determinations It is possible to reduce the driver's labor required for the work around the vehicle such as an object avoiding action, and the driver can concentrate his or her consciousness on the safe operation of the vehicle 11.
【００６５】請求項１４に記載の発明は、請求項９乃至
１３のいずれか一項に記載の車両周辺監視装置１０にお
いて、前記表示手段３４は、前記ステレオ画像情報３２
ａを表示すると共に、監視領域１２内に存在する各障害
物１４に対応した前記距離情報２８ａに基づいて、当該
障害物１４の中から、車両１１の走行方向の監視領域１
２に対して最も車両１１に近い位置に存在する障害物１
４を表示色を変更して表示するように構成されている、
ことを特徴とする車両周辺監視装置１０である。According to a fourteenth aspect of the present invention, in the vehicle periphery monitoring device according to any one of the ninth to thirteenth aspects, the display means 34 displays the stereo image information 32.
a, and based on the distance information 28a corresponding to each obstacle 14 existing in the monitoring area 12, the monitoring area 1 in the traveling direction of the vehicle 11 is selected from the obstacles 14.
Obstacle 1 located closest to vehicle 11 with respect to 2
4, the display color is changed and displayed.
A vehicle periphery monitoring device 10 characterized by the following.
【００６６】請求項１４に記載の発明に依れば、請求項
９乃至１３のいずれか一項に記載の効果に加えて、運転
者に理解しやすいようなステレオ画像を色彩表示するこ
とができ、その結果、車両１１の安全走行に最も重要な
役割を果たす、車両１１の一番近くに存在する障害物１
４を有機的に関連づけて色彩表示することができるよう
になり、視認性良く障害物１４を運転者に迅速に報知す
ることが可能となる効果を奏する。これに依り、運転者
や作業者の監視作業の負担が軽減でき、自車両１１の安
全操作に集中することが容易にできるようになるといっ
た効果も奏する。According to the fourteenth aspect of the invention, in addition to the effects of any one of the ninth to thirteenth aspects, a stereoscopic image which can be easily understood by the driver can be displayed in color. As a result, the obstacle 1 existing closest to the vehicle 11 plays the most important role in the safe driving of the vehicle 11.
4 can be organically associated with each other and can be displayed in color, so that it is possible to promptly notify the driver of the obstacle 14 with good visibility. Accordingly, it is possible to reduce the burden of the monitoring work of the driver and the worker, and it is possible to easily concentrate on the safe operation of the vehicle 11.
【００６７】例えば、時々刻々変化する監視領域１２内
に障害物１４が突然侵入してきたような動的な対応が要
求される場合であっても、障害物１４を早期に且つ的確
に発見して障害物１４発見の早期警報を表示手段３４を
介して色彩表示して運転者に発することが可能となり、
その結果、マンマシーンインタフェース性能が向上し、
運転者の車両１１操作を妨げることなく、監視領域１２
に突発的に侵入してくる障害物１４の動的な認識、この
ような障害物１４の大きさ・形状の動的な判断、車両１
１との距離Ｌの動的な判断、及びこれらの動的な判断に
基づく速やかな障害物回避行動等の車両周辺監視作業に
要求される運転者の労力を軽減することが可能となり、
車両１１の安全操作へ運転者が意識を集中できるように
なるといった効果を奏する。For example, even when a dynamic response is required such that the obstacle 14 suddenly enters the monitoring area 12 that changes every moment, the obstacle 14 is detected quickly and accurately. It becomes possible to give an early warning of the discovery of the obstacle 14 to the driver by displaying it in color through the display means 34,
As a result, man-machine interface performance is improved,
The monitoring area 12 is maintained without interrupting the driver's operation of the vehicle 11.
Dynamic recognition of obstacles 14 suddenly entering the vehicle, dynamic determination of the size and shape of such obstacles 14, vehicle 1
It is possible to reduce the driver's labor required for the vehicle periphery monitoring work such as the dynamic determination of the distance L to the vehicle 1 and the prompt obstacle avoidance action based on the dynamic determination,
There is an effect that the driver can concentrate on the safe operation of the vehicle 11.
【００６８】請求項１５に記載の発明は、請求項９乃至
１４のいずれか一項に記載の車両周辺監視装置１０にお
いて、前記表示手段３４は、前記ステレオ画像情報３２
ａを表示すると共に、監視領域１２内に存在する各障害
物１４に対応した前記距離情報２８ａに基づいて、当該
障害物１４の中から、車両１１の走行方向の監視領域１
２に対して最も車両１１に近い位置に存在する障害物１
４を表示色を変更して表示すると共に、当該障害物１４
に対応した前記距離情報２８ａを表示するように構成さ
れている、ことを特徴とする車両周辺監視装置１０であ
る。According to a fifteenth aspect of the present invention, in the vehicle surroundings monitoring device 10 according to any one of the ninth to fourteenth aspects, the display means 34 displays the stereo image information 32.
a, and based on the distance information 28a corresponding to each obstacle 14 existing in the monitoring area 12, the monitoring area 1 in the traveling direction of the vehicle 11 is selected from the obstacles 14.
Obstacle 1 located closest to vehicle 11 with respect to 2
4 is displayed with the display color changed, and the obstacle 14 is displayed.
The vehicle surroundings monitoring device 10 is configured to display the distance information 28a corresponding to the vehicle surroundings.
【００６９】請求項１５に記載の発明に依れば、請求項
９乃至１４のいずれか一項に記載の効果に加えて、運転
者に理解しやすいようなステレオ画像、障害物１４、及
び障害物１４に対応した前記距離情報２８ａを有機的に
関連づけて色彩表示することができ、その結果、車両１
１の安全走行に最も重要な役割を果たす、車両１１の一
番近くに存在する障害物１４及び車両１１との距離Ｌと
を有機的に関連づけて短時間で視認性良く表示して運転
者に迅速に報知することが可能となる効果を奏する。こ
れに依り、運転者や作業者の監視作業の負担が更に軽減
でき、自車両１１の安全操作に更に集中することが容易
にできるようになるといった効果も奏する。According to the invention described in claim 15, in addition to the effects described in any one of claims 9 to 14, a stereo image, an obstacle 14, and an obstacle which are easy for the driver to understand. The distance information 28a corresponding to the object 14 can be displayed in color in an organically related manner.
1 that plays the most important role in the safe driving of the vehicle 11 and displays the obstacle 14 existing closest to the vehicle 11 and the distance L to the vehicle 11 in an organic manner in a short time with good visibility to the driver. This has the effect of enabling prompt notification. Accordingly, it is possible to further reduce the burden of the monitoring work of the driver and the worker, and to easily concentrate on the safe operation of the vehicle 11.
【００７０】例えば、時々刻々変化する監視領域１２内
に障害物１４が突然侵入してきたような動的な対応が要
求される場合であっても、障害物１４を早期に且つ的確
に発見して障害物１４発見の早期警報及び距離情報２８
ａを表示手段３４を介して色彩表示して運転者に発する
ことが可能となり、その結果、マンマシーンインタフェ
ース性能が向上し、運転者の車両１１操作を妨げること
なく、監視領域１２に突発的に侵入してくる障害物１４
の動的な認識、このような障害物１４の大きさ・形状の
動的な判断、車両１１との距離Ｌの動的な判断、及びこ
れらの動的な判断に基づく速やかな障害物回避行動等の
車両周辺監視作業に要求される運転者の労力を軽減する
ことが可能となり、車両１１の安全操作へ運転者が意識
を集中できるようになるといった効果を奏する。For example, even in a case where a dynamic response is required in which the obstacle 14 suddenly enters the monitoring area 12 that changes every moment, the obstacle 14 is detected early and accurately. Early warning of obstacle 14 detection and distance information 28
a can be displayed in color through the display means 34 and emitted to the driver. As a result, the man-machine interface performance is improved and the driver can suddenly enter the monitoring area 12 without hindering the operation of the vehicle 11 by the driver. Obstructing obstacles 14
, Dynamic determination of the size and shape of the obstacle 14, dynamic determination of the distance L to the vehicle 11, and prompt obstacle avoidance action based on these dynamic determinations Thus, it is possible to reduce the driver's labor required for the vehicle periphery monitoring work, and the effect that the driver can concentrate his or her consciousness on the safe operation of the vehicle 11.
【００７１】請求項１６に記載の発明は、請求項１乃至
１５のいずれか一項に記載の車両周辺監視装置１０に用
いられる障害物検出方法において、前記左画像又は右画
像に対して所定の走査線Ｓｃｎ_k(0≦k≦m，k,mは整数)
間隔で実行されるスキャニング動作を実行する工程と、
前工程に応じて、前記左画像又は右画像に含まれる少な
くとも１つ以上の障害物１４の画像について前記特徴点
Ｐ_i(０≦i≦n，i,nは整数)を抽出する工程と、前工程
と共に、前記左画像又は右画像の何れか一方の前記特徴
点Ｐ_i(０≦i≦n，i,nは整数)に対応する前記他方の画
像の前記特徴点Ｐ_i(０≦i≦n，i,nは整数)を前記対応
点Ｑ_i(0≦i≦n，i,nは整数)として検出する前記スキャ
ニング動作の工程を実行する際に当該他方の画像におい
て複数の前記特徴点Ｐ_i(０≦i≦n，i,nは整数)が検出
された場合に、これらの特徴点Ｐ_i(０≦i≦n，i,nは整
数)と当該一方の画像における特徴点Ｐ_i(０≦i≦n，i,
nは整数)との前記画像相関関係を求める工程と、前工程
に続いて、当該一方の画像の特徴点Ｐ_i(０≦i≦n，i,n
は整数)に対して最も画像相関関係の強い当該他方の画
像の特徴点Ｐ_i(０≦i≦n，i,nは整数)を当該一方の画
像の特徴点Ｐ_i(０≦i≦n，i,nは整数)に対応する当該
他方の画像の対応点Ｑ_i(0≦i≦n，i,nは整数)として選
択する工程と、前工程に続いて、当該一方の画像の特徴
点Ｐ_i(０≦i≦n，i,nは整数)とこれに対応する当該対
応点Ｑ_i(0≦i≦n，i,nは整数)とに基づいて当該特徴点
Ｐ_i(０≦i≦n，i,nは整数)毎の視差Ｐｒｌｘを求める
工程と、前工程に続いて、各障害物１４と車両１１との
間の距離Ｌを各々検知して監視領域１２を監視する工程
とを有する、ことを特徴とする障害物検出方法である。According to a sixteenth aspect of the present invention, in the obstacle detection method used in the vehicle periphery monitoring device 10 according to any one of the first to fifteenth aspects, a predetermined image is provided for the left image or the right image. Scan line Scn_k (0 ≦ k ≦ m, where k and m are integers)
Performing a scanning operation performed at intervals;
Extracting the feature point P_i (0 ≦ i ≦ n, i, n is an integer) for at least one image of the obstacle 14 included in the left image or the right image according to the previous process; Along with the step, the feature points P_i (0 ≦ i ≦ n, 0 ≦ i ≦ n, 0 ≦ i ≦ n, where i and n are integers) of the one of the left image and the right image corresponding to the feature points P_i (0 ≦ i ≦ n, i and n are integers). When performing the scanning operation step of detecting the corresponding point Q_i (0 ≦ i ≦ n, i, n is an integer) as the corresponding point Q_i (i, n is an integer), the plurality of feature points P_i (0 When ≤i≤n, i, n are integers, these characteristic points P_i (0≤i≤n, i, n are integers) and characteristic points P_i (0≤i≤ n, i,
Following the step of obtaining the image correlation with n, and the preceding step, the characteristic point P_i (0 ≦ i ≦ n, i, n) of the one image
Is a feature point P_i (0 ≦ i ≦ n, i, n is an integer) of the other image having the strongest image correlation with respect to the feature point P_i (0 ≦ i ≦ n, i) of the one image. , n are integers), the corresponding point Q_i (0 ≦ i ≦ n, i, n is an integer) of the other image, and the feature point P_i ( Based on 0 ≦ i ≦ n, i, n is an integer and the corresponding point Q_i (0 ≦ i ≦ n, i, n is an integer) corresponding to the feature point P_i (0 ≦ i ≦ n, i). , n is an integer) and a step of monitoring the monitoring area 12 by detecting the distance L between each obstacle 14 and the vehicle 11 following the previous step. The obstacle detection method is characterized by the following.
【００７２】請求項１６に記載の発明に依れば、請求項
１に記載の効果と同様の効果を奏する。According to the sixteenth aspect, the same effect as the first aspect can be obtained.
【００７３】請求項１７に記載の発明は、請求項１６に
記載の障害物検出方法において、各障害物１４に対して
前記スキャニング動作の工程を実行する際に、前記探索
範囲Ｓｃｎ_rngを当該各障害物１４と車両１１との距離
Ｌに応じて最も短くなるように選択する工程と、前工程
に続いて、当該特徴点Ｐ_i(０≦i≦n，i,nは整数)及び
当該最短の探索範囲Ｓｃｎ_rngを用いて当該各障害物１
４に対する前記スキャニング動作を各々実行して前記対
応点Ｑ_i(0≦i≦n，i,nは整数)を検出する工程と、前工
程と共に、当該検出した前記各対応点Ｑ_i(0≦i≦n，i,
nは整数)に基づいて当該特徴点Ｐ_i(０≦i≦n，i,nは整
数)毎の視差Ｐｒｌｘを求める工程と、前工程に続い
て、各障害物１４と車両１１との間の距離Ｌを各々検知
して監視領域１２を監視する工程とを有する、ことを特
徴とする障害物検出方法である。According to a seventeenth aspect of the present invention, in the obstacle detecting method according to the sixteenth aspect, when the step of performing the scanning operation is performed on each obstacle 14, the search range Scn_rng is set to each of the obstacles. A step of selecting the shortest according to the distance L between the object 14 and the vehicle 11, and following the previous step, the characteristic point P_i (0 ≦ i ≦ n, i, n is an integer) and the shortest search Each obstacle 1 using the range Scn_rng
4 to detect the corresponding point Q_i (0 ≦ i ≦ n, where i and n are integers) by executing the scanning operation on each of the corresponding points Q_i (0 ≦ i ≦ 0). n, i,
a step of obtaining a parallax Prlx for each of the feature points P_i (0 ≦ i ≦ n, i, n are integers) based on the integers, and a step between the obstacles 14 and the vehicle 11 following the previous step. Monitoring the monitoring area 12 by detecting the distances L, respectively.
【００７４】請求項１７に記載の発明に依れば、請求項
２に記載の効果と同様の効果を奏する。According to the seventeenth aspect, the same effect as the second aspect can be obtained.
【００７５】請求項１８に記載の発明は、請求項１６又
は１７に記載の障害物検出方法において、最も近くに存
在する障害物１４に対して前記スキャニング動作の工程
をを実行する際に、前記探索範囲Ｓｃｎ_rngを当該各障
害物１４と車両１１との距離Ｌに応じて最も短くなるよ
うに選択する工程と、前工程に続いて、当該特徴点Ｐ_i
(０≦i≦n，i,nは整数)及び当該最短の探索範囲Ｓｃｎ_
rngを用いて当該各障害物１４に対する前記スキャニン
グ動作を各々実行して前記対応点Ｑ_i(0≦i≦n，i,nは
整数)を検出する工程と、前工程と共に、当該検出した
前記各対応点Ｑ_i(0≦i≦n，i,nは整数)に基づいて当該
特徴点Ｐ_i(０≦i≦n，i,nは整数)毎の視差Ｐｒｌｘを
求める工程と、前工程に続いて、各障害物１４と車両１
１との間の距離Ｌを各々検知して監視領域１２を監視す
る工程とを有する、ことを特徴とする障害物検出方法で
ある。According to an eighteenth aspect of the present invention, in the obstacle detecting method according to the sixteenth or seventeenth aspect, the step of performing the scanning operation on the nearest obstacle 14 is performed. A step of selecting the search range Scn_rng so as to be the shortest according to the distance L between each obstacle 14 and the vehicle 11, and following the preceding step, the characteristic point P_i
(0 ≦ i ≦ n, i and n are integers) and the shortest search range Scn_
a step of detecting the corresponding point Q_i (0 ≦ i ≦ n, i, n is an integer) by executing the scanning operation on each of the obstacles 14 using rng, and a step of detecting the corresponding point Q_i. Following the step of obtaining the parallax Prlx for each feature point P_i (0 ≦ i ≦ n, i, n is an integer) based on the corresponding point Q_i (0 ≦ i ≦ n, i, n is an integer) and the previous step , Each obstacle 14 and the vehicle 1
And a step of monitoring the monitoring area 12 by detecting the distance L between the obstacles 1 and 2, respectively.
【００７６】請求項１８に記載の発明に依れば、請求項
３に記載の効果と同様の効果を奏する。According to the eighteenth aspect, the same effect as the third aspect can be obtained.
【００７７】請求項１９に記載の発明は、請求項１７又
は１８に記載の障害物検出方法において、左画像又は右
画像の何れか一方における前記各特徴点Ｐ_i(０≦i≦
n，i,nは整数)に対応する当該左画像又は右画像の他方
の前記特徴点Ｐ_i(０≦i≦n，i,nは整数)を前記対応点
Ｑ_i(0≦i≦n，i,nは整数)として各々検出するための前
記スキャニング範囲である最短の探索範囲Ｓｃｎ_rngの
選択が走査線Ｓｃｎ_k(0≦k≦m，k,mは整数)毎に実行さ
れる工程と、前工程に続いて、当該走査線Ｓｃｎ_k(0≦
k≦m，k,mは整数)毎に選択された最短の探索範囲Ｓｃｎ
_rng内で当該対応点Ｑ_i(0≦i≦n，i,nは整数)を検出す
る工程と、前工程に続いて、当該特徴点Ｐ_i(０≦i≦
n，i,nは整数)及び当該最短の探索範囲Ｓｃｎ_rngを用
いて検出した対応点Ｑ_i(0≦i≦n，i,nは整数)に基づい
て視差Ｐｒｌｘを求める工程とを有する、ことを特徴と
する障害物検出方法である。According to a nineteenth aspect of the present invention, in the obstacle detecting method according to the seventeenth or eighteenth aspect, each of the characteristic points P_i (0 ≦ i ≦
The other feature point P_i (0 ≦ i ≦ n, i, n is an integer) of the left image or the right image corresponding to n, i, n is an integer) and the corresponding point Q_i (0 ≦ i ≦ n, i). , n is an integer), and the shortest search range Scn_rng, which is the scanning range for detection as each scanning line, is selected for each scanning line Scn_k (0 ≦ k ≦ m, where k and m are integers); Subsequently, the scanning line Scn_k (0 ≦
k ≦ m, k and m are integers) The shortest search range Scn selected for each
_rng, the corresponding point Q_i (0 ≦ i ≦ n, i, n is an integer) and the preceding step, followed by the feature point P_i (0 ≦ i ≦
n, i, n are integers) and a step of calculating the disparity Prlx based on the corresponding point Q_i (0 ≦ i ≦ n, i, n is an integer) detected using the shortest search range Scn_rng. This is a characteristic obstacle detection method.
【００７８】請求項１９に記載の発明に依れば、請求項
４に記載の効果と同様の効果を奏する。According to the nineteenth aspect, the same effect as the fourth aspect can be obtained.
【００７９】請求項２０に記載の発明は、請求項１６乃
至１９のいずれか一項に記載の障害物検出方法におい
て、前記視差Ｐｒｌｘを前記走査線Ｓｃｎ_k(0≦k≦m，
k,mは整数)毎に各々求める工程と、前工程と共に、当該
求められた視差Ｐｒｌｘに基づいて障害物１４と車両１
１との間の距離Ｌを当該走査線Ｓｃｎ_k(0≦k≦m，k,m
は整数)毎に検知する工程とを有する、ことを特徴とす
る障害物検出方法である。According to a twentieth aspect of the present invention, in the obstacle detection method according to any one of the sixteenth to nineteenth aspects, the parallax Prlx is set to the scanning line Scn_k (0 ≦ k ≦ m,
(k, m are integers), and the obstacle 14 and the vehicle 1 based on the obtained parallax Prlx, together with the previous process and the previous process.
1 is set to the scanning line Scn_k (0 ≦ k ≦ m, k, m
And a step of detecting for each integer).
【００８０】請求項２０に記載の発明に依れば、請求項
５に記載の効果と同様の効果を奏する。According to the twentieth aspect, the same effect as the fifth aspect can be obtained.
【００８１】請求項２１に記載の発明は、請求項２０に
記載の障害物検出方法において、前記走査線Ｓｃｎ_k(0
≦k≦m，k,mは整数)毎に検知した距離Ｌに基づいて、監
視領域１２内に存在する障害物１４の中から、車両１１
の走行方向の監視領域１２に対して最も車両１１に近い
位置に存在する障害物１４を指定する工程を有する、こ
とを特徴とする障害物検出方法である。According to a twenty-first aspect of the present invention, in the obstacle detecting method according to the twentieth aspect, the scanning line Scn_k (0
≦ k ≦ m, where k and m are integers) based on the distance L detected from the obstacles 14 existing in the monitoring area 12 and the vehicle 11
An obstacle detection method characterized by comprising a step of specifying an obstacle 14 present at a position closest to the vehicle 11 with respect to the monitoring area 12 in the traveling direction of the vehicle.
【００８２】請求項２１に記載の発明に依れば、請求項
６に記載の効果と同様の効果を奏する。According to the twenty-first aspect, the same effect as that of the sixth aspect is obtained.
【００８３】請求項２２に記載の発明は、請求項２０又
は２１に記載の障害物検出方法において、前記スキャニ
ング動作において、障害物１４と車両１１との間の距離
Ｌ毎に予め求める工程と、前記予め求めておいた前記走
査線Ｓｃｎ_k(0≦k≦m，k,mは整数)と視差Ｐｒｌｘとの
前記関係式ｆｎｃに、前記走査線Ｓｃｎ_k(0≦k≦m，k,
mは整数)毎に各々求められた視差Ｐｒｌｘ及び当該走査
線Ｓｃｎ_k(0≦k≦m，k,mは整数)の前記条件を代入する
工程と、当該関係式ｆｎｃに基づいて障害物１４と車両
１１との間の距離Ｌを当該走査線Ｓｃｎ_k(0≦k≦m，k,
mは整数)毎に検知する工程とを有する、ことを特徴とす
る障害物検出方法である。According to a twenty-second aspect of the present invention, in the obstacle detecting method according to the twentieth or twenty-first aspect, in the scanning operation, a step of obtaining in advance for each distance L between the obstacle 14 and the vehicle 11; The scanning line Scn_k (0 ≦ k ≦ m, k, 0 ≦ k ≦ m, k, m is an integer) and the relational expression fnc between the parallax Prlx and the scanning line Scn_k (0 ≦ k ≦ m, where k and m are integers) are obtained.
substituting the parallax Prlx and the above-described condition of the scanning line Scn_k (0 ≦ k ≦ m, k, and m are integers) obtained for each of the obstacles 14 based on the relational expression fnc. The distance L from the vehicle 11 is determined by the scanning line Scn_k (0 ≦ k ≦ m, k,
(m is an integer).
【００８４】請求項２２に記載の発明に依れば、請求項
７に記載の効果と同様の効果を奏する。According to the twenty-second aspect, the same effect as the seventh aspect is obtained.
【００８５】請求項２３に記載の発明は、請求項２０乃
至２２のいずれか一項に記載の障害物検出方法におい
て、前記スキャニング動作において次の走査線Ｓｃｎ_k
(0≦k≦m，k,mは整数)上で前記特徴点Ｐ_i(０≦i≦n，
i,nは整数)が抽出されて前記対応点Ｑ_i(0≦i≦n，i,n
は整数)の抽出工程が実行される際に、直前までの走査
線Ｓｃｎ_l（１≦ｌ≦m，l,mは整数）毎に求められてい
る距離Ｌの中から最短距離Ｌ_minに対応する前記関係式
ｆｎｃを選択する工程と、前工程と共に、当該選択した
関係式ｆｎｃと当該次走査線Ｓｃｎ_k(0≦k≦m，k,mは
整数)との関係の基づいて当該次走査線Ｓｃｎ_k(0≦k≦
m，k,mは整数)に対する前記対応点Ｑ_i(0≦i≦n，i,nは
整数)の対応点検出開始点Ｓｃｎ_strt、及び当該対応点
検出開始点Ｓｃｎ_strtを始点とする前記探索範囲Ｓｃ
ｎ_rngを求める工程とを有する、ことを特徴とする障害
物検出方法である。According to a twenty-third aspect of the present invention, in the obstacle detecting method according to any one of the twentieth to twenty-second aspects, in the scanning operation, the next scanning line Scn_k is used.
(0 ≦ k ≦ m, k and m are integers) on the feature point P_i (0 ≦ i ≦ n,
i, n are integers, and the corresponding point Q_i (0 ≦ i ≦ n, i, n
Is an integer), the distance corresponding to the shortest distance L_min from the distances L obtained for each scanning line Scn_l (1 ≦ l ≦ m, where l and m are integers) immediately before the extraction step is performed. Along with the step of selecting the relational expression fnc and the previous step, the next scanning line Scn_k (0 ≦ k ≦ m, where k and m are integers) based on the relation between the selected relational expression fnc and the next scanning line Scn_k (0 ≦ k ≦ m, where k and m are integers). 0 ≦ k ≦
The corresponding point Q_i (0 ≦ i ≦ n, i, n is an integer) corresponding to the corresponding point Q_i (m is an integer), and the corresponding point detection start point Scn_strt and the search range Sc starting from the corresponding point detection start point Scn_strt
obtaining an n_rng.
【００８６】請求項２３に記載の発明に依れば、請求項
８に記載の効果と同様の効果を奏する。According to the twenty-third aspect, the same effect as that of the eighth aspect is obtained.
【００８７】請求項２４に記載の発明は、請求項２３に
記載の障害物検出方法において、前記左右２台の撮像手
段であって、前記左画像情報２０_L及び前記右画像情報
２０_Rを生成する工程を含む画像読取工程と、前記左画
像情報２０_L又は前記右画像情報２０_Rに対して所定の
走査線Ｓｃｎ_k(0≦k≦m，k,mは整数)間隔で前記スキャ
ニング動作を制御する工程とを含む画像操作工程と、前
記スキャニング動作に応じて、前記左画像情報２０_L又
は前記右画像情報２０_Rに含まれる障害物１４の画像の
前記特徴点情報２２ａを抽出する工程を含む特徴点抽出
工程と、前記スキャニング動作における同一走査線Ｓｃ
ｎ_k(0≦k≦m，k,mは整数)上で、前記左画像情報２０_L
又は前記右画像情報２０_Rの何れか一方の前記特徴点に
対応する当該左画像情報２０_L又は右画像情報２０_Rの
他方の前記特徴点を前記対応点Ｑ_i(0≦i≦n，i,nは整
数)として検出するための前記最短の探索範囲Ｓｃｎ_rn
gを当該走査線Ｓｃｎ_k(0≦k≦m，k,mは整数)毎に各々
求めて前記最短探索範囲情報２４ａを当該走査線Ｓｃｎ
_k(0≦k≦m，k,mは整数)毎に各々生成する工程であっ
て、前記探索範囲Ｓｃｎ_rngを最も短くなるように選択
する工程と、前工程に依って、最短の探索範囲Ｓｃｎ_r
ngを求めて前記最短探索範囲情報２４ａを生成する工程
とを含む探索範囲最適化工程と、前記走査線Ｓｃｎ_k(0
≦k≦m，k,mは整数)毎の前記探索範囲情報２６ａに応じ
て前記左画像又は右画像に対して所定の走査線Ｓｃｎ_k
(0≦k≦m，k,mは整数)間隔で前記スキャニング動作を実
行する工程であって、左画像又は右画像に含まれる少な
くとも１つ以上の障害物１４の画像と当該スキャニング
動作における各特徴点を抽出する工程と、前工程と共
に、前記一方の画像における前記各特徴点に対応する前
記対応点Ｑ_i(0≦i≦n，i,nは整数)を各々検出する工程
の際に前記他方の画像において複数の前記特徴点が検出
された場合に、これらの特徴点と当該一方の画像におけ
る特徴点との前記画像相関関係を求める工程と、前工程
に続いて、当該一方の画像の特徴点に対して最も画像相
関関係の強い当該他方の画像の特徴点を当該一方の画像
の特徴点に対応する当該他方の画像の前記対応点Ｑ_i(0
≦i≦n，i,nは整数)として選択する工程と、前工程に続
いて、前記対応点Ｑ_i(0≦i≦n，i,nは整数)情報２６ａ
を当該走査線Ｓｃｎ_k(0≦k≦m，k,mは整数)毎に各々生
成する工程とを含む対応点検出工程と、前記スキャニン
グ動作工程において、前記左画像情報２０_L又は前記右
画像情報２０_Rの何れか一方の前記特徴点と当該特徴点
に対応する当該左画像情報２０_L又は右画像情報２０_R
の他方の前記対応点Ｑ_i(0≦i≦n，i,nは整数)との視差
Ｐｒｌｘを前記走査線Ｓｃｎ_k(0≦k≦m，k,mは整数)毎
に各々求める工程と、前工程と共に、当該求められた視
差Ｐｒｌｘに基づいて障害物１４と車両１１との間の距
離Ｌを当該走査線Ｓｃｎ_k(0≦k≦m，k,mは整数)毎に検
知する工程と、前工程に依って当該走査線Ｓｃｎ_k(0≦
k≦m，k,mは整数)毎に前記距離情報２８ａを各々生成す
る工程とを含む距離Ｌ演算工程と、監視領域１２内に存
在する各障害物１４に対応した前記距離情報２８ａに基
づいて、当該障害物１４の中から、車両１１の走行方向
の監視領域１２に対して最も車両１１に近い位置に存在
する障害物１４を指定する工程を含む障害物監視工程と
を有する、ことを特徴とする障害物検出方法である。According to a twenty-fourth aspect of the present invention, in the obstacle detecting method according to the twenty-third aspect, the two left and right imaging units generate the left image information 20_L and the right image information 20_R. And a step of controlling the scanning operation at predetermined scanning line Scn_k (0 ≦ k ≦ m, where k and m are integers) intervals for the left image information 20_L or the right image information 20_R. An image operation step including, according to the scanning operation, a feature point extraction step including a step of extracting the feature point information 22a of the image of the obstacle 14 included in the left image information 20_L or the right image information 20_R, The same scanning line Sc in the scanning operation
n_k (0 ≦ k ≦ m, k and m are integers) on the left image information 20_L
Alternatively, the other feature point of the left image information 20_L or the right image information 20_R corresponding to any one of the feature points of the right image information 20_R is set to the corresponding point Q_i (0 ≦ i ≦ n, i, n are integers). )) For detecting the shortest search range Scn_rn.
g is obtained for each of the scanning lines Scn_k (0 ≦ k ≦ m, k and m are integers), and the shortest search range information 24a is obtained for the scanning line Scn_k.
_k (0 ≦ k ≦ m, where k and m are integers), each of which is a step of selecting the search range Scn_rng to be the shortest, and a step of selecting the shortest search range Scn_r
a search range optimizing step including a step of generating the shortest search range information 24a by obtaining ng, and the scanning line Scn_k (0
≤k≤m, where k and m are integers) predetermined scanning lines Scn_k for the left image or the right image in accordance with the search range information 26a.
(0 ≦ k ≦ m, where k and m are integers) performing the scanning operation at an interval, wherein an image of at least one or more obstacles 14 included in the left image or the right image and each of the images in the scanning operation are included. In the step of extracting the feature points and the step of detecting the corresponding points Q_i (0 ≦ i ≦ n, i and n are integers) corresponding to the respective feature points in the one image together with the previous step, When a plurality of the feature points are detected in the other image, a step of obtaining the image correlation between the feature points and the feature points in the one image; and The feature point of the other image having the strongest image correlation with the feature point is set to the corresponding point Q_i (0) of the other image corresponding to the feature point of the one image.
Following the step of selecting as ≦ i ≦ n, i, n are integers) and the preceding step, the corresponding point Q_i (0 ≦ i ≦ n, i, n is an integer) information 26a
In each of the scanning lines Scn_k (0 ≦ k ≦ m, k and m are integers), and in the scanning operation step, the left image information 20_L or the right image information 20_R Any one of the feature points and the left image information 20_L or the right image information 20_R corresponding to the feature point.
Calculating a parallax Prlx with the other corresponding point Q_i (0 ≦ i ≦ n, i, n is an integer) for each of the scanning lines Scn_k (0 ≦ k ≦ m, k, m are integers). Detecting a distance L between the obstacle 14 and the vehicle 11 for each scanning line Scn_k (0 ≦ k ≦ m, where k and m are integers) based on the obtained parallax Prlx; Depending on the process, the scanning line Scn_k (0 ≦
a distance L calculation step including a step of generating the distance information 28a for each k ≦ m, k, and m are integers), and the distance information 28a corresponding to each obstacle 14 present in the monitoring area 12. And an obstacle monitoring step including a step of specifying an obstacle 14 located closest to the vehicle 11 with respect to the monitoring area 12 in the traveling direction of the vehicle 11 from the obstacles 14. This is a characteristic obstacle detection method.
【００８８】請求項２４に記載の発明に依れば、請求項
９に記載の効果と同様の効果を奏する。According to the twenty-fourth aspect, the same effect as the ninth aspect can be obtained.
【００８９】請求項２５に記載の発明は、請求項２４に
記載の障害物検出方法において、前記距離Ｌ演算工程
は、前記スキャニング動作工程において、障害物１４と
車両１１との間の距離Ｌ毎に前記関係式ｆｎｃを予め求
める工程と、前工程に続いて、前記走査線Ｓｃｎ_k(0≦
k≦m，k,mは整数)毎に各々求められた視差Ｐｒｌｘ及び
当該走査線Ｓｃｎ_k(0≦k≦m，k,mは整数)の条件を当該
関係式ｆｎｃに代入する工程と、前工程に依り、当該関
係式ｆｎｃに基づいて障害物１４と車両１１との間の距
離Ｌを当該走査線Ｓｃｎ_k(0≦k≦m，k,mは整数)毎に検
知する工程と、前工程に続いて、当該走査線Ｓｃｎ_k(0
≦k≦m，k,mは整数)毎に前記距離情報２８ａを各々生成
する工程とを有する、ことを特徴とする障害物検出方法
である。According to a twenty-fifth aspect of the present invention, in the obstacle detecting method according to the twenty-fourth aspect, the distance L calculating step includes, for each distance L between the obstacle 14 and the vehicle 11 in the scanning operation step. Following the step of previously obtaining the relational expression fnc and the previous step, the scanning line Scn_k (0 ≦
substituting the parallax Prlx and the conditions of the scanning line Scn_k (0 ≦ k ≦ m, k, m are integers) obtained for each k ≦ m, k, m are integers into the relational expression fnc; Detecting a distance L between the obstacle 14 and the vehicle 11 for each of the scanning lines Scn_k (0 ≦ k ≦ m, where k and m are integers) based on the relational expression fnc; Subsequently, the scanning line Scn_k (0
Generating the distance information 28a for each of ≦ k ≦ m, where k and m are integers).
【００９０】請求項２５に記載の発明に依れば、請求項
１０に記載の効果と同様の効果を奏する。According to the twenty-fifth aspect, the same effect as the tenth aspect can be obtained.
【００９１】請求項２６に記載の発明は、請求項２４に
記載の障害物検出方法において、前記探索範囲最適化工
程は、前記スキャニング動作工程において次の走査線Ｓ
ｃｎ_k(0≦k≦m，k,mは整数)上で前記特徴点が抽出され
て前記対応点Ｑ_i(0≦i≦n，i,nは整数)の抽出が実行さ
れる工程の際に、直前までの走査線Ｓｃｎ_l（１≦ｌ≦
m，l,mは整数）毎に求められている前記距離情報２８ａ
の中から最短の当該距離情報２８ａに対応する前記関係
式ｆｎｃを選択する工程と、前工程と共に、当該選択し
た関係式ｆｎｃと当該次走査線Ｓｃｎ_k(0≦k≦m，k,m
は整数)との関係の基づいて当該次走査線Ｓｃｎ_k(0≦k
≦m，k,mは整数)に対する前記対応点検出開始点Ｓｃｎ_
strt、及び当該対応点検出開始点Ｓｃｎ_strtを始点と
する前記探索範囲Ｓｃｎ_rngを求めて前記最短探索範囲
情報２４ａを生成する工程とを有する、ことを特徴とす
る障害物検出方法である。According to a twenty-sixth aspect of the present invention, in the obstacle detection method according to the twenty-fourth aspect, the search range optimizing step includes the step of:
In the step of extracting the feature points on cn_k (0 ≦ k ≦ m, k and m are integers) and extracting the corresponding point Q_i (0 ≦ i ≦ n, i and n are integers), , The scanning line Scn_l (1 ≦ l ≦
m, l, m are integers) and the distance information 28a obtained for each
Selecting the relational expression fnc corresponding to the shortest distance information 28a from among the relational expression fnc and the previous step together with the selected relational expression fnc and the next scanning line Scn_k (0 ≦ k ≦ m, k, m
Is an integer) and the next scanning line Scn_k (0 ≦ k
≦ m, k, and m are integers) corresponding point detection start point Scn_
and obtaining the search range Scn_rng starting from the corresponding point detection start point Scn_strt and generating the shortest search range information 24a.
【００９２】請求項２６に記載の発明に依れば、請求項
１１に記載の効果と同様の効果を奏する。According to the twenty-sixth aspect, the same effect as the eleventh aspect can be obtained.
【００９３】請求項２７に記載の発明は、請求項２４又
は２６に記載の障害物検出方法において、前記左画像情
報２０_L並びに前記右画像情報２０_R、及び当該左画像
情報２０_Lと当該右画像情報２０_Rとの視差Ｐｒｌｘに
基づいて、前記ステレオ画像情報３２ａを作成する工程
を有するステレオ画像演算工程と、前記ステレオ画像情
報３２ａを表示する工程を有する表示工程とを有する、
ことを特徴とする障害物検出方法である。The invention according to claim 27 is the obstacle detecting method according to claim 24 or 26, wherein the left image information 20_L, the right image information 20_R, the left image information 20_L, and the right image information 20_R. A stereo image calculation step having a step of creating the stereo image information 32a based on a parallax Prlx of the following, and a display step having a step of displaying the stereo image information 32a.
An obstacle detection method is characterized in that:
【００９４】請求項２７に記載の発明に依れば、請求項
１２に記載の効果と同様の効果を奏する。According to the twenty-seventh aspect, the same effect as that of the twelfth aspect is obtained.
【００９５】請求項２８に記載の発明は、請求項１６乃
至２７のいずれか一項に記載の障害物検出方法におい
て、前記表示工程は、前記ステレオ画像情報３２ａを表
示すると共に、監視領域１２内に存在する各障害物１４
に対応した前記距離情報２８ａを障害物１４毎に表示す
る工程を有する、ことを特徴とする障害物検出方法であ
る。According to a twenty-eighth aspect of the present invention, in the obstacle detecting method according to any one of the sixteenth to twenty-seventh aspects, the display step displays the stereo image information 32a and displays the stereo image information 32a in the monitoring area 12. Obstacles 14 present in
And displaying the distance information 28a corresponding to each of the obstacles 14 for each obstacle 14.
【００９６】請求項２８に記載の発明に依れば、請求項
１３に記載の効果と同様の効果を奏する。According to the twenty-eighth aspect, the same effect as the thirteenth aspect can be obtained.
【００９７】請求項２９に記載の発明は、請求項１６乃
至２８のいずれか一項に記載の障害物検出方法におい
て、前記表示工程は、前記ステレオ画像情報３２ａを表
示する工程と、前工程と共に、監視領域１２内に存在す
る各障害物１４に対応した前記距離情報２８ａに基づい
て、当該障害物１４の中から、車両１１の走行方向の監
視領域１２に対して最も車両１１に近い位置に存在する
障害物１４を前記表示色を変更して表示する工程とを有
する、ことを特徴とする障害物検出方法である。According to a twenty-ninth aspect of the present invention, in the obstacle detection method according to any one of the sixteenth to twenty-eighth aspects, the displaying step includes a step of displaying the stereo image information 32a and a step of displaying the stereo image information 32a. Based on the distance information 28a corresponding to each obstacle 14 existing in the monitoring area 12, based on the distance information 28a, the obstacle 14 is located at a position closest to the vehicle 11 with respect to the monitoring area 12 in the traveling direction of the vehicle 11. Displaying the existing obstacle 14 by changing the display color.
【００９８】請求項２９に記載の発明に依れば、請求項
１４に記載の効果と同様の効果を奏する。According to the twenty-ninth aspect, the same effect as that of the fourteenth aspect can be obtained.
【００９９】請求項３０に記載の発明は、請求項１６乃
至２９のいずれか一項に記載の障害物検出方法におい
て、前記表示工程は、前記ステレオ画像情報３２ａを表
示する工程と、前工程と共に、監視領域１２内に存在す
る各障害物１４に対応した前記距離情報２８ａに基づい
て、当該障害物１４の中から、車両１１の走行方向の監
視領域１２に対して最も車両１１に近い位置に存在する
障害物１４を前記表示色を変更して表示する工程と、前
工程と共に、当該障害物１４に対応した前記距離情報２
８ａを表示する工程とを有する、ことを特徴とする障害
物検出方法である。According to a thirtieth aspect of the present invention, in the obstacle detecting method according to any one of the sixteenth to twenty-ninth aspects, the display step includes the step of displaying the stereo image information 32a and the preceding step. Based on the distance information 28 a corresponding to each obstacle 14 existing in the monitoring area 12, the obstacle 14 is located at a position closest to the vehicle 11 with respect to the monitoring area 12 in the traveling direction of the vehicle 11. A step of displaying the existing obstacle 14 by changing the display color, and the distance information 2 corresponding to the obstacle 14 together with the previous step.
And displaying an 8a. 8b.
【０１００】請求項３０に記載の発明に依れば、請求項
１５に記載の効果と同様の効果を奏する。According to the thirty-fifth aspect, the same effect as that of the fifteenth aspect can be obtained.
【０１０１】請求項３１に記載の発明は、車両１１の周
辺における監視領域１２の左画像及び右画像を撮像する
プログラムステップと、得られた左画像と右画像との視
差Ｐｒｌｘに基づいて障害物１４と車両１１との間の距
離Ｌを検知して監視領域１２を監視するプログラムステ
ップとを有する請求項１６乃至３０のいずれか一項に記
載の障害物検出方法を実行するための障害物検出プログ
ラムを記憶した、コンピュータで読み取り可能な媒体で
あって、前記左画像又は右画像に対して所定の走査線Ｓ
ｃｎ_k(0≦k≦m，k,mは整数)間隔で実行されるスキャニ
ング動作を実行するプログラムステップと、前プログラ
ムステップに応じて、前記左画像又は右画像に含まれる
少なくとも１つ以上の障害物１４の画像について前記特
徴点を抽出するプログラムステップと、前プログラムス
テップと共に、前記左画像又は右画像の何れか一方の前
記特徴点に対応する前記他方の画像の前記特徴点を前記
対応点Ｑ_i(0≦i≦n，i,nは整数)として検出する前記ス
キャニング動作のプログラムステップを実行する際に当
該他方の画像において複数の前記特徴点が検出された場
合に、これらの特徴点と当該一方の画像における特徴点
との前記画像相関関係を求めるプログラムステップと、
前プログラムステップに続いて、当該一方の画像の特徴
点に対して最も画像相関関係の強い当該他方の画像の特
徴点を当該一方の画像の特徴点に対応する当該他方の画
像の対応点Ｑ_i(0≦i≦n，i,nは整数)として選択するプ
ログラムステップと、前プログラムステップに続いて、
当該一方の画像の特徴点とこれに対応する当該対応点Ｑ
_i(0≦i≦n，i,nは整数)とに基づいて当該特徴点毎の視
差Ｐｒｌｘを求めるプログラムステップと、前プログラ
ムステップに続いて、各障害物１４と車両１１との間の
距離Ｌを各々検知して監視領域１２を監視するプログラ
ムステップとを有する、ことを特徴とする障害物検出プ
ログラムを記憶した媒体である。According to a thirty-first aspect of the present invention, an obstacle is determined based on a program step of capturing a left image and a right image of the monitoring area 12 around the vehicle 11, and a parallax Prlx between the obtained left image and right image. Obstacle detection for performing the obstacle detection method according to any one of claims 16 to 30, further comprising a program step of detecting a distance L between the vehicle 14 and the vehicle 11 and monitoring the monitoring area 12. A computer-readable medium storing a program, wherein a predetermined scanning line S is provided for the left image or the right image.
a program step for performing a scanning operation executed at intervals of cn_k (0 ≦ k ≦ m, k and m are integers), and at least one or more obstacles included in the left image or the right image according to a previous program step A program step of extracting the feature points of the image of the object 14 and a preceding program step, the feature points of the other image corresponding to the feature points of either the left image or the right image are converted to the corresponding points Q_i. (0 ≦ i ≦ n, i, n are integers) When executing the program step of the scanning operation to detect as a plurality of the feature points in the other image, these feature points and the corresponding Program steps for determining the image correlation with feature points in one image,
Subsequent to the previous program step, the feature point of the other image having the strongest image correlation with the feature point of the one image is changed to the corresponding point Q_i ( 0 ≦ i ≦ n, i, n are integers), and following the previous program step,
The feature point of the one image and the corresponding point Q corresponding thereto
_i (0 ≦ i ≦ n, i, n is an integer) based on a program step for obtaining the parallax Prlx for each feature point, and following the previous program step, the distance between each obstacle 14 and the vehicle 11 And a program step of monitoring the monitoring area 12 by detecting each L.
【０１０２】請求項３１に記載の発明に依れば、請求項
１に記載の効果と同様の効果を奏する。According to the thirty-first aspect of the present invention, the same effects as those of the first aspect can be obtained.
【０１０３】請求項３２に記載の発明は、請求項３１に
記載の障害物検出プログラムを記憶した媒体において、
各障害物１４に対して前記スキャニング動作のプログラ
ムステップを実行する際に、前記探索範囲Ｓｃｎ_rngを
当該各障害物１４と車両１１との距離Ｌに応じて最も短
くなるように選択するプログラムステップと、前プログ
ラムステップに続いて、当該特徴点及び当該最短の探索
範囲Ｓｃｎ_rngを用いて当該各障害物１４に対する前記
スキャニング動作を各々実行して前記対応点Ｑ_i(0≦i
≦n，i,nは整数)を検出するプログラムステップと、前
プログラムステップと共に、当該検出した前記各対応点
Ｑ_i(0≦i≦n，i,nは整数)に基づいて当該特徴点毎の視
差Ｐｒｌｘを求めるプログラムステップと、前プログラ
ムステップに続いて、各障害物１４と車両１１との間の
距離Ｌを各々検知して監視領域１２を監視するプログラ
ムステップとを有する、ことを特徴とする障害物検出プ
ログラムを記憶した媒体である。According to a thirty-second aspect of the present invention, there is provided a medium storing the obstacle detection program according to the thirty-first aspect, wherein:
A program step of selecting the search range Scn_rng to be the shortest according to the distance L between each of the obstacles 14 and the vehicle 11 when executing the scanning operation program steps for each of the obstacles 14; Subsequent to the previous program step, the scanning operation for each of the obstacles 14 is executed using the feature point and the shortest search range Scn_rng to execute the corresponding point Q_i (0 ≦ i
≦ n, i, n are integers), and a preceding program step, together with the corresponding corresponding point Q_i (0 ≦ i ≦ n, i, n are integers). A program step for detecting the distance L between each of the obstacles 14 and the vehicle 11 and monitoring the monitoring area 12 is provided, following the program step for obtaining the parallax Prlx and the preceding program step. This is a medium that stores an obstacle detection program.
【０１０４】請求項３２に記載の発明に依れば、請求項
２に記載の効果と同様の効果を奏する。According to the thirty-second aspect, the same effect as the second aspect can be obtained.
【０１０５】請求項３３に記載の発明は、請求項３１又
は３２に記載の障害物検出プログラムを記憶した媒体に
おいて、最も近くに存在する障害物１４に対して前記ス
キャニング動作のプログラムステップを実行する際に、
前記探索範囲Ｓｃｎ_rngを当該各障害物１４と車両１１
との距離Ｌに応じて最も短くなるように選択するプログ
ラムステップと、前プログラムステップに続いて、当該
特徴点及び当該最短の探索範囲Ｓｃｎ_rngを用いて当該
各障害物１４に対する前記スキャニング動作を各々実行
して前記対応点Ｑ_i(0≦i≦n，i,nは整数)を検出するプ
ログラムステップと、前プログラムステップと共に、当
該検出した前記各対応点Ｑ_i(0≦i≦n，i,nは整数)に基
づいて当該特徴点毎の視差Ｐｒｌｘを求めるプログラム
ステップと、前プログラムステップに続いて、各障害物
１４と車両１１との間の距離Ｌを各々検知して監視領域
１２を監視するプログラムステップとを有する、ことを
特徴とする障害物検出プログラムを記憶した媒体であ
る。According to a thirty-third aspect of the present invention, in the medium storing the obstacle detecting program according to the thirty-first or thirty-second aspect, the program step of the scanning operation is executed on the nearest obstacle 14. At that time,
The search range Scn_rng is set to each of the obstacles 14 and the vehicle 11.
And a scanning step for each of the obstacles 14 using the feature point and the shortest search range Scn_rng, following the program step of selecting the shortest according to the distance L between them and the previous program step. Then, together with a program step for detecting the corresponding point Q_i (0 ≦ i ≦ n, i, n is an integer) and a previous program step, each detected corresponding point Q_i (0 ≦ i ≦ n, i, n is A program step for obtaining the parallax Prlx for each feature point based on the integer number) and a program for monitoring the monitoring area 12 by detecting the distance L between each obstacle 14 and the vehicle 11 following the previous program step. And a medium storing an obstacle detection program, comprising:
【０１０６】請求項３３に記載の発明に依れば、請求項
３に記載の効果と同様の効果を奏する。According to the thirty-third aspect, the same effect as the third aspect can be obtained.
【０１０７】請求項３４に記載の発明は、請求項３２又
は３３に記載の障害物検出プログラムを記憶した媒体に
おいて、左画像又は右画像の何れか一方における前記各
特徴点に対応する当該左画像又は右画像の他方の前記特
徴点を前記対応点Ｑ_i(0≦i≦n，i,nは整数)として各々
検出するための前記スキャニング範囲である最短の探索
範囲Ｓｃｎ_rngの選択が走査線Ｓｃｎ_k(0≦k≦m，k,m
は整数)毎に実行されるプログラムステップと、前プロ
グラムステップに続いて、当該走査線Ｓｃｎ_k(0≦k≦
m，k,mは整数)毎に選択された最短の探索範囲Ｓｃｎ_rn
g内で当該対応点Ｑ_i(0≦i≦n，i,nは整数)を検出する
プログラムステップと、前プログラムステップに続い
て、当該特徴点及び当該最短の探索範囲Ｓｃｎ_rngを用
いて検出した対応点Ｑ_i(0≦i≦n，i,nは整数)に基づい
て視差Ｐｒｌｘを求めるプログラムステップとを有す
る、ことを特徴とする障害物検出プログラムを記憶した
媒体である。According to a thirty-fourth aspect of the present invention, in the medium storing the obstacle detection program according to the thirty-second or thirty-third aspect, the left image corresponding to each of the characteristic points in one of a left image and a right image. Alternatively, the shortest search range Scn_rng, which is the scanning range for detecting the other feature point of the right image as the corresponding point Q_i (0 ≦ i ≦ n, i, n is an integer), is selected by the scanning line Scn_k ( 0 ≦ k ≦ m, k, m
Following the program step executed for each scanning line and the previous program step, the scanning line Scn_k (0 ≦ k ≦
The shortest search range Scn_rn selected for each (m, k, m is an integer)
A program step for detecting the corresponding point Q_i (0 ≦ i ≦ n, i, n is an integer) in g, and a corresponding step detected using the feature point and the shortest search range Scn_rng following the previous program step And a program step of obtaining a parallax Prlx based on a point Q_i (0 ≦ i ≦ n, i, n is an integer).
【０１０８】請求項３４に記載の発明に依れば、請求項
４に記載の効果と同様の効果を奏する。According to the thirty-fourth aspect, the same effect as that of the fourth aspect is obtained.
【０１０９】請求項３５に記載の発明は、請求項３１乃
至３４のいずれか一項に記載の障害物検出プログラムを
記憶した媒体において、前記視差Ｐｒｌｘを前記走査線
Ｓｃｎ_k(0≦k≦m，k,mは整数)毎に各々求めるプログラ
ムステップと、前プログラムステップと共に、当該求め
られた視差Ｐｒｌｘに基づいて障害物１４と車両１１と
の間の距離Ｌを当該走査線Ｓｃｎ_k(0≦k≦m，k,mは整
数)毎に検知するプログラムステップとを有する、こと
を特徴とする障害物検出プログラムを記憶した媒体であ
る。According to a thirty-fifth aspect of the present invention, in the medium storing the obstacle detection program according to any one of the thirty-first to thirty-fourth aspects, the parallax Prlx is determined by using the scanning line Scn_k (0 ≦ k ≦ m, The distance L between the obstacle 14 and the vehicle 11 is determined based on the obtained parallax Prlx together with the program step for each of k and m for each of the integers (k and m are integers) and the scan line Scn_k (0 ≦ k ≦ a program step for detecting each of m, k, and m is an integer).
【０１１０】請求項３５に記載の発明に依れば、請求項
５に記載の効果と同様の効果を奏する。According to the thirty-fifth aspect of the invention, the same effect as that of the fifth aspect is obtained.
【０１１１】請求項３６に記載の発明は、請求項３５に
記載の障害物検出プログラムを記憶した媒体において、
前記走査線Ｓｃｎ_k(0≦k≦m，k,mは整数)毎に検知した
距離Ｌに基づいて、監視領域１２内に存在する障害物１
４の中から、車両１１の走行方向の監視領域１２に対し
て最も車両１１に近い位置に存在する障害物１４を指定
するプログラムステップとを有する、ことを特徴とする
障害物検出プログラムを記憶した媒体である。According to a thirty-sixth aspect of the present invention, there is provided a medium storing the obstacle detection program according to the thirty-fifth aspect,
Based on the distance L detected for each scanning line Scn_k (0 ≦ k ≦ m, where k and m are integers), an obstacle 1 existing in the monitoring area 12 is determined.
And a program step for designating an obstacle 14 located closest to the vehicle 11 with respect to the monitoring area 12 in the traveling direction of the vehicle 11 among the obstacle detection programs. Medium.
【０１１２】請求項３６に記載の発明に依れば、請求項
６に記載の効果と同様の効果を奏する。According to the thirty-sixth aspect, the same effect as that of the sixth aspect is obtained.
【０１１３】請求項３７に記載の発明は、請求項３５又
は３６に記載の障害物検出プログラムを記憶した媒体に
おいて、前記スキャニング動作において、障害物１４と
車両１１との間の距離Ｌ毎に予め求めるプログラムステ
ップと、前記予め求めておいた前記走査線Ｓｃｎ_k(0≦
k≦m，k,mは整数)と視差Ｐｒｌｘとの前記関係式ｆｎｃ
に、前記走査線Ｓｃｎ_k(0≦k≦m，k,mは整数)毎に各々
求められた視差Ｐｒｌｘ及び当該走査線Ｓｃｎ_k(0≦k
≦m，k,mは整数)の前記条件を代入するプログラムステ
ップと、当該関係式ｆｎｃに基づいて障害物１４と車両
１１との間の距離Ｌを当該走査線Ｓｃｎ_k(0≦k≦m，k,
mは整数)毎に検知するプログラムステップとを有する、
ことを特徴とする障害物検出プログラムを記憶した媒体
である。According to a thirty-seventh aspect of the present invention, in the medium storing the obstacle detection program according to the thirty-fifth or thirty-sixth aspect, in the scanning operation, the obstacle detection device is provided with a program for each distance L between the obstacle 14 and the vehicle 11 in advance. The program step to be determined, and the scanning line Scn_k (0 ≦
k ≦ m, k and m are integers) and the parallax Prlx, the relational expression fnc
In addition, the parallax Prlx calculated for each of the scanning lines Scn_k (0 ≦ k ≦ m, where k and m are integers) and the scanning lines Scn_k (0 ≦ k
≦ m, k, and m are integers), and the distance L between the obstacle 14 and the vehicle 11 based on the relational expression fnc is set to the scanning line Scn_k (0 ≦ k ≦ m, k,
m is an integer).
A medium storing an obstacle detection program characterized by the following.
【０１１４】請求項３７に記載の発明に依れば、請求項
７に記載の効果と同様の効果を奏する。According to the thirty-seventh aspect, the same effect as the seventh aspect can be obtained.
【０１１５】請求項３８に記載の発明は、請求項３５乃
至３７のいずれか一項に記載の障害物検出プログラムを
記憶した媒体において、前記スキャニング動作において
次の走査線Ｓｃｎ_k(0≦k≦m，k,mは整数)上で前記特徴
点が抽出されて前記対応点Ｑ_i(0≦i≦n，i,nは整数)の
抽出プログラムステップが実行される際に、直前までの
走査線Ｓｃｎ_l（１≦ｌ≦m，l,mは整数）毎に求められ
ている距離Ｌの中から最短距離Ｌ_minＬに対応する前記
関係式ｆｎｃを選択するプログラムステップと、前プロ
グラムステップと共に、当該選択した関係式ｆｎｃと当
該次走査線Ｓｃｎ_k(0≦k≦m，k,mは整数)との関係の基
づいて当該次走査線Ｓｃｎ_k(0≦k≦m，k,mは整数)に対
する前記対応点Ｑ_i(0≦i≦n，i,nは整数)の対応点検出
開始点Ｓｃｎ_strt、及び当該対応点検出開始点Ｓｃｎ_
strtを始点とする前記探索範囲Ｓｃｎ_rngを求めるプロ
グラムステップとを有する、ことを特徴とする障害物検
出プログラムを記憶した媒体である。According to a thirty-eighth aspect of the present invention, in the medium storing the obstacle detection program according to any one of the thirty-fifth to thirty-seventh aspects, in the scanning operation, the next scanning line Scn_k (0 ≦ k ≦ m , K, m are integers) when the feature point is extracted and the corresponding point Q_i (0 ≦ i ≦ n, i, n is an integer) extraction program step is executed, the scanning line Scn_l immediately before A program step of selecting the relational expression fnc corresponding to the shortest distance L_minL from the distances L obtained for each (1 ≦ l ≦ m, l, m are integers), and a previous program step together with the selected relation. The corresponding point Q_i for the next scanning line Scn_k (0 ≦ k ≦ m, k, m is an integer) based on the relationship between the expression fnc and the next scanning line Scn_k (0 ≦ k ≦ m, k, m is an integer). (0 ≦ i ≦ n, i, n is an integer) corresponding point detection start point Scn_strt and corresponding point detection The starting point Scn_
and a program step of calculating the search range Scn_rng starting from strt.
【０１１６】請求項３８に記載の発明に依れば、請求項
８に記載の効果と同様の効果を奏する。According to the thirty-eighth aspect of the present invention, the same effect as the eighth aspect can be obtained.
【０１１７】請求項３９に記載の発明は、請求項３８に
記載の障害物検出プログラムを記憶した媒体において、
前記左右２台の撮像手段であって、前記左画像情報２０
_L及び前記右画像情報２０_Rを生成するプログラムステ
ップを含む画像読取プロセスと、前記左画像情報２０_L
又は前記右画像情報２０_Rに対して所定の走査線Ｓｃｎ
_k(0≦k≦m，k,mは整数)間隔で前記スキャニング動作を
制御するプログラムステップを含む画像操作プロセス
と、前記スキャニング動作に応じて、前記左画像情報２
０_L又は前記右画像情報２０_Rに含まれる障害物１４の
画像の前記特徴点情報２２ａを抽出するプログラムステ
ップを含む特徴点抽出プロセスと、前記スキャニング動
作における同一走査線Ｓｃｎ_k(0≦k≦m，k,mは整数)上
で、前記左画像情報２０_L又は前記右画像情報２０_Rの
何れか一方の前記特徴点に対応する当該左画像情報２０
_L又は右画像情報２０_Rの他方の前記特徴点を前記対応
点Ｑ_i(0≦i≦n，i,nは整数)として検出するための前記
最短の探索範囲Ｓｃｎ_rngを当該走査線Ｓｃｎ_k(0≦k
≦m，k,mは整数)毎に各々求めて前記最短探索範囲情報
２４ａを当該走査線Ｓｃｎ_k(0≦k≦m，k,mは整数)毎に
各々生成するプロセスであって、前記探索範囲Ｓｃｎ_r
ngを最も短くなるように選択するプログラムステップ
と、前プログラムステップに依って、最短の探索範囲Ｓ
ｃｎ_rngを求めて前記最短探索範囲情報２４ａを生成す
るプログラムステップを含む探索範囲最適化プロセス
と、前記走査線Ｓｃｎ_k(0≦k≦m，k,mは整数)毎の前記
探索範囲情報２６ａに応じて前記左画像又は右画像に対
して所定の走査線Ｓｃｎ_k(0≦k≦m，k,mは整数)間隔で
前記スキャニング動作を実行するプロセスであって、左
画像又は右画像に含まれる少なくとも１つ以上の障害物
１４の画像と当該スキャニング動作における各特徴点を
抽出するプログラムステップと、前プログラムステップ
と共に、前記一方の画像における前記各特徴点に対応す
る前記対応点Ｑ_i(0≦i≦n，i,nは整数)を各々検出する
プログラムステップの際に前記他方の画像において複数
の前記特徴点が検出された場合に、これらの特徴点と当
該一方の画像における特徴点との前記画像相関関係を求
めるプログラムステップと、前プログラムステップに続
いて、当該一方の画像の特徴点に対して最も画像相関関
係の強い当該他方の画像の特徴点を当該一方の画像の特
徴点に対応する当該他方の画像の前記対応点Ｑ_i(0≦i
≦n，i,nは整数)として選択するプログラムステップ
と、前プログラムステップに続いて、前記対応点Ｑ_i(0
≦i≦n，i,nは整数)情報２６ａを当該走査線Ｓｃｎ_k(0
≦k≦m，k,mは整数)毎に各々生成するプログラムステッ
プを含む対応点Ｑ_i(0≦i≦n，i,nは整数)検出プロセス
と、前記スキャニング動作プログラムステップにおい
て、前記左画像情報２０_L又は前記右画像情報２０_Rの
何れか一方の前記特徴点と当該特徴点に対応する当該左
画像情報２０_L又は右画像情報２０_Rの他方の前記対応
点Ｑ_i(0≦i≦n，i,nは整数)との視差Ｐｒｌｘを前記走
査線Ｓｃｎ_k(0≦k≦m，k,mは整数)毎に各々求めるプロ
グラムステップと、前プログラムステップと共に、当該
求められた視差Ｐｒｌｘに基づいて障害物１４と車両１
１との間の距離Ｌを当該走査線Ｓｃｎ_k(0≦k≦m，k,m
は整数)毎に検知するプログラムステップと、前プログ
ラムステップに依って当該走査線Ｓｃｎ_k(0≦k≦m，k,
mは整数)毎に前記距離情報２８ａを各々生成するプログ
ラムステップを含む距離Ｌ演算プロセスと、監視領域１
２内に存在する各障害物１４に対応した前記距離情報２
８ａに基づいて、当該障害物１４の中から、車両１１の
走行方向の監視領域１２に対して最も車両１１に近い位
置に存在する障害物１４を指定するプログラムステップ
を含む障害物１４監視プロセスとを有する、ことを特徴
とする障害物検出プログラムを記憶した媒体である。According to a thirty-ninth aspect of the present invention, there is provided a medium storing the obstacle detection program according to the thirty-eighth aspect,
The left and right image pickup means, wherein the left image information 20
_L and an image reading process including program steps for generating the right image information 20_R;
Alternatively, a predetermined scanning line Scn is applied to the right image information 20_R.
_k (0 ≦ k ≦ m, where k and m are integers), an image operation process including a program step for controlling the scanning operation, and the left image information 2 according to the scanning operation.
0_L or a feature point extraction process including a program step of extracting the feature point information 22a of the image of the obstacle 14 included in the right image information 20_R, and the same scanning line Scn_k (0 ≦ k ≦ m, k) in the scanning operation. , m is an integer) on the left image information 20_L or the right image information 20_R.
_L or the other feature point of the right image information 20_R as the corresponding point Q_i (0 ≦ i ≦ n, i, n is an integer) is set to the shortest search range Scn_rng by the scanning line Scn_k (0 ≦ k
≦ m, k, m are integers), and the shortest search range information 24a is generated for each scanning line Scn_k (0 ≦ k ≦ m, k, m is an integer). Range Scn_r
The shortest search range S is determined by the program step of selecting ng to be the shortest and the previous program step.
A search range optimization process including a program step of obtaining the cn_rng to generate the shortest search range information 24a, and the search range information 26a for each of the scanning lines Scn_k (0 ≦ k ≦ m, where k and m are integers) And performing the scanning operation at predetermined scanning line Scn_k (0 ≦ k ≦ m, k, m is an integer) at intervals on the left image or the right image. A program step for extracting an image of one or more obstacles 14 and each feature point in the scanning operation, and a previous program step, the corresponding point Q_i (0 ≦ i ≦) corresponding to each feature point in the one image. (n, i, n are integers), when a plurality of the feature points are detected in the other image in the program step of detecting each of the feature points, the feature point and the feature point in the one image are detected. Following the program step of calculating the image correlation and the previous program step, the feature point of the other image having the strongest image correlation with the feature point of the one image corresponds to the feature point of the one image. The corresponding point Q_i (0 ≦ i
≦ n, i, n are integers), and following the previous program step, the corresponding point Q_i (0
≦ i ≦ n, i, n are integers) The information 26a is transferred to the scanning line Scn_k (0
A corresponding point Q_i (0 ≦ i ≦ n, i, n is an integer) detecting process including a program step for generating each of ≦ k ≦ m, k, m is an integer), and Information 20_L or the right image information 20_R, and the corresponding point Q_i (0 ≦ i ≦ n, i, n) of the other of the left image information 20_L or the right image information 20_R corresponding to the characteristic point. Is an integer) and a program step for each of the scanning lines Scn_k (0 ≦ k ≦ m, where k and m are integers), together with the previous program step, the obstacle 14 based on the obtained parallax Prlx. And vehicle 1
1 is set to the scanning line Scn_k (0 ≦ k ≦ m, k, m
Is an integer) and the scanning line Scn_k (0 ≦ k ≦ m, k,
a distance L calculation process including a program step for generating the distance information 28a for each of
The distance information 2 corresponding to each obstacle 14 existing in the area 2
8a, an obstacle 14 monitoring process including a program step of designating an obstacle 14 located closest to the vehicle 11 with respect to the monitoring area 12 in the traveling direction of the vehicle 11 from the obstacles 14; And a storage medium storing an obstacle detection program characterized by having:
【０１１８】請求項３９に記載の発明に依れば、請求項
９に記載の効果と同様の効果を奏する。According to the thirty-ninth aspect, the same effect as the ninth aspect can be obtained.
【０１１９】請求項４０に記載の発明は、請求項３９に
記載の障害物検出プログラムを記憶した媒体において、
前記距離Ｌ演算プロセスとは、前記スキャニング動作プ
ログラムステップにおいて、障害物１４と車両１１との
間の距離Ｌ毎に前記関係式ｆｎｃを予め求めるプログラ
ムステップと、前プログラムステップに続いて、前記走
査線Ｓｃｎ_k(0≦k≦m，k,mは整数)毎に各々求められた
視差Ｐｒｌｘ及び当該走査線Ｓｃｎ_k(0≦k≦m，k,mは
整数)の条件を当該関係式ｆｎｃに代入するプログラム
ステップと、前プログラムステップに依り、当該関係式
ｆｎｃに基づいて障害物１４と車両１１との間の距離Ｌ
を当該走査線Ｓｃｎ_k(0≦k≦m，k,mは整数)毎に検知す
るプログラムステップと、前プログラムステップに続い
て、当該走査線Ｓｃｎ_k(0≦k≦m，k,mは整数)毎に前記
距離情報２８ａを各々生成するプログラムステップを有
する、ことを特徴とする障害物検出プログラムを記憶し
た媒体である。[0119] The invention according to claim 40 is the medium in which the obstacle detection program according to claim 39 is stored,
The distance L calculation process includes, in the scanning operation program step, a program step of previously obtaining the relational expression fnc for each distance L between the obstacle 14 and the vehicle 11; The conditions of the parallax Prlx and the scanning line Scn_k (0 ≦ k ≦ m, where k and m are integers) obtained for each Scn_k (0 ≦ k ≦ m and k and m are integers) are substituted into the relational expression fnc. According to the program step and the previous program step, the distance L between the obstacle 14 and the vehicle 11 is determined based on the relational expression fnc.
For each scanning line Scn_k (0 ≦ k ≦ m, k and m are integers), and following the previous program step, the scanning line Scn_k (0 ≦ k ≦ m, k and m are integers) A medium storing an obstacle detection program, comprising: a program step of generating the distance information 28a for each of them.
【０１２０】請求項４０に記載の発明に依れば、請求項
１０に記載の効果と同様の効果を奏する。According to the fortieth aspect, the same effect as that of the tenth aspect can be obtained.
【０１２１】請求項４１に記載の発明は、請求項３９に
記載の障害物検出プログラムを記憶した媒体において、
前記探索範囲最適化プロセスとは、前記スキャニング動
作プログラムステップにおいて次の走査線Ｓｃｎ_k(0≦
k≦m，k,mは整数)上で前記特徴点が抽出されて前記対応
点Ｑ_i(0≦i≦n，i,nは整数)の抽出が実行されるプログ
ラムステップの際に、直前までの走査線Ｓｃｎ_l（１≦
ｌ≦m，l,mは整数）毎に求められている前記距離情報２
８ａの中から最短の当該距離情報２８ａに対応する前記
関係式ｆｎｃを選択するプログラムステップと、前プロ
グラムステップと共に、当該選択した関係式ｆｎｃと当
該次走査線Ｓｃｎ_k(0≦k≦m，k,mは整数)との関係の基
づいて当該次走査線Ｓｃｎ_k(0≦k≦m，k,mは整数)に対
する前記対応点検出開始点Ｓｃｎ_strt、及び当該対応
点検出開始点Ｓｃｎ_strtを始点とする前記探索範囲Ｓ
ｃｎ_rngを求めて前記最短探索範囲情報２４ａを生成す
るプログラムステップを有する、ことを特徴とする障害
物検出プログラムを記憶した媒体である。According to the invention described in claim 41, in the medium storing the obstacle detection program described in claim 39,
The search range optimizing process means that the next scanning line Scn_k (0 ≦
In a program step in which the feature points are extracted on k ≦ m, k, and m are integers, and the corresponding point Q_i (0 ≦ i ≦ n, i, n is an integer) is executed, Scan line Scn_l (1 ≦
The distance information 2 obtained for each l ≦ m, l and m are integers)
8a, a program step for selecting the relational expression fnc corresponding to the shortest distance information 28a, and a previous program step, together with the selected relational expression fnc and the next scan line Scn_k (0 ≦ k ≦ m, k, the corresponding point detection start point Scn_strt for the next scanning line Scn_k (0 ≦ k ≦ m, where k and m are integers), and the corresponding point detection start point Scn_strt based on the relationship with Search range S
A medium storing an obstacle detection program, comprising: a program step of calculating cn_rng to generate the shortest search range information 24a.
【０１２２】請求項４１に記載の発明に依れば、請求項
１１に記載の効果と同様の効果を奏する。According to the invention described in claim 41, the same effect as the effect described in claim 11 can be obtained.
【０１２３】請求項４２に記載の発明は、請求項３９又
は４１に記載の障害物検出プログラムを記憶した媒体に
おいて、前記左画像情報２０_L並びに前記右画像情報２
０_R、及び当該左画像情報２０_Lと当該右画像情報２０
_Rとの視差Ｐｒｌｘに基づいて、前記ステレオ画像情報
３２ａを作成するプログラムステップを有するステレオ
画像演算プログラムステップと、前記ステレオ画像情報
３２ａを表示するプログラムステップを有する表示プロ
セスを有する、ことを特徴とする障害物検出プログラム
を記憶した媒体である。According to a twenty-second aspect of the present invention, in the medium storing the obstacle detection program according to the thirty-ninth or forty-first aspect, the left image information 20_L and the right image information 2
0_R, the left image information 20_L and the right image information 20
A stereo image calculation program step having a program step of creating the stereo image information 32a based on a parallax Prlx with _R, and a display process having a program step of displaying the stereo image information 32a. This is a medium that stores an obstacle detection program.
【０１２４】請求項４２に記載の発明に依れば、請求項
１２に記載の効果と同様の効果を奏する。According to the invention described in claim 42, the same effect as the effect described in claim 12 can be obtained.
【０１２５】請求項４３に記載の発明は、請求項３１乃
至４２のいずれか一項に記載の障害物検出プログラムを
記憶した媒体において、前記表示プロセスは、前記ステ
レオ画像情報３２ａを表示すると共に、監視領域１２内
に存在する各障害物１４に対応した前記距離情報２８ａ
を障害物１４毎に表示するプログラムステップを有す
る、ことを特徴とする障害物検出プログラムを記憶した
媒体である。According to a 43rd aspect of the present invention, in the medium storing the obstacle detection program according to any one of the 31st to 42nd aspects, the display process displays the stereo image information 32a, The distance information 28a corresponding to each obstacle 14 existing in the monitoring area 12
And a program step of displaying an obstacle detection program for each obstacle 14.
【０１２６】請求項４３に記載の発明に依れば、請求項
１３に記載の効果と同様の効果を奏する。According to the forty-third aspect, the same effect as the thirteenth aspect can be obtained.
【０１２７】請求項４４に記載の発明は、請求項３１乃
至４３のいずれか一項に記載の障害物検出プログラムを
記憶した媒体において、前記表示プロセスは、前記ステ
レオ画像情報３２ａを表示するプログラムステップと、
前プログラムステップと共に、監視領域１２内に存在す
る各障害物１４に対応した前記距離情報２８ａに基づい
て、当該障害物１４の中から、車両１１の走行方向の監
視領域１２に対して最も車両１１に近い位置に存在する
障害物１４を前記表示色を変更して表示するプログラム
ステップを有する、ことを特徴とする障害物検出プログ
ラムを記憶した媒体である。According to a 44th aspect of the present invention, in the medium storing the obstacle detection program according to any one of the 31st to 43rd aspects, the display process includes a step of displaying the stereo image information 32a. When,
Along with the previous program step, based on the distance information 28a corresponding to each obstacle 14 present in the monitoring area 12, the vehicle 11 And a program step of displaying the obstacle 14 existing at a position close to the above by changing the display color, and storing an obstacle detection program.
【０１２８】請求項４４に記載の発明に依れば、請求項
１４に記載の効果と同様の効果を奏する。According to the forty-fourth aspect, the same effect as that of the fourteenth aspect can be obtained.
【０１２９】請求項４５に記載の発明は、請求項３１乃
至４４のいずれか一項に記載の障害物検出プログラムを
記憶した媒体において、前記表示プロセスは、前記ステ
レオ画像情報３２ａを表示するプログラムステップと、
前プログラムステップと共に、監視領域１２内に存在す
る各障害物１４に対応した前記距離情報２８ａに基づい
て、当該障害物１４の中から、車両１１の走行方向の監
視領域１２に対して最も車両１１に近い位置に存在する
障害物１４を前記表示色を変更して表示するプログラム
ステップと、前プログラムステップと共に、当該障害物
１４に対応した前記距離情報２８ａを表示するプログラ
ムステップを有する、ことを特徴とする障害物検出プロ
グラムを記憶した媒体である。[0129] According to a 45th aspect of the present invention, in the medium storing the obstacle detection program according to any one of the 31st to 44th aspects, the display process includes a step of displaying the stereo image information 32a. When,
Along with the previous program step, based on the distance information 28a corresponding to each obstacle 14 present in the monitoring area 12, the vehicle 11 A program step of displaying the obstacle 14 existing at a position close to the obstacle by changing the display color, and a program step of displaying the distance information 28a corresponding to the obstacle 14 together with a previous program step. Is a medium that stores an obstacle detection program.
【０１３０】請求項４５に記載の発明に依れば、請求項
１５に記載の効果と同様の効果を奏する。According to the forty-fifth aspect, the same effect as that of the fifteenth aspect can be obtained.
【０１３１】[0131]
【発明の実施の形態】初めに、第１実施形態の車両周辺
監視装置の基本概念をを説明する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS First, the basic concept of a vehicle periphery monitoring device according to a first embodiment will be described.
【０１３２】本車両周辺監視装置１０は、バスやトラッ
ク等の車両１１に設置され車両１１の周辺における監視
領域１２の画像を撮像し、撮像された画像に基づいて車
両１１の周辺を監視する装置であり、車両１１に所定距
離Ｌ（単位は［ｍ］）だけ離間して設置された左右２台
の撮像手段（後述、図１参照、具体的には、ＣＣＤカメ
ラ）から構成されるステレオカメラに依り車両１１の周
辺における監視領域１２の左画像及び右画像を撮像し、
得られたステレオカメラの左画像と右画像との視差Ｐｒ
ｌｘ（単位は［画素］）に基づいて障害物１４と車両１
１との間の距離Ｌを検知して監視領域１２（後述、図２
参照）を監視する機能を有する。このような機能は、前
述の障害物検出プログラム内にプログラムコードとして
記述されている。The vehicle periphery monitoring device 10 is installed in a vehicle 11 such as a bus or a truck, and captures an image of a monitoring area 12 around the vehicle 11 and monitors the periphery of the vehicle 11 based on the captured image. And a stereo camera composed of two left and right image pickup means (see FIG. 1 described later, specifically, a CCD camera) installed at a predetermined distance L (unit is [m]) in the vehicle 11. Captures a left image and a right image of the monitoring area 12 around the vehicle 11 according to
Parallax Pr between the obtained left and right images of the stereo camera
Obstacle 14 and vehicle 1 based on lx (unit is [pixel])
1 and a monitoring area 12 (described later in FIG.
(See Reference). Such a function is described as a program code in the above-described obstacle detection program.
【０１３３】更に、車両周辺監視装置１０は、右画像に
対して所定の走査線Ｓｃｎ_k(0≦k≦8，kは整数)間隔
（単位は［画素］）で実行されるスキャニング動作に応
じて、左画像に含まれる少なくとも１つ以上の障害物１
４（具体的には、後述する、障害物１４Ａ，１４Ｂや路
画面、図７参照）の画像とスキャニング動作における各
走査線Ｓｃｎ_k(0≦k≦8，kは整数)との交点である特徴
点Ｐ_i(０≦i≦8，iは整数)（後述、図３参照）を抽出
する機能を有すると同時に、右画像の特徴点Ｐ_i(０≦i
≦8，iは整数)に対応する左画像の特徴点Ｐ_i(０≦i≦
8，iは整数)を対応点Ｑ_i(0≦i≦8，iは整数)（後述、
図３参照）として検出するスキャニング動作機能を実行
する際に左画像において障害物１４Ａ，１４Ｂや路画面
（図７参照）に対応して複数の特徴点Ｐ_i(０≦i≦8，i
は整数)が検出された場合に、これらの特徴点Ｐ_i(０≦
i≦8，iは整数)（則ち、対応点Ｑ_i(0≦i≦8，iは整数)
の候補点）と右画像における特徴点Ｐ_i(０≦i≦8，iは
整数)との画像相関関係（後述、図６、図８参照）を求
め、右画像の特徴点Ｐ_i(０≦i≦8，iは整数)に対して
最も画像相関関係の強い左画像の特徴点Ｐ_i(０≦i≦
8，iは整数)を右画像の特徴点Ｐ_i(０≦i≦8，iは整数)
に対応する左画像の対応点Ｑ_i(0≦i≦8，iは整数)とし
て選択し、右画像の特徴点Ｐ_i(０≦i≦8，iは整数)と
これに対応する対応点Ｑ_i(0≦i≦8，iは整数)とに基づ
いて特徴点Ｐ_i(０≦i≦8，iは整数)毎の視差Ｐｒｌｘ
を求めることに依り、各障害物１４と車両１１との間の
距離Ｌを各々検知して監視領域１２を監視する機能も有
している。このような機能は、前述の障害物検出プログ
ラム内にプログラムコードとして記述されている。Further, the vehicle periphery monitoring device 10 responds to the scanning operation performed at predetermined scan line Scn_k (0 ≦ k ≦ 8, k is an integer) intervals (unit is [pixel]) with respect to the right image. , At least one obstacle 1 included in the left image
4 (specifically, the obstacles 14A and 14B and the road screen, which will be described later, see FIG. 7) and the scanning line Scn_k (0 ≦ k ≦ 8, where k is an integer) in the scanning operation. At the same time as having a function of extracting a point P_i (0 ≦ i ≦ 8, i is an integer) (see FIG. 3 described later), a feature point P_i (0 ≦ i
≦ 8, i is an integer) and the feature point P_i (0 ≦ i ≦
8, i is an integer) and the corresponding point Q_i (0 ≦ i ≦ 8, i is an integer) (described later,
When executing the scanning operation function detected as (see FIG. 3), a plurality of feature points P_i (0 ≦ i ≦ 8, i) corresponding to the obstacles 14A and 14B and the road screen (see FIG. 7) in the left image.
Are detected, these feature points P_i (0 ≦
i ≦ 8, i is an integer) (ie, corresponding point Q_i (0 ≦ i ≦ 8, i is an integer)
) And a feature point P_i (0 ≦ i ≦ 8, i is an integer) in the right image (see FIGS. 6 and 8 described later), and a feature point P_i (0 ≦ i in the right image) is obtained. ≤8, i is an integer) and the feature point P_i (0 ≦ i ≦
8, i is an integer) and the feature point P_i of the right image (0 ≦ i ≦ 8, i is an integer)
Is selected as the corresponding point Q_i (0 ≦ i ≦ 8, i is an integer) of the left image, and the feature point P_i (0 ≦ i ≦ 8, i is an integer) of the right image and the corresponding point Q_i ( Parallax Prlx for each feature point P_i (0 ≦ i ≦ 8, i is an integer) based on 0 ≦ i ≦ 8, where i is an integer.
, The distance L between each obstacle 14 and the vehicle 11 is detected to monitor the monitoring area 12. Such a function is described as a program code in the above-described obstacle detection program.
【０１３４】このような機能を設けることに依り、複数
の障害物１４，…，１４が同時に画像内の同一走査線Ｓ
ｃｎ_k(0≦k≦8，kは整数)上に存在した状態でスキャニ
ング動作を実行した場合であっても、特徴点Ｐ_i(０≦i
≦8，iは整数)に対して最も画像相関関係の強い左画像
の特徴点Ｐ_i(０≦i≦8，iは整数)を対応点Ｑ_i(0≦i≦
8，iは整数)として選択して、正しい対応点Ｑ_i(0≦i≦
8，iは整数)を検出できるようになり、その結果、正し
い障害物検出が実行できるようになる。By providing such a function, a plurality of obstacles 14,...
Even when the scanning operation is executed in a state where the scanning point exists on cn_k (0 ≦ k ≦ 8, k is an integer), the characteristic point P_i (0 ≦ i
≦ 8, i is an integer) and the feature point P_i (0 ≦ i ≦ 8, i is an integer) of the left image having the strongest image correlation with the corresponding point Q_i (0 ≦ i ≦
8, i are integers), and correct corresponding points Q_i (0 ≦ i ≦
8, i is an integer), and as a result, correct obstacle detection can be performed.
【０１３５】更に、車両周辺監視装置１０は、右画像の
特徴点Ｐ_i(０≦i≦8，iは整数)に対応する左画像のの
特徴点Ｐ_i(０≦i≦8，iは整数)を対応点Ｑ_i(0≦i≦
8，iは整数)として検出するためのスキャニング範囲で
ある最短の探索範囲Ｓｃｎ_rng（単位は［画素］）の選
択が走査線Ｓｃｎ_k(0≦k≦8，kは整数)毎に実行されて
走査線Ｓｃｎ_k(0≦k≦8，kは整数)毎に選択された最短
の探索範囲Ｓｃｎ_rng内で対応点Ｑ_i(0≦i≦8，iは整
数)を検出する機能も有し、これに依り、特徴点Ｐ_i(０
≦i≦8，iは整数)及び最短の探索範囲Ｓｃｎ_rngを用い
て検出した対応点Ｑ_i(0≦i≦8，iは整数)に基づいて視
差Ｐｒｌｘを求め、各障害物１４と車両１１との間の距
離Ｌを各々検知して監視領域１２を監視する機能も有し
ている。このような機能は、前述の障害物検出プログラ
ム内にプログラムコードとして記述されている。Further, the vehicle periphery monitoring device 10 determines the characteristic point P_i (0 ≦ i ≦ 8, i is an integer) of the left image corresponding to the characteristic point P_i of the right image (0 ≦ i ≦ 8, i is an integer). To the corresponding point Q_i (0 ≦ i ≦
Selection of the shortest search range Scn_rng (unit is [pixel]), which is a scanning range for detection as 8, i is an integer, is executed for each scanning line Scn_k (0 ≦ k ≦ 8, k is an integer) and scanning is performed. It also has a function of detecting a corresponding point Q_i (0 ≦ i ≦ 8, i is an integer) within the shortest search range Scn_rng selected for each line Scn_k (0 ≦ k ≦ 8, k is an integer). , The feature point P_i (0
≦ i ≦ 8, i is an integer) and the corresponding point Q_i (0 ≦ i ≦ 8, i is an integer) detected using the shortest search range Scn_rng, to obtain the parallax Prlx. And has a function of monitoring the monitoring area 12 by detecting the distance L between them. Such a function is described as a program code in the above-described obstacle detection program.
【０１３６】このような機能を設けることに依り、最も
近くに存在する障害物１４と車両１１との距離Ｌに応じ
て探索範囲Ｓｃｎ_rngを最も短くなるように選択するこ
とに依って、車両１１からの距離Ｌが各々異なる複数の
障害物１４，…，１４（例えば、一方が車両１１の近く
に存在する障害物１４（具体的には、後述する障害物１
４Ａ、図４参照）、他方が障害物１４よりも車両１１か
ら遠くに存在する障害物１４（具体的には、後述する障
害物１４Ｂ、図４参照））が含まれるステレオ画像に対
して走査線Ｓｃｎ_k(0≦k≦8，kは整数)に沿って前述の
スキャニング動作をする場合、車両１１の一番近くに存
在する障害物１４（具体的には、障害物１４Ａ）に対し
て車両１１と障害物１４（１４Ａ）との間の視差Ｐｒｌ
ｘを測定できる程度に探索範囲Ｓｃｎ_rngを限定して設
定することが運転者の手を煩わせることなく可能とな
り、その結果、車両１１の安全走行に最も重要な役割を
果たす、車両１１の一番近くに存在する障害物１４に対
する車両１１−障害物１４間距離Ｌを短時間で求めて運
転者に迅速に報知することが可能となる効果を奏する。By providing such a function, the search range Scn_rng is selected to be the shortest according to the distance L between the nearest obstacle 14 and the vehicle 11, so that the vehicle 11 , 14 (for example, one of the obstacles 14 near the vehicle 11 (specifically, an obstacle 1 to be described later)
4A, see FIG. 4), and scanning the stereo image including an obstacle 14 (specifically, an obstacle 14B to be described later, see FIG. 4) that is farther from the vehicle 11 than the obstacle 14. When the above-described scanning operation is performed along the line Scn_k (0 ≦ k ≦ 8, where k is an integer), the obstacle 14 closest to the vehicle 11 (specifically, the obstacle 14A) is 11 between the obstacle 11 and the obstacle 14 (14A)
It is possible to set the search range Scn_rng limited to such an extent that x can be measured without the trouble of the driver, and as a result, the most important role of the vehicle 11 for the safe driving of the vehicle 11 is achieved. This has the effect that the distance L between the vehicle 11 and the obstacle 14 with respect to the nearby obstacle 14 can be obtained in a short time and the driver can be quickly notified.
【０１３７】この結果、障害物１４と車両１１との距離
Ｌの判断、及びこれらの判断に基づく障害物回避行動等
の車両周辺監視作業における運転者の労力を軽減するこ
とが可能となり、運転者が車両１１の操作に専念できる
ようになるといった効果を奏する。As a result, it is possible to reduce the driver's labor in the determination of the distance L between the obstacle 14 and the vehicle 11 and the vehicle periphery monitoring work such as the obstacle avoidance action based on the determination. Can concentrate on the operation of the vehicle 11.
【０１３８】更に、従来に比較して障害物１４を早期且
つ的確に発見でき、障害物１４の発見の早期警報が可能
となり、故に、早期且つ的確な障害物回避行動が実行可
能となるといった効果を奏する。Further, the obstacle 14 can be found earlier and more accurately than in the conventional art, and an early warning of the finding of the obstacle 14 can be made. Therefore, an earlier and more accurate obstacle avoiding action can be executed. To play.
【０１３９】本実施形態において、車両１１とは運転者
や作業者自らが操作している車両を意味する。また、車
両の周辺における監視領域とは、特に、車両の後尾近傍
領域や側方近傍領域等の運転者が視認し難い死角領域を
意味するものであって、例えば、バス車両がバックする
ときに、ルームミラーやサイドミラーで確認し難い後尾
近傍領域や側方近傍領域を意味する。また、障害物１４
とは、車両１１の走行時に接触しては問題となるような
対象物を意味するものであって、例えば、後方近傍の自
車両走行予想軌跡の範囲内に存在する通行人や建造物等
を意味するものである。In the present embodiment, the vehicle 11 means a vehicle operated by the driver or the operator himself. In addition, the monitoring area around the vehicle means a blind spot area that is difficult for the driver to visually recognize, such as an area near the tail of the vehicle or an area near the side of the vehicle. Means the area near the tail and the area near the side that are difficult to see with a room mirror or side mirror. In addition, obstacle 14
The term “object” means an object that may cause a problem when the vehicle 11 travels. For example, a pedestrian, a building, or the like existing within the range of the own vehicle traveling expected trajectory near the rear is determined. Is what it means.
【０１４０】更に本実施形態の車両周辺監視装置１０
は、視差Ｐｒｌｘを走査線Ｓｃｎ_k(0≦k≦8，kは整数)
毎に各々求めると同時に、求められた視差Ｐｒｌｘに基
づいて障害物１４と車両１１との間の距離Ｌを走査線Ｓ
ｃｎ_k(0≦k≦8，kは整数)毎に検知する機能も有してい
る。このような機能は、前述の障害物検出プログラム内
にプログラムコードとして記述されている。Further, the vehicle periphery monitoring device 10 of this embodiment
Represents the parallax Prlx with the scanning line Scn_k (0 ≦ k ≦ 8, where k is an integer)
At the same time, the distance L between the obstacle 14 and the vehicle 11 is calculated based on the obtained parallax Prlx.
It also has a function of detecting every cn_k (0 ≦ k ≦ 8, k is an integer). Such a function is described as a program code in the above-described obstacle detection program.
【０１４１】更に本実施形態の車両周辺監視装置１０
は、走査線Ｓｃｎ_k(0≦k≦8，kは整数)毎に検知した距
離Ｌに基づいて、監視領域１２内に存在する障害物１４
の中から、車両１１の走行方向（具体的には、車両１１
がバックする後方）の監視領域１２に対して最も車両１
１に近い位置に存在する障害物１４を指定する機能も有
している。このような機能は、前述の障害物検出プログ
ラム内にプログラムコードとして記述されている。Further, the vehicle periphery monitoring device 10 of the present embodiment
Are obstacles 14 present in the monitoring area 12 based on the distance L detected for each scanning line Scn_k (0 ≦ k ≦ 8, k is an integer).
, The traveling direction of the vehicle 11 (specifically, the vehicle 11
The vehicle 1 with respect to the monitoring area 12 in the rear
It also has a function of designating an obstacle 14 existing at a position close to 1. Such a function is described as a program code in the above-described obstacle detection program.
【０１４２】このような機能を設けることに依り、最も
近くに存在する障害物１４と車両１１との距離Ｌに応じ
て走査線Ｓｃｎ_k(0≦k≦8，kは整数)毎に探索範囲Ｓｃ
ｎ_rngを最も短くなるように選択することに依って、車
両１１からの距離Ｌが各々異なる複数の障害物１４，
…，１４（例えば、一方が車両１１の近くに存在する障
害物１４、他方が障害物１４よりも車両１１から遠くに
存在する障害物１４）が含まれるステレオ画像に対して
走査線Ｓｃｎ_k(0≦k≦8，kは整数)に沿ってスキャニン
グ動作をする場合であっても、車両１１の一番近くに存
在する障害物１４に対して車両１１と障害物１４との間
の視差Ｐｒｌｘを測定できる程度に探索範囲Ｓｃｎ_rng
を走査線Ｓｃｎ_k(0≦k≦8，kは整数)毎に限定して設定
することが運転者の手を煩わせることなく可能となり、
その結果、車両１１の安全走行に最も重要な役割を果た
す、車両１１の一番近くに存在する障害物１４に対する
車両１１−障害物１４間距離Ｌを短時間で求めて運転者
に更に迅速に報知することが可能となる効果を奏する。By providing such a function, the search range Sc is set for each scanning line Scn_k (0 ≦ k ≦ 8, where k is an integer) according to the distance L between the nearest obstacle 14 and the vehicle 11.
By selecting n_rng to be the shortest, a plurality of obstacles 14, each having a different distance L from the vehicle 11,
, 14 (for example, one of the obstacles 14 near the vehicle 11 and the other one of the obstacles 14 farther from the vehicle 11 than the obstacle 14) includes a scanning line Scn_k (0 ≦ k ≦ 8, where k is an integer), the parallax Prlx between the vehicle 11 and the obstacle 14 with respect to the obstacle 14 existing closest to the vehicle 11 is determined. Search range Scn_rng to the extent that it can be measured
Can be set for each scanning line Scn_k (0 ≦ k ≦ 8, k is an integer) without bothering the driver,
As a result, the distance L between the vehicle 11 and the obstacle 14 with respect to the obstacle 14 closest to the vehicle 11 which plays the most important role in the safe driving of the vehicle 11 is obtained in a short time, and the driver is promptly asked. This has the effect of enabling notification.
【０１４３】更に本実施形態の車両周辺監視装置１０
は、スキャニング動作において次の走査線Ｓｃｎ_k(0≦
k≦8，kは整数)上で特徴点Ｐ_i(０≦i≦8，iは整数)が
抽出されて対応点Ｑ_i(0≦i≦8，iは整数)の抽出が実行
される際に、直前までの走査線Ｓｃｎ_l（０≦ｌ≦7，l
は整数）毎に求められている距離Ｌの中から最短距離Ｌ
_minに対応する関係式ｆｎｃを選択すると同時に、選択
した関係式ｆｎｃ（後述、図９参照）と次走査線Ｓｃｎ
_[l+1]（１≦ｌ+1≦８）との関係の基づいて次走査線Ｓ
ｃｎ_[l+1]（１≦ｌ+1≦８）に対する対応点Ｑ_i(0≦i
≦8，iは整数)の対応点検出開始点Ｓｃｎ_strt、及び対
応点検出開始点Ｓｃｎ_strtを始点とする探索範囲Ｓｃ
ｎ_rngを求める機能も有している。このような機能は、
前述の障害物検出プログラム内にプログラムコードとし
て記述されている。Further, the vehicle periphery monitoring device 10 of the present embodiment
Indicates that the next scanning line Scn_k (0 ≦
When a feature point P_i (0 ≦ i ≦ 8, i is an integer) is extracted on k ≦ 8, k is an integer, and a corresponding point Q_i (0 ≦ i ≦ 8, i is an integer) is extracted. , The scanning line Scn_l (0 ≦ l ≦ 7, l
Is the shortest distance L from the distances L determined for each integer.
_min and the selected relational expression fnc (see FIG. 9 described later) and the next scanning line Scn at the same time.
_ [l + 1] (1 ≦ l + 1 ≦ 8) and the next scanning line S
cn_ [l + 1] (1 ≦ l + 1 ≦ 8) corresponding point Q_i (0 ≦ i
≤8, i is an integer) corresponding point detection start point Scn_strt, and search range Sc starting from corresponding point detection start point Scn_strt
It also has a function to find n_rng. These features are:
It is described as a program code in the above-described obstacle detection program.
【０１４４】このような車両周辺監視装置は、各種の演
算や制御を実行するためのＣＰＵ、演算結果等を保持す
るためのＲＡＭ、各種の障害物検出プログラム等のプロ
グラムコード（後述）の記録用のＲＯＭ、外部との情報
の送受信の制御を実行するペリフェラルインターフェイ
ス、後述する媒体に保持されている障害物検出プログラ
ムや各種の情報の読み込み・書き出しを実行するための
フロッピディスク装置やハードディスク装置、コマンド
等の入力するためのキーボード、各種のメッセージを表
示するためのディスプレイ等を中心にして構成されたマ
イクロコンピュータによって実現されている。Such a vehicle periphery monitoring device includes a CPU for executing various calculations and controls, a RAM for holding calculation results and the like, and a program code (to be described later) such as various obstacle detection programs. ROM, a peripheral interface for controlling transmission and reception of information to and from the outside, a floppy disk device and a hard disk device for reading and writing an obstacle detection program and various types of information stored in a medium described later, and a command And the like, and is realized by a microcomputer mainly configured with a keyboard for inputting a message, a display for displaying various messages, and the like.
【０１４５】このような機能を設けることに依り、直前
までの走査線Ｓｃｎ_l（1≦ｌ≦7，lは整数）毎に求め
られている距離Ｌの中から最短距離Ｌ_minに対応する関
係式ｆｎｃを用いることに依り、探索範囲Ｓｃｎ_rngを
走査線Ｓｃｎ_k(0≦k≦8，kは整数)毎に最も短くなるよ
うに選択することが的確且つ簡便に実現でき、装置規模
を小さくでき、更に、装置コストを低減することができ
るといった効果を奏する。By providing such a function, the relational expression fnc corresponding to the shortest distance L_min from the distances L obtained for each scanning line Scn_l (1 ≦ l ≦ 7, 1 is an integer) up to immediately before. By using, the search range Scn_rng can be accurately and simply selected to be the shortest for each scanning line Scn_k (0 ≦ k ≦ 8, where k is an integer), and the device scale can be reduced. There is an effect that the apparatus cost can be reduced.
【０１４６】この結果、障害物１４と車両１１との距離
Ｌの判断を関係式ｆｎｃを用いて動的且つ客観的に判定
できるので、運転者の個人差や判断の再現性のばらつき
を回避でき、更に、これらの判断に基づく迅速な障害物
回避行動等の車両周辺監視作業における運転者の労力を
軽減することが可能となり、運転者が車両１１の操作に
専念できるようになるといった効果を奏する。As a result, the determination of the distance L between the obstacle 14 and the vehicle 11 can be dynamically and objectively determined using the relational expression fnc, so that it is possible to avoid individual differences between drivers and variations in the reproducibility of the determination. Furthermore, it is possible to reduce the driver's labor in the vehicle periphery monitoring work such as the rapid obstacle avoidance action based on these determinations, and the driver can concentrate on the operation of the vehicle 11. .
【０１４７】更に、関係式ｆｎｃを用いた最短探索範囲
の動的且つ客観的な判定が可能となることに依り、従来
に比較して障害物１４を早期且つ的確に発見でき、障害
物１４の発見の早期警報が可能となり、故に、早期且つ
的確な障害物回避行動が実行可能となるといった効果を
奏する。Further, since the shortest search range can be dynamically and objectively determined using the relational expression fnc, the obstacle 14 can be found earlier and more accurately than in the related art. This makes it possible to provide an early warning of the discovery, and thus has the effect of enabling an early and accurate obstacle avoidance action.
【０１４８】このような関係式ｆｎｃを用いる場合、本
実施形態の車両周辺監視装置１０は、スキャニング動作
において、障害物１４と車両１１との間の距離Ｌ毎に予
め求めておいた走査線Ｓｃｎ_k(0≦k≦8，kは整数)と視
差Ｐｒｌｘとの関係式ｆｎｃに、走査線Ｓｃｎ_k(0≦k
≦8，kは整数)毎に各々求められた視差Ｐｒｌｘ及び走
査線Ｓｃｎ_k(0≦k≦8，kは整数)の条件を代入すること
に依り、関係式ｆｎｃに基づいて障害物１４と車両１１
との間の距離Ｌを走査線Ｓｃｎ_k(0≦k≦8，kは整数)毎
に検知する機能を有する。このような機能は、前述の障
害物検出プログラム内にプログラムコードとして記述さ
れている。When such a relational expression fnc is used, the vehicle periphery monitoring device 10 of the present embodiment performs the scanning operation in the scanning operation by using the scanning line Scn_k determined in advance for each distance L between the obstacle 14 and the vehicle 11. (0 ≦ k ≦ 8, k is an integer) and the parallax Prlx, the scanning line Scn_k (0 ≦ k
By substituting the conditions of the parallax Prlx and the scanning line Scn_k (0 ≦ k ≦ 8, k is an integer) obtained for each ≦ 8, k is an integer, the obstacle 14 and the vehicle are determined based on the relational expression fnc. 11
Has a function of detecting the distance L between the scanning lines Scn_k (0 ≦ k ≦ 8, where k is an integer). Such a function is described as a program code in the above-described obstacle detection program.
【０１４９】これらの機能を設けることに依り、障害物
１４と車両１１との間の距離Ｌ毎に予め求めておいた走
査線Ｓｃｎ_k(0≦k≦8，kは整数)と視差Ｐｒｌｘとの関
係式ｆｎｃを用いることに依り、探索範囲Ｓｃｎ_rngを
走査線Ｓｃｎ_k(0≦k≦8，kは整数)毎に最も短くなるよ
うに選択することが的確且つ簡便に実現でき、装置規模
を小さくでき、更に、装置コストを低減することができ
るといった効果を奏する。By providing these functions, the scanning line Scn_k (0 ≦ k ≦ 8, where k is an integer) and the parallax Prlx are determined in advance for each distance L between the obstacle 14 and the vehicle 11. By using the relational expression fnc, it is possible to accurately and easily select the search range Scn_rng so as to be the shortest for each scanning line Scn_k (0 ≦ k ≦ 8, k is an integer), and to reduce the device scale. Further, there is an effect that the apparatus cost can be reduced.
【０１５０】この結果、障害物１４と車両１１との距離
Ｌの判断を関係式ｆｎｃを用いて客観的に判定できるの
で、運転者の個人差や判断の再現性のばらつきを回避で
き、更に、これらの判断に基づく障害物回避行動等の車
両周辺監視作業における運転者の労力を軽減することが
可能となり、運転者が車両１１の操作に専念できるよう
になるといった効果を奏する。As a result, the determination of the distance L between the obstacle 14 and the vehicle 11 can be objectively determined using the relational expression fnc, so that it is possible to avoid individual differences among drivers and variations in the reproducibility of the determination. It is possible to reduce the driver's labor in the vehicle periphery monitoring work such as the obstacle avoidance action based on these determinations, so that the driver can concentrate on the operation of the vehicle 11.
【０１５１】更に、従来に比較して障害物１４を早期且
つ的確に発見でき、障害物１４の発見の早期警報が可能
となり、故に、早期且つ的確な障害物回避行動が実行可
能となるといった効果を奏する。In addition, the obstacle 14 can be found earlier and more accurately than in the conventional art, and an early warning of the finding of the obstacle 14 can be made. Therefore, an earlier and more accurate obstacle avoiding action can be executed. To play.
【０１５２】続いて、第１実施形態の車両周辺監視装置
１０を具体的に説明する。Next, the vehicle periphery monitoring device 10 of the first embodiment will be specifically described.
【０１５３】図１は、本発明の車両周辺監視装置１０の
基本構成を説明するための機能ブロック図である。図２
は、本発明の車両周辺監視装置１０の利用形態を説明す
るための図である。FIG. 1 is a functional block diagram for explaining a basic configuration of a vehicle periphery monitoring device 10 according to the present invention. FIG.
FIG. 1 is a diagram for explaining a use form of the vehicle periphery monitoring device 10 of the present invention.
【０１５４】本実施形態の車両周辺監視装置１０は、図
１に示すように、画像読取手段２０と画像操作手段２１
と特徴点抽出手段２２と探索範囲最適化手段２４と対応
点検出手段２６と距離演算手段２８と障害物監視手段３
０とステレオ画像演算手段３２と表示手段３４とを有す
る。As shown in FIG. 1, the vehicle periphery monitoring device 10 of this embodiment comprises an image reading means 20 and an image operating means 21.
And feature point extracting means 22, search range optimizing means 24, corresponding point detecting means 26, distance calculating means 28, and obstacle monitoring means 3.
0, stereo image calculation means 32 and display means 34.
【０１５５】画像読取手段２０は、ステレオカメラであ
って、左画像の情報２０_L及び右画像の情報２０_Rを生
成する機能を有する。このような機能は、前述の障害物
検出プログラム内にプログラムコードとして記述されて
いる。The image reading means 20 is a stereo camera, and has a function of generating left image information 20_L and right image information 20_R. Such a function is described as a program code in the above-described obstacle detection program.
【０１５６】車両１１の後尾部に搭載されたステレオカ
メラ２０は、図１に示すように、後方監視領域１２の左
側用の光学画像を撮影するための左側ＣＣＤカメラ２０
２と、後方監視領域１２の右側用の光学画像を撮影する
ための右側ＣＣＤカメラ２０４とを有し、図２に示すよ
うに、監視領域１４の走査して左画像の情報２０_L及び
右画像の情報２０_Rを収集するように処理部２０６（マ
イクロコンピュータ）に依って制御されている。As shown in FIG. 1, the stereo camera 20 mounted on the rear end of the vehicle 11 is a left CCD camera 20 for photographing an optical image for the left side of the rear monitoring area 12.
2 and a right CCD camera 204 for capturing an optical image for the right side of the rear monitoring area 12. As shown in FIG. 2, the monitoring area 14 is scanned to scan the left image information 20_L and the right image. It is controlled by the processing unit 206 (microcomputer) to collect the information 20_R.
【０１５７】なお、ステレオカメラ２０は、左画像情報
２０_Lを一時的に保持するためのメモリを左側ＣＣＤカ
メラ２０２と処理部２０６との間に設けることが望まし
い。同様に、右画像情報２０_Rを一時的に保持するため
のメモリを右側ＣＣＤカメラ２０４と処理部２０６との
間に設けることが望ましい。このようなメモリを設ける
ことに依り、データ伝送速度やデータ処理速度が異なる
ＣＣＤカメラと処理部２０６との間でデータ伝送効率を
向上させることができ、更に、処理部２０６のスループ
ットを向上させることができる。It is desirable that the stereo camera 20 be provided with a memory for temporarily holding the left image information 20_L between the left CCD camera 202 and the processing unit 206. Similarly, it is desirable to provide a memory for temporarily holding the right image information 20_R between the right CCD camera 204 and the processing unit 206. By providing such a memory, it is possible to improve the data transmission efficiency between the CCD camera and the processing unit 206 having different data transmission speeds and data processing speeds, and to further improve the throughput of the processing unit 206. Can be.
【０１５８】処理部２０６は、各種の演算や制御を実行
するためのＣＰＵ、演算結果等を保持するためのＲＡ
Ｍ、各種の障害物検出プログラム等のプログラムコード
（後述）の記録用のＲＯＭ、外部との情報の送受信の制
御を実行するペリフェラルインターフェイス、後述する
媒体に保持されている障害物検出プログラムや各種の情
報の読み込み・書き出しを実行するためのフロッピディ
スク装置やハードディスク装置、コマンド等の入力する
ためのキーボード、各種のメッセージを表示するための
ディスプレイ等を中心にして構成されたマイクロコンピ
ュータによって実現されている。The processing unit 206 includes a CPU for executing various calculations and controls, and an RA for holding calculation results and the like.
M, a ROM for recording program codes (to be described later) such as various obstacle detection programs, a peripheral interface for controlling transmission / reception of information to and from the outside, an obstacle detection program held in a medium to be described later, and various It is realized by a microcomputer mainly configured with a floppy disk device or a hard disk device for reading / writing information, a keyboard for inputting commands, a display for displaying various messages, and the like. .
【０１５９】図３（ａ）は、図２の車両周辺監視装置に
おいて、右画像中の障害物画像１６の特徴点を抽出する
ためのスキャニング動作を説明するための図であり、図
３（ｂ）は、右画像で抽出された特徴点を用いて、左画
像中の障害物画像１６の対応点Ｑ_i(0≦i≦8，iは整数)
を検出するためのスキャニング動作を説明するための図
である。FIG. 3A is a diagram for explaining a scanning operation for extracting a feature point of the obstacle image 16 in the right image in the vehicle periphery monitoring device of FIG. 2, and FIG. ) Is a corresponding point Q_i (0 ≦ i ≦ 8, i is an integer) of the obstacle image 16 in the left image using the feature points extracted in the right image.
FIG. 7 is a diagram for explaining a scanning operation for detecting the.
【０１６０】画像操作手段２１は、図３（ａ）に示すよ
うに、左画像情報２０_Lに対する所定の走査線Ｓｃｎ_k
(0≦k≦8，kは整数)間隔でスキャニング動作を制御する
機能を有する。このような機能は、前述の障害物検出プ
ログラム内にプログラムコードとして記述されている。
更に、図３（ｂ）に示すように、右画像情報２０_Rに対
する所定の走査線Ｓｃｎ_k(0≦k≦8，kは整数)間隔でス
キャニング動作を制御する機能も有する。[0160] As shown in FIG. 3A, the image operation means 21 determines a predetermined scanning line Scn_k for the left image information 20_L.
It has a function of controlling the scanning operation at intervals (0 ≦ k ≦ 8, k is an integer). Such a function is described as a program code in the above-described obstacle detection program.
Further, as shown in FIG. 3 (b), it also has a function of controlling the scanning operation at predetermined scanning line Scn_k (0 ≦ k ≦ 8, k is an integer) intervals for the right image information 20_R.
【０１６１】画像操作手段２１は、図３（ａ）及び
（ｂ）に示すように、左画像情報２０_L及び右画像情報
２０_Rに対して、走査線Ｓｃｎ_0乃至走査線Ｓｃｎ_8の
９本を用いたスキャニング動作を制御している。As shown in FIGS. 3A and 3B, the image operating means 21 scans the left image information 20_L and the right image information 20_R using nine scanning lines Scn_0 to Scn_8. The operation is controlled.
【０１６２】画像操作手段２１は、各種の演算や制御を
実行するためのＣＰＵ、演算結果等を保持するためのＲ
ＡＭ、各種の障害物検出プログラム等のプログラムコー
ド（後述）の記録用のＲＯＭ、外部との情報の送受信の
制御を実行するペリフェラルインターフェイス、後述す
る媒体に保持されている障害物検出プログラムや各種の
情報の読み込み・書き出しを実行するためのフロッピデ
ィスク装置やハードディスク装置、コマンド等の入力す
るためのキーボード、各種のメッセージを表示するため
のディスプレイ等を中心にして構成されたマイクロコン
ピュータによって実現されている。The image operating means 21 includes a CPU for executing various calculations and controls, and an R for holding the calculation results and the like.
AM, ROM for recording program codes (to be described later) such as various obstacle detection programs, a peripheral interface for executing control of transmission and reception of information with the outside, obstacle detection programs and various kinds of information stored in a medium to be described later, It is realized by a microcomputer mainly configured with a floppy disk device or a hard disk device for reading / writing information, a keyboard for inputting commands, a display for displaying various messages, and the like. .
【０１６３】図４（ａ）は、車両から距離Ｌ２及びＬ３
（Ｌ２＜Ｌ３）にある２つの障害物が含まれるステレオ
画像の右画像に対して図２の車両周辺監視装置を用いて
スキャニング動作を実行して特徴点を抽出した状態を説
明するための動作図であり、図４（ｂ）は、車両から距
離Ｌ２及びＬ３（Ｌ２＜Ｌ３）にある２つの障害物が含
まれるステレオ画像の左画像に対して図２の車両周辺監
視装置を用いてスキャニング動作を実行して特徴点を抽
出した状態を説明するための動作図である。FIG. 4A shows the distances L2 and L3 from the vehicle.
Operation for explaining a state in which a scanning operation is performed on a right image of a stereo image including two obstacles at (L2 <L3) using the vehicle periphery monitoring device of FIG. 2 to extract a feature point. FIG. 4B is a diagram illustrating scanning of a left image of a stereo image including two obstacles at distances L2 and L3 (L2 <L3) from the vehicle by using the vehicle periphery monitoring device of FIG. It is an operation | movement figure for demonstrating the state which extracted the characteristic point by performing operation | movement.
【０１６４】特徴点抽出手段２２は、図３（ａ）に示す
ような走査線Ｓｃｎ_0乃至走査線Ｓｃｎ_8の９本を用い
たスキャニング動作に応じて、左画像情報２０_L又は右
画像情報２０_Rに含まれる障害物画像１６とスキャニン
グ動作における走査線Ｓｃｎ_k(0≦k≦8）との交点であ
る特徴点Ｐ_i(０≦i≦8，iは整数)にかかる情報２２ａ
を抽出する機能を有する。このような機能は、前述の障
害物検出プログラム内にプログラムコードとして記述さ
れている。The feature point extracting means 22 is included in the left image information 20_L or the right image information 20_R in accordance with a scanning operation using nine scanning lines Scn_0 to Scn_8 as shown in FIG. Information 22a relating to a feature point P_i (0 ≦ i ≦ 8, where i is an integer), which is an intersection of the obstacle image 16 and the scanning line Scn_k (0 ≦ k ≦ 8) in the scanning operation.
Has the function of extracting Such a function is described as a program code in the above-described obstacle detection program.
【０１６５】具体的には、図３（ａ）に示すような走査
線Ｓｃｎ_0乃至走査線Ｓｃｎ_8の９本を用いたスキャニ
ング動作に応じて、右画像情報２０_Rに含まれる障害物
画像１６とスキャニング動作における走査線Ｓｃｎ_k(0
≦k≦8)との交点である特徴点Ｐ_i(０≦i≦n、図３
（ｂ）ではn＝９)にかかる情報２２ａを抽出している。Specifically, in response to a scanning operation using nine scanning lines Scn_0 to Scn_8 as shown in FIG. 3A, the obstacle image 16 included in the right image information 20_R and the scanning operation are performed. Scan line Scn_k (0
The characteristic point P_i (0 ≦ i ≦ n, which is an intersection with ≦ k ≦ 8, FIG. 3)
In (b), information 22a relating to n = 9) is extracted.
【０１６６】同様の主旨で、特徴点抽出手段２２は、図
４（ａ）に示すように、車両から距離Ｌ２及びＬ３（Ｌ
２＜Ｌ３）にある２つの障害物１４Ａ及び１４Ｂが含ま
れるステレオ画像の右画像に対して図２の車両周辺監視
装置を用いてスキャニング動作を実行して特徴点Ｐ_i
(０≦i≦8，iは整数)を抽出することができる。For the same purpose, as shown in FIG. 4A, the feature point extracting means 22 transmits the distances L2 and L3 (L
2 <L3), a scanning operation is performed on the right image of the stereo image including the two obstacles 14A and 14B using the vehicle periphery monitoring device in FIG. 2 to perform the feature point P_i.
(0 ≦ i ≦ 8, i is an integer).
【０１６７】特徴点抽出手段２２は、各種の演算や制御
を実行するためのＣＰＵ、演算結果等を保持するための
ＲＡＭ、各種の障害物検出プログラム等のプログラムコ
ード（後述）の記録用のＲＯＭ、外部との情報の送受信
の制御を実行するペリフェラルインターフェイス、後述
する媒体に保持されている障害物検出プログラムや各種
の情報の読み込み・書き出しを実行するためのフロッピ
ディスク装置やハードディスク装置、コマンド等の入力
するためのキーボード、各種のメッセージを表示するた
めのディスプレイ等を中心にして構成されたマイクロコ
ンピュータによって実現されている。The feature point extracting means 22 includes a CPU for executing various calculations and controls, a RAM for holding calculation results and the like, and a ROM for recording program codes (to be described later) such as various obstacle detection programs. , A peripheral interface that controls the transmission and reception of information to and from the outside, a floppy disk device, a hard disk device, and commands that execute an obstacle detection program and various types of information that are stored and stored in a medium described below. It is realized by a microcomputer mainly composed of a keyboard for input, a display for displaying various messages, and the like.
【０１６８】探索範囲最適化手段２４は、スキャニング
動作における同一走査線Ｓｃｎ_k(0≦k≦8，kは整数)上
で、左画像情報２０_L又は右画像情報２０_Rの何れか一
方の特徴点Ｐ_i(０≦i≦8，iは整数)に対応する左画像
情報２０_L又は右画像情報２０_Rの他方の特徴点Ｐ_i
(０≦i≦8，iは整数)を対応点Ｑ_i(0≦i≦8，iは整数)
として検出するための最短の探索範囲Ｓｃｎ_rngを走査
線Ｓｃｎ_k(0≦k≦8，kは整数)毎に各々求めて最短探索
範囲情報２４ａを走査線Ｓｃｎ_k(0≦k≦8，kは整数)毎
に各々生成する手段であって、探索範囲Ｓｃｎ_rngを最
も短くなるように選択することに依って最短の探索範囲
Ｓｃｎ_rngを求めて最短探索範囲情報２４ａを生成する
機能を有する。このような機能は、前述の障害物検出プ
ログラム内にプログラムコードとして記述されている。The search range optimizing unit 24 determines whether one of the characteristic points P_i (either the left image information 20_L or the right image information 20_R on the same scanning line Scn_k (0 ≦ k ≦ 8, k is an integer) in the scanning operation. 0 ≦ i ≦ 8, where i is an integer) and the other feature point P_i of the left image information 20_L or the right image information 20_R.
(0 ≦ i ≦ 8, i is an integer) and the corresponding point Q_i (0 ≦ i ≦ 8, i is an integer)
The shortest search range Scn_rng for detecting as each is obtained for each scanning line Scn_k (0 ≦ k ≦ 8, k is an integer), and the shortest search range information 24a is obtained for the scanning line Scn_k (0 ≦ k ≦ 8, k is an integer). Means for generating the shortest search range Scn_rng by selecting the shortest search range Scn_rng to generate the shortest search range information 24a. Such a function is described as a program code in the above-described obstacle detection program.
【０１６９】更に探索範囲最適化手段２４は、スキャニ
ング動作において次の走査線Ｓｃｎ_k(0≦k≦8，kは整
数)上で特徴点Ｐ_i(０≦i≦8，iは整数)が抽出されて対
応点Ｑ_i(0≦i≦8，iは整数)の抽出が実行される際に、
直前までの走査線Ｓｃｎ_l（1≦ｌ≦7，lは整数）毎に
求められている距離情報２８ａの中から最短の距離情報
２８ａに対応する関係式ｆｎｃを選択すると同時に、選
択した関係式ｆｎｃと次走査線Ｓｃｎ_[l+1]（0≦ｌ+1
≦7）との関係の基づいて次走査線Ｓｃｎ_[l+1]（0≦ｌ
+1≦7）に対する対応点Ｑ_i(0≦i≦8，iは整数)の対応
点検出開始点Ｓｃｎ_strt、及び対応点検出開始点Ｓｃ
ｎ_strtを始点とする探索範囲Ｓｃｎ_rngを求めて最短
探索範囲情報２４ａを生成する機能を有する。このよう
な機能は、前述の障害物検出プログラム内にプログラム
コードとして記述されている。Further, the search range optimizing means 24 extracts a feature point P_i (0 ≦ i ≦ 8, i is an integer) on the next scanning line Scn_k (0 ≦ k ≦ 8, k is an integer) in the scanning operation. When extraction of the corresponding point Q_i (0 ≦ i ≦ 8, i is an integer) is executed,
The relational expression fnc corresponding to the shortest distance information 28a is selected from the distance information 28a obtained for each scanning line Scn_l (1 ≦ l ≦ 7, l is an integer) up to immediately before, and at the same time, the selected relational expression fnc is selected. And the next scanning line Scn_ [l + 1] (0 ≦ l + 1
≦ 7), the next scanning line Scn_ [l + 1] (0 ≦ l)
+ 1 ≦ 7), the corresponding point detection start point Scn_strt of the corresponding point Q_i (0 ≦ i ≦ 8, i is an integer) and the corresponding point detection start point Sc
It has a function of obtaining a search range Scn_rng starting from n_strt and generating the shortest search range information 24a. Such a function is described as a program code in the above-described obstacle detection program.
【０１７０】具体的には、探索範囲最適化手段２４は、
図３（ａ）及び（ｂ）に示すように、スキャニング動作
における同一走査線Ｓｃｎ_k(0≦k≦８)上で、右画像情
報２０_Rの特徴点Ｐ_i(０≦i≦８)に対応する左画像情
報２０_Lの特徴点Ｐ_i(０≦i≦８)を対応点Ｑ_i(0≦i≦
８)として検出するための最短の探索範囲Ｓｃｎ_rngを
走査線Ｓｃｎ_k(0≦k≦８)毎に各々求めて最短探索範囲
情報２４ａを走査線Ｓｃｎ_k(0≦k≦８)毎に各々生成し
ている。More specifically, the search range optimizing means 24
As shown in FIGS. 3A and 3B, on the same scanning line Scn_k (0 ≦ k ≦ 8) in the scanning operation, the left corresponding to the feature point P_i (0 ≦ i ≦ 8) of the right image information 20_R. The feature point P_i (0 ≦ i ≦ 8) of the image information 20_L is changed to the corresponding point Q_i (0 ≦ i ≦
8) The shortest search range Scn_rng for detection as each scan line Scn_k (0 ≦ k ≦ 8) is obtained for each scan line, and the shortest search range information 24a is generated for each scan line Scn_k (0 ≦ k ≦ 8). I have.
【０１７１】更に探索範囲最適化手段２４は、図３
（ｂ）に示すように、スキャニング動作において次の走
査線Ｓｃｎ_k(0≦k≦８)上で特徴点Ｐ_i(０≦i≦８)が
抽出されて対応点Ｑ_i(0≦i≦８)の抽出が実行される際
に、直前までの走査線Ｓｃｎ_l（０≦ｌ≦７）毎に求め
られている距離情報２８ａの中から最短の距離情報２８
ａに対応する関係式ｆｎｃを選択すると同時に、選択し
た関係式ｆｎｃと次走査線Ｓｃｎ_[l+1]（１≦ｌ+1≦
８）との関係の基づいて次走査線Ｓｃｎ_[l+1]（１≦ｌ
+1≦８）に対する対応点Ｑ_i(0≦i≦８)の対応点検出開
始点Ｓｃｎ_strt、及び対応点検出開始点Ｓｃｎ_strtを
始点とする探索範囲Ｓｃｎ_rngを求めて最短探索範囲情
報２４ａを生成している。Furthermore, the search range optimizing means 24
As shown in (b), in the scanning operation, the feature point P_i (0 ≦ i ≦ 8) is extracted on the next scanning line Scn_k (0 ≦ k ≦ 8), and the corresponding point Q_i (0 ≦ i ≦ 8) is extracted. When the extraction is performed, the shortest distance information 28a is selected from the distance information 28a obtained for each scanning line Scn_l (0 ≦ l ≦ 7) up to immediately before.
a at the same time as selecting the relational expression fnc corresponding to a, the selected relational expression fnc and the next scanning line Scn_ [l + 1] (1 ≦ l + 1 ≦
8), the next scanning line Scn_ [l + 1] (1 ≦ l
+ 1 ≦ 8), a corresponding point detection start point Scn_strt of the corresponding point Q_i (0 ≦ i ≦ 8) and a search range Scn_rng starting from the corresponding point detection start point Scn_strt are obtained, and the shortest search range information 24a is generated. I have.
【０１７２】探索範囲最適化手段２４は、各種の演算や
制御を実行するためのＣＰＵ、演算結果等を保持するた
めのＲＡＭ、各種の障害物検出プログラム等のプログラ
ムコード（後述）の記録用のＲＯＭ、外部との情報の送
受信の制御を実行するペリフェラルインターフェイス、
後述する媒体に保持されている障害物検出プログラムや
各種の情報の読み込み・書き出しを実行するためのフロ
ッピディスク装置やハードディスク装置、コマンド等の
入力するためのキーボード、各種のメッセージを表示す
るためのディスプレイ等を中心にして構成されたマイク
ロコンピュータによって実現されている。The search range optimizing means 24 includes a CPU for executing various calculations and controls, a RAM for holding the calculation results and the like, and a program code for recording program codes (to be described later) such as various obstacle detection programs. ROM, peripheral interface for controlling the transmission and reception of information with the outside,
A floppy disk drive or hard disk drive for reading / writing an obstacle detection program and various information stored in a medium described later, a keyboard for inputting commands, etc., and a display for displaying various messages It is realized by a microcomputer mainly configured with the above.
【０１７３】このような探索範囲最適化手段２４におい
て、直前までの走査線Ｓｃｎ_l（１≦ｌ≦８）毎に求め
られている距離情報２８ａ（則ち、動的に求められた距
離情報２８ａ）の中から最短の距離情報２８ａに対応す
る関係式ｆｎｃを選択して対応点検出開始点Ｓｃｎ_str
tを決定することに依り、探索範囲Ｓｃｎ_rngを走査線
Ｓｃｎ_k(0≦k≦８)毎に最も短くなるように動的に選択
することが的確且つ簡便に実現でき、装置規模を小さく
でき、更に、装置コストを低減することができるといっ
た効果を奏する。In the search range optimizing means 24, the distance information 28a (that is, the dynamically obtained distance information 28a) obtained for each immediately preceding scanning line Scn_1 (1 ≦ l ≦ 8). From the relational expression fnc corresponding to the shortest distance information 28a, and the corresponding point detection start point Scn_str
By determining t, the search range Scn_rng can be dynamically and appropriately selected so as to be the shortest for each scanning line Scn_k (0 ≦ k ≦ 8), and the apparatus scale can be reduced. This has the effect of reducing the apparatus cost.
【０１７４】なお、探索範囲最適化手段２４は、スキャ
ニング動作の対象となる障害物毎に探索範囲Ｓｃｎ_rng
を限定的に設定することも可能である。The search range optimizing means 24 searches the search range Scn_rng for each obstacle to be scanned.
Can be limitedly set.
【０１７５】具体的には、図７（ｂ）に示すように、前
述の探索範囲Ｓｃｎ_rngを、路画像１４Ｃ用の第１探索
範囲と障害物１４Ｂ用の第２探索範囲とに分割すること
も可能である。このような分割を行うことに依り、複数
の障害物が含まれるステレオ画像に対して走査線Ｓｃｎ
_k(0≦k≦8，kは整数)に沿ってスキャニング動作の最適
化を図ることが可能となり、その結果、障害物１４に対
する車両１１−障害物１４間距離Ｌを更に短時間で求め
て運転者に迅速に報知することができる。More specifically, as shown in FIG. 7B, the above-described search range Scn_rng may be divided into a first search range for the road image 14C and a second search range for the obstacle 14B. It is possible. By performing such division, a scanning line Scn is applied to a stereo image including a plurality of obstacles.
_k (0 ≦ k ≦ 8, where k is an integer) can optimize the scanning operation. As a result, the distance L between the vehicle 11 and the obstacle 14 with respect to the obstacle 14 can be determined in a shorter time. The driver can be quickly notified.
【０１７６】図４（ａ）は、車両から距離Ｌ２及びＬ３
（Ｌ２＜Ｌ３）にある２つの障害物が含まれるステレオ
画像の右画像に対して図２の車両周辺監視装置を用いて
スキャニング動作を実行して特徴点を抽出した状態を説
明するための動作図であり、図４（ｂ）は、車両から距
離Ｌ２及びＬ３（Ｌ２＜Ｌ３）にある２つの障害物が含
まれるステレオ画像の左画像に対して図２の車両周辺監
視装置を用いてスキャニング動作を実行して特徴点を抽
出した状態を説明するための動作図である。また図５
は、対応点Ｑ_i(0≦i≦8，iは整数)の検出を状態を説明
するための動作図であって、図５（ａ）は、図４（ａ）
の右画像中で抽出した特徴点Ｐ_i(０≦i≦8，iは整数)
に対してマスク１８を設定した状態を説明するための動
作図であり、図５（ｂ）は、車両から距離Ｌ２及びＬ３
（Ｌ２＜Ｌ３）にある２つの障害物が含まれるステレオ
画像の左画像に対してマスク１８を用いてスキャニング
動作を探索範囲Ｓｃｎ_rng内で実行して対応点Ｑ_i(0≦
i≦8，iは整数)を検出した状態を説明するための動作図
である。また図６は、右画像の特徴点Ｐ_i(０≦i≦8，i
は整数)に対応する左画像における特徴点Ｐ_i(０≦i≦
8，iは整数)を対応点Ｑ_i(0≦i≦8，iは整数)として検
出するスキャニング動作を説明するための動作図であっ
て、図６（ａ）は、特徴点Ｐ_i(０≦i≦8，iは整数)を
有するマスク１８を説明するための図であり、図６
（ｂ）は、このマスク１８を用いてスキャニング動作を
実行した際に検出された対応点Ｑ_i(0≦i≦8，iは整数)
の相関値を説明するための図である。FIG. 4A shows the distances L2 and L3 from the vehicle.
Operation for explaining a state in which a scanning operation is performed on a right image of a stereo image including two obstacles at (L2 <L3) using the vehicle periphery monitoring device of FIG. 2 to extract a feature point. FIG. 4B is a diagram illustrating scanning of a left image of a stereo image including two obstacles at distances L2 and L3 (L2 <L3) from the vehicle by using the vehicle periphery monitoring device of FIG. It is an operation | movement figure for demonstrating the state which extracted the characteristic point by performing operation | movement. FIG.
FIG. 5A is an operation diagram for explaining the state of detection of the corresponding point Q_i (0 ≦ i ≦ 8, where i is an integer). FIG.
Feature point P_i (0 ≦ i ≦ 8, i is an integer) extracted in the right image of
FIG. 5B is an operation diagram for explaining a state in which the mask 18 is set with respect to FIG.
A scanning operation is performed on the left image of the stereo image including two obstacles in (L2 <L3) using the mask 18 within the search range Scn_rng, and the corresponding point Q_i (0 ≦
FIG. 9 is an operation diagram for explaining a state in which (i ≦ 8, i is an integer) is detected. FIG. 6 shows the characteristic points P_i (0 ≦ i ≦ 8, i
Is an integer) and the feature point P_i (0 ≦ i ≦
FIG. 6 (a) is an operation diagram for explaining a scanning operation for detecting a corresponding point Q_i (0 ≦ i ≦ 8, i is an integer) as a corresponding point Q_i (0 ≦ i ≦ 8, i is an integer). FIG. 6 is a diagram for explaining a mask 18 having (i ≦ 8, i is an integer).
(B) shows a corresponding point Q_i (0 ≦ i ≦ 8, i is an integer) detected when a scanning operation is performed using the mask 18.
FIG. 9 is a diagram for explaining the correlation value of FIG.
【０１７７】対応点検出手段２６は、図４（ａ）及び同
図（ｂ）に示すように、走査線Ｓｃｎ_k(0≦k≦8，kは
整数)毎の探索範囲情報２６ａに応じて右画像に対して
走査線Ｓｃｎ_k(0≦k≦8，kは整数)間隔で、図５（ａ）
及び同図（ｂ）に示すようなスキャニング動作を実行す
る手段でる。As shown in FIGS. 4 (a) and 4 (b), the corresponding point detecting means 26 determines the right position in accordance with the search range information 26a for each scanning line Scn_k (0 ≦ k ≦ 8, where k is an integer). 5 (a) at intervals of scanning lines Scn_k (0 ≦ k ≦ 8, k is an integer) with respect to the image.
And means for executing a scanning operation as shown in FIG.
【０１７８】則ち、対応点検出手段２６は、図５（ａ）
に示すように、図４（ａ）の右画像情報２０_R中で特徴
点抽出手段２２が抽出した各特徴点Ｐ_i(０≦i≦8，iは
整数)に対してマスク１８を設定し、図５（ｂ）に示す
ように、車両１１から距離Ｌ２及びＬ３（Ｌ２＜Ｌ３）
にある２つの障害物１４Ａ，１４Ｂが含まれるステレオ
画像の左画像情報２０_Lに対してマスク１８（図６
（ａ）参照）を用いてスキャニング動作を探索範囲Ｓｃ
ｎ_rng内で実行して対応点Ｑ_i(0≦i≦8，iは整数)を検
出するスキャニング動作を実行する。That is, the corresponding point detecting means 26 determines whether the corresponding point
As shown in FIG. 4A, a mask 18 is set for each feature point P_i (0 ≦ i ≦ 8, i is an integer) extracted by the feature point extracting means 22 in the right image information 20_R in FIG. As shown in FIG. 5B, distances L2 and L3 from the vehicle 11 (L2 <L3)
The left image information 20_L of the stereo image including the two obstacles 14A and 14B in
(Refer to (a)) to search the scanning operation in the search range Sc
A scanning operation is executed within n_rng to detect a corresponding point Q_i (0 ≦ i ≦ 8, i is an integer).
【０１７９】図７（ａ）は、複数の障害物１４Ａ，１４
Ｂ及び路画像１４Ｃが右画像（左画像）中に存在する様
子を示した図であり、図７（ｂ）は、右画像の特徴点Ｐ
_i(０≦i≦8，iは整数)に対応する左画像の複数の特徴
点Ｐ_i(０≦i≦8，iは整数)を検出するスキャニング動
作を実行する様子を説明するための図である。また図８
は、図７のスキャニング動作を実行する際に、左画像に
おいて複数の特徴点Ｐ_i(０≦i≦8，iは整数)が検出さ
れた場合に、これらの特徴点Ｐ_i(０≦i≦8，iは整数)
（対応点候補点）と右画像における特徴点Ｐ_i(０≦i≦
8，iは整数)との画像相関関係を求め、右画像の特徴点
Ｐ_i(０≦i≦8，iは整数)に対して最も画像相関関係の
強い左画像の特徴点を右画像の画像の特徴点に対応する
左画像の対応点Ｑ_i(0≦i≦8，iは整数)として選択する
動作を説明するための図である。FIG. 7A shows a plurality of obstacles 14A, 14A.
FIG. 7B is a diagram showing a state in which the road image B and the road image 14C are present in the right image (left image). FIG.
FIG. 9 is a diagram for explaining how to perform a scanning operation for detecting a plurality of feature points P_i (0 ≦ i ≦ 8, i is an integer) of the left image corresponding to _i (0 ≦ i ≦ 8, i is an integer). is there. FIG.
When a plurality of feature points P_i (0 ≦ i ≦ 8, i is an integer) are detected in the left image when the scanning operation of FIG. 7 is performed, these feature points P_i (0 ≦ i ≦ 8 , I is an integer)
(Corresponding point candidate point) and a feature point P_i (0 ≦ i ≦
8, i is an integer), and the feature point of the left image having the strongest image correlation with the feature point P_i (0 ≦ i ≦ 8, i is an integer) of the right image is determined as the image of the right image. FIG. 11 is a diagram for explaining an operation of selecting as a corresponding point Q_i (0 ≦ i ≦ 8, i is an integer) of the left image corresponding to the characteristic point of FIG.
【０１８０】更に対応点検出手段２６は、左画像又は右
画像に含まれる少なくとも１つ以上の障害物１４（図７
（ａ）に示す障害物１４Ａ（車両から距離Ｌ２（単位は
［ｍ］））障害物１４Ｂ（車両から距離Ｌ３（Ｌ２＜Ｌ
３））及び路画像１４Ｃ）の画像とスキャニング動作に
おける各特徴点Ｐ_i(０≦i≦8，iは整数)が抽出される
と同時に、右画像における各特徴点Ｐ_i(０≦i≦8，iは
整数)に対応する対応点Ｑ_i(0≦i≦8，iは整数)を各々
検出する際に左画像において複数の障害物１４Ａ，１４
Ｂ，１４Ｃに対して複数の特徴点Ｐ_i(０≦i≦8，iは整
数)が検出された場合に、図６（ｂ）に示すように、こ
れらの特徴点Ｐ_i(０≦i≦8，iは整数)（対応点候補
点）と左画像における特徴点Ｐ_i(０≦i≦8，iは整数)
との画像相関関係を求め、図８に示すように、右画像の
特徴点Ｐ_i(０≦i≦8，iは整数)に対して最も画像相関
関係の強い左画像の特徴点Ｐ_i(０≦i≦8，iは整数)を
右画像の特徴点Ｐ_i(０≦i≦8，iは整数)に対応する左
画像の対応点Ｑ_i(0≦i≦8，iは整数)として選択して対
応点Ｑ_i(0≦i≦8，iは整数)情報２６ａを走査線Ｓｃｎ
_k(0≦k≦8，kは整数)毎に各々生成する機能を有する。
このような機能は、前述の障害物検出プログラム内にプ
ログラムコードとして記述されている。Further, the corresponding point detecting means 26 detects at least one obstacle 14 (FIG. 7) included in the left image or the right image.
An obstacle 14A (a distance L2 from the vehicle (unit: [m])) shown in FIG. 14A and an obstacle 14B (a distance L3 from the vehicle (L2 <L)
3)) and each feature point P_i (0 ≦ i ≦ 8, i is an integer) in the scanning operation and the image of the road image 14C) are extracted, and at the same time, each feature point P_i (0 ≦ i ≦ 8, When detecting the corresponding point Q_i (0 ≦ i ≦ 8, i is an integer) corresponding to each of the plurality of obstacles 14 </ b> A, 14 </ b> A in the left image,
When a plurality of feature points P_i (0 ≦ i ≦ 8, i is an integer) are detected for B and 14C, as shown in FIG. 6B, these feature points P_i (0 ≦ i ≦ 8) are detected. , I is an integer) (corresponding point candidate point) and a feature point P_i (0 ≦ i ≦ 8, i is an integer) in the left image
As shown in FIG. 8, a feature point P_i (0 ≦ 0) of the left image having the strongest image correlation with respect to a feature point P_i (0 ≦ i ≦ 8, i is an integer) of the right image as shown in FIG. i ≦ 8, i is an integer) is selected as the corresponding point Q_i (0 ≦ i ≦ 8, i is an integer) of the left image corresponding to the feature point P_i (0 ≦ i ≦ 8, i is an integer) of the right image The corresponding point Q_i (0 ≦ i ≦ 8, i is an integer) information 26a is transmitted to the scanning line Scn.
_k (0 ≦ k ≦ 8, k is an integer).
Such a function is described as a program code in the above-described obstacle detection program.
【０１８１】具体的には、対応点検出手段２６は、図７
（ｂ）に示すように、左画像において障害物１４Ｂ及び
路画像１４Ｃに対して複数の特徴点Ｐ_i(０≦i≦8，iは
整数)が検出された場合に、図８に示すように、これら
の特徴点Ｐ_i(０≦i≦8，iは整数)（対応点候補点）と
左画像における特徴点Ｐ_i(０≦i≦8，iは整数)との画
像相関関係を求め、図８に示すように、右画像の特徴点
Ｐ_i(０≦i≦8，iは整数)に対して最も画像相関関係の
強い（則ち、図８のグラフにおいて最も相関値のディッ
プが深い）左画像の特徴点Ｐ_i(対応点候補点)を右画像
の特徴点Ｐ_i(０≦i≦8，iは整数)に対応する左画像の
対応点Ｑ_i(0≦i≦8，iは整数)として選択する。図８に
おいては、障害物１４Ｂについての相関値のディップが
路画像１４Ｃについての相関値のディップより深いの
で、対応点検出手段２６は、障害物１４Ｂの方が相関関
係が深いと判定し、障害物１４Ｂを選択し、障害物１４
Ｂの特徴点Ｐ_i(対応点候補点)を真の対応点Ｑ_i(0≦i
≦8，iは整数)として選択する。More specifically, the corresponding point detecting means 26
As shown in FIG. 8B, when a plurality of feature points P_i (0 ≦ i ≦ 8, i is an integer) are detected for the obstacle 14B and the road image 14C in the left image, as shown in FIG. The image correlation between the characteristic points P_i (0 ≦ i ≦ 8, i is an integer) (corresponding point candidate points) and the characteristic points P_i (0 ≦ i ≦ 8, i is an integer) in the left image is obtained, and FIG. As shown in FIG. 8, the image correlation with the feature point P_i (0 ≦ i ≦ 8, i is an integer) of the right image is strongest (that is, the correlation value dip is deepest in the graph of FIG. 8). The feature point P_i (corresponding point candidate point) of the image is set as the corresponding point Q_i (0 ≦ i ≦ 8, i is an integer) of the left image corresponding to the feature point P_i (0 ≦ i ≦ 8, i is an integer) of the right image. select. In FIG. 8, since the dip of the correlation value for the obstacle 14B is deeper than the dip of the correlation value for the road image 14C, the corresponding point detecting means 26 determines that the correlation of the obstacle 14B is deeper, and Select the object 14B and set the obstacle 14
The characteristic point P_i of B (corresponding point candidate point) is changed to a true corresponding point Q_i (0 ≦ i
≤ 8, i is an integer).
【０１８２】なお、前述したように、探索範囲最適化手
段２４が、スキャニング動作の対象となる障害物毎に探
索範囲Ｓｃｎ_rngを限定的に設定する機能を有している
場合、具体的には、図７（ｂ）に示すように、前述の探
索範囲Ｓｃｎ_rngを、路画像１４Ｃ用の第１探索範囲と
障害物１４Ｂ用の第２探索範囲とに分割する機能を有す
る場合、対応点検出手段２６は、このような分割された
第１探索範囲と第２探索範囲とを用いて、探索範囲毎に
画像相関関係を評価し、この評価結果に基づいて対応点
候補点の中から真の対応点Ｑ_i(0≦i≦8，iは整数）を
選択する機能を有する。このような機能を設けることに
依り、対応点検出手段２６は、複数の障害物１４，…，
１４が同時に画像内の同一走査線Ｓｃｎ_k(0≦k≦8，k
は整数)上に存在した状態でスキャニング動作を実行し
た場合であっても、正しい対応点（真の対応点）Ｑ_i(0
≦i≦8，iは整数)を迅速に検出して正しい障害物検出を
迅速に実行することが可能となり、その結果、障害物１
４に対する車両１１−障害物１４間距離Ｌを更に短時間
で求めて運転者に迅速に報知することができる。また、
分割された第１探索範囲と第２探索範囲とを用いた第１
スキャニング動作と探索範囲Ｓｃｎ_rngを用いた第２ス
キャニング動作との両方を実行する機能も有する。この
場合、第１スキャニング動作と第２スキャニング動作と
の両方で検出された対応点候補点を真の対応点Ｑ_i(0≦
i≦8，iは整数）として選択することも可能である。As described above, when the search range optimizing means 24 has a function of setting a limited search range Scn_rng for each obstacle to be scanned, specifically, As shown in FIG. 7B, when the above-described search range Scn_rng has a function of dividing into a first search range for the road image 14C and a second search range for the obstacle 14B, the corresponding point detection unit 26 is used. Evaluates the image correlation for each search range using the divided first search range and the second search range, and based on the evaluation result, selects the true corresponding point from the corresponding point candidate points. It has a function of selecting Q_i (0 ≦ i ≦ 8, i is an integer). By providing such a function, the corresponding point detecting means 26 can detect a plurality of obstacles 14,.
14 is the same scanning line Scn_k (0 ≦ k ≦ 8, k
Even if the scanning operation is executed in a state where the scanning operation exists on the correct corresponding point (true corresponding point) Q_i (0
.Ltoreq.i.ltoreq.8, where i is an integer), and correct obstacle detection can be performed quickly.
The distance L between the vehicle 11 and the obstacle 14 with respect to the vehicle 4 can be obtained in a shorter time and the driver can be quickly notified. Also,
First using the divided first search range and second search range
It also has a function of executing both the scanning operation and the second scanning operation using the search range Scn_rng. In this case, the corresponding point candidate points detected in both the first scanning operation and the second scanning operation are replaced with true corresponding points Q_i (0 ≦
i ≦ 8, i is an integer).
【０１８３】このような対応点検出手段２６は、各種の
演算や制御を実行するためのＣＰＵ、演算結果等を保持
するためのＲＡＭ、各種の障害物検出プログラム等のプ
ログラムコード（後述）の記録用のＲＯＭ、外部との情
報の送受信の制御を実行するペリフェラルインターフェ
イス、後述する媒体に保持されている障害物検出プログ
ラムや各種の情報の読み込み・書き出しを実行するため
のフロッピディスク装置やハードディスク装置、コマン
ド等の入力するためのキーボード、各種のメッセージを
表示するためのディスプレイ等を中心にして構成された
マイクロコンピュータによって実現されている。The corresponding point detecting means 26 includes a CPU for executing various calculations and controls, a RAM for holding calculation results and the like, and recording of program codes (to be described later) such as various obstacle detection programs. ROM, a peripheral interface for controlling transmission and reception of information to and from the outside, a floppy disk device and a hard disk device for reading and writing an obstacle detection program and various types of information stored in a medium described below, It is realized by a microcomputer mainly composed of a keyboard for inputting commands and the like, a display for displaying various messages, and the like.
【０１８４】図９は、図２の車両周辺監視装置１０を用
いたスキャニング動作において、障害物１４と車両との
間の距離Ｌ（Ｌ１，Ｌ２，Ｌ３、但し、Ｌ１＜Ｌ２＜Ｌ
３＜Ｌ４）毎に予め求めておいた走査線Ｓｃｎ_k(0≦k
≦8，kは整数)と視差Ｐｒｌｘとの関係式ｆｎｃを説明
するための走査線対視差グラフである。FIG. 9 shows a distance L (L1, L2, L3, where L1 <L2 <L) between the obstacle 14 and the vehicle in the scanning operation using the vehicle periphery monitoring device 10 of FIG.
3 <L4), the scanning line Scn_k (0 ≦ k) obtained in advance.
9 is a scanning line pair parallax graph for explaining a relational expression fnc between ≦ 8, k is an integer) and the parallax Prlx.
【０１８５】図９に示すように、車両周辺監視装置１０
の関係式ｆｎｃは、走査線Ｓｃｎ_０（則ち、画面上
方）から走査線Ｓｃｎ_８（則ち、画面下方）にかけて
右下がりの傾きを示す。[0185] As shown in FIG.
The relational expression fnc indicates a downward slant from the scanning line Scn_0 (that is, the upper part of the screen) to the scanning line Scn_8 (that is, the lower part of the screen).
【０１８６】また、図９に示すように、関係式の傾き
は、障害物１４と車両との間の距離ＬがＬ１＜Ｌ２＜Ｌ
３＜Ｌ４のように大きくなるに従って、関係式ｆｎｃ_
1，ｆｎｃ_２，ｆｎｃ_３，ｆｎｃ_４の順番で小さくな
り、その結果、視差Ｐｒｌｘが小さくなる。As shown in FIG. 9, the inclination of the relational expression is such that the distance L between the obstacle 14 and the vehicle is L1 <L2 <L.
As the value becomes larger as 3 <L4, the relational expression fnc_
1, fnc_2, fnc_3, and fnc_4 become smaller in this order, and as a result, the parallax Prlx becomes smaller.
【０１８７】例えば、関係式ｆｎｃ_２において、走査
線Ｓｃｎ_８に対して探索範囲Ｓｃｎ_rng１、走査線Ｓ
ｃｎ_７に対して探索範囲Ｓｃｎ_rng２（＞Ｓｃｎ_rng
１）となる。For example, in the relational expression fnc_2, the search range Scn_rng1, the scan line S
Search range Scn_rng2 (> Scn_rng) for cn_7
1).
【０１８８】図１０は、図９の走査線対視差グラフに従
って選択した関係式ｆｎｃ、各走査線Ｓｃｎ_k(0≦k≦
8，kは整数)に対する対応点Ｑ_i(0≦i≦8，iは整数)の
検出開始点Ｓｃｎ_strt、及び対応点検出開始点Ｓｃｎ_
strtを始点とする走査線Ｓｃｎ_k(0≦k≦8，kは整数)毎
の探索範囲Ｓｃｎ_rngの設定の様子を説明するための動
作図である。FIG. 10 shows a relational expression fnc selected according to the scanning line pair parallax graph of FIG. 9 and each scanning line Scn_k (0 ≦ k ≦
8, k are integers), the detection start point Scn_strt of the corresponding point Q_i (0 ≦ i ≦ 8, i is an integer) and the corresponding point detection start point Scn_
FIG. 9 is an operation diagram for describing a state of setting a search range Scn_rng for each scanning line Scn_k (0 ≦ k ≦ 8, k is an integer) starting from strt.
【０１８９】距離演算手段２８は、図１０に示すよう
に、スキャニング動作において、障害物１４と車両１１
との間の距離Ｌ毎に予め求めておいた走査線Ｓｃｎ_k(0
≦k≦８)と視差Ｐｒｌｘ（単位は［画素］）との関係式
ｆｎｃ（図９参照）に、図１０に示すように、走査線Ｓ
ｃｎ_k(0≦k≦8，kは整数)毎に各々求められた視差Ｐｒ
ｌｘ及び走査線Ｓｃｎ_k(0≦k≦8，kは整数)の条件を代
入することに依り、関係式ｆｎｃに基づいて障害物１４
と車両１１との間の距離Ｌを走査線Ｓｃｎ_k(0≦k≦8，
kは整数)毎に検知して走査線Ｓｃｎ_k(0≦k≦8，kは整
数)毎に距離情報２８ａを各々生成する機能を有する。
このような機能は、前述の障害物検出プログラム内にプ
ログラムコードとして記述されている。As shown in FIG. 10, the distance calculating means 28 controls the obstacle 14 and the vehicle 11 in the scanning operation.
Scanning line Scn_k (0
.Ltoreq.k.ltoreq.8) and the parallax Prlx (the unit is [pixel]) as shown in FIG.
Parallax Pr obtained for each cn_k (0 ≦ k ≦ 8, k is an integer)
By substituting the conditions of lx and the scanning line Scn_k (0 ≦ k ≦ 8, k is an integer), the obstacle 14 is determined based on the relational expression fnc.
The distance L between the vehicle and the vehicle 11 is represented by a scanning line Scn_k (0 ≦ k ≦ 8,
It has a function of detecting each of k (integer) and generating the distance information 28a for each scanning line Scn_k (0 ≦ k ≦ 8, k is an integer).
Such a function is described as a program code in the above-described obstacle detection program.
【０１９０】この場合、前述の探索範囲最適化手段２４
は、図１０に示すように、スキャニング動作において次
の走査線Ｓｃｎ_k(0≦k≦８)上で特徴点Ｐ_i(０≦i≦
８)が抽出されて対応点Ｑ_i(0≦i≦８)の抽出が実行さ
れる際に、直前までの走査線Ｓｃｎ_l（０≦ｌ≦７）毎
に求められている距離情報２８ａの中から最短の距離情
報２８ａに対応する関係式ｆｎｃを選択すると同時に、
選択した関係式ｆｎｃと次走査線Ｓｃｎ_[l+1]（１≦ｌ
+1≦８）との関係の基づいて次走査線Ｓｃｎ_[l+1]（１
≦ｌ+1≦８）に対する対応点Ｑ_i(0≦i≦８)の対応点検
出開始点Ｓｃｎ_strt、及び対応点検出開始点Ｓｃｎ_st
rtを始点とする探索範囲Ｓｃｎ_rngを求めて最短探索範
囲情報２４ａを生成する。In this case, the aforementioned search range optimizing means 24
As shown in FIG. 10, the characteristic point P_i (0 ≦ i ≦ 0) on the next scanning line Scn_k (0 ≦ k ≦ 8) in the scanning operation.
8) is extracted and the corresponding point Q_i (0 ≦ i ≦ 8) is extracted, from the distance information 28a obtained for each immediately preceding scanning line Scn_1 (0 ≦ l ≦ 7). At the same time as selecting the relational expression fnc corresponding to the shortest distance information 28a,
The selected relational expression fnc and the next scanning line Scn_ [l + 1] (1 ≦ l
+ 1 ≦ 8) and the next scanning line Scn_ [l + 1] (1
≤l + 1≤8), the corresponding point detection start point Scn_strt of the corresponding point Q_i (0≤i≤8) and the corresponding point detection start point Scn_st
The search range Scn_rng starting from rt is obtained to generate the shortest search range information 24a.
【０１９１】探索範囲最適化手段２４は、スキャニング
動作において次の走査線Ｓｃｎ_k(0≦k≦８)上で特徴点
Ｐ_i(０≦i≦８)が抽出されて対応点Ｑ_i(0≦i≦８)の
抽出が実行される際に、直前までの走査線Ｓｃｎ_l（＝
８）の距離情報２８ａから関係式ｆｎｃ_L2を選択する
と共に（図１０参照）、選択した関係式ｆｎｃ_L2と次
走査線Ｓｃｎ_L７との関係の基づいて次走査線Ｓｃｎ_
７乃至Ｓｃｎ_０に対する対応点Ｑ_７乃至Ｑ_０（図１
０参照）の各々に対して対応点検出開始点Ｓｃｎ_str
t、及び対応点検出開始点Ｓｃｎ_strtを始点とする探索
範囲Ｓｃｎ_rng（図１０参照）を求めて各々に対して最
短探索範囲情報２４ａを生成している。In the scanning operation, the search range optimizing means 24 extracts the feature point P_i (0 ≦ i ≦ 8) on the next scanning line Scn_k (0 ≦ k ≦ 8), and the corresponding point Q_i (0 ≦ i ≦ 8). When the extraction of 8) is executed, the scanning line Scn_l (=
8) The relational expression fnc_L2 is selected from the distance information 28a (see FIG. 10), and the next scan line Scn_L2 is determined based on the relation between the selected relational expression fnc_L2 and the next scan line Scn_L7.
Corresponding points Q_7 to Q_0 corresponding to 7 to Scn_0 (FIG. 1)
0), the corresponding point detection start point Scn_str
t and a search range Scn_rng (see FIG. 10) starting from the corresponding point detection start point Scn_strt, and the shortest search range information 24a is generated for each of them.
【０１９２】距離演算手段２８は、各種の演算や制御を
実行するためのＣＰＵ、演算結果等を保持するためのＲ
ＡＭ、各種の障害物検出プログラム等のプログラムコー
ド（後述）の記録用のＲＯＭ、外部との情報の送受信の
制御を実行するペリフェラルインターフェイス、後述す
る媒体に保持されている障害物検出プログラムや各種の
情報の読み込み・書き出しを実行するためのフロッピデ
ィスク装置やハードディスク装置、コマンド等の入力す
るためのキーボード、各種のメッセージを表示するため
のディスプレイ等を中心にして構成されたマイクロコン
ピュータによって実現されている。The distance calculation means 28 includes a CPU for executing various calculations and controls, and an R for holding calculation results and the like.
AM, ROM for recording program codes (to be described later) such as various obstacle detection programs, a peripheral interface for executing control of transmission and reception of information with the outside, obstacle detection programs and various kinds of information stored in a medium to be described later, It is realized by a microcomputer mainly configured with a floppy disk device or a hard disk device for reading / writing information, a keyboard for inputting commands, a display for displaying various messages, and the like. .
【０１９３】このような距離演算手段２８を設けること
に依り、関係式ｆｎｃを用いた最短探索範囲の動的且つ
客観的な判定が可能となることに依り、従来に比較して
障害物１４を早期且つ的確に発見でき、障害物１４の発
見の早期警報が可能となり、故に、早期且つ的確な障害
物回避行動が実行可能となるといった効果を奏する。ま
た、探索範囲Ｓｃｎ_rngを走査線Ｓｃｎ_k(0≦k≦8，k
は整数)毎に最も短くなるように選択することが的確且
つ簡便に実現でき、装置規模を小さくでき、更に、装置
コストを低減することができるといった効果を奏する。By providing such a distance calculating means 28, it becomes possible to dynamically and objectively determine the shortest search range using the relational expression fnc. It is possible to detect the obstacle 14 early and accurately, and an early warning of the detection of the obstacle 14 is possible. Therefore, it is possible to perform an early and accurate obstacle avoidance action. Further, the search range Scn_rng is set to the scanning line Scn_k (0 ≦ k ≦ 8, k
(Integer) can be accurately and simply selected so as to be the shortest for each), thereby achieving the effects of reducing the size of the device and reducing the cost of the device.
【０１９４】障害物監視手段３０は、監視領域１２内に
存在する各障害物１４に対応した距離情報２８ａに基づ
いて、障害物１４の中から、車両１１の走行方向の監視
領域１２に対して最も車両１１に近い位置に存在する障
害物１４を指定する機能を有する。このような機能は、
前述の障害物検出プログラム内にプログラムコードとし
て記述されている。[0194] The obstacle monitoring means 30 transmits the obstacle 11 to the monitoring area 12 in the traveling direction of the vehicle 11 from the obstacle 14 based on the distance information 28a corresponding to each obstacle 14 existing in the monitoring area 12. It has a function of designating an obstacle 14 located closest to the vehicle 11. These features are:
It is described as a program code in the above-described obstacle detection program.
【０１９５】障害物監視手段３０は、各種の演算や制御
を実行するためのＣＰＵ、演算結果等を保持するための
ＲＡＭ、各種の障害物検出プログラム等のプログラムコ
ード（後述）の記録用のＲＯＭ、外部との情報の送受信
の制御を実行するペリフェラルインターフェイス、後述
する媒体に保持されている障害物検出プログラムや各種
の情報の読み込み・書き出しを実行するためのフロッピ
ディスク装置やハードディスク装置、コマンド等の入力
するためのキーボード、各種のメッセージを表示するた
めのディスプレイ等を中心にして構成されたマイクロコ
ンピュータによって実現されている。The obstacle monitoring means 30 includes a CPU for executing various calculations and controls, a RAM for holding calculation results and the like, and a ROM for recording program codes (described later) such as various obstacle detection programs. , A peripheral interface that controls the transmission and reception of information to and from the outside, a floppy disk device, a hard disk device, and commands that execute an obstacle detection program and various types of information that are stored and stored in a medium described below. It is realized by a microcomputer mainly composed of a keyboard for input, a display for displaying various messages, and the like.
【０１９６】ステレオ画像演算手段３２は、左画像情報
２０_L並びに右画像情報２０_R、及び左画像情報２０_L
と右画像情報２０_Rとの視差Ｐｒｌｘに基づいて、ステ
レオ画像情報３２ａを作成する機能を有する。このよう
な機能は、前述の障害物検出プログラム内にプログラム
コードとして記述されている。[0196] The stereo image calculation means 32 outputs the left image information 20_L, the right image information 20_R, and the left image information 20_L.
It has a function of creating stereo image information 32a based on the parallax Prlx between the image information 20_R and the right image information 20_R. Such a function is described as a program code in the above-described obstacle detection program.
【０１９７】ステレオ画像演算手段３２は、各種の演算
や制御を実行するためのＣＰＵ、演算結果等を保持する
ためのＲＡＭ、各種の障害物検出プログラム等のプログ
ラムコード（後述）の記録用のＲＯＭ、外部との情報の
送受信の制御を実行するペリフェラルインターフェイ
ス、後述する媒体に保持されている障害物検出プログラ
ムや各種の情報の読み込み・書き出しを実行するための
フロッピディスク装置やハードディスク装置、コマンド
等の入力するためのキーボード、各種のメッセージを表
示するためのディスプレイ等を中心にして構成されたマ
イクロコンピュータによって実現されている。The stereo image calculation means 32 includes a CPU for executing various calculations and controls, a RAM for holding calculation results and the like, and a ROM for recording program codes (to be described later) such as various obstacle detection programs. , A peripheral interface that controls the transmission and reception of information to and from the outside, a floppy disk device, a hard disk device, and commands that execute an obstacle detection program and various types of information that are stored and stored in a medium described below. It is realized by a microcomputer mainly composed of a keyboard for input, a display for displaying various messages, and the like.
【０１９８】このような機能をステレオ画像演算手段３
２に設けることに依り、運転者に理解しやすいようなス
テレオ画像を表示することができ、その結果、車両１１
の安全走行に最も重要な役割を果たす、車両１１の一番
近くに存在する障害物１４を短時間で表示して運転者に
迅速に報知することが可能となる効果を奏する。Such a function is provided by the stereo image calculation means 3
2, it is possible to display a stereo image that is easy for the driver to understand, and as a result, the vehicle 11
Thus, the obstacle 14 which is most important to the safe driving of the vehicle and which is present closest to the vehicle 11 can be displayed in a short time and the driver can be quickly informed.
【０１９９】例えば、時々刻々変化する監視領域１２内
に障害物１４が突然侵入してきたような動的な対応が要
求される場合であっても、障害物１４を早期に且つ的確
に発見して障害物発見の早期警報を表示手段３４を介し
て運転者に発することが可能となり、その結果、マンマ
シーンインタフェース性能が向上し、運転者の車両操作
を妨げることなく、監視領域１２に突発的に侵入してく
る障害物１４の動的な認識、このような障害物１４の大
きさ・形状の動的な判断、車両１１との距離Ｌの動的な
判断、及びこれらの動的な判断に基づく速やかな障害物
回避行動等の車両周辺監視作業に要求される運転者の労
力を軽減することが可能となり、車両１１の安全操作へ
運転者が意識を集中できるようになるといった効果を奏
する。For example, even in the case where a dynamic response is required such that the obstacle 14 suddenly enters the monitoring area 12 that changes every moment, the obstacle 14 is detected quickly and accurately. An early warning of obstacle detection can be issued to the driver via the display means 34. As a result, the man-machine interface performance is improved, and the driver can suddenly enter the monitoring area 12 without interrupting the vehicle operation of the driver. Dynamic recognition of the intruding obstacle 14, dynamic determination of the size and shape of such an obstacle 14, dynamic determination of the distance L from the vehicle 11, and these dynamic determinations Therefore, it is possible to reduce the driver's labor required for the vehicle periphery monitoring work such as the prompt obstacle avoidance action based on the above, and the driver can concentrate his or her consciousness on the safe operation of the vehicle 11.
【０２００】表示手段３４は、ステレオ画像情報３２ａ
を表示すると同時に、監視領域１２内に存在する各障害
物１４に対応した距離情報２８ａに基づいて、障害物１
４の中から、車両１１の走行方向の監視領域１２に対し
て最も車両１１に近い位置に存在する障害物１４を表示
色を変更して表示すると同時に、障害物１４に対応した
距離情報２８ａを表示する機能も有している。このよう
な機能は、前述の障害物検出プログラム内にプログラム
コードとして記述されている。The display means 34 displays the stereo image information 32a.
Is displayed at the same time as the obstacle 1 based on the distance information 28a corresponding to each obstacle 14 existing in the monitoring area 12.
4, the obstacle 14 located closest to the vehicle 11 with respect to the monitoring area 12 in the traveling direction of the vehicle 11 is displayed by changing the display color, and at the same time, the distance information 28a corresponding to the obstacle 14 is displayed. It also has a display function. Such a function is described as a program code in the above-described obstacle detection program.
【０２０１】表示手段３４は、各種の演算や制御を実行
するためのＣＰＵ、演算結果等を保持するためのＲＡ
Ｍ、各種の障害物検出プログラム等のプログラムコード
（後述）の記録用のＲＯＭ、外部との情報の送受信の制
御を実行するペリフェラルインターフェイス、後述する
媒体に保持されている障害物検出プログラムや各種の情
報の読み込み・書き出しを実行するためのフロッピディ
スク装置やハードディスク装置、コマンド等の入力する
ためのキーボード、各種のメッセージを表示するための
ディスプレイ、警報音を発するためのスピーカ等を中心
にして構成されたマイクロコンピュータによって実現さ
れている。The display means 34 includes a CPU for executing various calculations and controls, and an RA for holding calculation results and the like.
M, a ROM for recording program codes (to be described later) such as various obstacle detection programs, a peripheral interface for controlling transmission / reception of information to and from the outside, an obstacle detection program held in a medium to be described later, and various It consists mainly of a floppy disk drive or hard disk drive for reading / writing information, a keyboard for inputting commands, a display for displaying various messages, a speaker for generating an alarm sound, etc. Is realized by a microcomputer.
【０２０２】このような機能を表示手段３４に設けるこ
とに依り、運転者に理解しやすいようなステレオ画像及
び障害物１４に対応した距離情報２８ａを表示すること
ができ、その結果、車両１１の安全走行に最も重要な役
割を果たす、車両１１の一番近くに存在する障害物１４
とその距離情報２８ａとを有機的に関連づけて短時間で
表示して運転者に迅速に報知することが可能となる効果
を奏する。例えば、時々刻々変化する監視領域１２内に
障害物１４が突然侵入してきたような動的な対応が要求
される場合であっても、障害物１４を早期に且つ的確に
発見して障害物発見の早期警報及び距離情報２８ａを表
示手段３４を介して運転者に発することが可能となり、
その結果、マンマシーンインタフェース性能が向上し、
運転者の車両操作を妨げることなく、監視領域１２に突
発的に侵入してくる障害物１４の動的な認識、このよう
な障害物１４の大きさ・形状の動的な判断、車両１１と
の距離Ｌの動的な判断、及びこれらの動的な判断に基づ
く速やかな障害物回避行動等の車両周辺監視作業に要求
される運転者の労力を軽減することが可能となり、車両
１１の安全操作へ運転者が意識を集中できるようになる
といった効果を奏する。By providing such a function in the display means 34, a stereo image which can be easily understood by the driver and the distance information 28a corresponding to the obstacle 14 can be displayed. Obstacles 14 closest to the vehicle 11 that play the most important role in safe driving
The distance information 28a and the distance information 28a are displayed in a short period of time in an organic manner, so that the driver can be quickly notified. For example, even when a dynamic response is required in which the obstacle 14 suddenly enters the monitoring area 12 that changes every moment, the obstacle 14 is detected quickly and accurately and the obstacle is found. It is possible to issue an early warning and distance information 28a to the driver via the display means 34,
As a result, man-machine interface performance is improved,
Dynamic recognition of obstacles 14 suddenly entering the monitoring area 12 without hindering the driver's vehicle operation, dynamic determination of the size and shape of such obstacles 14, And the driver's effort required for the vehicle periphery monitoring work such as the dynamic determination of the distance L of the vehicle and the prompt obstacle avoiding action based on the dynamic determination can be reduced, and the safety of the vehicle 11 can be reduced. This has the effect of allowing the driver to concentrate his or her consciousness on the operation.
【０２０３】なお、車両周辺監視装置１０は、光学画像
の歪曲収差を補正するための歪曲収差補正機能と、メモ
リの一方に光学画像を高さ０と仮定し、この光学画像を
他方のメモに投影した投影画像を作成し、投影画像と他
方のメモリのステレオ光学画像の情報との差より路面上
の光学画像を除去する路面画像除去機能と、他方のメモ
リの水平方向の微分値とステレオ光学画像の情報より物
体のエッジを検出する物体エッジ検出機能と、フレーム
メモリのステレオ光学画像の情報ステレオ光学画像１０
２ａの情報より障害物の位置を算出する物体位置算出機
能等を設けることが可能である。このような機能を有す
る車両周辺監視装置１０は、ステレオカメラ２０によっ
て撮影された光学画像により路面に描かれた模様を除去
し、高さのある物体のみを抽出して処理時間を短縮する
ことができるといった効果を奏する。The vehicle periphery monitoring device 10 has a distortion correction function for correcting the distortion of the optical image, and assumes that the optical image has a height of 0 in one of the memories, and stores the optical image in the other memo. A road image removal function that creates a projected projection image and removes an optical image on the road surface from the difference between the projected image and the information of the stereo optical image in the other memory, and a differential value in the horizontal direction of the other memory and stereo optics. An object edge detection function for detecting an object edge from image information; and a stereo optical image 10 of a stereo optical image in a frame memory.
It is possible to provide an object position calculation function for calculating the position of an obstacle from the information of 2a. The vehicle periphery monitoring device 10 having such a function can remove a pattern drawn on the road surface by an optical image taken by the stereo camera 20, extract only a tall object, and reduce the processing time. It has the effect of being able to.
【０２０４】続いて、第１実施形態の車両周辺監視装置
１０に用いられる障害物検出方法の実施形態を説明す
る。Next, an embodiment of an obstacle detection method used in the vehicle periphery monitoring device 10 of the first embodiment will be described.
【０２０５】なお、本実施形態の車両周辺監視装置１０
において既に記述したものと同一の部分については、同
一符号を付し、重複した説明は省略する。The vehicle periphery monitoring device 10 of the present embodiment
The same parts as those described above are denoted by the same reference numerals, and duplicate description will be omitted.
【０２０６】本障害物検出方法は、画像読取工程と画像
操作工程と特徴点抽出工程と探索範囲最適化工程と対応
点検出工程と距離演算工程と障害物監視工程とステレオ
画像演算工程と表示工程を有する。The present obstacle detecting method includes an image reading step, an image operating step, a feature point extracting step, a search range optimizing step, a corresponding point detecting step, a distance calculating step, an obstacle monitoring step, a stereo image calculating step, and a displaying step. Having.
【０２０７】画像読取工程は、図４（ａ）に示すよう
に、画像読取手段（撮像手段、ステレオカメラ）２０
が、前述したように、左画像の情報２０_L及び右画像の
情報２０_Rを生成する工程を含む工程である。In the image reading step, as shown in FIG. 4A, the image reading means (imaging means, stereo camera) 20
However, as described above, this is a step including a step of generating information 20_L of the left image and information 20_R of the right image.
【０２０８】特徴点抽出工程は、図５（ａ）及び図４
（ａ）に示すように、特徴点抽出手段（マイクロコンピ
ュータ）２２が、右画像中で抽出した特徴点Ｐ_i(０≦i
≦8，iは整数)に対してマスク１８を生成する工程と、
前工程に続いて、前述したように、図５（ｂ）に示すよ
うなスキャニング動作に応じて、右画像情報２０_Rに含
まれる障害物画像１６とスキャニング動作における走査
線Ｓｃｎ_k(0≦k≦８，kは整数)との交点である特徴点
Ｐ_i(０≦i≦８，iは整数)にかかる情報２２ａを抽出す
る工程を含む工程である。The feature point extracting step is performed in the steps shown in FIGS.
As shown in (a), the feature point extracting means (microcomputer) 22 extracts feature points P_i (0 ≦ i) extracted in the right image.
≦ 8, i is an integer).
Following the previous step, as described above, the obstacle image 16 included in the right image information 20_R and the scanning line Scn_k (0 ≦ k ≦ 8) in the scanning operation according to the scanning operation shown in FIG. , K is an integer) and a step of extracting information 22a relating to a feature point P_i (0 ≦ i ≦ 8, i is an integer).
【０２０９】探索範囲最適化工程は、探索範囲最適化手
段（マイクロコンピュータ）２４が、前述したように、
スキャニング動作において次の走査線Ｓｃｎ_k(0≦k≦
８，kは整数)上で特徴点Ｐ_i(０≦i≦８，iは整数)が抽
出されて対応点Ｑ_i(0≦i≦８，iは整数)の抽出する工
程が実行される際に、直前までの走査線Ｓｃｎ_l（1≦
ｌ≦7，lは整数）毎に求められている距離情報２８ａの
中から最短の距離情報２８ａに対応する関係式ｆｎｃ
を、予め求められている関係式ｆｎｃ_L1乃至ｆｎｃ_L
４（図１０参照）の中から選択する工程と、前工程に続
いて、選択した関係式ｆｎｃ（具体的には、ｆｎｃ_L2
の走査線対視差グラフ）に基づいて次走査線Ｓｃｎ_[l+
1]（０≦ｌ+1≦８）（具体的には、Ｓｃｎ_7乃至Ｓｃｎ
_0）に対する対応点Ｑ_i(0≦i≦８，iは整数)（具体的
には、Ｑ_7乃至Ｑ_0）の対応点検出開始点Ｓｃｎ_str
t、及び対応点検出開始点Ｓｃｎ_strtを始点とする探索
範囲Ｓｃｎ_rngを求めて最短探索範囲情報２４ａを生成
する工程を含む工程である。In the search range optimizing step, as described above, the search range optimizing means (microcomputer) 24
In the scanning operation, the next scanning line Scn_k (0 ≦ k ≦
When a feature point P_i (0 ≦ i ≦ 8, i is an integer) is extracted on 8, k is an integer, and a step of extracting a corresponding point Q_i (0 ≦ i ≦ 8, i is an integer) is executed. , The scanning line Scn_l (1 ≦
l ≦ 7, where l is an integer) a relational expression fnc corresponding to the shortest distance information 28a from the distance information 28a obtained for each
Is calculated by using relational expressions fnc_L1 to fnc_L
4 (see FIG. 10) and following the previous step, the selected relational expression fnc (specifically, fnc_L2
Of the next scanning line Scn_ [l +
1] (0 ≦ l + 1 ≦ 8) (Specifically, Scn — 7 to Scn —
_0), the corresponding point detection start point Scn_str of the corresponding point Q_i (0 ≦ i ≦ 8, i is an integer) (specifically, Q_7 to Q_0)
t and a search range Scn_rng starting from the corresponding point detection start point Scn_strt to generate the shortest search range information 24a.
【０２１０】図９は、図２の車両周辺監視装置１０を用
いた対応点Ｑ_i(0≦i≦8，iは整数)の検出を状態を説明
するための動作図であって、図９（ａ）は、図４（ａ）
の右画像中で抽出した特徴点Ｐ_i(０≦i≦8，iは整数)
に対してマスク１８を設定した状態を説明するための動
作図であり、図９（ｂ）は、車両から距離Ｌ２及びＬ３
（Ｌ２＜Ｌ３）にある複数の障害物１４が含まれるステ
レオ画像の左画像に対してマスク１８を用いてスキャニ
ング動作を最短探索範囲Ｓｃｎ_rng内で実行して対応点
Ｑ_i(0≦i≦8，iは整数)を検出した状態を説明するため
の動作図である。FIG. 9 is an operation diagram for explaining a state of detecting a corresponding point Q_i (0 ≦ i ≦ 8, i is an integer) using the vehicle periphery monitoring device 10 of FIG. FIG. 4 (a)
Feature point P_i (0 ≦ i ≦ 8, i is an integer) extracted in the right image of
FIG. 9B is an operation diagram for explaining a state in which the mask 18 is set with respect to FIG.
A scanning operation is performed within the shortest search range Scn_rng on the left image of the stereo image including the plurality of obstacles 14 in (L2 <L3) using the mask 18 and the corresponding point Q_i (0 ≦ i ≦ 8, FIG. 9 is an operation diagram for explaining a state in which (i is an integer) is detected.
【０２１１】対応点検出工程は、対応点検出手段（マイ
クロコンピュータ）２６が、前述したように、走査線Ｓ
ｃｎ_k(0≦k≦８，kは整数)毎の最短探索範囲情報２４
ａに応じて、図９（ｂ）に示すように、マスク１８（図
９（ａ）参照）を操作して、スキャニング動作時に対応
点Ｑ_i(0≦i≦８，iは整数)を走査線Ｓｃｎ_k(0≦k≦
８，kは整数)毎に各々検出して対応点情報２６ａを走査
線Ｓｃｎ_k(0≦k≦８，kは整数)毎に各々生成する工程
を含む工程である。In the corresponding point detecting step, as described above, the corresponding point detecting means (microcomputer) 26
Shortest search range information 24 for each cn_k (0 ≦ k ≦ 8, k is an integer)
9 (b), the mask 18 (see FIG. 9 (a)) is operated to scan the corresponding point Q_i (0 ≦ i ≦ 8, i is an integer) during the scanning operation. Scn_k (0 ≦ k ≦
This is a process including a process of detecting each corresponding point for each 8, k is an integer and generating corresponding point information 26a for each scanning line Scn_k (0 ≦ k ≦ 8, k is an integer).
【０２１２】距離演算工程は、距離演算手段（マイクロ
コンピュータ）２８が、前述したように、スキャニング
動作において、障害物１４と車両１１との間の距離Ｌ毎
に予め求めておいた走査線Ｓｃｎ_k(0≦k≦８，kは整
数)と視差Ｐｒｌｘとの関係式ｆｎｃに、走査線Ｓｃｎ_
k(0≦k≦８，kは整数)毎に各々求められた視差Ｐｒｌｘ
及び走査線Ｓｃｎ_k(0≦k≦８，kは整数)の条件を代入
する工程と、前工程に続いて、関係式ｆｎｃに基づいて
障害物１４と車両１１との間の距離Ｌを走査線Ｓｃｎ_k
(0≦k≦８，kは整数)毎に検知して走査線Ｓｃｎ_k(0≦k
≦８，kは整数)毎に距離情報２８ａを各々生成する工程
を含む工程である。[0212] In the distance calculation step, the distance calculation means (microcomputer) 28 scans the scanning line Scn_k () determined in advance for each distance L between the obstacle 14 and the vehicle 11 in the scanning operation as described above. 0 ≦ k ≦ 8, k is an integer) and the parallax Prlx, the scanning line Scn_
Parallax Prlx obtained for each k (0 ≦ k ≦ 8, k is an integer)
And a step of substituting the condition of scanning line Scn_k (0 ≦ k ≦ 8, k is an integer), and following the previous step, the distance L between the obstacle 14 and the vehicle 11 is determined by the scanning line based on the relational expression fnc. Scn_k
(0 ≦ k ≦ 8, k is an integer) and scan line Scn_k (0 ≦ k
≦ 8, k is an integer) for each distance information 28a.
【０２１３】障害物監視工程は、障害物監視手段（マイ
クロコンピュータ）３０が、前述したように、監視領域
１２内に存在する各障害物１４に対応した距離情報２８
ａに基づいて、障害物１４の中から、車両１１の走行方
向の監視領域１２に対して最も車両１１に近い位置に存
在する障害物１４を指定する工程を含む工程である。In the obstacle monitoring step, the obstacle monitoring means (microcomputer) 30 executes the distance information 28 corresponding to each obstacle 14 existing in the monitoring area 12 as described above.
This is a step including a step of designating, based on the obstacle 14, an obstacle 14 existing at a position closest to the vehicle 11 with respect to the monitoring area 12 in the traveling direction of the vehicle 11 from the obstacles 14.
【０２１４】ステレオ画像演算工程は、ステレオ画像演
算手段（マイクロコンピュータ）３２が、前述したよう
に、左画像情報２０_L並びに右画像情報２０_R、及び左
画像情報２０_Lと右画像情報２０_Rとの視差Ｐｒｌｘに
基づいて、ステレオ画像情報３２ａを作成する工程を含
む工程である。In the stereo image calculation step, the stereo image calculation means (microcomputer) 32 converts the left image information 20_L and the right image information 20_R and the parallax Prlx between the left image information 20_L and the right image information 20_R as described above. This is a step including a step of creating the stereo image information 32a based on the information.
【０２１５】表示工程は、表示手段（ディスプレイ）３
４が、前述したように、ステレオ画像情報３２ａを表示
する工程と、前工程に続いて、監視領域１２内に存在す
る各障害物１４に対応した距離情報２８ａに基づいて、
障害物１４の中から、車両１１の走行方向の監視領域１
２に対して最も車両１１に近い位置に存在する障害物１
４を表示色を変更して表示する工程と、前工程に続い
て、障害物１４に対応した距離情報２８ａを表示する工
程を含む工程である。[0215] In the display step, the display means (display) 3
4 is, as described above, based on the step of displaying the stereo image information 32a and the distance information 28a corresponding to each obstacle 14 present in the monitoring area 12 following the previous step.
The monitoring area 1 of the traveling direction of the vehicle 11 from the obstacles 14
Obstacle 1 located closest to vehicle 11 with respect to 2
4 is a step that includes a step of changing the display color and displaying the same, and a step of displaying distance information 28a corresponding to the obstacle 14 subsequent to the previous step.
【０２１６】次に、複数の障害物１４Ａ，１４Ｂ，１４
Ｃが存在する場合の第１実施形態の車両周辺監視装置１
０に用いられる障害物検出方法の動作を説明する。Next, a plurality of obstacles 14A, 14B, 14
Vehicle periphery monitoring device 1 of the first embodiment when C exists
The operation of the obstacle detection method used for 0 will be described.
【０２１７】図１１は、図２の車両周辺監視装置１０で
スキャニング動作が可能な探索範囲Ｓｃｎ_rngを説明す
るための走査線対視差グラフである。図１４は、図１２
及び図１３のスキャニング動作時における複数の障害物
１４の配置例を説明するための図である。なお、本実施
形態の車両周辺監視装置１０及び障害物検出方法におい
て既に記述したものと同一の部分については、同一符号
を付し、重複した説明は省略する。FIG. 11 is a scan line pair parallax graph for explaining the search range Scn_rng in which the scanning operation can be performed by the vehicle periphery monitoring device 10 of FIG. FIG.
14 is a diagram for explaining an example of the arrangement of a plurality of obstacles 14 during the scanning operation of FIG. Note that the same parts as those already described in the vehicle periphery monitoring device 10 and the obstacle detection method of the present embodiment are denoted by the same reference numerals, and redundant description will be omitted.
【０２１８】通常障害物が検出されない場合のスキャニ
ング動作が可能な探索範囲Ｓｃｎ_rngは、図１１の斜線
部分に示すような範囲となる。The search range Scn_rng in which the scanning operation is normally performed when no obstacle is detected is as shown by the hatched portion in FIG.
【０２１９】図１２は、図２の車両周辺監視装置１０で
スキャニング動作される最短探索範囲Ｓｃｎ_rngを説明
するための走査線対視差グラフであって、車両１１と障
害物１４間の距離ＬがＬ２（但し、Ｌ１＜Ｌ２＜Ｌ３）
であることが第８走査線Ｓｃｎ_8によって判明したとき
に、Ｌ２より離れた距離Ｌにある障害物１４については
スキャニング動作を行わない様子を説明するための動作
図である。FIG. 12 is a scanning line pair parallax graph for explaining the shortest search range Scn_rng in which the scanning operation is performed by the vehicle periphery monitoring device 10 of FIG. 2. The distance L between the vehicle 11 and the obstacle 14 is L2. (However, L1 <L2 <L3)
FIG. 13 is an operation diagram for explaining a state in which the scanning operation is not performed on the obstacle 14 located at a distance L from L2 when it is determined by the eighth scanning line Scn_8 that
【０２２０】図１４に示すように、障害物１４Ａ（車両
１１からの距離Ｌ２）、障害物１４Ｂ（車両１１からの
距離Ｌ１）、障害物１４Ｃ（車両１１からの距離Ｌ３）
が存在する場合、距離Ｌ１，Ｌ２，Ｌ３に応じて、車両
１１と障害物１４間の距離ＬがＬ２（但し、Ｌ１＜Ｌ２
＜Ｌ３）であることが第８走査線Ｓｃｎ_8によって判明
したときに、Ｌ２より離れた距離Ｌにある障害物１４に
ついてはスキャニング動作が実行されないため、探索範
囲Ｓｃｎ_rngは、関係式ｆｎｃ_２によって制限され
て、図１２の斜線部分に示すような範囲となる。As shown in FIG. 14, obstacle 14A (distance L2 from vehicle 11), obstacle 14B (distance L1 from vehicle 11), and obstacle 14C (distance L3 from vehicle 11)
Exists, the distance L between the vehicle 11 and the obstacle 14 is L2 (where L1 <L2) according to the distances L1, L2, and L3.
When it is found from the eighth scanning line Scn_8 that <L3), the scanning operation is not performed on the obstacle 14 located at a distance L away from L2. Therefore, the search range Scn_rng is limited by the relational expression fnc_2. 12, the range shown by the hatched portion in FIG.
【０２２１】図１３は、図２の車両周辺監視装置１０で
スキャニング動作される最短探索範囲Ｓｃｎ_rngを説明
するための走査線対視差グラフであって、図１２の動作
に加えて、更に、車両と障害物１４間の距離ＬがＬ１
（但し、Ｌ１＜Ｌ２＜Ｌ３）であることが第６走査線Ｓ
ｃｎ_6によって判明したときに、Ｌ１より離れた距離Ｌ
にある障害物１４についてはスキャニング動作を行わな
い様子を説明するための動作図である。FIG. 13 is a scanning line pair parallax graph for explaining the shortest search range Scn_rng scanned by the vehicle periphery monitoring device 10 of FIG. 2. In addition to the operation of FIG. The distance L between the obstacles 14 is L1
(However, L1 <L2 <L3) is satisfied for the sixth scanning line S.
cn_6, distance L from L1
FIG. 7 is an operation diagram for explaining a state in which a scanning operation is not performed on the obstacle 14 in FIG.
【０２２２】更に、図１２で説明した動作に加えて、車
両１１と障害物１４間の距離ＬがＬ１（但し、Ｌ１＜Ｌ
２＜Ｌ３）であることが第６走査線Ｓｃｎ_6によって判
明したときに、Ｌ１より離れた距離Ｌにある障害物１４
についてはスキャニング動作が実行されないため、探索
範囲Ｓｃｎ_rngは、関係式ｆｎｃ_１によって制限され
て、図１３の斜線部分に示すような範囲となる。Further, in addition to the operation described with reference to FIG. 12, the distance L between the vehicle 11 and the obstacle 14 is L1 (where L1 <L
2 <L3), it is determined by the sixth scanning line Scn_6 that the obstacle 14 located at a distance L away from L1
Since the scanning operation is not performed for, the search range Scn_rng is limited by the relational expression fnc_1 and becomes the range shown by the hatched portion in FIG.
【０２２３】次に、第２実施形態の車両周辺監視装置１
０の基本概念をを説明する。Next, the vehicle periphery monitoring device 1 of the second embodiment
The basic concept of 0 will be described.
【０２２４】なお、第１実施形態の車両周辺監視装置１
０、及び第１実施形態の車両周辺監視装置１０に用いら
れる障害物検出方法において既に記述したものと同一の
部分については、同一符号を付し、重複した説明は省略
する。The vehicle periphery monitoring device 1 of the first embodiment
0, and the same parts as those already described in the obstacle detection method used in the vehicle periphery monitoring device 10 of the first embodiment are denoted by the same reference numerals, and redundant description will be omitted.
【０２２５】本実施形態の車両周辺監視装置１０は、本
実施形態の車両周辺監視装置１０に記載した機能に加え
て、特徴点Ｐ_i(０≦i≦8，iは整数)を対応点Ｑ_i(0≦i
≦8，iは整数)として検出する際に、障害物１４の高さ
（単位は［画素］）に応じて、前述の第１スキャニング
動作又は第２スキャニング動作を実行する特徴点Ｐ_i
(０≦i≦8，iは整数)と同一走査線Ｓｃｎ_k(0≦k≦8，k
は整数)上で対応点Ｑ_i(0≦i≦8，iは整数)を探索する
スキャニング範囲である探索範囲Ｓｃｎ_rngを最も短く
なるように選択すると同時に、特徴点Ｐ_i(０≦i≦8，i
は整数)及び最短の探索範囲Ｓｃｎ_rngを用いて検出し
た対応点Ｑ_i(0≦i≦8，iは整数)に基づいて視差Ｐｒｌ
ｘを求める機能を有する。このような機能は、前述の障
害物検出プログラム内にプログラムコードとして記述さ
れている。The vehicle periphery monitoring device 10 of the present embodiment has a feature point P_i (0 ≦ i ≦ 8, where i is an integer) and a corresponding point Q_i ( 0 ≦ i
When detecting as ≦ 8, i is an integer), the feature point P_i for executing the first scanning operation or the second scanning operation described above according to the height of the obstacle 14 (unit is [pixel]).
(0 ≦ i ≦ 8, i is an integer) and the same scanning line Scn_k (0 ≦ k ≦ 8, k
Is an integer), a search range Scn_rng, which is a scanning range for searching for the corresponding point Q_i (0 ≦ i ≦ 8, i is an integer), is selected to be the shortest, and at the same time, the feature point P_i (0 ≦ i ≦ 8, i
Is an integer) and the corresponding point Q_i (0 ≦ i ≦ 8, i is an integer) detected using the shortest search range Scn_rng.
It has a function to find x. Such a function is described as a program code in the above-described obstacle detection program.
【０２２６】更に、本車両周辺監視装置１０は、特徴点
Ｐ_i(０≦i≦8，iは整数)及び走査線Ｓｃｎ_k(0≦k≦
8，kは整数)毎の最短の探索範囲Ｓｃｎ_rngを用いて検
出した対応点Ｑ_i(0≦i≦8，iは整数)に基づいて視差Ｐ
ｒｌｘを求める機能も有している。このような機能は、
前述の障害物検出プログラム内にプログラムコードとし
て記述されている。Further, the vehicle surroundings monitoring device 10 includes a feature point P_i (0 ≦ i ≦ 8, i is an integer) and a scanning line Scn_k (0 ≦ k ≦
The parallax P is determined based on the corresponding point Q_i (0 ≦ i ≦ 8, i is an integer) detected using the shortest search range Scn_rng for each of 8, k is an integer.
It also has a function to find rlx. These features are:
It is described as a program code in the above-described obstacle detection program.
【０２２７】このような機能を設けることに依り、障害
物１４の高さに応じて、探索範囲Ｓｃｎ_rngを走査線Ｓ
ｃｎ_k(0≦k≦8，kは整数)毎に最も短くなるように選択
することに依り、高さ各々異なる複数の障害物１４（例
えば、一方が車両１１の近くに存在する障害物１４、他
方が障害物１４よりも車両１１から遠くに存在する障害
物１４であって、高さが各々異なる２つの障害物１４）
が含まれるステレオ画像に対して走査線Ｓｃｎ_k(0≦k
≦8，kは整数)に沿って前述の第１スキャニング動作又
は第２スキャニング動作をする場合、車両１１の一番近
くに存在する障害物１４に対して車両１１と障害物１４
との間の視差Ｐｒｌｘを測定できる程度に探索範囲Ｓｃ
ｎ_rngを走査線Ｓｃｎ_k(0≦k≦8，kは整数)毎に限定し
て設定することが運転者の手を煩わせることなく可能と
なり、その結果、車両１１の安全走行に最も重要な役割
を果たす、車両１１の一番近くに存在する障害物１４に
対する車両１１−障害物１４間距離Ｌを更に短時間で求
めて運転者に更に迅速に報知することが可能となる効果
を奏する。By providing such a function, the search range Scn_rng is set to the scanning line S in accordance with the height of the obstacle 14.
By selecting the shortest for each cn_k (0 ≦ k ≦ 8, k is an integer), a plurality of obstacles 14 having different heights (for example, one of obstacles 14 near the vehicle 11, The other is an obstacle 14 that is farther from the vehicle 11 than the obstacle 14, and has two different heights 14).
Scan lines Scn_k (0 ≦ k
≦ 8, k is an integer) when the above-described first scanning operation or second scanning operation is performed along with the vehicle 11 and the obstacle 14 that are closest to the vehicle 11.
Search range Sc such that parallax Prlx between
It is possible to set n_rng only for each scanning line Scn_k (0 ≦ k ≦ 8, k is an integer) without bothering the driver, and as a result, the most important role for the safe driving of the vehicle 11 Is achieved, the distance L between the vehicle 11 and the obstacle 14 with respect to the obstacle 14 closest to the vehicle 11 can be obtained in a shorter time, and the driver can be notified more quickly.
【０２２８】この結果、障害物１４と車両１１との距離
Ｌの判断、及びこれらの判断に基づく障害物回避行動等
の車両周辺監視作業における運転者の労力を軽減するこ
とが可能となり、運転者が車両１１の操作に専念できる
ようになるといった効果を奏する。As a result, it is possible to reduce the driver's labor in the determination of the distance L between the obstacle 14 and the vehicle 11 and the vehicle periphery monitoring work such as the obstacle avoidance action based on the determination. Can concentrate on the operation of the vehicle 11.
【０２２９】更に、従来に比較して障害物１４を早期且
つ的確に発見でき、障害物１４の発見の早期警報が可能
となり、故に、早期且つ的確な障害物回避行動が実行可
能となるといった効果を奏する。Further, the obstacle 14 can be found earlier and more accurately than in the conventional art, and an early warning of the finding of the obstacle 14 can be made. Therefore, an earlier and more accurate obstacle avoiding action can be performed. To play.
【０２３０】続いて、本実施形態の車両周辺監視装置１
０を具体的に説明する。Subsequently, the vehicle periphery monitoring device 1 of the present embodiment
0 will be specifically described.
【０２３１】本車両周辺監視装置１０の構成は、前述の
本実施形態の車両周辺監視装置１０の構成と同様であ
る。The configuration of the vehicle periphery monitoring device 10 is the same as that of the above-described vehicle periphery monitoring device 10 of the present embodiment.
【０２３２】以下、構成要素において、第２実施形態の
車両周辺監視装置１０に付加された機能について述べ
る。Hereinafter, the functions of the components added to the vehicle periphery monitoring device 10 of the second embodiment will be described.
【０２３３】図２の車両周辺監視装置１０を用いた前述
の第１スキャニング動作又は第２スキャニング動作にお
いて、障害物１４の高さ毎に予め求めておいた走査線Ｓ
ｃｎ_k(0≦k≦8，kは整数)と視差Ｐｒｌｘとの関係式ｆ
ｎｃは走査線対視差グラフによって予め用意されてい
る。In the above-described first scanning operation or second scanning operation using the vehicle periphery monitoring device 10 of FIG. 2, the scanning line S determined in advance for each height of the obstacle 14
Relational expression f between cn_k (0 ≦ k ≦ 8, k is an integer) and disparity Prlx
nc is prepared in advance by a scanning line versus parallax graph.
【０２３４】図２の車両周辺監視装置１０は、障害物１
４の高さに応じて、前述の対応点検出手段２６が生成す
る第２スキャニング動作用の探索範囲Ｓｃｎ_rngを前述
の走査線対視差グラフを用いて最も短くなるように選択
する機能を有する。[0234] The vehicle periphery monitoring device 10 of FIG.
According to the height of No. 4, a function of selecting the search range Scn_rng for the second scanning operation generated by the corresponding point detecting means 26 so as to be the shortest using the scanning line pair parallax graph is provided.
【０２３５】探索範囲Ｓｃｎ_rngは、前述したように、
路画像１４Ｃ用の第１探索範囲と障害物１４Ｂ用の第２
探索範囲とに分割されていても良い。この場合、第１探
索範囲と第２探索範囲とを用いた第１スキャニング動作
が実行される。The search range Scn_rng is, as described above,
First search range for road image 14C and second search range for obstacle 14B
It may be divided into a search range. In this case, a first scanning operation using the first search range and the second search range is performed.
【０２３６】この走査線対視差グラフは、各走査線Ｓｃ
ｎ_k(0≦k≦8，kは整数)において高さが零の障害物１４
（具体的には、路面上の白線（則ち、路画像１４Ｃ）な
ど）の視差Ｐｒｌｘの相違を示している。画面下方（則
ち、走査線Ｓｃｎ_８）にいくほど、視差Ｐｒｌｘは大
きくなる特性を有する。This scanning line pair parallax graph shows each scanning line Sc.
An obstacle 14 having a height of zero at n_k (0 ≦ k ≦ 8, k is an integer)
Specifically, the parallax Prlx of a white line on the road surface (that is, the road image 14C) is shown. The parallax Prlx has a characteristic that the parallax Prlx increases toward the lower part of the screen (that is, toward the scanning line Scn_8).
【０２３７】そこで本実施形態では、本実施形態に加え
て、前述の第１スキャニング動作又は第２スキャニング
動作における同一走査線Ｓｃｎ_k(0≦k≦8，kは整数)上
で、右画像の特徴点Ｐ_i(０≦i≦8，iは整数)に対応す
る左画像のの特徴点Ｐ_i(０≦i≦8，iは整数)を対応点
Ｑ_i(0≦i≦8，iは整数)として検出する際に、障害物１
４の高さに応じて、前述の第１スキャニング動作又は第
２スキャニング動作を実行する特徴点Ｐ_i(０≦i≦8，i
は整数)と同一走査線Ｓｃｎ_k(0≦k≦8，kは整数)上で
対応点Ｑ_i(0≦i≦8，iは整数)を探索するスキャニング
範囲である第１スキャニング動作又は第２スキャニング
動作用の探索範囲Ｓｃｎ_rngを走査線Ｓｃｎ_k(0≦k≦
8，kは整数)毎に最も短くなるように選択して最短探索
範囲情報２４ａを走査線Ｓｃｎ_k(0≦k≦8，kは整数)毎
に各々生成する機能を探索範囲最適化手段２４（マイク
ロコンピュータ）に設けている。Therefore, in this embodiment, in addition to this embodiment, the characteristic of the right image on the same scanning line Scn_k (0 ≦ k ≦ 8, where k is an integer) in the above-described first scanning operation or second scanning operation. A feature point P_i (0 ≦ i ≦ 8, i is an integer) of the left image corresponding to the point P_i (0 ≦ i ≦ 8, i is an integer) is defined as a corresponding point Q_i (0 ≦ i ≦ 8, i is an integer). Obstacle 1 when detecting
4, a feature point P_i (0 ≦ i ≦ 8, i) at which the first scanning operation or the second scanning operation is performed.
Is a scanning range for searching for a corresponding point Q_i (0 ≦ i ≦ 8, i is an integer) on the same scanning line Scn_k (0 ≦ k ≦ 8, k is an integer) as the first scanning operation or the second scanning. The search range Scn_rng for the operation is set to the scanning line Scn_k (0 ≦ k ≦
The function of selecting the shortest search range information 24a for each scan line Scn_k (0 ≦ k ≦ 8, k is an integer) and selecting the shortest search range information 24a for each of the shortest search intervals is the search range optimization means 24 (8, k is an integer). Microcomputer).
【０２３８】このような探索範囲最適化手段２４を設け
ることに依り、本実施形態に比較して更に強い制限を探
索範囲Ｓｃｎ_rngに加えることが可能となる。By providing such a search range optimizing means 24, a stronger restriction can be added to the search range Scn_rng as compared with the present embodiment.
【０２３９】その結果、障害物１４を本実施形態に比較
して更に早期且つ的確に発見でき、障害物１４の発見の
早期警報が可能となり、故に、本実施形態に比較して更
に早期且つ的確な障害物回避行動が実行可能となるとい
った効果を奏する。車両１１からの距離Ｌが各々異なる
複数の障害物１４が含まれるステレオ画像に対して走査
線Ｓｃｎ_k(0≦k≦8，kは整数)に沿って前述の第１スキ
ャニング動作又は第２スキャニング動作をする場合、車
両１１の一番近くに存在する障害物１４に対して車両１
１と障害物１４との間の視差Ｐｒｌｘを測定できる程度
に第１スキャニング動作又は第２スキャニング動作用の
探索範囲Ｓｃｎ_rngを走査線Ｓｃｎ_k(0≦k≦8，kは整
数)毎に本実施形態に比較して更に限定して設定するこ
とが運転者の手を煩わせることなく可能となる。As a result, the obstacle 14 can be found earlier and more accurately than in the present embodiment, and an early warning of the finding of the obstacle 14 can be made. Therefore, earlier and more accurately than the present embodiment. This makes it possible to perform an obstacle avoidance action. The above-described first scanning operation or second scanning operation along a scanning line Scn_k (0 ≦ k ≦ 8, k is an integer) for a stereo image including a plurality of obstacles 14 having different distances L from the vehicle 11. Is performed, the obstacle 1 located closest to the vehicle 11 is
In this embodiment, the search range Scn_rng for the first scanning operation or the second scanning operation is set for each scanning line Scn_k (0 ≦ k ≦ 8, where k is an integer) so that the parallax Prlx between the object 1 and the obstacle 14 can be measured. It is possible to make a more limited setting as compared to the above, without bothering the driver.
【０２４０】特に、探索範囲最適化手段２４及び前述の
距離演算手段２８とを設けることに依り、高さが各々異
なる複数の障害物１４が含まれるステレオ画像に対して
走査線Ｓｃｎ_k(0≦k≦8，kは整数)に沿って前述の第１
スキャニング動作又は第２スキャニング動作をする場
合、車両１１の一番近くに存在する障害物１４に対して
車両１１と障害物１４との間の視差Ｐｒｌｘを測定でき
る程度に第１スキャニング動作又は第２スキャニング動
作用の探索範囲Ｓｃｎ_rngを走査線Ｓｃｎ_k(0≦k≦8，
kは整数)毎に本実施形態に比較して更に限定して設定す
ることも同時に可能となる。In particular, by providing the search range optimizing means 24 and the above-described distance calculating means 28, a scanning line Scn_k (0 ≦ k) is used for a stereo image including a plurality of obstacles 14 having different heights. ≤8, k is an integer).
When the scanning operation or the second scanning operation is performed, the first scanning operation or the second scanning operation is performed so that the parallax Prlx between the vehicle 11 and the obstacle 14 can be measured with respect to the obstacle 14 existing closest to the vehicle 11. The search range Scn_rng for the scanning operation is set to the scanning line Scn_k (0 ≦ k ≦ 8,
It is also possible to set more limitedly for each (k is an integer) compared to the present embodiment.
【０２４１】これらの結果、車両１１の安全走行に最も
重要な役割を果たす、車両１１の一番近くに存在する障
害物１４に対する車両１１−障害物１４間距離Ｌを本実
施形態に比較して更に短時間で求めて運転者に更に迅速
に報知することが可能となる効果を奏する。As a result, the distance L between the vehicle 11 and the obstacle 14 with respect to the obstacle 14 closest to the vehicle 11 which plays the most important role in the safe driving of the vehicle 11 is compared with the present embodiment. There is an effect that it is possible to notify the driver more quickly in a shorter time.
【０２４２】特に、前述の距離演算手段２８と障害物監
視手段３０とを設けることに依り、障害物１４と車両１
１との距離Ｌの判断を関係式ｆｎｃを用いて動的且つ客
観的に判定できるので、運転者の個人差や判断の再現性
のばらつきを回避でき、更に、これらの判断に基づく迅
速な障害物回避行動等の車両周辺監視作業における運転
者の労力を軽減することが可能となり、運転者が車両１
１の操作に専念できるようになるといった効果を奏す
る。In particular, by providing the above-described distance calculation means 28 and obstacle monitoring means 30, the obstacle 14 and the vehicle 1
Since the determination of the distance L from the vehicle 1 can be dynamically and objectively determined using the relational expression fnc, it is possible to avoid individual differences between drivers and variations in the reproducibility of the determination, and furthermore, a quick obstacle based on these determinations. It is possible to reduce the driver's labor in monitoring the periphery of the vehicle such as an object avoiding action, and the driver can reduce the vehicle 1
This has the effect of allowing the user to concentrate on the first operation.
【０２４３】更に、前述の関係式ｆｎｃを用いた最短探
索範囲の動的且つ客観的な判定が可能となることに依
り、障害物１４を本実施形態に比較して更に早期且つ的
確に発見でき、障害物１４の発見の早期警報が可能とな
り、故に、本実施形態に比較して更に早期且つ的確な障
害物回避行動が実行可能となるといった効果を奏する。Further, the dynamic and objective determination of the shortest search range using the above-mentioned relational expression fnc becomes possible, so that the obstacle 14 can be found earlier and more accurately than in the present embodiment. Thus, an early warning of the discovery of the obstacle 14 can be performed, and therefore, an effect that the obstacle avoidance action can be executed earlier and more accurately than in the present embodiment is achieved.
【０２４４】このように迅速な障害物１４の検出が可能
となることに依り、例えば、車両１１の走行中におい
て、時々刻々変化する監視領域１２内に障害物１４が突
然侵入してきたような動的な対応が要求される場合であ
っても、障害物１４を本実施形態に比較して更に早期に
且つ的確に発見して障害物発見の早期警報を運転者に発
することが可能となり、その結果、運転者の車両操作を
妨げることなく、監視領域１２に突発的に侵入してくる
障害物１４の動的な認識、このような障害物１４の大き
さ・形状の動的な判断、車両１１との距離Ｌの動的な判
断、及びこれらの動的な判断に基づく速やかな障害物回
避行動等の車両周辺監視作業に要求される運転者の労力
を本実施形態に比較して更に軽減することが可能とな
り、車両１１の安全操作へ運転者が意識を集中できるよ
うになるといった効果を奏する。[0244] Since the detection of the obstacle 14 can be performed quickly as described above, for example, when the vehicle 11 is running, it is possible for the obstacle 14 to suddenly enter the monitoring area 12 that changes every moment. Even if a proper response is required, it is possible to detect the obstacle 14 earlier and more accurately than in the present embodiment, and to issue an early warning of the obstacle detection to the driver. As a result, the dynamic recognition of the obstacle 14 suddenly entering the monitoring area 12 without hindering the driver's vehicle operation, the dynamic determination of the size and shape of such an obstacle 14, the vehicle The driver's labor required for the vehicle periphery monitoring work such as the dynamic determination of the distance L to the vehicle 11 and the prompt obstacle avoidance action based on the dynamic determination is further reduced as compared with the present embodiment. Operation of the vehicle 11 An effect such as the driver will be able to focus the consciousness to.
【０２４５】次に、複数の障害物１４Ａ，１４Ｂ，１４
Ｃが存在する場合の本実施形態の障害物検出方法の動作
を説明する。Next, a plurality of obstacles 14A, 14B, 14
The operation of the obstacle detection method according to the present embodiment when C exists will be described.
【０２４６】図１４（ａ）は、検出高さの最大と検出高
さの最小とで決定される、図２の車両周辺監視装置１０
が第１スキャニング動作又は第２スキャニング動作が可
能な探索範囲Ｓｃｎ_rngを説明するための走査線対視差
グラフであり、図１４（ｂ）は、図２の車両周辺監視装
置１０で第１スキャニング動作又は第２スキャニング動
作で用いられる最短探索範囲Ｓｃｎ_rngを説明するため
の走査線対視差グラフであって、車両と障害物１４間の
距離ＬがＬ２（但し、Ｌ１＜Ｌ２＜Ｌ３）であることが
第８走査線Ｓｃｎ_8によって判明したときに、Ｌ２より
離れた距離Ｌにある障害物１４については第１スキャニ
ング動作及び第２スキャニング動作を行わず、更に、車
両と障害物１４間の距離ＬがＬ１（但し、Ｌ１＜Ｌ２＜
Ｌ３）であることが第６走査線Ｓｃｎ_6によって判明し
たときに、Ｌ１より離れた距離Ｌにある障害物１４につ
いては第１スキャニング動作及び第２スキャニング動作
を行わない様子を説明するための動作図であり、図１４
（ｃ）は、距離Ｌで制限される図１４（ｂ）の最短探索
範囲Ｓｃｎ_rngを、検出高さで制限される図１４（ａ）
の探索範囲Ｓｃｎ_rngを用いて更に制限を加えた様子を
説明するための動作図である。FIG. 14A shows the vehicle periphery monitoring device 10 of FIG. 2 which is determined by the maximum detected height and the minimum detected height.
FIG. 14B is a scanning line pair parallax graph for explaining a search range Scn_rng in which the first scanning operation or the second scanning operation is possible, and FIG. 14B shows the first scanning operation or the first scanning operation by the vehicle periphery monitoring device 10 in FIG. 6 is a scanning line pair parallax graph for explaining the shortest search range Scn_rng used in the second scanning operation, wherein a distance L between the vehicle and the obstacle 14 is L2 (where L1 <L2 <L3). When it is determined from the eight scanning lines Scn_8, the first scanning operation and the second scanning operation are not performed for the obstacle 14 located at a distance L from L2, and the distance L between the vehicle and the obstacle 14 is L1 ( However, L1 <L2 <
L3) is an operation diagram for explaining a state in which the first scanning operation and the second scanning operation are not performed with respect to the obstacle 14 located at a distance L away from L1 when the sixth scanning line Scn_6 is found. FIG. 14
FIG. 14C shows a case where the shortest search range Scn_rng of FIG. 14B limited by the distance L is limited by the detection height.
FIG. 10 is an operation diagram for describing a state in which a further limit is added using the search range Scn_rng of FIG.
【０２４７】本車両周辺監視装置１０において第１スキ
ャニング動作又は第２スキャニング動作が可能な探索範
囲Ｓｃｎ_rngは、図１４（ａ）に示すように、検出高さ
の最大と検出高さの最小とで決定される２本の走査線対
視差グラフで挟まれた斜線部分となる。As shown in FIG. 14A, the search range Scn_rng in which the first scanning operation or the second scanning operation can be performed in the vehicle periphery monitoring device 10 is a maximum detection height and a minimum detection height. The hatched portion is sandwiched between the determined two scanning line pair parallax graphs.
【０２４８】本実施形態の車両周辺監視装置１０は、前
述の車両周辺監視装置１０と同様に、車両と障害物１４
間の距離ＬがＬ２（但し、Ｌ１＜Ｌ２＜Ｌ３）であるこ
とが第８走査線Ｓｃｎ_8によって判明したときに、Ｌ２
より離れた距離Ｌにある障害物１４については第１スキ
ャニング動作及び第２スキャニング動作を行わないよう
に関係式ｆｎｃ_2によって第１スキャニング動作又は第
２スキャニング動作用の探索範囲Ｓｃｎ_rngを制限し、
更に加えて、車両と障害物１４間の距離ＬがＬ１（但
し、Ｌ１＜Ｌ２＜Ｌ３）であることが第６走査線Ｓｃｎ
_6によって判明したときに、Ｌ１より離れた距離Ｌにあ
る障害物１４については第１スキャニング動作及び第２
スキャニング動作を行わないように関係式ｆｎｃ_１に
よって第１スキャニング動作又は第２スキャニング動作
用の探索範囲Ｓｃｎ_rngを制限する。The vehicle periphery monitoring device 10 of the present embodiment, like the vehicle periphery monitoring device 10 described above,
When it is determined from the eighth scanning line Scn_8 that the distance L between them is L2 (where L1 <L2 <L3), L2
The search range Scn_rng for the first scanning operation or the second scanning operation is limited by the relational expression fnc_2 so that the first scanning operation and the second scanning operation are not performed for the obstacle 14 at a longer distance L,
In addition, the sixth scanning line Scn indicates that the distance L between the vehicle and the obstacle 14 is L1 (where L1 <L2 <L3).
_6, the first scanning operation and the second
The search range Scn_rng for the first scanning operation or the second scanning operation is limited by the relational expression fnc_1 so that the scanning operation is not performed.
【０２４９】更に本実施形態の車両周辺監視装置１０
は、このような本実施形態の車両周辺監視装置１０の動
作に加えて、図１４（ｂ）に示す探索範囲Ｓｃｎ_rngに
対して、障害物１４の検出高さの最大と検出高さの最小
とで決定される２本の走査線対視差グラフを適用し、図
１４（ｃ）の斜線部分に示すように、第１スキャニング
動作又は第２スキャニング動作用の探索範囲Ｓｃｎ_rng
を更に制限を加えている。Further, the vehicle periphery monitoring device 10 of this embodiment
In addition to the operation of the vehicle periphery monitoring device 10 of the present embodiment, the maximum detection height of the obstacle 14 and the minimum detection height of the obstacle 14 with respect to the search range Scn_rng shown in FIG. Is applied, and the search range Scn_rng for the first scanning operation or the second scanning operation is applied as shown by the hatched portion in FIG.
Is further restricted.
【０２５０】このように、第１スキャニング動作又は第
２スキャニング動作用の探索範囲Ｓｃｎ_rngに２重に制
限を加えることが可能となる結果、障害物１４を本実施
形態に比較して更に早期且つ的確に発見でき、障害物１
４の発見の早期警報が可能となり、故に、本実施形態に
比較して更に早期且つ的確な障害物回避行動が実行可能
となるといった効果を奏する。As described above, the search range Scn_rng for the first scanning operation or the second scanning operation can be double-limited, so that the obstacle 14 can be more quickly and accurately compared to the present embodiment. Obstacle 1
Thus, it is possible to provide an early warning of the discovery of No. 4 and, therefore, achieve an earlier and more accurate obstacle avoidance action as compared with the present embodiment.
【０２５１】[0251]
【発明の効果】請求項１に記載の発明に依れば、複数の
障害物が同時に画像内の同一走査線上に存在した状態で
スキャニング動作を実行した場合であっても、特徴点に
対して最も画像相関関係の強い当該他方の画像の特徴点
を対応点として選択して、正しい対応点を検出できるよ
うになり、その結果、正しい障害物検出が実行できるよ
うになる。According to the first aspect of the present invention, even when a scanning operation is performed in a state where a plurality of obstacles are present on the same scanning line in an image at the same time, a feature point can be reduced. The feature point of the other image having the strongest image correlation is selected as a corresponding point, and a correct corresponding point can be detected. As a result, a correct obstacle can be detected.
【０２５２】請求項２に記載の発明に依れば、請求項１
に記載の効果に加えて、最も近くに存在する障害物と車
両との距離に応じて探索範囲を最も短くなるように選択
することに依って、車両からの距離が各々異なる複数の
障害物（例えば、一方が車両の近くに存在する障害物、
他方が障害物よりも車両から遠くに存在する障害物）が
含まれるステレオ画像に対して走査線に沿ってスキャニ
ング動作をする場合、車両の一番近くに存在する障害物
に対して車両と障害物との間の視差を測定できる程度に
探索範囲を限定して設定することが運転者の手を煩わせ
ることなく可能となり、その結果、車両の安全走行に最
も重要な役割を果たす、車両の一番近くに存在する障害
物に対する車両−障害物間距離を短時間で求めて運転者
に迅速に報知することが可能となる効果を奏する。According to the second aspect of the present invention, the first aspect
In addition to the effects described in the above, by selecting the search range to be the shortest according to the distance between the nearest obstacle and the vehicle, a plurality of obstacles each having a different distance from the vehicle ( For example, one obstacle near the vehicle,
When a scanning operation is performed along a scanning line on a stereo image that includes an obstacle that is farther from the vehicle than the obstacle, the obstacle that is closest to the vehicle and the obstacle are scanned. It is possible to set a limited search range to the extent that parallax between objects can be measured without the need for the driver, and as a result, the vehicle plays the most important role in safe driving of the vehicle. It is possible to obtain the distance between the vehicle and the obstacle with respect to the nearest obstacle in a short time and quickly notify the driver.
【０２５３】この結果、障害物と車両との距離の判断、
及びこれらの判断に基づく障害物回避行動等の車両周辺
監視作業における運転者の労力を軽減することが可能と
なり、運転者が車両の操作に専念できるようになるとい
った効果を奏する。As a result, determination of the distance between the obstacle and the vehicle,
In addition, it is possible to reduce the driver's labor in the vehicle periphery monitoring work such as the obstacle avoidance action based on these determinations, so that the driver can concentrate on the operation of the vehicle.
【０２５４】更に、従来に比較して障害物を早期且つ的
確に発見でき、障害物の発見の早期警報が可能となり、
故に、早期且つ的確な障害物回避行動が実行可能となる
といった効果を奏する。Further, an obstacle can be detected earlier and more accurately than in the past, and an early warning of the detection of an obstacle can be provided.
Therefore, there is an effect that an early and accurate obstacle avoiding action can be executed.
【０２５５】請求項３に記載の発明に依れば、請求項１
又は２に記載の効果に加えて、最も近くに存在する障害
物と車両との距離に応じて走査線毎に探索範囲を最も短
くなるように選択することに依って、車両からの距離が
各々異なる複数の障害物（例えば、一方が車両の近くに
存在する障害物、他方が障害物よりも車両から遠くに存
在する障害物）が含まれるステレオ画像に対して走査線
に沿ってスキャニング動作をする場合、車両の一番近く
に存在する障害物に対して車両と障害物との間の視差を
測定できる程度に探索範囲を走査線毎に限定して設定す
ることが運転者の手を煩わせることなく可能となり、そ
の結果、車両の安全走行に最も重要な役割を果たす、車
両の一番近くに存在する障害物に対する車両−障害物間
距離を短時間で求めて運転者に更に迅速に報知すること
が可能となる効果を奏する。According to the invention described in claim 3, according to claim 1
Or in addition to the effect described in 2 above, by selecting the search range to be the shortest for each scan line according to the distance between the nearest obstacle and the vehicle, the distance from the vehicle A scanning operation is performed along a scan line on a stereo image including a plurality of different obstacles (for example, one obstacle is closer to the vehicle and the other is farther from the vehicle than the obstacle). In such a case, it is troublesome for the driver to set a search range limited to each scan line so that parallax between the vehicle and the obstacle can be measured for an obstacle existing closest to the vehicle. Without any delay, so that the driver can more quickly determine the vehicle-to-obstacle distance for the closest obstacle to the vehicle, which plays the most important role in the safe driving of the vehicle. Effects that enable notification Unlikely to.
【０２５６】請求項４に記載の発明に依れば、請求項２
又は３と同様の効果を奏する。According to the invention described in claim 4, according to claim 2,
Or, the same effect as 3 can be obtained.
【０２５７】請求項５に記載の発明に依れば、請求項１
乃至４のいずれか一項に記載の効果と同様の効果を奏す
る。According to the invention set forth in claim 5, according to claim 1,
The same effects as the effects described in any one of (4) to (4) are achieved.
【０２５８】請求項６に記載の発明に依れば、請求項５
に記載の効果と同様の効果を奏する。According to the invention described in claim 6, according to claim 5,
The same effect as the effect described in (1) is obtained.
【０２５９】請求項７に記載の発明に依れば、請求項５
又は６に記載の効果に加えて、障害物と車両との間の距
離毎に予め求めておいた走査線と視差との関係式を用い
ることに依り、探索範囲を走査線毎に最も短くなるよう
に選択することが的確且つ簡便に実現でき、装置規模を
小さくでき、更に、装置コストを低減することができる
といった効果を奏する。According to the invention of claim 7, according to claim 5,
Or in addition to the effect described in 6, the search range becomes the shortest for each scanning line by using a relational expression between the scanning line and the parallax obtained in advance for each distance between the obstacle and the vehicle. Such an effect can be achieved accurately and simply, the size of the device can be reduced, and the cost of the device can be reduced.
【０２６０】この結果、障害物と車両との距離の判断を
関係式を用いて客観的に判定できるので、運転者の個人
差や判断の再現性のばらつきを回避でき、更に、これら
の判断に基づく障害物回避行動等の車両周辺監視作業に
おける運転者の労力を軽減することが可能となり、運転
者が車両の操作に専念できるようになるといった効果を
奏する。As a result, the determination of the distance between the obstacle and the vehicle can be objectively determined by using the relational expression, so that it is possible to avoid individual differences between drivers and variations in the reproducibility of the determination. This makes it possible to reduce the driver's labor in the vehicle periphery monitoring work such as the obstacle avoidance action based on the above, and the driver can concentrate on the operation of the vehicle.
【０２６１】更に、従来に比較して障害物を早期且つ的
確に発見でき、障害物の発見の早期警報が可能となり、
故に、早期且つ的確な障害物回避行動が実行可能となる
といった効果を奏する。Furthermore, an obstacle can be found earlier and more accurately than in the past, and an early warning of the finding of an obstacle can be made.
Therefore, there is an effect that an early and accurate obstacle avoiding action can be executed.
【０２６２】請求項８に記載の発明に依れば、請求項５
乃至７のいずれか一項に記載の効果に加えて、直前まで
の走査線毎に求められている距離の中から最短距離に対
応する関係式を用いることに依り、探索範囲を走査線毎
に最も短くなるように選択することが的確且つ簡便に実
現でき、装置規模を小さくでき、更に、装置コストを低
減することができるといった効果を奏する。According to the invention described in claim 8, according to claim 5,
In addition to the effects described in any one of (1) to (7), by using a relational expression corresponding to the shortest distance among the distances obtained for each scanning line up to immediately before, the search range is set for each scanning line. The shortest selection can be achieved accurately and simply, and the apparatus scale can be reduced, and further, the apparatus cost can be reduced.
【０２６３】この結果、障害物と車両との距離の判断を
関係式を用いて動的且つ客観的に判定できるので、運転
者の個人差や判断の再現性のばらつきを回避でき、更
に、これらの判断に基づく迅速な障害物回避行動等の車
両周辺監視作業における運転者の労力を軽減することが
可能となり、運転者が車両の操作に専念できるようにな
るといった効果を奏する。As a result, the distance between the obstacle and the vehicle can be determined dynamically and objectively using a relational expression, so that it is possible to avoid individual differences between drivers and variations in the reproducibility of the determination. It is possible to reduce the driver's labor in the vehicle periphery monitoring work such as the quick obstacle avoidance action based on the judgment of the above, and the driver can concentrate on the operation of the vehicle.
【０２６４】更に、関係式を用いた最短探索範囲の動的
且つ客観的な判定が可能となることに依り、従来に比較
して障害物を早期且つ的確に発見でき、障害物の発見の
早期警報が可能となり、故に、早期且つ的確な障害物回
避行動が実行可能となるといった効果を奏する。Further, since the shortest search range can be dynamically and objectively determined by using the relational expression, an obstacle can be found earlier and more accurately than in the past, and the earlier the obstacle is found. An alarm can be issued, and therefore, an effect that an early and accurate obstacle avoiding action can be executed is achieved.
【０２６５】請求項９に記載の発明に依れば、請求項８
に記載の効果に加えて、対応点検出手段を設けることに
依り、複数の障害物が同時に画像内の同一走査線上に存
在した状態でスキャニング動作を実行した場合であって
も、特徴点に対して最も画像相関関係の強い当該他方の
画像の特徴点を対応点として選択して、正しい対応点を
検出できるようになり、その結果、正しい障害物検出が
実行できるようになる。According to the ninth aspect of the present invention, an eighth aspect is provided.
In addition to the effects described in the above, by providing the corresponding point detection means, even if the scanning operation is executed in a state where a plurality of obstacles are simultaneously present on the same scanning line in the image, the feature points Thus, a feature point of the other image having the strongest image correlation is selected as a corresponding point, and a correct corresponding point can be detected, and as a result, correct obstacle detection can be performed.
【０２６６】更に、車両からの距離が各々異なる複数の
障害物が含まれるステレオ画像に対して走査線に沿って
スキャニング動作をする場合、探索範囲最適化手段を設
けることに依り、車両の一番近くに存在する障害物に対
して車両と障害物との間の視差を測定できる程度に探索
範囲を走査線毎に限定して設定することが運転者の手を
煩わせることなく可能となる。Further, when a scanning operation is performed along a scanning line on a stereo image including a plurality of obstacles at different distances from the vehicle, the search range optimizing means is provided, so that the first position of the vehicle can be obtained. It is possible to set a search range limited to each scanning line so that parallax between the vehicle and the obstacle can be measured for a nearby obstacle without setting the searcher's hand.
【０２６７】この結果、車両の安全走行に最も重要な役
割を果たす、車両の一番近くに存在する障害物に対する
車両−障害物間距離を更に短時間で求めて運転者に更に
迅速に報知することが可能となる効果を奏する。As a result, the distance between the vehicle and the obstacle closest to the vehicle, which plays the most important role in the safe driving of the vehicle, is obtained in a shorter time, and the driver is notified more quickly. This has the effect that it becomes possible.
【０２６８】更に、障害物と車両との距離の判断を関係
式を用いて動的且つ客観的に判定できるので、運転者の
個人差や判断の再現性のばらつきを回避でき、更に、こ
れらの判断に基づく迅速な障害物回避行動等の車両周辺
監視作業における運転者の労力を軽減することが可能と
なり、運転者が車両の操作に専念できるようになるとい
った効果を奏する。Furthermore, since the determination of the distance between the obstacle and the vehicle can be dynamically and objectively determined using a relational expression, it is possible to avoid individual differences between drivers and variations in the reproducibility of the determination. It is possible to reduce the driver's labor in the vehicle periphery monitoring work such as the prompt obstacle avoiding action based on the judgment, and the driver can concentrate on the operation of the vehicle.
【０２６９】更に、関係式を用いた最短探索範囲の動的
且つ客観的な判定が可能となることに依り、従来に比較
して障害物を早期且つ的確に発見でき、障害物の発見の
早期警報が可能となり、故に、早期且つ的確な障害物回
避行動が実行可能となるといった効果を奏する。Further, since the shortest search range can be dynamically and objectively determined using the relational expression, an obstacle can be found earlier and more accurately than in the past, and the earlier the obstacle is found. An alarm can be issued, and therefore, an effect that an early and accurate obstacle avoiding action can be executed is achieved.
【０２７０】このように迅速な障害物の検出が可能とな
ることに依り、例えば、車両の走行中において、時々刻
々変化する監視領域内に障害物が突然侵入してきたよう
な場合であっても、障害物を早期に且つ的確に発見して
障害物発見の早期警報を運転者に発することが可能とな
り、その結果、運転者の車両操作を妨げることなく、監
視領域に突発的に侵入してくる障害物の動的な認識、こ
のような障害物の大きさ・形状の動的な判断、車両との
距離の動的な判断、及びこれらの動的な判断に基づく速
やかな障害物回避行動等の車両周辺監視作業に要求され
る運転者の労力を軽減することが可能となり、車両の安
全操作へ運転者が意識を集中できるようになるといった
効果を奏する。[0270] Since the detection of an obstacle can be performed quickly as described above, for example, even when an obstacle suddenly enters a monitoring area that changes every moment while the vehicle is running. It is possible to quickly and accurately detect an obstacle and issue an early warning of the obstacle detection to the driver, and as a result, suddenly intrude into the monitoring area without disturbing the driver's vehicle operation. Dynamic recognition of coming obstacles, dynamic judgment of the size and shape of such obstacles, dynamic judgment of the distance to the vehicle, and prompt obstacle avoidance action based on these dynamic judgments And the like, it is possible to reduce the driver's labor required for the vehicle periphery monitoring work, and the driver can concentrate his or her consciousness on the safe operation of the vehicle.
【０２７１】請求項１０に記載の発明に依れば、請求項
９に記載の効果に加えて、関係式を用いた最短探索範囲
の動的且つ客観的な判定が可能となることに依り、従来
に比較して障害物を早期且つ的確に発見でき、障害物の
発見の早期警報が可能となり、故に、早期且つ的確な障
害物回避行動が実行可能となるといった効果を奏する。According to the tenth aspect of the invention, in addition to the effect of the ninth aspect, it is possible to dynamically and objectively determine the shortest search range using a relational expression. As compared with the related art, an obstacle can be detected earlier and more accurately, and an early warning of the detection of the obstacle can be made. Therefore, an effect that an earlier and more accurate obstacle avoidance action can be performed is achieved.
【０２７２】また、探索範囲を走査線毎に最も短くなる
ように選択することが的確且つ簡便に実現でき、装置規
模を小さくでき、更に、装置コストを低減することがで
きるといった効果を奏する。In addition, it is possible to accurately and simply realize the selection of the search range so as to be the shortest for each scanning line, to reduce the size of the apparatus, and to reduce the cost of the apparatus.
【０２７３】請求項１１に記載の発明に依れば、請求項
９に記載の効果に加えて、直前までの走査線毎に求めら
れている距離情報（則ち、動的に求められた距離情報）
の中から最短の距離情報に対応する関係式を選択して対
応点検出開始点Ｓｃｎ_strtを決定することに依り、探
索範囲を走査線毎に最も短くなるように動的に選択する
ことが的確且つ簡便に実現でき、装置規模を小さくで
き、更に、装置コストを低減することができるといった
効果を奏する。According to the eleventh aspect of the present invention, in addition to the effect of the ninth aspect, in addition to the distance information obtained for each scanning line up to immediately before (that is, the distance information obtained dynamically) information)
By selecting a relational expression corresponding to the shortest distance information from among and determining the corresponding point detection start point Scn_strt, it is possible to accurately and dynamically select the search range to be the shortest for each scanning line. The present invention has the advantages that it can be easily realized, the apparatus scale can be reduced, and the apparatus cost can be reduced.
【０２７４】請求項１２に記載の発明に依れば、請求項
９又は１１に記載の効果に加えて、運転者に理解しやす
いようなステレオ画像を表示することができ、その結
果、車両の安全走行に最も重要な役割を果たす、車両の
一番近くに存在する障害物を短時間で表示して運転者に
迅速に報知することが可能となる効果を奏する。According to the twelfth aspect of the present invention, in addition to the effect of the ninth or eleventh aspect, a stereoscopic image which can be easily understood by a driver can be displayed. It is possible to quickly display an obstacle closest to the vehicle, which plays the most important role in safe driving, and notify the driver of the obstacle in a short time.
【０２７５】例えば、時々刻々変化する監視領域内に障
害物が突然侵入してきたような場合であっても、障害物
を早期に且つ的確に発見して障害物発見の早期警報を表
示手段を介して運転者に発することが可能となり、その
結果、マンマシーンインタフェース性能が向上し、運転
者の車両操作を妨げることなく、監視領域に突発的に侵
入してくる障害物の動的な認識、このような障害物の大
きさ・形状の動的な判断、車両との距離の動的な判断、
及びこれらの動的な判断に基づく速やかな障害物回避行
動等の車両周辺監視作業に要求される運転者の労力を軽
減することが可能となり、車両の安全操作へ運転者が意
識を集中できるようになるといった効果を奏する。For example, even when an obstacle suddenly enters the monitoring area that changes every moment, the obstacle is quickly and accurately detected, and an early warning of the obstacle detection is displayed via the display means. To the driver, resulting in improved man-machine interface performance and dynamic recognition of obstacles that suddenly enter the monitoring area without hindering the driver's operation of the vehicle. Dynamic determination of the size and shape of such obstacles, dynamic determination of the distance to the vehicle,
In addition, it is possible to reduce the driver's labor required for the vehicle periphery monitoring work such as prompt obstacle avoidance action based on these dynamic judgments, so that the driver can concentrate on safe operation of the vehicle. It has the effect of becoming
【０２７６】請求項１３に記載の発明に依れば、請求項
９乃至１２のいずれか一項に記載の効果に加えて、運転
者に理解しやすいようなステレオ画像及び障害物に対応
した前記距離情報を表示することができ、その結果、車
両の安全走行に最も重要な役割を果たす、車両の一番近
くに存在する障害物とその距離情報とを有機的に関連づ
けて短時間で表示して運転者に迅速に報知することが可
能となる効果を奏する。According to the thirteenth aspect of the present invention, in addition to the effects of any one of the ninth to twelfth aspects, in addition to the effects described above, the stereoscopic image and the obstacle corresponding to the obstacle which are easy for the driver to understand are provided. Distance information can be displayed, and as a result, the closest obstacle to the vehicle, which plays the most important role in the safe driving of the vehicle, and the distance information are displayed in an organically short time. Thus, it is possible to promptly notify the driver.
【０２７７】例えば、時々刻々変化する監視領域内に障
害物が突然侵入してきたような場合であっても、障害物
を早期に且つ的確に発見して障害物発見の早期警報及び
距離情報を表示手段を介して運転者に発することが可能
となり、その結果、マンマシーンインタフェース性能が
向上し、運転者の車両操作を妨げることなく、監視領域
に突発的に侵入してくる障害物の動的な認識、このよう
な障害物の大きさ・形状の動的な判断、車両との距離の
動的な判断、及びこれらの動的な判断に基づく速やかな
障害物回避行動等の車両周辺監視作業に要求される運転
者の労力を軽減することが可能となり、車両の安全操作
へ運転者が意識を集中できるようになるといった効果を
奏する。For example, even when an obstacle suddenly enters the monitoring area that changes every moment, the obstacle is detected quickly and accurately, and an early warning of the obstacle detection and the distance information are displayed. Means can be emitted to the driver, resulting in improved man-machine interface performance and the ability of the dynamics of obstacles to suddenly enter the surveillance area without disturbing the driver's vehicle operation. Recognition, dynamic judgment of the size and shape of such obstacles, dynamic judgment of the distance to the vehicle, and prompt monitoring of obstacles based on these dynamic judgments The required driver's labor can be reduced, and the driver can concentrate his or her consciousness on the safe operation of the vehicle.
【０２７８】請求項１４に記載の発明に依れば、請求項
９乃至１３のいずれか一項に記載の効果に加えて、運転
者に理解しやすいようなステレオ画像を色彩表示するこ
とができ、その結果、車両の安全走行に最も重要な役割
を果たす、車両の一番近くに存在する障害物を有機的に
関連づけて色彩表示することができるようになり、視認
性良く障害物を運転者に迅速に報知することが可能とな
る効果を奏する。これに依り、運転者や作業者の監視作
業の負担が軽減でき、自車両の安全操作に集中すること
が容易にできるようになるといった効果も奏する。According to the fourteenth aspect of the present invention, in addition to the effect of any one of the ninth to thirteenth aspects, a stereoscopic image which can be easily understood by a driver can be displayed in color. As a result, obstacles existing in the vicinity of the vehicle, which play the most important role in the safe driving of the vehicle, can be organically related and displayed in color, so that the driver can recognize the obstacle with good visibility. This provides an effect that the notification can be quickly performed. Accordingly, it is possible to reduce the burden of the monitoring work of the driver and the operator, and it is possible to easily concentrate on the safe operation of the own vehicle.
【０２７９】例えば、時々刻々変化する監視領域内に障
害物が突然侵入してきたような場合であっても、障害物
を早期に且つ的確に発見して障害物発見の早期警報を表
示手段を介して色彩表示して運転者に発することが可能
となり、その結果、マンマシーンインタフェース性能が
向上し、運転者の車両操作を妨げることなく、監視領域
に突発的に侵入してくる障害物の動的な認識、このよう
な障害物の大きさ・形状の動的な判断、車両との距離の
動的な判断、及びこれらの動的な判断に基づく速やかな
障害物回避行動等の車両周辺監視作業に要求される運転
者の労力を軽減することが可能となり、車両の安全操作
へ運転者が意識を集中できるようになるといった効果を
奏する。For example, even when an obstacle suddenly enters the monitoring area that changes every moment, the obstacle is detected quickly and accurately, and an early warning of the obstacle detection is displayed via the display means. It can be displayed in different colors and emitted to the driver, and as a result, the man-machine interface performance is improved, and the dynamics of obstacles that suddenly enter the monitoring area without interrupting the driver's operation of the vehicle Vehicle periphery monitoring work such as accurate recognition, dynamic judgment of the size and shape of such obstacles, dynamic judgment of the distance to the vehicle, and prompt obstacle avoidance action based on these dynamic judgments Therefore, it is possible to reduce the driver's labor required for the vehicle and to concentrate the driver's consciousness on the safe operation of the vehicle.
【０２８０】請求項１５に記載の発明に依れば、請求項
９乃至１４のいずれか一項に記載の効果に加えて、運転
者に理解しやすいようなステレオ画像、障害物、及び障
害物に対応した前記距離情報を有機的に関連づけて色彩
表示することができ、その結果、車両の安全走行に最も
重要な役割を果たす、車両の一番近くに存在する障害物
及び車両との距離とを有機的に関連づけて短時間で視認
性良く表示して運転者に迅速に報知することが可能とな
る効果を奏する。これに依り、運転者や作業者の監視作
業の負担が更に軽減でき、自車両の安全操作に更に集中
することが容易にできるようになるといった効果も奏す
る。According to the fifteenth aspect of the present invention, in addition to the effects of the ninth to fourteenth aspects, a stereo image, an obstacle, and an obstacle which are easy for the driver to understand. The distance information corresponding to the vehicle can be displayed in color in an organically related manner, and as a result, the distance to the nearest obstacle and the vehicle, which plays the most important role in the safe driving of the vehicle, and Is displayed in a short time with good visibility and can be quickly notified to the driver. As a result, it is possible to further reduce the burden on the driver and the operator for monitoring work, and to easily concentrate on the safe operation of the vehicle.
【０２８１】例えば、時々刻々変化する監視領域内に障
害物が突然侵入してきたような場合であっても、障害物
を早期に且つ的確に発見して障害物発見の早期警報及び
距離情報を表示手段を介して色彩表示して運転者に発す
ることが可能となり、その結果、マンマシーンインタフ
ェース性能が向上し、運転者の車両操作を妨げることな
く、監視領域に突発的に侵入してくる障害物の動的な認
識、このような障害物の大きさ・形状の動的な判断、車
両との距離の動的な判断、及びこれらの動的な判断に基
づく速やかな障害物回避行動等の車両周辺監視作業に要
求される運転者の労力を軽減することが可能となり、車
両の安全操作へ運転者が意識を集中できるようになると
いった効果を奏する。For example, even if an obstacle suddenly enters the monitoring area that changes every moment, the obstacle is quickly and accurately detected, and an early warning of the obstacle detection and the distance information are displayed. It is possible to display color to the driver and emit it to the driver, and as a result, the man-machine interface performance is improved, and obstacles that suddenly enter the monitoring area without hindering the driver's vehicle operation Vehicle, such as dynamic recognition of obstacles, dynamic determination of the size and shape of such obstacles, dynamic determination of the distance to the vehicle, and prompt obstacle avoidance actions based on these dynamic determinations It is possible to reduce the driver's labor required for the peripheral monitoring work, and the driver can concentrate his or her consciousness on the safe operation of the vehicle.
【０２８２】請求項１６に記載の発明に依れば、請求項
１に記載の効果と同様の効果を奏する。According to the sixteenth aspect of the present invention, the same effects as those of the first aspect can be obtained.
【０２８３】請求項１７に記載の発明に依れば、請求項
２に記載の効果と同様の効果を奏する。According to the seventeenth aspect, the same effect as the second aspect can be obtained.
【０２８４】請求項１８に記載の発明に依れば、請求項
３に記載の効果と同様の効果を奏する。According to the eighteenth aspect, the same effect as the third aspect can be obtained.
【０２８５】請求項１９に記載の発明に依れば、請求項
４に記載の効果と同様の効果を奏する。According to the nineteenth aspect, the same effect as that of the fourth aspect is obtained.
【０２８６】請求項２０に記載の発明に依れば、請求項
５に記載の効果と同様の効果を奏する。According to the twentieth aspect, the same effect as the fifth aspect can be obtained.
【０２８７】請求項２１に記載の発明に依れば、請求項
６に記載の効果と同様の効果を奏する。According to the twenty-first aspect, the same effect as that of the sixth aspect is obtained.
【０２８８】請求項２２に記載の発明に依れば、請求項
７に記載の効果と同様の効果を奏する。According to the twenty-second aspect, the same effect as the seventh aspect is obtained.
【０２８９】請求項２３に記載の発明に依れば、請求項
８に記載の効果と同様の効果を奏する。According to the twenty-third aspect, the same effect as the eighth aspect can be obtained.
【０２９０】請求項２４に記載の発明に依れば、請求項
９に記載の効果と同様の効果を奏する。According to the twenty-fourth aspect, the same effect as the ninth aspect can be obtained.
【０２９１】請求項２５に記載の発明に依れば、請求項
１０に記載の効果と同様の効果を奏する。According to the twenty-fifth aspect, the same effect as the tenth aspect can be obtained.
【０２９２】請求項２６に記載の発明に依れば、請求項
１１に記載の効果と同様の効果を奏する。According to the twenty-sixth aspect, the same effect as that of the eleventh aspect can be obtained.
【０２９３】請求項２７に記載の発明に依れば、請求項
１２に記載の効果と同様の効果を奏する。According to the twenty-seventh aspect, the same effect as the twelfth aspect can be obtained.
【０２９４】請求項２８に記載の発明に依れば、請求項
１３に記載の効果と同様の効果を奏する。According to the twenty-eighth aspect, the same effect as the thirteenth aspect is obtained.
【０２９５】請求項２９に記載の発明に依れば、請求項
１４に記載の効果と同様の効果を奏する。According to the twenty-ninth aspect, an effect similar to that of the fourteenth aspect can be obtained.
【０２９６】請求項３０に記載の発明に依れば、請求項
１５に記載の効果と同様の効果を奏する。According to the thirtieth aspect, the same effect as that of the fifteenth aspect can be obtained.
【０２９７】請求項３１に記載の発明に依れば、請求項
１に記載の効果と同様の効果を奏する。According to the thirty-first aspect, the same effect as that of the first aspect can be obtained.
【０２９８】請求項３２に記載の発明に依れば、請求項
２に記載の効果と同様の効果を奏する。According to the thirty-second aspect of the invention, the same effects as those of the second aspect can be obtained.
【０２９９】請求項３３に記載の発明に依れば、請求項
３に記載の効果と同様の効果を奏する。According to the thirty-third aspect, the same effect as the third aspect can be obtained.
【０３００】請求項３４に記載の発明に依れば、請求項
４に記載の効果と同様の効果を奏する。According to the thirty-fourth aspect, the same effect as that of the fourth aspect can be obtained.
【０３０１】請求項３５に記載の発明に依れば、請求項
５に記載の効果と同様の効果を奏する。According to the thirty-fifth aspect of the present invention, the same effect as the fifth aspect is obtained.
【０３０２】請求項３６に記載の発明に依れば、請求項
６に記載の効果と同様の効果を奏する。According to the thirty-sixth aspect, the same effect as the sixth aspect can be obtained.
【０３０３】請求項３７に記載の発明に依れば、請求項
７に記載の効果と同様の効果を奏する。According to the thirty-seventh aspect, the same effect as the seventh aspect can be obtained.
【０３０４】請求項３８に記載の発明に依れば、請求項
８に記載の効果と同様の効果を奏する。According to the thirty-eighth aspect of the present invention, the same effect as the eighth aspect can be obtained.
【０３０５】請求項３９に記載の発明に依れば、請求項
９に記載の効果と同様の効果を奏する。According to the thirty-ninth aspect, the same effect as the ninth aspect can be obtained.
【０３０６】請求項４０に記載の発明に依れば、請求項
１０に記載の効果と同様の効果を奏する。According to the fortieth aspect, the same effect as the tenth aspect can be obtained.
【０３０７】請求項４１に記載の発明に依れば、請求項
１１に記載の効果と同様の効果を奏する。According to the invention described in claim 41, the same effect as the effect described in claim 11 can be obtained.
【０３０８】請求項４２に記載の発明に依れば、請求項
１２に記載の効果と同様の効果を奏する。According to the invention described in claim 42, the same effect as the effect described in claim 12 can be obtained.
【０３０９】請求項４３に記載の発明に依れば、請求項
１３に記載の効果と同様の効果を奏する。According to the invention described in Item 43, the same effect as the effect described in Item 13 can be obtained.
【０３１０】請求項４４に記載の発明に依れば、請求項
１４に記載の効果と同様の効果を奏する。[0310] According to the forty-fourth aspect, the same effect as that of the fourteenth aspect can be obtained.
【０３１１】請求項４５に記載の発明に依れば、請求項
１５に記載の効果と同様の効果を奏する。[0311] According to the forty-fifth aspect, the same effect as that of the fifteenth aspect can be obtained.
【図１】本発明の車両周辺監視装置の基本構成を説明す
るための機能ブロック図である。FIG. 1 is a functional block diagram for explaining a basic configuration of a vehicle periphery monitoring device according to the present invention.
【図２】本発明の車両周辺監視装置の利用形態を説明す
るための図である。FIG. 2 is a diagram for explaining a use form of the vehicle periphery monitoring device of the present invention.
【図３】図３（ａ）は、図２の車両周辺監視装置におい
て、右画像中の障害物画像の特徴点を抽出するためのス
キャニング動作を説明するための図であり、図３（ｂ）
は、右画像で抽出された特徴点を用いて、左画像中の障
害物画像の対応点を検出するためのスキャニング動作を
説明するための図である。3 (a) is a diagram for explaining a scanning operation for extracting a feature point of an obstacle image in a right image in the vehicle periphery monitoring device of FIG. 2; FIG. )
FIG. 9 is a diagram for explaining a scanning operation for detecting a corresponding point of the obstacle image in the left image using feature points extracted from the right image.
【図４】図４（ａ）は、車両から距離Ｌ２及びＬ３（Ｌ
２＜Ｌ３）にある２つの障害物が含まれるステレオ画像
の右画像に対して図２の車両周辺監視装置を用いてスキ
ャニング動作を実行して特徴点を抽出した状態を説明す
るための動作図であり、図４（ｂ）は、車両から距離Ｌ
２及びＬ３（Ｌ２＜Ｌ３）にある２つの障害物が含まれ
るステレオ画像の左画像に対して図２の車両周辺監視装
置を用いてスキャニング動作を実行して特徴点を抽出し
た状態を説明するための動作図である。FIG. 4A shows distances L2 and L3 (L
2 <L3) is an operation diagram for explaining a state in which a scanning operation is performed on a right image of a stereo image including two obstacles at 2 <L3) using the vehicle periphery monitoring device to extract feature points. FIG. 4B shows the distance L from the vehicle.
A state in which a scanning operation is performed on the left image of the stereo image including two obstacles at L2 and L3 (L2 <L3) using the vehicle periphery monitoring device of FIG. 2 to extract feature points will be described. FIG.
【図５】図５は、対応点の検出を状態を説明するための
動作図であって、図５（ａ）は、図４（ａ）の右画像中
で抽出した特徴点に対してマスクを設定した状態を説明
するための動作図であり、図５（ｂ）は、車両から距離
Ｌ２及びＬ３（Ｌ２＜Ｌ３）にある２つの障害物が含ま
れるステレオ画像の左画像に対してマスクを用いてスキ
ャニング動作を探索範囲内で実行して対応点を検出した
状態を説明するための動作図である。FIG. 5 is an operation diagram for explaining a state of detection of a corresponding point. FIG. 5 (a) shows a mask for a feature point extracted in the right image of FIG. 4 (a). FIG. 5B is a diagram illustrating an operation state in which a left image of a stereo image including two obstacles at distances L2 and L3 (L2 <L3) from the vehicle is masked. FIG. 9 is an operation diagram for explaining a state in which a scanning operation is executed within a search range using, and corresponding points are detected.
【図６】右画像の特徴点に対応する左画像における特徴
点を対応点として検出するスキャニング動作を説明する
ための動作図であって、図６（ａ）は、特徴点を有する
マスクを説明するための図であり、図６（ｂ）は、この
マスクを用いてスキャニング動作を実行した際に検出さ
れた対応点の相関値を説明するための図である。FIG. 6 is an operation diagram for explaining a scanning operation for detecting a feature point in a left image corresponding to a feature point in a right image as a corresponding point, and FIG. 6A illustrates a mask having feature points. FIG. 6B is a diagram for explaining a correlation value of a corresponding point detected when a scanning operation is performed using this mask.
【図７】図７（ａ）は、複数の障害物が右画像（左画
像）中に存在する様子を示した図であり、図７（ｂ）
は、右画像の特徴点に対応する左画像の複数の特徴点を
検出するスキャニング動作を実行する様子を説明するた
めの図である。FIG. 7A is a diagram illustrating a state in which a plurality of obstacles are present in a right image (left image), and FIG.
FIG. 9 is a diagram for explaining a state in which a scanning operation for detecting a plurality of feature points of the left image corresponding to the feature points of the right image is performed.
【図８】図７のスキャニング動作を実行する際に、他方
の画像において複数の特徴点が検出された場合に、これ
らの特徴点と一方の画像における特徴点との画像相関関
係を求め、一方の画像の特徴点に対して最も画像相関関
係の強い他方の画像の特徴点を一方の画像の特徴点に対
応する他方の画像の対応点として選択する動作を説明す
るための図である。FIG. 8 is a diagram showing an example in which, when the scanning operation of FIG. 7 is performed, when a plurality of feature points are detected in the other image, an image correlation between these feature points and a feature point in one image is obtained; FIG. 11 is a diagram for explaining an operation of selecting a feature point of the other image having the strongest image correlation with a feature point of the other image as a corresponding point of the other image corresponding to the feature point of the one image.
【図９】図２の車両周辺監視装置を用いたスキャニング
動作において、障害物と車両との間の距離（Ｌ１，Ｌ
２，Ｌ３、但し、Ｌ１＜Ｌ２＜Ｌ３）毎に予め求めてお
いた走査線と視差との関係式を説明するための走査線対
視差グラフである。FIG. 9 shows a distance (L1, L) between an obstacle and a vehicle in a scanning operation using the vehicle periphery monitoring device of FIG. 2;
2 is a scanning line pair parallax graph for explaining a relational expression between the scanning line and the parallax obtained in advance for each of 2, L3, where L1 <L2 <L3.
【図１０】図９の走査線対視差グラフに従って選択した
関係式、各走査線に対する対応点の検出開始点、及び対
応点検出開始点を始点とする走査線毎の探索範囲の設定
の様子を説明するための動作図である。10 shows a relational expression selected in accordance with the scanning line pair parallax graph of FIG. 9, a detection start point of a corresponding point for each scanning line, and setting of a search range for each scanning line starting from the corresponding point detection starting point. It is an operation | movement diagram for description.
【図１１】図２の車両周辺監視装置でスキャニング動作
が可能な探索範囲を説明するための走査線対視差グラフ
である。11 is a scanning line pair parallax graph for explaining a search range in which a scanning operation can be performed by the vehicle periphery monitoring device of FIG. 2;
【図１２】図２の車両周辺監視装置でスキャニング動作
される最短探索範囲を説明するための走査線対視差グラ
フであって、車両と障害物間の距離がＬ２（但し、Ｌ１
＜Ｌ２＜Ｌ３）であることが第８走査線によって判明し
たときに、Ｌ２より離れた距離にある障害物については
スキャニング動作を行わない様子を説明するための動作
図である。12 is a scanning line pair parallax graph for explaining a shortest search range in which a scanning operation is performed by the vehicle periphery monitoring device of FIG. 2, wherein a distance between a vehicle and an obstacle is L2 (where L1 is a distance);
FIG. 13 is an operation diagram for explaining a state where a scanning operation is not performed on an obstacle located at a distance from L2 when it is determined by an eighth scanning line that <L2 <L3).
【図１３】図２の車両周辺監視装置でスキャニング動作
される最短探索範囲を説明するための走査線対視差グラ
フであって、図１２の動作に加えて、更に、車両と障害
物間の距離がＬ１（但し、Ｌ１＜Ｌ２＜Ｌ３）であるこ
とが第６走査線によって判明したときに、Ｌ１より離れ
た距離にある障害物についてはスキャニング動作を行わ
ない様子を説明するための動作図である。FIG. 13 is a scanning line pair parallax graph for explaining the shortest search range in which the scanning operation is performed by the vehicle periphery monitoring device of FIG. 2, and further includes a distance between the vehicle and the obstacle in addition to the operation of FIG. Is an operation diagram for explaining how scanning operation is not performed for an obstacle located at a distance from L1 when it is determined by the sixth scanning line that L1 (where L1 <L2 <L3) is satisfied. is there.
【図１４】図１２及び図１３のスキャニング動作時にお
ける複数の障害物の配置例を説明するための図である。FIG. 14 is a diagram for explaining an example of the arrangement of a plurality of obstacles during the scanning operation in FIGS. 12 and 13;
【図１５】従来の車両周辺監視装置の基本構成を説明す
るための機能ブロック図である。FIG. 15 is a functional block diagram for explaining a basic configuration of a conventional vehicle periphery monitoring device.
【図１６】図１６は、従来技術を用いた対応点の検出を
状態を説明するための動作図であって、図１６（ａ）
は、右画像中で抽出した特徴点に対してマスクを設定し
た状態を説明するための動作図であり、図１６（ｂ）
は、障害物が含まれるステレオ画像の左画像に対してマ
スクを用いてスキャニング動作を探索範囲内で実行して
対応点を検出した状態を説明するための動作図である。FIG. 16 is an operation diagram for explaining a state of detecting a corresponding point using a conventional technique, and FIG.
FIG. 16B is an operation diagram for explaining a state in which a mask is set for the feature points extracted in the right image, and FIG.
FIG. 8 is an operation diagram for explaining a state in which a scanning operation is performed in a search range on a left image of a stereo image including an obstacle within a search range and a corresponding point is detected.
【図１７】図１７は、図１５の車両周辺監視装置を用い
た対応点の検出を状態を説明するための動作図であっ
て、図１７（ａ）は、２つの障害物が含まれるステレオ
画像を示す図であり、図１７（ｂ）は２つの障害物が含
まれるステレオ画像の左画像に対してマスクを用いてス
キャニング動作を固定の探索範囲で実行して対応点を検
出した状態を説明するための動作図である。17 is an operation diagram for explaining a state of detection of a corresponding point using the vehicle periphery monitoring device of FIG. 15; FIG. 17A shows a stereo including two obstacles; FIG. 17B shows a state in which a scanning operation is performed on a left image of a stereo image including two obstacles using a mask in a fixed search range to detect a corresponding point. It is an operation | movement diagram for description.
【図１８】図１８（ａ），（ｂ）は、図１６において、
複数の障害物が右画像（左画像）中に存在する様子を示
した図である。FIGS. 18 (a) and 18 (b) are diagrams in FIG.
FIG. 4 is a diagram illustrating a state in which a plurality of obstacles are present in a right image (left image).
【図１９】図１９（ａ）は、図１８において、複数の障
害物が右画像（左画像）中に存在する様子を示した図で
あり、図１９（ｂ）は、右画像の特徴点に対応する左画
像の複数の特徴点を検出するスキャニング動作を実行す
る様子を説明するための図である。19A is a diagram showing a state in which a plurality of obstacles are present in the right image (left image) in FIG. 18, and FIG. 19B is a view showing feature points of the right image. FIG. 8 is a diagram for explaining a state in which a scanning operation for detecting a plurality of feature points of the left image corresponding to.
【図２０】図１９のスキャニング動作を実行する際に、
左画像において複数の特徴点が検出された場合に、これ
らの特徴点と一方の画像における特徴点との画像相関関
係を求めた結果を説明するための図である。FIG. 20 is a diagram showing an example of executing the scanning operation of FIG.
FIG. 11 is a diagram for describing a result of obtaining an image correlation between these feature points and a feature point in one image when a plurality of feature points are detected in the left image.
１０ 車両周辺監視装置（マイクロコンピュータ） １１ 車両 １２ 監視領域 １４，１４Ａ，１４Ｂ，１４Ｃ 障害物 １６ 障害物画像 ２０ 画像読取手段（ステレオカメラ） ２０_L 左画像情報 ２０_R 右画像情報 ２０２，２０４ ステレオカメラ ２０６ 処理部（マイクロコンピュータ） ２１ 画像操作手段（マイクロコンピュータ） ２２ 特徴点抽出手段（マイクロコンピュータ） ２２ａ 特徴点情報 ２４ 探索範囲最適化手段（マイクロコンピュータ） ２４ａ 最短探索範囲情報 ２６ 対応点検出手段（マイクロコンピュータ） ２６ａ 対応点情報 ２８ 距離演算手段（マイクロコンピュータ） ２８ａ 距離情報 ３０ 障害物監視手段（マイクロコンピュータ） ３２ ステレオ画像演算手段（マイクロコンピュー
タ） ３２ａ ステレオ画像情報 ３４ 表示手段（ディスプレイ） ｆｎｃ 関係式 Ｌ 距離 Ｌ_min 最短距離 Ｐｒｌｘ 視差 Ｐ_0，…，Ｐ_n 特徴点 Ｑ_0，…，Ｑ_n 対応点 Ｓｃｎ_0，…，Ｓｃｎ_m 走査線 Ｓｃｎ_strt 対応点検出開始点 Ｓｃｎ_rng 探索範囲Reference Signs List 10 vehicle periphery monitoring device (microcomputer) 11 vehicle 12 monitoring region 14, 14A, 14B, 14C obstacle 16 obstacle image 20 image reading means (stereo camera) 20_L left image information 20_R right image information 202, 204 stereo camera 206 processing Unit (microcomputer) 21 image operation means (microcomputer) 22 feature point extraction means (microcomputer) 22a feature point information 24 search range optimization means (microcomputer) 24a shortest search range information 26 corresponding point detection means (microcomputer) 26a Corresponding point information 28 Distance calculation means (microcomputer) 28a Distance information 30 Obstacle monitoring means (microcomputer) 32 Stereo image calculation means (microcomputer) 32a Stereo image information 34 Table Indicating means (display) fnc relational expression L distance L_min shortest distance Prlx parallax P_0, ..., P_n feature points Q_0, ..., Q_n corresponding points Scn_0, ..., Scn_m scanning line Scn_strt corresponding point detection start point Scn_rng search range
フロントページの続き (51)Int.Cl.6 識別記号 ＦＩ Ｇ０１Ｃ 3/06 Ｇ０１Ｃ 3/06 Ｖ Ｇ０６Ｔ 7/00 Ｇ０６Ｆ 15/62 ４１５ (72)発明者 甘利 武之 静岡県裾野市御宿1500 矢崎総業株式会社 内Continued on the front page (51) Int.Cl.6 Identification symbol FI G01C 3/06 G01C 3/06 V G06T 7/00 G06F 15/62 415 (72) Inventor Takeyuki Amari 1500 Onjuku 1500, Susono City, Shizuoka Prefecture Yazaki Corporation Inside
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8270348AJPH10117342A (en) | 1996-10-11 | 1996-10-11 | Vehicle periphery monitoring device, obstacle detection method, and medium storing obstacle detection program |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8270348AJPH10117342A (en) | 1996-10-11 | 1996-10-11 | Vehicle periphery monitoring device, obstacle detection method, and medium storing obstacle detection program |
| Publication Number | Publication Date |
|---|---|
| JPH10117342Atrue JPH10117342A (en) | 1998-05-06 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8270348AAbandonedJPH10117342A (en) | 1996-10-11 | 1996-10-11 | Vehicle periphery monitoring device, obstacle detection method, and medium storing obstacle detection program |
| Country | Link |
|---|---|
| JP (1) | JPH10117342A (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001344597A (en)* | 2000-05-30 | 2001-12-14 | Fuji Heavy Ind Ltd | Fusion vision device |
| JP2003245310A (en)* | 2002-02-26 | 2003-09-02 | Honda Motor Co Ltd | Low speed moving vehicle and low speed moving vehicle geographic guidance system |
| JP2006306241A (en)* | 2005-04-27 | 2006-11-09 | Aisin Aw Co Ltd | Parking assisting method and parking assisting device |
| JP2009086882A (en)* | 2007-09-28 | 2009-04-23 | Konica Minolta Holdings Inc | Object detector |
| US8150210B2 (en)* | 2008-01-18 | 2012-04-03 | National Chiao Tung University | Image synthesis system for a vehicle and the manufacturing method thereof |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001344597A (en)* | 2000-05-30 | 2001-12-14 | Fuji Heavy Ind Ltd | Fusion vision device |
| JP2003245310A (en)* | 2002-02-26 | 2003-09-02 | Honda Motor Co Ltd | Low speed moving vehicle and low speed moving vehicle geographic guidance system |
| JP2006306241A (en)* | 2005-04-27 | 2006-11-09 | Aisin Aw Co Ltd | Parking assisting method and parking assisting device |
| JP2009086882A (en)* | 2007-09-28 | 2009-04-23 | Konica Minolta Holdings Inc | Object detector |
| US8150210B2 (en)* | 2008-01-18 | 2012-04-03 | National Chiao Tung University | Image synthesis system for a vehicle and the manufacturing method thereof |
| Publication | Publication Date | Title |
|---|---|---|
| JP5421072B2 (en) | Approaching object detection system | |
| JP4173896B2 (en) | Vehicle periphery monitoring device | |
| JP4816923B2 (en) | Vehicle peripheral image providing apparatus and method | |
| JP6805716B2 (en) | Display device, display method, program | |
| JP4991384B2 (en) | Approaching object detection device and approaching object detection program | |
| JP6820075B2 (en) | Crew number detection system, occupant number detection method, and program | |
| JP2001216520A (en) | Surroundings monitor device for vehicle | |
| JP2016038621A (en) | Space input system | |
| JP4687411B2 (en) | Vehicle peripheral image processing apparatus and program | |
| JPH10117340A (en) | Vehicle periphery monitoring device, alarm display method used in this device, and medium storing this display method | |
| JPH09218937A (en) | Compartment line detector | |
| JPH1144533A (en) | Preceding vehicle detection device | |
| JPH10117342A (en) | Vehicle periphery monitoring device, obstacle detection method, and medium storing obstacle detection program | |
| JPH10117341A (en) | Vehicle periphery monitoring device, obstacle detection method used in this device, and medium storing obstacle detection program used in this device | |
| JP2014078155A (en) | On-vehicle alarm device | |
| JP2008026999A (en) | Obstacle detection system and obstacle detection method | |
| JPH10117339A (en) | Vehicle periphery monitoring device, obstacle detection method, and medium storing obstacle detection program | |
| JP2008517292A (en) | Line-of-sight measurement equipment | |
| JP4224449B2 (en) | Image extraction device | |
| JP2007182201A (en) | Lane change support device | |
| JP2025502895A (en) | Obstacle distance measuring method, device, vehicle and medium | |
| JP4701961B2 (en) | Pedestrian detection device | |
| JP2017146641A (en) | Moving image processing device | |
| JP2001092979A (en) | Unsuitable image detecting method | |
| JP2001022938A (en) | Obstacle detection device for vehicles |
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20040727 | |
| A762 | Written abandonment of application | Free format text:JAPANESE INTERMEDIATE CODE: A762 Effective date:20040916 |