【０００１】[0001]
【産業上の利用分野】本発明は、撮像系の感度を調整し
て適正な画像信号を得ることにより、距離検出の精度を
向上する車輌用距離検出装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a vehicle distance detecting device which improves the accuracy of distance detection by adjusting the sensitivity of an image pickup system to obtain an appropriate image signal.
【０００２】[0002]
【従来の技術】人や物を運ぶ手段の１つである自動車等
の車輌は、その利便性と快適性から現代社会においてな
くてはならない存在となっている。そこで、自動車の持
つ優れた点を犠牲にすることなく、自動的に事故を回避
することのできる技術の開発が従来より進められてい
る。2. Description of the Related Art Vehicles such as automobiles, which are one of means for transporting people and goods, have become indispensable in modern society because of their convenience and comfort. Therefore, the development of a technique capable of automatically avoiding an accident without sacrificing the excellent points of a vehicle has been advanced.
【０００３】自動車の衝突を自動的に回避するために
は、走行の障害となる物体を検出することがまず第一に
重要であり、一方、自動車の走行には、検出した障害物
が道路上の何処に存在しているのかを知る必要がある。In order to automatically avoid a collision of an automobile, it is of utmost importance to detect an obstacle that obstructs the running of the automobile. On the other hand, when the automobile travels, the detected obstacle is on the road. It is necessary to know where it exists.
【０００４】従って、最近では、電荷結合素子（ＣＣ
Ｄ）等の固体撮像素子（イメージセンサ）を用いたカメ
ラ等を車輌に搭載して車外の対象風景を撮像し、この撮
像した画像を画像処理して車輌から対象物までの距離を
求める計測技術が有力な手段として採用されるようにな
っており、例えば、特開昭５９−１９７８１６号公報に
は、２台のＴＶカメラを車輌前方に取り付け、各々のＴ
Ｖカメラの画像について、２次元的な輝度分布パターン
から障害物を検出し、次に、２つの画像上における障害
物の位置のずれを求め、三角測量の原理によって障害物
の３次元位置を算出する、いわゆるステレオ法による車
間距離検出装置が開示されている。Therefore, recently, charge-coupled devices (CC
A measurement technique in which a camera or the like using a solid-state image sensor (image sensor) such as D) is mounted on a vehicle to capture a target landscape outside the vehicle, and the captured image is image-processed to obtain the distance from the vehicle to the target. Has been adopted as an effective means. For example, in Japanese Patent Laid-Open No. 59-197816, two TV cameras are attached to the front of the vehicle, and
In the V camera image, an obstacle is detected from the two-dimensional luminance distribution pattern, then the displacement of the obstacle on the two images is obtained, and the three-dimensional position of the obstacle is calculated by the principle of triangulation. A so-called stereo method for detecting an inter-vehicle distance is disclosed.
【０００５】この場合、前記ステレオ法のような２台以
上のカメラを使用して左右画像における同一物体の位置
の相対的なずれから距離を求める技術では、日向や影、
トンネルへの進入といったように急激な明度変化に遭遇
すると、左右画像のコントラストが不均一となって距離
検出の精度が低下する。In this case, in the technique of obtaining the distance from the relative displacement of the positions of the same object in the left and right images by using two or more cameras as in the stereo method, the sun and shadow
When a sudden change in brightness such as entering a tunnel is encountered, the contrast of the left and right images becomes non-uniform and the accuracy of distance detection deteriorates.
【０００６】このため、特開昭５８−１２２４１８号公
報には、イメージセンサからの出力信号の平均値を走査
毎に求め、前回走査の平均値と基準信号とを比較してそ
の偏差分が零となるように絞りの開度を調整する、いわ
ゆるオートアイリスによる感度調整の技術が開示されて
おり、また、特開昭６０−６１６０９号公報には、カメ
ラのアナログ信号からＡＣ成分を抽出してピークホール
ド回路により十分なコントラストがあるか否かを検出
し、コントラストが弱い場合でもある一定値となるよう
ゲインを制御する技術が開示されている。Therefore, in Japanese Unexamined Patent Publication No. 58-122418, the average value of the output signals from the image sensor is obtained for each scan, the average value of the previous scan is compared with the reference signal, and the deviation is zero. A technique of adjusting the sensitivity by a so-called auto iris, which adjusts the aperture of the diaphragm so as to achieve the above, is disclosed in Japanese Unexamined Patent Publication No. 60-61609. There is disclosed a technique of detecting whether or not there is sufficient contrast by a hold circuit, and controlling the gain so as to have a constant value even when the contrast is weak.
【０００７】さらに、特開昭６０−７８３１２号公報に
は、イメージセンサからのアナログ信号の最大値と最小
値をサンプルホールドし、最大値と最小値との間におい
てイメージ信号を所定レベル数にＡ／Ｄ変換してイメー
ジ信号の直流分を実質的に除去することにより、イメー
ジ信号のコントラストが小さい場合であっても、イメー
ジ信号の特徴を浮き上がらせて像の相対位置のずれの検
出を行ない、対象物までの距離を算出する技術が開示さ
れている。Further, in Japanese Patent Laid-Open No. Sho 60-78312, the maximum value and the minimum value of the analog signal from the image sensor are sampled and held, and the image signal is set to a predetermined number of levels between the maximum value and the minimum value. By performing D / D conversion to substantially remove the DC component of the image signal, even if the contrast of the image signal is small, the feature of the image signal is highlighted to detect the shift of the relative position of the image, A technique for calculating the distance to an object is disclosed.
【０００８】[0008]
【発明が解決しようとする課題】しかしながら、左右画
像のコントラストが弱い場合に、輝度平均やゲイン制御
等によりカメラの感度を調整する技術では、回路構成が
複雑となるばかりでなく、アナログ回路を使用するため
ノイズ成分を完全に除去することが困難であり、ダイナ
ミックレンジを広くとれない。さらには、処理に時間を
要することから、逆光や真昼の非常に照度の高い状態か
らトンネル内に進入したときのように急激に照度が変化
するような状態に対応できないおそれがある。However, when the contrast between the left and right images is weak, the technique of adjusting the sensitivity of the camera by averaging the brightness or controlling the gain not only complicates the circuit configuration but also uses an analog circuit. Therefore, it is difficult to completely remove the noise component, and the dynamic range cannot be widened. Further, since the processing requires a long time, there is a possibility that it is not possible to cope with a situation in which the illuminance changes abruptly, such as when entering the tunnel from a backlight or a very high illuminance at noon.
【０００９】本発明は前記事情に鑑みてなされたもの
で、車外の対象を撮像する撮像手段の感度を高速で調整
し、外界の照度変化にも適正な画像を得て距離検出の精
度を向上することのできる車輌用距離検出装置を提供す
ることを目的としている。The present invention has been made in view of the above circumstances, and the sensitivity of the image pickup means for picking up an object outside the vehicle is adjusted at high speed to obtain a proper image even in the change of illuminance in the outside world, thereby improving the accuracy of distance detection. An object of the present invention is to provide a vehicle distance detection device that can be used.
【００１０】[0010]
【課題を解決するための手段】第１の発明は、車輌に搭
載した撮像系によって車外の対象を撮像し、撮像した画
像をデータ処理して画像全体に渡る距離分布を算出する
車輌用距離検出装置において、前記撮像系によって撮像
した画像の画素毎のデジタルデータを、感度オーバーを
表わす基準データと比較するとともに感度アンダーを表
わす基準データと比較し、それぞれの比較結果を所定領
域に渡って計数した計数値により、前記撮像系の感度を
調整する感度調整手段を備えたことを特徴とする。A first aspect of the present invention is a vehicle distance detection method for imaging an object outside a vehicle by an imaging system mounted on a vehicle, processing the imaged image, and calculating a distance distribution over the entire image. In the apparatus, digital data for each pixel of the image captured by the image capturing system is compared with reference data representing oversensitivity and with reference data representing undersensitivity, and the respective comparison results are counted over a predetermined area. It is characterized by further comprising sensitivity adjusting means for adjusting the sensitivity of the image pickup system according to the count value.
【００１１】第２の発明は、第１の発明の感度調整手段
に、前記デジタルデータを前記感度オーバーを表わす基
準データと比較する第１の比較器と、前記デジタルデー
タを前記感度アンダーを表わす基準データと比較する第
２の比較器と、前記第１の比較器の出力をアップカウン
トし、前記第２の比較器の出力をダウンカウントする計
数器と、前記計数器の計数値が正の値のとき感度を下
げ、前記計数器の計数値が負の値のとき感度を上げるよ
う、前記撮像系へ感度調整信号を出力する感度コントロ
ーラとを備えたことを特徴とする。According to a second aspect of the present invention, the sensitivity adjusting means of the first aspect includes a first comparator for comparing the digital data with reference data indicating the sensitivity over, and a reference for indicating the digital data for the sensitivity under. A second comparator for comparing with data, a counter for up-counting the output of the first comparator and a down-count for the output of the second comparator, and a counter value of the counter is a positive value And a sensitivity controller that outputs a sensitivity adjustment signal to the image pickup system so as to decrease the sensitivity when and the sensitivity is increased when the count value of the counter is a negative value.
【００１２】[0012]
【作用】第１の発明では、車輌に搭載した撮像系によっ
て撮像した画像のデジタルデータを、感度オーバーを表
わす基準データ及び感度アンダーを表わす基準データと
画素毎に比較し、その比較結果を所定領域に渡って計数
する。そして、その計数値により撮像系の感度を調整す
る。According to the first aspect of the invention, digital data of an image picked up by an image pickup system mounted on a vehicle is compared with reference data indicating oversensitivity and reference data indicating undersensitivity for each pixel, and the comparison result is determined in a predetermined area. Count over. Then, the sensitivity of the imaging system is adjusted by the count value.
【００１３】第２の発明では、第１の発明において、車
輌に搭載した撮像系によって撮像した画像のデジタルデ
ータを、第１の比較器によって感度オーバーを表わす基
準データと画素毎に比較するとともに、第２の比較器に
よって感度アンダーを表わす基準データと画素毎に比較
する。第１の比較器での比較結果、撮像画像のデジタル
データが感度オーバーを表す基準値を越えて第１の比較
器から信号が出力されると、計数器でアップカウント
し、また、第２の比較器での比較結果、撮像画像のデジ
タルデータが感度アンダーを表す基準値を越えて第２の
比較器から信号が出力されると、計数器でダウンカウン
トする。そして、所定領域に渡って計数した計数値が正
の値のとき、感度を下げるよう感度コントローラから撮
像系に感度調整信号が出力され、計数値が負の値のと
き、感度を上げるよう感度コントローラから撮像系に感
度調整信号が出力される。According to a second aspect of the present invention, in the first aspect of the present invention, the digital data of the image picked up by the image pickup system mounted on the vehicle is compared with the reference data indicating oversensitivity for each pixel by the first comparator, and The second comparator compares the reference data representing undersensitivity for each pixel. As a result of the comparison by the first comparator, when the digital data of the captured image exceeds the reference value indicating the oversensitivity and a signal is output from the first comparator, the counter counts up, and the second counter As a result of the comparison by the comparator, when the digital data of the captured image exceeds the reference value indicating the undersensitivity and a signal is output from the second comparator, the counter counts down. Then, when the count value counted over a predetermined area is a positive value, the sensitivity controller outputs a sensitivity adjustment signal to the imaging system to reduce the sensitivity, and when the count value is a negative value, the sensitivity controller increases the sensitivity. Outputs a sensitivity adjustment signal to the imaging system.
【００１４】[0014]
【実施例】以下、図面を参照して本発明の実施例を説明
する。図面は本発明の一実施例に係わり、図１は車輌用
距離検出装置の回路構成図、図２は距離検出装置の全体
構成図、図３は車輌の正面図、図４はカメラと被写体と
の関係を示す説明図、図５はシティブロック距離計算回
路の説明図、図６は最小値検出回路のブロック図、図７
は距離検出処理のフローチャート、図８はシフトレジス
タ内の保存順序を示す説明図、図９はシティブロック距
離計算回路の動作を示すタイミングチャート、図１０は
ずれ量決定部の動作を示すタイミングチャート、図１１
は全体の動作を示すタイミングチャート、図１２は車載
のＣＣＤカメラで撮像した画像の例を示す説明図、図１
３は距離画像の例を示す説明図である。Embodiments of the present invention will be described below with reference to the drawings. The drawings relate to an embodiment of the present invention. FIG. 1 is a circuit configuration diagram of a vehicle distance detection device, FIG. 2 is an overall configuration diagram of a distance detection device, FIG. 3 is a front view of a vehicle, and FIG. 5 is an explanatory diagram of the city block distance calculation circuit, FIG. 6 is a block diagram of the minimum value detection circuit, and FIG.
8 is a flow chart of distance detection processing, FIG. 8 is an explanatory diagram showing the storage order in the shift register, FIG. 9 is a timing chart showing the operation of the city block distance calculation circuit, and FIG. 10 is a timing chart showing the operation of the deviation amount determination unit. 11
1 is a timing chart showing the entire operation, FIG. 12 is an explanatory view showing an example of an image taken by a vehicle-mounted CCD camera, FIG.
3 is an explanatory diagram showing an example of a distance image.
【００１５】図２において、符号１は自動車などの車輌
であり、この車輌１に、車外の設置範囲内の対象を撮像
して距離を検出する距離検出装置２が搭載されている。
この距離検出装置２は、例えば図示しない道路・障害物
認識装置などに接続されて障害物監視装置を構成し、運
転者に対する警告、車体の自動衝突回避等の動作を行な
うことができるようになっている。In FIG. 2, reference numeral 1 is a vehicle such as an automobile, and the vehicle 1 is equipped with a distance detecting device 2 for picking up an image of an object within an installation range outside the vehicle and detecting a distance.
The distance detecting device 2 is connected to, for example, a road / obstacle recognizing device (not shown) to constitute an obstacle monitoring device, and can perform operations such as warning of the driver and automatic collision avoidance of the vehicle body. ing.
【００１６】前記距離検出装置２は、車外の対象を撮像
する撮像系としてのステレオ光学系１０と、このステレ
オ光学系１０の感度を調整して適正な画像を撮像できる
よう制御するための感度調整手段としての感度調整装置
１５と、前記ステレオ光学系１０によって撮像した画像
を処理し、画像全体に渡る距離分布を算出するステレオ
画像処理装置２０とを備えており、このステレオ画像処
理装置２０で算出した３次元の距離情報が、例えば道路
・障害物認識装置等に取り込まれ、道路形状及び車輌１
に対する障害物が認識される。The distance detecting device 2 is a stereo optical system 10 as an image pickup system for picking up an object outside the vehicle, and a sensitivity adjustment for controlling the sensitivity of the stereo optical system 10 so that an appropriate image can be picked up. The stereo image processing device 20 is provided with a sensitivity adjusting device 15 as means and a stereo image processing device 20 for processing an image captured by the stereo optical system 10 and calculating a distance distribution over the entire image. The three-dimensional distance information obtained is taken into, for example, a road / obstacle recognition device, and the road shape and vehicle 1
Obstacles are recognized.
【００１７】前記ステレオ光学系１０は、例えば電荷結
合素子（ＣＣＤ）等の固体撮像素子を用いたカメラによ
り構成され、図３に示すように、遠距離の左右画像用と
しての２台のＣＣＤカメラ１１ａ，１１ｂ（代表してＣ
ＣＤカメラ１１と表記する場合もある）が、それぞれ車
室内の天井前方に一定の間隔をもって取り付けられると
ともに、近距離の左右画像用としての２台のＣＣＤカメ
ラ１２ａ，１２ｂ（代表してＣＣＤカメラ１２と表記す
る場合もある）が、それぞれ、遠距離用のＣＣＤカメラ
１１ａ，１１ｂの内側に一定の間隔をもって取り付けら
れている。The stereo optical system 10 is composed of a camera using a solid-state image pickup device such as a charge-coupled device (CCD). As shown in FIG. 3, two CCD cameras for left and right images at a long distance are provided. 11a, 11b (typically C
CD cameras 11 may be attached) to the front of the ceiling in the vehicle cabin at regular intervals, and two CCD cameras 12a and 12b (typically the CCD camera 12) for short-distance left and right images. (In some cases, may be described as)), but they are attached inside the CCD cameras 11a and 11b for long distances at a constant interval.
【００１８】前記ステレオ光学系１０として、直近から
例えば１００ｍ遠方までの距離計測を行なう場合、車室
内のＣＣＤカメラ１１，１２の取付位置を、例えば、車
輌１のボンネット先端から２ｍとすると、実際には前方
２ｍから１００ｍまでの位置を計測できれば良い。When the stereo optical system 10 is used to measure the distance from the closest distance to, for example, 100 m, the CCD cameras 11 and 12 in the passenger compartment are actually mounted at a distance of, for example, 2 m from the tip of the hood of the vehicle 1. Needs to be able to measure the position from 2 m to 100 m in front.
【００１９】すなわち、図４に示すように、遠距離用の
２台のＣＣＤカメラ１１ａ、１１ｂの取付間隔をｒとし
て、２台のカメラ１１ａ，１１ｂの設置面から距離Ｄに
ある点Ｐを撮影する場合、２台のカメラ１１ａ，１１ｂ
の焦点距離を共にｆとすると、点Ｐの像は、それぞれの
カメラについて焦点位置からｆだけ離れた投影面に写
る。That is, as shown in FIG. 4, the point P at a distance D from the installation surface of the two cameras 11a and 11b is photographed with the mounting distance between the two CCD cameras 11a and 11b for long distances set to r. When doing, two cameras 11a, 11b
If the focal lengths of and are both f, the image of the point P appears on the projection plane that is away from the focal position by f for each camera.
【００２０】このとき、右のＣＣＤカメラ１１ｂにおけ
る像の位置から左のＣＣＤカメラ１１ａにおける像の位
置までの距離は、ｒ＋ｘとなり、このｘをずれ量とする
と、点Ｐまでの距離Ｄは、ずれ量ｘから以下の式で求め
ることができる。At this time, the distance from the position of the image on the right CCD camera 11b to the position of the image on the left CCD camera 11a is r + x, and if this x is the shift amount, the distance D to the point P is shifted. It can be obtained from the quantity x by the following formula.
【００２１】 Ｄ＝ｒ・ｆ／ｘ （１） この左右画像のずれ量ｘを検出するには、左右画像にお
ける同一物体の像を見つけ出す必要があり、次に述べる
ステレオ画像処理装置２０では、画像を小領域に分割
し、それぞれの小領域内の輝度あるいは色のパターンを
左右画像で比較して一致する領域を見つけ出し、全画面
に渡って距離分布を求める。すなわち、従来のように、
エッジ、線分、特殊な形等、何らかの特徴を抽出し、そ
れらの特徴が一致する部分を見つけ出すことによる情報
量の低下を避けるのである。D = r · f / x (1) In order to detect the shift amount x between the left and right images, it is necessary to find the image of the same object in the left and right images. Is divided into small areas, and the luminance or color patterns in each small area are compared in the left and right images to find a matching area, and the distance distribution is obtained over the entire screen. That is, as in the past,
Some features such as edges, line segments, and special shapes are extracted, and a decrease in the amount of information due to finding a portion where those features match is avoided.
【００２２】左右画像の一致度は、右画像、左画像のｉ
番目画素の輝度（色を用いても良い）を、それぞれ、Ａ
ｉ、Ｂｉとすると、例えば、以下の（２）式に示すシテ
ィブロック距離Ｈによって評価することができ、平均値
の採用による情報量の低下もなく、乗算がないことから
演算速度を向上させることができる。The degree of coincidence between the left and right images is i of the right and left images.
The luminance of the th pixel (color may be used) is A
If i and Bi, for example, it can be evaluated by the city block distance H shown in the following formula (2), the amount of information does not decrease due to the adoption of the average value, and there is no multiplication, thus improving the calculation speed. You can
【００２３】 Ｈ＝Σ｜Ａｉ−Ｂｉ｜ （２） また、分割すべき小領域の大きさとしては、大きすぎる
と、その領域内に遠方物体と近くの物体が混在する可能
性が高くなり、検出される距離が曖昧になる。画像の距
離分布を得るためにも領域は小さい方が良いが、小さす
ぎると、一致度を調べるための情報量が不足する。H = Σ | Ai-Bi | (2) If the size of the small area to be divided is too large, there is a high possibility that a distant object and a nearby object are mixed in the area. The detected distance becomes ambiguous. It is preferable that the area is small in order to obtain the distance distribution of the image, but if it is too small, the amount of information for checking the degree of coincidence is insufficient.
【００２４】このため、例えば、１００ｍ先にある幅
１．７ｍの車輌が、隣の車線の車輌と同じ領域内に含ま
れないように、４つに分割される画素数を領域横幅の最
大値とすると、前記ステレオ光学系１０に対して４画素
となる。この値を基準に最適な画素数を実際の画像で試
行した結果、縦横共に４画素となる。Therefore, for example, the number of pixels divided into four is set to the maximum value of the region width so that a vehicle having a width of 1.7 m located 100 m ahead is not included in the same region as a vehicle in the adjacent lane. Then, there are four pixels for the stereo optical system 10. As a result of trying an optimum number of pixels in an actual image with this value as a reference, the number of pixels is 4 in both length and width.
【００２５】以下の説明では、画像を４×４の小領域で
分割して左右画像の一致度を調べるものとし、ステレオ
光学系１０は、遠距離用のＣＣＤカメラ１１で代表する
ものとする。In the following description, it is assumed that the image is divided into 4 × 4 small areas to check the degree of coincidence between the left and right images, and the stereo optical system 10 is represented by a CCD camera 11 for a long distance.
【００２６】図１に示すように、ステレオ画像処理装置
２０は、前記ステレオ光学系１０で撮像したアナログ画
像をデジタル画像に変換する画像変換部３０、この画像
変換部３０からの画像データに対し、左右画像のずれ量
ｘを決定するためのシティブロック距離Ｈを画素を一つ
ずつずらしながら次々と計算する一致度計算部としての
シティブロック距離計算部４０、シティブロック距離Ｈ
の最小値ＨMIN 及び最大値ＨMAX を検出する最小・最大
値検出部５０、この最小・最大値検出部５０で得られた
最小値ＨMIN が左右小領域の一致を示すものであるか否
かをチェックしてずれ量ｘを決定するずれ量決定部６０
を備えている。As shown in FIG. 1, the stereo image processing apparatus 20 includes an image conversion section 30 for converting an analog image captured by the stereo optical system 10 into a digital image, and image data from the image conversion section 30. A city block distance calculation unit 40 and a city block distance H as a matching degree calculation unit that sequentially calculates the city block distance H for determining the shift amount x between the left and right images while shifting the pixels one by one.
Of the minimum / maximum value detecting unit 50 for detecting the minimum value HMIN and the maximum value HMAX, and checking whether or not the minimum value HMIN obtained by the minimum / maximum value detecting unit 50 indicates the matching of the left and right small areas. Deviation amount determining unit 60 for determining the deviation amount x
Is equipped with.
【００２７】前記画像変換部３０には、左右画像用のＣ
ＣＤカメラ１１ａ，１１ｂに対応してＡ／Ｄコンバータ
３１ａ，３１ｂが備えられ、各ＣＣＤカメラ１１ａ，１
１ｂからのアナログ信号が、各Ａ／Ｄコンバータ３１
ａ，３１ｂでデジタル信号に変換され、さらに、各Ａ／
Ｄコンバータ３１ａ，３１ｂの出力がルックアップテー
ブル（ＬＵＴ）３２ａ，３２ｂに入力されるようになっ
ている。The image conversion unit 30 includes C for left and right images.
A / D converters 31a and 31b are provided corresponding to the CD cameras 11a and 11b, respectively.
The analog signal from 1b is transferred to each A / D converter 31
a, 31b is converted into a digital signal, and each A /
The outputs of the D converters 31a and 31b are input to the look-up tables (LUT) 32a and 32b.
【００２８】前記Ａ／Ｄコンバータ３１ａ，３１ｂは、
例えば８ビットの分解能を有し、ＣＣＤカメラ１１から
のアナログ画像を、所定の輝度階調を有するデジタル画
像に変換する。すなわち、処理の高速化のため画像の二
値化を行なうと、左右画像の一致度を計算するための情
報が著しく失われるため、例えば２５６階調のグレース
ケールに変換するのである。The A / D converters 31a and 31b are
For example, it has an 8-bit resolution and converts an analog image from the CCD camera 11 into a digital image having a predetermined brightness gradation. That is, if the image is binarized to speed up the processing, information for calculating the degree of coincidence between the left and right images is significantly lost, so that the grayscale is converted to, for example, 256 gradations.
【００２９】また、前記ＬＵＴ３２ａ，３２ｂはＲＯＭ
上に構成され、前記各Ａ／Ｄコンバータ３１ａ，３１ｂ
でデジタル量に変換されたデジタル画像のデータのビッ
ト数と同じビット数のアドレスをそれぞれ有し、入力デ
ータと等しいアドレスの内容に、輝度補正やＣＣＤアン
プの固有ゲインの補正を施したデータが書き込まれてい
る。従って、例えば８ビットの画像データを、前記ＬＵ
Ｔ３２ａ，３２ｂのアドレスとして与えると、低輝度部
分のコントラストを上げたり、左右のＣＣＤカメラ１１
ａ，１１ｂの特性の違いを補正した８ビットのデータを
読み出すことができる。The LUTs 32a and 32b are ROMs.
The above-mentioned A / D converters 31a and 31b
Each has an address with the same number of bits as the number of bits of the digital image data converted into the digital amount, and the data with the same address as the input data is subjected to the brightness correction and the correction of the intrinsic gain of the CCD amplifier. Has been. Therefore, for example, 8-bit image data is stored in the LU
If given as the addresses of T32a and 32b, the contrast of the low luminance part can be increased, and the left and right CCD cameras 11
It is possible to read 8-bit data in which the difference between the characteristics of a and 11b is corrected.
【００３０】そして、ＬＵＴ３２ａ，３２ｂで変換され
たデジタル画像信号は、後述する＃１アドレスコントロ
ーラ８６によってアドレス指定され、画像メモリ３３
ａ，３３ｂに記録される。この画像メモリ３３は、シテ
ィブロック距離計算部４０で画像の一部を繰り返し取り
出して処理するため、比較的低速のメモリから構成する
ことができ、コスト低減を図ることができる。Then, the digital image signals converted by the LUTs 32a and 32b are addressed by the # 1 address controller 86, which will be described later, and the image memory 33 is read.
a, 33b. This image memory 33 can be configured with a relatively low-speed memory because the city block distance calculation unit 40 repeatedly retrieves and processes a part of the image, and cost can be reduced.
【００３１】この場合、前記ＣＣＤカメラ１１ａ，１１
ｂには、感度調整装置１５が接続されており、前記画像
メモリ３３ａ，３３ｂに記録される画像を適正なものと
して常に正確なシティブロック距離Ｈを算出することが
できるようになっている。In this case, the CCD cameras 11a and 11
The sensitivity adjusting device 15 is connected to b so that the image recorded in the image memories 33a and 33b can be regarded as proper and the accurate city block distance H can always be calculated.
【００３２】前記感度調整装置１５には、左画像用のＡ
／Ｄコンバータ３１ａに接続されるコンパレータ１６
ａ，１７ａ、これらのコンパレータ１６ａ，１７ａから
の出力をアップカウントあるいはダウンカウントするア
ップダウンカウンタ１８ａ、右画像用のＡ／Ｄコンバー
タ３１ｂに接続されるコンパレータ１６ｂ，１７ｂ、こ
れらのコンパレータ１６ｂ，１７ｂからの出力をアップ
カウントあるいはダウンカウントするアップダウンカウ
ンタ１８ｂが備えられている。The sensitivity adjusting device 15 has an A for the left image.
Comparator 16 connected to the / D converter 31a
a, 17a, an up / down counter 18a for up-counting or down-counting the outputs from these comparators 16a, 17a, comparators 16b, 17b connected to the A / D converter 31b for the right image, and these comparators 16b, 17b An up / down counter 18b is provided for up-counting or down-counting the output of.
【００３３】前記各コンパレータ１６ａ，１６ｂ（代表
してコンパレータ１６と表記する場合もある）は、各Ａ
／Ｄコンバータ３１ａ，３１ｂからの画素毎の各デジタ
ルデータと、感度オーバーを表わす基準データＤOVRと
を比較する第１の比較器であり、各デジタルデータがこ
の基準データＤOVRを越えると、各コンパレータ１６
ａ，１６ｂの各出力がオンとなって計数器としての各ア
ップダウンカウンタ１８ａ，１８ｂ（代表してアップダ
ウンカウンタ１８と表記する場合もある）でアップカウ
ントされる。Each of the comparators 16a, 16b (sometimes referred to as the comparator 16 in some cases) is
This is a first comparator that compares each digital data for each pixel from the / D converters 31a and 31b with the reference data DOVR indicating the oversensitivity. When each digital data exceeds the reference data DOVR, each comparator 16
The outputs of a and 16b are turned on, and the up / down counters 18a and 18b (which may be representatively referred to as the up / down counter 18) as counters are up-counted.
【００３４】また、前記各コンパレータ１７ａ，１７ｂ
（代表してコンパレータ１７と表記する場合もある）
は、各Ａ／Ｄコンバータ３１ａ，３１ｂからの画素毎の
各デジタルデータと、感度アンダーを表わす基準データ
ＤUDRとを比較する第２の比較器であり、各デジタルデ
ータがこの基準データＤUDRより小さくなると、各コン
パレータ１７ａ，１７ｂの各出力がオンとなって前記ア
ップダウンカウンタ１８ａ，１８ｂでダウンカウントさ
れる。The comparators 17a and 17b are also provided.
(May be referred to as the comparator 17 as a representative)
Is a second comparator for comparing each digital data for each pixel from each A / D converter 31a, 31b with the reference data DUDR representing undersensitivity. When each digital data becomes smaller than this reference data DUDR , The outputs of the comparators 17a and 17b are turned on, and the up / down counters 18a and 18b are down-counted.
【００３５】さらに、前記感度調整装置１５には、前記
各アップダウンカウンタ１８ａ，１８ｂの計数値に基づ
いて前記ＣＣＤカメラ１１ａ，１１ｂの感度を調整する
感度コントローラ１９が備えられ、前記各アップダウン
カウンタ１８ａ，１８ｂの計数値の、例えば合計値が正
の値のとき感度を上げ、負の値のとき感度を上げるよ
う、各ＣＣＤカメラ１１ａ，１１ｂに感度調整信号を出
力する。Further, the sensitivity adjusting device 15 is provided with a sensitivity controller 19 for adjusting the sensitivities of the CCD cameras 11a and 11b based on the count values of the up / down counters 18a and 18b. A sensitivity adjustment signal is output to each CCD camera 11a, 11b so as to increase the sensitivity when the total value of the count values of 18a and 18b is a positive value and to increase the sensitivity when the total value is a negative value.
【００３６】すなわち、逆光や真昼の非常に照度の高い
状態からトンネル内に進入したときのように急激に照度
が変化する場合にも、輝度平均処理等による従来の感度
調整に対し、簡単な回路構成で高速に処理することがで
き、広いダイナミックレンジを得ることができる。That is, even when the illuminance changes suddenly such as when entering the tunnel from a backlit or a very high illuminance at noon, a simple circuit can be used for the conventional sensitivity adjustment by the brightness averaging process or the like. The structure enables high-speed processing, and a wide dynamic range can be obtained.
【００３７】一方、ステレオ画像処理装置２０のシティ
ブロック距離計算部４０では、前記画像変換部３０の左
画像用の画像メモリ３３ａに、共通バス８０を介して２
組の入力バッファメモリ４１ａ，４１ｂが接続されると
ともに、右画像用の画像メモリ３３ｂに、共通バス８０
を介して２組の入力バッファメモリ４２ａ，４２ｂが接
続されている。On the other hand, in the city block distance calculation unit 40 of the stereo image processing device 20, the image memory 33a for the left image of the image conversion unit 30 is transferred to the image memory 33a via the common bus 80.
A pair of input buffer memories 41a and 41b are connected, and a common bus 80 is connected to the image memory 33b for the right image.
Two sets of input buffer memories 42a and 42b are connected via.
【００３８】前記各入力バッファメモリ４１ａ，４１
ｂ，４２ａ，４２ｂは、シティブロック距離計算の速度
に応じた比較的小容量の入出力が分離した高速タイプで
あり、これらの入力バッファメモリ４１ａ，４１ｂ，４
２ａ，４２ｂ、及び、画像メモリ３３ａ，３３ｂに、ク
ロック発生回路８５から供給されるクロックに従って＃
１アドレスコントローラ８６から発生されるアドレスが
共通に与えられる。Each of the input buffer memories 41a, 41
b, 42a, 42b are high-speed types in which input and output of a relatively small capacity corresponding to the speed of city block distance calculation are separated, and these input buffer memories 41a, 41b, 4 are provided.
2a, 42b and the image memories 33a, 33b according to the clock supplied from the clock generation circuit 85.
An address generated from the 1-address controller 86 is commonly given.
【００３９】前記左画像用の各入力バッファメモリ４１
ａ，４１ｂには、２組の例えば８段構成のシフトレジス
タ４３ａ，４３ｂが接続され、右画像用の各入力バッフ
ァメモリ４２ａ，４２ｂには、同様に、２組の例えば８
段構成のシフトレジスタ４４ａ，４４ｂが接続されてい
る。さらに、これら４組のシフトレジスタ４３ａ，４３
ｂ，４４ａ，４４ｂには、シティブロック距離を計算す
るシティブロック距離計算回路４５が接続されており、
これら４組のシフトレジスタ４３ａ，４３ｂ，４４ａ，
４４ｂと前記各入力バッファメモリ４１ａ，４１ｂ，４
２ａ，４２ｂとの間のデータ転送は、＃２アドレスコン
トローラ８７によって制御される。Each input buffer memory 41 for the left image
Two sets of shift registers 43a and 43b having, for example, eight stages are connected to a and 41b, and two sets of eight shift registers 43a and 43b are similarly provided to the input buffer memories 42a and 42b for the right image.
The shift registers 44a and 44b having a stage configuration are connected. Further, these four sets of shift registers 43a, 43
A city block distance calculation circuit 45 for calculating a city block distance is connected to b, 44a, and 44b,
These four sets of shift registers 43a, 43b, 44a,
44b and the input buffer memories 41a, 41b, 4
The data transfer between 2a and 42b is controlled by the # 2 address controller 87.
【００４０】また、前記右画像用のシフトレジスタ４４
ａ、４４ｂには、後述するずれ量決定部６０の２組の１
０段構成のシフトレジスタ６４ａ，６４ｂが接続されて
おり、次の小領域のデータ転送が始まると、シティブロ
ック距離Ｈの計算の終わった古いデータはこれらのシフ
トレジスタ６４ａ，６４ｂに送られ、ずれ量ｘの決定の
際に用いられる。The right image shift register 44 is also provided.
a and 44b have two sets of 1 of a shift amount determination unit 60 described later.
The shift registers 64a and 64b of 0-stage configuration are connected, and when the data transfer of the next small area starts, the old data for which the calculation of the city block distance H has finished is sent to these shift registers 64a and 64b, and the shift occurs. Used in determining the quantity x.
【００４１】また、シティブロック距離計算回路４５
は、加減算器に入出力ラッチをつなげてワンチップ化し
た高速ＣＭＯＳ型演算器４６を組み合わせており、図５
に詳細が示されるように、演算器４６を１６個ピラミッ
ド状に接続したパイプライン構造で、例えば８画素分を
同時に入力して計算するようになっている。このピラミ
ッド型構造の初段は、絶対値演算器、２段〜４段は、そ
れぞれ、第１加算器、第２加算器、第３加算器を構成
し、最終段は総和加算器となっている。The city block distance calculation circuit 45
5 is a combination of an adder / subtractor and an input / output latch, which is combined with a high-speed CMOS arithmetic unit 46 which is integrated into one chip.
As will be described in detail, a pipeline structure in which 16 calculators 46 are connected in a pyramid shape, for example, 8 pixels are simultaneously input and calculated. The first stage of the pyramid structure is an absolute value calculator, the second to fourth stages are first adder, second adder, and third adder, respectively, and the final stage is a sum adder. .
【００４２】尚、図５においては、絶対値計算と１，２
段目の加算器は半分のみ表示している。In FIG. 5, absolute value calculation and 1, 2
Only half of the adders in the first row are displayed.
【００４３】このシティブロック距離Ｈの計算をコンピ
ュータのソフトウエアで行なう場合、右画像の一つの小
領域に対して左画像の小領域を次々に探索し、これを右
画像の小領域全部について行なう必要があり、この計算
を例えば０．０８秒で行なうとすると、一画素当たり例
えば５ステップのプログラムで、５００ＭＩＰＳ（Mega
Instruction Per Second ）の能力が要求される。これ
は現在の一般的なシスク（ＣＩＳＣ）タイプのマイクロ
プロセッサでは実現不可能な数字であり、リスク（ＲＩ
ＳＣ）プロセッサ、デジタルシグナルプロセッサ（ＤＳ
Ｐ）、あるいは、並列プロセッサなどを用いなければな
らなくなる。When the calculation of the city block distance H is performed by the software of the computer, the small areas of the left image are successively searched for one small area of the right image, and this is performed for all the small areas of the right image. If it is necessary to perform this calculation in 0.08 seconds, for example, with a program of 5 steps per pixel, 500 MIPS (Mega
Instruction Per Second) ability is required. This is a number that cannot be realized by the current common SISC (CISC) type microprocessor, and the risk (RI
SC) processor, digital signal processor (DS)
P), or a parallel processor will have to be used.
【００４４】前記最小・最大値検出部５０は、シティブ
ロック距離Ｈの最小値ＨMIN を検出する最小値検出回路
５１とシティブロック距離Ｈの最大値ＨMAX を検出する
最大値検出回路５２とを備えており、前記シティブロッ
ク距離計算回路４５で使用する演算器４６を最小値、最
大値検出用として２個使用した構成となっており、シテ
ィブロック距離Ｈの出力と同期が取られるようになって
いる。The minimum / maximum value detecting section 50 comprises a minimum value detecting circuit 51 for detecting the minimum value HMIN of the city block distance H and a maximum value detecting circuit 52 for detecting the maximum value HMAX of the city block distance H. In this configuration, two arithmetic units 46 used in the city block distance calculation circuit 45 are used for detecting the minimum value and the maximum value, and are synchronized with the output of the city block distance H. .
【００４５】図６に示すように、最小値検出回路５１
は、具体的には、Ａレジスタ４６ａ、Ｂレジスタ４６
ｂ、及び、算術論理演算ユニット（ＡＬＵ）４６ｃから
なる演算器４６に、Ｃラッチ５３，ラッチ５４，Ｄラッ
チ５５を接続して構成され、シティブロック距離計算回
路４５からの出力が、Ａレジスタ４６ａと、Ｃラッチ５
３を介してＢレジスタ４６ｂとに入力され、ＡＬＵ４６
ｃの出力の最上位ビット（ＭＳＢ）がラッチ５４に出力
される。このラッチ５４の出力は、Ｂレジスタ４６ｂ及
びＤラッチ５５に出力され、演算器４６での最小値計算
の途中の値が、Ｂレジスタ４６ｂに保存されるととも
に、そのときのずれ量ｘがＤラッチ５５に保存されるよ
うになっている。As shown in FIG. 6, the minimum value detection circuit 51
Are, specifically, A register 46a and B register 46
b, and an arithmetic unit 46 composed of an arithmetic logic operation unit (ALU) 46c, which is configured by connecting a C latch 53, a latch 54, and a D latch 55, and the output from the city block distance calculation circuit 45 is an A register 46a. And C latch 5
3 to the B register 46b and the ALU46
The most significant bit (MSB) of the output of c is output to the latch 54. The output of the latch 54 is output to the B register 46b and the D latch 55, the value in the middle of the calculation of the minimum value in the calculator 46 is stored in the B register 46b, and the shift amount x at that time is stored in the D latch. It is supposed to be stored in 55.
【００４６】尚、最大値検出回路５２については、論理
が逆になることと、ずれ量ｘを保存しないこと以外は、
最小値検出回路５１と同様の構成である。Regarding the maximum value detection circuit 52, except that the logic is reversed and the shift amount x is not stored,
It has the same configuration as the minimum value detection circuit 51.
【００４７】前述したようにシティブロック距離Ｈは、
一つの右画像小領域に対し、左画像小領域を１画素ずつ
ずらしながら順次計算されていく。そこで、シティブロ
ック距離Ｈの値が出力される毎に、これまでの値の最大
値ＨMAX 、最小値ＨMIN と比較、更新することによっ
て、最後のシティブロック距離Ｈの出力とほぼ同時に、
その小領域におけるシティブロック距離Ｈの最大値ＨMA
X 、最小値ＨMIN が求まるようになっている。As described above, the city block distance H is
With respect to one right image small area, the left image small area is sequentially calculated by shifting the pixel by one pixel. Therefore, every time the value of the city block distance H is output, by comparing and updating the maximum value HMAX and the minimum value HMIN of the values so far, almost simultaneously with the output of the last city block distance H,
Maximum value HMA of city block distance H in the small area
X and the minimum value HMIN can be obtained.
【００４８】前記ずれ量決定部６０は、比較的小規模の
ＲＩＳＣプロセッサとして構成され、演算器６１を中心
として、２本の１６ビット幅データバス６２ａ，６２
ｂ、ずれ量ｘを保持するラッチ６３ａ、第１の規定値と
してのしきい値Ｈa を保持するラッチ６３ｂ、第２の規
定値としてのしきい値Ｈb を保持するラッチ６３ｃ、第
３の規定値としてのしきい値Ｈc を保持するラッチ６３
ｄ、右画像の輝度データを保持する２組のシフトレジス
タ６４ａ，６４ｂ、演算器６１の出力を受けてずれ量ｘ
または”０”を出力するスイッチ回路６５、そして出力
された結果を一時保存する出力バッファメモリ６６ａ，
６６ｂ、回路の動作タイミングや演算器６１の機能の制
御プログラムが書き込まれた１６ビット幅のＲＯＭ６７
が備えられている。The shift amount determining unit 60 is configured as a relatively small RISC processor and has two 16-bit width data buses 62a and 62 centering on the arithmetic unit 61.
b, a latch 63a for holding the shift amount x, a latch 63b for holding a threshold value Ha as a first specified value, a latch 63c for holding a threshold value Hb as a second specified value, a third specified value 63 for holding the threshold value Hc as
d, two sets of shift registers 64a and 64b for holding the brightness data of the right image, and the shift amount x upon receiving the output of the arithmetic unit 61.
Alternatively, a switch circuit 65 that outputs "0", and an output buffer memory 66a that temporarily stores the output result,
66b, a ROM 67 of 16-bit width in which a control program of the operation timing of the circuit and the function of the arithmetic unit 61 is written
Is provided.
【００４９】前記演算器６１は、ＡＬＵ７０を中心とし
て、Ａレジスタ７１、Ｂレジスタ７２、Ｆレジスタ７
３、及び、セレクタ７４からなり、前記データバス６２
ａ（以下、Ａバス６２ａとする）にＡレジスタ７１が接
続されるとともに、前記データバス６２ｂ（以下、Ｂバ
ス６２ｂとする）にＢレジスタ７２が接続され、ＡＬＵ
７０の演算結果で前記スイッチ回路６５を作動し、ずれ
量ｘまたは“０”が前記出力バッファメモリ６６ａ，６
６ｂに格納されるようになっている。The arithmetic unit 61 is centered on the ALU 70, and has an A register 71, a B register 72, and an F register 7.
3 and a selector 74, and the data bus 62
A (hereinafter, referred to as A bus 62a) is connected to the A register 71, and the data bus 62b (hereinafter, referred to as B bus 62b) is connected to the B register 72.
The switch circuit 65 is operated according to the calculation result of 70, and the shift amount x or “0” is determined by the output buffer memories 66a and 66a.
6b is stored.
【００５０】前記Ａバス６２ａには、各しきい値Ｈa 、
Ｈb 、Ｈc を保持するラッチ６３ｂ，６３ｃ，６３ｄ、
前記最大値検出回路５２が接続され、前記Ｂバス６２ｂ
には、前記最小値検出回路５１が接続されている。さら
に、前記Ａバス６２ａ及びＢバス６２ｂには、前記各シ
フトレジスタ６４ａ，６４ｂが接続されている。The A bus 62a has threshold values Ha,
Latches 63b, 63c, 63d for holding Hb, Hc,
The maximum value detection circuit 52 is connected to the B bus 62b.
The minimum value detection circuit 51 is connected to. Further, the shift registers 64a and 64b are connected to the A bus 62a and the B bus 62b.
【００５１】また、前記スイッチ回路６５には、前記演
算器６１が接続されるとともに、前記ラッチ６３ａを介
して前記最小値検出回路５１が接続され、後述する３つ
のチェック条件が演算器６１で判定され、その判定結果
に応じて前記出力バッファメモリ６６ａ，６６ｂへの出
力が切り換えられる。The switch circuit 65 is connected to the arithmetic unit 61 and the minimum value detection circuit 51 via the latch 63a, and the arithmetic unit 61 determines three check conditions described later. The output to the output buffer memories 66a and 66b is switched according to the determination result.
【００５２】このずれ量決定部６０では、得られたシテ
ィブロック距離Ｈの最小値ＨMIN が本当に左右小領域の
一致を示しているものかどうかチェックを行い、条件を
満たしたもののみ、出力バッファメモリ６６ａ，６６ｂ
の対応する画素の位置にずれ量ｘを出力する。The deviation amount determining unit 60 checks whether or not the obtained minimum value HMIN of the city block distances H really indicates the matching of the left and right small areas, and only those satisfying the conditions are output buffer memory. 66a, 66b
The shift amount x is output to the position of the pixel corresponding to.
【００５３】すなわち、シティブロック距離Ｈが最小と
なるずれ量が求めるずれ量ｘとなる訳であるが、以下の
３つのチェック条件を満足した場合にずれ量ｘを出力
し、満足しない場合には、データを採用せずに“０”を
出力する。That is, the amount of deviation that minimizes the city block distance H becomes the amount of deviation x to be obtained. If the following three check conditions are satisfied, the amount of deviation x is output, and if not satisfied, , Outputs "0" without adopting data.
【００５４】（１）ＨMIN ≦Ｈa （ＨMIN ＞Ｈa のとき
には距離を検出できず。） （２）ＨMAX −ＨMIN ≧Ｈb （得られた最小値ＨMIN が
ノイズによる揺らぎより明らかに低くなっていることを
チェックするための条件であり、最小値ＨMINの近傍の
値との差でなく、最大値ＨMAX との差をチェック対象と
することにより、 曲面などの緩やかに輝度の変わる物
体に対しても距離検出が行なえる。） （３）右画像の小領域内の横方向の隣接画素間の輝度差
＞Ｈc （しきい値Ｈc を大きくするとエッジ検出となる
が、輝度が緩やかに変化している場合にも対応可能なよ
うに、しきい値Ｈc は通常のエッジ検出レベルよりはず
っと低くしてある。この条件は、輝度変化のない部分で
は、距離検出が行なえないという基本的な原理に基づい
ており、小領域中の画素毎に行なわれるため、小領域の
中でも実際に距離の検出された画素のみが採用されるこ
とになり、自然な結果が得られる。）尚、このずれ量決
定の処理も、通常のマイクロプロセッサでソフト的に行
おうとすると、例えば２７ＭＩＰＳの速さが必要とな
り、実行不可能である。(1) HMIN ≤ Ha (distance cannot be detected when HMIN> Ha) (2) HMAX-HMIN ≥ Hb (The obtained minimum value HMIN is obviously lower than the fluctuation due to noise. This is a condition for checking, and by detecting the difference with the maximum value HMAX instead of the difference with the value near the minimum value HMIN, the distance can be detected even for an object whose brightness changes gently such as a curved surface. (3) Brightness difference between adjacent pixels in the horizontal direction in the small area of the right image> Hc (when the threshold value Hc is increased, edge detection is performed, but when the brightness changes gently The threshold value Hc is set to be much lower than the normal edge detection level, which is based on the basic principle that distance detection cannot be performed in a portion where there is no brightness change. , Pixels in small area Since only the pixels whose distances are actually detected are adopted even in the small area, a natural result can be obtained.) Note that this deviation amount determination processing is also performed by an ordinary microprocessor. In order to do so, a speed of 27 MIPS, for example, is required, which is not feasible.
【００５５】以上のずれ量決定部６０から出力される最
終結果である距離分布情報は、道路・障害物認識装置な
どの外部装置へのインターフェースとなるデュアルポー
トメモリ９０へ共通バス８０を介して書き込まれる。The distance distribution information, which is the final result output from the deviation amount determination unit 60, is written via the common bus 80 to the dual port memory 90 that serves as an interface to an external device such as a road / obstacle recognition device. Be done.
【００５６】次に、距離検出装置２の動作について説明
する。Next, the operation of the distance detecting device 2 will be described.
【００５７】図７は、ステレオ画像処理装置２０におけ
る距離検出処理のフローチャートであり、まず、ステッ
プS101で左右のＣＣＤカメラ１１ａ，１１ｂによって撮
像した画像を入力すると、ステップS102へ進み、入力し
たアナログ画像をＡ／Ｄコンバータ３１ａ，３１ｂでデ
ジタル量に変換する。このＡ／Ｄ変換された画像データ
は、感度調整装置１５の各コンパレータ１６，１７に入
力される。FIG. 7 is a flowchart of the distance detection processing in the stereo image processing apparatus 20. First, when the images captured by the left and right CCD cameras 11a and 11b are input in step S101, the process proceeds to step S102, and the input analog image is input. Is converted into a digital amount by the A / D converters 31a and 31b. The A / D converted image data is input to the comparators 16 and 17 of the sensitivity adjusting device 15.
【００５８】前記感度調整装置１５では、前記各Ａ／Ｄ
コンバータ３１ａ，３１ｂからのデジタルデータを、コ
ンパレータ１６で感度オーバーを表わす基準データＤOV
Rと比較するとともに、コンパレータ１７で感度アンダ
ーを表わす基準データＤUDRと比較し、比較結果をアッ
プダウンカウンタ１８でカウントする。In the sensitivity adjusting device 15, each A / D
The comparator 16 converts the digital data from the converters 31a and 31b into the reference data DOV indicating that the sensitivity is exceeded.
In addition to being compared with R, the comparator 17 compares with reference data DUDR indicating undersensitivity, and the up / down counter 18 counts the comparison result.
【００５９】例えば、前記各Ａ／Ｄコンバータ３１ａ，
３１ｂからのデジタルデータが８ビットの場合、感度オ
ーバーを示す基準データＤOVRを”２５５”、感度アン
ダーを示す基準データＤUDRを”０”とし、前記各Ａ／
Ｄコンバータ３１ａ，３１ｂからのデジタルデータを各
基準データＤOVR，ＤUDRと画素毎に比較し、感度オーバ
ーあるいは感度アンダーのデータが表れる毎にオンとな
るコンパレータ１６，１７の出力をアップダウンカウン
タ１８でアップカウントあるいはダウンカウントする。For example, each of the A / D converters 31a,
When the digital data from 31b is 8 bits, the reference data DOVR indicating over-sensitivity is set to "255", the reference data DUDR indicating under-sensitivity is set to "0", and each A /
The digital data from the D converters 31a and 31b are compared with the reference data DOVR and DUDR for each pixel, and the output of the comparators 16 and 17 that are turned on each time the data of oversensitivity or undersensitivity appears is increased by the up / down counter 18. Count or down count.
【００６０】そして、所定領域に渡って計数した結果、
例えば１画面分に対する計数結果が正の値で感度オーバ
ーのときには、ＰＩＤ制御等によりＣＣＤカメラの絞り
を絞るか、あるいはシャッタースピードを上げ、感度を
下げるよう制御し、計数結果が負の値で感度アンダーの
ときには、絞りを開けるか、あるいはシャッタースピー
ドを下げ、感度を上げるよう制御する。尚、ＣＣＤカメ
ラの絞りとシャッタースピードとを同時に制御するよう
にして良い。Then, as a result of counting over a predetermined area,
For example, when the counting result for one screen is a positive value and the sensitivity is over, the aperture of the CCD camera is narrowed by PID control or the shutter speed is increased to control the sensitivity so that the counting result is a negative value. When it is under, the aperture is opened or the shutter speed is reduced to control the sensitivity. The aperture of the CCD camera and the shutter speed may be controlled simultaneously.
【００６１】これにより、走行状態における外界照度が
大きく変化した場合においても、左右のＣＣＤカメラ１
１ａ，１１ｂの感度が適切に調整される。この場合、感
度オーバー、感度アンダーの領域をなくすように動作す
るため、より本質的、より確実な感度調整を行なうこと
ができる。As a result, even when the external illuminance in the running state changes significantly, the left and right CCD cameras 1
The sensitivities of 1a and 11b are adjusted appropriately. In this case, since the operation is performed so as to eliminate the areas of oversensitivity and undersensitivity, more essential and more reliable sensitivity adjustment can be performed.
【００６２】このように、ＣＣＤカメラ１１ａ，１１ｂ
の感度が適切に調整された状態で撮像された画像が、前
記各Ａ／Ｄコンバータ３１ａ，３１ｂによってデジタル
画像に変換されると、ＬＵＴ３２ａ，３２ｂで、低輝度
部分のコントラスト増強、左右のＣＣＤカメラ１１ａ，
１１ｂの特性補償等が行なわれ、画像メモリ３３ａ，３
３ｂに記録される。尚、前記画像メモリ３３ａ，３３ｂ
に記憶される画像は、ＣＣＤカメラ１１ａ，１１ｂのＣ
ＣＤ素子の全ラインのうち、その後の処理に必要なライ
ンのみであり、例えば０．１秒に１回の割合（テレビ画
像で３枚に１枚の割合）で書き換えられる。Thus, the CCD cameras 11a and 11b are
When the image captured with the sensitivity of the image is properly converted into a digital image by the A / D converters 31a and 31b, the LUTs 32a and 32b enhance the contrast of the low brightness part and the left and right CCD cameras. 11a,
The characteristic compensation of 11b is performed, and the image memories 33a, 3a
It is recorded in 3b. Incidentally, the image memories 33a and 33b
The images stored in are C of CCD cameras 11a and 11b.
Of all the lines of the CD element, only the lines necessary for the subsequent processing are rewritten, for example, once every 0.1 seconds (at a rate of one in every three TV images).
【００６３】その後、各画像メモリ３３ａ，３３ｂに記
録された画像データは、ステップS103で、左右画像用の
画像メモリ３３ａ，３３ｂから入力バッファメモリ４１
ａ，４１ｂ，４２ａ，４２ｂへ、共通バス８０を介し
て、例えば４ラインずつ左右画像データが読み込まれ、
読み込んだ左右画像のマッチング、すなわち一致度の評
価が行なわれる。その際、左右の画像毎に、前記画像メ
モリ３３ａ，３３ｂから前記入力バッファメモリ４１
ａ，４１ｂ，４２ａ，４２ｂへの読み込み動作と、シフ
トレジスタ４３ａ，４３ｂ，４４ａ，４４ｂに対する書
き込み動作とが交互に行なわれる。Thereafter, in step S103, the image data recorded in the image memories 33a and 33b is transferred from the image memories 33a and 33b for the left and right images to the input buffer memory 41.
a, 41b, 42a, 42b are read via the common bus 80, for example, left and right image data by 4 lines,
The read left and right images are matched, that is, the matching degree is evaluated. At that time, for each of the left and right images, from the image memories 33a and 33b to the input buffer memory 41.
The read operation to the a, 41b, 42a and 42b and the write operation to the shift registers 43a, 43b, 44a and 44b are alternately performed.
【００６４】例えば、左画像では、画像メモリ３３ａか
ら一方の入力バッファメモリ４１ａに画像データが読み
込まれている間に、他方の入力バッファメモリ４１ｂか
らシフトレジスタ４３ｂへ読み込んだ画像データの書き
出しが行なわれ、右画像では、画像メモリ３３ｂから一
方の入力バッファメモリ４２ａに画像データが読み込ま
れている間に、他方の入力バッファメモリ４２ｂからシ
フトレジスタ４４ｂへ読み込んだ画像データの書き出し
が行なわれる。For example, in the left image, while the image data is being read from the image memory 33a to the one input buffer memory 41a, the image data read from the other input buffer memory 41b to the shift register 43b is written. In the right image, while the image data is being read from the image memory 33b to the one input buffer memory 42a, the image data read from the other input buffer memory 42b to the shift register 44b is written.
【００６５】そして、図８に示すように、前記シフトレ
ジスタ４３ａ，４３ｂ，４４ａ，４４ｂには、左右の４
×４画素の小領域の画像データ（１，１）…（４，４）
が保存され、一方のシフトレジスタ４３ａ（４４ａ）に
は１、２ラインのデータが、もう一方のシフトレジスタ
４３ｂ（４４ｂ）には３、４ラインのデータが、それぞ
れ１画素毎に奇数ライン、偶数ラインの順序で入る。As shown in FIG. 8, the shift registers 43a, 43b, 44a, and 44b have four left and right sides.
Image data of a small area of × 4 pixels (1, 1) (4, 4)
Are stored in one shift register 43a (44a) for 1 or 2 lines of data, and the other shift register 43b (44b) for 3 or 4 lines of data in each pixel for odd and even lines. Enter in line order.
【００６６】前記各シフトレジスタ４３ａ，４３ｂ，４
４ａ，４４ｂは、それぞれが独立した転送ラインを持
ち、４×４画素のデータは例えば８クロックで転送され
る。そして、これらのシフトレジスタ４３ａ，４３ｂ，
４４ａ，４４ｂは、８段のうちの偶数段の内容を同時に
シティブロック距離計算回路４５に出力し、シティブロ
ック距離Ｈの計算が始まると、右画像のデータはシフト
レジスタ４４ａ，４４ｂ内に保持されて、クロック毎に
奇数ライン、偶数ラインのデータが交互に出力され、一
方、左画像のデータはシフトレジスタ４３ａ，４３ｂに
転送され続け、奇数ライン、偶数ラインのデータが交互
に出力されつつ、２クロック毎に１画素分右のほうにず
れたデータに置き換わっていく。この動作を、例えば１
００画素分ずれるまで（２００クロック）繰り返す。Each of the shift registers 43a, 43b, 4
Each of 4a and 44b has an independent transfer line, and 4 × 4 pixel data is transferred at, for example, 8 clocks. Then, these shift registers 43a, 43b,
44a and 44b simultaneously output the contents of even-numbered stages of eight stages to the city block distance calculation circuit 45, and when the calculation of the city block distance H starts, the data of the right image is held in the shift registers 44a and 44b. The data of the odd line and the even line are alternately output for each clock, while the data of the left image is continuously transferred to the shift registers 43a and 43b, and the data of the odd line and the even line are alternately output and 2 It is replaced by data that is shifted to the right by one pixel every clock. This operation is
Repeat until there is a shift of 00 pixels (200 clocks).
【００６７】その後、一つの小領域に対する転送が終了
すると、＃２アドレスコントローラ８７内の左画像用ア
ドレスカウンタに右画像用アドレスカウンタの内容（次
の４×４画素の小領域の先頭アドレス）がセットされ、
次の小領域の処理が始まる。シティブロック距離計算回
路４５では、図９のタイミングチャートに示すように、
まず、ピラミッド型構造初段の絶対値演算器に８画素分
のデータを入力し、左右画像の輝度差の絶対値を計算す
る。すなわち、右画素の輝度から対応する左画素の輝度
を引き算し、結果が負になった場合、演算命令を変える
ことにより、引く方と引かれる方を逆にして再び引き算
を行なうことにより、絶対値の計算を行なう。従って、
初段では引き算を２回行なう場合がある。After that, when the transfer to one small area is completed, the contents of the right image address counter (the leading address of the next 4 × 4 pixel small area) are stored in the left image address counter in the # 2 address controller 87. Set,
Processing of the next small area begins. In the city block distance calculation circuit 45, as shown in the timing chart of FIG.
First, data of 8 pixels is input to the absolute value calculator in the first stage of the pyramid structure, and the absolute value of the brightness difference between the left and right images is calculated. That is, if the brightness of the corresponding left pixel is subtracted from the brightness of the right pixel, and if the result is negative, the subtraction and subtraction are reversed by changing the operation instruction, and subtraction is performed again. Calculate the value. Therefore,
Subtraction may be performed twice in the first stage.
【００６８】次いで、初段を通過すると、２段目から４
段目までの第１ないし第３加算器で二つの同時入力デー
タを加算して出力する。そして、最終段の総和加算器で
二つの連続するデータを加え合わせて総和を計算し、必
要とする１６画素分のシティブロック距離Ｈを２クロッ
ク毎に最小・最大値検出部５０へ出力する。Next, when passing through the first stage, 4 from the second stage
The first to third adders up to the second stage add two simultaneous input data and output. Then, in the final-stage total sum adder, two consecutive data are added together to calculate the total sum, and the required city block distance H for 16 pixels is output to the minimum / maximum value detection unit 50 every two clocks.
【００６９】次に、ステップS104へ進み、前記ステップ
S103で算出したシティブロック距離Ｈの最大値ＨMAX 、
最小値ＨMIN を検出する。前述したように、この最大値
ＨMAX の検出と最小値ＨMIN の検出とは、互いに論理が
逆になることと、ずれ量を保存しないこと以外は、全く
同じであるため、以下、代表して最小値ＨMIN の検出に
ついて説明する。Then, the process proceeds to step S104, and the step
The maximum value HMAX of the city block distance H calculated in S103,
Detect the minimum value HMIN. As described above, the detection of the maximum value HMAX and the detection of the minimum value HMIN are exactly the same except that the logics are opposite to each other and the deviation amount is not stored, and therefore, the minimum value will be representatively described below. The detection of the value HMIN will be described.
【００７０】まず、最初に出力されてきたシティブロッ
ク距離Ｈ（ずれ量ｘ＝０）が、図６に示す最小値検出回
路５１のＣラッチ５３を介して、演算器４６のＢレジス
タ４６ｂに入力される。次のクロックで出力されてきた
シティブロック距離Ｈ（ずれ量ｘ＝１）は、Ｃラッチ５
３と演算器４６のＡレジスタ４６ａとに入れられ、演算
器４６では、同時に、Ｂレジスタ４６ｂとの比較演算が
始まる。First, the city block distance H (deviation amount x = 0) output first is input to the B register 46b of the arithmetic unit 46 via the C latch 53 of the minimum value detection circuit 51 shown in FIG. To be done. The city block distance H (deviation amount x = 1) output at the next clock is the C latch 5
3 and the A register 46a of the arithmetic unit 46, and the arithmetic unit 46 simultaneously starts the comparison operation with the B register 46b.
【００７１】前記演算器４６での比較演算の結果、Ｂレ
ジスタ４６ｂの内容よりもＡレジスタ４６ａの内容の方
が小さければ、次のクロックのときに、Ｃラッチ５３の
内容（すなわちＡレジスタ４６ａの内容）がＢレジスタ
４６ｂに送られ、このときのずれ量ｘがＤラッチ５５に
保存される。このクロックで同時に、次のシティブロッ
ク距離Ｈ（ずれ量ｘ＝２）がＡレジスタ４６ａとＣラッ
チ５３に入れられ、再び比較演算が始まる。If the content of the A register 46a is smaller than the content of the B register 46b as a result of the comparison operation in the arithmetic unit 46, the content of the C latch 53 (that is, the content of the A register 46a at the next clock). (Contents) is sent to the B register 46b, and the shift amount x at this time is stored in the D latch 55. At the same time with this clock, the next city block distance H (deviation amount x = 2) is entered in the A register 46a and the C latch 53, and the comparison operation is started again.
【００７２】このようにして、計算途中での最小値が常
にＢレジスタ４６ｂに、そのときのずれ量ｘがＤラッチ
５５に保存されながら、ずれ量ｘが１００になるまで計
算が続けられる。計算が終了すると（最後のシティブロ
ック距離Ｈが出力されてから１クロック後）、Ｂレジス
タ４６ｂとＤラッチ５５の内容はずれ量決定部６０に読
み込まれる。In this way, the minimum value during the calculation is always stored in the B register 46b and the deviation amount x at that time is stored in the D latch 55, and the calculation is continued until the deviation amount x reaches 100. When the calculation is completed (1 clock after the last city block distance H is output), the contents of the B register 46b and the D latch 55 are read into the deviation amount determination unit 60.
【００７３】この間に、前述したシティブロック距離計
算回路４５では次の小領域の初期値が読み込まれ、時間
の無駄を生じないようになっており、一つのシティブロ
ック距離Ｈを計算するのに、例えば４クロックかかる
が、パイプライン構造をとっているため、２クロック毎
に新たな計算結果が得られる。In the meantime, the city block distance calculation circuit 45 described above reads the initial value of the next small area so as not to waste time, and to calculate one city block distance H, For example, it takes 4 clocks, but since it has a pipeline structure, a new calculation result can be obtained every 2 clocks.
【００７４】ステップS105では、前記ステップS104でシ
ティブロック距離Ｈの最小値ＨMIN、最大値ＨMAX が確
定すると、ずれ量決定部６０にて、前述した３つの条件
がチェックされ、ずれ量ｘが決定される。In step S105, when the minimum value HMIN and the maximum value HMAX of the city block distance H are determined in step S104, the deviation amount determining unit 60 checks the above-mentioned three conditions to determine the deviation amount x. It
【００７５】すなわち、図１０のタイミングチャートに
示すように、Ｂバス６２ｂを介して最小値ＨMIN が演算
器６１のＢレジスタ７２にラッチされるとともに、この
Ｂレジスタ７２の値と比較されるしきい値Ｈa がＡバス
６２ａを介してＡレジスタ７１にラッチされる。そして
ＡＬＵ７０で両者が比較され、しきい値Ｈa よりも最小
値ＨMIN の方が大きければ、スイッチ回路６５がリセッ
トされ、以後のチェックの如何に係わらず常に０が出力
されるようになる。That is, as shown in the timing chart of FIG. 10, the minimum value HMIN is latched in the B register 72 of the arithmetic unit 61 via the B bus 62b and compared with the value of the B register 72. The value Ha is latched in the A register 71 via the A bus 62a. Then, the two are compared by the ALU 70, and if the minimum value HMIN is larger than the threshold value Ha, the switch circuit 65 is reset and 0 is always output regardless of the subsequent checks.
【００７６】次に、Ａレジスタ７１に最大値ＨMAX がラ
ッチされ、このＡレジスタ７１にラッチされた最大値Ｈ
MAX とＢレジスタ７２に保存されている最小値ＨMIN と
の差が計算されて、その結果がＦレジスタ７３に出力さ
れる。次のクロックでＡレジスタ７１にしきい値Ｈb が
ラッチされ、Ｆレジスタ７３の値と比較される。Ａレジ
スタ７１にラッチされたしきい値Ｈb よりもＦレジスタ
７３の内容の方が小さければ同様にスイッチ回路６５が
リセットされる。Next, the maximum value HMAX is latched in the A register 71, and the maximum value H latched in this A register 71.
The difference between MAX and the minimum value HMIN stored in the B register 72 is calculated, and the result is output to the F register 73. At the next clock, the threshold value Hb is latched in the A register 71 and compared with the value in the F register 73. If the content of the F register 73 is smaller than the threshold value Hb latched in the A register 71, the switch circuit 65 is similarly reset.
【００７７】次のクロックからは、隣接画素間の輝度差
の計算が始まる。輝度データが保存されている２組のシ
フトレジスタ６４ａ，６４ｂは１０段構成であり、それ
ぞれ、シティブロック距離計算部４０の１，２ライン用
のシフトレジスタ４４ａと、３，４ライン用のシフトレ
ジスタ４４ｂの後段に接続されている。前記シフトレジ
スタ６４ａ，６４ｂの出力は最後の段とその２つ手前の
段から取り出され、それぞれが、Ａバス６２ａとＢバス
６２ｂとに出力される。From the next clock, the calculation of the brightness difference between adjacent pixels starts. The two sets of shift registers 64a and 64b in which the luminance data is stored have a 10-stage configuration, and the shift register 44a for the 1st and 2nd lines and the shift register for the 3rd and 4th lines of the city block distance calculation unit 40, respectively. It is connected to the subsequent stage of 44b. The outputs of the shift registers 64a and 64b are taken out from the last stage and the stage immediately before the last stage, and are output to the A bus 62a and the B bus 62b, respectively.
【００７８】輝度差の計算が始まるとき、前記シフトレ
ジスタ６４ａ，６４ｂの各段には小領域中の各場所の輝
度データが保持されており、初めに前回の小領域の第４
行第１列の輝度データと、今回の小領域の第１行第１列
の輝度データとが、演算器６１のＡレジスタ７１とＢレ
ジスタ７２とにラッチされる。When the calculation of the brightness difference is started, the brightness data of each place in the small area is held in each stage of the shift registers 64a and 64b, and the fourth small area of the previous small area is initially stored.
The brightness data of the first row and the first column and the brightness data of the first row and the first column of the small area this time are latched in the A register 71 and the B register 72 of the arithmetic unit 61.
【００７９】そして、Ａレジスタ７１の内容とＢレジス
タ７２の内容の差の絶対値が計算され、結果がＦレジス
タ７３に保存される。次のクロックでＡレジスタ７１に
しきい値Ｈc がラッチされ、Ｆレジスタ７３の値と比較
される。Then, the absolute value of the difference between the contents of the A register 71 and the contents of the B register 72 is calculated, and the result is stored in the F register 73. At the next clock, the threshold value Hc is latched in the A register 71 and compared with the value in the F register 73.
【００８０】前記演算器６１での比較結果、Ａレジスタ
の内容（しきい値Ｈc ）よりもＦレジスタ７３の内容
（輝度差の絶対値）のほうが大きければ、前記スイッチ
回路６５からずれ量ｘあるいは”０”が出力され、、Ａ
レジスタの内容よりもＦレジスタ７３の内容のほうが小
さければ”０”が出力されて、出力バッファメモリ６６
ａ，６６ｂの該当する小領域の第１行第１列に当たる位
置に書き込まれる。If the content of the F register 73 (absolute value of brightness difference) is larger than the content of the A register (threshold value Hc) as a result of the comparison in the arithmetic unit 61, the shift amount x from the switch circuit 65 or "0" is output, A
If the content of the F register 73 is smaller than the content of the register, "0" is output and the output buffer memory 66
It is written in a position corresponding to the first row, first column of the corresponding small area of a, 66b.
【００８１】前記演算器６１で隣接画素間の輝度差とし
きい値Ｈc との比較が行なわれている間に、シフトレジ
スタ６４ａ，６４ｂは１段シフトする。そして今度は、
前回の小領域の第４行第２列と、今回の小領域の第１行
第２列の輝度データに対して計算を始める。このように
して小領域の第１列、第２列に対し交互に計算を行なっ
た後、第３列、第４列に対して同様に計算を進める。While the arithmetic unit 61 compares the luminance difference between adjacent pixels and the threshold value Hc, the shift registers 64a and 64b shift one stage. And this time,
The calculation is started for the luminance data of the fourth row, second column of the previous small area and the first row, second column of the current small area. In this way, the calculation is alternately performed on the first column and the second column of the small region, and then the calculation is similarly performed on the third column and the fourth column.
【００８２】計算中は、シフトレジスタ６４ａ，６４ｂ
の最終段と最初の段がつながってリングレジスタになっ
ており、小領域全体を計算した後にシフトクロックが２
回追加されるとレジスタの内容が計算前の状態に戻り、
次の小領域の輝度データが転送され終わったときに、最
終段とその前の段に今回の小領域の第４行のデータが留
められる。During the calculation, the shift registers 64a and 64b
The last stage and the first stage of are connected to form a ring register, and after calculating the entire small area, the shift clock becomes 2
Once added, the register contents return to the state before the calculation,
When the luminance data of the next small area has been transferred, the data of the fourth row of the current small area is retained in the final stage and the preceding stage.
【００８３】このように、ずれ量決定のための計算中に
次のデータをＡバス６２ａ，Ｂバス６２ｂに用意した
り、結果の書き込みを行なうため、計算に必要な２クロ
ックのみで一つのデータが処理される。この結果、初め
に行なう最小値ＨMIN 、最大値ＨMAX のチェックを含め
ても、例えば４３クロックで全ての計算が終了する。す
なわち、一つの小領域に対して、シティブロック距離Ｈ
の最小値ＨMIN 、最大値ＨMAX を求めるのに要する時間
は充分に余裕があり、さらに機能を追加することも可能
である。As described above, since the next data is prepared in the A bus 62a and the B bus 62b and the result is written during the calculation for determining the deviation amount, one data can be obtained by only two clocks required for the calculation. Is processed. As a result, even if the check of the minimum value HMIN and the maximum value HMAX performed at the beginning is included, all calculations are completed in, for example, 43 clocks. That is, for one small area, the city block distance H
The time required to obtain the minimum value HMIN and the maximum value HMAX of is sufficiently large, and it is possible to add a function.
【００８４】そして、ずれ量ｘが決定されると、ステッ
プS106で、出力バッファメモリ６６ａ，６６ｂからデュ
アルポートメモリ９０へ、ずれ量ｘを距離分布情報とし
て出力し、ステレオ画像処理装置２０における処理が終
了する。前記出力バッファメモリ６６ａ，６６ｂは、前
述した入力バッファメモリ４１ａ，４１ｂ，４２ａ，４
２ｂと同様、例えば４ライン分の容量があり、２組の一
方に書き込んでいる間にもう一方から前記デュアルポー
トメモリ９０へ距離分布情報を送り出す。When the shift amount x is determined, the shift amount x is output as distance distribution information from the output buffer memories 66a and 66b to the dual port memory 90 in step S106, and the processing in the stereo image processing apparatus 20 is performed. finish. The output buffer memories 66a, 66b are the input buffer memories 41a, 41b, 42a, 4 described above.
Similar to 2b, for example, there is a capacity for 4 lines, and while writing to one of the two sets, the distance distribution information is sent from the other to the dual port memory 90.
【００８５】次に、ステレオ画像処理装置２０のシステ
ム全体のタイミングについて、図１１に示すタイミング
チャートに従って説明する。Next, the timing of the entire system of the stereo image processing apparatus 20 will be described with reference to the timing chart shown in FIG.
【００８６】まず初めに、同期を取っている左右のＣＣ
Ｄカメラ１１ａ，１１ｂからのフィールド信号を０．１
秒毎（３画面に１画面の割合）に、画像メモリ３３ａ，
３３ｂに書き込む。First, the left and right CCs that are synchronized
The field signals from the D cameras 11a and 11b are set to 0.1
Every second (one screen out of three screens), the image memory 33a,
Write to 33b.
【００８７】次に、取り込み終了信号を受けて、４ライ
ン毎のブロック転送が始まる。この転送は、右画像、左
画像、結果の距離分布像の順に３ブロック転送する。Next, in response to the capture end signal, block transfer for every four lines starts. In this transfer, three blocks are transferred in the order of the right image, the left image, and the resulting distance distribution image.
【００８８】この間に、一方の入出力バッファメモリに
対してずれ量ｘの計算が行われる。そして、ずれ量ｘの
計算時間を考慮し、所定時間待機してからもう一方の入
出力バッファメモリに対して転送を始める。During this time, the shift amount x is calculated for one of the input / output buffer memories. Then, in consideration of the calculation time of the shift amount x, the transfer is started to the other input / output buffer memory after waiting for a predetermined time.
【００８９】一つの右画像の４×４画素の小領域に対す
るシティブロック距離Ｈの計算は、左画像について１０
０画素ずらしながら計算するため、１００回行われる。
一つの領域のシティブロック距離Ｈが計算されている間
に、その前の領域のずれ量ｘが各チェックを経て距離分
布として出力される。The calculation of the city block distance H for a small region of 4 × 4 pixels in one right image is 10 for the left image.
The calculation is performed 100 times because the calculation is performed while shifting by 0 pixel.
While the city block distance H of one area is calculated, the deviation amount x of the area before that is output as a distance distribution through each check.
【００９０】処理すべきライン数を２００とすると４ラ
イン分の処理を５０回繰り返すことになり、計算の開始
時に最初のデータを転送するための４ライン分の処理時
間、計算終了後に最後の結果を画像認識部に転送するた
めの４ライン分の処理時間と、計８ライン分の処理時間
がさらに必要となる。When the number of lines to be processed is 200, the process for 4 lines is repeated 50 times, the processing time for 4 lines for transferring the first data at the start of calculation, and the final result after the calculation is completed. Processing time for transferring 4 lines to the image recognition unit and a processing time for 8 lines in total are further required.
【００９１】最初の入力画像ラインの転送を開始してか
ら最後の距離分布を転送し終わるまでの時間は、実際の
回路動作の結果、０．０７６秒である。The time from the start of the transfer of the first input image line to the end of the transfer of the final distance distribution is 0.076 seconds as a result of the actual circuit operation.
【００９２】以上説明したステレオ画像処理装置２０か
ら出力される距離分布情報は、画像のような形態をして
おり（距離画像）、左右２台のＣＣＤカメラ１１ａ，１
１ｂで撮影した画像、例えば図１２に示すような画像
（図１２は片方のカメラで撮像した画像を示す）を前記
ステレオ画像処理装置２０で処理すると、図１３のよう
な画像となる。The distance distribution information output from the stereo image processing device 20 described above is in the form of an image (distance image), and the two left and right CCD cameras 11a, 1 are provided.
When the image captured by 1b, for example, the image as shown in FIG. 12 (FIG. 12 shows the image captured by one camera) is processed by the stereo image processing apparatus 20, an image as shown in FIG. 13 is obtained.
【００９３】図１３に示す画像例では、画像サイズは横
４００画素×縦２００画素であり、距離データを持って
いるのは黒点の部分で、これは図１２の画像の各画素の
うち、左右方向に隣合う画素間で明暗変化が大きい部分
である。画像上の座標系は、図１３に示すように、左上
隅を原点として横方向をｉ座標軸，縦方向をｊ座標軸と
し、単位は画素である。In the image example shown in FIG. 13, the image size is 400 horizontal pixels × 200 vertical pixels, and it is the black dots that have the distance data. This is a part in which the brightness change is large between the pixels adjacent in the direction. As shown in FIG. 13, the coordinate system on the image has pixels in the horizontal direction, the i coordinate axis in the horizontal direction, the j coordinate axis in the vertical direction, and the origin in the upper left corner.
【００９４】この場合、図１２に示す画像は、感度調整
装置１５により、左右のＣＣＤカメラ１１ａ，１１ｂの
感度を調整して撮像した画像であり、この画像を記録し
た画像メモリ３３のデータを処理して得られる図１３の
距離画像は、車外の照度が急激に変化するような状況で
あっても、正確な距離分布を示すものとなる。In this case, the image shown in FIG. 12 is an image taken by adjusting the sensitivities of the left and right CCD cameras 11a and 11b by the sensitivity adjusting device 15, and the data in the image memory 33 in which this image is recorded is processed. The distance image of FIG. 13 obtained in this way shows an accurate distance distribution even in a situation where the illuminance outside the vehicle changes rapidly.
【００９５】そして、この距離画像からは、ＣＣＤカメ
ラ１１の取付け位置と焦点距離などのレンズパラメータ
を用いて各画素に対応する物体のＸＹＺ空間における３
次元位置を算出することができ、情報量の低下なく車外
の対象物までの距離を正確に検出することができる。Then, from this range image, 3 in the XYZ space of the object corresponding to each pixel is used by using the lens position such as the mounting position of the CCD camera 11 and the focal length.
The dimensional position can be calculated, and the distance to the object outside the vehicle can be accurately detected without a decrease in the amount of information.
【００９６】尚、前記ずれ量ｘによる距離分布情報から
ＸＹＺ空間における３次元位置への計算は、ステレオ画
像処理装置２０内で処理しても良く、ステレオ画像処理
装置２０から外部に出力されるデータ形式は、接続する
外部装置との兼ね合いで定めれば良い。The calculation of the three-dimensional position in the XYZ space from the distance distribution information based on the shift amount x may be processed in the stereo image processing device 20, and the data output from the stereo image processing device 20 to the outside may be processed. The format may be determined in consideration of the external device to be connected.
【００９７】[0097]
【発明の効果】以上説明したように本発明によれば、車
輌に搭載した撮像系によって撮像した画像のデジタルデ
ータを、感度オーバーを表わす基準データ及び感度アン
ダーを表わす基準データと画素毎に比較し、その比較結
果を所定領域に渡って計数した計数値により撮像系の感
度を調整するため、外界の照度変化にも高速に対応して
適正な画像を得ることができ、距離検出の精度を向上す
ることができる等優れた効果が得られる。As described above, according to the present invention, the digital data of the image picked up by the image pickup system mounted on the vehicle is compared pixel by pixel with the reference data indicating oversensitivity and the reference data indicating undersensitivity. , The sensitivity of the imaging system is adjusted by the count value obtained by counting the comparison result over a predetermined area, so that an appropriate image can be obtained at high speed even when the illuminance in the external environment changes, and the distance detection accuracy is improved. It is possible to obtain an excellent effect.
【図１】車輌用距離検出装置の回路構成図FIG. 1 is a circuit configuration diagram of a vehicle distance detection device.
【図２】距離検出装置の全体構成図FIG. 2 is an overall configuration diagram of a distance detection device
【図３】車輌の正面図[Fig. 3] Front view of the vehicle
【図４】カメラと被写体との関係を示す説明図FIG. 4 is an explanatory diagram showing a relationship between a camera and a subject.
【図５】シティブロック距離計算回路の説明図FIG. 5 is an explanatory diagram of a city block distance calculation circuit.
【図６】最小値検出回路のブロック図FIG. 6 is a block diagram of a minimum value detection circuit.
【図７】距離検出処理のフローチャートFIG. 7 is a flowchart of distance detection processing.
【図８】シフトレジスタ内の保存順序を示す説明図FIG. 8 is an explanatory diagram showing a storage order in a shift register.
【図９】シティブロック距離計算回路の動作を示すタイ
ミングチャートFIG. 9 is a timing chart showing the operation of the city block distance calculation circuit.
【図１０】ずれ量決定部の動作を示すタイミングチャー
トFIG. 10 is a timing chart showing the operation of the deviation amount determination unit.
【図１１】全体の動作を示すタイミングチャートFIG. 11 is a timing chart showing the overall operation.
【図１２】車載のＣＣＤカメラで撮像した画像の例を示
す説明図FIG. 12 is an explanatory diagram showing an example of an image taken by a vehicle-mounted CCD camera.
【図１３】距離画像の例を示す説明図FIG. 13 is an explanatory diagram showing an example of a range image.
１０ ステレオ光学系（撮像系） １５ 感度調整装置（感度調整手段） １６ コンパレータ（第１の比較器） １７ コンパレータ（第２の比較器） １８ アップダウンカウンタ（計数器） １９ 感度コントローラ ＤOVR 感度オーバーを表わす基準データ ＤUDR 感度アンダーを表わす基準データ 10 stereo optical system (imaging system) 15 sensitivity adjusting device (sensitivity adjusting means) 16 comparator (first comparator) 17 comparator (second comparator) 18 up-down counter (counter) 19 sensitivity controller DOVR Standard data to represent DUDR Standard data to represent undersensitivity
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０６Ｔ 1/00 Ｇ０８Ｇ 1/16 Ｃ 7531−3Ｈ─────────────────────────────────────────────────── ─── Continuation of the front page (51) Int.Cl.6 Identification code Internal reference number FI Technical display location G06T 1/00 G08G 1/16 C 7531-3H
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26923493AJP3452076B2 (en) | 1993-10-27 | 1993-10-27 | Vehicle distance detection device |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26923493AJP3452076B2 (en) | 1993-10-27 | 1993-10-27 | Vehicle distance detection device |
| Publication Number | Publication Date |
|---|---|
| JPH07120257Atrue JPH07120257A (en) | 1995-05-12 |
| JP3452076B2 JP3452076B2 (en) | 2003-09-29 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26923493AExpired - Fee RelatedJP3452076B2 (en) | 1993-10-27 | 1993-10-27 | Vehicle distance detection device |
| Country | Link |
|---|---|
| JP (1) | JP3452076B2 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6470271B2 (en) | 2000-02-28 | 2002-10-22 | Honda Giken Kogyo Kabushiki Kaisha | Obstacle detecting apparatus and method, and storage medium which stores program for implementing the method |
| JP2008502538A (en)* | 2004-06-11 | 2008-01-31 | ストラテック システムズ リミテッド | Railway track scanning system and method |
| JP2011027447A (en)* | 2009-06-30 | 2011-02-10 | Cheng Uei Precision Industry Co Ltd | Optical localizing apparatus and localizing method therefor |
| JP2013167624A (en)* | 2012-01-19 | 2013-08-29 | Ricoh Co Ltd | Imaging device, vehicle system equipped with the same, and image processing method |
| DE19842827B4 (en)* | 1998-09-18 | 2015-08-06 | Volkswagen Ag | Precrashsensierungssystem |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63157556A (en)* | 1986-12-20 | 1988-06-30 | Sanyo Electric Co Ltd | Picture reading device |
| JPH01190078A (en)* | 1988-01-25 | 1989-07-31 | Tokyo Electric Co Ltd | Method for setting reference white level of picture reading device |
| JPH0370363A (en)* | 1989-08-10 | 1991-03-26 | Fujitsu Ltd | Image reading device |
| JPH05114099A (en)* | 1991-10-22 | 1993-05-07 | Fuji Heavy Ind Ltd | Distance detector for vehicle |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63157556A (en)* | 1986-12-20 | 1988-06-30 | Sanyo Electric Co Ltd | Picture reading device |
| JPH01190078A (en)* | 1988-01-25 | 1989-07-31 | Tokyo Electric Co Ltd | Method for setting reference white level of picture reading device |
| JPH0370363A (en)* | 1989-08-10 | 1991-03-26 | Fujitsu Ltd | Image reading device |
| JPH05114099A (en)* | 1991-10-22 | 1993-05-07 | Fuji Heavy Ind Ltd | Distance detector for vehicle |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE19842827B4 (en)* | 1998-09-18 | 2015-08-06 | Volkswagen Ag | Precrashsensierungssystem |
| US6470271B2 (en) | 2000-02-28 | 2002-10-22 | Honda Giken Kogyo Kabushiki Kaisha | Obstacle detecting apparatus and method, and storage medium which stores program for implementing the method |
| JP2008502538A (en)* | 2004-06-11 | 2008-01-31 | ストラテック システムズ リミテッド | Railway track scanning system and method |
| JP2011027447A (en)* | 2009-06-30 | 2011-02-10 | Cheng Uei Precision Industry Co Ltd | Optical localizing apparatus and localizing method therefor |
| JP2013167624A (en)* | 2012-01-19 | 2013-08-29 | Ricoh Co Ltd | Imaging device, vehicle system equipped with the same, and image processing method |
| Publication number | Publication date |
|---|---|
| JP3452076B2 (en) | 2003-09-29 |
| Publication | Publication Date | Title |
|---|---|---|
| JP3468428B2 (en) | Vehicle distance detection device | |
| US5307136A (en) | Distance detection system for vehicles | |
| JP3280001B2 (en) | Stereo image misalignment adjustment device | |
| US6373518B1 (en) | Image correction apparatus for stereo camera | |
| US6381360B1 (en) | Apparatus and method for stereoscopic image processing | |
| US8498479B2 (en) | Image processing device for dividing an image into a plurality of regions | |
| JP2001069402A (en) | Stereo camera adjustment device | |
| JP3287465B2 (en) | Stereo image processing device | |
| JP2001091247A (en) | Inspection method of distance data and its inspection device | |
| JP3348939B2 (en) | Vehicle distance detection device | |
| JP5027710B2 (en) | Vehicle environment recognition device and preceding vehicle tracking control system | |
| US11991459B2 (en) | Image processing device and method of image processing | |
| JPH07120257A (en) | Distance detector for vehicle | |
| JPH09159442A (en) | Vehicle environment recognition device | |
| JPH06273171A (en) | Distance detection device for vehicle | |
| JPH07120255A (en) | Distance detector for vehicle | |
| JPH07120256A (en) | Distance detector for vehicle | |
| JP4539400B2 (en) | Stereo camera correction method and stereo camera correction device | |
| JP4316710B2 (en) | Outside monitoring device | |
| JP2876493B2 (en) | Vehicle dynamics measurement method | |
| JPH07121795A (en) | Outside monitor device for vehicle | |
| JPH06266825A (en) | Image tracking device | |
| JP2000207555A (en) | Vehicle distance detection device | |
| JPH0894352A (en) | Distance measuring device | |
| GB2307612A (en) | Distance measurement |
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20080718 Year of fee payment:5 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20080718 Year of fee payment:5 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20090718 Year of fee payment:6 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20090718 Year of fee payment:6 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20100718 Year of fee payment:7 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20110718 Year of fee payment:8 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20110718 Year of fee payment:8 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20120718 Year of fee payment:9 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20120718 Year of fee payment:9 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20130718 Year of fee payment:10 | |
| LAPS | Cancellation because of no payment of annual fees |