JPH0399952A - Vehicle ambient condition monitor - Google Patents

Abstract

PURPOSE:To correctly recognize the relative position to obstacles around a vehicle by converting the images from cameras installed on the vehicle into other coordinates by perspective conversion, synthesizing the converted images into one image in relation with the image of the vehicle, and display it on a display. CONSTITUTION:Multiple cameras 1-6 are buried on a vehicle 10 to cover the surrounding environment of the vehicle 10 with respective irradiation ranges (visual fields) 1a-6a, e.g., two each on front and rear bumpers and one each on front winkers. Images from cameras 1-N are inputted to an image converting section 7 and converted into other coordinates by perspective conversion then synthesized into one image by an image display section 9. The synthesized image is displayed on a TV monitor 9 installed at a driver's seat. A high-speed processor capable of processing the images of cameras in parallel is stored in the image converting section 7. The image display section 8 concurrently depicts the position of the vehicle 10, and the display position is displaced according to the operation state.

Description

Translated fromJapanese

【発明の詳細な説明】［発明の目的］（産業上の利用分野）この発明はテレビ（ＴＶ）カメラ（本明細書では単にカ
メラと称するが映像を得るものであればカメラの種類は
問わない。）により車両周囲の環境情報として他車の位
置、障害物の状況、センタライン等を運転者に表示する
装置に関する。[Detailed Description of the Invention] [Object of the Invention] (Industrial Application Field) This invention relates to a television (TV) camera (herein referred to simply as a camera, but any type of camera can be used as long as it obtains images). ) relates to a device that displays environmental information around the vehicle, such as the position of other vehicles, the situation of obstacles, and the center line, to the driver.

（従来の技術）従来の車両用モニタとしては、例えば第５図に示すよう
なものがある。これは、車両の後方にカメラ２１を車室
内で後ろ向きに設置しく第５図（ａ　）　）　、得た画
像を映像信号処理部２２で画像左右の変換のため反転し
く第５図（ｂ　）　）　、モニタＴＶ２３に表示し、第
５図（Ｃ）の如きいわゆる後方画像を得てモニタリング
するシステムである。この画像を見て自車がバック可能
かどうかを運転者は知ることができる。(Prior Art) As a conventional vehicle monitor, there is one shown in FIG. 5, for example. This is done by installing the camera 21 at the rear of the vehicle facing backwards inside the vehicle interior (Fig. 5 (a)), and inverting the obtained image in the video signal processing section 22 for horizontal conversion of the image (Fig. 5 (b)). This is a system for monitoring by displaying on the monitor TV 23 and obtaining a so-called rear image as shown in FIG. 5(C). By looking at this image, the driver can know whether or not the vehicle can be backed up.

（発明が解決しようとする課題）しかしながら、このような従来の車両用モニタにあって
は、第５図（Ｃ）のように後方の画像を単に表示する装
置であり、自車と障害物との距離感がつかみづら（、自
車周囲の環境を把握するためには、カメラ１台では不十
分であり、またカメラ台数を増加してモニタ台数を増し
ても、各カメラの相互関係位置を意識しなければ十分な
環境把握がしにくく、このため、適切な運転措置をとる
事ができないという問題点があった。この発明は、自車
と周囲環境との位置関係を十分認識できこれにより適切
な運転措置をとることができる車両用周囲状況モニタを
提供し、もって前記問題点を解決することを目的とする
。(Problems to be Solved by the Invention) However, such conventional vehicle monitors are devices that simply display images of the rear as shown in FIG. It is difficult to get a sense of the distance of the vehicle (one camera is not enough to understand the environment around the vehicle, and even if you increase the number of cameras and monitors, it is difficult to understand the relative position of each camera. There has been a problem in that it is difficult to fully grasp the environment unless one is conscious of it, and therefore it is not possible to take appropriate driving measures. It is an object of the present invention to provide a vehicle surrounding situation monitor that can take appropriate driving measures, thereby solving the above-mentioned problems.

［発明の構成］（課題を解決するための手段）この発明は、かかる目的を達成するため、車両に設置さ
れた１台または複数台のカメラと、該カメラより入力さ
れた画像を透視変換により他の座標に変換する手段と、
該変換画像を自車の画像との関連において１枚の画像に
合成する手段と、該画像を乗員に表示するディスプレイ
とを有するものとした。[Structure of the Invention] (Means for Solving the Problems) In order to achieve the above object, the present invention uses one or more cameras installed in a vehicle and images inputted from the cameras by perspective transformation. means for converting to other coordinates,
The vehicle includes means for composing the converted image into one image in relation to the image of the own vehicle, and a display for displaying the image to the occupant.

（作用）カメラ画像を例えば平面座標上の画像に変換しこの座標
上に自車をその原点にあるように表示する。車両の乗員
はこのディスプレイをみることにより自車の進行方向と
周囲状況との関係が分るので適確な処置をとることがで
きる。(Operation) A camera image is converted into an image on, for example, plane coordinates, and the own vehicle is displayed on these coordinates as if it were at its origin. By looking at this display, vehicle occupants can see the relationship between the direction of travel of their own vehicle and the surrounding situation, allowing them to take appropriate measures.

（実施例）以下、この発明の一実施例を第１図〜第４図に示す図面
に基づいて説明する。(Example) Hereinafter, an example of the present invention will be described based on the drawings shown in FIGS. 1 to 4.

第１図は、この発明のカメラ配置車両の平面図である。FIG. 1 is a plan view of a camera arrangement vehicle of the present invention.

まず構成を説明すると、複数台のカメラ１〜６は夫々、
その映写範囲（視野）ｌａ〜６ａをもって車両の周囲の
環境をできるだけカバーするように設置する。即ち、前
後のバンパに各２個、前方ウィンカに各１個というよう
に埋め込む。或いはリアバンパの代わりにリアコンビラ
ンプに設けてもよい。カメラには、レンズの前にミラー
を置き反射像を入力すれば、カメラが設置し易くなり画
像の造形の自由度が増す。なお、カメラ台数は１台でも
また何台でもよく、又、カメラは路面を重視すべくやや
下を向くように設置する。First, to explain the configuration, each of the multiple cameras 1 to 6 is
It is installed so that the projection range (field of view) la to 6a covers the environment around the vehicle as much as possible. That is, two pieces are embedded in each of the front and rear bumpers, and one piece each is embedded in the front turn signal. Alternatively, it may be provided on the rear combination lamp instead of the rear bumper. If a mirror is placed in front of the lens and the reflected image is input to the camera, the camera will be easier to install and the degree of freedom in shaping the image will increase. Note that the number of cameras may be one or more, and the cameras are installed so as to face slightly downward to focus on the road surface.

第２図は、第１図のカメラ映写画像の処理装置の構成を
示すブロック図で、画像変換部７には、各カメラ１〜Ｎ
からの画像が入力され透視変換により他の座標に変換さ
れ、画像表示部８で１枚の画像に合成される。そして運
転席に設置されたＴＶモニタ９に表示する。画像変換部
７は、カメラ台数Ｎだけの画像が並列処理できる高速プ
ロセッサを内蔵することが望ましい。画像表示部８では
、自車位置を同時にイラストで描画するが、ギア位置、
車速、ウィンカ動作に応じた信号により、自車表示位置
を画面の中心よりずらすなどし、見ようとする車両環境
領域を広くとるようにする。第３図は、これらの画面の
表示結果の例で、いずれも平面（路面）座標で表示しで
ある。第３（ａ）図は後退時（矢印方向）のもので自車
１０が中央上部に固定的に表示され、隣る他車１１が側
面図で表示されである。第３（ｂ）図は、右ウィンカ動
作時のもので、右方へのレーンチェンジ（矢印）を想定
し同方向の後方、他車１１が表示できるようにしである
。FIG. 2 is a block diagram showing the configuration of the camera projection image processing device shown in FIG.
Images are inputted, converted to other coordinates by perspective transformation, and combined into one image on the image display section 8. The information is then displayed on the TV monitor 9 installed in the driver's seat. It is desirable that the image conversion unit 7 includes a high-speed processor that can process images as many as N cameras in parallel. On the image display section 8, the own vehicle position is drawn as an illustration at the same time, but the gear position,
A signal corresponding to vehicle speed and blinker operation is used to shift the display position of the vehicle from the center of the screen to widen the vehicle environment area to be viewed. FIG. 3 shows an example of the display results of these screens, all of which are displayed in plane (road surface) coordinates. FIG. 3(a) shows when the vehicle is in reverse (in the direction of the arrow), with the own vehicle 10 being displayed fixedly at the upper center, and the adjacent other vehicle 11 being displayed in a side view. FIG. 3(b) shows the right blinker operating, assuming a lane change to the right (arrow), so that the other vehicle 11 behind in the same direction can be displayed.

また第３（Ｃ）図は、交差点手前に停車したときの例で
、塀１２があって見通しのきかない交差点で他車１１が
あるため停車しようとする時のものであり、後方の別の
車１１′もいることが表示されているものである。Fig. 3 (C) shows an example of stopping in front of an intersection, where there is a wall 12 and no visibility, and you are trying to stop because there is another car 11. It is displayed that there is also a car 11'.

第４図は、第２図の画像変換部７の処理のフローチャー
トで、これによりその処理を説明する。FIG. 4 is a flowchart of the processing of the image conversion section 7 of FIG. 2, and the processing will be explained using this flowchart.

カメラ１〜Ｎまでの画像を同時に画像変換部７に入力し
、その画像をｌ（ｘ、ｙ）とする。１はカメラの番号を
表わす。次にＮ個の画像の透視変換（座標変換）を並列
に行い、変換後の画像をＢｌ（ｘ、ｙ）とすると、Ｂｉ　　（ｘ、　ｙ）＝ＡＩ　　（ｘ、　ｙ）で表され
る。ここでａｌ　＊　ｂｌ　＊　　ｃ＋　ｌ　　ｄｅ＋
　＋　　ｆ　＋　＋　　ｇｌ＋　　ｈ＋　＋　　ｋｌは
カメラの焦点距離、カメラの設置位置（自車との角度、
路面との角度など）によって決定されるパラメータであ
り、−旦設置すれば、−意に決まるものであるから、予
めこれを求め記憶しておけばよい。透視変換は、カメラ
のスクリーン座標から路面（平面）座標（車両中央を原
点、車両進行左右側をＸ軸、車両進行方向をＹ軸）に変
換するものである。Images from cameras 1 to N are simultaneously input to the image conversion unit 7, and the images are designated as l(x, y). 1 represents the camera number. Next, perspective transformation (coordinate transformation) of N images is performed in parallel, and if the transformed image is Bl (x, y), it is expressed as Bi (x, y)=AI (x, y). Here al * bl * c+ l de+
+ f + + gl + h+ + kl is the focal length of the camera, the installation position of the camera (angle with the own vehicle,
These parameters are determined by the angle with the road surface, etc., and can be determined at will once installed, so it is sufficient to obtain and store them in advance. Perspective transformation is a conversion from camera screen coordinates to road surface (plane) coordinates (the center of the vehicle is the origin, the left and right sides of the vehicle are the X-axis, and the direction of vehicle travel is the Y-axis).

次に画像表示部８において、上記座標に変換された各画
像を構成する。それには、まずウィンカ動作、ギヤ位置
及び車速に応じて自車をどのあたりに表示するかを決め
、その座標を（Ｘｏ、Ｙｏ）とする。次にモニタ画像Ｃ
（Ｘ、Ｙ）をクリアし、（Ｘｏ、Ｙｏ）を中心に自車の
イラストを描画する。次に、カメラ変換画像Ｂｌ　　（
Ｘ、Ｙ）（１−１〜Ｎ＝カメラ数）をＣ（Ｘ、　Ｙ）に
転送する。Next, in the image display section 8, each image converted to the above coordinates is constructed. To do this, first, it is determined where the own vehicle will be displayed according to the turn signal operation, gear position, and vehicle speed, and the coordinates thereof are set as (Xo, Yo). Next, monitor image C
Clear (X, Y) and draw an illustration of your car centered on (Xo, Yo). Next, camera converted image Bl (
Transfer X, Y) (1-1 to N = number of cameras) to C(X, Y).

この際、視野の重なる領域については、その濃度の平均
値をおくようにする。すなわち、次のようにすればよい
。At this time, the average value of the density is set for areas where the visual fields overlap. That is, you can do as follows.

Ｃ（Ｘ、Ｙ）＝Ｂｌ　　（Ｘ−Ｘｏ　、　Ｙ−Ｙｏ　）　＝・”Ｃ（Ｘ
。C(X, Y) = Bl (X-Xo, Y-Yo) =・”C(X
.

Ｙ）−〇のときＣ（Ｘ、　Ｙ）　−−−−−−Ｂ　（Ｘ−Ｘｏ　、　Ｙ
−Ｙｏ　）＝０のとき１／２　（Ｃ（Ｘ、　Ｙ）　＋Ｂｉ　　（Ｘ−Ｘｏ。Y) - When C(X, Y) -------B (X-Xo, Y
-Yo)=0, then 1/2 (C(X, Y) +Bi (X-Xo.

Ｙ−Ｙｏ）ｌ・・・その他のときここに１一１〜Ｎｘ＝１・−Ｍ！　　（表示画像の横方向画素数）Ｙ−１
−Ｍｙ（表示画像の縦方向の画素数）以上により、画像
Ｃ（Ｘ、Ｙ）に各カメラの変換画像と自車イラスト画像
とを一緒に表示できる。Y-Yo)l...Other times here 1-1~N x=1・-M! (Number of pixels in horizontal direction of display image) Y-1
-My (the number of pixels in the vertical direction of the display image) or more, the converted image of each camera and the own vehicle illustration image can be displayed together on the image C (X, Y).

運転者（その他の乗員）は、以上の表示ディスプレイを
みることにより、第３図（ａ）の後退時とか（ｂ）の右
折レーン移動時とか、又は（Ｃ）の見通しのきかない交
差点通過時とかに、以後の挙動を適切に行なうことがで
きるものである。なお、変換座標は路面上の斜め軸を基
準にしても良く、又その座標は路面上に限定されず、例
えば路面上のある高さの平面上でもよいものである。By looking at the above displays, the driver (other passengers) can determine when reversing as shown in Figure 3 (a), when moving to the right turn lane as shown in (b), or when passing through an intersection with no visibility as shown in (C). In other words, it is possible to appropriately perform subsequent actions. Note that the converted coordinates may be based on an oblique axis on the road surface, and the coordinates are not limited to the road surface, but may be on a plane at a certain height above the road surface, for example.

更にギヤ位置やウィンカ動作状況により、ＴＶモニタの
自車の表示位置を中心よりずらして表示することができ
ることにより、見たい環境状況の領域を広く表示できる
。また、高速時は、ＴＶモニタの画像を縮小して表示し
、表示領域を広く表示することにより、さらに効果的な
画像をうろことができる。Furthermore, depending on the gear position and blinker operation status, the display position of the own vehicle on the TV monitor can be shifted from the center, so that a wider area of the desired environmental situation can be displayed. Furthermore, at high speeds, the image on the TV monitor is displayed in a reduced size to display a wider display area, thereby making it possible to view more effective images.

また、カラーＴＶを使用してカラー表示すれば、物体を
認識し易くすることができる。Furthermore, if a color TV is used to display images in color, objects can be easily recognized.

また、夜間、赤外線カメラを使用すれば、照度不七分の
場合でも障害物の認識が容易にできる。Furthermore, by using an infrared camera at night, obstacles can be easily recognized even when the illuminance is uneven.

［発明の効果］以上説明してきたように、この発明によれば、その構成
を、車両に設置された１台または複数台のカメラと、該
カメラより入力された画像を透視変換により他の座標に
変換する手段と、該変換画像を自車の画像との関連にお
いて１枚の画像に合成する手段と、該画像を乗員に表示
するディスプレイとを有する構成としたため、自車の周
囲の障害物、他車、センタライン等と自車との相対関係
位置がよく認識でき、これにより乗員は適確な処置を行
なうことができるという効果が得られる。[Effects of the Invention] As described above, according to the present invention, the configuration is such that one or more cameras installed in a vehicle and an image inputted from the camera are converted to other coordinates by perspective transformation. , means for combining the converted image into a single image in relation to the image of the own vehicle, and a display for displaying the image to the occupants. , other vehicles, the center line, etc. relative to one's own vehicle can be clearly recognized, and this provides the effect that the occupant can take appropriate measures.

【図面の簡単な説明】[Brief explanation of drawings]

第１図は本発明のカメラ配置の一例を示す車両の平面図
、第２図は本発明の装置の構成ブロック図、第３図は、
本発明のＴＶモニタ表示結果の例で（ａ）は後退時、（
ｂ）は右ウィンカ作動時、（Ｃ）は停車時の場合の画像
図、第４図は第２図のブロック図の画像処理のフローチ
ャート図、第５図は従来例の図で、（ａ　）はＴＶカメ
ラ配置図、（ｂ）は処理構成図、（Ｃ）は画像図の一例
である。１．２，３．４，５．６・・・カメラ７・・・画像変換部FIG. 1 is a plan view of a vehicle showing an example of the camera arrangement of the present invention, FIG. 2 is a block diagram of the configuration of the device of the present invention, and FIG.
In the example of the TV monitor display results of the present invention, (a) is when backing up, (
b) is an image when the right turn signal is activated, (C) is an image when the vehicle is stopped, Fig. 4 is a flowchart of image processing of the block diagram in Fig. 2, Fig. 5 is an image of a conventional example, (a) is a TV camera arrangement diagram, (b) is a processing configuration diagram, and (C) is an example of an image diagram. 1.2, 3.4, 5.6...Camera 7...Image conversion section

Claims (1)

Translated fromJapanese

【特許請求の範囲】[Claims]車両に設置された１台または複数台のカメラと、該カメ
ラより入力された画像を透視変換により他の座標に変換
する手段と、該変換画像を自車の画像との関連において
１枚の画像に合成する手段と、該画像を乗員に表示する
ディスプレイとを有することを特徴とする車両用周囲状
況モニタ。One or more cameras installed in a vehicle, means for converting an image input from the camera to other coordinates by perspective transformation, and converting the converted image into one image in relation to an image of the own vehicle. What is claimed is: 1. A surrounding situation monitor for a vehicle, comprising means for compositing images into images, and a display for displaying the image to an occupant.