JP2009149249A - Image display device and image display program, and driving assist system using image display device - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image display device and image display program by which a user can appropriately confirm safety when merging with a road while a vehicle rolls backward, and a driving assist system using the image display device. <P>SOLUTION: An image display device 3 which displays an image around the vehicle when one's own vehicle rolls backward, consists of an image information acquisition means 6 for independently acquiring backward image information GB of a backward image information of the vehicle, rightward image information GR of a rear rightward image information of the vehicle and leftward image information GL of a rear leftward image information of the vehicle, a merging determining means 8 for determining whether or not the vehicle is merging with a traveling area of a vehicle while the vehicle rolls backward, and an image display means 9 for switching between the states where only the backward image information GB is displayed and where at least one of the rightward image information GR and leftward image information GL is displayed on the basis of a determined result by the merging determining means 8. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

Translated fromJapanese

本発明は、自車両が後退する際に自車両周辺の画像を表示する画像表示装置及び画像表示プログラム、並びに画像表示装置を用いた運転支援装置に関する。  The present invention relates to an image display device and an image display program for displaying an image around the host vehicle when the host vehicle moves backward, and a driving support device using the image display device.

近年、移動体としての車両を走行させる運転者が、特に確認しにくい車両の後方をバックカメラを用いて容易に確認できる構成が知られている。この構成は、バックカメラを車両の後方の状況が撮像可能に配設するとともに、撮像した画像データを車内に配設した表示手段に表示させる。例えば、以下の特許文献１に記載されたナビゲーション装置では、バックカメラにより車両の後方を撮像しておき、移動方向認識手段により車両が後退していることが認識された場合に、撮像された車両後方の画像データを表示部に表示させる制御を行うことが記載されている。  2. Description of the Related Art In recent years, a configuration is known in which a driver traveling a vehicle as a moving body can easily check the rear of a vehicle that is particularly difficult to check using a back camera. In this configuration, the rear camera is disposed so that the situation behind the vehicle can be imaged, and the captured image data is displayed on the display means disposed in the vehicle. For example, in the navigation device described in Patent Document 1 below, the vehicle is imaged when the rear of the vehicle is imaged by the back camera and the movement direction recognition means recognizes that the vehicle is moving backward. It is described that control for displaying rear image data on a display unit is performed.

特開２００３−３２３１１３号公報JP 2003-323113 A

安全確認を容易とするため車両の後退時に車両後方の画像データを取得して表示手段に表示させることは勿論有用である。しかし、従来から行われているバックカメラによる撮像では、表示部に表示される画像は車両後方の限られた範囲のみであった。そのため、例えば、道路に面した駐車場に前向きに駐車をした後、後退しながら出庫して道路に合流する場合や、道路を走行中に切り返しを行う際に後退しながら道路に合流する場合等には、車両後方の画像データを表示するだけでは、当該道路上を通常の走行速度で走行している車両や車両の側方から接近してくる歩行者等を適切に確認することができないため、結局、運転者は合流しようとする道路の他の車両の走行状況や歩行者の通行状況等を目視で確認しながらゆっくりと後退する必要があった。  In order to facilitate safety confirmation, it is of course useful to acquire the image data behind the vehicle and display it on the display means when the vehicle moves backward. However, in conventional imaging with a back camera, the image displayed on the display unit is only a limited range behind the vehicle. Therefore, for example, after parking forward in a parking lot facing the road, when leaving the car and rejoining the road, or when joining the road while retreating when turning on the road, etc. Therefore, simply displaying the image data behind the vehicle cannot adequately confirm a vehicle traveling on the road at a normal traveling speed or a pedestrian approaching from the side of the vehicle. Eventually, the driver needed to slowly retreat while visually confirming the traveling conditions of other vehicles on the road to be merged and the traffic conditions of pedestrians.

また、合流しようとする道路の他の車両の走行状況や歩行者の通行状況等を目視で確認するにしても、その確認できる範囲はやはり限られており、いずれにしても、車両を後退させながら道路に合流する際は注意を払うべき項目が非常に多く、運転者には多大な労力がかかっていた。  In addition, even if the traveling conditions of other vehicles on the road to be joined and the traffic conditions of pedestrians are visually confirmed, the range that can be confirmed is still limited. However, there were a lot of items to pay attention to when joining the road, and the driver took a lot of labor.

本発明は、上記課題に鑑みてなされたものであり、車両を後退させながら道路に合流する場合に、ユーザに適切に安全を確認させることのできる画像表示装置及び画像表示プログラム、並びに画像表示装置を用いた運転支援装置を提供すること目的とする。  The present invention has been made in view of the above-described problems, and an image display device, an image display program, and an image display device that allow a user to appropriately confirm safety when joining a road while reversing a vehicle. It is an object of the present invention to provide a driving support device using a vehicle.

この目的を達成するための本発明に係る、自車両が後退する際に自車両周辺の画像を表示する画像表示装置の特徴構成は、自車両の後方の画像情報である後方画像情報、自車両の後部右方の画像情報である右方画像情報、及び、自車両の後部左方の画像情報である左方画像情報、をそれぞれ独立に取得する画像情報取得手段と、自車両が後退しながら車両の走行エリアに合流しようとしているか否かを判定する合流判定手段と、前記合流判定手段による判定結果に基づいて、前記後方画像情報のみを表示する状態と、前記右方画像情報及び前記左方画像情報の少なくとも一方を表示する状態と、を切り替える画像表示手段と、を備える点にある。  In order to achieve this object, according to the present invention, a characteristic configuration of an image display device that displays an image around the host vehicle when the host vehicle is moving backward includes rear image information that is image information behind the host vehicle, and the host vehicle. Image information acquisition means for independently acquiring right-side image information, which is image information on the rear right side, and left-side image information, which is image information on the rear left side of the host vehicle, while the host vehicle is moving backward Junction determining means for determining whether or not to join the traveling area of the vehicle, a state in which only the rear image information is displayed based on a determination result by the merge determining means, the right image information and the left An image display means for switching between a state in which at least one of the image information is displayed and an image display means for switching the image information.

上記の特徴構成によれば、画像情報取得手段が後方画像情報、右方画像情報及び左方画像情報をそれぞれ独立に取得するとともに、合流判定手段により、自車両が後退しながら車両の走行エリアに合流しようとしているか否かを判定する。ここで、本明細書において走行エリアとは、車両や人等の移動体が移動するためのエリアを意味し、一般の道路や駐車場内通行路等の車両の通行エリア、更には歩行者が歩行するための歩行エリアをも含む概念である。そして、合流判定手段による判定結果に基づいて、画像表示手段に表示される画像情報が、後方画像情報のみを含むものと、右方画像情報及び左方画像情報の少なくとも一方を含むものと、の間で切り替えられる。よって、車両の後方だけでなく後部左右方向の画像情報をも画像表示手段に表示することができる。また、自車両が後退しながら車両の走行エリアに合流しようとしているか単に後退しようとしているだけかに応じて、画像表示手段に表示する画像情報を適切に切り替えることができる。したがって、ユーザに適切に安全を確認させることが可能となる。  According to the above characteristic configuration, the image information acquisition unit acquires the rear image information, the right side image information, and the left side image information independently, and the merge determination unit sets the vehicle information in the traveling area of the vehicle while moving backward. Judge whether or not to join. Here, in this specification, the traveling area means an area for moving a moving body such as a vehicle or a person, and a traffic area of a vehicle such as a general road or a traffic path in a parking lot, and further a pedestrian walks. It is a concept that includes a walking area to do. Then, based on the determination result by the merging determination unit, the image information displayed on the image display unit includes only the rear image information and the one including at least one of the right image information and the left image information. Can be switched between. Therefore, not only the rear of the vehicle but also the image information in the rear left and right direction can be displayed on the image display means. In addition, the image information displayed on the image display means can be appropriately switched depending on whether the host vehicle is going to join the traveling area of the vehicle while moving backward or simply going backward. Therefore, it is possible to make the user confirm safety appropriately.

ここで、前記画像表示手段は、前記合流判定手段が自車両が後退しながら車両の走行エリアに合流しようとしていると判定した場合には、前記右方画像情報及び前記左方画像情報を表示し、前記合流判定手段が自車両が後退しながら車両の走行エリアに合流しようとしていないと判定した場合には、前記後方画像情報を表示すると好適である。  Here, the image display means displays the right image information and the left image information when the merge determining means determines that the own vehicle is going to merge into the traveling area of the vehicle while moving backward. When the joining determination means determines that the host vehicle is not going to join the traveling area of the vehicle while moving backward, it is preferable to display the rear image information.

自車両が後退しながら車両の走行エリアに合流する場合には、走行エリアを走行する他の車両や走行エリアに沿って歩行する歩行者の有無を確認する必要性が高い。一方、自車両が後退するものの車両の走行エリアに合流するわけではない場合、例えば、自車両を駐車場に駐車する場合等には、自車両の後方に存在する障害物の有無を確認する必要性が高い。よって、この構成によれば、画像表示手段は、合流判定手段が自車両が後退しながら車両の走行エリアに合流しようとしていると判定した場合には右方画像情報及び左方画像情報を表示し、合流判定手段が自車両が後退しながら車両の走行エリアに合流しようとしていないと判定した場合には後方画像情報を表示する。よって、車両の後退時の状況に合わせてそれぞれ確認すべき方向に応じた画像情報を画像表示手段に表示して、ユーザに適切に安全を確認させることが可能となる。  When the host vehicle retreats and merges with the traveling area of the vehicle, there is a high need to confirm the presence of other vehicles traveling in the traveling area and the presence of pedestrians walking along the traveling area. On the other hand, when the host vehicle moves backward but does not merge with the traveling area of the vehicle, for example, when the host vehicle is parked in a parking lot, it is necessary to check whether there is an obstacle behind the host vehicle. High nature. Therefore, according to this configuration, the image display means displays the right image information and the left image information when the merging determination means determines that the host vehicle is going backward and is about to merge with the traveling area of the vehicle. When the joining determination means determines that the host vehicle is not moving and is not going to join the traveling area of the vehicle, the rear image information is displayed. Therefore, it is possible to display the image information corresponding to the direction to be confirmed according to the situation when the vehicle is moving backward on the image display means, and to allow the user to appropriately confirm the safety.

また、自車両の現在位置を表す自車位置情報を取得する自車位置情報取得手段と、前記自車位置情報に基づいて、自車位置周辺の地図情報を取得する地図情報取得手段と、を備え、前記合流判定手段は、自車両が後退していると判定された場合であって、かつ、自車位置周辺の道路リンクに対して自車位置が近づく方向に移動している場合に、自車両が後退しながら車両の走行エリアに合流しようとしていると判定すると好適である。  In addition, own vehicle position information acquisition means for acquiring own vehicle position information representing the current position of the own vehicle, and map information acquisition means for acquiring map information around the own vehicle position based on the own vehicle position information, The merging determination means is a case where it is determined that the host vehicle is moving backward, and when the host vehicle position is moving in a direction approaching a road link around the host vehicle position, It is preferable to determine that the host vehicle is going to join the traveling area of the vehicle while moving backward.

自車両が合流しようとしている車両の走行エリアが一般の道路である場合には、当該道路に対応する道路リンクの情報が地図情報に含まれている。この構成によれば、自車両が後退していると判定された場合において、この道路リンクの情報と自車位置情報とを利用して、自車両が後退しながら車両の走行エリアに合流しようとしているか否かを判定することができ、上記したような効果を得ることができる。  When the traveling area of the vehicle that the host vehicle is about to join is a general road, the map information includes road link information corresponding to the road. According to this configuration, when it is determined that the host vehicle is moving backward, the road vehicle information and the vehicle position information are used to join the vehicle traveling area while the host vehicle is moving backward. It is possible to determine whether or not there is an effect as described above.

また、自車両が走行中の運転状況を検知する運転状況検知手段を備え、前記合流判定手段は、前記運転状況検知手段により検知される自車両の運転状況に基づいて、自車両が切り返して後退を始める前の状況であると判定した場合に、自車両が後退しながら車両の走行エリアに合流しようとしていると判定すると好適である。  In addition, the vehicle is provided with a driving condition detection unit that detects a driving condition while the host vehicle is traveling, and the merging determination unit is configured to switch back based on the driving condition of the host vehicle detected by the driving condition detection unit. When it is determined that the situation is before starting the vehicle, it is preferable to determine that the host vehicle is going to join the traveling area of the vehicle while moving backward.

車両が道路を走行中に切り返しを行う場合にも、後退しながら車両の走行エリアに合流する場面が生じる。このとき、切り返して後退を始める前の運転状況には一定のパターンがあり、このパターンと自車両の実際の運転状況とを照合することで切り返して後退しようとしていることを判定することができる。よって、この構成によれば、運転状況検知手段により検知される自車両の運転状況に基づいて、自車両が後退しながら車両の走行エリアに合流しようとしているか否かを判定することができ、上記したような効果を得ることができる。  Even when the vehicle turns over while traveling on the road, there is a scene where the vehicle joins the traveling area of the vehicle while moving backward. At this time, there is a certain pattern in the driving situation before turning back and starting to reverse, and it can be determined that the vehicle is turning back and going backward by comparing this pattern with the actual driving situation of the host vehicle. Therefore, according to this configuration, it is possible to determine whether or not the own vehicle is going to join the traveling area of the vehicle while retreating based on the driving situation of the own vehicle detected by the driving situation detecting unit. The effect which was done can be acquired.

また、車両のエンジンが始動してからの経過時間を表す始動経過時間を計測する経過時間計測手段を備え、前記合流判定手段は、前記合流判定手段は、前記経過時間取得手段により取得された始動経過時間が予め設定された所定時間に達する前に自車両が後退していると判定された場合に、自車両が後退しながら車両の走行エリアに合流しようとしていると判定すると好適である。  The apparatus further comprises elapsed time measuring means for measuring an elapsed elapsed time representing an elapsed time since the start of the vehicle engine, wherein the merge determining means is the start acquired by the elapsed time acquiring means. If it is determined that the host vehicle is moving backward before the elapsed time reaches a predetermined time, it is preferable to determine that the host vehicle is going to join the traveling area of the vehicle while moving backward.

車両に乗って移動する際に、エンジンをかけてすぐに後退する場合には、駐車スペースから後退して出る場合と考えられるので、後退しながら車両の走行エリアに合流する場面が生じ得る。よって、この構成によれば、少なくともエンジンの始動後一定の時間が経過するまでの間には、自車両が後退を開始するまでの時間に基づいて、自車両が後退しながら車両の走行エリアに合流しようとしているか否かを判定することができ、上記したような効果を得ることができる。  When moving on a vehicle, if the engine is turned back immediately after starting the engine, it is considered that the vehicle moves backward from the parking space, so that there may be a scene where the vehicle merges into the traveling area of the vehicle while moving backward. Therefore, according to this configuration, at least until a certain time has elapsed after the engine is started, based on the time until the host vehicle starts to move backward, the host vehicle moves back into the traveling area of the vehicle. It can be determined whether or not to join, and the above-described effects can be obtained.

本発明に係る運転支援装置の特徴構成は、上記の各構成を備えた画像表示装置と、道路上を移動する車両又は人を対象障害物とし、前記後方画像情報、前記右方画像情報及び前記左方画像情報に含まれる前記対象障害物の画像認識処理を行う障害物認識手段と、前記障害物認識手段により前記対象障害物の画像認識に成功した場合に警告を発する警告手段と、を備える点にある。  The characteristic configuration of the driving support device according to the present invention is an image display device having each of the above configurations, a vehicle or a person moving on a road as a target obstacle, the rear image information, the right image information, and the Obstacle recognition means for performing image recognition processing of the target obstacle included in the left image information; and warning means for issuing a warning when the obstacle recognition means has succeeded in image recognition of the target obstacle. In the point.

この特徴構成によれば、画像表示装置は、自車両が後退しながら車両の走行エリアに合流しようとしているか否かに応じて、それぞれ適した画像情報を画像表示手段に表示するとともに、警告手段は、取得された画像情報に含まれる道路上を移動する車両又は人を画像認識した場合に警告を発する。よって、ユーザに適切に安全を確認させることが可能となるとともに、安全運転を支援することが可能となる。  According to this characteristic configuration, the image display device displays suitable image information on the image display unit according to whether or not the host vehicle is going to join the traveling area of the vehicle while moving backward, and the warning unit is When a vehicle or a person moving on the road included in the acquired image information is recognized as an image, a warning is issued. Therefore, it is possible to allow the user to appropriately confirm safety and to support safe driving.

また、本発明に係る自車両が後退する際に自車両周辺の画像を表示する画像表示プログラムの特徴構成は、自車両の後方の画像情報である後方画像情報、自車両の後部右方の画像情報である右方画像情報、及び、自車両の後部左方の画像情報である左方画像情報、をそれぞれ独立に取得する画像情報取得ステップと、自車両が後退しながら車両の走行エリアに合流しようとしているか否かを判定する合流判定ステップと、前記合流判定ステップによる判定結果に基づいて、前記後方画像情報のみを表示する状態と、前記右方画像情報及び前記左方画像情報の少なくとも一方を表示する状態と、を切り替える画像表示ステップと、をコンピュータに実行させる点にある。  In addition, the characteristic configuration of the image display program for displaying an image around the host vehicle when the host vehicle according to the present invention moves backward includes rear image information that is image information behind the host vehicle, and an image on the rear right side of the host vehicle. Image information acquisition step for independently acquiring right image information that is information and left image information that is image information on the rear left side of the host vehicle, and the host vehicle joins the vehicle travel area while moving backward Based on a determination result obtained by the merge determination step for determining whether or not to perform the determination, the state in which only the rear image information is displayed, and at least one of the right image information and the left image information are displayed. The image display step for switching between the display state and the display state is performed by the computer.

この特徴構成によれば、画像情報取得ステップにより後方画像情報、右方画像情報及び左方画像情報をそれぞれ独立に取得するとともに、合流判定ステップにより、自車両が後退しながら車両の走行エリアに合流しようとしているか否かを判定する。そしてその判定結果に基づいて、画像表示ステップにおいて、画像情報が、後方画像情報のみを含むものと右方画像情報及び左方画像情報の少なくとも一方を含むものとの間で切り替えられて表示される。よって、車両の後方だけでなく後部左右方向の画像情報をも画像表示手段に表示することができる。また、画像表示手段に表示する画像情報を、自車両が後退しながら車両の走行エリアに合流しようとしているか単に後退しようとしているだけかに応じて、それぞれ適した画像情報を表示することができる。したがって、ユーザに適切に安全を確認させることが可能となる。  According to this feature configuration, the rear image information, the right image information, and the left image information are independently acquired by the image information acquisition step, and the own vehicle is rejoined to the traveling area of the vehicle while retreating by the merge determination step. Determine if you are going to do it. Based on the determination result, in the image display step, the image information is switched and displayed between the information including only the rear image information and the information including at least one of the right image information and the left image information. . Therefore, not only the rear of the vehicle but also the image information in the rear left and right direction can be displayed on the image display means. Also, the image information displayed on the image display means can be displayed as appropriate image information depending on whether the host vehicle is going to join the traveling area of the vehicle while moving backward or simply going backward. Therefore, it is possible to make the user confirm safety appropriately.

〔第一の実施形態〕
次に、本発明の第一の実施形態について図面を参照して説明する。
図１は、本実施形態に係る画像表示装置３を備える運転支援装置２を含むナビゲーション装置１の概略構成を示すブロック図である。ナビゲーション装置１は、自車位置表示、目的地までの進路案内等の通常のナビゲーション機能を発揮する。画像表示装置３は、自車両が後退する際に自車両周辺の画像を表示するものであって、後方画像情報ＧＢ、右方画像情報ＧＲ及び左方画像情報ＧＬをそれぞれ独立に取得する。また、画像表示装置３は、自車両が後退しながら車両の走行エリア４１（図４参照）に合流しようとしているか否かを判定し、その判定結果に基づいて画像表示手段に表示する画像情報Ｇを、後方画像情報ＧＢのみを含むものと右方画像情報ＧＲ及び左方画像情報ＧＬの少なくとも一方を含むものとの間で切り替える。これにより、車両を後退させながら道路に合流する場合に、適切に安全を確認することが可能となる。また、画像情報Ｇに含まれる車両又は人等の障害物を画像認識した場合に、警告を発してユーザに対して注意喚起を行う。これにより、安全運転を支援することが可能となる。[First embodiment]
Next, a first embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram illustrating a schematic configuration of a navigation device 1 including a driving support device 2 including an image display device 3 according to the present embodiment. The navigation device 1 exhibits normal navigation functions such as displaying the position of the vehicle and guiding the route to the destination. The image display device 3 displays an image around the host vehicle when the host vehicle moves backward, and independently acquires the rear image information GB, the right image information GR, and the left image information GL. Further, the image display device 3 determines whether or not the host vehicle is going to join the traveling area 41 (see FIG. 4) of the vehicle while moving backward, and the image information G displayed on the image display means based on the determination result. Are switched between those including only the rear image information GB and those including at least one of the right image information GR and the left image information GL. This makes it possible to appropriately check safety when joining the road while the vehicle is moving backward. Further, when an obstacle such as a vehicle or a person included in the image information G is recognized as an image, a warning is issued to alert the user. This makes it possible to support safe driving.

図１に示すナビゲーション装置１の各機能部、具体的には、自車位置情報取得部４、地図情報取得部５、画像情報取得部６、後退判定部７、合流判定部８、ナビゲーション用演算部１２及び障害物認識部１３は、ＣＰＵ等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウェア又はソフトウェア（プログラム）或いはその両方により実装されて構成されている。そして、これらの各機能部は、互いに情報の受け渡しを行うことができるように構成されている。また、ナビゲーション装置１は、これらの各機能部からの出力に基づいて必要な画像を表示する画像表示部９を備え、地図データベースＤＢは、例えば、ハードディスクドライブ、ＤＶＤ−ＲＯＭを備えたＤＶＤドライブ、ＣＤ−ＲＯＭを備えたＣＤドライブ等のように、情報を記憶可能な記録媒体とその駆動手段とを有する装置をハードウェア構成として備えている。以下、本実施形態に係るナビゲーション装置１の各部の構成について詳細に説明する。  Each function part of the navigation apparatus 1 shown in FIG. 1, specifically, the own vehicle position information acquisition part 4, the mapinformation acquisition part 5, the imageinformation acquisition part 6, thereverse determination part 7, themerge determination part 8, and the calculation for navigation Theunit 12 and theobstacle recognizing unit 13 are implemented by hardware and / or software (program) or both, with a processing unit such as a CPU serving as a core member, and a functional unit for performing various processes on input data. Has been configured. Each of these functional units is configured to exchange information with each other. In addition, the navigation device 1 includes an image display unit 9 that displays necessary images based on outputs from these function units. The map database DB includes, for example, a hard disk drive, a DVD drive including a DVD-ROM, A device having a recording medium capable of storing information and its driving means, such as a CD drive equipped with a CD-ROM, is provided as a hardware configuration. Hereinafter, the configuration of each part of the navigation device 1 according to the present embodiment will be described in detail.

１．地図データベース
地図データベースＤＢは、所定の区画毎に分けられた地図情報Ｍが記憶されたデータベースである。図２は、地図データベースＤＢに記憶されている地図情報Ｍの構成の例を示す図である。この図に示すように、地図情報Ｍは、交差点に対応する多数のノードｎと、各交差点間を結ぶ道路に対応するリンクｋとの接続関係により道路ネットワークを表す道路情報を有している。各ノードｎは、緯度及び経度で表現された地図上の位置（座標）の情報を有している。各リンクｋは、ノードｎを介して接続されており、その属性情報として、道路種別、地域種別、リンク長、道路幅、リンク形状を表現するための形状補間点等の情報を有している。1. Map database The map database DB is a database in which map information M divided into predetermined sections is stored. FIG. 2 is a diagram illustrating an example of the configuration of the map information M stored in the map database DB. As shown in this figure, the map information M has road information representing a road network by connection relations between a large number of nodes n corresponding to intersections and links k corresponding to roads connecting the intersections. Each node n has information on the position (coordinates) on the map expressed by latitude and longitude. Each link k is connected via the node n, and has attribute information such as road type, area type, link length, road width, and shape interpolation point for expressing the link shape. .

２．自車位置情報取得部
自車位置情報取得部４は、自車両の現在位置を示す自車位置情報Ｐを取得する自車位置情報取得手段として機能する。ここでは、自車位置情報取得部４は、ＧＰＳ受信機２１、方位センサ２２、及び距離センサ２３と接続されている。ここで、ＧＰＳ受信機２１は、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号を受信する装置である。このＧＰＳ信号は、通常１秒おきに受信され、自車位置情報取得部４へ出力される。自車位置情報取得部４では、ＧＰＳ受信機２１で受信されたＧＰＳ衛星からの信号を解析し、自車両の現在位置（緯度及び経度）、進行方位、移動速度等の情報を取得することができる。方位センサ２２は、自車両の進行方位又はその進行方位の変化を検出するセンサである。この方位センサ２２は、例えば、ジャイロセンサ、地磁気センサ、ハンドルの回転部に取り付けた光学的な回転センサや回転型の抵抗ボリューム、車輪部に取り付ける角度センサ等により構成される。そして、方位センサ２２は、その検出結果を自車位置情報取得部４へ出力する。距離センサ２３は、自車両の車速や移動距離を検出するセンサである。この距離センサ２３は、例えば、車両のドライブシャフトやホイール等が一定量回転する毎にパルス信号を出力する車速パルスセンサ、自車両の加速度を検知するヨー・Ｇセンサ及び検知された加速度を積分する回路等により構成される。そして、距離センサ２３は、その検出結果としての車速及び移動距離の情報を自車位置情報取得部４へ出力する。2. Own vehicle position information acquisition unit The own vehicle position information acquisition unit 4 functions as own vehicle position information acquisition means for acquiring own vehicle position information P indicating the current position of the own vehicle. Here, the vehicle position information acquisition unit 4 is connected to theGPS receiver 21, thedirection sensor 22, and thedistance sensor 23. Here, theGPS receiver 21 is a device that receives a GPS signal from a GPS (Global Positioning System) satellite. This GPS signal is normally received every second and output to the vehicle position information acquisition unit 4. The own vehicle position information acquisition unit 4 can analyze signals from GPS satellites received by theGPS receiver 21 and acquire information such as the current position (latitude and longitude), traveling direction, and moving speed of the own vehicle. it can. Thedirection sensor 22 is a sensor that detects the traveling direction of the host vehicle or a change in the traveling direction. Theazimuth sensor 22 includes, for example, a gyro sensor, a geomagnetic sensor, an optical rotation sensor attached to the rotating part of the handle, a rotary resistance volume, an angle sensor attached to the wheel part, and the like. Then, theorientation sensor 22 outputs the detection result to the vehicle position information acquisition unit 4. Thedistance sensor 23 is a sensor that detects the vehicle speed and movement distance of the host vehicle. Thisdistance sensor 23 integrates the detected acceleration, for example, a vehicle speed pulse sensor that outputs a pulse signal every time a drive shaft or wheel of the vehicle rotates by a certain amount, a yaw / G sensor that detects the acceleration of the host vehicle, and the like. It is composed of a circuit or the like. Then, thedistance sensor 23 outputs information on the vehicle speed and movement distance as the detection result to the own vehicle position information acquisition unit 4.

そして、自車位置情報取得部４は、これらのＧＰＳ受信機２１、方位センサ２２及び距離センサ２３からの出力に基づいて、公知の方法により自車位置を特定する演算を行い、緯度及び経度で表された自車両の現在位置の情報、及び自車両の進行方位の情報を含む自車位置情報Ｐを取得する。  And the own vehicle position information acquisition part 4 performs the calculation which pinpoints an own vehicle position by a well-known method based on the output from theseGPS receiver 21, thedirection sensor 22, and thedistance sensor 23, and is latitude and longitude. The host vehicle position information P including information on the current position of the host vehicle represented and information on the traveling direction of the host vehicle is acquired.

３．地図情報取得部
地図情報取得部５は、後退判定部７による後退判定の処理に用いるために、自車位置情報Ｐに基づいて、自車位置周辺の地図情報Ｍを地図データベースＤＢから取得する地図情報取得手段として機能する。地図情報取得部５により抽出された地図情報Ｍは、後退判定部７へ出力される。また、地図情報取得部５は、ナビゲーション用演算部１２によるナビゲーション処理に用いるために、ナビゲーション用演算部１２から要求があった領域の地図情報Ｍを地図データベースＤＢから抽出し、ナビゲーション用演算部１２へ出力する。3. Map information acquisition unit The mapinformation acquisition unit 5 acquires map information M around the vehicle position from the map database DB based on the vehicle position information P for use in the reverse determination process by thereverse determination unit 7. It functions as information acquisition means. The map information M extracted by the mapinformation acquisition unit 5 is output to theretreat determination unit 7. Further, the mapinformation acquisition unit 5 extracts the map information M of the area requested by thenavigation calculation unit 12 from the map database DB for use in navigation processing by thenavigation calculation unit 12, and thenavigation calculation unit 12. Output to.

４．画像情報取得部
画像情報取得部６は、自車両の後方の画像情報である後方画像情報ＧＢ、自車両の後部右方の画像情報である右方画像情報ＧＲ、及び、自車両の後部左方の画像情報である左方画像情報ＧＬ、を取得する画像情報取得手段として機能する。ここで、後方画像情報ＧＢ、右方画像情報ＧＲ及び左方画像情報ＧＬは、それぞれ後方撮像装置２４Ｂ、右方撮像装置２４Ｒ及び左方撮像装置２４Ｌを用いて独立に取得される。なお、本明細書における以下の説明において「画像情報Ｇ」とは、特に明記しない限り、後方画像情報ＧＢ、右方画像情報ＧＲ及び左方画像情報ＧＬのうち、不特定のいずれか一つ以上を意味するものとし、同様に「撮像装置２４」とは、特に明記しない限り、後方撮像装置２４Ｂ、右方撮像装置２４Ｒ及び左方撮像装置２４Ｌのうち、不特定のいずれか一つ以上を意味するものとする。4). Image information acquisition unit The imageinformation acquisition unit 6 includes rear image information GB, which is image information behind the host vehicle, right image information GR, which is image information on the rear right side of the host vehicle, and left rear of the host vehicle. It functions as an image information acquisition means for acquiring left image information GL, which is image information. Here, the rear image information GB, the right image information GR, and the left image information GL are acquired independently using therear imaging device 24B, theright imaging device 24R, and theleft imaging device 24L, respectively. In the following description in the present specification, “image information G” means any one or more of the rear image information GB, the right image information GR, and the left image information GL unless otherwise specified. Similarly, “imaging device 24” means any one or more of therear imaging device 24B, theright imaging device 24R, and theleft imaging device 24L unless otherwise specified. It shall be.

撮像装置２４は、撮像素子を備えた車載カメラ等である。後方撮像装置２４Ｂは、少なくとも自車両の後方周辺を撮像可能な位置に設けられる。このような後方撮像装置２４Ｂとしては、例えば図３に示すような、自車両の後方を撮像するバックカメラを用いると好適である。また、右方撮像装置２４Ｒ及び左方撮像装置２４Ｌは、少なくとも自車両の後部右方及び後部左方を撮像可能な位置に設けられる。右方撮像装置２４Ｒ及び左方撮像装置２４Ｌは、後方撮像装置２４Ｂに比べて比較的遠方までの領域を撮像可能となっている。このような右方撮像装置２４Ｒ及び左方撮像装置２４Ｌとしては、例えば図３に示すような、自車両の後部右方及び後部左方を撮像するバックサイドカメラを用いると好適である。
なお、右方撮像装置２４Ｒ及び左方撮像装置２４Ｌは、それぞれ自車両の後部において幅方向に沿って外側向きに配置され、各撮像装置２４の軸方向を基準とする一定角度内の領域を撮像可能となっている。図３（ｂ）にはその一例として軸方向を基準とする±４５度内の領域を撮像可能に構成してある例を示した。また、後方撮像装置２４Ｂは、自車両の後方周辺の比較的自車両に近い領域を幅広く撮像可能である。これらの撮像装置２４により、自車両の後方及び後部左右方向の全領域がほぼ死角なく撮像される。Theimaging device 24 is a vehicle-mounted camera or the like provided with an imaging element. Therear imaging device 24B is provided at a position where at least the rear periphery of the host vehicle can be imaged. As such arear imaging device 24B, it is preferable to use a back camera that images the rear of the host vehicle, for example, as shown in FIG. Further, theright imaging device 24R and theleft imaging device 24L are provided at positions where at least the rear right side and the rear left side of the host vehicle can be imaged. Theright imaging device 24R and theleft imaging device 24L can capture an area farther away than therear imaging device 24B. As such a rightside imaging device 24R and a leftside imaging device 24L, it is preferable to use a backside camera that images the rear right side and the rear left side of the host vehicle as shown in FIG. 3, for example.
Note that theright imaging device 24R and theleft imaging device 24L are respectively arranged outward in the width direction at the rear portion of the host vehicle, and image an area within a certain angle with respect to the axial direction of eachimaging device 24. It is possible. FIG. 3B shows an example in which an area within ± 45 degrees with respect to the axial direction can be imaged as an example. Further, therear imaging device 24B can capture a wide range of areas around the rear of the host vehicle that are relatively close to the host vehicle. With theseimaging devices 24, the entire area in the rear and rear left-right direction of the host vehicle is imaged with almost no blind spots.

画像情報取得部６は、撮像装置２４により撮像したアナログの撮像情報を所定の時間間隔で取り込み、デジタル信号の画像情報Ｇに変換して取得する。この際の画像情報Ｇの取り込みの時間間隔は、例えば、１０〜５０ｍｓ程度とすることができる。これにより、画像情報取得部６は、撮像装置２４により撮像した複数フレームの画像情報Ｇを連続的に取得することができる。ここで取得された画像情報Ｇは、画像表示部９及び障害物認識部１３へ出力される。  The imageinformation acquisition unit 6 takes in analog imaging information imaged by theimaging device 24 at a predetermined time interval, converts it into image information G of a digital signal, and acquires it. The time interval for capturing the image information G at this time can be set to, for example, about 10 to 50 ms. Thereby, the imageinformation acquisition unit 6 can continuously acquire the image information G of a plurality of frames captured by theimaging device 24. The image information G acquired here is output to the image display unit 9 and theobstacle recognition unit 13.

５．後退判定部
後退判定部７は、自車両が後退しているか否かを判定する後退判定手段として機能する。本実施形態において、後退判定部７は、車両のシフトレバーの位置を示すシフト位置に基づいて自車両が後退しているか否かを判定する。具体的には、車両の変速機のシフトレバーにシフト位置検出センサ３１が内蔵されており、このシフト位置検出センサ３１が、シフト位置が「Ｐ（パーキング）」、「Ｎ（ニュートラル）」、「Ｒ（リバース）」、「Ｄ（ドライブ）」、「２（セカンド）」、「Ｌ（ロー）」のいずれの位置となっているかを検出する。そして、シフト位置が「Ｒ（リバース）」の位置となっていることを検出した場合に、後退判定部７はその検出結果を受け取って自車両が後退していると判定する。一方、シフト位置が「Ｒ（リバース）」以外の位置となっている場合には、自車両は後退していないと判定する。後退判定部７による判定結果は合流判定部８及び障害物認識部１３へ出力される。5. Reverse determination unit Thereverse determination unit 7 functions as a reverse determination unit that determines whether or not the host vehicle is moving backward. In the present embodiment, thereverse determination unit 7 determines whether or not the host vehicle is moving backward based on a shift position indicating the position of the shift lever of the vehicle. Specifically, a shiftposition detection sensor 31 is built in the shift lever of the transmission of the vehicle, and the shiftposition detection sensor 31 has a shift position of “P (parking)”, “N (neutral)”, “ It detects which position is “R (reverse)”, “D (drive)”, “2 (second)”, or “L (low)”. When it is detected that the shift position is “R (reverse)”, thereverse determination unit 7 receives the detection result and determines that the host vehicle is moving backward. On the other hand, when the shift position is a position other than “R (reverse)”, it is determined that the host vehicle has not moved backward. The determination result by thereverse determination unit 7 is output to themerge determination unit 8 and theobstacle recognition unit 13.

６．合流判定部
合流判定部８は、自車両が後退していると判定された場合であって、かつ、自車両が後退しながら車両の走行エリア４１に合流しようとしているか否かを判定する合流判定手段として機能する。本実施形態においては、合流判定部８による合流判定は、後退判定部７から自車両が後退しているとの判定結果を受け取った場合に行われる。また、本実施形態において合流判定部８は、自車位置情報取得部４により取得される自車位置情報Ｐ及び地図情報取得部５により取得される自車位置周辺の地図情報Ｍに基づき、リンクｋに対して自車位置が近づく方向に移動している場合に、自車両が後退しながら車両の走行エリア４１に合流しようとしていると判定する。一方、リンクｋに対して自車位置が離れる方向に移動している場合や、リンクｋに対して自車位置が近づきも離れもしていない場合には、自車両が後退しながら車両の走行エリア４１に合流しようとしていないと判定する。6). Join determination unit Thejoin determination unit 8 determines whether or not the host vehicle is moving backward and determines whether or not the host vehicle is going to join the travelingarea 41 of the vehicle while moving backward. Functions as a means. In the present embodiment, the merge determination by themerge determination unit 8 is performed when a determination result indicating that the host vehicle is moving backward is received from thereverse determination unit 7. Further, in the present embodiment, the mergingdetermination unit 8 is based on the own vehicle position information P acquired by the own vehicle position information acquisition unit 4 and the map information M around the own vehicle position acquired by the mapinformation acquisition unit 5. When the vehicle position moves in a direction approaching k, it is determined that the vehicle is going to join thevehicle travel area 41 while moving backward. On the other hand, when the vehicle is moving in a direction away from the link k, or when the vehicle is not moving toward or away from the link k, the vehicle travel area It is determined that it is not going to join 41.

図４は、本実施形態における合流判定を説明するための説明図である。この図においては、自車両が後退しながら車両の走行エリア４１に合流する可能性がある場合の一例として、駐車場内の駐車スペース４２が道路に直接面している場合について説明する。例えば、道路沿いに位置する住宅や賃貸マンション等の駐車スペース４２が道路に直接面している場合が考えられる。このような場合には、駐車スペース４２に自車両を駐車する際に前向きに入庫する場合も多く、出庫の際には後退しながら道路に合流しなければならないことになる。図４（ａ）には出庫の際の自車両の走行軌跡を実際の道路状況に応じて示し、更に図４（ｂ）には、自車位置情報取得部４により取得される自車位置情報Ｐ及び地図情報取得部５により取得される地図情報Ｍに基づき、リンクｋと自車位置との位置関係を図４（ａ）に対応させて示した。なお、図４（ｂ）において○と△の組み合わせで示されている自車位置マーク４３が自車位置を示している。この図から分かるように、自車両が駐車スペース４２から道路に合流する際には、当該道路に対応するリンクｋに対して自車位置マーク４３が近づく方向に移動する。そのため、この場合において合流判定部８は、自車両が後退しながら車両の走行エリア４１に合流しようとしていると判定し、その結果を表示画像選択部１０へ出力する。  FIG. 4 is an explanatory diagram for explaining the merge determination in the present embodiment. In this figure, the case where theparking space 42 in the parking lot directly faces the road will be described as an example of the case where the host vehicle may retreat and join thevehicle travel area 41. For example, a case where aparking space 42 such as a house or a rental apartment located along the road directly faces the road can be considered. In such a case, when the host vehicle is parked in theparking space 42, the vehicle is often stored in the forward direction, and when leaving the vehicle, the vehicle must retreat and join the road. FIG. 4A shows the travel locus of the host vehicle at the time of delivery according to the actual road condition, and FIG. 4B shows the host vehicle position information acquired by the host vehicle position information acquisition unit 4. Based on P and the map information M acquired by the mapinformation acquisition unit 5, the positional relationship between the link k and the vehicle position is shown in FIG. In addition, the ownvehicle position mark 43 shown with the combination of (circle) and (triangle | delta) in FIG.4 (b) has shown the own vehicle position. As can be seen from this figure, when the host vehicle joins the road from theparking space 42, the hostvehicle position mark 43 moves in a direction approaching the link k corresponding to the road. Therefore, in this case, the mergingdetermination unit 8 determines that the own vehicle is going to merge with the travelingarea 41 of the vehicle while moving backward, and outputs the result to the displayimage selection unit 10.

一方、上記の例において、後退しながら入庫して後ろ向きに駐車する場合について考えてみる。この場合、図示はしないが、自車両が道路から駐車スペース４２に入庫する際には、当該道路に対応するリンクｋから自車位置マーク４３が離れる方向に移動することになる。そのため、この場合において合流判定部８は、自車両が後退しながら車両の走行エリア４１に合流しようとしていないと判定し、その結果を表示画像選択部１０へ出力する。  On the other hand, in the above example, let us consider a case where the user enters the vehicle while retreating and parks backward. In this case, although not shown, when the host vehicle enters theparking space 42 from the road, the hostvehicle position mark 43 moves away from the link k corresponding to the road. Therefore, in this case, themerge determination unit 8 determines that the host vehicle is not going to merge with the travelingarea 41 of the vehicle while moving backward, and outputs the result to the displayimage selection unit 10.

７．画像表示部
画像表示部９は、合流判定部８による判定結果に基づいて、後方画像情報ＧＢのみを表示する状態と、右方画像情報ＧＲ及び左方画像情報ＧＬの少なくとも一方を表示する状態と、を切り替える画像表示手段として機能する。画像表示部９は、合流判定部８による判定結果に基づいて、画像表示部９に表示する画像情報Ｇを選択する表示画像選択部１０と、表示画像選択部１０により選択された画像情報Ｇを表示する表示部１１と、を備える。本明細書においては、特に区別して使用しない限り、画像表示部９とは、表示画像選択部１０と表示部１１とを合わせたものを意味するものとする。7). Image display unit The image display unit 9 displays only the rear image information GB based on the determination result by themerge determination unit 8, and displays at least one of the right image information GR and the left image information GL. Function as image display means for switching between. The image display unit 9 selects the displayimage selection unit 10 for selecting the image information G to be displayed on the image display unit 9 based on the determination result by the mergingdetermination unit 8, and the image information G selected by the displayimage selection unit 10. And adisplay unit 11 for displaying. In this specification, unless specifically distinguished, the image display unit 9 means a combination of the displayimage selection unit 10 and thedisplay unit 11.

７−１．表示画像選択部
表示画像選択部１０は、合流判定部８による判定結果に基づいて、画像表示部９に表示する画像情報Ｇを、後方画像情報ＧＢのみを含むものと、右方画像情報ＧＲ及び左方画像情報ＧＬの少なくとも一方を含むものと、から選択する表示画像選択手段として機能する。本実施形態においては、表示画像選択部１０は、合流判定部８が、自車両が後退しながら車両の走行エリア４１に合流しようとしていないと判定した場合には、後方画像情報ＧＢのみを選択する。一方、合流判定部８が、自車両が後退しながら車両の走行エリア４１に合流しようとしていると判定した場合には、右方画像情報ＧＲ及び左方画像情報ＧＬの二つを選択する。表示画像選択部１０により選択された画像情報Ｇは、表示部１１へ出力される。7-1. Display Image Selection Unit The displayimage selection unit 10 includes image information G to be displayed on the image display unit 9 based on the determination result by the mergingdetermination unit 8 including only the rear image information GB, right image information GR, and It functions as a display image selection means for selecting from those including at least one of the left image information GL. In the present embodiment, the displayimage selection unit 10 selects only the rear image information GB when the mergingdetermination unit 8 determines that the host vehicle is not going to join the travelingarea 41 of the vehicle while moving backward. . On the other hand, when the joiningdetermination unit 8 determines that the host vehicle is going to join the travelingarea 41 of the vehicle while retreating, the right image information GR and the left image information GL are selected. The image information G selected by the displayimage selection unit 10 is output to thedisplay unit 11.

７−２．表示部
表示部１１は、表示画像選択部１０により選択された画像情報Ｇを表示する表示手段として機能する。本実施形態においては、表示部１１は、表示画像選択部１０からの出力を受け取り、合流判定部８が、自車両が後退しながら車両の走行エリア４１に合流しようとしていないと判定した場合、例えば、駐車場内で単に後退しながら駐車スペース４２に入庫しようとしている場合等には、図５（ａ）に示すように後方画像情報ＧＢを単独表示する。一方、合流判定部８が、自車両が後退しながら車両の走行エリア４１に合流しようとしていると判定した場合、例えば、図４を参照して説明したような場合等には、図５（ｂ）に示すように右方画像情報ＧＲ及び左方画像情報ＧＬを並べて表示する。なお、図５においては、表示部１１を幅方向に二分割し、右側に右方画像情報ＧＲを、左側に左方画像情報ＧＬを配置して、二つの画像情報Ｇを左右に並べて表示している。7-2. Display Unit Thedisplay unit 11 functions as a display unit that displays the image information G selected by the displayimage selection unit 10. In the present embodiment, when thedisplay unit 11 receives the output from the displayimage selection unit 10 and the mergingdetermination unit 8 determines that the host vehicle is not going to merge with the travelingarea 41 of the vehicle, for example, When the vehicle is going to enter theparking space 42 while simply retreating in the parking lot, the rear image information GB is displayed alone as shown in FIG. On the other hand, when the joiningdetermination unit 8 determines that the host vehicle is going to join the travelingarea 41 of the vehicle while moving backward, for example, as described with reference to FIG. ), The right image information GR and the left image information GL are displayed side by side. In FIG. 5, thedisplay unit 11 is divided into two in the width direction, the right image information GR is arranged on the right side, the left image information GL is arranged on the left side, and the two image information G are displayed side by side. ing.

なお、本実施形態においては、画像表示部９は液晶表示装置等の表示装置とタッチパネル等の入力装置とが一体として構成されている。  In the present embodiment, the image display unit 9 is configured by integrating a display device such as a liquid crystal display device and an input device such as a touch panel.

８．ナビゲーション用演算部
ナビゲーション用演算部１２は、自車位置表示、出発地から目的地までの進路案内、目的地検索等のナビゲーション機能を実行するためにアプリケーションプログラムＡＰに従って動作する演算処理手段である。例えば、ナビゲーション用演算部１２は、地図情報取得部５を介して自車位置情報Ｐに基づいて地図データベースＤＢから自車両周辺の地図情報Ｍを取得し、画像表示部９に地図の画像を表示するとともに、当該地図の画像上に自車位置情報Ｐに基づいて自車位置マーク４３を重ね合わせて表示する処理を行う。また、ナビゲーション用演算部１２は、ユーザから目的地の設定を受け付け、設定された目的地と地図データベースＤＢに記憶された地図情報Ｍとに基づいて、自車位置から目的地までの経路探索を行う。また、ナビゲーション用演算部１２は、画像表示部９及びスピーカ等を有して構成された音声出力装置２５に接続されており、探索された出発地から目的地までの経路と自車位置情報Ｐとに基づいて、画像表示部９及び音声出力装置２５の一方又は双方を用いて、ユーザに対する経路案内を行う。8). Navigation Calculation Unit Thenavigation calculation unit 12 is calculation processing means that operates in accordance with the application program AP in order to execute navigation functions such as display of the vehicle position, route guidance from the departure point to the destination, and destination search. For example, thenavigation calculation unit 12 acquires map information M around the host vehicle from the map database DB based on the host vehicle position information P via the mapinformation acquisition unit 5 and displays a map image on the image display unit 9. At the same time, thevehicle position mark 43 is superimposed on the map image based on the vehicle position information P and displayed. Thenavigation calculation unit 12 receives a destination setting from the user, and searches for a route from the vehicle position to the destination based on the set destination and the map information M stored in the map database DB. Do. Thenavigation calculation unit 12 is connected to anaudio output device 25 having an image display unit 9 and a speaker. The route from the searched departure place to the destination and the vehicle position information P Based on the above, route guidance for the user is performed using one or both of the image display unit 9 and theaudio output device 25.

なお、ナビゲーション用演算部１２は、障害物認識部１３からの出力を受け、その出力内容に応じた運転支援案内を画像表示部９及び音声出力装置２５の一方又は双方に対して出力する。具体的には、障害物認識部１３からの出力が「対象障害物の画像が抽出できた」ものである場合には、ナビゲーション用演算部１２は「車両又は人が近づいているので注意すべき」旨の案内を出力し、一方、障害物認識部１３からの出力が「対象障害物の画像が抽出できなかった」ものである場合には、ナビゲーション用演算部１２は「注意しながらであれば後退しても良い」旨の案内を出力する。したがって、本実施形態においては、ナビゲーション用演算部１２と音声出力装置２５とが一体となって、障害物認識部１３により対象障害物Ｏの画像認識に成功した場合に警告を発する警告手段として機能している。  Thenavigation calculation unit 12 receives the output from theobstacle recognition unit 13 and outputs driving support guidance corresponding to the output content to one or both of the image display unit 9 and theaudio output device 25. Specifically, when the output from theobstacle recognition unit 13 is “the image of the target obstacle has been extracted”, thenavigation calculation unit 12 should be noted that “the vehicle or the person is approaching. On the other hand, when the output from theobstacle recognizing unit 13 is “the image of the target obstacle could not be extracted”, thenavigation calculating unit 12 "You can go back if you want." Therefore, in the present embodiment, thenavigation calculation unit 12 and theaudio output device 25 are integrated to function as a warning unit that issues a warning when theobstacle recognition unit 13 succeeds in image recognition of the target obstacle O. is doing.

９．障害物認識部
障害物認識部１３は、道路上を移動する車両又は人を対象障害物Ｏとし、後方画像情報ＧＢ、右方画像情報ＧＲ及び左方画像情報ＧＬに含まれる対象障害物Ｏの画像認識処理を行う障害物認識手段として機能する。本実施形態において障害物認識部１３は、後退判定部７から、自車両が後退している旨の出力を受けたとき、画像情報取得部６で取得された画像情報Ｇに含まれる障害物（車両、人又は道路上の固定物等）の画像認識処理を開始する。判定地物の画像認識に際しては、画像情報Ｇに対して二値化処理やエッジ検出処理等を行い、当該画像情報Ｇに含まれている障害物の輪郭情報を抽出する。障害物認識部１３は、抽出した障害物の輪郭情報と対象障害物Ｏである車両又は人の形態の特徴量とのパターンマッチングを行うことにより、画像情報Ｇに含まれる対象障害物Ｏの画像を抽出する。車両又は人の形態の特徴量は、予め記憶されている。障害物認識部１３は、取得された画像情報Ｇに対して対象障害物Ｏの画像認識処理を行い、対処障害物の画像を抽出できたか否かについての結果を、ナビゲーション用演算部１２に出力する。9. Obstacle recognizing unit Theobstacle recognizing unit 13 sets a vehicle or a person moving on the road as a target obstacle O, and sets the target obstacle O included in the rear image information GB, the right image information GR, and the left image information GL. It functions as an obstacle recognition unit that performs image recognition processing. In the present embodiment, theobstacle recognition unit 13 receives an output from thereverse determination unit 7 indicating that the host vehicle is moving backward, and the obstacle included in the image information G acquired by the image information acquisition unit 6 ( Image recognition processing of a vehicle, a person, or a fixed object on a road) is started. When recognizing the image of the determined feature, binarization processing, edge detection processing, or the like is performed on the image information G, and the contour information of the obstacle included in the image information G is extracted. Theobstacle recognition unit 13 performs pattern matching between the extracted contour information of the obstacle and the feature quantity of the vehicle or person that is the target obstacle O, so that the image of the target obstacle O included in the image information G is obtained. To extract. The feature amount of the form of the vehicle or person is stored in advance. Theobstacle recognition unit 13 performs an image recognition process of the target obstacle O on the acquired image information G, and outputs a result as to whether or not an image of the handling obstacle has been extracted to thenavigation calculation unit 12. To do.

１０．運転支援処理の手順
次に、本実施形態に係るナビゲーション装置１に含まれる、画像表示装置３を備えた運転支援装置２において実行される運転支援処理の手順について説明する。図６は、本実施形態に係る画像表示処理を含む運転支援処理の手順を示すフローチャートである。以下に説明する運転支援処理の手順は、上記の運転支援装置２の各機能部を構成するハードウェア又はソフトウェア（プログラム）或いはその両方の組み合せにより実行される。運転支援装置２の各機能部がプログラムにより構成される場合には、運転支援装置２が有する演算処理装置は、上記の各機能部を構成する画像表示プログラム及びこれを含む運転支援プログラムを実行するコンピュータとして動作する。10. Next, the procedure of the driving support process executed in the driving support device 2 including the image display device 3 included in the navigation device 1 according to the present embodiment will be described. FIG. 6 is a flowchart illustrating a procedure of driving support processing including image display processing according to the present embodiment. The procedure of the driving support process described below is executed by hardware or software (program) constituting each functional unit of the driving support device 2 or a combination of both. When each functional unit of the driving support device 2 is configured by a program, the arithmetic processing device included in the driving support device 2 executes the image display program configuring each of the above functional units and the driving support program including the image display program. Operates as a computer.

まず、自車位置情報取得部４は、自車位置情報Ｐを取得する（ステップ＃０１）。次に地図情報取得部５は、自車位置情報Ｐに基づいて自車位置周辺の地図情報Ｍを取得する（ステップ＃０２）。このとき地図情報Ｍに含まれるリンクｋの情報が取得される。次にシフト位置検出センサ３１は、シフトレバーが後退を示す位置にあるか否かを判定する（ステップ＃０３）。シフトレバーが後退を示す位置にあると判定されたとき（ステップ＃０３：Ｙｅｓ）、後退判定部７は自車両が後退していると判定して、画像情報Ｇを取得する（ステップ＃０４）。一方、シフトレバーが後退を示す位置にあると判定されなかった場合には（ステップ＃０３：Ｎｏ）処理は終了する。次に合流判定部８は、自車位置情報Ｐ及び自車位置周辺の地図情報Ｍに基づき、リンクｋに対して自車位置が近づく方向に移動しているか否かを判定する（ステップ＃０５）。リンクｋに対して自車位置が近づく方向に移動していると判定されたとき（ステップ＃０５：Ｙｅｓ）、画像表示部９は右方画像情報ＧＲ及び左方画像情報ＧＬを並べて表示する（ステップ＃０６）。一方、リンクｋに対して自車位置が近づく方向に移動していないと判定されたとき（ステップ＃０５：Ｎｏ）、画像表示部９は後方画像情報ＧＢを表示する（ステップ＃０７）。
このような画像表示処理によれば、自車両が後退しながら車両の走行エリア４１に合流しようとしているか否かに応じて、それぞれ適した画像情報Ｇを表示することができる。すなわち、自車両が後退しながら車両の走行エリア４１に合流しようとしている場合には、接近中の車両や歩行者がいないかどうかを確認するべく走行エリア４１に沿った左右方向の画像情報Ｇを表示し、自車両が後退しながら車両の走行エリア４１に合流しようとしているわけではない場合には、自車両の後方に他の車両や固定物等がないかどうかを確認するべく比較的自車両に近く幅広い領域の後方画像情報ＧＢを表示することができる。したがって、ユーザに適切に安全を確認させることが可能となる。First, the vehicle position information acquisition unit 4 acquires the vehicle position information P (step # 01). Next, the mapinformation acquisition unit 5 acquires map information M around the vehicle position based on the vehicle position information P (step # 02). At this time, information on the link k included in the map information M is acquired. Next, the shiftposition detection sensor 31 determines whether or not the shift lever is in a position indicating the backward movement (step # 03). When it is determined that the shift lever is in a position indicating reverse (step # 03: Yes), thereverse determination unit 7 determines that the host vehicle is moving backward and acquires image information G (step # 04). . On the other hand, if it is not determined that the shift lever is in the position indicating reverse (step # 03: No), the process ends. Next, the mergingdetermination unit 8 determines whether or not the vehicle position is moving in a direction approaching the link k based on the vehicle position information P and the map information M around the vehicle position (step # 05). ). When it is determined that the vehicle position is moving in the direction approaching the link k (Step # 05: Yes), the image display unit 9 displays the right image information GR and the left image information GL side by side ( Step # 06). On the other hand, when it is determined that the vehicle position does not move in the direction approaching the link k (step # 05: No), the image display unit 9 displays the rear image information GB (step # 07).
According to such image display processing, it is possible to display suitable image information G depending on whether or not the host vehicle is going to join the travelingarea 41 of the vehicle while moving backward. That is, when the host vehicle is going to join the travelingarea 41 of the vehicle while retreating, the image information G in the left-right direction along the travelingarea 41 is checked in order to confirm whether there is any approaching vehicle or pedestrian. If the vehicle is not going to join thevehicle travel area 41 while the host vehicle is moving backward, it is relatively easier to check whether there is another vehicle or a fixed object behind the host vehicle. It is possible to display the rear image information GB in a wide area close to. Therefore, it is possible to make the user confirm safety appropriately.

次に、障害物認識部１３は、道路上を移動する車両又は人を対象障害物Ｏとして、画像情報Ｇに含まれる対象障害物Ｏの画像認識処理を行う（ステップ＃０８）。障害物認識部１３は、画像情報Ｇに含まれている障害物から抽出した輪郭情報と対象障害物Ｏである車両又は人の形態の特徴量とのパターンマッチングを行うことにより、画像情報Ｇに対象障害物Ｏの画像が含まれるか否かを判断する（ステップ＃０９）。画像情報Ｇに対象障害物Ｏの画像が含まれると判定された場合には（ステップ＃０９：Ｙｅｓ）、ナビゲーション用演算部１２は、画像表示部９及び音声出力装置２５の一方又は双方を介してユーザに対して注意喚起等の警告を行う（ステップ＃１０）。一方、画像情報Ｇに対象障害物Ｏの画像が含まれないと判定された場合には（ステップ＃０９：Ｎｏ）、ナビゲーション用演算部１２は、ユーザに対して注意しながら後退するように案内する（ステップ＃１１）。次にシフト位置検出センサ３１は、シフトレバーが後退を示す位置にあるか否かを判定する（ステップ＃１２）。シフトレバーが後退を示す位置にあると判定されたとき（ステップ＃１２：Ｙｅｓ）、再度ステップ＃０５〜＃１１の処理を繰り返す。一方、シフトレバーが後退以外を示す位置にあると判定された場合には（ステップ＃１２：Ｎｏ）処理は終了する。
このような運転支援処理によれば、取得された画像情報Ｇに含まれる道路上を移動する車両又は人の画像認識に成功した場合には警告を発し、それ以外の場合には注意しながら後退するように案内する。よって、ユーザの安全運転を支援することが可能となる。Next, theobstacle recognition unit 13 performs image recognition processing of the target obstacle O included in the image information G with the vehicle or person moving on the road as the target obstacle O (step # 08). Theobstacle recognizing unit 13 performs pattern matching between the contour information extracted from the obstacle included in the image information G and the feature quantity of the form of the vehicle or person that is the target obstacle O, so that the image information G It is determined whether or not an image of the target obstacle O is included (step # 09). When it is determined that the image of the target obstacle O is included in the image information G (step # 09: Yes), thenavigation calculation unit 12 passes through one or both of the image display unit 9 and theaudio output device 25. To warn the user and the like (step # 10). On the other hand, when it is determined that the image of the target obstacle O is not included in the image information G (step # 09: No), thenavigation calculation unit 12 guides the user to move backward while paying attention to the user. (Step # 11). Next, the shiftposition detection sensor 31 determines whether or not the shift lever is in a position indicating the backward movement (step # 12). When it is determined that the shift lever is in the position indicating reverse (step # 12: Yes), the processes of steps # 05 to # 11 are repeated again. On the other hand, if it is determined that the shift lever is in a position other than reverse (step # 12: No), the process ends.
According to such a driving support process, a warning is issued when image recognition of a vehicle or a person moving on a road included in the acquired image information G is successful, and the vehicle retreats with caution in other cases. Guide you to do. Therefore, it is possible to support the user's safe driving.

〔第二の実施形態〕
次に、本発明の第二の実施形態について説明する。
図７は、本実施形態に係る画像表示装置３を備える運転支援装置２を含むナビゲーション装置１の概略構成を示すブロック図である。基本的には第一の実施形態の場合とほぼ同様であるが、運転状況検知部１４を備える点、合流判定部８が合流判定を行うための判断基準及び画像表示部９に表示される画像情報Ｇが第一の実施形態と相違している。以下では、本実施形態に係るナビゲーション装置１について、第一の実施形態との相違点を中心に説明する。[Second Embodiment]
Next, a second embodiment of the present invention will be described.
FIG. 7 is a block diagram illustrating a schematic configuration of the navigation device 1 including the driving support device 2 including the image display device 3 according to the present embodiment. Basically, it is almost the same as in the case of the first embodiment, except that the drivingcondition detection unit 14 is provided, the determination standard for themerge determination unit 8 to perform the merge determination, and the image displayed on the image display unit 9. Information G is different from that of the first embodiment. Below, the navigation apparatus 1 which concerns on this embodiment is demonstrated centering around difference with 1st embodiment.

１１．運転状況検知部
運転状況検知部１４は、自車両が走行中の運転状況を検知する運転状況検知手段として機能する。運転状況検知部１４には、車速センサ３２、操舵角センサ３３、シフト位置検出センサ３１、アクセルセンサ３４、ブレーキセンサ３５などのセンサが接続されている。車速センサ３２は、車両の車輪に取り付けられたアクティブ車輪速センサからなり、車輪の回転速度を検出して速度信号として出力する。操舵角センサ３３は、ステアリング装置の内部に取り付けられており、ステアリングホイールを転舵した場合の舵角を検出して操舵角信号として出力する。シフト位置検出センサ３１は、シフトレバーに内蔵され、シフト位置が「Ｐ（パーキング）」、「Ｎ（ニュートラル）」、「Ｒ（リバース）」、「Ｄ（ドライブ）」、「２（セカンド）」、「Ｌ（ロー）」のいずれの位置となっているかを検出する。アクセルセンサ３４は運転者のアクセル操作量を検出し、ブレーキセンサ３５は運転者のブレーキ操作量を検出する。運転状況検知部１４は、これらのセンサ群からの信号入力に基づいて、車両の運転状況、例えば、通常走行状況や後進走行状況、その他にも切り返しを行う前の切返前走行状況等も判定することができる。運転状況検知部１４により検知された車両の運転状況は、合流判定部８及び表示画像選択部１０へ出力される。11. Driving situation detection unit The drivingsituation detection unit 14 functions as a driving situation detection unit that detects a driving situation while the host vehicle is traveling. Sensors such as avehicle speed sensor 32, asteering angle sensor 33, a shiftposition detection sensor 31, anaccelerator sensor 34, and abrake sensor 35 are connected to the drivingcondition detection unit 14. Thevehicle speed sensor 32 includes an active wheel speed sensor attached to a wheel of the vehicle, and detects the rotation speed of the wheel and outputs it as a speed signal. Thesteering angle sensor 33 is attached to the inside of the steering device, detects the steering angle when the steering wheel is steered, and outputs it as a steering angle signal. The shiftposition detection sensor 31 is built in the shift lever, and the shift position is “P (parking)”, “N (neutral)”, “R (reverse)”, “D (drive)”, “2 (second)”. , “L (low)” is detected. Theaccelerator sensor 34 detects the driver's accelerator operation amount, and thebrake sensor 35 detects the driver's brake operation amount. Based on the signal input from these sensor groups, the drivingstatus detection unit 14 also determines the driving status of the vehicle, for example, the normal driving status, the reverse driving status, and the driving status before switching before switching. can do. The driving state of the vehicle detected by the drivingstate detection unit 14 is output to the mergingdetermination unit 8 and the displayimage selection unit 10.

なお、運転状況検知部１４は、車速センサ３２からのセンサ出力に基づいて、自車両が後退しているか否かを判定することもできる。具体的には、車速センサ３２から出力される電気信号に対応する車輪の回転速度が負の値をとる場合に自車両が後退していると判定し、一方、車輪の回転速度が正の値をとる場合には、自車両は後退していないと判定する。したがって、運転状況検知部１４は、自車両が後退しているか否かを判定する後退判定手段としても機能し、自車両の運転状況の検知と同時に後退判定を行うことが可能となっている。  The drivingcondition detection unit 14 can also determine whether the host vehicle is moving backward based on the sensor output from thevehicle speed sensor 32. Specifically, when the rotational speed of the wheel corresponding to the electrical signal output from thevehicle speed sensor 32 takes a negative value, it is determined that the host vehicle is moving backward, while the rotational speed of the wheel is a positive value. If the vehicle is taken, it is determined that the host vehicle is not moving backward. Therefore, the drivingcondition detection unit 14 also functions as a reverse determination unit that determines whether or not the host vehicle is moving backward, and can perform the reverse determination simultaneously with the detection of the driving condition of the host vehicle.

１２．合流判定部
合流判定部８は、自車両が後退しながら車両の走行エリア４１に合流しようとしているか否かを判定する合流判定手段として機能する。本実施形態においては、合流判定部８は、運転状況検知部１４により検知される自車両の運転状況に基づいて、自車両が切り返して後退を始める前の状況であると判定した場合に、自車両が後退しながら車両の走行エリア４１に合流しようとしていると判定する。一方、自車両が切り返して後退を始める前の状況ではないと判定された場合には、自車両が後退しながら車両の走行エリア４１に合流しようとしていないと判定する。このように、本実施形態においては、後退判定と合流判定とが同時に実行される。12 Junction Determining Unit Theconfluence determining unit 8 functions as a merging determining unit that determines whether or not the host vehicle is going to merge into the travelingarea 41 of the vehicle while moving backward. In the present embodiment, the mergingdetermination unit 8 determines that it is a situation before the own vehicle turns back and starts to reverse based on the driving situation of the own vehicle detected by the drivingsituation detection unit 14. It is determined that the vehicle is going to join the travelingarea 41 of the vehicle while moving backward. On the other hand, when it is determined that the situation is not the state before the own vehicle turns back and starts to reverse, it is determined that the own vehicle is not going to join the travelingarea 41 of the vehicle while moving backward. Thus, in the present embodiment, the reverse determination and the merge determination are executed simultaneously.

図８は、本実施形態における合流判定を説明するための説明図である。図８では、自車両が後退しながら車両の走行エリア４１に合流する可能性がある場合の一例として、車両が道路を走行中に切り返しを行う場合について説明する。この図には切り返しを行う際の自車両の走行軌跡を実際の道路状況に応じて示している。このときの、ユーザによる車両の操作状況としては、まず状態（Ａ）ではシフト位置を「Ｄ（ドライブ）」としてアクセルを踏み、通常の走行をしている。その後、ユーザが切り返しを行う場合、切返地点に向けて減速するため状態（Ａ）から状態（Ｂ）までの間、アクセルを放して徐々にブレーキを踏み込む。状態（Ｂ）の時点では十分に減速されており、ここから状態（Ｃ）までの間、ステアリング装置を操作して道路脇の空きスペースへ向けて車両の進行方向を変更するとともに、更にブレーキを踏み込んで状態（Ｃ）において完全に停止させる。その後、シフトレバーのシフト位置を「Ｄ（ドライブ）」から「Ｒ（リバース）」に切り替える。ここから状態（Ｄ）にかけて、ステアリング装置を適切に操作して車両が所望の方向を向くように操作して停止する。最後に、シフトレバーのシフト位置を「Ｒ（リバース）」から「Ｄ（ドライブ）」に切り替え、アクセルを踏み込んで発進する。運転状況検知部１４は、このユーザの操作状況に対応した車両の運転状況を検知する。  FIG. 8 is an explanatory diagram for explaining the merge determination in the present embodiment. In FIG. 8, as an example of a case where the host vehicle may join the travelingarea 41 of the vehicle while moving backward, a case where the vehicle turns over while traveling on a road will be described. In this figure, the traveling trajectory of the host vehicle at the time of switching is shown according to the actual road condition. At this time, the operation state of the vehicle by the user is as follows. First, in the state (A), the shift position is set to “D (drive)” and the accelerator is depressed to perform normal traveling. Thereafter, when the user turns back, the vehicle is decelerated toward the turning point, so that the accelerator is released and the brake is gradually depressed during the period from state (A) to state (B). At the time of the state (B), the vehicle is sufficiently decelerated. From here to the state (C), the steering device is operated to change the traveling direction of the vehicle toward an empty space beside the road, and the brake is further applied. Depress and stop completely in state (C). Thereafter, the shift position of the shift lever is switched from “D (drive)” to “R (reverse)”. From here to the state (D), the steering device is appropriately operated so that the vehicle is directed in a desired direction and stopped. Finally, the shift position of the shift lever is switched from “R (reverse)” to “D (drive)”, and the accelerator is depressed to start. The drivingstate detection unit 14 detects the driving state of the vehicle corresponding to the operation state of the user.

合流判定部８は、運転状況検知部１４により検知された車両の運転状況に基づいて、自車両が切り返して後退を始める前の状況であるか否かを判定する。なお、上記の説明における、状態（Ｃ）においてシフトレバーのシフト位置を「Ｄ（ドライブ）」から「Ｒ（リバース）」に切り替えるまでの一連の動作に対応した運転状況が、ここでいう切返前走行状況となる。合流判定部８は、運転状況検知部１４により検知される自車両の運転状況が、切返前走行状況であると判定した場合には自車両が後退しながら車両の走行エリア４１に合流しようとしていると判定し、その結果を表示画像選択部１０へ出力する。  Based on the driving situation of the vehicle detected by the drivingsituation detector 14, the mergingdetermination part 8 determines whether or not the current situation is the situation before the host vehicle turns back and starts to reverse. In the above description, the driving situation corresponding to a series of operations until the shift position of the shift lever is switched from “D (drive)” to “R (reverse)” in the state (C) is referred to as the switching here. It becomes the previous running situation. When determining that the driving condition of the host vehicle detected by the drivingcondition detecting unit 14 is the driving condition before switching, themerging determining unit 8 tries to merge with the travelingarea 41 of the vehicle while the host vehicle is moving backward. And the result is output to the displayimage selection unit 10.

１３．画像表示部
画像表示部９は、合流判定部８による判定結果に基づいて、後方画像情報ＧＢのみを表示する状態と、右方画像情報ＧＲ及び左方画像情報ＧＬの少なくとも一方を表示する状態と、を切り替える画像表示手段として機能する。画像表示部９は、合流判定部８による判定結果に基づいて、画像表示部９に表示する画像情報Ｇを選択する表示画像選択部１０と、表示画像選択部１０により選択された画像情報Ｇを表示する表示部１１と、を備える。13. Image display unit The image display unit 9 displays only the rear image information GB based on the determination result by themerge determination unit 8, and displays at least one of the right image information GR and the left image information GL. Function as image display means for switching between. The image display unit 9 selects the displayimage selection unit 10 for selecting the image information G to be displayed on the image display unit 9 based on the determination result by the mergingdetermination unit 8, and the image information G selected by the displayimage selection unit 10. And adisplay unit 11 for displaying.

１３−１．表示画像選択部
表示画像選択部１０は、合流判定部８による判定結果に基づいて、画像表示部９に表示する画像情報Ｇを、後方画像情報ＧＢのみを含むものと、右方画像情報ＧＲ及び左方画像情報ＧＬの少なくとも一方を含むものと、から選択する表示画像選択手段として機能する。本実施形態においては、表示画像選択部１０は、合流判定部８が、自車両が後退しながら車両の走行エリア４１に合流しようとしていないと判定した場合には、後方画像情報ＧＢのみを選択する。一方、合流判定部８が、自車両が後退しながら車両の走行エリア４１に合流しようとしていると判定した場合には、右方画像情報ＧＲ、左方画像情報ＧＬ、後方画像情報ＧＢの三つ全てを選択する。表示画像選択部１０により選択された画像情報Ｇは、表示部１１へ出力される。13-1. Display Image Selection Unit The displayimage selection unit 10 includes image information G to be displayed on the image display unit 9 based on the determination result by the mergingdetermination unit 8 including only the rear image information GB, right image information GR, and It functions as a display image selection means for selecting from those including at least one of the left image information GL. In the present embodiment, the displayimage selection unit 10 selects only the rear image information GB when the mergingdetermination unit 8 determines that the host vehicle is not going to join the travelingarea 41 of the vehicle while moving backward. . On the other hand, when the joiningdetermination unit 8 determines that the host vehicle is going to join the travelingarea 41 of the vehicle while moving backward, the right image information GR, the left image information GL, and the rear image information GB are used. Select all. The image information G selected by the displayimage selection unit 10 is output to thedisplay unit 11.

１３−２．表示部
表示部１１は、表示画像選択部１０により選択された画像情報Ｇを表示する表示手段として機能する。本実施形態においては、表示部１１は、表示画像選択部１０からの出力を受け取り、合流判定部８が、自車両が後退しながら車両の走行エリア４１に合流しようとしていないと判定した場合には、図９（ａ）に示すように後方画像情報ＧＢを単独表示する。一方、合流判定部８が、自車両が後退しながら車両の走行エリア４１に合流しようとしていると判定した場合には、図９（ｂ）に示すように後方画像情報ＧＢ、右方画像情報ＧＲ、左方画像情報ＧＬの全てを表示する。このようにすれば、常にユーザに車両の後方の安全を確認させることを可能としつつ、状況に応じて車両の後部左右方向の安全を確認させることも可能となる。
なお、図９（ｂ）の例では、表示部１１をまず上下に二分割して下側に後方画像情報ＧＢを表示し、上側を更に左右に二分割して右側に右方画像情報ＧＲを、左側に左方画像情報ＧＬを表示している。しかし、これらの画像情報Ｇの配置についてはこの限りではなく、例えば、表示部１１を幅方向を三等分して三つの画像情報Ｇを順に並べて表示しても良い。その場合、配列の順序についても任意の順序とすることができる。13-2. Display Unit Thedisplay unit 11 functions as a display unit that displays the image information G selected by the displayimage selection unit 10. In this embodiment, when thedisplay unit 11 receives the output from the displayimage selection unit 10 and the mergingdetermination unit 8 determines that the host vehicle is moving backward and does not attempt to merge with the travelingarea 41 of the vehicle. The rear image information GB is displayed alone as shown in FIG. On the other hand, when the joiningdetermination unit 8 determines that the host vehicle is going to join the travelingarea 41 of the vehicle while moving backward, the rear image information GB and the right image information GR are shown in FIG. 9B. All the left image information GL is displayed. In this way, it is possible to make the user always check the safety of the rear of the vehicle and to check the safety of the rear left and right direction of the vehicle according to the situation.
In the example of FIG. 9B, thedisplay unit 11 is first divided into upper and lower parts, the rear image information GB is displayed on the lower side, the upper part is further divided into two parts on the right and left, and the right image information GR is displayed on the right side. The left image information GL is displayed on the left side. However, the arrangement of the image information G is not limited to this, and for example, thedisplay unit 11 may be displayed by arranging the three pieces of image information G in order by dividing the width direction into three equal parts. In that case, the order of the arrangement may be an arbitrary order.

１４．運転支援処理の手順
次に、本実施形態に係るナビゲーション装置１に含まれる、画像表示装置３を備えた運転支援装置２において実行される運転支援処理の手順について説明する。図１０は、本実施形態に係る画像表示処理を含む運転支援処理の手順を示すフローチャートである。以下に説明する運転支援処理の手順は、上記の運転支援装置２の各機能部を構成するハードウェア又はソフトウェア（プログラム）或いはその両方の組み合せにより実行される。運転支援装置２の各機能部がプログラムにより構成される場合には、運転支援装置２が有する演算処理装置は、上記の各機能部を構成する画像表示プログラム及びこれを含む運転支援プログラムを実行するコンピュータとして動作する。14 Next, the procedure of the driving support process executed in the driving support device 2 including the image display device 3 included in the navigation device 1 according to the present embodiment will be described. FIG. 10 is a flowchart illustrating a procedure of driving support processing including image display processing according to the present embodiment. The procedure of the driving support process described below is executed by hardware or software (program) constituting each functional unit of the driving support device 2 or a combination of both. When each functional unit of the driving support device 2 is configured by a program, the arithmetic processing device included in the driving support device 2 executes the image display program configuring each of the above functional units and the driving support program including the image display program. Operates as a computer.

まず、運転状況検知部１４は、車両の運転状況を検知する（ステップ＃２１）。画像情報取得部６は画像情報Ｇを取得する（ステップ＃２２）。次に、合流判定部８は、運転状況検知部１４により検知される自車両の運転状況が、切返前走行状況であるか否かを判定する（ステップ＃２３）。切返前走行状況であると判定された場合には（ステップ＃２３：Ｙｅｓ）、画像表示部９は後方画像情報ＧＢ、右方画像情報ＧＲ、左方画像情報ＧＬの全てを表示する（ステップ＃２４）。一方、切返前走行状況ではないと判定された場合には（ステップ＃２３：Ｎｏ）、次に運転状況検知部１４は、自車両が後退しているか否かを判定する（ステップ＃２５）。自車両が後退していると判定された場合には（ステップ＃２５：Ｙｅｓ）、画像表示部９は後方画像情報ＧＢを表示する（ステップ＃２６）。一方、自車両が後退していないと判定された場合には（ステップ＃２５：Ｎｏ）、処理は終了する。  First, the drivingcondition detection unit 14 detects the driving condition of the vehicle (step # 21). The imageinformation acquisition unit 6 acquires image information G (step # 22). Next, the mergingdetermination unit 8 determines whether or not the driving state of the host vehicle detected by the drivingstate detection unit 14 is a traveling state before switching (step # 23). If it is determined that the vehicle is traveling before switching (step # 23: Yes), the image display unit 9 displays all of the rear image information GB, the right image information GR, and the left image information GL (step). # 24). On the other hand, when it is determined that it is not the pre-turnover driving situation (step # 23: No), the drivingcondition detector 14 next determines whether or not the host vehicle is moving backward (step # 25). . When it is determined that the host vehicle is moving backward (step # 25: Yes), the image display unit 9 displays the rear image information GB (step # 26). On the other hand, when it is determined that the host vehicle has not moved backward (step # 25: No), the process ends.

次に、障害物認識部１３は、道路上を移動する車両又は人を対象障害物Ｏとして、画像情報Ｇに含まれる対象障害物Ｏの画像認識処理を行う（ステップ＃２７）。障害物認識部１３は、画像情報Ｇに含まれている障害物から抽出した輪郭情報と対象障害物Ｏである車両又は人の形態の特徴量とのパターンマッチングを行うことにより、画像情報Ｇに対象障害物Ｏの画像が含まれるか否かを判断する（ステップ＃２８）。画像情報Ｇに対象障害物Ｏの画像が含まれると判定された場合には（ステップ＃２８：Ｙｅｓ）、ナビゲーション用演算部１２は、画像表示部９及び音声出力装置２５の一方又は双方を介してユーザに対して注意喚起等の警告を行う（ステップ＃２９）。一方、画像情報Ｇに対象障害物Ｏの画像が含まれないと判定された場合には（ステップ＃２８：Ｎｏ）、ナビゲーション用演算部１２は、ユーザに対して注意しながら後退するように案内する（ステップ＃３０）。次に運転状況検知部１４は、車速センサ３２からの出力に基づいて自車両が後退しているか否かを判定する（ステップ＃３１）。自車両が後退していると判定された場合には（ステップ＃３１：Ｙｅｓ）、再度ステップ＃２３〜＃３０の処理を繰り返す。一方、自車両が後退していないと判定された場合には（ステップ＃３１：Ｎｏ）処理は終了する。  Next, theobstacle recognizing unit 13 performs image recognition processing of the target obstacle O included in the image information G with the vehicle or person moving on the road as the target obstacle O (step # 27). Theobstacle recognizing unit 13 performs pattern matching between the contour information extracted from the obstacle included in the image information G and the feature quantity of the form of the vehicle or person that is the target obstacle O, so that the image information G It is determined whether or not an image of the target obstacle O is included (step # 28). When it is determined that the image of the target obstacle O is included in the image information G (step # 28: Yes), thenavigation calculation unit 12 passes through one or both of the image display unit 9 and theaudio output device 25. To alert the user (step # 29). On the other hand, when it is determined that the image of the target obstacle O is not included in the image information G (step # 28: No), thenavigation calculation unit 12 guides the user to move backward with caution. (Step # 30). Next, the drivingcondition detector 14 determines whether or not the host vehicle is moving backward based on the output from the vehicle speed sensor 32 (step # 31). If it is determined that the host vehicle is moving backward (step # 31: Yes), the processes of steps # 23 to # 30 are repeated again. On the other hand, if it is determined that the host vehicle has not moved backward (step # 31: No), the process ends.

〔第三の実施形態〕
次に、本発明の第三の実施形態について説明する。
本実施形態に係るナビゲーション装置１の概略構成は、基本的には第一の実施形態の場合とほぼ同様であるが、図１において一点破線で示している経過時間計測部１５を備えている点及び合流判定部８が合流判定を行うための判断基準が第一の実施形態と相違している。以下では、本実施形態に係るナビゲーション装置１について、第一の実施形態との相違点を中心に説明する。[Third embodiment]
Next, a third embodiment of the present invention will be described.
The schematic configuration of the navigation device 1 according to the present embodiment is basically the same as that of the first embodiment, but includes an elapsedtime measuring unit 15 indicated by a dashed line in FIG. And the judgment standard for the joiningdetermination part 8 to perform joining determination is different from 1st embodiment. Below, the navigation apparatus 1 which concerns on this embodiment is demonstrated centering around difference with 1st embodiment.

１５．経過時間計測部
経過時間計測部１５は、車両のエンジンが始動してからの経過時間を表す始動経過時間を計測する経過時間計測手段として機能する。経過時間計測部１５は、車両のイグニッションスイッチがＯＮとなった時点を基準として経過時間の計測を始める。経過時間計測部１５により計測された始動経過時間は、合流判定部８へ出力される。15. Elapsed Time Measurement Unit The elapsedtime measurement unit 15 functions as an elapsed time measurement unit that measures an elapsed start time that represents an elapsed time since the start of the vehicle engine. The elapsedtime measurement unit 15 starts measuring the elapsed time with reference to the time point when the ignition switch of the vehicle is turned on. The elapsed start time measured by the elapsedtime measurement unit 15 is output to the mergingdetermination unit 8.

１６．合流判定部
合流判定部８は、自車両が後退しながら車両の走行エリア４１に合流しようとしているか否かを判定する合流判定手段として機能する。本実施形態においては、合流判定部８は、経過時間計測部１５により計測された始動経過時間が予め設定された所定時間に達する前に、後退判定部７により自車両が後退していると判定された場合に、自車両が後退しながら車両の走行エリア４１に合流しようとしていると判定する。一方、経過時間計測部１５により計測された始動経過時間が予め設定された所定時間に達する前に、後退判定部７により自車両が後退していると判定されなかった場合には、自車両が後退しながら車両の走行エリア４１に合流しようとしていないと判定する。このような合流判定は、駐車していた車両に乗って移動する際に、エンジンをかけてすぐに後退する場合には、駐車スペース４２から後退して出る場合と考えられるので、道路、あるいは駐車場内の車両の通行エリアに合流する場合があるという事象に基づくものである。16. Junction Determining Unit Theconfluence determining unit 8 functions as a merging determining unit that determines whether or not the host vehicle is going to merge into the travelingarea 41 of the vehicle while moving backward. In the present embodiment, the mergingdetermination unit 8 determines that the host vehicle is moving backward by thereverse determination unit 7 before the elapsed start time measured by the elapsedtime measurement unit 15 reaches a predetermined time set in advance. If it is determined that the host vehicle is moving backward, it is determined that the host vehicle is going to join the travelingarea 41 of the vehicle. On the other hand, if it is not determined that the host vehicle is moving backward by thereverse determination unit 7 before the elapsed start time measured by the elapsedtime measuring unit 15 reaches a predetermined time set in advance, It is determined that the vehicle is not going to join the travelingarea 41 of the vehicle while reversing. In such a merge determination, when moving on a parked vehicle and moving immediately after starting the engine, it is considered that the vehicle moves backward from theparking space 42. This is based on an event that the vehicle may join the traffic area of the venue.

１７．運転支援処理の手順
次に、本実施形態に係るナビゲーション装置１に含まれる、画像表示装置３を備えた運転支援装置２において実行される運転支援処理の手順について説明する。図１１は、本実施形態に係る画像表示処理を含む運転支援処理の手順を示すフローチャートである。以下に説明する運転支援処理の手順は、上記の運転支援装置２の各機能部を構成するハードウェア又はソフトウェア（プログラム）或いはその両方の組み合せにより実行される。運転支援装置２の各機能部がプログラムにより構成される場合には、運転支援装置２が有する演算処理装置は、上記の各機能部を構成する画像表示プログラム及びこれを含む運転支援プログラムを実行するコンピュータとして動作する。17. Next, the procedure of the driving support process executed in the driving support device 2 including the image display device 3 included in the navigation device 1 according to the present embodiment will be described. FIG. 11 is a flowchart showing a procedure of driving support processing including image display processing according to the present embodiment. The procedure of the driving support process described below is executed by hardware or software (program) constituting each functional unit of the driving support device 2 or a combination of both. When each functional unit of the driving support device 2 is configured by a program, the arithmetic processing device included in the driving support device 2 executes the image display program configuring each of the above functional units and the driving support program including the image display program. Operates as a computer.

まず、ユーザによるイグニッションスイッチのＯＮ操作を受け付け（ステップ＃４１）、エンジンの始動と同時に、経過時間計測部１５は始動経過時間の計測を開始する（ステップ＃４２）。次にシフト位置検出センサ３１は、シフトレバーが後退を示す位置にあるか否かを判定する（ステップ＃４３）。シフトレバーが後退を示す位置にあると判定されたとき（ステップ＃４３：Ｙｅｓ）、後退判定部７は自車両が後退していると判定して、画像情報Ｇを取得する（ステップ＃４４）。一方、シフトレバーが後退を示す位置にあると判定されなかった場合には（ステップ＃４３：Ｎｏ）処理は終了する。次に合流判定部８は、始動経過時間が所定時間を経過する前にシフトレバーが後退を示す位置に変更されたか否かを判定する（ステップ＃４５）。始動経過時間が所定時間を経過する前にシフトレバーが後退を示す位置に変更されたと判定された場合（ステップ＃４５：Ｙｅｓ）、画像表示部９は右方画像情報ＧＲ及び左方画像情報ＧＬを並べて表示する（ステップ＃４６）。一方、始動経過時間が所定時間を経過する前にシフトレバーが後退を示す位置に変更されたと判定された場合には（ステップ＃４５：Ｎｏ）、画像表示部９は後方画像情報ＧＢを表示する（ステップ＃４７）。  First, an ON operation of the ignition switch by the user is accepted (step # 41), and the elapsedtime measuring unit 15 starts measuring the elapsed start time simultaneously with the start of the engine (step # 42). Next, the shiftposition detection sensor 31 determines whether or not the shift lever is in a position indicating the reverse (step # 43). When it is determined that the shift lever is in a position indicating reverse (step # 43: Yes), thereverse determination unit 7 determines that the host vehicle is moving backward and acquires image information G (step # 44). . On the other hand, when it is not determined that the shift lever is in the position indicating the reverse (step # 43: No), the process ends. Next, the mergingdetermination unit 8 determines whether or not the shift lever has been changed to the position indicating the reverse before the predetermined elapsed time has elapsed (step # 45). If it is determined that the shift lever has been changed to the position indicating the backward movement before the predetermined elapsed time has elapsed (step # 45: Yes), the image display unit 9 displays the right image information GR and the left image information GL. Are displayed side by side (step # 46). On the other hand, when it is determined that the shift lever has been changed to the position indicating the backward movement before the predetermined elapsed time has elapsed (step # 45: No), the image display unit 9 displays the rear image information GB. (Step # 47).

次に、障害物認識部１３は、道路上を移動する車両又は人を対象障害物Ｏとして、画像情報Ｇに含まれる対象障害物Ｏの画像認識処理を行う（ステップ＃４８）。障害物認識部１３は、画像情報Ｇに含まれている障害物から抽出した輪郭情報と対象障害物Ｏである車両又は人の形態の特徴量とのパターンマッチングを行うことにより、画像情報Ｇに対象障害物Ｏの画像が含まれるか否かを判断する（ステップ＃４９）。画像情報Ｇに対象障害物Ｏの画像が含まれると判定された場合には（ステップ＃４９：Ｙｅｓ）、ナビゲーション用演算部１２は、画像表示部９及び音声出力装置２５の一方又は双方を介してユーザに対して注意喚起等の警告を行う（ステップ＃５０）。一方、画像情報Ｇに対象障害物Ｏの画像が含まれないと判定された場合には（ステップ＃４９：Ｎｏ）、ナビゲーション用演算部１２は、ユーザに対して注意しながら後退するように案内する（ステップ＃５１）。次にシフト位置検出センサ３１は、シフトレバーが後退を示す位置にあるか否かを判定する（ステップ＃５２）。シフトレバーが後退を示す位置にあると判定されたとき（ステップ＃５２：Ｙｅｓ）、再度ステップ＃４５〜＃５１の処理を繰り返す。一方、シフトレバーが後退以外を示す位置にあると判定された場合には（ステップ＃５２：Ｎｏ）処理は終了する。  Next, theobstacle recognition unit 13 performs image recognition processing of the target obstacle O included in the image information G with the vehicle or person moving on the road as the target obstacle O (step # 48). Theobstacle recognizing unit 13 performs pattern matching between the contour information extracted from the obstacle included in the image information G and the feature quantity of the form of the vehicle or person that is the target obstacle O, so that the image information G It is determined whether or not an image of the target obstacle O is included (step # 49). If it is determined that the image of the target obstacle O is included in the image information G (step # 49: Yes), thenavigation calculation unit 12 passes through one or both of the image display unit 9 and theaudio output device 25. The user is warned to alert the user (step # 50). On the other hand, when it is determined that the image of the target obstacle O is not included in the image information G (step # 49: No), thenavigation calculation unit 12 guides the user to move backward while paying attention to the user. (Step # 51). Next, the shiftposition detection sensor 31 determines whether or not the shift lever is at a position indicating the backward movement (step # 52). When it is determined that the shift lever is in the position indicating the reverse (step # 52: Yes), the processes of steps # 45 to # 51 are repeated again. On the other hand, if it is determined that the shift lever is in a position other than reverse (step # 52: No), the process ends.

〔その他の実施形態〕
（１）上記の各実施形態においては、合流判定部８が自車両が後退しながら車両の走行エリア４１に合流しようとしていると判定するための判定条件をそれぞれ具体的に説明したが、これら以外の条件に基づいて合流判定を行うように構成されていても良い。例えば、シフト位置が「Ｒ（リバース）」の位置にあって、かつ、後方撮像装置２４Ｂからの後方画像情報ＧＢに含まれる、路側帯との境界を示す白線等の道路標示の画像認識に成功した場合に、合流判定部８は自車両が後退しながら車両の走行エリア４１に合流しようとしていると判定しても良い。[Other Embodiments]
(1) In each of the above-described embodiments, the determination conditions for determining that the mergingdetermination unit 8 is about to merge with the travelingarea 41 of the vehicle while the host vehicle is moving backward have been specifically described. The joining determination may be performed based on the above condition. For example, image recognition of a road marking such as a white line indicating a boundary with a roadside band included in the rear image information GB from therear imaging device 24B and having a shift position of “R (reverse)” is successful. In this case, the mergingdetermination unit 8 may determine that the host vehicle is going to merge with the travelingarea 41 of the vehicle while moving backward.

（２）上記の各実施形態においては、合流判定部８はそれぞれ異なる判定条件に基づいて合流判定を行う例について説明した。しかし、これらの判定条件を複数個備えた構成として、その中の任意の数の条件を満たした場合、例えば、いずれか一つの条件を満たした場合や、全ての条件を満たした場合に、合流判定部８は自車両が後退しながら車両の走行エリア４１に合流しようとしていると判定するようにしても良い。(2) In each of the embodiments described above, the example in which the mergingdetermination unit 8 performs the merging determination based on different determination conditions has been described. However, as a configuration having a plurality of these determination conditions, if any number of conditions among them are satisfied, for example, if any one of the conditions is satisfied, or if all the conditions are satisfied, Thedetermination unit 8 may determine that the host vehicle is going to join the travelingarea 41 of the vehicle while moving backward.

（３）上記の第一及び第三の実施形態においては、合流判定部８が自車両が後退しながら車両の走行エリア４１に合流しようとしていると判定した場合には、画像表示部９に右方画像情報ＧＲ及び左方画像情報ＧＬを表示する例を示し、上記の第二の実施形態においては、合流判定部８が自車両が後退しながら車両の走行エリア４１に合流しようとしていると判定した場合には、画像表示部９には後方画像情報ＧＢ、右方画像情報ＧＲ、左方画像情報ＧＬの全てを表示する例を示した。しかし、合流判定部８が自車両が車両の走行エリア４１に合流しようとしていると判定した場合に画像表示部９に表示する画像情報Ｇには、右方画像情報ＧＲ及び左方画像情報ＧＬの少なくとも一方が含まれていれば良く、例えば、後退時の進行方向に応じて右方画像情報ＧＲ又は左方画像情報ＧＬをそれぞれ単独で表示したり、後方画像情報ＧＢ及び右方画像情報ＧＲを並べて表示したり、あるいは、後方画像情報ＧＢ及び左方画像情報ＧＬを並べて表示したりしても良い。(3) In the first and third embodiments described above, when the joiningdetermination unit 8 determines that the host vehicle is going to join the travelingarea 41 of the vehicle while moving backward, the image display unit 9 An example in which the direction image information GR and the left side image information GL are displayed is shown. In the second embodiment, the mergingdetermination unit 8 determines that the host vehicle is going to merge with the travelingarea 41 of the vehicle while moving backward. In this case, an example is shown in which the image display unit 9 displays all of the rear image information GB, the right image information GR, and the left image information GL. However, the image information G displayed on the image display unit 9 when the joiningdetermination unit 8 determines that the host vehicle is about to join the travelingarea 41 of the vehicle includes the right image information GR and the left image information GL. It is sufficient that at least one of them is included. For example, the right image information GR or the left image information GL is individually displayed according to the traveling direction at the time of backward movement, or the rear image information GB and the right image information GR are displayed. The rear image information GB and the left image information GL may be displayed side by side.

本発明は、自車両が後退する際に自車両周辺の画像を表示する画像表示装置及び画像表示プログラム、並びに画像表示装置を用いた運転支援装置に好適に利用することができる。  INDUSTRIAL APPLICABILITY The present invention can be suitably used for an image display device and an image display program that display an image around the host vehicle when the host vehicle moves backward, and a driving support device using the image display device.

第一の実施形態に係るナビゲーション装置の概略構成を示す図The figure which shows schematic structure of the navigation apparatus which concerns on 1st embodiment.地図データベースに格納されている地図情報の構成例を示す説明図Explanatory drawing which shows the structural example of the map information stored in the map database自車両への撮像装置の配置構成の一例を示す図The figure which shows an example of the arrangement configuration of the imaging device to the own vehicle第一の実施形態における合流判定を説明するための説明図Explanatory drawing for demonstrating merge determination in 1st embodiment画像表示部に切替表示される画像情報の一例を示す図The figure which shows an example of the image information switched and displayed on an image display part第一の実施形態に係る運転支援プログラムの処理手順を示すフローチャートThe flowchart which shows the process sequence of the driving assistance program which concerns on 1st embodiment.第二の実施形態に係るナビゲーション装置の概略構成を示す図The figure which shows schematic structure of the navigation apparatus which concerns on 2nd embodiment.第二の実施形態における合流判定を説明するための説明図Explanatory drawing for demonstrating the merge determination in 2nd embodiment.画像表示部に切替表示される画像情報の一例を示す図The figure which shows an example of the image information switched and displayed on an image display part第二の実施形態に係る運転支援プログラムの処理手順を示すフローチャートThe flowchart which shows the process sequence of the driving assistance program which concerns on 2nd embodiment.第三の実施形態に係る運転支援プログラムの処理手順を示すフローチャートThe flowchart which shows the process sequence of the driving assistance program which concerns on 3rd embodiment.

符号の説明Explanation of symbols

２ 運転支援装置
３ 画像表示装置
４ 自車位置情報取得部
５ 地図情報取得部
６ 画像情報取得部
８ 合流判定部
９ 画像表示部
１３ 障害物認識部
１４ 運転状況検知部
１５ 経過時間計測部
２５ 音声出力装置（警告手段）
Ｍ 地図情報
Ｐ 自車位置情報
ｋ リンク
ＧＢ 後方画像情報
ＧＲ 右方画像情報
ＧＬ 左方画像情報
Ｏ 対象障害物2 Driving support device 3 Image display device 4 Own vehicle positioninformation acquisition unit 5 Mapinformation acquisition unit 6 Imageinformation acquisition unit 8 Junction determination unit 9Image display unit 13Obstacle recognition unit 14 Drivingcondition detection unit 15 Elapsedtime measurement unit 25 Audio Output device (warning means)
M Map information P Own vehicle position information k Link GB Rear image information GR Right image information GL Left image information O Target obstacle

Claims (7)

Translated fromJapanese

自車両が後退する際に自車両周辺の画像を表示する画像表示装置であって、
自車両の後方の画像情報である後方画像情報、自車両の後部右方の画像情報である右方画像情報、及び、自車両の後部左方の画像情報である左方画像情報、をそれぞれ独立に取得する画像情報取得手段と、
自車両が後退しながら車両の走行エリアに合流しようとしているか否かを判定する合流判定手段と、
前記合流判定手段による判定結果に基づいて、前記後方画像情報のみを表示する状態と、前記右方画像情報及び前記左方画像情報の少なくとも一方を表示する状態と、を切り替える画像表示手段と、
を備える画像表示装置。An image display device that displays an image of the vicinity of the host vehicle when the host vehicle moves backward,
Rear image information, which is image information behind the host vehicle, right image information, which is image information on the right rear of the host vehicle, and left image information, which is image information on the left rear of the host vehicle, are independent of each other. Image information acquisition means for acquiring,
Merging determination means for determining whether or not the own vehicle is going to merge with the traveling area of the vehicle while reversing;
Image display means for switching between a state in which only the rear image information is displayed and a state in which at least one of the right image information and the left image information is displayed based on a determination result by the merge determination means;
An image display device comprising: 前記画像表示手段は、
前記合流判定手段が自車両が後退しながら車両の走行エリアに合流しようとしていると判定した場合には、前記右方画像情報及び前記左方画像情報を表示し、
前記合流判定手段が自車両が後退しながら車両の走行エリアに合流しようとしていないと判定した場合には、前記後方画像情報を表示する請求項１に記載の画像表示装置。The image display means includes
When it is determined that the joining determination means is about to join the traveling area of the vehicle while the host vehicle is moving backward, the right image information and the left image information are displayed,
The image display device according to claim 1, wherein the rear image information is displayed when the joining determination unit determines that the host vehicle is not moving and is not going to join the traveling area of the vehicle. 自車両の現在位置を表す自車位置情報を取得する自車位置情報取得手段と、
前記自車位置情報に基づいて、自車位置周辺の地図情報を取得する地図情報取得手段と、を備え、
前記合流判定手段は、自車両が後退していると判定された場合であって、かつ、自車位置周辺の道路リンクに対して自車位置が近づく方向に移動している場合に、自車両が後退しながら車両の走行エリアに合流しようとしていると判定する請求項１又は２に記載の画像表示装置。Own vehicle position information acquisition means for acquiring own vehicle position information representing the current position of the own vehicle;
Map information acquisition means for acquiring map information around the vehicle position based on the vehicle position information,
The joining determination means is a case where it is determined that the host vehicle is moving backward, and the host vehicle is moving in a direction in which the host vehicle position approaches the road link around the host vehicle position. The image display device according to claim 1, wherein the image display device determines that the vehicle is going to join the traveling area of the vehicle while retreating. 自車両が走行中の運転状況を検知する運転状況検知手段を備え、
前記合流判定手段は、前記運転状況検知手段により検知される自車両の運転状況に基づいて、自車両が切り返して後退を始める前の状況であると判定した場合に、自車両が後退しながら車両の走行エリアに合流しようとしていると判定する請求項１から３のいずれか一項に記載の画像表示装置。Provided with driving status detection means for detecting the driving status while the vehicle is traveling,
The merging determination means determines that the situation is a situation before the own vehicle turns back and starts to reverse based on the driving situation of the own vehicle detected by the driving situation detection means. The image display device according to claim 1, wherein the image display device determines that the vehicle is about to join the traveling area. 車両のエンジンが始動してからの経過時間を表す始動経過時間を計測する経過時間計測手段を備え、
前記合流判定手段は、前記経過時間取得手段により取得された始動経過時間が予め設定された所定時間に達する前に自車両が後退していると判定された場合に、自車両が後退しながら車両の走行エリアに合流しようとしていると判定する請求項１から４のいずれか一項に記載の画像表示装置。Elapsed time measuring means for measuring the elapsed elapsed time representing the elapsed time since the start of the vehicle engine,
The merging determination means determines that the own vehicle is moving backward when it is determined that the own vehicle is moving backward before the elapsed start time acquired by the elapsed time acquiring means reaches a predetermined time set in advance. 5. The image display device according to claim 1, wherein the image display device determines that the vehicle is about to join the traveling area. 請求項１から５のいずれか一項に記載の画像表示装置と、
道路上を移動する車両又は人を対象障害物とし、前記後方画像情報、前記右方画像情報及び前記左方画像情報に含まれる前記対象障害物の画像認識処理を行う障害物認識手段と、
前記障害物認識手段により前記対象障害物の画像認識に成功した場合に警告を発する警告手段と、
を備える運転支援装置。An image display device according to any one of claims 1 to 5,
A vehicle or a person moving on a road as a target obstacle, obstacle recognition means for performing image recognition processing of the target obstacle included in the rear image information, the right image information, and the left image information;
Warning means for issuing a warning when image recognition of the target obstacle is successful by the obstacle recognition means;
A driving support apparatus comprising: 自車両が後退する際に自車両周辺の画像を表示する画像表示プログラムであって、
自車両の後方の画像情報である後方画像情報、自車両の後部右方の画像情報である右方画像情報、及び、自車両の後部左方の画像情報である左方画像情報、をそれぞれ独立に取得する画像情報取得ステップと、
自車両が後退しながら車両の走行エリアに合流しようとしているか否かを判定する合流判定ステップと、
前記合流判定ステップによる判定結果に基づいて、前記後方画像情報のみを表示する状態と、前記右方画像情報及び前記左方画像情報の少なくとも一方を表示する状態と、を切り替える画像表示ステップと、
をコンピュータに実行させる画像表示プログラム。An image display program for displaying an image around the host vehicle when the host vehicle moves backward,
Rear image information, which is image information behind the host vehicle, right image information, which is image information on the right rear of the host vehicle, and left image information, which is image information on the left rear of the host vehicle, are independent of each other. An image information acquisition step to be acquired,
A join determination step for determining whether or not the host vehicle is going to join the traveling area of the vehicle while reversing;
An image display step for switching between a state in which only the rear image information is displayed and a state in which at least one of the right side image information and the left side image information is displayed based on the determination result in the merging determination step,
An image display program that causes a computer to execute.

Images