JP2008279875A - Parking support device - Google Patents
Parking support deviceDownload PDFInfo
- Publication number
- JP2008279875A JP2008279875AJP2007125220AJP2007125220AJP2008279875AJP 2008279875 AJP2008279875 AJP 2008279875AJP 2007125220 AJP2007125220 AJP 2007125220AJP 2007125220 AJP2007125220 AJP 2007125220AJP 2008279875 AJP2008279875 AJP 2008279875A
- Authority
- JP
- Japan
- Prior art keywords
- parking
- vehicle
- image
- parking frame
- host vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
Translated fromJapanese本発明は、駐車場や車庫等において運転者の駐車支援を行う技術に関し、更に詳しくは、車両とその周辺の画像とを合成して表示する機能を備えた駐車支援装置に関する。 The present invention relates to a technique for assisting a driver in parking at a parking lot, a garage, or the like, and more particularly, to a parking assist device having a function of combining and displaying a vehicle and its surrounding images.
近年、ドライバーの駐車等の運転操作を支援する駐車支援装置が普及してきている。この駐車支援装置には、車両の後方に広角カメラを取付け、広角カメラからの画像を運転席の近くに設けられた表示装置に表示するものがある。しかし、広角カメラからの画像をそのまま表示する駐車支援装置では、車両周辺の画像が歪んで表示されるため、車両と駐車枠との角度や障害物までの距離感が把握しにくいという問題があった。 In recent years, parking assistance devices that assist driving operations such as driver parking have become widespread. Some of these parking assistance devices have a wide-angle camera attached to the rear of the vehicle and display an image from the wide-angle camera on a display device provided near the driver's seat. However, in the parking assistance device that displays the image from the wide-angle camera as it is, the image around the vehicle is distorted and displayed, which makes it difficult to grasp the angle between the vehicle and the parking frame and the distance to the obstacle. It was.
そこで、広角カメラからの画像データを画像処理して、広角カメラの撮影地点と異なる視点から撮影したように車両周辺の画像を表示（以下、俯瞰画像表示ともいう）する視点変換技術が知られている（特許文献１）。
図１は従来の俯瞰画像表示を行う駐車支援装置の問題点を示す図である。図１（ａ）に示すように、視点変換技術を適用して俯瞰画像表示する駐車支援装置によれば、自車両２及びその周辺を上空から見下ろしたような映像で歪み無く画面１に表示されるので、ドライバーは車両２とその周辺との間隔を正確に把握することができ、初心者のドライバーでも容易に駐車や幅寄せなどの運転操作を行うことができる。 FIG. 1 is a diagram illustrating a problem of a conventional parking assistance device that performs a bird's-eye view image display. As shown in FIG. 1 (a), according to the parking assistance device that displays a bird's-eye view image by applying a viewpoint conversion technique, the vehicle 2 and its surroundings are displayed on the
しかし、俯瞰画像表示する駐車支援装置では、歪み無く自車両の周辺が表示されることで、かえってドライバーが駐車完了したか否か認識しにくくなることがある。例えば、図１（ｂ）に示すように、自車両２が駐車枠の境界線４に対して少しでも傾いていると、自車両２と境界線４との傾きが目立ってしまう。このため、ドライバーは駐車が完了したとの判断がつきにくくなってしまう。ちなみに、本願発明者が行った被験者テストにおいては、多くのドライバーが車両と駐車枠との間に僅かな傾きがある場合に駐車完了したか否かを画面上から認識できず、画面を見ながら車両の切返し操作を何度も繰り返してしまうといった結果が出ている。 However, in a parking assistance device that displays a bird's-eye view image, the periphery of the host vehicle is displayed without distortion, which may make it difficult for the driver to recognize whether or not parking is completed. For example, as shown in FIG. 1B, when the host vehicle 2 is tilted even slightly with respect to the boundary line 4 of the parking frame, the tilt between the host vehicle 2 and the boundary line 4 becomes conspicuous. This makes it difficult for the driver to determine that parking has been completed. By the way, in the subject test conducted by the inventor of the present application, when many drivers have a slight inclination between the vehicle and the parking frame, it is not possible to recognize whether the parking is completed or not while looking at the screen. The result is that the vehicle turning operation is repeated many times.
本発明は、かかる課題に鑑みてなされたものであり、駐車操作が完了したことを認識し、駐車が完了したときに、その旨をドライバーに報知することができる駐車支援装置を提供することを目的とする。 The present invention has been made in view of such a problem, and provides a parking assistance device that recognizes that a parking operation has been completed and can notify the driver when parking is completed. Objective.
本発明によれば、画面を通じて情報を提供する情報提供手段と、自車両の一部を含めて車輌周囲の画像を継続的に取得する撮像手段と、前記自車両の画像データを予め格納すると共に、前記撮像手段により取得された画像データを格納する記憶手段と、前記記憶手段に格納されているデータから車両周囲の画像を車両の直上からの視点で表す画像に変換すると共に、その変換後の画像に自車両の画像を合成して車両及びその周辺を直上からの視点で表す画像を生成する画像処理手段と、前記駐車枠を検出する駐車枠検出手段と、自車両と前記駐車枠との角度を算出する車両角度算出手段と、前記自車両の画像データと検出された駐車枠のデータとに基づいて自車両と駐車枠との相対位置を算出する駐車位置検出手段と、自車両が前記駐車枠内に入り、かつ、自車両と前記駐車枠との角度が所定角度以内にあると判定したときに駐車完了信号を前記情報提供手段に出力する制御手段とを備えたことを特徴とする駐車支援装置が提供される。 According to the present invention, the information providing means for providing information through the screen, the imaging means for continuously acquiring an image around the vehicle including a part of the own vehicle, and the image data of the own vehicle are stored in advance. A storage means for storing the image data acquired by the imaging means, and an image around the vehicle is converted from the data stored in the storage means into an image represented by a viewpoint from directly above the vehicle, and after the conversion An image processing unit that synthesizes an image of the host vehicle with an image to generate an image representing the vehicle and its surroundings from a viewpoint from directly above, a parking frame detection unit that detects the parking frame, a host vehicle and the parking frame Vehicle angle calculation means for calculating an angle, parking position detection means for calculating a relative position between the host vehicle and the parking frame based on the image data of the host vehicle and detected parking frame data, and the host vehicle Inside the parking frame A parking support apparatus comprising: a control unit that enters and outputs a parking completion signal to the information providing unit when it is determined that the angle between the host vehicle and the parking frame is within a predetermined angle. Provided.
本発明によれば、自車両と駐車枠との相対角度及び相対位置を検出し、これに基づいて自車両が駐車枠の中に入り、かつ、駐車枠と所定の角度以内となった場合に、駐車が完了した旨が表示画面上や音声によって報知される。これにより、ドライバーは自車両の駐車運転操作が完了したことを知ることができ、これ以上切り返しなどの微調整を行う必要が無いと判断することができる。 According to the present invention, when the relative angle and the relative position between the host vehicle and the parking frame are detected, and based on this, the host vehicle enters the parking frame and is within a predetermined angle with the parking frame. The fact that parking has been completed is notified on the display screen or by voice. As a result, the driver can know that the parking driving operation of the host vehicle has been completed, and can determine that it is not necessary to perform further fine adjustment such as turning over.
本発明の駐車支援装置において、さらに音声処理手段を設け、駐車完了情報を音声により報知することもできる。これにより運転者に対して確実に駐車完了した旨を知らせることができる。 In the parking assistance apparatus of the present invention, voice processing means may be further provided to notify parking completion information by voice. As a result, the driver can be surely notified that the parking has been completed.
また、本発明の駐車支援装置において、駐車完了判定の基準となる所定角度は、運転者が操作入力手段によって変更可能としてもよい。この場合には、運転者が自分の運転技術や好みに合わせた駐車完了判定基準を作成することができる。 Further, in the parking assist device of the present invention, the predetermined angle that is a reference for the completion of parking may be changed by the driver by the operation input means. In this case, the driver can create a parking completion determination standard according to his / her driving skill and preference.
以下、本発明の実施形態について、添付の図面を参照して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.
図２は本発明の実施形態に係る駐車支援装置のブロック図である。また、図３は本発明の実施形態に係る駐車支援装置のカメラの配置位置及び撮影範囲を示す図である。 FIG. 2 is a block diagram of the parking assistance apparatus according to the embodiment of the present invention. Moreover, FIG. 3 is a figure which shows the arrangement position and imaging | photography range of the camera of the parking assistance apparatus which concerns on embodiment of this invention.
図２に示すように、駐車支援装置１０は、カメラ１１ａ〜１１ｄ、Ａ／Ｄ変換部１２、画像メモリ１３、車両画像メモリ１４、ディスプレイ１５、スピーカ１６、画像処理部２０、制御部３０、各種検出部３１〜３５、操作入力部３６、及び音声合成部３７とを有している。 As shown in FIG. 2, the parking assistance device 10 includes
駐車支援装置１０は、一又は複数のカメラを備える。以下、図３に示すように、前部カメラ１１ａ、後部カメラ１１ｂ、右側部カメラ１１ｄ、左側部カメラ１１ｃの４台のカメラを備える例に基づいて説明する。各カメラ１１ａ〜１１ｄは、魚眼レンズを用いた広角カメラであり、それぞれ車両の前後左右に斜め下方向くように位置決めされている。図３の破線に示すようにカメラ１１ａ〜１１ｄは協働して自車両の全周囲（車両周囲）を撮影できるように配置されている。これにより、自車両周囲の俯瞰画像をリアルタイムで提供することができる。 The parking assistance device 10 includes one or more cameras. Hereinafter, as shown in FIG. 3, description will be made based on an example including four cameras, that is, a
各カメラ１１ａ〜１１ｄによって撮影された画像は、Ａ／Ｄ変換部１２によってデジタルの画像データに変換される。撮影画像メモリ１３及び車両画像メモリ１４は、その記憶媒体として、例えばＨＤＤ（Hard disk drive；ハード・ディスク装置）や半導体メモリ装置を使用することができる。撮影画像メモリ１３（ＨＤＤ内の記憶領域の一部に形成される）には、制御部３０からの制御に基づいて、各車載カメラ１１ａ〜１１ｄで継続的に撮影して得られた画像（自車両の前方、後方、左方、及び右方の周囲の画像）のデータが逐次格納される。また、画像メモリ１３には、後述する視点変換部２１により作成された各カメラ毎に作成される視点変換画像データ及び、周辺画像作成部２２により作成される周辺画像データが格納される。車両画像メモリ１４（ＨＤＤ等の記憶領域の一部に形成される。）には、俯瞰画像表示に用いられる視点から撮影した自車両の画像についてのデータ（以下、自車画像データともいう。）が格納される。 Images taken by the
画像処理部２０は、視点変換部２１、周辺画像作成部２２、画像合成部２３、駐車枠検出部２４、自車位置検出部２５、及び駐車角検出部２６とを備える。画像処理部２０は、カメラ１１ａ〜１１ｄによって撮影された画像を処理して、自車両及びその周囲を、カメラとは異なる視点（例えば、上空から見下ろした視点）で表した画像データ（便宜上、「俯瞰画像データ」ともいう）を作成してディスプレイ１５に出力する。また、本発明に係る機能として、俯瞰画像データに基づいて、駐車枠を検出し、駐車枠と自車両の相対位置及び相対角度を算出する。 The
視点変換部２１は、各カメラ１１ａ〜１１ｄで撮影された各方向（前方、後方、左方及び右方）に対応する画像データを画像メモリ１３から取得し、俯瞰画像表示に用いられる視点によって定まる所定の計算式に基づいて、画素座標の変換を行う。これにより、視点変換部２１は、カメラの撮影地点と異なる視点から撮影したような視点変換画像データを作成する。すなわち、上述の例では４台の車載カメラを使用するため、各カメラ１１ａ〜１１ｄに対応した４つの視点変換画像データが作成される。作成された視点変換画像データは画像メモリ１３に逐次格納される。 The viewpoint conversion unit 21 acquires image data corresponding to each direction (front, back, left and right) photographed by the
周辺画像作成部２２は、画像メモリ１３を参照して視点変換画像データを取得し、これらの視点変換画像データを結合して自車両の全周にわたる画像データ（便宜上、「周辺画像データ」ともいう。）を作成する。作成された周辺画像データは画像メモリ１３に逐次格納される。画像合成部２３は、画像メモリ１３と車両画像メモリ１４とを参照して、周辺画像データに自車画像のデータを合成して俯瞰画像データを作成する。 The peripheral
駐車枠検出部２４は、俯瞰画像データにもとづいて、駐車枠の境界線（白線の他、縁石、車止め、ガードレール、周辺車両等の障害物を含む）を検出する。そして、検出された境界線及びステアリング情報等に基づいて、自車両が駐車される可能性の高い駐車枠（以下、単に駐車枠という）を検出する。駐車枠の境界線の検出は、例えば、俯瞰画像データの中から、明度が急変するエッジを検出することにより行うことができる。上述の例では、駐車枠の検出を俯瞰画像データに基づいて行っているが、本実施形態はこれに限られず、周辺画像データ又は視点変換データに基づいて行っても良い。また障害物の検出には、画像データと共にソナーやレーダ等の障害物検出センサからのデータを併用してもよい。 The parking
自車位置検出部２５は、俯瞰画像データに基づいて、自車両と駐車枠との相対位置及び駐車枠と自車両の角度を検出する。ここで、自車両と駐車枠との角度とは、自車両の進行方向の中心軸と駐車完了時に自車両の右（又は左）側面に対向することとなる駐車枠の境界線との相対角度をいう。自車両と駐車枠との相対位置に関するデータ及び自車両と駐車枠との角度に関するデータは制御部３０に送出される。尚、自車両と駐車枠との相対位置並びに角度の検出は周辺画像データに基づいて行っても良い。 The own vehicle
ディスプレイ装置１５は、例えば、ＬＣＤ（液晶ディスプレイ）等からなり、運転席から表示画面を見ることができるように車室内のセンターコンソールのほぼ中間位置に設置されている。このディスプレイ装置１５の表示画面には、この表示画面には、ナビゲーションに係る案内情報（自車の現在位置周囲の地図、出発地から目的地までの誘導経路、自車の現在位置を示すマーク等）も表示される。本発明に関連する情報として、画像合成部２３で合成された画像（俯瞰画像）が表示される。そして、駐車支援装置１０において、駐車が完了したと判断された場合には、その旨の情報がディスプレイ装置１５の表示画面に表示される。 The
制御部３０は、例えば、マイクロコンピュータ等により構成され、駐車支援装置１０の各種機能を制御する。制御部３０は、各種検出部３１〜３５及び操作入力部３６からのデータに基づいて、駐車支援装置１０の起動又は停止のトリガとしての機能を有する。例えば、シフトレンジが後進に入った場合又は操作入力部３６から駐車支援装置１０を起動する旨の入力があった場合には制御部３０は駐車支援装置１０を起動する。また、制御部３０は周辺画像作成部２２に対してステアリング情報、車速情報、及び角度情報等を送出し、周辺画像作成部２２に対し、カメラ１１ａ〜１１ｄの死角部分についての周辺画像データの更新を行わせる。また、制御部３０は画像処理部２０から駐車枠と自車両との相対位置及び相対角が所定の範囲内にあるか否かに関するデータを取得し、駐車が完了したと判定した場合には、画像処理部２０及び音声合成部４０に駐車完了情報を送出する。音声合成部４０は、制御部３０からの駐車完了情報にもとづいて、駐車完了情報を音声としてスピーカ１６から出力させる。 The
操作入力部３３は、ユーザ（ドライバーを含む）が指示した情報を入力するためのものであり、本発明に関連する入力指示として「駐車支援装置の起動」の指示を与えることができる。また、制御部３０の駐車完了判定基準に関する情報を、操作入力部３３からの入力指示によって変更することができる。例えば、駐車完了判定基準としての自車両と駐車枠との角度を、ユーザがサンプル画面を見ながら決定を行い、あるいは角度の数値を直接入力することができる。このように、本実施形態の駐車支援装置１０では、駐車完了判定の基準となる所定角度は、運転者が操作入力手段によって変更可能である。これにより、運転者が自分の運転技術や好みに合わせた駐車完了判定基準を作成することができる。 The
シフトレンジ検出部３１は、自車両のシフトレンジを検出し、制御部３０にシフトレンジ情報を送出する。本発明に関連する情報としては、シフトレンジが後進（バック）に入った場合にはその旨の情報を制御部３０に送出し、制御部３０はこの情報に基づいて駐車支援装置１０を起動する。ＧＰＳ（Global Positioning System）検出部３５は、自車両の現在位置情報を制御部３０に送出する。ＧＰＳ検出部３５からの現在位置情報はナビゲーション機能の提供に用いられる。尚、駐車支援装置１０は、予め登録された地域（例えばサービスエリアや駐車場等）に到着した場合に自動的に起動するようにしてもよく、この場合には、ＧＰＳ検出部３５からの現在位置情報にもとづいて駐車支援装置１０の起動判断が行われる。 The shift
ステアリング検出部３２は、ステアリング（操舵）情報を検出し制御部３０に送出する。車速検出部３３は、例えばホイールに取り付けられたセンサにより自車両の車速を検出し、これを制御部３０に送出する。ジャイロ検出部３４は自車両の加速度情報を取得し、これに基づいて自車両の動きベクトルのデータを制御部３０に送出する。ステアリング情報、車速情報、及び自車両の動きベクトルデータは、駐車枠検出部２４において自車両が駐車する可能性の高い駐車枠の検出のためのデータとして、また、これらのデータは周辺画像作成部２２においてカメラ１１ａ〜１１ｄの死角を補完する補完画像データ作成のために用いられる。 The
以上のように構成された駐車支援装置１０において、各カメラ１１ａ、１１ｂ、１１ｃ、１１ｄは「撮像手段」に、ディスプレイ装置１５は「表示手段」に、画像メモリ１２及び車両画像メモリ１３は「記憶手段」に、視点変換部２１、周辺画像作成部２２、及び画像合成部２３は「画像処理手段」に、駐車枠検出部２４は「駐車枠検出手段」に、駐車角検出部２６は「駐車角度算出手段」に、駐車位置検出部２５は「駐車位置検出手段」に、制御部３０は「制御手段」にそれぞれ対応する。 In the parking assist apparatus 10 configured as described above, the
以下、駐車支援装置１０の動作について説明する。 Hereinafter, operation | movement of the parking assistance apparatus 10 is demonstrated.
図４は、本発明の実施形態に係る駐車支援装置が実行する制御処理の一例を示すフロー図である。図５は、駐車支援装置の制御処理における画像更新処理の一例を示すフロー図である。 FIG. 4 is a flowchart showing an example of a control process executed by the parking assistance apparatus according to the embodiment of the present invention. FIG. 5 is a flowchart illustrating an example of an image update process in the control process of the parking assistance apparatus.
駐車支援装置１０は、まず駐車支援装置１０の起動判断（駐車支援装置１０が既に起動している場合には、俯瞰画像の更新の判断）を行う（ステップＳ１０及びＳ２０）。まず、シフトレバーが後進か否かを判定し（ステップＳ１０）、シフトチェンジによりシフトレバーが後進に入った場合（ＹＥＳ）には、俯瞰表示の画像更新処理を行う（ステップＳ３０）に移行する。シフトレバーが後進でない場合（ＮＯ）には、操作入力部３６から俯瞰表示をする旨の操作指示があったか否かを判断する（ステップＳ２０）。駐車支援装置を起動する旨の指示があった場合（ＹＥＳ）には、画像更新処理（ステップＳ３０）に移行し、駐車支援装置を起動する旨の操作指示がない場合（ＮＯ）には、起動判断を終了する。尚、俯瞰表示の起動・更新判断の順序は図示の例に限られず、逆であっても良い。また、図示の判断の他に、ＧＰＳ検出部３５からの現在位置情報に基づいて、予め設定された地域に入ったことを判断する処理を加えてもよい。この場合には、自車両が例えば予め設定された地域としての駐車場に入った場合に自動的に俯瞰画像表示を起動する。 The parking assist device 10 first determines whether the parking assist device 10 is activated (when the parking assist device 10 is already activated, it is determined whether to update the overhead image) (steps S10 and S20). First, it is determined whether or not the shift lever is reverse (step S10), and when the shift lever is reversely moved due to a shift change (YES), an image display process for overhead view display is performed (step S30). If the shift lever is not reverse (NO), it is determined whether or not there has been an operation instruction for displaying an overhead view from the operation input unit 36 (step S20). If there is an instruction to activate the parking assistance device (YES), the process proceeds to the image update process (step S30), and if there is no operation instruction to activate the parking assistance device (NO), activation is performed. End the decision. In addition, the order of starting / updating determination of the overhead view display is not limited to the illustrated example, and may be reversed. In addition to the determination shown in the figure, a process for determining that the vehicle has entered a preset area based on the current position information from the
次に、カメラ１１ａ〜１１ｄからの画像データを取得し、画像処理を行った後ディスプレイ装置１５に表示する画像更新処理を行う（ステップＳ３０）。 Next, image data from the
画像更新処理について、図５に沿って更に説明する。画像更新処理では、最初に画像取得処理が行われる（ステップＳ３１）。画像取得処理では、画像処理部２０が画像メモリ１３を参照して、各カメラ１１ａ〜１１ｄによって撮影された画像データを取得する。その後、画像データについて視点変換処理が行われる（ステップＳ３２）。視点変換処理では、視点変換部２１が広角カメラで撮影された画像データから、画素座標を取得し、これを所定の数式にもとづいて画素座標を変換することにより、所定の視点（例えば真上から自車両を見下ろすような視点）で表す視点変換画像データを作成する。 The image update process will be further described with reference to FIG. In the image update process, an image acquisition process is first performed (step S31). In the image acquisition process, the
その後、周辺画像作成処理を行う（ステップＳ３３）。周辺画像作成処理では、周辺画像作成部２２によりカメラ１１ａ〜１１ｄ毎に作成された４つの視点変換画像データを合成して自車両周辺の画像データ（周辺画像データ）を作成する。また、周辺画像作成処理は各カメラ１１ａ〜１１ｄの死角に入った部分について、過去の周辺画像データ、自車両の方向、及び移動量等の情報を基に補完データを作成し、これを視点変換画像データと合成して周辺画像データを作成する。その後、自車画像合成処理を行う（ステップＳ３４）。自車画像合成処理では、画像合成部２３が車両画像メモリ１４を参照して自車画像データを取り込み、上述の周辺画像データ上に自車画像を合成する。以上の処理（ステップＳ３１〜Ｓ３４）により、俯瞰画像データが作成される。その後、作成された俯瞰画像データにもとづいてディスプレイ装置１５に表示される画像を更新する画像表示処理（ステップＳ３５）を行い、画像更新処理を終了する。画像更新処理の終了後は、駐車完了判定処理（ステップＳ４０〜Ｓ９０）に移行する。 Thereafter, peripheral image creation processing is performed (step S33). In the peripheral image creation process, the four viewpoint-converted image data created for each of the
図４に戻って、駐車完了判定の処理（ステップＳ４０〜Ｓ９０）について説明する。
駐車完了判定処理では、先ず、俯瞰画像データに基づいて駐車枠を検出する処理が行われる（ステップＳ４０）。駐車枠を検出する処理は、駐車枠検出部２４が、俯瞰画像データに基づいて、駐車枠の境界線を検出し、ステアリングデータやジャイロセンサ等のデータをもとに自車両が駐車される可能性の高い駐車枠を検出する。次に、駐車枠が検出されたかを判断し（ステップＳ５０）、駐車枠が検出された場合（ＹＥＳ）は次の処理（ステップＳ７０）に移行する。駐車枠が検出されない場合（ＮＯ）は、ステップＳ１１０に移行し、起動・更新判定処理を経て画像更新処理（ステップＳ３０）を続ける。Returning to FIG. 4, the parking completion determination process (steps S40 to S90) will be described.
In the parking completion determination process, first, a process of detecting a parking frame based on the overhead image data is performed (step S40). In the process of detecting the parking frame, the parking
次に、俯瞰画像データに基づいて、駐車枠と自車両との相対角を算出する処理（駐車角検出処理）が行われる（ステップＳ６０）。駐車枠の境界線のなかで、駐車完了時に自車両の右（又は左）側面と対向することとなる境界線と、自車両の進行方向に伸びる中心線との相対角度を算出する。 Next, a process of calculating the relative angle between the parking frame and the host vehicle (parking angle detection process) is performed based on the overhead image data (step S60). Among the boundary lines of the parking frame, a relative angle between the boundary line that faces the right (or left) side surface of the host vehicle when parking is completed and the center line that extends in the traveling direction of the host vehicle is calculated.
次に、駐車枠と自車両との相対角が所定の範囲（例えば５°）以内か否かを判断する処理が行われる（ステップＳ７０）。所定の角度以内ではないと判断された場合（ＮＯ）には、ステップＳ１１０に移行する。駐車枠と自車両との相対角が所定の範囲内である場合（ＹＥＳ）には、駐車枠と自車両の相対位置を算出する処理（ステップＳ８０）に移行する。駐車枠と自車との相対位置を算出する処理（ステップＳ８０）は、例えば、俯瞰画像データの自車画像部分から特徴点（例えば、自車画像の角部等）を検出する。そして、この特徴点の座標と検出された駐車枠との座標から、自車両と駐車枠との相対位置を検出する。 Next, a process of determining whether or not the relative angle between the parking frame and the host vehicle is within a predetermined range (for example, 5 °) is performed (step S70). If it is determined that the angle is not within the predetermined angle (NO), the process proceeds to step S110. If the relative angle between the parking frame and the host vehicle is within the predetermined range (YES), the process proceeds to processing for calculating the relative position between the parking frame and the host vehicle (step S80). In the process of calculating the relative position between the parking frame and the own vehicle (step S80), for example, feature points (for example, corners of the own vehicle image) are detected from the own vehicle image portion of the overhead image data. Then, the relative position between the vehicle and the parking frame is detected from the coordinates of the feature point and the detected parking frame.
次に、自車両が駐車枠内に入ったか否かを判断する（ステップＳ９０）。例えば、俯瞰画像データに基づいて、自車画像の全ての特徴点の座標が駐車枠の境界線で囲まれる領域内に入った場合に自車両が駐車枠内に入ったと判断することができる。自車両が駐車枠内に入ったと判断された場合（ＹＥＳ）には、駐車完了報知処理（ステップＳ１００）に移行する。駐車枠内に入っていないと判断された場合（ＮＯ）には、駐車完了報知処理を行わずに、ステップＳ１１０に移行する。 Next, it is determined whether or not the own vehicle has entered the parking frame (step S90). For example, based on the bird's-eye view image data, it can be determined that the host vehicle has entered the parking frame when the coordinates of all the feature points of the host vehicle image enter the region surrounded by the boundary line of the parking frame. If it is determined that the host vehicle has entered the parking frame (YES), the process proceeds to a parking completion notification process (step S100). If it is determined that the vehicle is not within the parking frame (NO), the process proceeds to step S110 without performing the parking completion notification process.
次に、駐車完了報知処理（ステップ１００）が行われる。駐車完了報知処理では、制御部３０が画像処理部２０及び音声合成部４０に対して駐車完了情報を送出する。この駐車完了情報にもとづいてディスプレイ装置１５及びスピーカ１６から駐車完了した旨の報知が行われる。 Next, parking completion notification processing (step 100) is performed. In the parking completion notification process, the
次に、エンジンがＯＦＦとなったか否かを判断する（ステップＳ１１０）。エンジンがＯＦＦとなった場合には（ＹＥＳ）、駐車支援装置１０の動作を終了する。エンジンがＯＦＦではない場合には（ＮＯ）、ステップＳ１０に戻り、駐車支援装置１０の処理を最初から繰り返す。 Next, it is determined whether or not the engine is turned off (step S110). When the engine is turned off (YES), the operation of the parking assistance device 10 is terminated. If the engine is not OFF (NO), the process returns to step S10, and the process of the parking assist device 10 is repeated from the beginning.
図６は、本発明の実施形態に係る駐車支援装置の駐車完了情報の報知態様の一例を示す図である。上述したように、駐車支援装置１０において、駐車が完了したか否かを認識し、駐車が完了したと判断した場合にはディスプレイ装置１５の表示画面上に駐車完了情報が表示される。この駐車完了情報の表示態様としては、例えば、図６に示すように、表示画面上で自車両の画像の周辺を相対的に目立つ色（例えば周囲の画素と異なる色）の枠で囲う。また、自車両が入っている駐車枠の境界線上を相対的に目立つ色の枠を合成して表示することにより報知しても良い。その他、文字情報、アイコンなどを表示して報知してもよい。さらに、ディスプレイ装置１５での駐車完了情報の報知と同時にスピーカ１６から駐車完了情報を報知が行われる。音声情報としては、例えばビープ音の他、言語による報知を行うことができる。以上のような駐車完了の報知により、ドライバーは駐車が完了した旨の客観的な判断情報を得ることができ、俯瞰画像のみから駐車が完了したか否かを判断するよりも容易に駐車が完了した旨を知ることができる。 FIG. 6 is a diagram illustrating an example of a notification mode of parking completion information of the parking assistance device according to the embodiment of the present invention. As described above, the parking assistance device 10 recognizes whether or not parking is completed, and when it is determined that parking is completed, parking completion information is displayed on the display screen of the
これにより、ドライバーは無駄な切返しを繰り返さずに済み、素早く駐車を完了することができる。さらに音声により駐車完了が報知した場合には、運転者対してより確実に駐車完了した旨を知らせることができる。 As a result, the driver does not have to make unnecessary turns and can complete parking quickly. Furthermore, when the completion of parking is notified by voice, the driver can be more surely notified that parking has been completed.
１０…駐車支援装置、１１ａ、１１ｂ、１１ｃ、１１ｄ…カメラ、１３…画像メモリ、１４…車両画像メモリ、１５…ディスプレイ装置、１６…スピーカ、２０…画像処理部、３０…制御部、３１〜３５…各種検出部、３６…操作入力部、４０…音声合成部、Ｉ１…駐車完了情報。 DESCRIPTION OF SYMBOLS 10 ... Parking assistance apparatus, 11a, 11b, 11c, 11d ... Camera, 13 ... Image memory, 14 ... Vehicle image memory, 15 ... Display apparatus, 16 ... Speaker, 20 ... Image processing part, 30 ... Control part, 31-35 ... various detection parts, 36 ... operation input part, 40 ... voice synthesis part, I1 ... parking completion information.
Claims (5)
Translated fromJapanese自車両の一部を含めて車輌周囲の画像を継続的に取得する撮像手段と、
前記自車両の画像データを予め格納すると共に、前記撮像手段により取得された画像データを格納する記憶手段と、
前記記憶手段に格納されているデータから車両周囲の画像を車両の直上からの視点で表す画像に変換すると共に、その変換後の画像に自車両の画像を合成して車両及びその周辺を直上からの視点で表す画像を生成する画像処理手段と、
前記駐車枠を検出する駐車枠検出手段と、
自車両と前記駐車枠との角度を算出する車両角度算出手段と、
前記自車両の画像データと検出された駐車枠のデータとに基づいて自車両と駐車枠との相対位置を算出する駐車位置検出手段と、
自車両が前記駐車枠内に入り、かつ、自車両と前記駐車枠との角度が所定角度以内にあると判定したときに駐車完了信号を前記情報提供手段に出力する制御手段とを備えたことを特徴とする駐車支援装置。An information providing means for providing information through a screen;
Imaging means for continuously acquiring images around the vehicle including a part of the host vehicle;
Storage means for storing image data of the host vehicle in advance and storing image data acquired by the imaging means;
The image stored around the vehicle is converted from the data stored in the storage means into an image represented by a viewpoint from directly above the vehicle, and the image of the host vehicle is synthesized with the converted image from directly above the vehicle and its surroundings. Image processing means for generating an image represented by the viewpoint of
Parking frame detection means for detecting the parking frame;
Vehicle angle calculation means for calculating an angle between the host vehicle and the parking frame;
A parking position detecting means for calculating a relative position between the host vehicle and the parking frame based on the image data of the host vehicle and the detected parking frame data;
Control means for outputting a parking completion signal to the information providing means when it is determined that the own vehicle enters the parking frame and the angle between the own vehicle and the parking frame is within a predetermined angle. A parking assistance device characterized by the above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007125220AJP2008279875A (en) | 2007-05-10 | 2007-05-10 | Parking support device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007125220AJP2008279875A (en) | 2007-05-10 | 2007-05-10 | Parking support device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2008279875Atrue JP2008279875A (en) | 2008-11-20 |
Family
ID=40141064
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007125220AWithdrawnJP2008279875A (en) | 2007-05-10 | 2007-05-10 | Parking support device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2008279875A (en) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010128951A (en)* | 2008-11-28 | 2010-06-10 | Fujitsu Ltd | Image processing apparatus, image processing method and computer program |
| JP2010215170A (en)* | 2009-03-18 | 2010-09-30 | Denso Corp | Parking result display system |
| JP2011016514A (en)* | 2009-06-09 | 2011-01-27 | Denso Corp | Parking aid system |
| JP2011182059A (en)* | 2010-02-26 | 2011-09-15 | Mitsubishi Motors Corp | Vehicle periphery monitoring device |
| JP2014227021A (en)* | 2013-05-22 | 2014-12-08 | クラリオン株式会社 | Parking support device |
| KR101515166B1 (en) | 2013-09-26 | 2015-05-04 | 사단법인 한국지능형교통체계협회 | A Parking Event Detection System Based on Object Recognition |
| JP2015131643A (en)* | 2015-04-22 | 2015-07-23 | 三菱自動車工業株式会社 | Driving support device |
| JP2017065552A (en)* | 2015-09-30 | 2017-04-06 | アイシン精機株式会社 | Perimeter monitoring device |
| US10029730B2 (en) | 2015-10-05 | 2018-07-24 | Hyundai Motor Company | Parking assist system and method for setting parking complete criterion of parking assist system |
| JP2020513701A (en)* | 2016-12-14 | 2020-05-14 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ | 3D surround view system |
| JP2021069075A (en)* | 2019-10-28 | 2021-04-30 | 三菱電機株式会社 | Vehicle surroundings monitoring device and vehicle surrounding monitoring method |
- 2007
- 2007-05-10JPJP2007125220Apatent/JP2008279875A/ennot_activeWithdrawn
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010128951A (en)* | 2008-11-28 | 2010-06-10 | Fujitsu Ltd | Image processing apparatus, image processing method and computer program |
| US8319618B2 (en) | 2008-11-28 | 2012-11-27 | Fujitsu Limited | Image processing apparatus, image processing method, and recording medium |
| JP2010215170A (en)* | 2009-03-18 | 2010-09-30 | Denso Corp | Parking result display system |
| JP2011016514A (en)* | 2009-06-09 | 2011-01-27 | Denso Corp | Parking aid system |
| US8542129B2 (en) | 2009-06-09 | 2013-09-24 | Denso Corporation | Parking aid system |
| JP2011182059A (en)* | 2010-02-26 | 2011-09-15 | Mitsubishi Motors Corp | Vehicle periphery monitoring device |
| JP2014227021A (en)* | 2013-05-22 | 2014-12-08 | クラリオン株式会社 | Parking support device |
| KR101515166B1 (en) | 2013-09-26 | 2015-05-04 | 사단법인 한국지능형교통체계협회 | A Parking Event Detection System Based on Object Recognition |
| JP2015131643A (en)* | 2015-04-22 | 2015-07-23 | 三菱自動車工業株式会社 | Driving support device |
| JP2017065552A (en)* | 2015-09-30 | 2017-04-06 | アイシン精機株式会社 | Perimeter monitoring device |
| US10029730B2 (en) | 2015-10-05 | 2018-07-24 | Hyundai Motor Company | Parking assist system and method for setting parking complete criterion of parking assist system |
| JP2020513701A (en)* | 2016-12-14 | 2020-05-14 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ | 3D surround view system |
| JP7084400B2 (en) | 2016-12-14 | 2022-06-14 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング | 3D surround view system |
| JP2021069075A (en)* | 2019-10-28 | 2021-04-30 | 三菱電機株式会社 | Vehicle surroundings monitoring device and vehicle surrounding monitoring method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2008279875A (en) | Parking support device | |
| JP4855158B2 (en) | Driving assistance device | |
| KR101362496B1 (en) | Parking assistance system and parking assistance method | |
| JP4412365B2 (en) | Driving support method and driving support device | |
| JP5836490B2 (en) | Driving assistance device | |
| JP4962788B2 (en) | Vehicle periphery monitoring device | |
| JP2005110202A (en) | Camera device and vehicle periphery monitoring device | |
| JP2003300443A (en) | Parking assistance device | |
| JP5471141B2 (en) | Parking assistance device and parking assistance method | |
| JP2008302711A (en) | Start support device | |
| JP2009083764A (en) | Driving assisting device, driving assisting method, and computer program | |
| JP2008280026A (en) | Driving assistance device | |
| JP2008013022A (en) | Drive assisting device for vehicle | |
| JP4797849B2 (en) | Driving support image display system and in-vehicle device | |
| CN110386066A (en) | Vehicle display control unit and method, vehicle display system and storage medium | |
| JP2011148369A (en) | Driving support device | |
| JP2008213647A (en) | Parking assist method and parking assist system | |
| JP5273068B2 (en) | Vehicle periphery monitoring device | |
| JP4650687B2 (en) | Perimeter monitoring device | |
| JP2006054662A (en) | Driving assistance device | |
| JP2010154304A (en) | Mobile camera system and driving method | |
| JP5885619B2 (en) | Driving assistance device | |
| JP4857159B2 (en) | Vehicle driving support device | |
| JP2010012838A (en) | Parking assisting device and parking assisting method | |
| JP4957589B2 (en) | Obstacle warning device, obstacle warning method, and computer program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed | Free format text:JAPANESE INTERMEDIATE CODE: A300 Effective date:20100803 |