JP2018084925A - Parking frame detection device, parking frame detection method, program, and non-temporary recording medium - Google Patents
Parking frame detection device, parking frame detection method, program, and non-temporary recording mediumDownload PDFInfo
- Publication number
- JP2018084925A JP2018084925AJP2016227150AJP2016227150AJP2018084925AJP 2018084925 AJP2018084925 AJP 2018084925AJP 2016227150 AJP2016227150 AJP 2016227150AJP 2016227150 AJP2016227150 AJP 2016227150AJP 2018084925 AJP2018084925 AJP 2018084925A
- Authority
- JP
- Japan
- Prior art keywords
- image
- parking frame
- edge pixel
- pixel
- voting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Translated fromJapaneseDescription
Translated fromJapanese本開示は、駐車枠検知装置、駐車枠検知方法、プログラム、および非一時的記録媒体に関する。 The present disclosure relates to a parking frame detection device, a parking frame detection method, a program, and a non-temporary recording medium.
近年、カメラ技術の進歩、コストダウン等に伴い、車載カメラを利用して運転を支援するための様々なシステムが開発されている。例えば、車載カメラによって撮像された車両の周囲の画像から、路面上に引かれた白線等によって規定された駐車枠の位置を検出し、検出した位置に車両を誘導することにより、車両の駐車を支援するシステムが開発されている。 In recent years, with the advancement of camera technology, cost reduction, and the like, various systems for supporting driving using an in-vehicle camera have been developed. For example, the position of the parking frame defined by the white line drawn on the road surface is detected from the image around the vehicle imaged by the in-vehicle camera, and the vehicle is parked by guiding the vehicle to the detected position. A supporting system has been developed.
一般に、車載カメラによって撮像された画像に、路面上の縁石や段差、路面上の反射、路面上の影などのノイズが含まれる。そのようなノイズの影響を受けずに、路面に描かれた駐車枠の位置を検出する車載画像処理装置が提案されている（特許文献１参照）。特許文献１に記載の手法においては、輝度値が明るい方向に変化する第１の画素の位置と、第１の画素から所定距離以内にあり、輝度値が暗い方向に変化する第２の画素の位置を検出する。次いで、直線をなす複数の第１の画素からなる線素の両端点と複数の第２の画素からなる線素の両端点に囲まれた領域を、駐車枠を構成する白線候補領域として検出する。 In general, an image captured by an in-vehicle camera includes noise such as curbs and steps on the road surface, reflection on the road surface, and shadow on the road surface. An in-vehicle image processing device that detects the position of a parking frame drawn on a road surface without being affected by such noise has been proposed (see Patent Document 1). In the method described in
しかしながら、特許文献１に記載の従来技術では、十分に駐車スペースを検出できない場合があった。 However, the conventional technique described in
本開示の目的は、実線以外の駐車枠を検出するための、改善された駐車枠検知装置、駐車枠検知方法、プログラム、および非一時的記録媒体を提供することである。 An object of the present disclosure is to provide an improved parking frame detection device, a parking frame detection method, a program, and a non-temporary recording medium for detecting a parking frame other than a solid line.
本開示の一態様に係る駐車枠検出装置は、撮像部が撮像した第１の画像を鳥瞰変換し、第２の画像を生成する画像前処理部と、前記第２の画像において、第１のエッジ画素から、前記第１のエッジ画素における画素値の勾配方向と垂直な方向に所定の距離だけ離れた探索領域に第２のエッジ画素が含まれるとき、前記第１のエッジ画素と前記第２のエッジ画素との中間座標に投票し、前記第２の画像における前記投票の結果に基づいて、前記第２の画像において駐車枠を検出する画像制御部と、を備える構成を採る。 In the parking frame detection device according to an aspect of the present disclosure, the first image captured by the imaging unit is converted to a bird's-eye view, and the first image is generated in the first image. When the second edge pixel is included in a search region that is separated from the edge pixel by a predetermined distance in a direction perpendicular to the gradient direction of the pixel value in the first edge pixel, the first edge pixel and the second edge pixel And an image control unit that detects a parking frame in the second image based on a result of the voting in the second image.
本開示の一態様に係る駐車枠検出方法は、撮像部が撮像した第１の画像を鳥瞰変換し、第２の画像を生成する第１のステップと、前記第２の画像において、第１のエッジ画素から、前記第１のエッジ画素における画素値の勾配方向と垂直な方向に所定の距離だけ離れた探索領域に第２のエッジ画素が含まれるとき、前記第１のエッジ画素と前記第２のエッジ画素との中間座標に投票し、前記第２の画像における前記投票の結果に基づいて、前記第２の画像において駐車枠を検出する第２のステップと、を備える構成を採る。 A parking frame detection method according to an aspect of the present disclosure includes a first step of performing a bird's-eye conversion on a first image captured by an imaging unit and generating a second image; When the second edge pixel is included in a search region that is separated from the edge pixel by a predetermined distance in a direction perpendicular to the gradient direction of the pixel value in the first edge pixel, the first edge pixel and the second edge pixel And a second step of detecting a parking frame in the second image based on the result of the voting in the second image.
本開示の一態様に係るプログラムは、駐車枠検出装置が備えるコンピュータに、撮像部が撮像した第１の画像を鳥瞰変換し、第２の画像を生成する第１のステップと、前記第２の画像において、第１のエッジ画素から、前記第１のエッジ画素における画素値の勾配方向と垂直な方向に所定の距離だけ離れた探索領域に第２のエッジ画素が含まれるとき、前記第１のエッジ画素と前記第２のエッジ画素との中間座標に投票し、前記第２の画像における前記投票の結果に基づいて、前記第２の画像において駐車枠を検出する第２のステップと、を実行させる構成を採る。 A program according to an aspect of the present disclosure includes a first step of generating a second image by performing bird's-eye conversion on a first image captured by an imaging unit in a computer included in a parking frame detection device, and the second step. In the image, when the second edge pixel is included in a search region that is separated from the first edge pixel by a predetermined distance in a direction perpendicular to the gradient direction of the pixel value in the first edge pixel, the first edge pixel Voting on intermediate coordinates between an edge pixel and the second edge pixel, and performing a second step of detecting a parking frame in the second image based on the result of the voting in the second image. Use a configuration that allows
本開示の一態様に係るコンピュータ読み取り可能なプログラムを記録した非一時的記録媒体は、駐車枠検出装置が備えるコンピュータに、撮像部が撮像した第１の画像を鳥瞰変換し、第２の画像を生成する第１のステップと、前記第２の画像において、第１のエッジ画素から、前記第１のエッジ画素における画素値の勾配方向と垂直な方向に所定の距離だけ離れた探索領域に第２のエッジ画素が含まれるとき、前記第１のエッジ画素と前記第２のエッジ画素との中間座標に投票し、前記第２の画像における前記投票の結果に基づいて、前記第２の画像において駐車枠を検出する第２のステップと、を実行させるプログラムを記録した構成を採る。 A non-transitory recording medium that records a computer-readable program according to an aspect of the present disclosure is a computer with which a parking frame detection device includes a first image captured by an imaging unit. In the first step of generating, in the second image, a second search area is separated from the first edge pixel by a predetermined distance in a direction perpendicular to the gradient direction of the pixel value in the first edge pixel. Voting on intermediate coordinates between the first edge pixel and the second edge pixel and parking in the second image based on the result of the voting in the second image. A configuration in which a program for executing the second step of detecting a frame is recorded is adopted.
本開示によれば、実線以外の駐車枠を検出するための、改善された駐車枠検知装置、駐車枠検知方法、プログラム、および非一時的記録媒体を提供することができる。 According to the present disclosure, it is possible to provide an improved parking frame detection device, a parking frame detection method, a program, and a non-temporary recording medium for detecting a parking frame other than a solid line.
以下、本開示の実施の形態について、図面を参照して詳細に説明する。 Hereinafter, embodiments of the present disclosure will be described in detail with reference to the drawings.
まず、発明者による従来技術の課題の考察が記載される。一般に、駐車枠を構成する線は、実線である場合のみならず、破線である場合がある。また、例えば、塗装が剥げることにより、駐車場を構成する線が部分的に欠損している場合もある。さらに、駐車枠が塗装されている場合のみならず、駐車枠が地面に埋め込まれた石、煉瓦、タイル等により規定されている場合もある。このような様々なパターンの駐車枠に対して、特許文献１に記載の手法を適用すると、複数の第１の画素からなる線素の両端点も、複数の第２の画素からなる線素の両端点も、直線をなさない。したがって、特許文献１に記載の手法を適用しても、駐車枠を検出できない問題があった。 First, consideration of the problems of the prior art by the inventors will be described. In general, a line constituting the parking frame may be a broken line as well as a solid line. In addition, for example, the lines constituting the parking lot may be partially missing due to peeling of the paint. Furthermore, not only when the parking frame is painted, the parking frame may be defined by stones, bricks, tiles or the like embedded in the ground. When the method described in
（第１の実施の形態）
図１は、第１の実施の形態に係る駐車枠検知システム１の構成図である。駐車枠検知システム１は、撮像部２と、カメラＥＣＵ３と、車両制御部４と、を備える。(First embodiment)
FIG. 1 is a configuration diagram of a parking
撮像部２は、車両に搭載され、車両の周囲を撮像する。一例において、撮像部２は、車両の全周囲に亘って撮像することができる、魚眼レンズを備えた複数の車載カメラを備える。複数の車載カメラは、例えば、左右のドアミラーに設置された２台の車載カメラである。 The
カメラＥＣＵ３は、撮像部２が撮像した画像に基づいて駐車枠を検出し、検出された駐車枠の位置の情報を車両制御部４に出力する駐車枠検出装置として機能する。一例において、カメラＥＣＵ３は、撮像部３とＦＰＤ Ｌｉｎｋ ＩＩＩを介して接続され、かつ車両制御部４とＣＡＮ（Controller Area Network）を介して接続される。カメラＥＣＵ３は、画像前処理部５と、画像制御部６とを備える。 The camera ECU 3 functions as a parking frame detection device that detects a parking frame based on an image captured by the
画像前処理部５は、撮像部２が撮像した第１の画像を前処理し、第２の画像を生成する。画像前処理部５は、例えば、撮像部２が撮像した複数の画像を、車両の周囲縦１２ｍおよび横１６ｍの範囲を車両の真上から鳥瞰する画像に鳥瞰変換することにより、撮像部２が撮像した画像を前処理する。 The image preprocessing
画像制御部６は、画像前処理部５が生成した第２の画像において駐車枠を検出する。一例において、画像制御部６は、検出された駐車枠の位置の情報（例えば、駐車枠の車両に対する相対位置）を車両制御部４に出力する。 The image control unit 6 detects a parking frame in the second image generated by the image preprocessing
画像制御部６は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備える。ＣＰＵは、例えばＲＯＭから処理内容に応じたプログラムを読み出してＲＡＭに展開し、展開したプログラムと協働して、画像制御部６の各ブロックの動作を集中制御する。画像制御部６は、投票候補判定部７と、投票処理部８と、投票結果集計部９と、投票結果正規化部１０と、駐車枠候補点検出部１１と、駐車枠検出部１２と、相対位置算出部１３とをして機能する。 The image control unit 6 includes a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like. For example, the CPU reads out a program corresponding to the processing content from the ROM, expands it in the RAM, and performs centralized control of the operation of each block of the image control unit 6 in cooperation with the expanded program. The image control unit 6 includes a vote
投票候補判定部７は、画像前処理部５が生成した第２の画像からエッジを検出する。本明細書においては、投票候補判定部７が第２の画像から検出したエッジを構成する画素を、エッジ画素と称する。 The vote
さらに、投票候補判定部７は、第２の画像において、第１のエッジ画素における画素値の勾配方向と垂直な方向に第１のエッジ画素から所定の距離（第１の距離）だけ離れた探索領域に第２のエッジ画素が含まれるとき、第１のエッジ画素と第２のエッジ画素との中間座標を算出する。一例において、探索領域は、第１のエッジ画素における画素値の勾配方向と垂直な方向に第１のエッジ画素から第１の距離だけ離れた画素を含む。また、一例において、投票候補判定部７は、第１のエッジ画素の座標と第２のエッジ画素の座標との中点の座標を、第１のエッジ画素と第２のエッジ画素との中間座標として算出する。投票候補判定部７の処理内容の詳細は、図３に示されるフローチャートを参照して後述される。 Further, the voting
投票処理部８は、投票候補判定部７が算出した中間座標（投票座標）に投票する。第１の実施の形態において、投票座標は、駐車枠の候補の中心線上に位置すると仮定する画素の座標であり、その詳細は、図３に示されるフローチャートを参照して後述される。 The
投票結果集計部９は、投票処理部８が投票した結果を集計する。一例において、投票結果集計部９は、第２の画像を複数の小領域に分割し、各小領域に含まれる投票済みの投票座標の個数を計数することにより、投票の結果を集計する。 The voting
投票結果正規化部１０は、投票結果集計部９が集計した投票の結果を正規化する。一例において、投票結果正規化部１０は、第２の画像の複数の小領域に含まれる投票済みの投票座標の個数の最大値を最大得票数として抽出する。次いで、投票結果正規化部１０は、第２の画像の各小領域に対して、当該小領域に含まれる投票済みの投票座標の個数を最大投票数で除算して求めた正規化値を、当該小領域に対応付けることにより、投票の結果を正規化する。 The voting
駐車枠候補点検出部１１は、投票結果正規化部１０が正規化した投票の結果に基づいて、駐車枠を構成する画素を、駐車枠候補点として検出する。一例において、駐車枠候補点検出部１１は、第２の画像の各小領域のうち、所定の閾値を超える正規化値に対応付けられた小領域を選択する。次に、駐車枠候補点検出部１１は、選択した小領域に含まれる投票座標の算出に用いた第１の画素を、駐車枠を構成する画素として抽出する。 The parking frame candidate
駐車枠検出部１２は、駐車枠候補点から定まる枠の大きさが車両を駐車するのに十分な大きさであるか否かを判定する。十分な大きさであると判定した場合、一例において、駐車枠検出部１２は、駐車枠候補点から定まる枠の４つの端点を検出し、それぞれが４つの端点のうちの２つの端点で定まる２つの線分の方向のずれが所定の誤差に収まる場合、４つの端点を駐車枠の端点として検出することにより、駐車枠を検出する。 The parking
相対位置算出部１３は、駐車枠検出部１２が検出した駐車枠の車両に対する相対位置を算出し、算出した相対位置を出力する。一例において、相対位置算出部１３は、現在の車両の位置から駐車枠検出部１２が検出した駐車枠の位置に車両を移動させるための経路を併せて算出し、算出した経路を出力する。 The relative
車両制御部４は、相対位置算出部１３が出力した相対位置に基づいて、車両を移動させる。一例において、車両制御部４は、一例において、相対位置算出部１３が出力した経路に基づいて、現在の車両の位置から駐車枠検出部１２が検出した駐車枠の位置に車両を移動させる。 The
図２は、第１の実施の形態に係る駐車枠検知システム１の動作の一例を示すフローチャートである。この処理は、例えば車両のエンジンが起動されることに伴い、駐車枠検知システム１のＣＰＵがＲＯＭに格納されているプログラムを読み出して実行することにより実現される。 FIG. 2 is a flowchart showing an example of the operation of the parking
ステップＳ１において、画像制御部６は、駐車枠検知システム１のＣＰＵがアクセス可能である記憶装置に、画像領域を確保する。例えば、記憶装置はＲＡＭ（Random Access Memory）であり、ＣＰＵが画像データ等を格納するための作業領域として、ヒープ領域をメモリ空間内に確保することにより、画像制御部６は、画像領域を確保する。 In step S <b> 1, the image control unit 6 secures an image area in a storage device accessible by the CPU of the parking
ステップＳ２において、画像前処理部５および画像制御部６は、駐車枠候補点を検出する（投票候補判定部７、投票処理部８、投票結果集計部９、投票結果正規化部１０、および駐車枠候補点検出部１１としての処理）。ステップＳ２の処理内容の詳細は、図３を参照して後述される。 In step S2, the
ステップＳ３において、画像制御部６は、駐車枠を検出する（駐車枠検出部１２としての処理）。駐車枠検出部１２は、駐車枠候補点から定まる枠の大きさが車両を駐車するのに十分な大きさであるか否かを判定する。十分な大きさであると判定した場合、一例において、駐車枠検出部１２は、駐車枠候補点から定まる枠の４つの端点を検出し、それぞれが２つの端点で定まる２つの線分の方向のずれが所定の誤差に収まる場合、４つの端点を駐車枠の端点として検出することにより、駐車枠を検出する。 In step S3, the image control unit 6 detects a parking frame (processing as the parking frame detection unit 12). The parking
ステップＳ４において、画像制御部６は、駐車枠が検出されたか否かを判定する（駐車枠検出部１２としての処理）。駐車枠が検出されなかった場合（ステップＳ４：Ｎｏ）、ステップＳ７に進む。 In step S4, the image control unit 6 determines whether or not a parking frame has been detected (processing as the parking frame detection unit 12). When a parking frame is not detected (step S4: No), it progresses to step S7.
駐車枠が検出された場合（ステップＳ４：Ｙｅｓ）、ステップＳ５に進む。ステップＳ５において、画像制御部６は、駐車枠と車両に対する相対位置または経路を算出する（相対位置算出部１３としての処理）。次いで、ステップＳ６において、車両制御部４は、相対位置算出部１３が算出した相対位置または経路に基づいて車両を移動する。これにより、車両が駐車枠内に納まり、駐車が完了する。 When the parking frame is detected (step S4: Yes), the process proceeds to step S5. In step S5, the image control unit 6 calculates a relative position or route with respect to the parking frame and the vehicle (processing as the relative position calculation unit 13). Next, in step S <b> 6, the
ステップＳ７において、画像制御部６は、画像領域を解放する。例えば、ステップＳ１において駐車枠検知システム１のＣＰＵが確保したヒープ領域を解放することにより、画像制御部６は、画像領域を解放する。 In step S7, the image control unit 6 releases the image area. For example, the image control unit 6 releases the image area by releasing the heap area secured by the CPU of the parking
図３は、図２のステップＳ２の処理内容の一例を示すフローチャートである。 FIG. 3 is a flowchart showing an example of the processing content of step S2 of FIG.
ステップＳ１１において、画像前処理部５は、画像を前処理する。前処理は、例えば、上記の鳥瞰変換の他に、画像をグレースケール画像に変換するグレースケール変換を含む。さらに、例えば、駐車枠線を強調させるために、公知のガウシアンフィルタや最大値フィルタを適用してもよい。また、情報量を削減するために、画像を縮小してもよい。 In step S11, the
ステップＳ１２において、画像制御部６は、第２の画像からエッジを検出する（投票候補判定部７としての処理）。例えば、投票候補判定部７は、Ｃａｎｎｙ変換、Ｓｏｂｅｌ演算子、Ｓｃｈａｒｒ演算子、Ｐｒｅｗｉｔｔ演算子、Ｒｏｂｅｒｔｓ ｃｒｏｓｓ演算子等を用いる既知の方法を使用して、第２の画像からエッジを検出することができる。 In step S12, the image control unit 6 detects an edge from the second image (processing as the vote candidate determination unit 7). For example, the voting
次に、画像制御部６は、第２の画像から検出されたエッジの各エッジ画素（第１のエッジ画素）に対して、ステップＳ１４〜Ｓ１５を実行する。 Next, the image control unit 6 executes steps S14 to S15 for each edge pixel (first edge pixel) of the edge detected from the second image.
一般に、駐車枠の条件としては、駐車枠を構成する対向する２本の線が平行であるという条件が考えられる。この場合、対向する２本の線が、その周囲に対して高い輝度値または低い輝度値を有すると、一方の線のエッジ画素が、他方の線の対となるエッジ画素における画素値の勾配方向とは逆の勾配方向（逆勾配）を有すると考えられる。 In general, as a condition of the parking frame, a condition that two opposing lines constituting the parking frame are parallel can be considered. In this case, when two opposing lines have a high luminance value or a low luminance value with respect to the surroundings, the edge pixel of one line is the gradient direction of the pixel value of the edge pixel which is a pair of the other line. Is considered to have a reverse gradient direction (reverse gradient).
そこで、ステップＳ１４において、画像制御部６は、第２の画像内のエッジを構成する第１のエッジ画素における画素値の勾配方向と垂直な方向に第１のエッジ画素から第１の距離だけ離れた探索領域に含まれる有効画素を求める（投票候補判定部７としての処理）。有効画素は、画素値の勾配方向が、第１のエッジ画素における画素値の勾配方向と逆の勾配方向を有し、かつ画素値の勾配強度が所定の勾配強度以上である画素である。ここで、所定の勾配強度は、例えば、駐車枠を構成する線、煉瓦等の色が、その周囲の色に対して有するコントラスト値の下限値に基づいて決定される。 Therefore, in step S14, the image control unit 6 moves away from the first edge pixel by a first distance in a direction perpendicular to the gradient direction of the pixel value in the first edge pixel constituting the edge in the second image. The effective pixels included in the search area are obtained (processing as the vote candidate determination unit 7). The effective pixel is a pixel in which the gradient direction of the pixel value has a gradient direction opposite to the gradient direction of the pixel value in the first edge pixel, and the gradient strength of the pixel value is equal to or greater than a predetermined gradient strength. Here, the predetermined gradient strength is determined based on, for example, the lower limit value of the contrast value that the color of the line, brick, etc. constituting the parking frame has with respect to the surrounding color.
図４は、画素の座標における画素値の勾配方向および勾配強度の求め方の一例を説明する図である。画像Ｉにおける画素Ｐ０の座標値を（Ｘ，Ｙ）としたときに、値ｆｘおよび値ｆｙを次の（数式１）および（数式２）で定義する。 FIG. 4 is a diagram illustrating an example of how to obtain the gradient direction and gradient strength of the pixel value in the pixel coordinates. When the coordinate value of the pixel P0 in the image I is (X, Y), the value fx and the value fy are defined by the following (Formula 1) and (Formula 2).
ここで、Ｑ（Ｘ，Ｙ）は、画像Ｉの座標（Ｘ，Ｙ）にある画素の輝度値を表す。次いで、勾配強度Ｉｎｔおよび勾配方向Ｄを、例えば、次の（数式３）および（数式４）で定義する。 Here, Q (X, Y) represents the luminance value of the pixel located at the coordinates (X, Y) of the image I. Next, the gradient strength Int and the gradient direction D are defined by, for example, the following (Equation 3) and (Equation 4).
ここで、atan2(fx,fy)は、fy/fxの逆正接を表す。一例において、座標Ｓ１における画素値の勾配方向Ｄ１および座標Ｓ２における画素値の勾配方向Ｄ２のなす角度がπ−ε（ｒａｄ）より大きく、π＋ε（ｒａｄ）より小さいとき、勾配方向Ｄ１は、勾配方向Ｄ２と逆の勾配方向（逆勾配）であると判定する。ここで、εは十分小さい任意の正の値であり、例えば、π／１０である。 Here, atan2 (fx, fy) represents the arc tangent of fy / fx. In one example, when the angle formed by the gradient direction D1 of the pixel value at the coordinate S1 and the gradient direction D2 of the pixel value at the coordinate S2 is larger than π−ε (rad) and smaller than π + ε (rad), the gradient direction D1 is the gradient direction. It is determined that the gradient direction is opposite to D2 (reverse gradient). Here, ε is a sufficiently small arbitrary positive value, for example, π / 10.
一例において、勾配強度および勾配方向の算出は、ステップＳ１２におけるエッジ検出の際に算出される勾配値を用いて算出してもよい。こうすると、ステップＳ１４において勾配強度および勾配方向の算出を繰り返す必要がないので、計算コストが低減される。 In one example, the gradient strength and the gradient direction may be calculated using the gradient value calculated at the time of edge detection in step S12. This eliminates the need to repeat the calculation of the gradient strength and gradient direction in step S14, thereby reducing the calculation cost.
図５は、エッジ画素Ｐ０に対して決定される探索領域の一例を示す。一例において、探索領域は、画像Ｉにおいて、エッジＬ１上のエッジ画素（第１のエッジ画素）Ｐ０の座標から、エッジ画素Ｐ０における画素値の勾配方向（Ｌ１に平行な方向）に垂直な方向に第１の距離Ｒだけ離れた座標にある画素Ｐ１を含む領域Ａ１として決定される。例えば、領域Ａ１は、画素Ｐ１をその中心に含む。 FIG. 5 shows an example of the search area determined for the edge pixel P0. In one example, the search region is a direction perpendicular to the gradient direction of the pixel value in the edge pixel P0 (direction parallel to L1) from the coordinates of the edge pixel (first edge pixel) P0 on the edge L1 in the image I. The region A1 is determined to include the pixel P1 located at the coordinates separated by the first distance R. For example, the region A1 includes the pixel P1 at the center.
第１の距離Ｒは、想定される駐車枠の大きさまたは車両の幅に基づいて定められる任意の値である。また、探索領域の大きさは、所定の大きさを有する領域であり、例えば、辺の長さがＲ／２の正方形の領域である。 The first distance R is an arbitrary value determined based on the assumed size of the parking frame or the width of the vehicle. The size of the search area is an area having a predetermined size, for example, a square area having a side length of R / 2.
図５に示される画像Ｉにおいて、画素Ｐ１は、他のエッジＬ２上にあるので、画素Ｐ１は、エッジ画素（第２のエッジ画素）Ｐ１である。したがって、エッジ画素Ｐ１が所定の勾配強度以上の勾配強度を有し、かつエッジ画素Ｐ０およびエッジ画素Ｐ１が逆勾配を有するとき、投票候補判定部７は、エッジ画素Ｐ１を有効画素であると判定する。 In the image I shown in FIG. 5, since the pixel P1 is on the other edge L2, the pixel P1 is an edge pixel (second edge pixel) P1. Therefore, when the edge pixel P1 has a gradient strength equal to or higher than the predetermined gradient strength, and the edge pixel P0 and the edge pixel P1 have reverse gradients, the vote
図５に示される画像Ｉにおいて、第２のエッジ画素Ｐ１が有効画素である場合、投票候補判定部７は、第１のエッジ画素Ｐ０および第２のエッジ画素Ｐ１の中間にある座標を、中間座標として算出する。例えば、中間座標は、第１のエッジ画素Ｐ０の座標および第２のエッジ画素Ｐ１の座標の中点Ｐ２である。 In the image I shown in FIG. 5, when the second edge pixel P1 is an effective pixel, the voting
ステップＳ１５において、中間座標（投票座標）に投票する（投票処理部８としての処理）。 In step S15, votes are given to the intermediate coordinates (voting coordinates) (processing as the voting processing unit 8).
図６は、投票の一例を説明する図である。図６には、エッジＬ１上にある第１のエッジ画素Ｐ０に対して、投票処理部８は、第１のエッジ画素Ｐ０に対して数式４によって求められた基準線ＬＢからの勾配方向θと垂直な方向に第２の距離ｒ（＝Ｒ／２）だけ離れた投票座標Ｐ２−１，Ｐ２−２に投票した様子が示されている。 FIG. 6 is a diagram illustrating an example of voting. In FIG. 6, for the first edge pixel P0 on the edge L1, the
投票処理部８は、画像Ｉに含まれるエッジＬ１を含む全てのエッジ上にある全ての第１の画素に対して、投票座標に投票する。この場合、投票される可能性のある領域は、例えば、エッジＬ１に平行で、エッジＬ１から第２の距離ｒにある線Ｌ３−１，Ｌ３−２上に中心を有する領域群Ｂ２−１，Ｂ２−２である。 The
次いで、ステップＳ１３に戻る。ステップＳ１３において、画像制御部６は、第２の画像から検出されたエッジにおける第１のエッジ画素のスキャンが完了したか否かを判定する。スキャンが完了していないと判定した場合（ステップＳ１３：Ｎｏ）、次の第１のエッジ画素に対して、ステップＳ１４〜Ｓ１５を実行する。一方、スキャンが完了したと判定した場合（ステップＳ１３：Ｙｅｓ）、ステップＳ１６に進む。 Next, the process returns to step S13. In step S13, the image control unit 6 determines whether or not scanning of the first edge pixel at the edge detected from the second image is completed. If it is determined that the scan has not been completed (step S13: No), steps S14 to S15 are executed for the next first edge pixel. On the other hand, when it is determined that the scan is completed (step S13: Yes), the process proceeds to step S16.
ステップＳ１６において、画像制御部６は、投票の結果を集計する（投票結果集計部９としての処理）。次いで、ステップＳ１７において、画像制御部６は、投票の結果を正規化する（投票結果正規化部１０としての処理）。投票の結果を正規化することにより、例えば、駐車枠が実線で描かれている場合や、破線で描かれている場合等、様々な囲い方の種類を統一的に扱うことができる。次いで、ステップＳ１８において、画像制御部６は、正規化された投票の結果に基づいて、駐車枠候補点を検出する（駐車枠候補点検出部１１としての処理）。 In step S <b> 16, the image control unit 6 totals the voting results (processing as the voting result totaling unit 9). Next, in step S17, the image control unit 6 normalizes the voting result (processing as the voting result normalizing unit 10). By normalizing the voting results, for example, when the parking frame is drawn with a solid line or when it is drawn with a broken line, various types of enclosures can be handled uniformly. Next, in step S18, the image control unit 6 detects parking frame candidate points based on the normalized voting result (processing as the parking frame candidate point detection unit 11).
このように、第１の実施の形態に係る駐車枠検出装置（カメラＥＣＵ３）は、撮像部２が撮像した第１の画像を鳥瞰変換し、第２の画像Ｉを生成する画像前処理部５と、第２の画像Ｉにおいて、第１のエッジ画素Ｐ０から、第１のエッジ画素Ｐ０における画素値の勾配方向と垂直な方向に所定の距離だけ離れた探索領域Ａ１に第２のエッジ画素Ｐ１が含まれるとき、第１のエッジ画素Ｐ０と第２のエッジ画素Ｐ１との中間座標Ｐ２に投票し、第２の画像Ｉにおける投票の結果に基づいて、第２の画像Ｉにおいて駐車枠を検出する画像制御部と、を備える構成を採る。 As described above, the parking frame detection device (camera ECU 3) according to the first embodiment performs the bird's-eye conversion on the first image captured by the
第１の実施の形態に係る駐車枠検出装置によれば、終車枠を構成する線が、実線である場合のみならず、破線である場合や、線が部分的に欠損している場合であっても、駐車枠を検出することができる。また、駐車枠が塗装されている場合のみならず、駐車枠が地面に埋め込まれた石、煉瓦、タイル等により規定されている場合であっても、第１の実施の形態に係る駐車枠検出装置は駐車枠を検出することができる。 According to the parking frame detection device according to the first embodiment, not only when the line constituting the end vehicle frame is a solid line, but also when the line is a broken line or when the line is partially missing. Even a parking frame can be detected. Moreover, not only when the parking frame is painted, but also when the parking frame is defined by stones, bricks, tiles, etc. embedded in the ground, the parking frame detection according to the first embodiment The device can detect parking frames.
図７は、コンピュータのハードウェア構成の一例を示す図である。上述した各実施の形態および各変形例における各部の機能は、コンピュータ２１００が実行するプログラムにより実現される。 FIG. 7 is a diagram illustrating an example of a hardware configuration of a computer. The function of each part in each embodiment and each modification described above is realized by a program executed by the
図７に示すように、コンピュータ２１００は、入力ボタン、タッチパッドなどの入力装置２１０１、ディスプレイ、スピーカなどの出力装置２１０２、ＣＰＵ（Central Processing Unit）２１０３、ＲＯＭ（Read Only Memory）２１０４、ＲＡＭ（Random Access Memory）２１０５を備える。また、コンピュータ２１００は、ハードディスク装置、ＳＳＤ（Solid State Drive）などの記憶装置２１０６、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）、ＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る読取装置２１０７、ネットワークを介して通信を行う送受信装置２１０８を備える。上述した各部は、バス２１０９により接続される。 As shown in FIG. 7, a
そして、読取装置２１０７は、上記各部の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置２１０６に記憶させる。あるいは、送受信装置２１０８が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各部の機能を実現するためのプログラムを記憶装置２１０６に記憶させる。 Then, the
そして、ＣＰＵ２１０３が、記憶装置２１０６に記憶されたプログラムをＲＡＭ２１０５にコピーし、そのプログラムに含まれる命令をＲＡＭ２１０５から順次読み出して実行することにより、上記各部の機能が実現される。また、プログラムを実行する際、ＲＡＭ２１０５または記憶装置２１０６には、各実施の形態で述べた各種処理で得られた情報が記憶され、適宜利用される。 Then, the
（その他の実施の形態）
第１の実施の形態においては、車両制御部４は、相対位置算出部１３が算出した経路または相対位置に基づいて車両を移動する。これに代えて、車両が、例えば、電子ミラーシステムの表示装置等の表示部（図示せず）を備え、表示部は、相対位置算出部１３が算出した経路または相対位置に基づいて、車両を駐車枠まで案内する画像を乗員に対して表示する実施の形態も考えられる。(Other embodiments)
In the first embodiment, the
第１の実施の形態においては、第１の距離Ｒは、想定される駐車枠の大きさまたは車両の幅に基づいて定められる。これに代えて、第１の距離Ｒは、想定される駐車枠を構成する線の幅に基づいて定められる実施の形態も考えられる。 In the first embodiment, the first distance R is determined based on the assumed size of the parking frame or the width of the vehicle. Instead of this, an embodiment in which the first distance R is determined based on the width of a line constituting the assumed parking frame is also conceivable.
本開示に係る駐車枠検出装置は、車載カメラを利用して運転を支援するためのシステムに適用されるのに好適である。 The parking frame detection device according to the present disclosure is suitable for being applied to a system for assisting driving using an in-vehicle camera.
１ 駐車枠検出システム
２ 撮像部
３ カメラＥＣＵ
４ 車両制御部
５ 画像前処理部
６ 画像制御部
７ 投票候補判定部
８ 投票処理部
９ 投票結果集計部
１０ 投票結果正規化部
１１ 駐車枠候補点検出部
１２ 駐車枠検出部
１３ 相対位置算出部DESCRIPTION OF
4
Claims (12)
Translated fromJapanese前記第２の画像において、第１のエッジ画素から、前記第１のエッジ画素における画素値の勾配方向と垂直な方向に所定の距離だけ離れた探索領域に第２のエッジ画素が含まれるとき、前記第１のエッジ画素と前記第２のエッジ画素との中間座標に投票し、前記第２の画像における前記投票の結果に基づいて、前記第２の画像において駐車枠を検出する画像制御部と、
を備える駐車枠検出装置。An image pre-processing unit that performs bird's-eye conversion on the first image captured by the imaging unit and generates a second image;
In the second image, when the second edge pixel is included in a search region separated from the first edge pixel by a predetermined distance in a direction perpendicular to the gradient direction of the pixel value in the first edge pixel, An image control unit for voting on intermediate coordinates between the first edge pixel and the second edge pixel, and detecting a parking frame in the second image based on a result of the voting in the second image; ,
A parking frame detection device comprising:
前記第２の画像を複数の小領域に分割し、
前記複数の小領域に含まれる前記投票座標の個数の最大値を最大得票数として抽出し、
前記複数の小領域の各小領域に対して、前記各小領域に含まれる前記投票座標の個数を前記最大投票数で除算して求めた正規化値を、前記各小領域に対応付け、
所定の閾値を超える前記正規化値に対応付けられた前記各小領域に含まれる前記投票座標の算出に用いた前記第１のエッジ画素を、前記構成画素として抽出する、
請求項１から６のいずれかに記載の駐車枠検出装置。The image control unit
Dividing the second image into a plurality of small regions;
The maximum value of the number of voting coordinates included in the plurality of small areas is extracted as the maximum number of votes,
For each small region of the plurality of small regions, a normalized value obtained by dividing the number of the voting coordinates included in each small region by the maximum number of votes is associated with each small region,
Extracting the first edge pixel used for calculating the voting coordinates included in each of the small regions associated with the normalized value exceeding a predetermined threshold as the constituent pixel;
The parking frame detection device according to any one of claims 1 to 6.
前記構成画素から定まる枠の大きさが車両を駐車するのに十分な大きさであると判定した場合、前記枠の４つの端点を検出し、
それぞれが前記４つの端点のうちの２つの端点で定まる２つの線分の方向のずれが所定の誤差内である場合、前記４つの端点を前記駐車枠の端点として検出することにより、前記駐車枠を検出する、
請求項１から７のいずれかに記載の駐車枠検出装置。The image control unit
When it is determined that the size of the frame determined from the constituent pixels is large enough to park the vehicle, the four end points of the frame are detected,
By detecting the four end points as the end points of the parking frame when the deviation in the direction of the two line segments respectively determined by two end points of the four end points is within a predetermined error, the parking frame Detect
The parking frame detection device according to any one of claims 1 to 7.
前記第２の画像において、第１のエッジ画素から、前記第１のエッジ画素における画素値の勾配方向と垂直な方向に所定の距離だけ離れた探索領域に第２のエッジ画素が含まれるとき、前記第１のエッジ画素と前記第２のエッジ画素との中間座標に投票し、前記第２の画像における前記投票の結果に基づいて、前記第２の画像において駐車枠を検出する第２のステップと、
を備える、駐車枠検出方法。A first step of performing bird's-eye conversion on the first image captured by the imaging unit and generating a second image;
In the second image, when the second edge pixel is included in a search region separated from the first edge pixel by a predetermined distance in a direction perpendicular to the gradient direction of the pixel value in the first edge pixel, A second step of voting on intermediate coordinates between the first edge pixel and the second edge pixel and detecting a parking frame in the second image based on the result of the voting in the second image. When,
A parking frame detection method comprising:
撮像部が撮像した第１の画像を鳥瞰変換し、第２の画像を生成する第１のステップと、
前記第２の画像において、第１のエッジ画素から、前記第１のエッジ画素における画素値の勾配方向と垂直な方向に所定の距離だけ離れた探索領域に第２のエッジ画素が含まれるとき、前記第１のエッジ画素と前記第２のエッジ画素との中間座標に投票し、前記第２の画像における前記投票の結果に基づいて、前記第２の画像において駐車枠を検出する第２のステップと、
を実行させるプログラム。In the computer provided in the parking frame detection device,
A first step of performing bird's-eye conversion on the first image captured by the imaging unit and generating a second image;
In the second image, when the second edge pixel is included in a search region separated from the first edge pixel by a predetermined distance in a direction perpendicular to the gradient direction of the pixel value in the first edge pixel, A second step of voting on intermediate coordinates between the first edge pixel and the second edge pixel and detecting a parking frame in the second image based on the result of the voting in the second image. When,
A program that executes
駐車枠検出装置が備えるコンピュータに、
撮像部が撮像した第１の画像を鳥瞰変換し、第２の画像を生成する第１のステップと、
前記第２の画像において、第１のエッジ画素から、前記第１のエッジ画素における画素値の勾配方向と垂直な方向に所定の距離だけ離れた探索領域に第２のエッジ画素が含まれるとき、前記第１のエッジ画素と前記第２のエッジ画素との中間座標に投票し、前記第２の画像における前記投票の結果に基づいて、前記第２の画像において駐車枠を検出する第２のステップと、
を実行させるプログラムを記録した非一時的記録媒体。A non-transitory recording medium storing a computer-readable program,
In the computer provided in the parking frame detection device,
A first step of performing bird's-eye conversion on the first image captured by the imaging unit and generating a second image;
In the second image, when the second edge pixel is included in a search region separated from the first edge pixel by a predetermined distance in a direction perpendicular to the gradient direction of the pixel value in the first edge pixel, A second step of voting on intermediate coordinates between the first edge pixel and the second edge pixel and detecting a parking frame in the second image based on the result of the voting in the second image. When,
A non-transitory recording medium on which a program for executing the program is recorded.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016227150AJP2018084925A (en) | 2016-11-22 | 2016-11-22 | Parking frame detection device, parking frame detection method, program, and non-temporary recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016227150AJP2018084925A (en) | 2016-11-22 | 2016-11-22 | Parking frame detection device, parking frame detection method, program, and non-temporary recording medium |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018084925Atrue JP2018084925A (en) | 2018-05-31 |
Family
ID=62237168
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016227150APendingJP2018084925A (en) | 2016-11-22 | 2016-11-22 | Parking frame detection device, parking frame detection method, program, and non-temporary recording medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2018084925A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210402987A1 (en)* | 2020-06-29 | 2021-12-30 | Faurecia Clarion Electronics Co., Ltd. | Image processor and image processing method |
- 2016
- 2016-11-22JPJP2016227150Apatent/JP2018084925A/enactivePending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210402987A1 (en)* | 2020-06-29 | 2021-12-30 | Faurecia Clarion Electronics Co., Ltd. | Image processor and image processing method |
| EP3933684A1 (en) | 2020-06-29 | 2022-01-05 | Faurecia Clarion Electronics Co., Ltd. | Image based detection of parking space marked by dashed lines |
| US11769338B2 (en) | 2020-06-29 | 2023-09-26 | Faurecia Clarion Electronics Co., Ltd. | Image processor and image processing method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4992990B2 (en) | Lane marking detector | |
| US9846823B2 (en) | Traffic lane boundary line extraction apparatus and method of extracting traffic lane boundary line | |
| JP5950441B2 (en) | Image recognition apparatus, image recognition method, and image recognition program | |
| JP2008158958A (en) | Road surface determination method and road surface determination device | |
| US9390336B2 (en) | Image processing device, image processing method | |
| JP2012063869A (en) | License plate reader | |
| JP4341564B2 (en) | Object judgment device | |
| US20200111229A1 (en) | Position detection apparatus and position detection method | |
| EP3029602A1 (en) | Method and apparatus for detecting a free driving space | |
| CN108090425B (en) | Lane line detection method, device and terminal | |
| JP6802999B2 (en) | Compartment line detection system | |
| JP5091897B2 (en) | Stop line detector | |
| JP4882577B2 (en) | Object tracking device and control method thereof, object tracking system, object tracking program, and recording medium recording the program | |
| CN101107625A (en) | Image processing method, image processing system, imaging device, image processing device and computer program | |
| WO2021128314A1 (en) | Image processing method and device, image processing system and storage medium | |
| CN113147746A (en) | Method and device for detecting ramp parking space | |
| US10997743B2 (en) | Attachable matter detection apparatus | |
| JP5155204B2 (en) | White line detector | |
| JP2018084925A (en) | Parking frame detection device, parking frame detection method, program, and non-temporary recording medium | |
| JP4754434B2 (en) | Road surface estimation device | |
| JP2014142866A (en) | Lane identification device, and lane identification method | |
| JP2018092507A (en) | Image processing apparatus, image processing method, and program | |
| KR20120094962A (en) | Method and device for identifying an image acquisition feature of a digital image and apparatus for implementing such a device | |
| JP2012118656A (en) | Parking frame detection device and parking frame detection method | |
| JP2003323627A (en) | Vehicle detection device and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney | Free format text:JAPANESE INTERMEDIATE CODE: A7422 Effective date:20190625 | |
| RD04 | Notification of resignation of power of attorney | Free format text:JAPANESE INTERMEDIATE CODE: A7424 Effective date:20191018 |