本発明は、車両の割り込み予測システムに関する。The present invention relates to a vehicle interruption prediction system.
車両の運転支援や予防安全の一環として、隣接車線から自車両前方への他車両の割り込み予測を行うシステムが提案されている。例えば、特許文献１には、カメラセンサやレーザセンサに取得される車線数、隣接車線を走行する車両数、信号機までの距離、および、ナビゲーション装置に取得される渋滞情報などの走行環境情報に基づいて割り込み可能性指標値を設定し、それに応じて先行車両との車間制御の目標車間距離を設定する制御を実行するように構成された車両制御装置が開示されている。As part of vehicle driving assistance and preventive safety measures, a system has been proposed that predicts whether another vehicle will cut in ahead of the vehicle from an adjacent lane. For example, Patent Document 1 discloses a vehicle control device that sets a cut-in possibility index value based on driving environment information such as the number of lanes acquired by a camera sensor or laser sensor, the number of vehicles traveling in adjacent lanes, the distance to traffic lights, and congestion information acquired by a navigation system, and then executes control to set a target inter-vehicle distance for inter-vehicle control based on this index value.
上記のような走行環境情報に基づく割り込み予測は、レーザセンサやステレオカメラなどの測距手段やそれらの認識結果の統合処理を必要とし、単眼カメラに用いられないという課題があった。Cut-in prediction based on driving environment information such as that described above requires distance measurement means such as laser sensors or stereo cameras, as well as integrated processing of the recognition results, and therefore has the problem of not being usable with monocular cameras.
本発明は、上記のような実状に鑑みてなされたものであって、その目的は、単眼カメラ画像を入力情報とし、精度よく車両の割り込み予測システムを提供することにある。The present invention was made in consideration of the above-mentioned circumstances, and its purpose is to provide a vehicle cut-in prediction system that uses monocular camera images as input information and accurately predicts vehicle cut-ins.
上記課題を解決するために、本発明に係る車両の割り込み予測システムは、
車両の前方を撮像するように配設された単眼カメラと、
前記単眼カメラに撮像された画像を処理する画像処理ユニットと、
を備え、前記画像処理ユニットは、
前記画像から車両として認識される領域を矩形枠として抽出し、
前記矩形枠を前記画像の幅方向の左側領域に位置する左側矩形枠、右側領域に位置する右側矩形枠に分類し、
前記左側領域と前記右側領域の少なくとも一方で２以上の矩形枠が抽出された場合に、
前記２以上の矩形枠について縦方向座標が最下（最近位）の矩形枠から順に、
（ａ）次の矩形枠との重なり面積の可能最大面積に対する比率である重合度と、
（ｂ）次の矩形枠との下辺の縦方向座標の比率である距離差率と、
（ｃ）消失点座標に対する下辺の縦方向座標の比率である影響度と、
を算出し、それらに基づいて当該矩形枠に対応する車両による割り込み可能性を判定する
処理を実行するように構成されている。 In order to solve the above problem, a vehicle interruption prediction system according to the present invention comprises:
a monocular camera disposed to capture an image of the area ahead of the vehicle;
an image processing unit that processes an image captured by the monocular camera;
The image processing unit comprises:
extracting a region recognized as a vehicle from the image as a rectangular frame;
The rectangular frames are classified into left rectangular frames located in the left region in the width direction of the image and right rectangular frames located in the right region,
When two or more rectangular frames are extracted in at least one of the left region and the right region,
Regarding the two or more rectangular frames, in order from the rectangular frame with the lowest (closest) vertical coordinate,
(a) the degree of polymerization, which is the ratio of the overlapping area with the next rectangular frame to the maximum possible area;
(b) a distance difference ratio, which is the ratio of the vertical coordinate of the bottom side of the next rectangular frame;
(c) the influence degree, which is the ratio of the vertical coordinate of the bottom side to the vanishing point coordinate;
and based on the calculated values, executes a process of determining the possibility of an interruption by a vehicle corresponding to the rectangular frame.
本発明に係る車両の割り込み予測システムは、上記のように、単眼カメラの画像から車両として認識される領域を矩形枠として抽出し、矩形枠下辺の縦方向座標が距離情報を反映することに着目し、隣接車線の車両の位置関係を反映する指標となる重合度と距離差率、自車両からの距離を反映する指標となる影響度に基づいて割り込み予測を行う構成により、単眼カメラの画像を入力情報とし、精度よく割り込み予測システムを構築できる利点がある。As described above, the vehicle cut-in prediction system of the present invention extracts an area recognized as a vehicle from an image captured by a monocular camera as a rectangular frame, and focuses on the fact that the vertical coordinate of the bottom edge of the rectangular frame reflects distance information. It then predicts cut-in based on the overlapping degree and distance difference rate, which are indicators reflecting the relative positions of vehicles in adjacent lanes, and the influence degree, which is an indicator reflecting the distance from the vehicle itself. This has the advantage of allowing for the construction of an accurate cut-in prediction system using images from a monocular camera as input information.
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
図１において、本発明実施形態に係る車両の割り込み予測システム１００は、車両前方を撮像する前方カメラ２０と画像処理ユニット１０から主に構成されている。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
In FIG. 1, a vehicle cut-in prediction system 100 according to an embodiment of the present invention is mainly composed of a front camera 20 that captures an image ahead of the vehicle, and an image processing unit 10.
前方カメラ２０は、光学系を通じて結像された視野画像を撮像するイメージセンサ（ＣＭＯＳやＣＣＤなどの撮像素子）を備えた単眼カメラであり、好適には車室内のフロントガラス（ウインドシールド）上部に配設される。The front camera 20 is a monocular camera equipped with an image sensor (an imaging element such as a CMOS or CCD) that captures a field of view image formed through an optical system, and is preferably mounted above the windshield inside the vehicle.
画像処理ユニット１０は、前方カメラ２０に撮像された入力画像から車両（移動体）として認識される領域を矩形枠（Ｃｉ，Ｌｉ，Ｒｉ）として抽出する処理（１１）を実行するプログラム、および、抽出された矩形枠を幅方向の中央領域、左側領域、右側領域に分類する処理、後述する重合度、距離差率、影響度を算出し割り込み可能性を判定する処理（１４Ｌ，１４Ｒ）を実行するプログラムを組み込んだ電子制御ユニット（ＥＣＵ）として構成される。The image processing unit 10 is configured as an electronic control unit (ECU) incorporating a program that executes a process (11) to extract an area recognized as a vehicle (moving object) as a rectangular frame (Ci, Li, Ri) from the input image captured by the forward camera 20, a process to classify the extracted rectangular frame into a central region, a left region, and a right region in the width direction, and a process (14L, 14R) to calculate the degree of overlap, distance difference rate, and influence degree described below and determine the possibility of cutting in.
また、画像処理ユニット１０は、後述するように道路曲率や道路勾配を処理に反映させるために、ＧＮＳＳセンサなどの測位システム２１の検知情報や地図情報２２、車速、操舵角、ヨーレートなどの車両情報２３を、車載ネットワークを通じて取得するように構成されることが好ましい。In addition, the image processing unit 10 is preferably configured to acquire detection information from a positioning system 21 such as a GNSS sensor, map information 22, and vehicle information 23 such as vehicle speed, steering angle, and yaw rate via an in-vehicle network in order to reflect road curvature and road gradient in the processing, as described below.
車両抽出処理（１１）は、ＡＩモデル（機械学習モデル）、例えば、データセットと各データに対する正解ラベル（車両，トラック，バス，バイクなどに対する矩形枠）を用いた教師あり学習により得られる車両検出モデルを用いて実行される。正解ラベルは他の車両などで隠れている部分も含めた矩形枠として作成されるので、画像上に部分的に表れている車両も検出可能である。The vehicle extraction process (11) is performed using an AI model (machine learning model), for example, a vehicle detection model obtained through supervised learning using a dataset and correct labels for each data (rectangular frames for vehicles, trucks, buses, motorcycles, etc.). The correct labels are created as rectangular frames that include parts hidden by other vehicles, making it possible to detect vehicles that are partially visible in the image.
抽出された矩形枠の分類処理（１２Ｃ，１２Ｌ，１２Ｒ）は、前方カメラ２０が車両の幅方向中央または略中央に取り付けられていることを前提として、図２に示すように、入力画像２００の幅方向における中心線（中心座標）ｃを下辺に含む矩形枠を中央矩形枠Ｃｉとして分類し、残余の矩形枠のうち幅方向の位置座標（中央座標）が中心線ｃに対して左側にある矩形枠を左側矩形枠Ｌｉ、右側にある矩形枠を右側矩形枠Ｒｉに分類する。The classification process (12C, 12L, 12R) of the extracted rectangular frames assumes that the front camera 20 is mounted at or approximately at the center of the vehicle in the width direction. As shown in Figure 2, rectangular frames whose bottom side includes the center line (center coordinate) c in the width direction of the input image 200 are classified as center rectangular frames Ci, and of the remaining rectangular frames, rectangular frames whose width direction position coordinates (center coordinates) are to the left of the center line c are classified as left rectangular frames Li, and rectangular frames whose width direction position coordinates are to the right of the center line c are classified as right rectangular frames Ri.
この際、入力画像２００において、特に車線認識を行わなくても、幅方向の中央領域に位置する中央矩形枠Ｃｉは自車線の先行車両と見做すことができ、左側領域に位置する左側矩形枠Ｌｉは左側隣接車線の先行車両、右側領域に位置する右側矩形枠Ｒｉは右側車線の先行車両と見做すことができる。In this case, in the input image 200, even without performing lane recognition, the central rectangular frame Ci located in the central region in the width direction can be regarded as a preceding vehicle in the own lane, the left rectangular frame Li located in the left region can be regarded as a preceding vehicle in the adjacent lane on the left, and the right rectangular frame Ri located in the right region can be regarded as a preceding vehicle in the right lane.
図２から明らかなように、歪み補正された入力画像２００において道路平面上にある矩形枠下辺は縦方向に距離情報を有している。なお、入力画像データ（２００）のピクセル座標は、左上の原点から右向きを正方向とする幅方向位置に対応するｘ座標と、原点から下向きを正方向とする縦方向位置に対応するｙ座標とで構成されるが、入力画像データ（２００）の幅方向ピクセル数Ｘ、縦方向ピクセル数Ｙは既知であるので、縦方向ピクセル数Ｙとの差（Ｙ－ｙ）をとることで、自車両からの距離に対応するピクセル距離（例えば図２のｈＬｉ，ｈｌ２，ｈＣ１）が得られる。 As is clear from Figure 2, the bottom side of the rectangular frame on the road plane in the distortion-corrected input image 200 has distance information in the vertical direction. Note that the pixel coordinates of the input image data (200) are composed of an x coordinate corresponding to the widthwise position, with the positive direction being from the origin in the upper left corner toward the right, and a y coordinate corresponding to the lengthwise position, with the positive direction being downward from the origin. However, since the number of pixels X in the widthwise direction and the number of pixels Y in the vertical direction of the input image data (200) are known, the pixel distance (e.g., hLi , hl2 , hC1 in Figure 2) corresponding to the distance from the vehicle can be obtained by calculating the difference (Y-y) between the number of pixels Y in the vertical direction and the x coordinate.
なお、中央矩形枠Ｃｉは、自車両からのピクセル距離（ｈＣ１）が閾値以下の近位側にある場合のみ考慮され、それ以外では、中心線ｃに対して左側にある矩形枠を左側矩形枠Ｌｉ、右側にある矩形枠を右側矩形枠Ｒｉに分類するようにしても良い。 The central rectangular frame Ci is only considered when the pixel distance (hC1 ) from the vehicle is closer than a threshold value; otherwise, the rectangular frame on the left side of the center line c may be classified as a left rectangular frame Li, and the rectangular frame on the right side may be classified as a right rectangular frame Ri.
中央矩形枠Ｃｉ、左側矩形枠Ｌｉ、右側矩形枠Ｒｉは、自車両からの距離に対応するピクセル距離に従って、縦方向座標が最下（最近位）の矩形枠から順に、Ｃｉ＝Ｃ１，Ｃ２，・・・、Ｌｉ＝Ｌ１，Ｌ２，・・・、Ｒｉ＝Ｒ１，Ｒ２，・・・のように配列される。The center rectangular frame Ci, left rectangular frame Li, and right rectangular frame Ri are arranged according to the pixel distance corresponding to the distance from the vehicle, starting from the rectangular frame with the lowest (closest) vertical coordinate: Ci = C1, C2, ..., Li = L1, L2, ..., Ri = R1, R2, ...
後述のように、割り込み予測の対象となるのは近景ないし中景に位置している矩形枠であり、遠景領域の矩形枠が有意な予測の対象となることはない。したがって、自車両からのピクセル距離（ｈＬｉ，ｈｌ２，ｈＣ１）が遠景領域と見做せる所定閾値以上の場合を予め除外してもよい。この閾値は後述の影響度（Ｒ）の閾値から求まる。 As will be described later, rectangular frames located in the near or middle distance are the targets of cut-in prediction, and rectangular frames in the distant view area are not the targets of significant prediction. Therefore, cases where the pixel distance (hLi , hl2 , hC1 ) from the vehicle is equal to or greater than a predetermined threshold value that is considered to be the distant view area may be excluded in advance. This threshold value is determined from the threshold value of the influence level (R) described later.
矩形枠は車幅に相当する幅を有しているので、道路に多少の曲率があっても、図２に示すような直線（中心線ｃ）による中央矩形枠Ｃｉの抽出で対応でき、近景ないし中景に位置している中央矩形枠Ｃｉが左側または右側に誤って分類されることはない。Since the rectangular frame has a width equivalent to the vehicle width, even if the road has some curvature, the central rectangular frame Ci can be extracted using a straight line (center line c) as shown in Figure 2, and a central rectangular frame Ci located in the foreground or middle ground will not be mistakenly classified as either the left or right side.
一方、図８に示すように、道路曲率を中心線ｃ′に反映させることもできる。例えば、入力画像８００において車線認識により左右の車線区分線ｍＬ，ｍＲを検出し、それらに基づいて中心線ｃ′が動的に設定されるようにすることもできる。On the other hand, as shown in Figure 8, the road curvature can also be reflected in the center line c'. For example, the left and right lane markings mL and mR can be detected in the input image 800 using lane recognition, and the center line c' can be dynamically set based on these.
また、測位システム２１の検知情報と地図情報２２から道路曲率を取得するか、車両の操舵角（またはヨーレート）から、車両が定常円旋回しているものと仮定して、運動方程式により定常円旋回半径を求め、アフィン変換により入力画像８００の中心線ｃ′に反映させることもできる。In addition, the road curvature can be obtained from the detection information of the positioning system 21 and the map information 22, or the steady-state circular turning radius can be calculated from the vehicle's steering angle (or yaw rate) using the equation of motion, assuming that the vehicle is making a steady-state circular turn, and this can be reflected in the center line c' of the input image 800 using an affine transformation.
なお、左側矩形枠Ｌｉおよび右側矩形枠Ｒｉの何れにおいても２以上の矩形枠が検出されない場合は、その時点で１フレームの処理は終了する。左側矩形枠Ｌｉまたは右側矩形枠Ｒｉの何れかに２以上の矩形枠が検出された場合は、当該矩形枠のループ処理（１３Ｌ～１６Ｌ，１３Ｒ～１６Ｒ）に移行する。If two or more rectangular frames are not detected in either the left rectangular frame Li or the right rectangular frame Ri, processing for one frame ends at that point. If two or more rectangular frames are detected in either the left rectangular frame Li or the right rectangular frame Ri, processing proceeds to the loop processing for that rectangular frame (13L-16L, 13R-16R).
この際、ブロック１２Ｃで少なくとも１つの中央矩形枠Ｃｉが検出されている場合は、ブロック１３Ｃで、入力画像２００の最下にある最近位の中央矩形枠Ｃ１のピクセル距離（ｈＣ１）が、次に述べる左側矩形枠Ｌｉ、右側矩形枠Ｒｉのループ処理（１３Ｌ～１６Ｌ，１３Ｒ～１６Ｒ）の終了条件の閾値に決定される。 In this case, if at least one central rectangular frame Ci is detected in block 12C, in block 13C, the pixel distance (hC1 ) of the closest central rectangular frame C1 at the bottom of the input image 200 is determined as the threshold value for the termination condition of the loop processing (13L to 16L, 13R to 16R) of the left rectangular frame Li and the right rectangular frame Ri described below.
具体的に、図２に示す入力画像２００では、左側領域には３つの矩形枠Ｌ１，Ｌ２，Ｌ３が検出されているが、最近位の中央矩形枠Ｃ１より近位側（下辺が下側、中央矩形枠Ｃ１よりもピクセル距離が小さい側）に存在するのは２つの矩形枠Ｌ１，Ｌ２のみであるため、これらの矩形枠Ｌ１，Ｌ２についてループ処理（１３Ｌ～１６Ｌ）が実行される。Specifically, in the input image 200 shown in Figure 2, three rectangular frames L1, L2, and L3 are detected in the left region, but only two rectangular frames L1 and L2 exist closer to the nearest central rectangular frame C1 (bottom side downward, closer in pixel distance than central rectangular frame C1), so loop processing (13L to 16L) is performed on these rectangular frames L1 and L2.
また、右側領域には２つの矩形枠Ｒ１，Ｒ２が検出されているが、最近位の中央矩形枠Ｃ１より近位側（下辺が下側）に存在するのは１つの矩形枠Ｒ１のみであるため、この矩形枠Ｒ１についてのみループ処理（１３Ｒ～１６Ｒ）が実行される。In addition, two rectangular frames R1 and R2 are detected in the right region, but only one rectangular frame R1 exists proximal to the nearest central rectangular frame C1 (with its bottom edge facing downwards), so loop processing (13R to 16R) is performed only for this rectangular frame R1.
ループ処理（１３Ｌ～１６Ｌ，１３Ｒ～１６Ｒ）では、先ず、ブロック１４Ｌ，１４Ｒにおいて、割り込み予測の指標となる（ａ）重合度、（ｂ）距離差率、（ｃ）影響度が算出される。In the loop processing (13L-16L, 13R-16R), first, blocks 14L and 14R calculate (a) the degree of overlap, (b) the distance difference rate, and (c) the degree of influence, which serve as indicators for interrupt prediction.
（ａ）重合度（ＩｏＭａｘＩ；Intersection over Maximum Intersection）は、左右各側の近位側の車両（第１の車両）とその先行車両（第２の車両）の実距離差を反映する指標であり、図３に示すように、矩形枠Ｌｉと次の矩形枠Ｌｊの重なり面積（Ｉｉｊ）の、矩形枠Ｌｉと次の矩形枠Ｌｊの最大かさなり面積（ＭａｘＩｉｊ）に対する比率として例えば次式で算出される。
重合度：ＩｏＭａｘＩ＝（Ｉｉｊ）／（ＭａｘＩｉｊ）
但し、矩形枠Ｌｉ、Ｌｊのピクセル座標
Ｌｉ（ｘi1，ｙi1；ｘi2，ｙi2），Ｌｊ（ｘj1，ｙj1；ｘj2，ｙj2）において、
ＭａｘＩｉｊ＝ｍｉｎ（ｘi2－ｘi1，ｘj2－ｘj1）＊
ｍｉｎ（ｙi2－ｙi1，ｙj2－ｙj1）
Ｉｉｊ＝（ｍａｘ（ｘi1，ｘj1）－ｍｉｎ（ｘi2，ｘj2））＊
（ｍａｘ（（ｙi1，ｙj1）－ｍｉｎ（ｙi2，ｙj2））(a) The degree of overlap (IoMaxI; Intersection over Maximum Intersection) is an index that reflects the difference in actual distance between the nearest vehicle (first vehicle) on each side and its preceding vehicle (second vehicle), and as shown in Figure 3, it is calculated, for example, using the following formula as the ratio of the overlap area (Iij ) between rectangular frame Li and the next rectangular frame Lj to the maximum overlap area (MaxIij ) between rectangular frame Li and the next rectangular frame Lj.
Degree of polymerization: IoMaxI=(Iij )/(MaxIij )
However, in the pixel coordinates Li(xi1 , yi1 ; xi2 , yi2 ), Lj(xj1 , yj1 ; xj2 , yj2 ) of the rectangular frames Li and Lj,
MaxIij =min(xi2 - xi1 , xj2 -x j1 )*
min(yi2 -yi1 ,yj2 -yj1 )
Iij = (max(xi1 , xj1 )−min(xi2 , xj2 ))*
(max((yi1 , yj1 )−min(yi2 , yj2 ))
（ｂ）距離差率（ＤＲ；Distance Rate）も重合度と同様に左右各側の近位側の車両（第１の車両）とその先行車両（第２の車両）の実距離差を反映する指標であり、矩形枠Ｌｉと次の矩形枠Ｌｊの下辺の縦方向座標の比率として例えば次式で算出される。
距離差率：ＤＲ＝｛（ｈＬｉ）／（ｈＬｊ）｝２(b) Distance Rate (DR), like the overlapping degree, is an index that reflects the actual distance difference between the nearest vehicle (first vehicle) on each side and the preceding vehicle (second vehicle), and is calculated, for example, using the following formula as the ratio of the vertical coordinate of the bottom side of the rectangular frame Li and the next rectangular frame Lj.
Distance difference rate: DR={(hLi )/(hLj )}2
（ｃ）影響度（Ｒ；または危険確率；Risk）は、仮に割り込みが発生した場合における自車両への影響の大きさを反映する指標であり、自車両に近い位置で割り込みが発生した場合ほど影響が大きく、自車両から遠い位置ほど影響が小さいことから、消失点ＶＰの縦方向座標（ｈｖ）に対する矩形枠Ｌｉの下辺の縦方向座標（ｈＬｉ）の比率として例えば次式で算出される。
影響度：Ｒ＝１－｛（ｈＬｉ）／（ｈｖ）｝２(c) The impact degree (R; or risk probability; Risk) is an index that reflects the magnitude of the impact on the vehicle if an intrusion occurs. The impact is greater if the intrusion occurs closer to the vehicle and smaller if the intrusion occurs farther from the vehicle. Therefore, the impact degree (R; or risk probability; Risk) is calculated, for example, using the following formula as the ratio of the vertical coordinate (hLi ) of the bottom side of the rectangular frame Li to the vertical coordinate (h v ) of the vanishing point VP.
Impact: R=1-{(hLi )/(hv)}2
なお、消失点ＶＰの縦方向座標（ｈｖ）は、平坦地で実車検証して求めても良いし、以下のようにカメラ取付ピッチ角とカメラ垂直視野角に基づいて算出しても良い。
消失点高さ：ｈｖ＝縦方向中心座標×(カメラ取付ピッチ角／カメラ垂直視野角） The vertical coordinate (hv) of the vanishing point VP may be determined by testing an actual vehicle on flat ground, or may be calculated based on the camera mounting pitch angle and the camera vertical viewing angle as follows:
Vanishing point height: hv = vertical center coordinate × (camera mounting pitch angle / camera vertical viewing angle)
また、上記に関連して、衛星測位システム２１の検知情報と地図情報２２に基づいて道路勾配を取得し、道路勾配に基づいて消失点高さ（ｈｖ）が動的に設定されるようにすることもできる。さらに、先述した道路曲率を中心線ｃ′に反映させる場合に、道路勾配に基づいて設定される消失点高さ（ｈｖ）に応じて補正されるようにすることもできる。In relation to the above, the road gradient can be obtained based on the detection information from the satellite positioning system 21 and the map information 22, and the vanishing point height (hv) can be dynamically set based on the road gradient. Furthermore, when the aforementioned road curvature is reflected in the center line c', it can also be corrected according to the vanishing point height (hv) set based on the road gradient.
次に、ブロック１５Ｌ，１５Ｒにおいて、割り込み予測の指標となる（ａ）重合度、（ｂ）距離差率、（ｃ）影響度の３つの指標がそれぞれの閾値と比較され、基本的には全ての指標が閾値以上の場合に割り込み可能性あり（ＹＥＳ）と判定され、ブロック１７の割り込み予測情報にカウントされる。Next, in blocks 15L and 15R, the three indicators for cut-in prediction, (a) degree of overlap, (b) distance difference rate, and (c) impact level, are compared with their respective thresholds, and basically, if all indicators are above their thresholds, it is determined that there is a possibility of cut-in (YES), and this is counted in the cut-in prediction information of block 17.
何れかの指標が閾値未満だった場合には割り込み予測情報にカウントされず、ブロック１３Ｌ，１３Ｒに戻り、最近位の中央矩形枠Ｃ１のピクセル距離（ｈＣ１）に基づいて終了条件の成否が確認され、終了条件が不成立の場合は、次の矩形枠のループ処理（１３Ｌ～１６Ｌ，１３Ｒ～１６Ｒ）を行う。 If any of the indicators is less than the threshold, it is not counted in the interrupt prediction information, and the process returns to blocks 13L and 13R, where the success or failure of the termination condition is confirmed based on the pixel distance (hC1 ) of the nearest central rectangular frame C1. If the termination condition is not met, the loop processing of the next rectangular frame (13L to 16L, 13R to 16R) is performed.
最近位の中央矩形枠Ｃ１のピクセル距離（ｈＣ１）に基づく終了条件が成立した場合、あるいは、ブロック１２Ｃで中央矩形枠Ｃｉが検出されない場合に左右各側で全ての矩形枠Ｌｉ，Ｒｉのループ処理（１３Ｌ～１６Ｌ，１３Ｒ～１６Ｒ）が完了した場合は、ブロック１７の割り込み予測情報出力に移行する。 When the termination condition based on the pixel distance (hC1 ) of the nearest central rectangular frame C1 is met, or when the central rectangular frame Ci is not detected in block 12C and the loop processing of all rectangular frames Li, Ri on each side (13L to 16L, 13R to 16R) is completed, the process proceeds to output of interrupt prediction information in block 17.
なお、左右何れかで割り込み可能性あり（ＹＥＳ）と判定された時点で当該フレームでのループ処理（１３Ｌ～１６Ｌ，１３Ｒ～１６Ｒ）を終了して、直ちにブロック１７の割り込み予測情報出力に移行してもよい。In addition, when it is determined that there is a possibility of an interrupt on either the left or right side (YES), the loop processing for that frame (13L-16L, 13R-16R) may be terminated and the process may immediately proceed to outputting interrupt prediction information in block 17.
割り込み予測情報出力１７では、カウントされた割り込み予測情報がある場合、左右何れかの車線を指定した割り込み予測情報を車両のＨＭＩ装置３０に出力する。あるいは、割り込み予測情報がカウントされた場合に割り込み予測フラグを立て、割り込み予測フラグが所定フレームまたは所定時間に亘って継続した場合に割り込み予測情報が出力されるようにすることもできる。When there is counted cut-in prediction information, the cut-in prediction information output 17 outputs cut-in prediction information specifying either the left or right lane to the vehicle's HMI device 30. Alternatively, when cut-in prediction information is counted, an cut-in prediction flag can be set, and when the cut-in prediction flag continues for a specified number of frames or a specified period of time, the cut-in prediction information can be output.
ＨＭＩ装置３０では画面表示やＨＵＤなどでの表示または音声などにより運転者に左右何れかの車線を指定して割り込みへの注意喚起の通知を行う。なお、本発明に係る割り込み予測システム１００は、ドライブレコーダーに搭載可能であり、その場合、ＨＭＩ装置３０はドライブレコーダーの表示画面などで構成される。The HMI device 30 notifies the driver of the lane to be careful of cutting in by specifying either the left or right lane via a screen display, HUD display, or audio. The cutting-in prediction system 100 according to the present invention can be mounted in a drive recorder, in which case the HMI device 30 is configured by the display screen of the drive recorder, etc.
また、車両がアダプティブクルーズコントロール（ＡＣＣ）により先行車両に所定の設定車間時間を維持するように追従走行している場合に、設定車間時間を一時的に短縮して割り込みが抑制されるようにして、割り込みによる速度変化が回避されるようにすることもできる。In addition, when a vehicle is using adaptive cruise control (ACC) to follow a preceding vehicle to maintain a predetermined set time interval, the set time interval can be temporarily shortened to suppress cutting in and avoid speed changes caused by cutting in.
本発明に係る割り込み予測は、片側２車線以上の幹線道路や高速道路のような中速域ないしは高速域で走行する場合に有効である反面、渋滞など低車速で走行しているような状況には適さない。そこで、測位システム２１の検知情報と地図情報２２または前方カメラ２０の画像からの車線認識により片側２車線以上の道路を走行中であることが検知され、かつ、自車両の車速が中車速以上（例えば５０ｋｍ／ｈ以上）である場合に、割り込み予測処理が実行されるか、または、割り込み予測情報出力が行われるように構成されてもよい。While the cut-in prediction according to the present invention is effective when traveling at medium to high speeds on arterial roads or expressways with two or more lanes in each direction, it is not suitable for situations where the vehicle is traveling at low speeds, such as in traffic jams. Therefore, the system may be configured to execute cut-in prediction processing or output cut-in prediction information when it is detected that the vehicle is traveling on a road with two or more lanes in each direction based on detection information from the positioning system 21 and lane recognition from map information 22 or images from the front camera 20, and the vehicle's speed is medium speed or higher (e.g., 50 km/h or higher).
次に、図４～図７は、それぞれの状況に応じた割り込み予測の実施例（入力画像）を示しており、以下、それぞれに対応する判定例について述べる。なお、各実施例における入力画像サイズは何れも１９２０×１０８０ピクセルであり、各実施例における重合度（ＩｏＭａｘＩ）、距離差率（ＤＲ）、影響度（Ｒ）の閾値は何れも０．４と設定した。Next, Figures 4 to 7 show examples (input images) of interrupt prediction for each situation, and the corresponding judgment examples are described below. Note that the input image size in each example was 1920 x 1080 pixels, and the thresholds for the degree of overlap (IoMaxI), distance difference rate (DR), and influence (R) in each example were all set to 0.4.
図４に示す入力画像４００では、中心線ｃ上の中央矩形枠や右側矩形枠は検出されておらず、中心線ｃの左側に２つの矩形枠Ｌ１，Ｌ２が検出されている。この例では、
矩形枠Ｌ１（ｘ11，ｙ11；ｘ12，ｙ12）＝（３０，４０２；４８０，７６２）、
矩形枠Ｌ２（ｘj1，ｙ21；ｘ22，ｙ22）＝（２８９，４３３；６０９，６８９）、
であり、矩形枠Ｌ１において、矩形枠Ｌ２との重合度：ＩｏＭａｘＩ＝０．５９７、距離差率：ＤＲ＝０．６６１、影響度：Ｒ＝０．６６３となり、何れも閾値０．４以上で割り込み可能性が高いと判定される。左側隣接車線の前方で先行車両Ｌ２の直ぐ後ろに先行車両Ｌ１があり、先行車両Ｌ１が先行車両Ｌ２を避けて自車両前方に割り込む可能性が高いと予測される状況である。 In the input image 400 shown in Figure 4, the central rectangular frame and the right rectangular frame on the center line c are not detected, but two rectangular frames L1 and L2 are detected on the left side of the center line c.
Rectangular frame L1 (x11 ,y11 ;x12 ,y12 ) = (30, 402; 480, 762),
Rectangular frame L2(xj1 , y21 ; x22 , y22 )=(289, 433; 609, 689),
In the rectangular frame L1, the overlapping degree with the rectangular frame L2 is IoMaxI = 0.597, the distance difference rate is DR = 0.661, and the influence rate is R = 0.663, all of which are equal to or greater than the threshold value of 0.4, and it is determined that there is a high possibility of cutting in. In this situation, there is a preceding vehicle L1 immediately behind the preceding vehicle L2 in the left adjacent lane, and it is predicted that there is a high possibility that the preceding vehicle L1 will cut in front of the host vehicle to avoid the preceding vehicle L2.
図５に示す入力画像５００でも同様に中央矩形枠や右側矩形枠は検出されず、左側に２つの矩形枠Ｌ１，Ｌ２が検出されている。この例では、
矩形枠Ｌ１（ｘ11，ｙ11；ｘ12，ｙ12）＝（４４０，４２３；７０５，６３５）、
矩形枠Ｌ２（ｘj1，ｙ21；ｘ22，ｙ22）＝（０，５１０，２８８；８７０）、
であり、矩形枠Ｌ１において、矩形枠Ｌ２との重合度：ＩｏＭａｘＩ＝０、距離差率：ＤＲ＝０．２２３、影響度：Ｒ＝０．８４９となり、重合度と距離差率が閾値０．４未満であるため、割り込み可能性は低いと判定される。先行車両Ｌ１は自車両に近い位置を走行しているが、先行車両Ｌ２との間には適度な車間距離が確保されており、割り込みの可能性は低いと予測される状況である。 Similarly, in the input image 500 shown in Figure 5, no central rectangular frame or right-side rectangular frame is detected, but two rectangular frames L1 and L2 are detected on the left side.
Rectangular frame L1 (x11 ,y11 ;x12 ,y12 ) = (440, 423; 705, 635),
Rectangular frame L2(xj1 , y21 ; x22 , y22 )=(0, 510, 288; 870),
In the rectangular frame L1, the overlap degree with the rectangular frame L2 is IoMaxI=0, the distance difference rate is DR=0.223, and the influence rate is R=0.849. Since the overlap degree and the distance difference rate are less than the threshold value of 0.4, it is determined that the possibility of cutting in is low. Although the preceding vehicle L1 is traveling close to the subject vehicle, an appropriate distance is secured between the subject vehicle and the preceding vehicle L2, and it is predicted that the possibility of cutting in is low.
図６に示す入力画像６００でも前記同様に左側に２つの矩形枠Ｌ１，Ｌ２が検出されている。この例では、
矩形枠Ｌ１（ｘ11，ｙ11；ｘ12，ｙ12）＝（７７５，４６０；８７５，５４０）、
矩形枠Ｌ２（ｘj1，ｙ21；ｘ22，ｙ22）＝（７２７，４８７；８２７，５６７）、
であり、矩形枠Ｌ１において、矩形枠Ｌ２との重合度：ＩｏＭａｘＩ＝０．３４５、距離差率：ＤＲ＝０．９０３、影響度：Ｒ＝０．０９８となり、重合度と影響度が閾値０．４未満であるため、割り込み可能性は低いと判定される。先行車両Ｌ１は先行車両Ｌ２に比較的近い位置を走行しているが、自車両に対しては前方に離れており、自車線前方に車線変更しても自車両は影響を受けないため、注意喚起すべき割り込み予測の対象にはカウントされない。 In the input image 600 shown in FIG. 6, two rectangular frames L1 and L2 are detected on the left side in the same manner as described above. In this example,
Rectangular frame L1 (x11 ,y11 ;x12 ,y12 ) = (775, 460; 875, 540),
Rectangular frame L2(xj1 , y21 ; x22 , y22 )=(727, 487; 827, 567),
In the rectangular frame L1, the overlapping degree with the rectangular frame L2 is IoMaxI=0.345, the distance difference rate is DR=0.903, and the influence degree is R=0.098. Since the overlapping degree and the influence degree are less than the threshold value of 0.4, it is determined that the possibility of cutting in is low. The preceding vehicle L1 is traveling relatively close to the preceding vehicle L2, but is farther ahead of the own vehicle, and even if the preceding vehicle L1 changes lanes ahead of the own vehicle, the own vehicle will not be affected, so it is not counted as a target for cutting in prediction that requires attention.
図７に示す入力画像７００では、中心線ｃ上の中央矩形枠Ｃ１が検出されるとともに、中心線ｃの左側に図４と同様に２つの矩形枠Ｌ１，Ｌ２が検出されている。この例でも、左側矩形枠Ｌ１における矩形枠Ｌ２との重合度、距離差率、影響度は何れも閾値０．４以上であり、計算上は割り込み可能性がカウントされる状況である。しかし、先行車両Ｃ１は先行車両Ｌ２よりも後方を走行しており、無理に割り込むような状況とも言えない。In the input image 700 shown in Figure 7, a central rectangular frame C1 is detected on the center line c, and two rectangular frames L1 and L2 are detected to the left of the center line c, as in Figure 4. In this example, the overlap degree, distance difference rate, and influence degree between the left rectangular frame L1 and the rectangular frame L2 are all above the threshold of 0.4, so the situation is calculated to indicate a possibility of cutting in. However, the leading vehicle C1 is traveling behind the leading vehicle L2, so it cannot be said that the situation calls for a forced cut-in.
そこで、ループ処理（１３Ｌ～１６Ｌ，１３Ｒ～１６Ｒ）の開始条件を、左右何れかの領域に、最近位の中央矩形枠Ｃ１より近位側（下辺が下側）に２以上の矩形枠が検出されている場合に限定すれば、図７のような状況での割り込み予測判定を回避できる。Therefore, by limiting the start condition for the loop processing (13L-16L, 13R-16R) to when two or more rectangular frames are detected in either the left or right region closer to the nearest central rectangular frame C1 (with the bottom edge facing downwards), it is possible to avoid interrupt prediction judgment in situations like the one shown in Figure 7.
また、このような場合には、先述した割り込み予測フラグの継続時間の閾値を設定することも有効である。図７のような状況でも所定時間以上継続する場合は、車線変更が実行される可能性が高くなると言える。In such cases, it is also effective to set a threshold for the duration of the cut-in prediction flag mentioned above. Even in a situation like that shown in Figure 7, if it continues for a predetermined period of time or longer, it can be said that there is a high possibility that a lane change will be performed.
なお、上記実施形態では、重合度（ＩｏＭａｘＩ）、距離差率（ＤＲ）、影響度（Ｒ）がそれぞれの閾値以上である場合に、当該矩形枠に対応する車両による割り込み可能性ありと判定する場合について述べたが、これらの指標のうち、重合度と距離差率は、何れも第１の車両とその先行車両（第２の車両）の実距離差を反映する指標であるため、何れか一方と影響度に基づいて割り込み予測を行うこともできる。In the above embodiment, it was described that when the degree of overlap (IoMaxI), distance difference rate (DR), and influence rate (R) are equal to or greater than their respective thresholds, it is determined that there is a possibility of an intrusion by the vehicle corresponding to the rectangular frame. However, of these indices, the degree of overlap and distance difference rate are both indices that reflect the actual distance difference between the first vehicle and its preceding vehicle (second vehicle). Therefore, it is also possible to make an intrusion prediction based on either one of these indices and the influence rate.
すなわち、重合度（ＩｏＭａｘＩ）または距離差率（ＤＲ）が閾値以上でありかつ影響度（Ｒ）が閾値以上である場合に、当該矩形枠に対応する車両による割り込み可能性ありと判定するようにシステムを構成することもできる。In other words, the system can be configured to determine that there is a possibility of a vehicle corresponding to the rectangular frame cutting in if the overlap degree (IoMaxI) or distance difference rate (DR) is equal to or greater than a threshold and the influence degree (R) is equal to or greater than a threshold.
あるいは、距離差率（ＤＲ）が閾値以上でありかつ影響度（Ｒ）が閾値以上である場合に、当該矩形枠に対応する車両による割り込み可能性ありと判定するようにシステムを構成することもできる。Alternatively, the system can be configured to determine that there is a possibility of a vehicle corresponding to the rectangular frame cutting in if the distance difference rate (DR) is equal to or greater than a threshold and the impact rate (R) is equal to or greater than a threshold.
以上、本発明のいくつかの実施形態について述べたが、本発明は上記各実施形態に限定されるものではなく、本発明の技術的思想に基づいてさらに各種の変形および変更が可能であることを付言する。Although several embodiments of the present invention have been described above, it should be noted that the present invention is not limited to the above embodiments, and various modifications and variations are possible based on the technical concept of the present invention.
１０ 画像処理ユニット
２０ 前方カメラ（単眼カメラ）
２１ 測位システム
２２ 地図情報
２３ 車両情報
３０ ＨＭＩ装置
１００ 割り込み予測システム10 Image processing unit 20 Front camera (monocular camera)
21 Positioning system 22 Map information 23 Vehicle information 30 HMI device 100 Interruption prediction system
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022005801AJP7716655B2 (en) | 2022-01-18 | 2022-01-18 | Vehicle interruption prediction system |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022005801AJP7716655B2 (en) | 2022-01-18 | 2022-01-18 | Vehicle interruption prediction system |
| Publication Number | Publication Date |
|---|---|
| JP2023104666A JP2023104666A (en) | 2023-07-28 |
| JP7716655B2true JP7716655B2 (en) | 2025-08-01 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022005801AActiveJP7716655B2 (en) | 2022-01-18 | 2022-01-18 | Vehicle interruption prediction system |
| Country | Link |
|---|---|
| JP (1) | JP7716655B2 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000242900A (en) | 1999-02-24 | 2000-09-08 | Mitsubishi Motors Corp | Interruption vehicle detection device |
| US20210192955A1 (en) | 2019-12-20 | 2021-06-24 | Mando Corporation | Vehicle and control method thereof |
| JP2021166038A (en) | 2020-04-01 | 2021-10-14 | 株式会社デンソー | Presentation control device and presentation control program |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000242900A (en) | 1999-02-24 | 2000-09-08 | Mitsubishi Motors Corp | Interruption vehicle detection device |
| US20210192955A1 (en) | 2019-12-20 | 2021-06-24 | Mando Corporation | Vehicle and control method thereof |
| JP2021166038A (en) | 2020-04-01 | 2021-10-14 | 株式会社デンソー | Presentation control device and presentation control program |
| Publication number | Publication date |
|---|---|
| JP2023104666A (en) | 2023-07-28 |
| Publication | Publication Date | Title |
|---|---|---|
| US11987239B2 (en) | Driving assistance device | |
| JP4420011B2 (en) | Object detection device | |
| JP5022609B2 (en) | Imaging environment recognition device | |
| JP6416293B2 (en) | Method of tracking a target vehicle approaching a car by a car camera system, a camera system, and a car | |
| JP5363921B2 (en) | Vehicle white line recognition device | |
| EP2928178B1 (en) | On-board control device | |
| US20120185167A1 (en) | Road Shape Recognition Device | |
| JP4832489B2 (en) | Lane judgment device | |
| WO2015125590A1 (en) | External-environment recognition system, vehicle, and camera-dirtiness detection method | |
| JP7662019B2 (en) | In-vehicle display device, method and program | |
| JP5680436B2 (en) | Foreign matter adhesion determination device for in-vehicle camera lens | |
| US20240383479A1 (en) | Vehicular sensing system with lateral threat assessment | |
| CN114093023A (en) | Moving body obstruction detection device, system, method, and storage medium | |
| JP2004310522A (en) | Image processing device for vehicles | |
| US12216470B2 (en) | Vehicle control system and vehicle driving method using the vehicle control system | |
| JP2010262437A (en) | Navigation device, determination method and determination program for traveling lane of own vehicle | |
| JP2004302621A (en) | Vehicle collision preventing device | |
| US7057502B2 (en) | Vehicle drive assist apparatus | |
| JP7716655B2 (en) | Vehicle interruption prediction system | |
| US20230150533A1 (en) | Vehicle control system and vehicle driving method using the vehicle control system | |
| US11816903B2 (en) | Method for determining a type of parking space | |
| US12125295B2 (en) | Road surface marking detection device, notification system provided with the same, and road surface marking detection method | |
| US12430925B2 (en) | Vehicle control system and vehicle driving method using the vehicle control system | |
| JP6082293B2 (en) | Vehicle white line recognition device | |
| US20240416903A1 (en) | Driving assistance apparatus |
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20241112 | |
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20250620 | |
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20250625 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20250703 | |
| R150 | Certificate of patent or registration of utility model | Ref document number:7716655 Country of ref document:JP Free format text:JAPANESE INTERMEDIATE CODE: R150 |