JP7033308B2 - Hazard Predictors, Hazard Prediction Methods, and Programs - Google Patents

Description

Translated fromJapanese

本発明は、危険予測装置、危険予測方法、及びプログラムに関する。 The present invention relates to a risk prediction device, a risk prediction method, and a program.

事業用貨物自動車による死亡事故者数が減少傾向にある中、事業用大型車による死亡事故者数については減少傾向が鈍化している。また、事業用大型車が関係する死亡事故のうち、対「人」の比率が４割近くを占め、そのうち７割近くが、人の横断中に発生し、その事故原因の約９割が運転者に起因するとされている。 While the number of fatal accidents caused by commercial freight vehicles is declining, the number of fatal accidents caused by large commercial vehicles is slowing down. In addition, among fatal accidents related to large commercial vehicles, the ratio of "people" to "people" accounts for nearly 40%, of which nearly 70% occur while people are crossing, and about 90% of the causes of the accidents are driving. It is said that it is caused by the person.

事業用大型車が関係する事故は、乗用車の事故に比べて社会的な損失が大きい傾向にある。これは、事故そのものの悲惨さはもとより、運転者はその地位を失い、事業者は損害保険料の増加が経営を圧迫し、さらに社会的な企業責任を厳しく追及されるからである。
しかしながら、事業用大型車が関係する事故のうち、事業用大型車が左折する際の巻き込み事故に関しては、運転者からの視認が困難な領域で発生する事故である。このため、運転者がどんなに注意を払ったとしても、巻き込み事故を完全に撲滅することは困難である。特に、自転車や二輪車などが後方から事業用大型車の側方に進入してくるケースでは、運転者がこれらを視認することは極めて困難であるとともに、重大な事故につながるおそれがある。このような状況の下、事業用大型車を製造するメーカに対しては、従来から、右左折時における車両側方や車両後方の領域に存在する人を検知できる運転者支援システムの導入が求められている。Accidents involving large commercial vehicles tend to have greater social losses than passenger car accidents. This is because not only the misery of the accident itself, but also the driver loses his position, the increase in non-life insurance premiums puts pressure on the management, and the social responsibility of the company is severely pursued.
However, among the accidents related to large commercial vehicles, the accident involving a large commercial vehicle when turning left is an accident that occurs in an area where it is difficult for the driver to see. For this reason, it is difficult to completely eliminate entanglement accidents, no matter how careful the driver is. In particular, in cases where a bicycle or two-wheeled vehicle enters the side of a large commercial vehicle from behind, it is extremely difficult for the driver to visually recognize them, and there is a risk of causing a serious accident. Under these circumstances, manufacturers of large commercial vehicles have traditionally been required to introduce a driver support system that can detect people present on the side of the vehicle or in the area behind the vehicle when turning left or right. Has been done.

しかしながら、事業用大型車を製造する各メーカにおいて、運転者支援システムの開発は進んでいない。その主な要因としては、（１）事業用大型車の市場規模が、普通自動車市場の約１２８分の１と小さいこと、（２）事業用大型車の車両サイズが積載量毎に異なるためセンサの共用化が難しく、小ロット・多品種での供給に対応できないこと、（３）普通自動車市場のように、多大な開発費を投入することができないため、柔軟に機種対応を行うことが困難であること、がある。すなわち、これらの供給条件が求められる事業用大型車の市場は、大量生産を得意とする大手企業にとって不向きな市場となる。これが、技術開発が進まない主な要因となっている。 However, the development of driver support systems has not progressed in each manufacturer of large commercial vehicles. The main reasons for this are (1) the market size of large commercial vehicles is as small as about 1/128 of the ordinary automobile market, and (2) the size of large commercial vehicles varies depending on the load capacity, so sensors are used. It is difficult to flexibly support models because it is difficult to share the products and it is not possible to supply small lots and a wide variety of products, and (3) it is not possible to invest a large amount of development costs as in the ordinary automobile market. There is. In other words, the market for large commercial vehicles, which require these supply conditions, is unsuitable for large companies that specialize in mass production. This is the main reason why technological development has not progressed.

運転者支援システムの分野における従来技術としては、（１）全周囲モニタ技術と、（２）前方障害物検知技術とがある。このうち、（１）の全周囲モニタ技術は、表示機能にすぎないため障害物を検知することができない。また、（２）の前方障害物検知技術は、前方の障害物を検知することに特化した技術であるため、事業用大型車に求められる、側方や後方の障害物検知の技術に転用することは困難である。 Conventional technologies in the field of driver support systems include (1) omnidirectional monitor technology and (2) forward obstacle detection technology. Of these, the omnidirectional monitor technology (1) cannot detect obstacles because it is only a display function. In addition, since the front obstacle detection technology (2) is a technology specialized in detecting obstacles in front, it is diverted to the technology for detecting side and rear obstacles required for large commercial vehicles. It's difficult to do.

事業用大型車の運転者が危険を予測するためには、対象物（人、自転車、二輪車等）の種別を早期に認識し、かつ、対象物の位置や移動方向等に基づいて、事業用大型車への衝突可能性を推定する必要がある。一般的に用いられている車載カメラの画像から対象物の種別を認識することは可能ではあるが、対象物の位置や移動方向等に基づいて、対象物が事業用大型車に衝突する可能性を推定することは困難である。 In order for the driver of a large commercial vehicle to predict danger, the type of object (person, bicycle, motorcycle, etc.) should be recognized at an early stage, and the vehicle should be used for commercial purposes based on the position and moving direction of the object. It is necessary to estimate the possibility of collision with a large vehicle. Although it is possible to recognize the type of the object from the image of a commonly used in-vehicle camera, the object may collide with a large commercial vehicle based on the position and moving direction of the object. Is difficult to estimate.

例えば、特許文献１には、自車の周辺の物体の相対位置や相対速度を計測するセンサと、単眼カメラとを用いる場合にも、障害物を認識することができる、とされる車両用障害物認識装置が提案されている。 For example,Patent Document 1 states that an obstacle can be recognized even when a sensor for measuring the relative position and relative speed of an object around the own vehicle and a monocular camera are used. An object recognition device has been proposed.

特開２００８－２７６６８９号公報Japanese Unexamined Patent Publication No. 2008-276689

しかしながら、特許文献１で提案されている技術を含め、従来の技術には少なくとも以下の（１）～（３）の問題がある。すなわち、（１）接近物と離反物との双方からのレーダ反射波を検出する場合、両者を判別することができないことがある。具体的には例えば、車両側方後ろ向きにレーダを設置した場合に、道路上に存在する電柱や樹木等の安全物からのレーダ反射波と、接近する二輪車等の危険物からのレーダ反射波とがすれ違うと、レーダ反射波がクロスしてしまい、区別することができなくなる。また、（２）接近物が急に停止したり、接近物が急に加速したりするなど、接近物に急激な速度変化が生じると、接近物を追従することができない。具体的には例えば、後方の車両と並行して走っていた二輪車が、急加速で追い抜きをかけると、レーダのみの１次元の場合には、二輪車の挙動（速度変化）を得ることが困難となる。さらに、（３）「人」のレーダ反射波を検出するのが困難である。具体的には、人体の形状は複雑であるため、「人」のレーダ反射波のレベルは、ばらつきが大きいデータとなる。このため、レーダ反射波の形状が細切れの状態になり、有効な反射物として検出することができない。 However, the conventional techniques including the technique proposed inPatent Document 1 have at least the following problems (1) to (3). That is, (1) when detecting radar reflected waves from both an approaching object and a detached object, it may not be possible to distinguish between them. Specifically, for example, when the radar is installed backward on the side of the vehicle, the radar reflected wave from a safe object such as an electric pole or a tree existing on the road and the radar reflected wave from a dangerous object such as an approaching two-wheeled vehicle. If they pass each other, the radar reflected waves will cross and cannot be distinguished. Further, (2) if the approaching object suddenly stops or the approaching object suddenly accelerates, or if the approaching object suddenly changes in speed, the approaching object cannot be followed. Specifically, for example, if a two-wheeled vehicle running in parallel with a vehicle behind it overtakes with sudden acceleration, it is difficult to obtain the behavior (speed change) of the two-wheeled vehicle in the case of one-dimensional radar only. Become. Furthermore, (3) it is difficult to detect the radar cross section of "human". Specifically, since the shape of the human body is complicated, the level of the radar reflected wave of the "human" is data with large variations. Therefore, the shape of the radar reflected wave becomes shredded and cannot be detected as an effective reflecting object.

本発明は、このような状況に鑑みてなされたものであり、車両の運転者の死角となる後方部及び側方部において、接近物と離反物とを的確に判別し、接近物の急激な速度変化に的確に対応し、「人」を的確に判別することで、車両と交通弱者との交通事故を未然に防ぐための情報を運転者に提供することを目的とする。 The present invention has been made in view of such a situation, and in the rear portion and the side portion which are blind spots of the driver of the vehicle, an approaching object and a detached object can be accurately discriminated, and the approaching object is suddenly abruptly discriminated. The purpose is to provide drivers with information to prevent traffic accidents between vehicles and vulnerable people by accurately responding to speed changes and accurately identifying "people."

上記目的を達成するため、本発明の一態様である危険予測装置は、
車両に搭載される危険予測装置であって、
前記車両の周囲の領域のうち測定可能領域に存在する反射物までの距離を計測し、当該計測の結果に基づいた距離データを生成する距離データ生成手段と、
前記距離データを時間軸の方向に蓄積させた時空間データを含む入力データに基づいて、前記反射物の時空間上の距離変化を示す第１画像データを生成し、生成された前記第１画像データ上に、前記反射物の反射データを表示させる反射データ表示手段と、
前記第１画像データ上に表示された、１又は２以上の前記反射データを、移動体を示す移動体反射データと、固定体を示す固定体反射データとにそれぞれ識別する第１識別手段と、
前記移動体反射データにより示される前記移動体の、移動速度、加速度、及び移動方向を含む移動体データを生成する移動体データ生成手段と、
前記車両の周囲を撮像する撮像手段と、
撮像された画像に基づく第２画像データを生成する第２画像データ生成手段と、
生成された前記第２画像データと、前記移動体データとを少なくとも含む情報に基づいて、前記第２画像データに含まれる前記移動体のうち、前記車両に接近する移動体を識別する第２識別手段と、
を備える。In order to achieve the above object, the risk prediction device according to one aspect of the present invention is
It is a danger prediction device installed in a vehicle.
A distance data generation means that measures the distance to a reflective object existing in a measurable area of the area around the vehicle and generates distance data based on the measurement result.
Based on the input data including the spatiotemporal data obtained by accumulating the distance data in the direction of the time axis, the first image data showing the spatiotemporal distance change of the reflector is generated, and the generated first image. A reflection data display means for displaying the reflection data of the reflective object on the data,
A first identification means for discriminating one or more of the reflection data displayed on the first image data into a moving body reflection data indicating a moving body and a fixed body reflection data indicating a fixed body, respectively.
A mobile data generation means for generating mobile data including a moving speed, an acceleration, and a moving direction of the moving body indicated by the moving body reflection data.
An imaging means that images the surroundings of the vehicle, and
A second image data generation means for generating a second image data based on the captured image, and a second image data generation means.
A second identification that identifies a moving body approaching the vehicle among the moving bodies included in the second image data based on information including at least the generated second image data and the moving body data. Means and
To prepare for.

この発明によれば、車両の運転者の死角となる後方部及び側方部において、接近物と離反物とを的確に判別することが可能となる。 According to the present invention, it is possible to accurately discriminate between an approaching object and a detached object in the rear portion and the side portion which are blind spots of the driver of the vehicle.

また、本発明の一態様の危険予測装置において、前記第１識別手段は、空間フィルタリング処理により、前記１又は２以上の前記反射データを、前記移動体を示す移動体反射データと、前記固定体反射データとにそれぞれ識別することができる、ことが好ましい。
この発明によれば、１又は２以上の反射データの中から、車両に接近する移動体反射データを識別表示させることができる。Further, in the danger prediction device of one aspect of the present invention, the first identification means performs spatial filtering processing to obtain the one or two or more of the reflection data, the mobile reflection data indicating the moving body, and the fixed body. It is preferable that they can be distinguished from the reflection data.
According to the present invention, it is possible to identify and display the moving object reflection data approaching the vehicle from one or more reflection data.

また、本発明の一態様の危険予測装置において、空間フィルタリング処理が、ガボールフィルタを複数段用いた処理である、ことが好ましい。
この発明によれば、時空間データにおける線分の傾き（角度）を検出することができる。Further, in the risk prediction device of one aspect of the present invention, it is preferable that the spatial filtering process is a process using a plurality of stages of Gabor filters.
According to the present invention, the slope (angle) of a line segment in spatiotemporal data can be detected.

また、本発明の一態様の危険予測装置において、前記第２識別手段は、さらに、前記移動体の水平方向の位置の特定を行う、ことが好ましい。
また、本発明の一態様の危険予測装置において、前記第２識別手段は、さらに、識別した前記移動体の種類を特定する、ことが好ましい。
これらの発明によれば、危険予測が精度良く行われるための前提となる第２画像データの正確性を担保することができる。Further, in the danger prediction device of one aspect of the present invention, it is preferable that the second identification means further identifies the horizontal position of the moving body.
Further, in the danger prediction device of one aspect of the present invention, it is preferable that the second identification means further specifies the type of the identified moving object.
According to these inventions, the accuracy of the second image data, which is a prerequisite for accurate risk prediction, can be ensured.

また、本発明の一態様の危険予測装置において、前記種類には、人間が少なくとも含まれる、ことが好ましい。
この発明によれば、接近物（移動体３１）の急激な速度変化に的確に対応し、「人」を的確に判別することが可能となる。Further, in the risk prediction device of one aspect of the present invention, it is preferable that the type includes at least a human being.
According to the present invention, it is possible to accurately respond to a sudden change in speed of an approaching object (moving body 31) and accurately identify a "person".

また、本発明の一態様の危険予測装置において、
前記測定可能領域のうち、前記車両と前記移動体との間で交通事故が起きるリスクが高い領域を危険領域として予め設定する危険領域設定手段と、
前記時空間パターンに基づいて、前記車両の移動軌跡と、前記移動体の移動軌跡とを評価して、前記移動体が前記危険領域に進入するおそれがあるか否かを判断し、進入するおそれがあると判断した場合に、その旨を危険予測として前記運転者に提示する危険予測手段と、
をさらに備える、ことが好ましい。
この発明によれば、車両と交通弱者との交通事故を未然に防ぐための情報を運転者に提供することができる。Further, in the risk prediction device of one aspect of the present invention,
Among the measurable areas, a danger area setting means for presetting a area where there is a high risk of a traffic accident between the vehicle and the moving body as a danger area, and
Based on the space-time pattern, the movement locus of the vehicle and the movement locus of the moving body are evaluated to determine whether or not the moving body may enter the dangerous area, and the moving body may enter. When it is determined that there is, a danger prediction means that presents that fact to the driver as a danger prediction, and
It is preferable to further provide.
According to the present invention, it is possible to provide the driver with information for preventing a traffic accident between the vehicle and a vulnerable person.

また、本発明の一態様の危険予測装置において、前記第２識別手段は、前記距離データ生成手段及び前記撮像手段の設置環境に応じて、前記測定可能領域と、前記第２画像データとを調整する、ことが好ましい。
この発明によれば、危険予測が精度良く行われるための前提となる、第２画像データの正確性を担保することができる。Further, in the danger prediction device of one aspect of the present invention, the second identification means adjusts the measurable area and the second image data according to the installation environment of the distance data generation means and the image pickup means. It is preferable to do.
According to the present invention, it is possible to ensure the accuracy of the second image data, which is a premise for the risk prediction to be performed accurately.

本発明の一態様の危険予測方法及びプログラムは、上述の本発明の一態様の危険予測装置に対応する方法及びプログラムである。 The risk prediction method and program according to one aspect of the present invention are the methods and programs corresponding to the above-mentioned risk prediction device according to one aspect of the present invention.

本発明によれば、車両の運転者の死角となる後方部及び側方部において、接近物と離反物とを的確に判別し、接近物の急激な速度変化に的確に対応し、「人」を的確に判別することで、車両と交通弱者との交通事故を未然に防ぐための情報を運転者に提供することができる。 According to the present invention, in the rear part and the side part which are blind spots of the driver of the vehicle, the approaching object and the detached object are accurately discriminated, and the sudden speed change of the approaching object is accurately dealt with, and the "person". By accurately determining the above, it is possible to provide the driver with information for preventing a traffic accident between the vehicle and a vulnerable person.

本発明に係る危険予測装置の構成を示すイメージ図である。It is an image diagram which shows the structure of the risk prediction apparatus which concerns on this invention.図１の危険予測装置のハードウェア構成を示すブロック図である。It is a block diagram which shows the hardware composition of the danger prediction apparatus of FIG.図１の危険予測装置の機能的構成のうち、危険予測処理を実現するための機能的構成の一例を示す機能ブロック図である。It is a functional block diagram which shows an example of the functional configuration for realizing the danger prediction processing among the functional configurations of the danger prediction apparatus of FIG.車両に搭載されたレーダが測定可能とする最大距離と、最大角度とにより定まる、レーダが測定可能とする最大領域を示す図である。It is a figure which shows the maximum area which a radar can measure, which is determined by the maximum distance which a radar mounted on a vehicle can measure, and the maximum angle.ガボールフィルタを用いて時空間解析を行う場合の処理の流れを示すフローチャートである。It is a flowchart which shows the flow of processing when the space-time analysis is performed using a Gabor filter.ガボールフィルタを用いた時空間解析の結果を示す図である。It is a figure which shows the result of the spatiotemporal analysis using the Gabor filter.画像データ中に存在する移動体までの距離と同一の距離の範囲を示す領域を含む画像の切り出しを行う処理の流れを示す図である。It is a figure which shows the flow of the process of cutting out the image including the area which shows the range of the same distance as the distance to the moving body existing in the image data.サポートベクターマシン（ＳＶＭ）空間によるトラッキングアルゴリズムを用いて移動体を認識する様子を示す図である。It is a figure which shows the state of recognizing a moving object using a tracking algorithm by a support vector machine (SVM) space.円弧上における水平方向から移動体の角度を算出し、車両と移動体との相対位置を特定する手法を示す図である。It is a figure which shows the method of calculating the angle of a moving body from the horizontal direction on an arc, and specifying the relative position between a vehicle and a moving body.レーダ及びカメラを、設置環境に対応させる手法を示す図である。It is a figure which shows the method of making a radar and a camera correspond to the installation environment.２次元マップの具体例を示す図である。It is a figure which shows the concrete example of the 2D map.危険予測の具体例を示す図である。It is a figure which shows a concrete example of a risk prediction.図３の機能的構成を有する危険予測装置が実行する一連の処理の流れを示すフローチャートである。It is a flowchart which shows the flow of a series of processing executed by the risk prediction apparatus which has the functional configuration of FIG.

以下、本発明の実施形態について図面を用いて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図１は、本発明に係る危険予測装置１の構成を示すイメージ図である。 FIG. 1 is an image diagram showing the configuration of thedanger prediction device 1 according to the present invention.

危険予測装置１は、図１に示すように、運転者Ｄが運転する車両１０に搭載される装置である。危険予測装置１は、車両１０の後方と側方とを少なくとも含む周囲の空間に存在する物体を検出し、このうち移動体３１のみを抽出して、抽出された移動体３１が交通弱者７０であるか否かを判断する。なお、「少なくとも」とは、他の方向が含まれていてもよいことを意味する。すなわち、車両１０の後方と側方に限らず、車両１０の前方、上方、下方等が含まれていてもよい。危険予測装置１は、移動体３１が交通弱者７０であると判断した場合には、車両１０を運転する運転者Ｄに対し、車両１０と交通弱者７０との位置関係を示す画像情報（以下「時空間パターン」と呼ぶ）が表示された２次元のマップ（以下「２次元マップ」と呼ぶ）と、予測される未来の危険に関する情報（以下「危険予測」と呼ぶ）とを提示する。 As shown in FIG. 1, thedanger prediction device 1 is a device mounted on thevehicle 10 driven by the driver D. Thedanger prediction device 1 detects an object existing in the surrounding space including at least the rear side and the side surface of thevehicle 10, extracts only the movingbody 31, and the extracted movingbody 31 is the traffic vulnerable person 70. Determine if it exists. In addition, "at least" means that other directions may be included. That is, it is not limited to the rear and side of thevehicle 10, but may include the front, upper, lower, and the like of thevehicle 10. When thedanger prediction device 1 determines that the movingbody 31 is the vulnerable traffic person 70, the image information indicating the positional relationship between thevehicle 10 and the vulnerable traffic person 70 to the driver D who drives the vehicle 10 (hereinafter, "" A two-dimensional map (hereinafter referred to as "two-dimensional map") displaying a "spatio-temporal pattern") and information on a predicted future danger (hereinafter referred to as "danger prediction") are presented.

ここで、「車両」とは、道路交通法上の車（例えば普通自動車、原動機付自転車、軽車両等）や、戦車、装甲車、自走砲等の軍用車両、トラックやトロリーバス等の大型自動車、建設機械のうち自走する建設車両、農業機械のうち自走する農業車両、産業機械のうち自走する産業車両等の乗り物を意味する。
「移動体」とは、空間を移動する物体のことをいう。「交通弱者」とは、移動体のうち、歩行者、自転車、バイク、及びこれらに類するものであって、主に車両１０よりもサイズが小さい物体のことをいう。Here, the "vehicle" is a vehicle under the Road Traffic Act (for example, an ordinary vehicle, a motorized bicycle, a light vehicle, etc.), a military vehicle such as a tank, an armored vehicle, a self-propelled gun, or a large vehicle such as a truck or a trolley bus. It means a vehicle such as a self-propelled construction vehicle among construction machines, a self-propelled agricultural vehicle among agricultural machines, and a self-propelled industrial vehicle among industrial machines.
A "moving body" is an object that moves in space. The "vulnerable person" refers to a moving object such as a pedestrian, a bicycle, a motorcycle, or the like, which is mainly smaller in size than thevehicle 10.

本実施形態における危険予測装置１は、図１に示すように、主にトラック等の大型の車両１０に搭載される。大型の車両１０の後方部及び側方部には、運転者Ｄにとっての死角となる領域（以下「死角領域」と呼ぶ）Ｑが広く存在する。このため、運転者Ｄが、運転中に死角領域Ｑをどのように認識するかは、安全運転を行ううえで非常に重要な事項となる。 As shown in FIG. 1, thedanger prediction device 1 in the present embodiment is mainly mounted on alarge vehicle 10 such as a truck. In the rear portion and the side portion of thelarge vehicle 10, a region Q that is a blind spot for the driver D (hereinafter referred to as a “blind spot region”) Q is widely present. Therefore, how the driver D recognizes the blind spot region Q during driving is a very important matter for safe driving.

危険予測装置１は、後述する手法を用いて死角領域Ｑの状況を的確に判断するので、例えば車両１０に接近する移動体３１と、車両１０から離反する固定体４０とがすれ違ったとしても、これらを的確に判別することができる。また、車両１０に接近する移動体３１に急激な速度変化が生じたとしても、危険予測装置１であれば、速度変化に追従した対応を行うことができる。さらに、危険予測装置１であれば、レーダ反射波のレベルのばらつきが大きい「人」を正確に判別することができる。
このような危険予測装置１は、運転者Ｄに対し、２次元マップと危険予測とを提示することができる。これにより、運転者Ｄは、交通弱者７０との間で交通事故が起きる可能性があることを好適なタイミングで知ることができる。その結果、車両１０の死角領域Ｑで生じ得る車両１０と交通弱者７０との交通事故を未然に防ぐための情報を運転者Ｄに提供することができる。Since thedanger prediction device 1 accurately determines the situation of the blind spot region Q by using a method described later, for example, even if the movingbody 31 approaching thevehicle 10 and the fixedbody 40 away from thevehicle 10 pass each other. These can be accurately discriminated. Further, even if a sudden speed change occurs in the movingbody 31 approaching thevehicle 10, thedanger prediction device 1 can respond according to the speed change. Further, thedanger prediction device 1 can accurately discriminate a "person" having a large variation in the level of the radar reflected wave.
Such adanger prediction device 1 can present a two-dimensional map and a danger prediction to the driver D. As a result, the driver D can know at an appropriate timing that a traffic accident may occur with the vulnerable traffic person 70. As a result, it is possible to provide the driver D with information for preventing a traffic accident between thevehicle 10 and the vulnerable traffic person 70, which may occur in the blind spot region Q of thevehicle 10.

図２は、図１の危険予測装置１のハードウェア構成を示すブロック図である。 FIG. 2 is a block diagram showing a hardware configuration of thedanger prediction device 1 of FIG.

危険予測装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、出力部１６と、入力部１７と、記憶部１８と、通信部１９と、ドライブ２０とを備えている。 Thedanger prediction device 1 includes a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, abus 14, an input /output interface 15, anoutput unit 16, and an input unit. A 17, astorage unit 18, acommunication unit 19, and adrive 20 are provided.

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１８からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。TheCPU 11 executes various processes according to the program recorded in theROM 12 or the program loaded from thestorage unit 18 into theRAM 13.
Data and the like necessary for theCPU 11 to execute various processes are also appropriately stored in theRAM 13.

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、出力部１６、入力部１７、記憶部１８、通信部１９及びドライブ２０が接続されている。 TheCPU 11,ROM 12 andRAM 13 are connected to each other via thebus 14. An input /output interface 15 is also connected to thebus 14. Anoutput unit 16, aninput unit 17, astorage unit 18, acommunication unit 19, and adrive 20 are connected to the input /output interface 15.

出力部１６は各種液晶ディスプレイ等で構成され、各種情報を出力する。
入力部１７は、各種ハードウェア鉛等で構成され、各種情報を入力する。
記憶部１８は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種データを記憶する。
通信部１９は、インターネットを含むネットワークＮを介して他の装置との間で行う通信を制御する。Theoutput unit 16 is composed of various liquid crystal displays and the like, and outputs various information.
Theinput unit 17 is composed of various hardware leads and the like, and inputs various information.
Thestorage unit 18 is composed of a DRAM (Dynamic Random Access Memory) or the like, and stores various data.
Thecommunication unit 19 controls communication with other devices via the network N including the Internet.

ドライブ２０は、必要に応じて設けられる。ドライブ２０には磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３０が適宜装着される。ドライブ２０によってリムーバブルメディア３０から読み出されたプログラムは、必要に応じて記憶部１８にインストールされる。またリムーバブルメディア３０は、記憶部１８に記憶されている各種データも、記憶部１８と同様に記憶することができる。 Thedrive 20 is provided as needed. Aremovable medium 30 made of a magnetic disk, an optical disk, a magneto-optical disk, a semiconductor memory, or the like is appropriately mounted on thedrive 20. The program read from theremovable media 30 by thedrive 20 is installed in thestorage unit 18 as needed. Further, theremovable media 30 can also store various data stored in thestorage unit 18 in the same manner as thestorage unit 18.

次に、このようなハードウェア構成を持つ危険予測装置１の機能的構成について、図３～図１２を参照して説明する。
図３は、図１の危険予測装置１の機能的構成のうち、危険予測処理を実現するための機能的構成の一例を示す機能ブロック図である。
図４は、車両１０に搭載されたレーダ１２０が測定可能とする最大距離（以下「測定可能距離」と呼ぶ）Ｌと、最大角度（以下「測定可能角度」と呼ぶ）Ｋとにより定まる、レーダ１２０が測定可能とする最大領域（以下「測定可能領域」と呼ぶ）Ｍを示す図である。図４（Ａ）は、車両１０を平面から見た場合における測定可能領域Ｍを示す図である。図４（Ｂ）は、車両１０を側方から見た場合における測定可能領域Ｍを示す図である。
図５は、ガボールフィルタを用いて時空間解析を行う場合の処理の流れを示すフローチャートである。
図６は、ガボールフィルタを用いた時空間解析の結果を示す図である。図６（Ａ）は、減速する車両１０を、バイクが追い抜くシーンを示す図である。図６（Ｂ）は、横軸を時間とし縦軸を反射レベルとするグラフである。図６（Ｃ）は、図６（Ａ）に示すシーンを図６（Ｂ）のグラフに基づいて時空間解析した結果を示す図であり、縦軸は時間Ｔ、横軸は距離Ｐを表している。
図７は、画像データ中に存在する移動体までの距離Ｐと同一の距離の範囲を示す領域を含む画像Ｓの切り出しを行う処理の流れを示す図である。
図８は、サポートベクターマシン（ＳＶＭ）空間によるトラッキングアルゴリズムを用いて移動体３１を認識する様子を示す図である。
図９は、円弧状の線分Ｗにおける水平方向から移動体の角度を算出し、車両と移動体との相対位置を特定する手法を示す図である。
図１０は、レーダ１２０及びカメラ１２１を、設置環境に対応させる手法を示す図である。
図１１は、２次元マップの具体例を示す図である。
図１２は、危険予測の具体例を示す図である。
図１３は、図３の機能的構成を有する危険予測装置１が実行する一連の処理の流れを示すフローチャートである。Next, the functional configuration of thedanger prediction device 1 having such a hardware configuration will be described with reference to FIGS. 3 to 12.
FIG. 3 is a functional block diagram showing an example of the functional configuration for realizing the danger prediction process among the functional configurations of thedanger prediction device 1 of FIG. 1.
FIG. 4 shows a radar determined by a maximum distance (hereinafter referred to as “measurable distance”) L that can be measured by aradar 120 mounted on avehicle 10 and a maximum angle (hereinafter referred to as “measurable angle”) K. It is a figure which shows the maximum area (hereinafter referred to as "measurable area") M that 120 can measure. FIG. 4A is a diagram showing a measurable region M when thevehicle 10 is viewed from a plane. FIG. 4B is a diagram showing a measurable region M when thevehicle 10 is viewed from the side.
FIG. 5 is a flowchart showing a processing flow when performing spatiotemporal analysis using a Gabor filter.
FIG. 6 is a diagram showing the results of spatiotemporal analysis using a Gabor filter. FIG. 6A is a diagram showing a scene in which a motorcycle overtakes a deceleratingvehicle 10. FIG. 6B is a graph in which the horizontal axis is time and the vertical axis is the reflection level. FIG. 6C is a diagram showing the results of spatiotemporal analysis of the scene shown in FIG. 6A based on the graph of FIG. 6B, in which the vertical axis represents time T and the horizontal axis represents distance P. ing.
FIG. 7 is a diagram showing a flow of processing for cutting out an image S including a region showing a range of the same distance as the distance P to a moving body existing in the image data.
FIG. 8 is a diagram showing how the movingbody 31 is recognized by using a tracking algorithm based on a support vector machine (SVM) space.
FIG. 9 is a diagram showing a method of calculating the angle of a moving body from the horizontal direction in the arcuate line segment W and specifying the relative position between the vehicle and the moving body.
FIG. 10 is a diagram showing a method of adapting theradar 120 and thecamera 121 to the installation environment.
FIG. 11 is a diagram showing a specific example of a two-dimensional map.
FIG. 12 is a diagram showing a specific example of risk prediction.
FIG. 13 is a flowchart showing a flow of a series of processes executed by thedanger prediction device 1 having the functional configuration of FIG.

図３に示すように、危険予測装置１のＣＰＵ１１（図２）において危険予測処理が実行される場合には、センサ部１０１と、撮像部１０２と、画像処理部１０３と、２次元マップ生成提示部１０４と、危険予測部１０５とが機能する。記憶部１８（図２）の一領域には、距離ＤＢ４０１と、画像ＤＢ４０２と、自車ＤＢ４０３、時空間ＤＢ４０４とが設けられている。 As shown in FIG. 3, when the danger prediction process is executed in the CPU 11 (FIG. 2) of thedanger prediction device 1, thesensor unit 101, theimage pickup unit 102, theimage processing unit 103, and the two-dimensional map generation presentation are performed. Theunit 104 and thedanger prediction unit 105 function. Adistance DB 401, animage DB 402, avehicle DB 403, and a space-time DB 404 are provided in one area of the storage unit 18 (FIG. 2).

（センサ部）
センサ部１０１は、距離データ生成部１１１と、自車データ生成部１１２と、時空間解析部１１３とを含むように構成される。(Sensor part)
Thesensor unit 101 is configured to include a distancedata generation unit 111, a vehicledata generation unit 112, and aspatiotemporal analysis unit 113.

距離データ生成部１１１は、車両１０の周囲の領域のうち、測定可能領域Ｍに存在する反射物２１までの距離Ｐを計測し、この計測結果に基づいた情報（以下「距離データ」と呼ぶ）を生成する。距離データ生成部１１１により生成された距離データは、距離ＤＢ４０１に記憶されて管理される。距離データ生成部１１１が反射物２１までの距離Ｐを測定する具体的な手法は特に限定されない。２４ＧＨｚ帯の周波数帯を利用したマイクロ波レーダ、６０ＧＨｚ帯及び７６ＧＨｚ帯の周波数帯を利用したミリ波レーダ、赤外線センサ等を用いることができる。なお、本実施形態では、マイクロ波レーダ（以下、単に「レーダ」と呼ぶ）１２０を採用し、周波数変調された連続波（ＦＭＣＷ／Ｆｒｅｑｕｅｎｃｙ Ｍｏｄｕｌａｔｅｄ Ｃｏｎｔｉｎｕｏｕｓ Ｗａｖｅ ｒａｄａｒ）によって反射物２１までの距離Ｐを計測して距離データを生成する。レーダ１２０を用いることにより、後述するカメラ１２１により撮像された画像に基づく画像データでは測定することができない奥行方向の正確な距離を測定することができる。 The distancedata generation unit 111 measures the distance P to thereflector 21 existing in the measurable area M in the area around thevehicle 10, and the information based on the measurement result (hereinafter referred to as “distance data”). To generate. The distance data generated by the distancedata generation unit 111 is stored and managed in thedistance DB 401. The specific method by which the distancedata generation unit 111 measures the distance P to the reflectingobject 21 is not particularly limited. A microwave radar using a frequency band of 24 GHz, a millimeter wave radar using a frequency band of 60 GHz and 76 GHz, an infrared sensor and the like can be used. In this embodiment, a microwave radar (hereinafter, simply referred to as “radar”) 120 is adopted, and the distance P to thereflector 21 is measured by a frequency-modulated continuous wave (FMCW / Frequency Modulated Continue radar). To generate distance data. By using theradar 120, it is possible to measure an accurate distance in the depth direction, which cannot be measured by image data based on an image captured by acamera 121 described later.

レーダ１２０の測定可能距離Ｌ及び測定可能角度Ｋは特に限定されないが、測定可能距離Ｌは２５ｍ以上であり、測定可能角度Ｋは４５°以上であることが好ましい。例えば、測定可能距離Ｌを２５ｍとし、測定可能角度Ｋを４５°とするレーダ１２０を、車両１０の右側先端部と、左側先端部と、後端中央部との３箇所に搭載した場合を想定する。この場合、車両１０の全長Ａが、道路運送車両法で定められた普通自動車の最大の長さと同じ１２ｍであったとしても、例えば車両１０の右側方部から右方向に５ｍ、車両１０の左側方部から左方向に５ｍ、車両１０の後端部から後方に１３ｍ（測定可能距離Ｌ（２５ｍ）－車両１０の全長Ａ（１２ｍ））で示される領域は、レーダ１２０の測定可能領域Ｍの一部に含まれることとなる。 The measurable distance L and the measurable angle K of theradar 120 are not particularly limited, but the measurable distance L is preferably 25 m or more, and the measurable angle K is preferably 45 ° or more. For example, it is assumed thatradar 120 having a measurable distance L of 25 m and a measurable angle K of 45 ° is mounted at three locations, the right end portion, the left end portion, and the rear end center portion of thevehicle 10. do. In this case, even if the total length A of thevehicle 10 is 12 m, which is the same as the maximum length of the ordinary vehicle specified by the Road Transport Vehicle Law, for example, 5 m to the right from the right side of thevehicle 10 and the left side of thevehicle 10. The area indicated by 5 m to the left from the side and 13 m behind the rear end of the vehicle 10 (measurable distance L (25 m) -total length A (12 m) of the vehicle 10) is the measurable area M of theradar 120. It will be included in a part.

レーダ１２０の感度は特に限定されないが、交通弱者７０に含まれる歩行者（人体）の反射断面積が０．１ｍ^２以下であっても検知することができることが好ましい。レーダ１２０の感度がこのレベルに達していれば、形状が複雑であるがために有効な反射物として検出することが難しいとされている「人」を判別することが可能となる。The sensitivity of theradar 120 is not particularly limited, but it is preferable that theradar 120 can detect even if the reflected cross section of the pedestrian (human body) included in the vulnerable traffic person 70 is 0.1 m² or less. When the sensitivity of theradar 120 reaches this level, it is possible to identify a "person" who is difficult to detect as an effective reflector due to its complicated shape.

自車データ生成部１１２は、加速度センサで構成され、自車となる車両１０の速度、加速度、及び移動する方向を算出し、算出結果に基づいた情報（以下「自車データ」と呼ぶ）を生成する。自車データ生成部１１２により生成された自車データは、自車ＤＢ４０３に記憶されて管理される。なお、自車データ生成部１１２による加速度の検出方式は特に限定されない。例えば、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍ）技術を用いたものであってもよい。 The own vehicledata generation unit 112 is composed of an acceleration sensor, calculates the speed, acceleration, and moving direction of thevehicle 10 that becomes the own vehicle, and obtains information based on the calculation result (hereinafter referred to as "own vehicle data"). Generate. The own vehicle data generated by the own vehicledata generation unit 112 is stored and managed in theown vehicle DB 403. The acceleration detection method by the own vehicledata generation unit 112 is not particularly limited. For example, it may be the one using the MEMS (Micro Electro Electrical System) technology.

時空間解析部１１３は、時空間解析を行う。時空間解析とは、時空間解析部１１３を構成する反射データ表示部３１１、第１識別部３１２、及び移動体データ生成部３１３により実行される一連の処理をいう。 Thespatiotemporal analysis unit 113 performs spatiotemporal analysis. The spatiotemporal analysis refers to a series of processes executed by the reflectiondata display unit 311, thefirst identification unit 312, and the mobiledata generation unit 313 that constitute thespatiotemporal analysis unit 113.

反射データ表示部３１１は、距離データ生成部１１１により生成された距離データを時間軸の方向に蓄積させた情報（以下「時空間データ」と呼ぶ）を含む入力データに基づいて、反射物２１の時空間上の距離変化を示す第１画像データを生成し、生成した第１画像データ上に、反射物２１の反射データを表示させる。入力データには、自車データ生成部１１２により生成された自車データを含めることができる。 The reflectiondata display unit 311 of thereflector 21 is based on input data including information (hereinafter referred to as “spatio-temporal data”) in which distance data generated by the distancedata generation unit 111 is accumulated in the direction of the time axis. The first image data showing the change in distance in time and space is generated, and the reflection data of thereflector 21 is displayed on the generated first image data. The input data can include the own vehicle data generated by the own vehicledata generation unit 112.

第１識別部３１２は、第１画像データ上に表示された、１又は２以上の反射データＵを、移動体を示す移動体反射データと、固定体を示す固定体反射データとにそれぞれ識別する。具体的には、第１識別部３１２は、空間フィルタリング処理により、１又は２以上の反射データＵを、移動体３１を示す移動体反射データと、固定体４０を示す固定体反射データとにそれぞれ識別する。すなわち、第１識別部３１２では、図６（Ｂ）に示すように、横軸を時間Ｔとし縦軸を反射データＵとするグラフＢにおいて反射物２１を示す曲線γを、横軸を時間Ｔとし縦軸を距離ＰとするグラフＣにおいて時間Ｔの方向に複数並べていく処理が行われる。そして、グラフＣ上に並べられた複数の曲線γのそれぞれのピークとなる点を結ぶ処理が行われる。この処理により描画される線分の形状が、右上がりである場合には固定体反射データとして識別され、右下がりである場合には移動体反射データとして識別される。このようにして、１又は２以上の反射データＵの中から、車両１０に接近する移動体反射データαを識別表示させることができる。 Thefirst identification unit 312 discriminates one or more reflection data U displayed on the first image data into moving body reflection data indicating a moving body and fixed body reflection data indicating a fixed body, respectively. .. Specifically, thefirst identification unit 312 converts one or more reflection data U into the moving body reflection data indicating the movingbody 31 and the fixed body reflection data indicating the fixedbody 40 by spatial filtering processing, respectively. Identify. That is, in thefirst identification unit 312, as shown in FIG. 6B, the curve γ showing thereflector 21 in the graph B in which the horizontal axis is the time T and the vertical axis is the reflection data U, and the horizontal axis is the time T. In the graph C whose vertical axis is the distance P, a process of arranging a plurality of them in the direction of the time T is performed. Then, a process of connecting the peak points of the plurality of curves γ arranged on the graph C is performed. When the shape of the line segment drawn by this process is upward to the right, it is identified as fixed body reflection data, and when it is downward to the right, it is identified as mobile reflection data. In this way, the moving object reflection data α approaching thevehicle 10 can be identified and displayed from among one or more reflection data U.

移動体データ生成部３１３は、移動体反射データにより示される移動体３１の、移動速度、加速度、及び移動方向を含む移動体データを生成する。 The mobiledata generation unit 313 generates mobile data including the moving speed, acceleration, and moving direction of the movingbody 31 indicated by the moving body reflection data.

時空間解析部１１３による時空間解析の結果、入力データから、電柱やガードレールなどの固定体反射データが除去され、相対速度が異なる移動体反射データのみが抽出される。これにより、例えば、図６（Ｃ）に示すように、複数の反射物２１の中から、車両１０に接近する移動体３１（バイク）を示す移動体反射データが、右肩下がりの線分αで識別表示される。このとき、右肩上がりの線分βは、車両１０から離反する固定体４０（電柱）を示す移動体反射データによって示されたものである。なお、本実施形態では、固定体反射データと移動体反射データとの違いを色の違いで示すことにより、車両１０に接近する移動体３１を識別表示させている。ただし、これに限定されず、模様による識別や形状による識別等、あらゆる手法を用いて識別表示させてもよい。 As a result of the spatiotemporal analysis by thespatiotemporal analysis unit 113, fixed body reflection data such as utility poles and guard rails are removed from the input data, and only moving body reflection data having different relative velocities are extracted. As a result, for example, as shown in FIG. 6C, the moving object reflection data indicating the moving object 31 (motorcycle) approaching thevehicle 10 from among the plurality of reflectingobjects 21 is a line segment α with a downward shoulder to the right. It is identified and displayed with. At this time, the line segment β rising to the right is shown by the moving body reflection data indicating the fixed body 40 (telephone pole) separated from thevehicle 10. In the present embodiment, the movingbody 31 approaching thevehicle 10 is identified and displayed by showing the difference between the fixed body reflection data and the moving body reflection data by the difference in color. However, the present invention is not limited to this, and identification and display may be performed by using any method such as identification by pattern and identification by shape.

複数の反射データＵの中から、車両１０に接近する移動体反射データを右肩下がりの線分αで識別表示させる空間フィルタリング処理の具体的な手法は特に限定されないが、本実施形態では、画像処理で用いられる空間フィルタリング処理の１つであるガボールフィルタを用いた処理が採用されている。ガボールフィルタは、特定の傾き（角度）を強調する性質を有する。本実施形態では、この性質を利用して、図５に示すように、傾き（角度）を示す値θが０°～１８０°となる範囲で、合計１８段のガボールフィルタを用いている。すなわち、傾き（角度）θの値の範囲が１０°毎に異なるガボールフィルタを、０°≦θ＜１０°とするフィルタ０から１７０°≦θ＜１８０°とするフィルタ１７まで、合計１８段のガボールフィルタを用いた解析が行われる。このように、傾き（角度）がそれぞれ異なる１８段のガボールフィルタを用いた時空間解析が行われることで、時空間データにおける線分の傾き（角度）を検出することができる。 The specific method of the spatial filtering process for identifying and displaying the moving object reflection data approaching thevehicle 10 from the plurality of reflection data U by the line segment α descending to the right is not particularly limited, but in the present embodiment, the image is used. A process using a Gabor filter, which is one of the spatial filtering processes used in the process, is adopted. The Gabor filter has the property of emphasizing a specific slope (angle). In this embodiment, as shown in FIG. 5, a total of 18 stages of Gabor filters are used in a range in which the value θ indicating the inclination (angle) is 0 ° to 180 °, utilizing this property. That is, there are a total of 18 stages of Gabor filters in which the range of the value of the inclination (angle) θ is different every 10 °, from the filter 0 in which 0 ° ≤ θ <10 ° to thefilter 17 in which 170 ° ≤ θ <180 °. Analysis using a Gabor filter is performed. In this way, by performing spatiotemporal analysis using 18-stage Gabor filters having different inclinations (angles), it is possible to detect the inclinations (angles) of line segments in spatiotemporal data.

（撮像部）
撮像部１０２は、カメラ１２１と、第２画像データ生成部１２２とで構成される。カメラ１２１は、車両１０の周囲を撮像する。第２画像データ生成部１２２は、撮像された画像に基づく第２画像データを生成する。生成された第２画像データは、後述する画像処理部１０３による画像処理に用いられる。即ち、レーダ１２０のみでは移動体３１の水平方向の位置を特定することができないので、後述する画像処理部１０３が、撮像部１０２で生成された第２画像データを用いて、移動体３１の水平方向の位置の特定を行う。(Image pickup unit)
Theimage pickup unit 102 includes acamera 121 and a second imagedata generation unit 122. Thecamera 121 captures the surroundings of thevehicle 10. The second imagedata generation unit 122 generates the second image data based on the captured image. The generated second image data is used for image processing by theimage processing unit 103, which will be described later. That is, since the horizontal position of the movingbody 31 cannot be specified only by theradar 120, theimage processing unit 103, which will be described later, uses the second image data generated by theimaging unit 102 to make the movingbody 31 horizontal. Specify the position of the direction.

（第２識別部）
第２識別部１０３は、第２画像データ生成部１２２により生成された第２画像データと、移動体データ生成部３１３により生成された移動体データとを少なくとも含む情報に基づいて、第２画像データに含まれる移動体３１のうち、車両１０に接近する移動体３１を識別する。なお、「少なくとも」とは、第２画像データに含まれる移動体３１のうち、車両１０に接近する移動体３１を識別する際に用いられる情報に、移動体データ以外の情報が含まれていてもよいことを意味する。例えば、この情報に自車データが含まれていてもよい。
第２識別部１０３が、第２画像データに含まれる移動体３１のうち、車両１０に接近する移動体３１を識別する具体的な手法は特に限定されない。例えば、機械学習の手法の１つであるＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）によってＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴量を学習することにより、画像データに含まれる移動体３１を識別してもよい。これにより、識別表示された移動体３１が交通弱者７０であるか否かを判断することができる。(Second identification unit)
Thesecond identification unit 103 is based on information including at least the second image data generated by the second imagedata generation unit 122 and the mobile data generated by the mobiledata generation unit 313, and the second image data. Among the movingbodies 31 included in the above, the movingbody 31 approaching thevehicle 10 is identified. In addition, "at least" means that among the movingbodies 31 included in the second image data, the information used for identifying the movingbody 31 approaching thevehicle 10 includes information other than the moving body data. It means that it is also good. For example, this information may include own vehicle data.
The specific method for thesecond identification unit 103 to identify the movingbody 31 approaching thevehicle 10 among the movingbodies 31 included in the second image data is not particularly limited. For example, the movingbody 31 included in the image data may be identified by learning the HOG (Histograms of Oriented Radients) features by SVM (Support Vector Machine), which is one of the machine learning methods. This makes it possible to determine whether or not the identified and displayedmobile body 31 is a traffic vulnerable person 70.

また、第２識別部１０３は、識別した移動体３１の水平方向の位置の特定と、移動体３１の種類の特定とを行う。第２識別部１０３により特定される移動体３１の種類には、人間が少なくとも含まれる。なお、「少なくとも」とは、移動体３１の種類として人間以外が含まれてもよいことを意味する。つまり、移動体３１には、車両１０の周囲の領域内を移動し得るあらゆる物体が含まれてよい。例えば、人間が運転する自転車やオートバイや、犬や猫等の動物は、いずれも移動体３１の一例である。 Further, thesecond identification unit 103 specifies the horizontal position of the identified movingbody 31 and specifies the type of the movingbody 31. The type of themobile body 31 specified by thesecond identification unit 103 includes at least a human being. In addition, "at least" means that a non-human may be included as the type of the movingbody 31. That is, the movingbody 31 may include any object that can move within the region around thevehicle 10. For example, bicycles and motorcycles driven by humans, and animals such as dogs and cats are all examples ofmobile bodies 31.

ここで、移動体３１は、サイズが同じである場合、カメラ１２１から遠い位置に存在する移動体３１よりも、カメラ１２１から近い位置に存在する移動体３１の方が画像データに大きく表示される。
このため、第２識別部１０３は、第２画像データ上の移動体３１のスケールの調整を行う。具体的には、図７に示すように、第２識別部１０３は、第２画像データ中に存在する移動体３１までの距離Ｐと同一の距離の範囲を示す領域を含む画像Ｓの切り出しを行い、切り出した画像Ｓを、想定される「人」のサイズに縮小させる。画像Ｓを縮小させる際の縮小スケールの段数ｎ（ｎは１以上の整数値）は特に限定されないが、本実施形態では１２段としている。これにより、カメラ１２１からの距離Ｐが異なる位置に存在する移動体３１同士のスケールの調整を行うことができる。その結果、第２識別部１０３は、第２画像データ上の移動体３１をより正確に識別することができる。Here, when the size of the movingbody 31 is the same, the movingbody 31 existing at a position closer to thecamera 121 is displayed larger in the image data than the movingbody 31 existing at a position farther from thecamera 121. ..
Therefore, thesecond identification unit 103 adjusts the scale of the movingbody 31 on the second image data. Specifically, as shown in FIG. 7, thesecond identification unit 103 cuts out an image S including a region showing a range of the same distance as the distance P to the movingbody 31 existing in the second image data. The cut-out image S is reduced to the size of an assumed "person". The number of steps n (n is an integer value of 1 or more) of the reduction scale when the image S is reduced is not particularly limited, but is 12 steps in the present embodiment. As a result, it is possible to adjust the scales of the movingbodies 31 existing at different distances P from thecamera 121. As a result, thesecond identification unit 103 can more accurately identify the movingbody 31 on the second image data.

第２画像データに、移動体３１の全体が表示されない場合には、第２識別部１０３は、サポートベクターマシン（ＳＶＭ）空間によるトラッキングアルゴリズムを用いて移動体３１を識別する。例えば、図８は、移動体３１が車両１０に近寄ってくる様子を図８（Ａ）～（Ｄ）の順で示している。移動体３１と車両１０との距離が５ｍであるとき（図８（Ａ））、及び移動体３１と車両１０との距離が３ｍであるとき（図８（Ｂ））は、第２画像データに移動体３１の全部が表示されている。このため、画像処理部１０３は、ＨＯＧ特徴量をＳＶＭによって学習することで第２画像データに含まれる移動体３１を識別する。図８（Ａ）及び（Ｂ）に示される、移動体３１を囲む枠線Ｒは、ＨＯＧ特徴量をＳＶＭによる学習によって移動体３１を識別表示する枠線である。一方、移動体３１と車両１０との距離が２ｍであるとき（図８（Ｃ））、及び移動体３１と車両１０との距離が１ｍであるとき（図８（Ｄ））は、移動体３１の一部が、第２画像データに表示されていない（つまり移動体３１が第２画像データから切れている）。このため、画像処理部１０３は、サポートベクターマシン（ＳＶＭ）空間によるトラッキングアルゴリズムを用いることで、第２画像データに含まれる移動体３１を識別する。図８（Ｃ）及び（Ｄ）に示される、移動体３１を囲む枠線Ｖは、ＨＯＧ特徴量をＳＶＭによる学習によって移動体３１を識別表示する枠線である。これにより、図８（Ａ）～（Ｄ）に示すように、第２画像データに全体が表示されずに一部のみが表示されている移動体３１についてもスムーズに認識することが可能となる。 When the entire movingbody 31 is not displayed in the second image data, the second identifyingunit 103 identifies the movingbody 31 by using a tracking algorithm based on the support vector machine (SVM) space. For example, FIG. 8 shows how the movingbody 31 approaches thevehicle 10 in the order of FIGS. 8A to 8D. The second image data is when the distance between the movingbody 31 and thevehicle 10 is 5 m (FIG. 8 (A)) and when the distance between the movingbody 31 and thevehicle 10 is 3 m (FIG. 8 (B)). All of the movingbodies 31 are displayed in. Therefore, theimage processing unit 103 identifies the movingbody 31 included in the second image data by learning the HOG feature amount by SVM. The frame line R surrounding the movingbody 31 shown in FIGS. 8A and 8B is a frame line for identifying and displaying the movingbody 31 by learning the HOG feature amount by SVM. On the other hand, when the distance between the movingbody 31 and thevehicle 10 is 2 m (FIG. 8 (C)) and when the distance between the movingbody 31 and thevehicle 10 is 1 m (FIG. 8 (D)), the moving body A part of 31 is not displayed in the second image data (that is, the movingbody 31 is cut off from the second image data). Therefore, theimage processing unit 103 identifies the movingbody 31 included in the second image data by using a tracking algorithm based on the support vector machine (SVM) space. The frame line V surrounding the movingbody 31 shown in FIGS. 8C and 8D is a frame line that identifies and displays the movingbody 31 by learning the HOG feature amount by SVM. As a result, as shown in FIGS. 8A to 8D, it is possible to smoothly recognize the movingbody 31 in which only a part of the second image data is displayed without being displayed in its entirety. ..

第２識別部１０３は、上述したように、第２画像データ中に存在する移動体３１までの距離Ｐと同一の距離の範囲を示す領域を含んだ画像Ｓを切り出す処理を行うことにより、移動体３１を識別する画像処理を行う範囲を限定することができる。すなわち、画像処理部１０３は、第２画像データのうち、画像処理の対象となる移動体３１の大きさと、画像処理を行う位置とを限定した画像処理を行うことができる。これにより、画像処理に伴う計算量を減らすことができる。これにより、カメラ１２１の高解像度化に伴い増加傾向にある演算コストの低減化を図ることができる。 As described above, thesecond identification unit 103 moves by performing a process of cutting out an image S including a region showing a range of the same distance as the distance P to the movingbody 31 existing in the second image data. It is possible to limit the range in which the image processing for identifying thebody 31 is performed. That is, theimage processing unit 103 can perform image processing in which the size of the movingbody 31 to be image processed and the position where the image processing is performed are limited in the second image data. As a result, the amount of calculation associated with image processing can be reduced. As a result, it is possible to reduce the calculation cost, which tends to increase with the increase in the resolution of thecamera 121.

第２識別部１０３は、第２画像データ中に存在する移動体３１を識別する画像処理を行う範囲を限定し、図９に示すように、第２画像データ中に存在する移動体３１までの距離Ｐと同一の距離の範囲を示す領域を円弧状の線分Ｗで表示する。そして、線分Ｗに重畳して表示させた枠線Ｒの水平方向の向きに基づいて、移動体３１の角度を算出する。これにより、自車（車両１０）と移動体３１との相対位置を特定することができる。 Thesecond identification unit 103 limits the range of performing image processing for identifying the movingbody 31 existing in the second image data, and as shown in FIG. 9, up to the movingbody 31 existing in the second image data. The area indicating the range of the same distance as the distance P is displayed by the arcuate line segment W. Then, the angle of the movingbody 31 is calculated based on the horizontal direction of the frame line R superimposed and displayed on the line segment W. Thereby, the relative position between the own vehicle (vehicle 10) and the movingbody 31 can be specified.

ところで、車両１０の両側方にレーダ１２０及びカメラ１２１を搭載する場合、具体的な設置場所は、サイドミラーのアーム部分となる。しかしながら、サイドミラーのアーム部分は、車両１０の種類によって大きく位置が異なる。例えば、車両１０が大型トラックの場合、サイドミラーのアームの部分は、地面から約１８０ｃｍ程度の高さに配置される。また、車両１０が中型トラックの場合、サイドミラーのアームの部分は、地面から約１５５ｃｍ程度の高さに配置される。また、車両１０がトレーラの場合、サイドミラーのアームの部分は、地面から約２００ｃｍ程度の高さに配置される。このため、車両１０に搭載されるレーダ１２０及びカメラ１２１は、実際に設置する場所の地面からの高さや角度（以下「設置環境」と呼ぶ）の違いに対応可能できるようにする必要がある。 By the way, when theradar 120 and thecamera 121 are mounted on both sides of thevehicle 10, the specific installation location is the arm portion of the side mirror. However, the position of the arm portion of the side mirror differs greatly depending on the type of thevehicle 10. For example, when thevehicle 10 is a large truck, the arm portion of the side mirror is arranged at a height of about 180 cm from the ground. When thevehicle 10 is a medium-duty truck, the arm portion of the side mirror is arranged at a height of about 155 cm from the ground. When thevehicle 10 is a trailer, the arm portion of the side mirror is arranged at a height of about 200 cm from the ground. Therefore, it is necessary for theradar 120 and thecamera 121 mounted on thevehicle 10 to be able to cope with the difference in height and angle (hereinafter referred to as "installation environment") from the ground at the place where the vehicle is actually installed.

画像処理部１０３は、レーダ１２０及びカメラ１２１の設置環境に応じて、測定可能距離Ｌを含む測定可能領域Ｍと、カメラ１２１の第２画像データ上の位置とを調整する。これにより、レーダ１２０及びカメラ１２１は、設置環境の違いに容易に対応させることができる。具体的には、画像処理部１０３は、図１０（Ａ）に示すように、アームに設置されたレーダ１２０及びカメラ１２１の設置環境（地面からの高さａや角度ｂ）に応じて、第２画像データとして表示される映像の角度、反射物２１までの距離Ｐ、反射物２１を囲む枠線Ｒ及びＶの縦の長さｄや横の長さｅ等について、キャリブレーションを実行する。例えば、画像処理部１０３は、図１０（Ｂ）に示すように、第２画像データに、車両１０（すなわちレーダ１２０及びカメラ１２１）からの距離Ｐや車両１０との相対的な角度を示すメッシュ状の線分Ｙを重畳的に表示させて、キャリブレーションを実行してもよい。これにより、後述する危険予測部１０５による危険予測が精度良く行われるための前提となる、第２画像データの正確性を担保することができる。 Theimage processing unit 103 adjusts the measurable area M including the measurable distance L and the position of thecamera 121 on the second image data according to the installation environment of theradar 120 and thecamera 121. As a result, theradar 120 and thecamera 121 can easily cope with the difference in the installation environment. Specifically, as shown in FIG. 10 (A), theimage processing unit 103 has a first position according to the installation environment (height a and angle b from the ground) of theradar 120 and thecamera 121 installed on the arm. (2) Calibration is performed on the angle of the image displayed as image data, the distance P to thereflector 21, the vertical length d and the horizontal length e of the frame lines R and V surrounding thereflector 21, and the like. For example, as shown in FIG. 10B, theimage processing unit 103 uses the second image data as a mesh showing a distance P from the vehicle 10 (that is, theradar 120 and the camera 121) and a relative angle to thevehicle 10. Calibration may be executed by displaying the line segment Y in a superimposed manner. This makes it possible to ensure the accuracy of the second image data, which is a premise for the risk prediction by therisk prediction unit 105, which will be described later, to be performed accurately.

（２次元マップ生成提示部）
２次元マップ生成提示部１０４は、車両１０を運転する運転者Ｄに対し、車両１０と移動体３１との位置関係を示す時空間パターンが表示された２次元マップＦを生成し、生成された２次元マップＦを運転者Ｄに提示する。２次元マップ生成提示部１０４により生成される２次元マップＦは、図１１に示すように、車両１０の長手方向を表す縦軸と、車両１０の長手方向に対し垂直方向（水平方向）の距離を表す横軸とからなる２次元のマップである。２次元マップＦには、中心部に車両１０を配置させた時空間パターンが表示されるとともに、交通弱者７０（移動体３１）の過去の移動履歴に基づいた移動軌跡が表示される。２次元マップＦが車両１０の運転席に搭載されたモニタ（出力部１６）から出力されると、車両１０を運転する運転者Ｄは、交通弱者７０（移動体３１）との間で交通事故が起きる可能性があることを、視覚を通じて直感的に認識することができる。
２次元マップＦの具体的な構成は特に限定されないが、本実施形態に係る２次元マップＦは、サイズを横（Ｗ）４８０ｐｉｘｅｌ×縦（Ｈ）４８０ｐｉｘｅｌ（ピクセル）とし、解像度を横（Ｗ）５０ｍｍ×縦（Ｈ）５０ｍｍ（０．１０４ｍｍ／ｐｉｘｅｌ（ピクセル））とし、移動軌跡保持期間を４秒としている。これにより、２次元マップ生成提示部１０４は、車両１０の死角領域Ｑで生じ得る車両１０と交通弱者７０（移動体３１）との交通事故を未然に防ぐための情報を運転者Ｄに提供することができる。その結果、運転者Ｄは、交通弱者７０（移動体３１）との間で交通事故が起きる可能性があることを好適なタイミングで知ることができる。(2D map generation presentation unit)
The two-dimensional mapgeneration presentation unit 104 generated and generated a two-dimensional map F in which a spatiotemporal pattern showing the positional relationship between thevehicle 10 and the movingbody 31 is displayed for the driver D who drives thevehicle 10. The two-dimensional map F is presented to the driver D. As shown in FIG. 11, the two-dimensional map F generated by the two-dimensional mapgeneration presentation unit 104 is a distance between the vertical axis representing the longitudinal direction of thevehicle 10 and the direction perpendicular to the longitudinal direction (horizontal direction) of thevehicle 10. It is a two-dimensional map consisting of a horizontal axis representing. On the two-dimensional map F, a spatiotemporal pattern in which thevehicle 10 is arranged in the center is displayed, and a movement locus based on the past movement history of the vulnerable traffic person 70 (moving body 31) is displayed. When the two-dimensional map F is output from the monitor (output unit 16) mounted on the driver's seat of thevehicle 10, the driver D who drives thevehicle 10 has a traffic accident with the traffic vulnerable person 70 (moving body 31). Can be intuitively recognized visually.
The specific configuration of the two-dimensional map F is not particularly limited, but the two-dimensional map F according to the present embodiment has a size of horizontal (W) 480 pixels × vertical (H) 480 pixels (pixels) and a resolution of horizontal (W). It is 50 mm × vertical (H) 50 mm (0.104 mm / pixel (pixel)), and the movement locus holding period is 4 seconds. As a result, the two-dimensional mapgeneration presentation unit 104 provides the driver D with information for preventing a traffic accident between thevehicle 10 and the traffic vulnerable person 70 (moving body 31) that may occur in the blind spot region Q of thevehicle 10. be able to. As a result, the driver D can know at an appropriate timing that a traffic accident may occur with the vulnerable traffic person 70 (moving body 31).

（危険予測部）
危険予測部１０５は、測定可能領域Ｍのうち、車両１０と移動体３１との間で交通事故が起きるリスクが高い領域を危険領域Ｘとして予め設定する。危険予測部１０５は、２次元マップＦに表示される時空間パターンに基づいて、車両１０の移動軌跡と、移動体３１の移動軌跡とを評価して、移動体３１が危険領域Ｘに進入するおそれがあるか否かを判断し、進入するおそれがあると判断した場合に、その旨を危険予測として運転者Ｄに提示する。例えば図１２には、車両１０と、車両１０の測定可能領域Ｍに存在する移動体３１（バイク）との相対速度が２５ｋｍ／ｈで、０．８秒後に移動体３１（バイク）が危険領域Ｘに進入するおそれがある旨を危険予測する例が示されている。
この例において危険予測部１０５は、車両１０の移動軌跡と、測定可能領域Ｍに存在する移動体３１（バイク）の直近１秒間（１．０Ｓ）の移動軌跡とを評価し、移動体３１（バイク）が、今から０．８秒後に５．６ｍ離れた危険領域Ｘに進入するおそれがあると判断して、その旨を危険予測として運転者Ｄに提示する。運転者Ｄが警報を受けてハンドルを操作するまでの時間は、通常０．５秒程度とされている。このため、危険予測を提示するタイミングを、危険領域Ｘに進入する０．８秒前とすることにより、運転者Ｄとしてみれば、余裕を持った対応が可能となる。(Danger prediction department)
Thedanger prediction unit 105 presets a region of the measurable region M where there is a high risk of a traffic accident between thevehicle 10 and the movingbody 31 as a danger region X. Thedanger prediction unit 105 evaluates the movement locus of thevehicle 10 and the movement locus of the movingbody 31 based on the spatio-temporal pattern displayed on the two-dimensional map F, and the movingbody 31 enters the danger region X. It is determined whether or not there is a risk, and if it is determined that there is a risk of entering, that fact is presented to the driver D as a danger prediction. For example, in FIG. 12, the relative speed between thevehicle 10 and the moving body 31 (motorcycle) existing in the measurable area M of thevehicle 10 is 25 km / h, and after 0.8 seconds, the moving body 31 (motorcycle) is in a dangerous area. An example of predicting a danger that there is a risk of entering X is shown.
In this example, thedanger prediction unit 105 evaluates the movement locus of thevehicle 10 and the movement locus of the moving body 31 (motorcycle) existing in the measurable region M for the last 1 second (1.0S), and evaluates the moving body 31 (the moving body 31 (motorcycle). The motorcycle) determines that there is a risk of entering the danger zone X 5.6 m away from now 0.8 seconds later, and presents that fact to the driver D as a danger prediction. The time until the driver D receives the alarm and operates the steering wheel is usually about 0.5 seconds. Therefore, by setting the timing of presenting the danger prediction to 0.8 seconds before entering the danger region X, the driver D can respond with a margin.

運転者Ｄに危険予測を提示する具体的な手法は特に限定されないが、本実施形態では、車両１０の運転席に搭載されたモニタ（出力部１６）と、エンジンの運転制御を電気的に制御する車両エンジンコントロールユニット（ＥＣＵ）とに出力することにより危険予測を提示する。この場合、車両エンジンコントロールユニット（ＥＣＵ）は、提示された危険予測に基づいて、車両制御、舵制御、警報の出力等を行ってもよい。 The specific method of presenting the danger prediction to the driver D is not particularly limited, but in the present embodiment, the monitor (output unit 16) mounted on the driver's seat of thevehicle 10 and the operation control of the engine are electrically controlled. The danger prediction is presented by outputting to the vehicle engine control unit (ECU). In this case, the vehicle engine control unit (ECU) may perform vehicle control, rudder control, alarm output, and the like based on the presented danger prediction.

危険予測部１０５が、危険領域Ｘを予め設定する際の具体的手法は特に限定されない。例えば、時空間ＤＢ４０４に記憶されている時空間パターンに基づいて機械学習による回帰分析を行ってもよい。この場合、危険予測部１０５は、車両１０と移動体３１との間で交通事故が起きるリスクを数値化して、測定可能領域Ｍ内のあらゆる場所における危険度を複数段階（例えば危険度が高い順に高中低の３段階）で設定してもよい。 The specific method for setting the danger zone X in advance by thedanger prediction unit 105 is not particularly limited. For example, regression analysis by machine learning may be performed based on the spatiotemporal pattern stored in the spatiotemporal DB404. In this case, thedanger prediction unit 105 quantifies the risk of a traffic accident between thevehicle 10 and the movingbody 31, and sets the risk levels in a plurality of stages (for example, in descending order of risk level) in every place in the measurable region M. It may be set in three stages of high, medium and low).

次に、図１３を参照して、図３の機能的構成を有する危険予測装置１が実行する一連の処理の流れについて説明する。
図１３は、図３の危険予測装置１が実行する危険予測処理の流れを説明するフローチャートである。Next, with reference to FIG. 13, a series of processing flows executed by therisk prediction device 1 having the functional configuration of FIG. 3 will be described.
FIG. 13 is a flowchart illustrating a flow of the danger prediction process executed by thedanger prediction device 1 of FIG.

図１３に示すように、危険予測装置１では、次のような一連の処理が実行される。
ステップＳ１において、距離データ生成部１１１（レーダ１２０）は、車両１０の周囲の領域のうち測定可能領域Ｍに存在する反射物２１までの距離Ｐを計測し、この計測結果に基づいた距離データを生成する。As shown in FIG. 13, thedanger prediction device 1 executes the following series of processes.
In step S1, the distance data generation unit 111 (radar 120) measures the distance P to thereflector 21 existing in the measurable area M in the area around thevehicle 10, and obtains the distance data based on the measurement result. Generate.

ステップＳ２において、反射データ表示部３１１は、ステップＳ１で生成された距離データを時間軸の方向に蓄積させた時空間データを含む入力データに基づいて、反射物２１の時空間上の距離変化を示す第１画像データを生成し、生成された第１画像データ上に、反射物２１の反射データを表示させる。
ステップＳ３において、第１識別部３１２は、第１画像データ上に表示された、１又は２以上の反射データＵを、移動体３１を示す移動体反射データと、固定体を示す固定体反射データとにそれぞれ識別する。
ステップＳ４において、移動体データ生成部３１３は、移動体反射データにより示される移動体３１の、移動速度、加速度、及び移動方向を含む移動体データを生成する。In step S2, the reflectiondata display unit 311 changes the distance of thereflector 21 on the spatiotemporal space based on the input data including the spatiotemporal data obtained by accumulating the distance data generated in step S1 in the direction of the time axis. The first image data shown is generated, and the reflection data of thereflector 21 is displayed on the generated first image data.
In step S3, thefirst identification unit 312 uses one or more reflection data U displayed on the first image data as the moving body reflection data indicating the movingbody 31 and the fixed body reflection data indicating the fixed body. And identify each.
In step S4, the mobiledata generation unit 313 generates mobile data including the moving speed, acceleration, and moving direction of the movingbody 31 indicated by the moving body reflection data.

ステップＳ５において、撮像部１０２は、車両の周囲を撮像する。
ステップＳ６において、第２画像データ生成部１２２は、撮像された画像に基づく第２画像データを生成する。In step S5, theimage pickup unit 102 takes an image of the surroundings of the vehicle.
In step S6, the second imagedata generation unit 122 generates the second image data based on the captured image.

ステップＳ７において、２次元マップ生成提示部１０４は、車両１０を運転する運転者Ｄに対し、車両１０と移動体３１との位置関係を示す時空間パターンが表示された２次元マップＦを生成し、生成された２次元マップＦを運転者Ｄに提示する。
ステップＳ８において、危険予測部１０５は、測定可能領域Ｍのうち、車両１０と移動体３１との間で交通事故が起きるリスクが高い領域を危険領域Ｘとして予め設定する。
ステップＳ９において、危険予測部１０５は、時空間パターンに基づいて、車両１０の移動軌跡と、移動体３１の移動軌跡とを評価して、移動体３１が危険領域Ｘに進入するおそれがあるか否かを判断し、進入するおそれがあると判断した場合に、その旨を危険予測として運転者Ｄに提示する。これにより処理は終了する。In step S7, the two-dimensional mapgeneration presentation unit 104 generates a two-dimensional map F in which a spatiotemporal pattern showing the positional relationship between thevehicle 10 and the movingbody 31 is displayed for the driver D who drives thevehicle 10. , The generated two-dimensional map F is presented to the driver D.
In step S8, thedanger prediction unit 105 presets a region of the measurable region M where there is a high risk of a traffic accident between thevehicle 10 and the movingbody 31 as the danger region X.
In step S9, thedanger prediction unit 105 evaluates the movement locus of thevehicle 10 and the movement locus of the movingbody 31 based on the space-time pattern, and is there a possibility that the movingbody 31 may enter the danger region X? If it is determined whether or not there is a risk of entry, that fact is presented to the driver D as a danger prediction. This ends the process.

以上のような一連の処理が実行されることにより、車両１０の運転者Ｄの死角領域Ｑにおいて、移動体３１と固定体４０とを的確に判別し、移動体３１の急激な速度変化に的確に対応し、また、「人」を的確に判別する。その結果、車両１０と交通弱者７０（移動体３１）との交通事故を未然に防ぐための情報を運転者Ｄに提供することができる。 By executing the series of processes as described above, the movingbody 31 and the fixedbody 40 are accurately discriminated in the blind spot region Q of the driver D of thevehicle 10, and the movingbody 31 is accurately changed in speed. And also accurately identify the "person". As a result, it is possible to provide the driver D with information for preventing a traffic accident between thevehicle 10 and the vulnerable traffic person 70 (moving body 31).

以上、本発明の一実施形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。 Although one embodiment of the present invention has been described above, the present invention is not limited to the above-described embodiment, and modifications, improvements, etc. within the range in which the object of the present invention can be achieved are included in the present invention. Is.

例えば、本実施形態における車両１０は、トラック等の大型の車両としているが、これは例示であり、普通車等であってもよい。 For example, thevehicle 10 in the present embodiment is a large vehicle such as a truck, but this is an example and may be an ordinary vehicle or the like.

また、図２に示す各ハードウェア構成は、本発明の目的を達成するための例示に過ぎず、特に限定されない。 Further, each hardware configuration shown in FIG. 2 is merely an example for achieving the object of the present invention, and is not particularly limited.

また、図３に示す機能ブロック図は、例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行出来る機能が危険予測装置に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは、特に図３の例に限定されない。 Further, the functional block diagram shown in FIG. 3 is merely an example and is not particularly limited. That is, it suffices if the risk prediction device is provided with a function capable of executing the above-mentioned series of processes as a whole, and what kind of functional block is used to realize this function is not particularly limited to the example of FIG. ..

また、機能ブロックの存在場所も、図３に示す場所に限定されず、任意でよい。
そして、１つの機能ブロックは、ハードウェア単体で構成しても良いし、ソフトウェア単体との組み合わせで構成しても良い。Further, the location of the functional block is not limited to the location shown in FIG. 3, and may be arbitrary.
Then, one functional block may be configured by a single piece of hardware or by a combination of a single piece of software.

各機能ブロックの処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。When the processing of each functional block is executed by software, the programs constituting the software are installed in a computer or the like from a network or a recording medium.
The computer may be a computer embedded in dedicated hardware. Further, the computer may be a computer capable of executing various functions by installing various programs, for example, a general-purpose smartphone or a personal computer in addition to a server.

このようなプログラムを含む記録媒体は、各ユーザにプログラムを提供するために装置本体とは別に配布される、リムーバブルメディアにより構成されるだけではなく、装置本体に予め組み込まれた状態で各ユーザに提供される記録媒体等で構成される。 The recording medium containing such a program is not only composed of removable media, which is distributed separately from the main body of the device to provide the program to each user, but also is preliminarily incorporated in the main body of the device to each user. It is composed of the provided recording media and the like.

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に添って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。 In this specification, the steps for describing a program to be recorded on a recording medium are not only processed in chronological order but also in parallel or individually, even if they are not necessarily processed in chronological order. It also includes the processing to be executed.

以上まとめると、本発明が適用される危険予測装置（例えば図３の危険予測装置１）は、次のような構成を取れば足り、各種各様な実施形態を取ることができる。
即ち、本発明が適用される危険予測装置は、
車両（例えば図１の車両１０）に搭載される危険予測装置であって、
前記車両の周囲の領域のうち測定可能領域（例えば図４の測定可能領域Ｍ）に存在する反射物（例えば図１０の反射物２１）までの距離（例えば図１０の距離Ｐ）を計測し、当該計測の結果に基づいた距離データを生成する距離データ生成手段（例えば図３の距離データ生成部１１１）と、
前記距離データを時間軸の方向に蓄積させた時空間データを含む入力データに基づいて、前記反射物の時空間上の距離変化を示す第１画像データを生成し、生成された前記第１画像データ上に、前記反射物の反射データを表示させる反射データ表示手段（例えば図３の反射データ表示部３１１）と、
前記第１画像データ上に表示された、１又は２以上の前記反射データを、移動体を示す移動体反射データと、固定体を示す固定体反射データとにそれぞれ識別する第１識別手段（例えば図３の第１識別部３１２）と、
前記移動体反射データにより示される前記移動体の、移動速度、加速度、及び移動方向を含む移動体データを生成する移動体データ生成手段（例えば図３の移動体データ生成部３１３）と、
前記車両の周囲を撮像する撮像手段（例えば図３の撮像部１０２）と、
撮像された画像に基づく第２画像データを生成する第２画像データ生成手段（例えば図３の第２画像データ生成部１２２）と、
生成された前記第２画像データと、前記移動体データとを少なくとも含む情報に基づいて、前記第２画像データに含まれる前記移動体のうち、前記車両に接近する移動体を識別する第２識別手段（例えば図３の第２識別部１０３）と、
を備える。
これにより、車両（例えば図１の車両１０）の運転者（例えば図１の運転者Ｄ）の死角となる後方部及び側方部において、接近物（例えば移動体３１）と離反物（例えば固定体４０）とを的確に判別することが可能となる。In summary, the risk prediction device to which the present invention is applied (for example, therisk prediction device 1 in FIG. 3) may have the following configurations, and various embodiments can be taken.
That is, the risk prediction device to which the present invention is applied is
A danger prediction device mounted on a vehicle (for example, thevehicle 10 in FIG. 1).
The distance (for example, the distance P in FIG. 10) to the reflector (for example, thereflector 21 in FIG. 10) existing in the measurable region (for example, the measurable region M in FIG. 4) in the area around the vehicle is measured. A distance data generation means (for example, the distancedata generation unit 111 in FIG. 3) that generates distance data based on the measurement result, and
Based on the input data including the spatiotemporal data obtained by accumulating the distance data in the direction of the time axis, the first image data showing the spatiotemporal distance change of the reflector is generated, and the generated first image. Reflection data display means (for example, reflectiondata display unit 311 in FIG. 3) for displaying reflection data of the reflective object on the data, and
A first identification means (for example,) for discriminating one or more of the reflection data displayed on the first image data into a moving body reflection data indicating a moving body and a fixed body reflection data indicating a fixed body, respectively. The first identification unit 312) in FIG. 3 and
A moving body data generation means (for example, a moving bodydata generation unit 313 in FIG. 3) that generates moving body data including a moving speed, an acceleration, and a moving direction of the moving body indicated by the moving body reflection data.
An imaging means (for example, animaging unit 102 in FIG. 3) that images the surroundings of the vehicle, and
A second image data generation means (for example, the second imagedata generation unit 122 in FIG. 3) that generates second image data based on the captured image, and
A second identification that identifies a moving body approaching the vehicle among the moving bodies included in the second image data based on information including at least the generated second image data and the moving body data. Means (for example, thesecond identification unit 103 in FIG. 3) and
To prepare for.
As a result, the approaching object (for example, the moving body 31) and the detached object (for example, fixed) are in the rear portion and the side portion which are blind spots of the driver (for example, the driver D in FIG. 1) of the vehicle (for example, thevehicle 10 in FIG. 1). It is possible to accurately discriminate from the body 40).

また、本発明の一態様の危険予測装置において、前記第１識別手段は、空間フィルタリング処理により、前記１又は２以上の前記反射データを、前記移動体を示す移動体反射データと、前記固定体反射データとにそれぞれ識別することができる、ことが好ましい。
この発明によれば、１又は２以上の反射データの中から、車両に接近する移動体反射データを識別表示させることができる。Further, in the danger prediction device of one aspect of the present invention, the first identification means performs spatial filtering processing to obtain the one or two or more of the reflection data, the mobile reflection data indicating the moving body, and the fixed body. It is preferable that they can be distinguished from the reflection data.
According to the present invention, it is possible to identify and display the moving object reflection data approaching the vehicle from one or more reflection data.

また、本発明の一態様の危険予測装置において、空間フィルタリング処理が、ガボールフィルタを複数段用いた処理である、ことが好ましい。
この発明によれば、時空間データにおける線分の傾き（角度）を検出することができる。Further, in the risk prediction device of one aspect of the present invention, it is preferable that the spatial filtering process is a process using a plurality of stages of Gabor filters.
According to the present invention, the slope (angle) of a line segment in spatiotemporal data can be detected.

また、本発明の一態様の危険予測装置において、前記第２識別手段は、さらに、前記移動体の水平方向の位置の特定を行う、ことが好ましい。
また、本発明の一態様の危険予測装置において、前記第２識別手段は、さらに、識別した前記移動体の種類を特定する、ことが好ましい。
この発明によれば、危険予測が精度良く行われるための前提となる第２画像データの正確性を担保することができる。Further, in the danger prediction device of one aspect of the present invention, it is preferable that the second identification means further identifies the horizontal position of the moving body.
Further, in the danger prediction device of one aspect of the present invention, it is preferable that the second identification means further specifies the type of the identified moving object.
According to the present invention, it is possible to ensure the accuracy of the second image data, which is a premise for the risk prediction to be performed accurately.

また、本発明の一態様の危険予測装置において、前記種類には、人間が少なくとも含まれる、ことが好ましい。
この発明によれば、接近物（移動体３１）の急激な速度変化に的確に対応し、「人」を的確に判別することが可能となる。Further, in the risk prediction device of one aspect of the present invention, it is preferable that the type includes at least a human being.
According to the present invention, it is possible to accurately respond to a sudden change in speed of an approaching object (moving body 31) and accurately identify a "person".

また、本発明の一態様の危険予測装置において、
前記測定可能領域のうち、前記車両と前記移動体との間で交通事故が起きるリスクが高い領域を危険領域として予め設定する危険領域設定手段と、
前記時空間パターンに基づいて、前記車両の移動軌跡と、前記移動体の移動軌跡とを評価して、前記移動体が前記危険領域に進入するおそれがあるか否かを判断し、進入するおそれがあると判断した場合に、その旨を危険予測として前記運転者に提示する危険予測手段と、
をさらに備える、ことが好ましい。
この発明によれば、車両１０と交通弱者７０（移動体３１）との交通事故を未然に防ぐための情報を運転者Ｄに提供することができる。Further, in the risk prediction device of one aspect of the present invention,
Among the measurable areas, a danger area setting means for presetting a area where there is a high risk of a traffic accident between the vehicle and the moving body as a danger area, and
Based on the space-time pattern, the movement locus of the vehicle and the movement locus of the moving body are evaluated to determine whether or not the moving body may enter the dangerous area, and the moving body may enter. When it is determined that there is, a danger prediction means that presents that fact to the driver as a danger prediction, and
It is preferable to further provide.
According to the present invention, it is possible to provide the driver D with information for preventing a traffic accident between thevehicle 10 and the vulnerable traffic person 70 (moving body 31).

また、本発明の一態様の危険予測装置において、前記第２識別手段は、前記距離データ生成手段及び前記撮像手段の設置環境に応じて、前記測定可能領域と、前記第２画像データとを調整する、ことが好ましい。
この発明によれば、危険予測が精度良く行われるための前提となる、第２画像データの正確性を担保することができる。Further, in the danger prediction device of one aspect of the present invention, the second identification means adjusts the measurable area and the second image data according to the installation environment of the distance data generation means and the image pickup means. It is preferable to do.
According to the present invention, it is possible to ensure the accuracy of the second image data, which is a premise for the risk prediction to be performed accurately.

１：危険予測装置
１０：車両
１１：ＣＰＵ
１２：ＲＯＭ
１３：ＲＡＭ
１４：バス
１５：入出力インターフェース
１６：表示部
１７：入力部
１８：記憶部
１９：通信部
２０：ドライブ
２１：反射物
３０：リムーバブルメディア
３１：移動体
４０：固定体
７０：交通弱者
１０１：センサ部
１０２：撮像部
１０３：第２識別部
１０４：２次元マップ生成部
１０５：危険予測部
１１１：距離データ生成部
１１２：自車データ生成部
１１３：時空間解析部
１２０：レーダ
１２１：カメラ
１２２：第２画像データ生成部
３１１：反射データ表示部
３１２：第１識別部
３１３：移動体データ生成部
４０１：距離ＤＢ
４０２：画像ＤＢ
４０３：自車ＤＢ
４０４：時空間ＤＢ
Ａ：車両の全長
Ｂ：グラフ
Ｃ：グラフ
Ｄ：運転者
Ｆ：２次元マップ
Ｋ：測定可能角度
Ｌ：測定可能距離
Ｍ：測定可能領域
ｎ：段数
Ｐ：距離
Ｑ：死角領域
Ｒ：枠線
Ｓ：画像
Ｔ：時間
Ｕ：反射レベル
Ｖ：枠線
Ｗ：線分
Ｘ：危険領域
Ｙ：線分
α：線分
β：線分
γ：曲線
1: Danger prediction device 10: Vehicle 11: CPU
12: ROM
13: RAM
14: Bus 15: Input / output interface 16: Display 17: Input 18: Storage 19: Communication 20: Drive 21: Reflector 30: Removable media 31: Mobile 40: Fixed 70: Traffic vulnerable 101: Sensor Unit 102: Imaging unit 103: Second identification unit 104: Two-dimensional map generation unit 105: Danger prediction unit 111: Distance data generation unit 112: Own vehicle data generation unit 113: Spatio-temporal analysis unit 120: Radar 121: Camera 122: 2nd image data generation unit 311: Reflection data display unit 312: 1st identification unit 313: Mobile data generation unit 401: Distance DB
402: Image DB
403: Own vehicle DB
404: Space-time DB
A: Total length of vehicle B: Graph C: Graph D: Driver F: Two-dimensional map K: Measurable angle L: Measurable distance M: Measurable area n: Number of stages P: Distance Q: Blind spot area R: Frame line S : Image T: Time U: Reflection level V: Frame line W: Line segment X: Danger area Y: Line segment α: Line segment β: Line segment γ: Curve

Claims (11)

Translated fromJapanese

車両に搭載される危険予測装置であって、
前記車両の周囲の領域のうち測定可能領域に存在する反射物までの距離を計測し、当該計測の結果に基づいた距離データを生成する距離データ生成手段と、
生成された前記距離データを時間軸の方向に蓄積させた時空間データを含む入力データに基づいて、前記反射物の時空間上の距離変化を示す第１画像データを生成し、生成した第１画像データ上に、前記反射物の反射データを表示させる反射データ表示手段と、
前記第１画像データ上に表示された、１又は２以上の前記反射データを、移動体を示す移動体反射データと、固定体を示す固定体反射データとにそれぞれ識別する第１識別手段と、
前記移動体反射データにより示される前記移動体の、移動速度、加速度、及び移動方向を含む移動体データを生成する移動体データ生成手段と、
前記車両の周囲を撮像する撮像手段と、
撮像された画像に基づく第２画像データを生成する第２画像データ生成手段と、
生成された前記第２画像データと、前記移動体データとを少なくとも含む情報に基づいて、前記第２画像データに含まれる前記移動体のうち、前記車両に接近する移動体を識別する第２識別手段と、
を備える危険予測装置。It is a danger prediction device installed in a vehicle.
A distance data generation means that measures the distance to a reflective object existing in a measurable area of the area around the vehicle and generates distance data based on the measurement result.
Based on the input data including the spatiotemporal data obtained by accumulating the generated distance data in the direction of the time axis, the first image data showing the spatiotemporal distance change of the reflective object is generated, and the generated first image data is generated. A reflection data display means for displaying the reflection data of the reflective object on the image data,
A first identification means for discriminating one or more of the reflection data displayed on the first image data into a moving body reflection data indicating a moving body and a fixed body reflection data indicating a fixed body, respectively.
A mobile data generation means for generating mobile data including a moving speed, an acceleration, and a moving direction of the moving body indicated by the moving body reflection data.
An imaging means that images the surroundings of the vehicle, and
A second image data generation means for generating a second image data based on the captured image, and a second image data generation means.
A second identification that identifies a moving body approaching the vehicle among the moving bodies included in the second image data based on information including at least the generated second image data and the moving body data. Means and
A danger predictor equipped with. 前記第１識別手段は、
空間フィルタリング処理により、前記１又は２以上の前記反射データを、前記移動体を示す移動体反射データと、前記固定体を示す固定体反射データとにそれぞれ識別する、
請求項１に記載の危険予測装置。The first identification means is
By the spatial filtering process, the one or two or more reflection data are discriminated into the moving body reflection data indicating the moving body and the fixed body reflection data indicating the fixed body, respectively.
The risk prediction device according to claim 1. 前記空間フィルタリング処理が、ガボールフィルタを複数段用いた処理である、
請求項２に記載の危険予測装置。The spatial filtering process is a process using a plurality of stages of Gabor filters.
The risk prediction device according to claim 2. 前記第２識別手段は、さらに、
識別した前記移動体の水平方向の位置の特定を行う、
請求項１～３のうちいずれか１項に記載の危険予測装置。The second identification means further
Identify the horizontal position of the identified moving object,
The risk prediction device according to any one of claims 1 to 3. 前記第２識別手段は、さらに、
識別した前記移動体の種類を特定する、
請求項１～４のうちいずれか１項に記載の危険予測装置。The second identification means further
Identify the type of identified mobile body,
The risk prediction device according to any one of claims 1 to 4. 前記種類には、人間が少なくとも含まれる、
請求項５に記載の危険予測装置。The types include at least humans,
The risk prediction device according to claim 5. 前記車両と前記移動体との位置関係を示す時空間パターンが表示された２次元のマップを生成し、前記車両を運転する運転者に対し前記２次元マップを提示する２次元マップ生成提示手段をさらに備える、
請求項１～６のうちいずれか１項に記載の危険予測装置。A two-dimensional map generation presentation means that generates a two-dimensional map displaying a spatio-temporal pattern showing the positional relationship between the vehicle and the moving body and presents the two-dimensional map to the driver who drives the vehicle. Further prepare
The risk prediction device according to any one of claims 1 to 6. 前記測定可能領域のうち、前記車両と前記移動体との間で交通事故が起きるリスクが高い領域を危険領域として予め設定する危険領域設定手段と、
前記時空間パターンに基づいて、前記車両の移動軌跡と、前記移動体の移動軌跡とを評価して、前記移動体が前記危険領域に進入するおそれがあるか否かを判断し、進入するおそれがあると判断した場合に、その旨を危険予測として前記運転者に提示する危険予測手段と、
をさらに備える、
請求項７に記載の危険予測装置。Among the measurable areas, a danger area setting means for presetting a area where there is a high risk of a traffic accident between the vehicle and the moving body as a danger area, and
Based on the space-time pattern, the movement locus of the vehicle and the movement locus of the moving body are evaluated to determine whether or not the moving body may enter the dangerous area, and the moving body may enter. When it is determined that there is, a danger prediction means that presents that fact to the driver as a danger prediction, and
Further prepare,
The risk prediction device according to claim 7. 前記第２識別手段は、前記距離データ生成手段及び前記撮像手段の設置環境に応じて、前記測定可能領域と、前記第２画像データとを調整する、
請求項１～８のうちいずれか１項に記載の危険予測装置。The second identification means adjusts the measurable area and the second image data according to the installation environment of the distance data generation means and the image pickup means.
The risk prediction device according to any one of claims 1 to 8. 車両における危険予測に用いられる方法であって、
前記車両の周囲の領域のうち測定可能領域に存在する反射物までの距離を計測し、当該計測の結果に基づいた距離データを生成する距離データ生成ステップと、
前記距離データを時間軸の方向に蓄積させた時空間データを含む入力データに基づいて、前記反射物の時空間上の距離変化を示す第１画像データを生成し、生成された前記第１画像データ上に、前記反射物の反射データを表示させる反射データ表示ステップと、
前記第１画像データ上に表示された、１又は２以上の前記反射データを、移動体を示す移動体反射データと、固定体を示す固定体反射データとにそれぞれ識別する第１識別ステップと、
前記移動体反射データにより示される前記移動体の、移動速度、加速度、及び移動方向を含む移動体データを生成する移動体データ生成ステップと、
前記車両の周囲を撮像する撮像ステップと、
撮像された画像に基づく第２画像データを生成する第２画像データ生成ステップと、
生成された前記第２画像データと、前記移動体データとを少なくとも含む情報に基づいて、前記第２画像データに含まれる前記移動体のうち、前記車両に接近する移動体を識別する第２識別ステップと、
を含む危険予測方法。It is a method used for risk prediction in vehicles.
A distance data generation step that measures the distance to a reflective object existing in the measurable area of the area around the vehicle and generates distance data based on the measurement result.
Based on the input data including the spatiotemporal data obtained by accumulating the distance data in the direction of the time axis, the first image data showing the spatiotemporal distance change of the reflector is generated, and the generated first image. A reflection data display step for displaying the reflection data of the reflective object on the data,
A first identification step for discriminating one or more of the reflection data displayed on the first image data into a moving body reflection data indicating a moving body and a fixed body reflection data indicating a fixed body, respectively.
A moving body data generation step for generating moving body data including a moving speed, an acceleration, and a moving direction of the moving body indicated by the moving body reflection data.
An imaging step that images the surroundings of the vehicle, and
A second image data generation step that generates second image data based on the captured image, and
A second identification that identifies a moving body approaching the vehicle among the moving bodies included in the second image data based on information including at least the generated second image data and the moving body data. Steps and
Risk prediction methods including. 危険予測装置を制御するコンピュータに、
車両の周囲の領域のうち測定可能領域に存在する反射物までの距離を計測し、当該計測の結果に基づいた距離データを生成する距離データ生成ステップと、
前記距離データを時間軸の方向に蓄積させた時空間データを含む入力データに基づいて、前記反射物の時空間上の距離変化を示す第１画像データを生成し、生成された前記第１画像データ上に、前記反射物の反射データを表示させる反射データ表示ステップと、
前記第１画像データ上に表示された、１又は２以上の前記反射データを、移動体を示す移動体反射データと、固定体を示す固定体反射データとにそれぞれ識別する第１識別ステップと、
前記移動体反射データにより示される前記移動体の、移動速度、加速度、及び移動方向を含む移動体データを生成する移動体データ生成ステップと、
前記車両の周囲を撮像する撮像ステップと、
撮像された画像に基づく第２画像データを生成する第２画像データ生成ステップと、
生成された前記第２画像データと、前記移動体データとを少なくとも含む情報に基づいて、前記第２画像データに含まれる前記移動体のうち、前記車両に接近する移動体を識別する第２識別ステップと、
を含む制御処理を実行させるプログラム。To the computer that controls the danger predictor,
A distance data generation step that measures the distance to a reflective object existing in the measurable area of the area around the vehicle and generates distance data based on the measurement result.
Based on the input data including the spatiotemporal data obtained by accumulating the distance data in the direction of the time axis, the first image data showing the spatiotemporal distance change of the reflector is generated, and the generated first image. A reflection data display step for displaying the reflection data of the reflective object on the data, and
A first identification step for discriminating one or more of the reflection data displayed on the first image data into a moving body reflection data indicating a moving body and a fixed body reflection data indicating a fixed body, respectively.
A moving body data generation step for generating moving body data including a moving speed, an acceleration, and a moving direction of the moving body indicated by the moving body reflection data.
An imaging step that images the surroundings of the vehicle, and
A second image data generation step that generates second image data based on the captured image, and
A second identification that identifies a moving body approaching the vehicle among the moving bodies included in the second image data based on information including at least the generated second image data and the moving body data. Steps and
A program that executes control processing including.

Images