本発明は、夜間など車両周囲の照度が低いときに近赤外線カメラを用いて画像を撮影する際に、撮影した近赤外線映像の細部の認識度を向上させる技術に関する。 The present invention relates to a technique for improving the degree of recognition of details of a captured near-infrared image when an image is captured using a near-infrared camera when the illumination around a vehicle is low, such as at night.
従来より、近赤外線カメラを用いて夜間に画像を撮影する画像監視装置が知られている。具体的には、特許文献１に記載の画像監視装置では、まず、画像入力制御部が、ＬＥＤ照明装置付きＩＴＶカメラで撮影する監視シーンに対し、照明を強くしたノーマル露光の第１画像と、照明を弱くした高速露光の第２画像とを設定する。また、画像入力部が第１画像を入力した後、次のフィールドで第２画像を入力し、画像合成部が第１画像と第２画像に対し、画素毎の輝度値に応じた重み係数を乗じて加算して合成画像を作成、物体判定の処理対象画像とする。さらに、差分画像作成部が合成画像の直前フレームと現フレーム間で画素毎の差分処理を行い、変化領域抽出部が差分画像を２値化して変化領域を抽出する。そして、物体検知部が変化領域の統合領域毎に、フレーム間の正規化相関処理による濃淡パターンマッチングを行って物体判定を行う。
しかし、上述のような画像監視装置においては、近赤外線カメラによって夜間に撮影された画像については、被写体のおおよその形は判別可能であるが、被写体の細部を識別することが困難であるという問題があった。 However, in the image monitoring apparatus as described above, with respect to an image taken at night by a near-infrared camera, the approximate shape of the subject can be determined, but it is difficult to identify the details of the subject. was there.
本発明は、このような不具合に鑑みなされたものであり、その目的とするところは、夜間など車両周囲の照度が低いときに撮影した近赤外線映像の細部の認識度を向上させる技術を提供することにある。 The present invention has been made in view of such problems, and an object of the present invention is to provide a technique for improving the degree of recognition of details of near-infrared images taken when the illuminance around the vehicle is low, such as at night. There is.
上記課題を解決するためになされた請求項１に係る車両周辺監視システムにおいては、可視光カメラが、車両周囲に存在する被写体から反射される可視光をその撮影タイミングに撮影可能であり、近赤外線光源が、被写体に近赤外線を照射可能であり、近赤外線カメラが、近赤外線光源から照射されたのちに被写体から反射された近赤外線をその撮影タイミングに撮影可能である。そして、撮影制御手段が、近赤外線光源の発光状態、可視光カメラの撮影タイミングおよび近赤外線カメラの撮影タイミングを制御することで、近赤外線光源から近赤外線を被写体へ照射しない状態で被写体から反射された可視光を可視光カメラによって撮影させた後に近赤外線光源から近赤外線を被写体へ照射する状態で被写体から反射された近赤外線を近赤外線カメラによって撮影させる処理を所定間隔で繰り返し実行する。さらに、画像合成手段が、近赤外線光源から近赤外線を被写体へ照射しない状態で可視光カメラが被写体から反射された可視光を撮影した「第一画像」から被写体の輪郭を抽出し、その抽出した輪郭および輪郭に囲まれた部分からなる特定領域を、近赤外線光源から近赤外線を被写体へ照射する状態で近赤外線カメラが被写体から反射された近赤外線を撮影した「第二画像」に合成し、その合成後の画像における特定領域に特定の色彩を付与する。そして、表示制御手段が、画像合成手段によって生成された合成画像を、ユーザに対して種々の情報を表示する表示手段に表示させる。 In the vehicle periphery monitoring system according to claim 1 made to solve the above-described problem, the visible light camera can capture visible light reflected from a subject existing around the vehicle at the capturing timing thereof, and a near infrared ray The light source can irradiate the subject with near-infrared light, and the near-infrared camera can shoot near-infrared light reflected from the subject after being irradiated from the near-infrared light source at the photographing timing. The imaging control means controls the light emission state of the near-infrared light source, the imaging timing of the visible light camera, and the imaging timing of the near-infrared camera so that the near-infrared light source does not irradiate the object with near-infrared light and is reflected from the subject. After the visible light is photographed by the visible light camera, the process of photographing the near infrared light reflected from the subject by the near infrared camera in a state where the near infrared light source irradiates the subject with the near infrared light is repeatedly executed at predetermined intervals. Further, the image composition means extracts the contour of the subject from the “first image” in which the visible light camera captures the visible light reflected from the subject without irradiating the subject with near-infrared light from the near-infrared light source. A specific area consisting of a contour and a portion surrounded by the contour is synthesized with a “second image” in which the near-infrared camera shoots the near-infrared reflected from the subject while irradiating the subject with near-infrared light from the near-infrared light source, A specific color is given to a specific area in the combined image. Then, the display control means displays the composite image generated by the image composition means on the display means for displaying various information to the user.
このように構成された本発明の車両周辺監視システムによれば、夜間など車両周囲の照度が低いときでも、合成後の画像における特定領域に特定の色彩を付与するので、その撮影した近赤外線映像の細部の認識度を向上させることができる。 According to the vehicle periphery monitoring system of the present invention configured as described above, even when the illuminance around the vehicle is low, such as at night, a specific color is given to a specific region in the combined image, so the captured near-infrared image It is possible to improve the degree of recognition of details.
ところで、例えば夜間など車両周囲の照度が低いときには、可視光カメラが撮影した第一画像に被写体などの物体が鮮明に写らない場合がある。このような場合、抽出された被写体の輪郭が不明瞭となるおそれがある。 By the way, when the illuminance around the vehicle is low, such as at night, an object such as a subject may not be clearly captured in the first image taken by the visible light camera. In such a case, the contour of the extracted subject may become unclear.
そこで、車両周囲の照度が不足する場合には可視光を被写体に照射することが考えられる。具体的には、請求項２のように、車両周囲の照度を計測する照度計測手段と、被写体に可視光を照射可能な可視光光源と、照度計測手段からの出力信号に基づき、車両周囲の照度が閾値よりも小さいか否かを判断する照度判断手段と、を備え、照度判断手段によって車両周囲の照度が閾値よりも小さいと判断される場合には、撮影制御手段が、被写体から反射された可視光を可視光カメラによって撮影させる際に、可視光光源の発光状態を制御して、可視光光源から可視光を被写体へ照射する状態とすることが考えられる。 Thus, it is conceivable to irradiate the subject with visible light when the illuminance around the vehicle is insufficient. Specifically, as in claim 2, the illuminance measuring means for measuring the illuminance around the vehicle, the visible light source capable of irradiating the subject with visible light, and the output signal from the illuminance measuring means, Illuminance determining means for determining whether or not the illuminance is smaller than the threshold, and when the illuminance determining means determines that the illuminance around the vehicle is smaller than the threshold, the imaging control means is reflected from the subject. When photographing visible light with a visible light camera, it is conceivable to control the light emission state of the visible light source to irradiate the subject with visible light from the visible light source.
このようにすれば、例えば夜間など車両周囲の照度が低いときでも、可視光カメラが撮影した第一画像に被写体などの物体が鮮明に写ることが期待でき、抽出される被写体の輪郭が明瞭となる。したがって、例えば夜間など車両周囲の照度が低いときでも、合成画像である近赤外線映像の細部の認識度を維持することができる。 In this way, even when the illuminance around the vehicle is low, such as at night, an object such as a subject can be expected to appear clearly in the first image captured by the visible light camera, and the contour of the extracted subject is clear. Become. Therefore, even when the illuminance around the vehicle is low, such as at night, it is possible to maintain the degree of detail recognition of the near-infrared video that is the composite image.
この場合、車速に応じて可視光の光量を調整することが考えられる。具体的には、請求項３のように、車両の速度を計測する車速計測手段を備え、撮影制御手段が、被写体から反射された可視光を可視光カメラによって撮影させる際に、車速計測手段からの出力信号に基づき、可視光光源の発光状態を制御して、可視光光源が発光する可視光の光量を調整することが考えられる。一例を挙げると、車両の速度が閾値よりも大きい場合には、より遠くの被写体を撮影しておくために、可視光光源が発光する可視光の光量を大きくするといった具合である。また、車両の速度が増加する場合にはその増加具合に応じて可視光光源が発光する可視光の光量を大きくするようにしてもよい。このようにすれば、例えば車両の走行速度が大きい場合には、可視光の光量を大きくすることで可視光の到達距離が大きくなり、より遠くの被写体を撮影しておくができる。したがって、合成画像である近赤外線映像の細部の認識度をより向上させることができる。 In this case, it is conceivable to adjust the amount of visible light according to the vehicle speed. Specifically, as in claim 3, the vehicle speed measuring means for measuring the speed of the vehicle is provided, and when the imaging control means captures the visible light reflected from the subject by the visible light camera, the vehicle speed measuring means It is conceivable to adjust the amount of visible light emitted from the visible light source by controlling the emission state of the visible light source based on the output signal. For example, when the speed of the vehicle is larger than the threshold, the amount of visible light emitted from the visible light source is increased in order to photograph a farther subject. Further, when the vehicle speed increases, the amount of visible light emitted from the visible light source may be increased according to the increase. In this way, for example, when the traveling speed of the vehicle is high, the reach of visible light is increased by increasing the amount of visible light, and a farther subject can be photographed. Accordingly, it is possible to further improve the degree of recognition of details of the near-infrared video that is the composite image.
なお、上述の可視光光源が発光状態となって被写体に可視光が照射されると、近赤外線カメラが撮影した画像に照りが映るおそれがある。そこで、可視光光源が発光状態である間は近赤外線カメラに撮影させないようにすることが考えられる。具体的には、請求項４のように、可視光光源が発光状態である場合には、撮影制御手段が、近赤外線カメラを撮影状態とはしないことが考えられる。このようにすれば、近赤外線カメラによる撮影画像に照りが映らず、夜間など車両周囲の照度が低いときに撮影した近赤外線映像の細部の認識度を維持することができる。 Note that if the above-described visible light source is in a light emitting state and the subject is irradiated with visible light, there is a possibility that the image captured by the near-infrared camera may be shone. Therefore, it is conceivable that the near-infrared camera is not allowed to take an image while the visible light source is in a light emitting state. Specifically, as in claim 4, when the visible light source is in a light emitting state, it is conceivable that the photographing control means does not place the near infrared camera in the photographing state. In this way, the image captured by the near-infrared camera is not illuminated, and the degree of recognition of details of the near-infrared image captured when the illuminance around the vehicle is low, such as at night, can be maintained.
ところで、被写体に対応する特徴領域に対して特定の色彩を付与する処理の具体例としては、安全運転の実行に関連する物体に対応する領域に特定の色彩を付与することが挙げられる。具体的には、請求項５のように、特徴領域に対応する被写体が安全運転の実行に関連する安全運転関連物体であるか否かを判断する安全運転関連物体判断手段を備え、画像合成手段が、安全運転関連物体判断手段によって安全運転関連物体であると判断された被写体に対応する特徴領域に対して特定色彩を付与することが考えられる。このようにすれば、特定領域の形状の歪み補正を単純化することができ、合成画像としての近赤外線映像の細部の認識度をより向上させることができる。また、運転者への情報提供の効果も向上させることができる。 By the way, as a specific example of the process of giving a specific color to the feature area corresponding to the subject, a specific color is given to the area corresponding to the object related to the execution of the safe driving. Specifically, as in claim 5, the vehicle is provided with safe driving-related object determining means for determining whether or not the subject corresponding to the characteristic area is a safe driving-related object related to execution of safe driving, and image synthesizing means However, it is conceivable to give a specific color to the feature region corresponding to the subject determined to be a safe driving-related object by the safe driving-related object determination means. In this way, distortion correction of the shape of the specific area can be simplified, and the degree of recognition of details of the near-infrared video as a composite image can be further improved. In addition, the effect of providing information to the driver can be improved.
また、請求項６のように、画像合成手段が、特定領域を第二画像に合成する際に画像中のオフセット成分を調整することが考えられる。このようにすれば、例えば車両内から撮影する場合など、画像中の背景部分を消去することができ、合成画像としての近赤外線映像の細部の認識度をより向上させることができる。 Further, as in claim 6, it is conceivable that the image synthesizing means adjusts the offset component in the image when synthesizing the specific area with the second image. In this way, for example, when shooting from inside the vehicle, the background portion in the image can be deleted, and the degree of recognition of details of the near-infrared video as a composite image can be further improved.
また、第一画像を撮影してから第二画像を撮影するまでの間隔を短くすることが考えられる。具体的には、請求項７のように、撮影制御手段が、近赤外線光源から近赤外線を被写体へ照射しない状態で被写体から反射された可視光を可視光カメラによって撮影させた後に近赤外線光源から近赤外線を被写体へ照射する状態で被写体から反射された近赤外線を近赤外線カメラによって撮影させるまでの所要時間が閾値以下となるように、近赤外線光源の発光状態、可視光カメラの撮影タイミングおよび近赤外線カメラの撮影タイミングを制御することが考えられる。このようにすれば、合成画像としての近赤外線映像の細部の認識度をより向上させることができる。 Further, it is conceivable to shorten the interval from when the first image is captured until the second image is captured. Specifically, as described in claim 7, the imaging control means causes the visible light camera to capture visible light reflected from the subject without irradiating the subject with near infrared light from the near infrared light source, and then from the near infrared light source. The emission state of the near-infrared light source, the shooting timing of the visible light camera, the near-infrared light source, the shooting timing of the near-infrared light source, the near-infrared light source, It is conceivable to control the shooting timing of the infrared camera. In this way, it is possible to further improve the degree of recognition of details of the near-infrared video as a composite image.
ところで、上述のように合成後の画像における特定領域に特定の色彩を付与する際には、物体の内部でサンプリングした色彩に最も近い色彩を、予め用意した複数の色彩から選択して割り付けるとよい。具体的には、請求項８のように、画像合成手段が、合成後の画像における特定領域に特定の色彩を付与する際には、抽出した輪郭に囲まれた部分の画像をサンプリングし、予め用意した複数の色彩からそのサンプリングした色彩に最も近い色彩を選択して特定領域に割り付けることが考えられる。このようにすれば、合成画像としての近赤外線映像の細部の認識度をより向上させることができる。 By the way, when assigning a specific color to a specific region in the combined image as described above, a color closest to the color sampled inside the object may be selected and assigned from a plurality of colors prepared in advance. . Specifically, as described in claim 8, when the image synthesizing unit gives a specific color to the specific area in the combined image, the image of the portion surrounded by the extracted contour is sampled in advance. It is conceivable that a color closest to the sampled color is selected from a plurality of prepared colors and assigned to a specific area. In this way, it is possible to further improve the degree of recognition of details of the near-infrared video as a composite image.
以下に本発明の実施形態を図面とともに説明する。
［第一実施形態］
図１は、第一実施形態の車両周辺監視システム１の概略構成を示す説明図である。また、図２は、近赤外線カメラ１０の撮影タイミング、可視光カメラ２０の撮影タイミング、およびマルチ光源３０の発光タイミングを示す説明図である。Embodiments of the present invention will be described below with reference to the drawings.
[First embodiment]
FIG. 1 is an explanatory diagram showing a schematic configuration of a vehicle periphery monitoring system 1 according to the first embodiment. FIG. 2 is an explanatory diagram showing the shooting timing of the near-infrared camera 10, the shooting timing of the visible light camera 20, and the light emission timing of the multi-light source 30.
［車両周辺監視システム１の構成の説明］
車両周辺監視システム１は、近赤外線カメラ１０と、可視光カメラ２０と、マルチ光源３０と、照度計４０と、光源強度制御部５０と、同期制御部６０と、画像処理部７０と、画像表示装置８０と、を備える。[Description of Configuration of Vehicle Perimeter Monitoring System 1]
The vehicle periphery monitoring system 1 includes a near-infrared camera 10, a visible light camera 20, a multi-light source 30, a luminometer 40, a light intensity control unit 50, a synchronization control unit 60, an image processing unit 70, and an image display. Device 80.
近赤外線カメラ１０は、ＣＣＤカメラで構成され、その前方の被写体から反射される近赤外線を連続して撮影する。なお、近赤外線カメラ１０の撮影タイミングは同期制御部６０によって制御される。また、本実施形態では１台の近赤外線カメラ１０が車両の前部に設置され、車両前方を撮影する。 The near-infrared camera 10 is composed of a CCD camera and continuously captures near-infrared rays reflected from a subject in front of the near-infrared camera 10. Note that the photographing timing of the near-infrared camera 10 is controlled by the synchronization control unit 60. In the present embodiment, one near-infrared camera 10 is installed in the front part of the vehicle and photographs the front of the vehicle.
可視光カメラ２０は、ＣＣＤカメラで構成され、その前方の被写体から反射される可視光を連続して撮影する。なお、可視光カメラ２０の撮影タイミングは同期制御部６０によって制御される。なお、本実施形態では１台の可視光カメラ２０が車両の前部に設置され、車両前方を撮影する。 The visible light camera 20 is composed of a CCD camera and continuously captures visible light reflected from a subject in front of it. Note that the imaging timing of the visible light camera 20 is controlled by the synchronization control unit 60. In the present embodiment, one visible light camera 20 is installed in the front part of the vehicle and photographs the front of the vehicle.
マルチ光源３０は、可視光光源および近赤外線光源を有し、可視光光源が前方の被写体に可視光を照射し、近赤外線光源が前方の被写体に近赤外線を照射する。なお、マルチ光源３０の発光強度は光源強度制御部５０によって制御され、マルチ光源３０の発光状態は同期制御部６０によって制御される。なお、マルチ光源３０は可視光光源および近赤外線光源に該当する。 The multi-light source 30 includes a visible light source and a near-infrared light source. The visible light source irradiates a front subject with visible light, and the near-infrared light source irradiates a front subject with near-infrared light. Note that the light emission intensity of the multi light source 30 is controlled by the light source intensity control unit 50, and the light emission state of the multi light source 30 is controlled by the synchronization control unit 60. The multi-light source 30 corresponds to a visible light source and a near infrared light source.
照度計４０は、周囲の照度を計測し、その計測結果を示す信号を光源強度制御部５０へ出力する。
光源強度制御部５０は、照度計４０からの出力信号に基づき、マルチ光源３０の発光強度を制御する。The illuminometer 40 measures ambient illuminance and outputs a signal indicating the measurement result to the light source intensity control unit 50.
The light source intensity control unit 50 controls the light emission intensity of the multi-light source 30 based on the output signal from the illuminometer 40.
同期制御部６０は、外部から取得する車速を示す信号およびライト点灯信号に基づき、近赤外線カメラ１０の撮影タイミング、可視光カメラ２０の撮影タイミングおよびマルチ光源３０の発光状態を、図２に示すようなタイミングで制御する。なお、同期制御部６０は撮影制御手段に該当する。 The synchronization control unit 60, as shown in FIG. 2, shows the shooting timing of the near-infrared camera 10, the shooting timing of the visible light camera 20, and the light emission state of the multi-light source 30 based on the signal indicating the vehicle speed and the light lighting signal acquired from the outside. Control at appropriate timing. The synchronization control unit 60 corresponds to a photographing control unit.
画像処理部７０は、各種画像処理を実行する。また、画像処理部７０は、画像メモリ７１，７２，７３，７４を有する。これら画像メモリ７１，７２，７３，７４は、画像処理部７０が生成した画像を一時的に保存するのに利用される。また、画像処理部７０は、各種画像処理後の画像を画像表示装置８０へ出力する。なお、画像処理部７０は差分抽出手段および画像合成手段に該当する。 The image processing unit 70 executes various image processes. The image processing unit 70 includes image memories 71, 72, 73, and 74. These image memories 71, 72, 73, 74 are used for temporarily storing the image generated by the image processing unit 70. Further, the image processing unit 70 outputs the image after various image processing to the image display device 80. The image processing unit 70 corresponds to a difference extraction unit and an image synthesis unit.
画像表示装置８０は、液晶ディスプレイや有機ＥＬディスプレイ等から構成され、ユーザに対して各種情報を表示する。なお、各種情報の具体例としては、画像処理部７０が出力した画像が挙げられる。なお、画像表示装置８０は表示手段および表示制御手段に該当する。 The image display device 80 is composed of a liquid crystal display, an organic EL display, or the like, and displays various information to the user. Note that specific examples of various types of information include images output by the image processing unit 70. The image display device 80 corresponds to display means and display control means.
［車両周辺監視処理の説明］
次に、車両周辺監視システム１によって実行される車両周辺監視処理を図３のフローチャートおよび図４〜図７を参照して説明する。[Description of vehicle periphery monitoring processing]
Next, the vehicle periphery monitoring process executed by the vehicle periphery monitoring system 1 will be described with reference to the flowchart of FIG. 3 and FIGS.
本処理は、車両周辺監視システム１の電源が投入された際に実行される。
まず、初期状態として車両のランプや照明がオフであることを確認する（Ｓ１０５）。具体的には、同期制御部６０が、外部から取得したライト点灯信号に基づき、車両のランプや照明がオフであるか否かを判断する。肯定判断である場合には（Ｓ１０５：ＹＥＳ）、車両が昼間に走行していると判定され、光源強度制御部５０が補助光源としてのマルチ光源３０の可視光光源の発光状態をオフとし（Ｓ１１０、図４（ａ）参照）、Ｓ１１５に移行する。一方、否定判断である場合には（Ｓ１０５：ＮＯ）、光源強度制御部５０が補助光源の発光状態をオンとする（Ｓ１１５、図４（ｂ）参照）。なお、本実施形態では、図４（ｂ）に参照する画像に対して、車両から所定距離まで可視光が到達するように補助光源の光量を調整することにより、近傍に対して光が届かない遠方では撮影した画像の濃さが強くなり、ある閾値以上の濃さの領域を識別することで画像中の遠方にある余分な物体を排除する処理を行っている（図４（ｃ）参照）。そして、Ｓ１２０に移行する。This process is executed when the vehicle periphery monitoring system 1 is powered on.
First, as an initial state, it is confirmed that the lamp and illumination of the vehicle are off (S105). Specifically, the synchronization control unit 60 determines whether or not a vehicle lamp or illumination is off based on a light lighting signal acquired from the outside. If the determination is affirmative (S105: YES), it is determined that the vehicle is running in the daytime, and the light source intensity control unit 50 turns off the light emission state of the visible light source of the multi-light source 30 as the auxiliary light source (S110). 4 (a)), the process proceeds to S115. On the other hand, if the determination is negative (S105: NO), the light source intensity control unit 50 turns on the light emission state of the auxiliary light source (S115, see FIG. 4B). In the present embodiment, light does not reach the vicinity of the image referred to in FIG. 4B by adjusting the light amount of the auxiliary light source so that visible light reaches a predetermined distance from the vehicle. The darkness of the photographed image becomes strong at a distance, and a process of eliminating an extraneous object at a distance in the image is performed by identifying a region having a density greater than a certain threshold (see FIG. 4C). . Then, the process proceeds to S120.
続いて、環境光がある状態で画像を撮影する（Ｓ１２０）。具体的には、同期制御部６０が、撮影を指示する信号を可視光カメラ２０へ送信する。すると、可視光カメラ２０ではその信号を受信することで被写体から反射された可視光を撮影する（図５（ａ）参照）。つまり、Ｓ１１０を経由した場合には、可視光カメラ２０は、補助光源が可視光を照射しない状態で可視光カメラ２０によって被写体を撮影する。一方、Ｓ１１５を経由した場合には、可視光カメラ２０は、補助光源が可視光を照射する状態で可視光カメラ２０によって被写体を撮影する。そして、可視光カメラ２０は、撮影した画像を画像処理部７０に出力し、画像処理部７０は、可視光カメラ２０から入力された画像をフレーム１として画像メモリ７１に一時保存する。なお、図５（ａ）はフレーム１の画像例である。このフレーム１は、モノクロまたはカラーの全波長画像であり、補助光源を点灯しないときに撮影する画像になる。言い換えると自然な外光によって撮影される画像であり、太陽光が強い場合には画像中に影が発生する。 Subsequently, an image is taken in the presence of ambient light (S120). Specifically, the synchronization control unit 60 transmits a signal for instructing photographing to the visible light camera 20. Then, the visible light camera 20 receives the signal and captures the visible light reflected from the subject (see FIG. 5A). That is, in the case of passing through S110, the visible light camera 20 captures a subject with the visible light camera 20 in a state where the auxiliary light source does not emit visible light. On the other hand, in the case of passing through S115, the visible light camera 20 captures a subject with the visible light camera 20 in a state where the auxiliary light source emits visible light. The visible light camera 20 outputs the captured image to the image processing unit 70, and the image processing unit 70 temporarily stores the image input from the visible light camera 20 in the image memory 71 as a frame 1. FIG. 5A shows an image example of frame 1. The frame 1 is a monochrome or color full-wavelength image and is an image to be taken when the auxiliary light source is not turned on. In other words, the image is captured by natural external light, and when sunlight is strong, a shadow is generated in the image.
続いて、その画像フレームの色情報が取得可能か否か、つまり色の違いが判定可能か否かを判断する（Ｓ１２５）。否定判断である場合には（Ｓ１２５：ＮＯ）、光源強度制御部５０が補助光源の発光状態をオンとするとともにその光強度を強くし（Ｓ１３０）、Ｓ１２０に移行する。一方、肯定判断である場合には（Ｓ１２５：ＹＥＳ）、色情報取得処理が取得したエリアごとの色情報を記憶する（Ｓ１３５）。 Subsequently, it is determined whether or not the color information of the image frame can be acquired, that is, whether or not the color difference can be determined (S125). If the determination is negative (S125: NO), the light source intensity control unit 50 turns on the light emission state of the auxiliary light source and increases the light intensity (S130), and the process proceeds to S120. On the other hand, if the determination is affirmative (S125: YES), the color information for each area acquired by the color information acquisition process is stored (S135).
続いて、同期制御部６０が、外部から取得した車速を示す信号に基づき、補助光源が照射する可視光の強度を設定する（Ｓ１４０）。具体的には、上述の各エリアの色情報を取得したら、車速を計測して補助光源の強度を設定する。一例を挙げると、車両の速度が速い場合には、補助光源の光強度を強くして、補助光源から照射される可視光が到達可能な距離を大きくするといった具合である。 Subsequently, the synchronization control unit 60 sets the intensity of visible light emitted from the auxiliary light source based on a signal indicating the vehicle speed acquired from the outside (S140). Specifically, when the color information of each area described above is acquired, the vehicle speed is measured and the intensity of the auxiliary light source is set. For example, when the vehicle speed is high, the light intensity of the auxiliary light source is increased to increase the distance that the visible light emitted from the auxiliary light source can reach.
続いて、画像を複数のエリアに分割する処理を実行する（Ｓ１４５、図９（ｂ）参照）。
続いて、時間を計測し（Ｓ１５０）、所定時間が経過したら次の画像を撮影する。具体的には、同期制御部６０が、マルチ光源３０の近赤外線光源の発光状態をオンとする旨の信号をマルチ光源３０へ送信する。すると、マルチ光源３０ではその信号を受信することで近赤外線光源の発光状態をオンとし、近赤外線を照射する（Ｓ１５５）。そして、同期制御部６０が、撮影を指示する信号を近赤外線カメラ１０へ送信する。すると、近赤外線カメラ１０ではその信号を受信することで被写体から反射された近赤外線を撮影する（Ｓ１６０、図５（ｂ）および図６（ａ）参照）。そして、近赤外線カメラ１０は、撮影した画像を画像処理部７０に出力する。画像処理部７０では、近赤外線カメラ１０から入力された画像をフレーム２として画像メモリ７２に一時保存する。なお、図５（ｂ）はフレーム２の画像例である。このフレーム２は、フレーム１と同様にモノクロまたはカラーの全波長画像であり、近赤外線光源からの近赤外線が照射されるために画像中の近くの部分が明るくなる。また、図６（ａ）は、夜など周囲の照度が不十分なときに、マルチ光源３０の近赤外線光源から照射される近赤外線のみによって近赤外線カメラ１０によって撮影された画像例である。このように近赤外線カメラ１０で撮影された画像は、近赤外線の強度が弱いため、通常のモノクロ写真よりも暗くなるが、人間や車のランプ、照明灯、排気口などの近赤外線を放射することで光源となるものは明るく撮影される。なお、太陽光には赤外線が含まれるため、通常の撮影ではもっと遠くまでの画像が撮影される。特に、道路や黒っぽい建物のように暖まりやすいところが明るく撮影される。Subsequently, a process of dividing the image into a plurality of areas is executed (S145, see FIG. 9B).
Subsequently, the time is measured (S150), and when the predetermined time has elapsed, the next image is taken. Specifically, the synchronization control unit 60 transmits a signal to the multi-light source 30 to turn on the light emission state of the near-infrared light source of the multi-light source 30. Then, the multi-light source 30 receives the signal to turn on the light emission state of the near-infrared light source and irradiates the near-infrared light (S155). Then, the synchronization control unit 60 transmits a signal for instructing photographing to the near-infrared camera 10. Then, the near-infrared camera 10 captures the near-infrared reflected from the subject by receiving the signal (see S160, FIG. 5B and FIG. 6A). Then, the near-infrared camera 10 outputs the captured image to the image processing unit 70. The image processing unit 70 temporarily stores the image input from the near-infrared camera 10 as the frame 2 in the image memory 72. FIG. 5B is an example of an image of frame 2. The frame 2 is a monochrome or color full-wavelength image as in the case of the frame 1, and the near infrared light from the near infrared light source is irradiated, so that a portion near the image becomes bright. FIG. 6A is an example of an image taken by the near-infrared camera 10 only with near-infrared light emitted from the near-infrared light source of the multi-light source 30 when the ambient illuminance is insufficient, such as at night. The image captured by the near-infrared camera 10 is darker than a normal monochrome photograph because the intensity of near-infrared light is weak, but emits near-infrared light from humans, car lamps, illumination lights, exhaust vents, and the like. Thus, the light source is brightly photographed. In addition, since sunlight contains infrared rays, images are taken farther in normal shooting. In particular, bright areas such as roads and dark buildings that are easy to warm up are photographed.
続いて、マルチ光源３０の近赤外線光源の発光状態をオフとする（Ｓ１６５）。具体的には、同期制御部６０が、マルチ光源３０の近赤外線光源の発光状態をオフとする旨の信号をマルチ光源３０へ送信する。すると、マルチ光源３０ではその信号を受信することで近赤外線光源の発光状態をオフとする。 Subsequently, the light emission state of the near-infrared light source of the multi-light source 30 is turned off (S165). Specifically, the synchronization control unit 60 transmits a signal to the multi-light source 30 to turn off the light emission state of the near-infrared light source of the multi-light source 30. Then, the multi-light source 30 receives the signal to turn off the near-infrared light source.
続いて、フレーム１およびフレーム２に基づく演算処理を実行する（Ｓ１７０）。具体的には、フレーム１およびフレーム２に基づいてピクセル減算を実行し、近赤外線光源のみで撮影した場合を想定した演算画像を求め（図６（ｂ）参照）、その演算画像の輪郭からエリア番号との対応をチェックし、演算画像の対応エリアＩＤに色情報を演算（加算）して、画像を作成する。そして、作成した画像を画像メモリ７３に一時保存する。 Subsequently, arithmetic processing based on the frames 1 and 2 is executed (S170). Specifically, pixel subtraction is performed based on frame 1 and frame 2 to obtain a calculated image assuming that the image is shot only with a near-infrared light source (see FIG. 6B), and an area is calculated from the contour of the calculated image. The correspondence with the number is checked, and the color information is calculated (added) to the corresponding area ID of the calculation image to create an image. The created image is temporarily stored in the image memory 73.
なお、図６（ｂ）はフレーム２からフレーム１をピクセル減算したデータの画像例である。影が目立たなくなり、マルチ光源３０の近くに設定された到達距離範囲内のエリアだけが見えるようになる。なお、この明るくなる範囲については、近赤外線光源の強度を変えることで変更可能である。つまり、近赤外線光源の強度が強ければ、遠くまで検知可能となる。 FIG. 6B is an example of an image of data obtained by subtracting pixel from frame 1 from frame 2. The shadow becomes inconspicuous, and only the area within the reach range set near the multi-light source 30 can be seen. Note that this brightened range can be changed by changing the intensity of the near infrared light source. That is, if the intensity of the near-infrared light source is strong, it can be detected far away.
続いて、色情報抽出処理によって抽出された色情報に基づき、Ｓ１７０にて作成された画像への色付けを行う（Ｓ１７５、図７（ａ）および図７（ｂ）参照）。具体的には、物体の性質（固定物、移動体）に応じて色の付け方に変化をつける。移動体は赤色、オレンジ等の暖色、静止物体は通常は寒色系の色とする。ただし、静止物体でも、自車との接触の可能性がある場合、一時的に暖色を設けたり白っぽくしたりして見やすくする。また、移動体の色は、人なら顔の色の肌色系を代表色とする。但し、画像処理能力が大きい場合には多色で表現しても良い。また、車両は黄緑色や黄色のような暖色系で道路には使われない色でハイライト表示する。なお、より具体的な処理内容については色情報抽出処理として後述する。そして、色付けされた画像を画像メモリ７４に一時保存する。 Subsequently, based on the color information extracted by the color information extraction process, the image created in S170 is colored (see S175, FIG. 7A and FIG. 7B). Specifically, the coloring method is changed according to the property of the object (fixed object, moving object). The moving body is warm color such as red and orange, and the stationary object is usually cold color. However, even if there is a possibility of contact with the own vehicle even for a stationary object, a warm color is temporarily provided or whitened to make it easy to see. As for the color of the moving body, if it is a person, the skin color system of the face color is used as the representative color. However, when the image processing capability is large, it may be expressed in multiple colors. In addition, the vehicle is highlighted in a warm color system such as yellowish green or yellow that is not used on the road. More specific processing contents will be described later as color information extraction processing. Then, the colored image is temporarily stored in the image memory 74.
なお、図７（ａ）は合成画像の表示例であり、色付け処理、背景除去処理を行った後の暗視イメージである。この合成画像は、人間および標識に色を付した例である。安全運転関連の物体にのみ色をつける。これを行うために、車両には物体の形状のデータベースがある。そして、撮影画像を物体と比較し、物体が何かを決定する。また、本実施形態では、従来の暗視カメラ画像の背景を、高速カメラの光源の有無で除き、その画像に通常の光源で撮影した画像の色情報を加えて、見やすくし、かつ安全運転に利用できる画像を形成することを目的にしている。このことにより、歩道を示す情報や信号機を示す情報にカラー情報が加えられる。また、信号機と街灯の比較が容易となる。また、前方車両のヘッドランプの色を検出すれば、前方車両の動きが計測できる。 FIG. 7A is a display example of a composite image, which is a night vision image after performing a coloring process and a background removal process. This composite image is an example in which a person and a sign are colored. Color only safe driving-related objects. To do this, the vehicle has a database of object shapes. Then, the captured image is compared with the object to determine what the object is. In this embodiment, the background of a conventional night-vision camera image is removed by the presence or absence of a light source of a high-speed camera, and color information of an image taken with a normal light source is added to the image for easy viewing and safe driving. It aims to form usable images. As a result, color information is added to the information indicating the sidewalk and the information indicating the traffic light. In addition, it becomes easy to compare traffic lights with street lights. Moreover, if the color of the headlamp of the vehicle ahead is detected, the movement of the vehicle ahead can be measured.
また、図７（ｂ）についても、図７（ａ）と同様に合成画像の表示例であり、レーダとカメラの両方を使って安全運転関連情報を検知する例であり、近くに存在する標識を認識することができる。このようにレーダで物体を検知すると、それがまだユーザに情報提供できない場合、光源のパワーをあげて道路上の遠くまで照明光を点灯し、遠くの物体を表示できるようにする。このとき赤外光と昼光照明の到達距離を同等とする。 Also, FIG. 7B is a composite image display example as in FIG. 7A, and is an example of detecting safe driving-related information using both a radar and a camera. Can be recognized. When an object is detected by the radar in this way, if it still cannot provide information to the user, the power of the light source is increased to illuminate the illumination light as far as possible on the road so that a distant object can be displayed. At this time, the reach distances of infrared light and daylight illumination are made equal.
なお、このように作成された画像を画像表示装置８０に出力され、その画像を画像表示装置８０が表示する。
続いて、距離制限暗視カメラ画像が問題ないか否かを判断する（Ｓ１８０）。具体的には、ユーザによる距離設定変更があるか否かを判断する。肯定判断である場合には（Ｓ１８０：ＹＥＳ）、Ｓ１２０に移行する。一方、否定判断である場合には（Ｓ１８０：ＮＯ）、ユーザが設定変更した距離設定値を読み取り（Ｓ１８５）、その設定値に応じた光源強度設定を行う（Ｓ１９０）。具体的には、車速連携のための光源強度パラメータを設定する。そして、Ｓ１２０に移行する。The image created in this way is output to the image display device 80, and the image display device 80 displays the image.
Subsequently, it is determined whether there is no problem with the distance-limited night-vision camera image (S180). Specifically, it is determined whether there is a distance setting change by the user. If the determination is affirmative (S180: YES), the process proceeds to S120. On the other hand, if the determination is negative (S180: NO), the distance setting value changed by the user is read (S185), and the light source intensity is set according to the setting value (S190). Specifically, the light source intensity parameter for vehicle speed cooperation is set. Then, the process proceeds to S120.
［色情報取得処理の説明］
次に、車両周辺監視システム１によって実行される色情報取得処理を図８のフローチャート、図９および図１０を参照して説明する。[Description of color information acquisition processing]
Next, color information acquisition processing executed by the vehicle periphery monitoring system 1 will be described with reference to the flowchart of FIG. 8 and FIGS. 9 and 10.
本処理は、車両周辺監視システム１の電源が投入された際に、車両周辺監視処理などの他の処理からは独立して実行される。
まず、環境光がある状態で画像を撮影する（Ｓ２１０、図９（ａ）参照）。続いて、上述のように環境光がある状態で撮影した画像を複数のエリアに分割する（Ｓ２１５）。一例を挙げると、図９（ｂ）に例示するように、上述のように撮影した画像を、右側の路側エリアや左側の路側エリア、道路エリアに分割するといった具合である。なおこの場合、各エリアに含まれる範囲については、車両から前方への所定距離までに制限する。そして、各エリアに含まれる特徴的な物体の輪郭を抽出する（Ｓ２２０、図１０（ａ）参照）。続いて、輪郭が抽出された物体の同定番号を付し（Ｓ２３０）、同定番号が付された物体が安全運転関連物体であるか否かを判断する（Ｓ２４０）。なお、その物体が人間であれば安全運転関連物体であると判断し、自動車などの移動物体であれば安全運転関連物体ではないと判断する。続いて、輪郭内部の描画色のサンプリング色の確定処理を実行する（Ｓ２５０）。具体的には、その輪郭の内部の色を設定数個サンプリングし、その複数の抽出ポイントの色の平均値（ＲＧＢそれぞれの値）を取り、予め用意された３２色からその平均値に最も近い色を選択して移動体の輪郭内に指定する（図１０（ｂ）および図１０（ｃ）参照）。なお、色を付けると、照明や信号機などの判別が可能となる。This process is executed independently from other processes such as the vehicle periphery monitoring process when the vehicle periphery monitoring system 1 is powered on.
First, an image is taken in the presence of ambient light (S210, see FIG. 9A). Subsequently, the image taken in the presence of ambient light as described above is divided into a plurality of areas (S215). For example, as illustrated in FIG. 9B, the image captured as described above is divided into a right roadside area, a left roadside area, and a road area. In this case, the range included in each area is limited to a predetermined distance forward from the vehicle. Then, the contours of characteristic objects included in each area are extracted (S220, see FIG. 10A). Subsequently, the identification number of the object from which the contour is extracted is assigned (S230), and it is determined whether or not the object with the identification number is a safe driving-related object (S240). If the object is a human, it is determined as a safe driving-related object, and if it is a moving object such as an automobile, it is determined not as a safe driving-related object. Subsequently, a determination process of the sampling color of the drawing color inside the outline is executed (S250). Specifically, a set number of colors inside the contour are sampled, the average value of the colors of the plurality of extraction points (each RGB value) is taken, and it is closest to the average value from the 32 colors prepared in advance. A color is selected and designated within the contour of the moving body (see FIGS. 10B and 10C). In addition, if it attaches a color, it will become possible to discriminate lighting or traffic lights.
そして、本処理を終了する。
［色情報抽出処理の説明］
次に、車両周辺監視システム１によって実行される色情報抽出処理を図１１のフローチャートおよび図１２〜図１４を参照して説明する。Then, this process ends.
[Description of color information extraction processing]
Next, color information extraction processing executed by the vehicle periphery monitoring system 1 will be described with reference to the flowchart of FIG. 11 and FIGS. 12 to 14.
本処理は、車両周辺監視システム１の電源が投入された際に、車両周辺監視処理などの他の処理からは独立して実行される。
まず、環境光がある状態で画像を撮影する（Ｓ３０５、図１２（ａ）および図１３（ａ）参照）。この際、照度計４０からの信号から、昼や夕方、夜、夜明けなどの時間帯を認識することで、周囲の照度から撮影条件を判定する。This process is executed independently from other processes such as the vehicle periphery monitoring process when the vehicle periphery monitoring system 1 is powered on.
First, an image is taken in the presence of ambient light (see S305, FIG. 12 (a) and FIG. 13 (a)). At this time, the imaging condition is determined from the ambient illuminance by recognizing a time zone such as daytime, evening, night, or dawn from the signal from the illuminometer 40.
続いて、補助光源であるマルチ光源３０の可視光光源を用いて、可視光カメラ２０が画像を撮影する（Ｓ３１０、図１２（ａ）および図１３（ｂ）参照）。なお、カラー画像については、昼光で撮影する必要があるため、夜間の補助光源は昼光が用いられる。また、夕方の撮影では、昼光に補正するためにフィルタが用いられる。 Subsequently, the visible light camera 20 captures an image using the visible light source of the multi-light source 30 that is an auxiliary light source (see S310, FIG. 12A and FIG. 13B). Since color images need to be taken in daylight, daylight is used as an auxiliary light source at night. In evening shooting, a filter is used to correct for daylight.
続いて、撮影された画像フレームをチェックし、物体検知処理の結果に基づき、画像フレーム中に人間や車両などの移動物体が存在するか否かを判定する（Ｓ３１５）。
ここで、物体検知制御は、移動体の接近のサンプリングの方法であり、過去フレームの現在フレームの比較をして物体の移動を検知する（図１４参照）。なお、この物体検知制御の背景は次の通りである。すなわち、車両が走行しようと、停止であろうと、画像のサンプリングが高速のため、問題なく画像情報を取得できる。移動体の検出は、通常、数フレームごとの物体の移動を検出する。但し、高速で移動する物体がある場合、１フレームごとにサンプリングする。数フレームごとのサンプリングでは、車両の速度に応じて、正面の画像から切り取るエリアを変更する。過去の画像の一部（車両が前方へ走行すると過去に撮影したイメージの一部が現在撮影したイメージになる。一例を挙げると、過去画像の一部の拡大イメージが現在のイメージになったり、道路の消失点は前(上）方に延びたりするといった具合である。また、道路を同じ様に見えるようにすると、移動物体の移動が明確にわかる。また、物地に近づけば、物体が拡大する。そして、自車経路が移動体経路とクロスしないかをシミュレーションする。Subsequently, the photographed image frame is checked, and based on the result of the object detection process, it is determined whether or not a moving object such as a person or a vehicle exists in the image frame (S315).
Here, the object detection control is a method of sampling the approach of the moving object, and detects the movement of the object by comparing the current frame with the past frame (see FIG. 14). The background of this object detection control is as follows. That is, regardless of whether the vehicle is running or stopped, the image sampling can be performed at high speed, so that the image information can be acquired without any problem. In the detection of the moving body, the movement of the object is usually detected every several frames. However, when there is an object moving at high speed, sampling is performed for each frame. In sampling every several frames, the area cut out from the front image is changed according to the speed of the vehicle. Part of the past image (When the vehicle travels forward, a part of the image taken in the past becomes the current image. For example, an enlarged image of a part of the past image becomes the current image, The vanishing point of the road may extend forward (upward), etc. If the road looks the same, the movement of the moving object can be clearly seen. Then, it simulates whether the vehicle route does not cross the moving body route.
Ｓ３１５において画像中に移動物体が存在すると判断された場合には、その移動物体の位置を判定し、その移動物体に対してカラーハイライト処理を実行する（図１２（ｂ）参照）。なお、ハイライト色については背景色から決定する。そして、移動物体が判定されると、移動物体の形状や動き方（移動範囲、速度）により、移動物体の概略性質を判定する。例えば、移動物体が人間であれば顔の部分の温度が高くなっていることを判定する等、人間であるか否かが判断される。 If it is determined in S315 that there is a moving object in the image, the position of the moving object is determined, and color highlight processing is executed on the moving object (see FIG. 12B). The highlight color is determined from the background color. Then, when the moving object is determined, the general property of the moving object is determined based on the shape of the moving object and the way of movement (movement range, speed). For example, if the moving object is a human, it is determined whether or not it is a human, such as determining that the temperature of the face portion is high.
続いて、道路の特徴を分類し、ベクトル化やノット、多角形（またはベジエライン）などの手法を用いて、輪郭形状を抽出する（Ｓ３２０）。この際、車道や歩道、分離帯、分離物（ガードレール、縁石）、白線、黄色線などが抽出される。なお、道路がカーブになっている場合には、道路を適当な多項式で表現し、輪郭が推定しやすいようにしておく。 Subsequently, the features of the road are classified, and a contour shape is extracted using a method such as vectorization, knots, polygons (or Bezier lines) (S320). At this time, roadways, sidewalks, separation bands, separations (guardrails, curbs), white lines, yellow lines, and the like are extracted. If the road is curved, the road is represented by an appropriate polynomial so that the contour can be easily estimated.
続いて、路側物体の輪郭を抽出するとともに、画像の輪郭を抽出する（Ｓ３２５）。この際、危険域の色情報を確認する。
続いて、輪郭が抽出された物体に同定番号を付す（Ｓ３３０）。そして、同定番号を付された物体については、安全運転関連物体であるか否かを判定する。一例を挙げると、その物体が人間である場合には安全運転関連物体であると判定し、その物体が自動車などの移動物体である場合には安全運転関連物体ではないと判定するといった具合である。Subsequently, the contour of the roadside object is extracted and the contour of the image is extracted (S325). At this time, the color information of the dangerous area is confirmed.
Subsequently, an identification number is assigned to the object from which the contour has been extracted (S330). Then, it is determined whether or not the object with the identification number is a safe driving related object. For example, if the object is a human, it is determined that the object is related to safe driving, and if the object is a moving object such as an automobile, it is determined that the object is not related to safe driving. .
続いて、設定した輪郭エリアの色をサンプリングし、その安全運転関連物体の色情報を抽出可能であるか否かを判断する（Ｓ３３５）。否定判断である場合には（Ｓ３３５：ＮＯ）、補助光源の発光量を増加し（Ｓ３５０）、Ｓ３１５に戻って再度計測する。一方、肯定判断である場合には（Ｓ３３５：ＹＥＳ）、ＲＧＢのサンプリングの平均値を算出することで、分類された物体の色情報を取得する（Ｓ３４０）。この際、車道や歩道、分離物（ガードレール、縁石）、白線、黄色線などの色を割り付ける（図１３（ｃ）および図１３（ｄ）参照）。 Subsequently, the color of the set contour area is sampled, and it is determined whether or not the color information of the safe driving-related object can be extracted (S335). If the determination is negative (S335: NO), the amount of light emitted from the auxiliary light source is increased (S350), and the process returns to S315 and is measured again. On the other hand, if the determination is affirmative (S335: YES), the color information of the classified object is obtained by calculating the average value of RGB sampling (S340). At this time, colors such as roadways, sidewalks, separated objects (guardrails, curbstones), white lines, and yellow lines are assigned (see FIGS. 13C and 13D).
なお、図１３（ｃ）は、車道や歩道、分離物（ガードレール、縁石）、白線、黄色線などの色を割り付けた画像例を示し、図１３（ｄ）は、補助光源の発光量を増加した場合に、車道や歩道、分離物（ガードレール、縁石）、白線、黄色線などの色を割り付けた画像例を示す。 FIG. 13 (c) shows an example of an image in which colors such as roadways, sidewalks, separated objects (guardrails, curbs), white lines, yellow lines, etc. are assigned, and FIG. 13 (d) increases the light emission amount of the auxiliary light source. In this case, an image example in which colors such as a roadway, a sidewalk, a separated object (guardrail, curb), a white line, and a yellow line are assigned is shown.
続いて、道路の特徴物体に対して既定の色を割り付けるとともに、移動物体に色を割り付け、それらの情報を記憶する（Ｓ３４５）。なお、この色の割り付けについては、車外をカメラで撮影する前に、周辺の明るさが十分明るく、撮影に支障が無い様に設定される。また、人間の表示色については通常暖色系を用いるが、環境色より変更される場合もある。一例を挙げると、道路が白っぽい場合には、ハイライト色を濃い暖色に設定するといった具合である。 Subsequently, a predetermined color is assigned to the road feature object, a color is assigned to the moving object, and the information is stored (S345). Note that this color assignment is set so that the surrounding brightness is sufficiently bright and shooting is not hindered before shooting outside the vehicle with a camera. Moreover, although a warm color system is usually used for the human display color, it may be changed from the environmental color. For example, when the road is whitish, the highlight color is set to a dark warm color.
そして、本処理を終了する。
［第一実施形態の効果］
（１）このように第一実施形態の車両周辺監視システム１によれば、次のような作用効果を奏する。すなわち、近赤外線光源の発光状態、可視光カメラの撮影タイミングおよび近赤外線カメラの撮影タイミングを制御することで、近赤外線光源から近赤外線を被写体へ照射しない状態で被写体から反射された可視光を可視光カメラによって第一画像を撮影させた後に近赤外線光源から近赤外線を被写体へ照射する状態で被写体から反射された近赤外線を近赤外線カメラによって第二画像を撮影させる処理を所定間隔で繰り返し実行する。さらに、第一画像から被写体の輪郭を抽出し、その抽出した輪郭および輪郭に囲まれた部分からなる特定領域を第二画像に合成し、その合成後の画像における特定領域に特定の色彩を付与する。なお、色を付けると、照明や信号機などの判別が可能となる。したがって、夜間など車両周囲の照度が低いときでも、合成後の画像における特定領域に特定の色彩を付与するので、その撮影した近赤外線映像の細部の認識度を向上させることができる。Then, this process ends.
[Effect of the first embodiment]
(1) Thus, according to the vehicle periphery monitoring system 1 of 1st embodiment, there exist the following effects. In other words, by controlling the light emission state of the near-infrared light source, the shooting timing of the visible light camera, and the shooting timing of the near-infrared camera, visible light reflected from the subject can be seen without irradiating the subject with near-infrared light from the near-infrared light source. After the first image is captured by the optical camera, the process of capturing the second image by the near infrared camera reflected by the near infrared camera while the near infrared light source irradiates the subject with the near infrared light is repeatedly executed at predetermined intervals. . Furthermore, the contour of the subject is extracted from the first image, the specific area consisting of the extracted outline and the portion surrounded by the outline is combined with the second image, and a specific color is given to the specific area in the combined image To do. In addition, if it attaches a color, it will become possible to discriminate lighting or traffic lights. Therefore, even when the illuminance around the vehicle is low, such as at night, a specific color is given to a specific area in the combined image, so that the degree of recognition of details of the captured near-infrared video can be improved.
（２）また、第一実施形態の車両周辺監視システム１によれば、車両周囲の照度が不足する場合には可視光を被写体に照射するので、例えば夜間など車両周囲の照度が低いときでも、可視光カメラ２０が撮影したフレーム１に被写体などの物体が鮮明に写ることが期待でき、抽出される被写体の輪郭が明瞭となる。したがって、例えば夜間など車両周囲の照度が低いときでも、合成画像である近赤外線映像の細部の認識度を維持することができる。 (2) Moreover, according to the vehicle periphery monitoring system 1 of the first embodiment, when the illuminance around the vehicle is insufficient, the subject is irradiated with visible light. An object such as a subject can be expected to appear clearly in the frame 1 taken by the visible light camera 20, and the contour of the extracted subject becomes clear. Therefore, even when the illuminance around the vehicle is low, such as at night, it is possible to maintain the degree of detail recognition of the near-infrared video that is the composite image.
（３）また、第一実施形態の車両周辺監視システム１によれば、車両の速度に応じて可視光の光量を調整するので、例えば車両の走行速度が大きい場合には、可視光の光量を大きくすることで可視光の到達距離が大きくなり、より遠くの被写体を撮影しておくができる。したがって、合成画像である近赤外線映像の細部の認識度をより向上させることができる。 (3) Further, according to the vehicle periphery monitoring system 1 of the first embodiment, the amount of visible light is adjusted according to the speed of the vehicle. For example, when the traveling speed of the vehicle is high, the amount of visible light is reduced. Increasing the size increases the reach of visible light, so that a farther subject can be photographed. Accordingly, it is possible to further improve the degree of recognition of details of the near-infrared video that is the composite image.
（４）また、第一実施形態の車両周辺監視システム１によれば、可視光光源が発光状態である間は近赤外線カメラ１０に撮影させないようにするので、近赤外線カメラ１０による撮影画像に照りが映らず、夜間など車両周囲の照度が低いときに撮影した近赤外線映像の細部の認識度を維持することができる。 (4) Further, according to the vehicle periphery monitoring system 1 of the first embodiment, since the near-infrared camera 10 is not allowed to shoot while the visible light source is in the light emitting state, the image taken by the near-infrared camera 10 is illuminated. The degree of recognition of details of near-infrared images taken when the illuminance around the vehicle is low, such as at night, can be maintained.
（５）また、第一実施形態の車両周辺監視システム１によれば、安全運転の実行に関連する物体に対応する領域に特定の色彩を付与するので、その領域の形状の歪み補正を単純化することができ、合成画像としての近赤外線映像の細部の認識度をより向上させることができる。また、運転者への情報提供の効果も向上させることができる。 (5) Moreover, according to the vehicle periphery monitoring system 1 of the first embodiment, since a specific color is given to the area corresponding to the object related to the execution of the safe driving, the distortion correction of the shape of the area is simplified. It is possible to improve the degree of recognition of details of a near-infrared image as a composite image. In addition, the effect of providing information to the driver can be improved.
（６）また、第一実施形態の車両周辺監視システム１によれば、画像合成を行う際に画像中のオフセット成分を調整するので、例えば車両内から撮影する場合など、画像中の背景部分を消去することができ、合成画像としての近赤外線映像の細部の認識度をより向上させることができる。 (6) Further, according to the vehicle periphery monitoring system 1 of the first embodiment, the offset component in the image is adjusted when the images are combined, so that the background portion in the image is taken, for example, when shooting from within the vehicle. It can be erased, and the degree of recognition of details of near-infrared video as a composite image can be further improved.
（７）また、第一実施形態の車両周辺監視システム１によれば、第一画像を撮影してから第二画像を撮影するまでの間隔を約１ｍｓと極めて短く設定しているので、合成画像としての近赤外線映像の細部の認識度をより向上させることができる。 (7) Moreover, according to the vehicle periphery monitoring system 1 of the first embodiment, the interval from when the first image is captured until the second image is captured is set to be as short as about 1 ms, so the composite image As a result, it is possible to further improve the degree of recognition of details of the near infrared image.
（８）また、第一実施形態の車両周辺監視システム１によれば、合成後の画像における特定領域に特定の色彩を付与する際には、抽出した輪郭に囲まれた部分の画像をサンプリングし、予め用意した３２色からそのサンプリングした色彩に最も近い色彩を選択して特定領域に割り付ける。このことにより、合成画像としての近赤外線映像の細部の認識度をより向上させることができる。 (8) Moreover, according to the vehicle periphery monitoring system 1 of the first embodiment, when a specific color is given to a specific area in the combined image, the image of the portion surrounded by the extracted contour is sampled. The color closest to the sampled color is selected from the 32 colors prepared in advance and assigned to the specific area. Thereby, the recognition degree of the detail of the near-infrared image | video as a synthesized image can be improved more.
［他の実施形態］
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、以下のように様々な態様にて実施することが可能である。[Other Embodiments]
As mentioned above, although one Embodiment of this invention was described, this invention is not limited to the said embodiment, It is possible to implement in various aspects as follows.
（１）上記第一実施形態の車両周辺監視システム１では、色情報抽出処理において、近赤外線カメラ１０や可視光カメラ２０が撮影した画像を用いて画像から色情報を抽出しているが、これには限られず、近赤外線カメラ１０や可視光カメラ２０による撮影画像に加えてレーダによる検知結果を用いて画像から色情報を抽出するようにしてもよい（図１６（ｃ）参照）。この場合、可視光カメラ２０が画像を撮影する際に、レーダによる検知も実行し（図１６（ａ）参照）、レーダ検知後にマルチ光源３０の可視光光源の強度を強くする処理を実行する（図１６（ｂ）参照）。このように構成しても上記実施形態と同様の作用効果を奏する。 (1) In the vehicle periphery monitoring system 1 of the first embodiment, color information is extracted from an image using an image taken by the near-infrared camera 10 or the visible light camera 20 in the color information extraction process. However, the color information may be extracted from the image using the detection result by the radar in addition to the image captured by the near-infrared camera 10 or the visible light camera 20 (see FIG. 16C). In this case, when the visible light camera 20 captures an image, detection by the radar is also executed (see FIG. 16A), and processing for increasing the intensity of the visible light source of the multi-light source 30 is executed after the radar detection (see FIG. 16A). FIG. 16B). Even if comprised in this way, there exists an effect similar to the said embodiment.
１…車両周辺監視システム、１０…近赤外線カメラ、２０…可視光カメラ、３０…マルチ光源、４０…照度計、５０…光源強度制御部、６０…同期制御部、７０…画像処理部、７１，７２，７３，７４…画像メモリ、８０…画像表示装置DESCRIPTION OF SYMBOLS 1 ... Vehicle periphery monitoring system, 10 ... Near-infrared camera, 20 ... Visible light camera, 30 ... Multi light source, 40 ... Illuminance meter, 50 ... Light source intensity control part, 60 ... Synchronization control part, 70 ... Image processing part, 71, 72, 73, 74 ... image memory, 80 ... image display device
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007241131AJP4853437B2 (en) | 2007-09-18 | 2007-09-18 | Vehicle perimeter monitoring system |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007241131AJP4853437B2 (en) | 2007-09-18 | 2007-09-18 | Vehicle perimeter monitoring system |
| Publication Number | Publication Date |
|---|---|
| JP2009071789A JP2009071789A (en) | 2009-04-02 |
| JP4853437B2true JP4853437B2 (en) | 2012-01-11 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007241131AExpired - Fee RelatedJP4853437B2 (en) | 2007-09-18 | 2007-09-18 | Vehicle perimeter monitoring system |
| Country | Link |
|---|---|
| JP (1) | JP4853437B2 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021119308A1 (en) | 2019-12-13 | 2021-06-17 | Sony Group Corporation | Extraction of subject from background |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101161979B1 (en) | 2010-08-19 | 2012-07-03 | 삼성전기주식회사 | Image processing apparatus and method for night vision |
| KR101200974B1 (en) | 2010-11-19 | 2012-11-12 | 국방과학연구소 | System, apparatus and method for extracting a target in images |
| JP2013009041A (en)* | 2011-06-22 | 2013-01-10 | Denso Corp | Vehicle photographing display control system |
| JP6015946B2 (en)* | 2013-03-29 | 2016-10-26 | マツダ株式会社 | Vehicle imaging device |
| KR101470198B1 (en)* | 2013-07-29 | 2014-12-05 | 현대자동차주식회사 | Apparatus and method for combining image |
| FR3013875B1 (en)* | 2013-11-25 | 2017-03-31 | Renault Sas | SYSTEM AND METHOD FOR FORMING NIGHT IMAGES FOR A MOTOR VEHICLE. |
| JP6450107B2 (en)* | 2014-08-05 | 2019-01-09 | キヤノン株式会社 | Image processing apparatus, image processing method, program, and storage medium |
| JP6711396B2 (en)* | 2016-03-29 | 2020-06-17 | ソニー株式会社 | Image processing device, imaging device, image processing method, and program |
| CN110944122B (en)* | 2018-09-25 | 2021-08-17 | 天地融科技股份有限公司 | Video data anti-counterfeiting method, system and terminal |
| CN111460186B (en)* | 2020-03-31 | 2022-04-08 | 河北工业大学 | A method for establishing a database containing vehicle visible light images and infrared images |
| JP7494625B2 (en)* | 2020-07-29 | 2024-06-04 | 株式会社Ｊｖｃケンウッド | Infrared imaging device |
| JP6903287B1 (en) | 2020-12-25 | 2021-07-14 | 雄三 安形 | Vehicles without wipers |
| CN113155292B (en)* | 2021-03-30 | 2024-06-28 | 芯算一体(深圳)科技有限公司 | Face temperature measuring method, face temperature measuring instrument and storage medium |
| EP4505411A1 (en)* | 2022-04-04 | 2025-02-12 | 3M Innovative Properties Company | Thermal imaging with ai image identification |
| WO2024195057A1 (en)* | 2023-03-22 | 2024-09-26 | オプテックス株式会社 | Monitoring device and program for monitoring device |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3968867B2 (en)* | 1998-04-24 | 2007-08-29 | 日産自動車株式会社 | Display processing device |
| JP2000318513A (en)* | 1999-05-17 | 2000-11-21 | Mitsubishi Electric Corp | Obstacle detection device for vehicles |
| JP2001333420A (en)* | 2000-05-22 | 2001-11-30 | Hitachi Ltd | Image monitoring method and apparatus |
| JP2004254044A (en)* | 2003-02-19 | 2004-09-09 | Denso Corp | Driving supporting method, display system and notification system |
| JP4628666B2 (en)* | 2003-10-15 | 2011-02-09 | 株式会社デンソー | In-vehicle camera system |
| JP2006159928A (en)* | 2004-12-02 | 2006-06-22 | Nissan Motor Co Ltd | Night moving object notification device and night moving object notification method |
| DE102005006290A1 (en)* | 2005-02-11 | 2006-08-24 | Bayerische Motoren Werke Ag | Method and device for visualizing the surroundings of a vehicle by fusion of an infrared and a visual image |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021119308A1 (en) | 2019-12-13 | 2021-06-17 | Sony Group Corporation | Extraction of subject from background |
| US11765309B2 (en) | 2019-12-13 | 2023-09-19 | Sony Group Corporation | Video capturing subject using IR light |
| Publication number | Publication date |
|---|---|
| JP2009071789A (en) | 2009-04-02 |
| Publication | Publication Date | Title |
|---|---|---|
| JP4853437B2 (en) | Vehicle perimeter monitoring system | |
| JP5658131B2 (en) | Object detection system | |
| US9639764B2 (en) | Image recognition system for vehicle for traffic sign board recognition | |
| CN104340109B (en) | Driver assistance system and its operation method | |
| JP5299026B2 (en) | Vehicle display device | |
| KR101768500B1 (en) | Drive assistance apparatus and method for controlling the same | |
| US20050036660A1 (en) | Image processing system and vehicle control system | |
| US11827140B2 (en) | Vehicle detecting device, vehicle lamp system, vehicle detecting method, light distribution controlling device, and light distribution controlling method | |
| JPWO2017110413A1 (en) | Vehicular image acquisition device, control device, vehicle image acquisition device or vehicle equipped with control device, and vehicle image acquisition method | |
| CN109204120B (en) | Light system for a motor vehicle | |
| JP2016196233A (en) | Road sign recognizing device for vehicle | |
| JP4927647B2 (en) | Vehicle periphery monitoring device | |
| JP2009017157A (en) | Image processor, method and program | |
| US20150085118A1 (en) | Method and camera assembly for detecting raindrops on a windscreen of a vehicle | |
| Mandal et al. | Real-time automotive night-vision system for drivers to inhibit headlight glare of the oncoming vehicles and enhance road visibility | |
| CN113490316A (en) | Light filling system and light filling lamp | |
| CN110869940A (en) | Method for controlling pixel headlights of motor vehicles located in the roadway | |
| JP2003078908A (en) | Method and apparatus for improving visibility in a vehicle | |
| CN104008518B (en) | Body detection device | |
| CN116249248A (en) | Intelligent illumination control method and system | |
| CN105745670B (en) | System and method for forming nighttime images for a motor vehicle | |
| JP7295645B2 (en) | Vehicle road sign recognition support device | |
| CN117207889A (en) | Driving assisting method, driving assisting device, vehicle and storage medium | |
| JP2010020557A (en) | Image processor and image processing method | |
| JP2003209742A (en) | Imaging apparatus with infrared ray illumination |
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20100114 | |
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20110916 | |
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20110927 | |
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20111010 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20141104 Year of fee payment:3 | |
| R151 | Written notification of patent or utility model registration | Ref document number:4853437 Country of ref document:JP Free format text:JAPANESE INTERMEDIATE CODE: R151 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20141104 Year of fee payment:3 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| LAPS | Cancellation because of no payment of annual fees |