JP4678172B2

Movatterモバイル変換

Info

Publication number: JP4678172B2
Application number: JP2004337718A
Authority: JP
Inventors: 芳樹二宮
Original assignee: Toyota Central R&D Labs Inc
Current assignee: Toyota Central R&D Labs Inc
Priority date: 2004-11-22
Filing date: 2004-11-22
Publication date: 2011-04-27
Anticipated expiration: 2024-11-22
Also published as: JP2006148690A

Description

本発明は、撮像装置に係り、例えば、夜間視界映像支援システムに用いて好適な撮像装置に関する。 The present invention relates to an imaging apparatus, for example, an imaging apparatus suitable for use in a night vision video support system.

目に見えない近赤外照明を車両前方に照射し、近赤外光に感度をもつカメラで撮像する夜間視界映像支援システム（いわゆる近赤外ナイトビジョン）が開発されている。夜間視界映像支援システムは、高画質の画像が要求されている一方で、撮像された画像が近赤外波長のものであるため、モノクロ画像を生成する。このため、通常のドライバが見るカラー画像と異なり、ドライバの視認性が低下してしまうことがある。 A night vision video support system (so-called near infrared night vision) has been developed that irradiates invisible near-infrared illumination in front of a vehicle and captures it with a camera having sensitivity to near-infrared light. The night vision video support system requires a high-quality image, but generates a monochrome image because the captured image has a near-infrared wavelength. For this reason, unlike a color image seen by a normal driver, the visibility of the driver may be reduced.

そこで、ドライバが認知しやすいような交通状況の画像を得ることができる「車両における視界を改善する方法および装置」が開示されている（例えば、特許文献１を参照。）。特許文献１に記載された技術は、交通状況の白黒ビデオ画像に含まれる対象物のタイプを自動的に識別し、その対象物を識別したタイプに応じて疑似カラーで表示するものである。 Therefore, a “method and apparatus for improving the field of view in a vehicle” that can obtain an image of a traffic situation that is easy for a driver to recognize is disclosed (see, for example, Patent Document 1). The technique described inPatent Document 1 automatically identifies the type of an object included in a black and white video image of traffic conditions, and displays the object in a pseudo color according to the identified type.

また、赤外線カメラを使用した場合、対象物は、記憶された経験値に基づいて昼光スペクトルに換算し直され、その結果、昼光下での輝度と色にできるだけ近い輝度および色を有するスペクトルに換算される。
特開２００３−７８９０８号公報In addition, when using an infrared camera, the object is converted back to a daylight spectrum based on the stored experience value, and as a result, a spectrum having brightness and color as close as possible to the brightness and color under daylight. Converted to
JP 2003-78908 A

しかし、特許文献１に記載された技術は、ビデオ画像に含まれるすべての対象物のタイプを識別しなければならないため、画像処理の負担が非常に大きくなってしまう問題があった。また、夜間に撮影した場合であっても、ビデオ画像に昼光下での典型的な色を割り当てているため、ドライバが違和感を感じる問題もあった。 However, the technique described inPatent Document 1 has a problem that the burden of image processing becomes very large because all types of objects included in the video image must be identified. In addition, even when shooting at night, there is a problem that the driver feels uncomfortable because the video image is assigned a typical color under daylight.

本発明は、上述した課題を解決するために提案されたものであり、簡易な構成でカラーを含む画像を得ることができる撮像装置を提供することを目的とする。 SUMMARY An advantage of some aspects of the invention is that it provides an imaging apparatus capable of obtaining an image including a color with a simple configuration.

本発明に係る撮像装置は、被写体を撮像して、前記被写体からの可視光成分に基づいて複数の色信号を生成し、前記被写体からの異なる波長の赤外線成分に基づいて複数の赤外線輝度信号を生成する撮像手段と、複数の色信号の各レベル値と、前記各色信号の各レベル値によって表される色で反射されたときの複数の赤外線輝度信号の各レベル値と、の対応関係を記憶する記憶手段と、前記各色信号に基づく可視光輝度信号のレベル値と前記各赤外線輝度信号のレベル値とを比較し、前記可視光輝度信号のレベル値が高い領域については、前記各色信号に基づいてカラー画像を生成し、少なくとも１つの赤外線輝度信号のレベル値が高い領域については、前記各赤外線輝度信号の各レベル値に対応する各色信号のレベル値を、前記記憶手段から読み出し、読み出した各色信号に基づいてカラー画像を生成するカラー画像生成手段と、を備えている。An imaging apparatus according to the present invention images a subject, generates a plurality of color signals based on visible light components from the subject, and generates a plurality of infrared luminance signals based on infrared components of different wavelengths from the subject. Stores correspondence between imaging means to be generated, each level value of aplurality of color signals, and each level value of a plurality of infrared luminance signals when reflected by the color represented by each level value of each color signal And a storage means for comparing the level value of the visible light luminance signal based on each color signal and the level value of each infrared luminance signal, and the region where the level value of the visible light luminance signal is high is based on each color signal. generating a color image Te, for at least one infrared luminance signal level value is higher regions ofthe level value of each color signal corresponding to the each level values of the infrared brightness signal, whether the storage means Read, and a, a color image generating means for generating a color image based oneach color signal read.

少なくとも１つの赤外線輝度信号のレベル値が可視光輝度信号のレベル値に比べて十分高い領域では、可視光成分から得られる色信号は、ゼロに近くなるものの、実際にはノイズによってゼロにならない。そこで、カラー画像生成手段は、上記領域では、可視光成分に基づく色信号を使用せず、各赤外線輝度信号に基づいてカラー画像を生成する。これにより、上記撮像装置は、カラーノイズのない高画質のカラー画像を得ることができる。また、上記撮像装置は、記憶手段から、各赤外線輝度信号の各レベル値に対応する各色信号のレベル値を読み出してカラー画像を生成するので、近赤外領域であってもカラー画像を得ることができる。In a region where the level value of at least one infrared luminance signal is sufficiently higher than the level value of the visible light luminance signal, the color signal obtained from the visible light component is close to zero, but does not actually become zero due to noise. Therefore, the color image generation means generates a color image based on each infrared luminance signal without using the color signal based on the visible light component in the region. As a result, the imaging apparatus can obtain a high-quality color image without color noise.In addition, since the imaging apparatus reads out the color signal level values corresponding to the level values of the infrared luminance signals from the storage unit and generates a color image, a color image can be obtained even in the near infrared region. Can do.

上記撮像装置は、前記カラー画像生成手段により生成されたカラー画像を表示する表示手段を更に備えてもよい。 The imaging apparatus may further include display means for displaying the color image generated by the color image generation means.

上記撮像装置は、前記被写体に複数の近赤外線光を照射する光照射手段を更に備え、前記撮像手段は、前記被写体からの複数の近赤外線成分に基づいて複数の近赤外線輝度信号を生成してもよい。 The imaging apparatus further includes a light irradiating unit that irradiates the subject with a plurality of near-infrared lights, and the imaging unit generates a plurality of near-infrared luminance signals based on a plurality of near-infrared components from the subject. Also good.

本発明に係る撮像装置は、夜間や視認性の悪い場合であっても、より簡単にカラーを含む画像を得ることができる。 The imaging device according to the present invention can more easily obtain an image including color even at night or when visibility is poor.

以下、本発明の好ましい実施の形態について図面を参照しながら詳細に説明する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings.

［第１の実施形態］
図１は、本発明の第１の実施形態に係る撮像装置の構成を示すブロック図である。本実施形態に係る撮像装置は、車両前方を撮像できるように配置されている。[First Embodiment]
FIG. 1 is a block diagram showing a configuration of an imaging apparatus according to the first embodiment of the present invention. The imaging device according to the present embodiment is arranged so that the front of the vehicle can be imaged.

上記撮像装置は、被写体を撮像するＣＣＤイメージセンサ１と、相関二重サンプリング処理（ＣＤＳ）を施すＣＤＳ回路２と、アナログ／ディジタル変換を行うＡ／Ｄ変換器３と、可視領域か赤外領域かを判定する可視／赤外領域判定部４と、カラー画像を生成するカラー画像生成部５と、カラー画像を表示するＬＣＤ６と、可視光より長波長の成分を含んだ近赤外光を車両前方に出射する近赤外光源７と、近赤外光源７を駆動する駆動回路８とを備えている。 The imaging apparatus includes aCCD image sensor 1 that images a subject, aCDS circuit 2 that performs correlated double sampling processing (CDS), an A /D converter 3 that performs analog / digital conversion, and a visible region or an infrared region. A visible / infrared region determining unit 4 for determining whether or not, a color image generating unit 5 for generating a color image, an LCD 6 for displaying a color image, and a near infrared light including a component having a longer wavelength than visible light. A near-infrared light source 7 emitting forward and adrive circuit 8 for driving the near-infrared light source 7 are provided.

ＣＣＤイメージセンサ１は、カラーＩＲフィルタ１０を介して入射された光に基づいて、色信号Ｒ（赤）、Ｇ（緑）、Ｂ（青）と、近赤外（Ｉｒ）の輝度信号（以下「近赤外輝度信号」という。）とを生成する。 TheCCD image sensor 1 uses a color signal R (red), G (green), B (blue), and a near-infrared (Ir) luminance signal (hereinafter, based on light incident through thecolor IR filter 10. "Near-infrared luminance signal").

図２は、カラーＩＲフィルタ１０の構成を示す図である。カラーＩＲフィルタ１０は、ＣＣＤイメージセンサ１への入射光からＲ成分、Ｇ成分、Ｂ成分、Ｉｒ成分をそれぞれ透過するフィルタアレイで構成されている。なお、Ｒ、Ｇ、Ｂ、Ｉｒの配置については特に限定されるものではない。 FIG. 2 is a diagram illustrating the configuration of thecolor IR filter 10. Thecolor IR filter 10 includes a filter array that transmits R component, G component, B component, and Ir component from the incident light to theCCD image sensor 1. The arrangement of R, G, B, and Ir is not particularly limited.

このため、ＣＣＤイメージセンサ１は、カラーＩＲフィルタ１０によって欠落した色成分については、隣接する同色の複数の画素値を混合して出力している。なお、ＣＣＤイメージセンサ１が画素混合を行わない場合、可視／赤外領域判定部４が、カラーＩＲフィルタ１０によって欠落した色成分を補間すればよい。また、本発明は、単板式に限定されるものではなく、多板式であってもよい。 For this reason, theCCD image sensor 1 mixes and outputs a plurality of adjacent pixel values of the same color for the color component missing by thecolor IR filter 10. When theCCD image sensor 1 does not perform pixel mixing, the visible / infrared region determination unit 4 may interpolate the missing color component by thecolor IR filter 10. The present invention is not limited to a single plate type, and may be a multi-plate type.

図３は、多板式の撮像装置に備えられたＣＣＤイメージセンサ１Ｒ、１Ｇ、１Ｂ、１Ｉｒを示す図である。多板式の場合、被写体からの入射光は、ダイクロイックミラーによってＲ、Ｇ、Ｂ、Ｉｒの各成分に分離される。そして、Ｒ、Ｇ、Ｂ、Ｉｒの各成分は、ＣＣＤイメージセンサ１Ｒ、１Ｇ、１Ｂ、１Ｉｒにぞれぞれ入射される。これにより、ＣＣＤイメージセンサ１Ｒ、１Ｇ、１Ｂ、１Ｉｒは、それぞれＲ信号、Ｇ信号、Ｂ信号、近赤外輝度信号Ｉｒを生成する。なお、上記のように入射光を各成分に分離することができれば、ダイクロイックミラーの代わりにプリズムを用いてもよいのは勿論である。 FIG. 3 is a diagram illustrating theCCD image sensors 1R, 1G, 1B, and 1Ir provided in the multi-plate imaging device. In the case of a multi-plate type, incident light from a subject is separated into R, G, B, and Ir components by a dichroic mirror. The R, G, B, and Ir components are incident on theCCD image sensors 1R, 1G, 1B, and 1Ir, respectively. Thereby, theCCD image sensors 1R, 1G, 1B, and 1Ir respectively generate an R signal, a G signal, a B signal, and a near-infrared luminance signal Ir. Of course, a prism may be used instead of a dichroic mirror as long as incident light can be separated into components as described above.

以上のように構成された撮像装置では、夜間になると、近赤外光源７が車両前方に近赤外光を照射する。このとき、ＣＣＤイメージセンサ１は、カラーＩＲフィルタ１０を介して入射された光に基づいて、Ｒ、Ｇ、Ｂの各色信号、近赤外輝度信号Ｉｒを生成する。 In the imaging device configured as described above, at night, the near-infrared light source 7 irradiates near-infrared light in front of the vehicle. At this time, theCCD image sensor 1 generates R, G, and B color signals and a near-infrared luminance signal Ir based on the light incident through thecolor IR filter 10.

ＣＤＳ回路２は、ＣＣＤイメージセンサ１から供給された各信号にそれぞれ相関二重サンプリング処理を施し、Ａ／Ｄ変換器３に供給する。Ａ／Ｄ変換器３は、ＣＤＳ回路２から供給された各信号をディジタル信号に変換し、Ｒ、Ｇ、Ｂ、Ｉｒの各信号を可視／赤外領域判定部４及びカラー画像生成部５に供給する。 TheCDS circuit 2 performs correlated double sampling processing on each signal supplied from theCCD image sensor 1 and supplies the signal to the A /D converter 3. The A /D converter 3 converts each signal supplied from theCDS circuit 2 into a digital signal, and converts the R, G, B, and Ir signals to the visible / infrared region determination unit 4 and the color image generation unit 5. Supply.

可視／赤外領域判定部４は、Ｒ、Ｇ、Ｂの各信号から輝度信号（以下「可視光輝度信号」という。）Ｙを生成し、１画面の所定ブロック毎に、可視光輝度信号Ｙのレベル値と近赤外輝度信号Ｉｒのレベル値とを比較する。 The visible / infrared area determination unit 4 generates a luminance signal (hereinafter referred to as “visible light luminance signal”) Y from each of the R, G, and B signals, and the visible light luminance signal Y for each predetermined block of one screen. Is compared with the level value of the near-infrared luminance signal Ir.

ここで、所定ブロックとは、複数の画素で構成された領域であってもよいし、１画素であってもよい。 Here, the predetermined block may be an area composed of a plurality of pixels or one pixel.

可視／赤外領域判定部４は、１画面の所定ブロック毎に、可視光輝度信号Ｙのレベル値と近赤外輝度信号Ｉｒのレベル値とを比較して、Ｉｒ＞Ｙの場合、そのブロックを赤外領域と判定する。また、Ｉｒ≦Ｙの場合、そのブロックを可視領域と判定する。そして、可視／赤外領域判定部４は、この判定結果をカラー画像生成部５に供給する。 The visible / infrared area determination unit 4 compares the level value of the visible light luminance signal Y with the level value of the near-infrared luminance signal Ir for each predetermined block of one screen, and if Ir> Y, that block Is determined as the infrared region. If Ir ≦ Y, the block is determined to be a visible region. Then, the visible / infrared area determination unit 4 supplies the determination result to the color image generation unit 5.

また、可視／赤外領域判定部４は、１画面の所定ブロック毎に次のように判定してもよい。可視／赤外領域判定部４は、例えば、Ｉｒ−Ｙ＞Ｃ１（Ｃ１は定数）の場合は、そのブロックを赤外領域と判定し、Ｉｒ−Ｙ≦Ｃ１の場合は、そのブロックを可視領域と判定してもよい。 Further, the visible / infrared area determination unit 4 may determine for each predetermined block of one screen as follows. For example, when Ir-Y> C1 (C1 is a constant), the visible / infrared region determination unit 4 determines the block as an infrared region, and when Ir-Y ≦ C1, the block is determined as the visible region. May be determined.

なお、可視／赤外領域判定部４は、ブロック毎に、色信号の存在する可視領域と、色信号がゼロ又はほとんど存在しない近赤外輝度信号Ｉｒのみの赤外領域と、を判定することができれば、上記の判定手法に限定されるものではない。 Note that the visible / infrared area determination unit 4 determines, for each block, a visible area where a color signal exists and an infrared area where only a near-infrared luminance signal Ir has no or almost no color signal. If possible, the determination method is not limited to the above.

カラー画像生成部５は、可視領域と判定されたブロックについては、そのブロック内のＲ、Ｇ、Ｂの各信号を用いて色変換処理を行い、所定の色成分（輝度信号、色差信号など）からカラー画像を生成する。また、赤外領域と判定されたブロックについては、そのブロック内の近赤外輝度信号Ｉｒに基づいてモノクロ画像を生成する。 For the block determined to be a visible region, the color image generation unit 5 performs color conversion processing using each of the R, G, and B signals in the block, and predetermined color components (luminance signal, color difference signal, etc.) Generate a color image from For a block determined as an infrared region, a monochrome image is generated based on the near-infrared luminance signal Ir in the block.

可視領域か赤外領域（可視領域でない領域）であるかを判定するのは次の理由による。赤外領域では、被写体からの可視光が届かないので、理想的にはＲ、Ｇ、Ｂのレベル値がそれぞれゼロになる。しかし実際には、ＣＣＤイメージセンサ１が出力する暗電流などの様々なノイズによって、Ｒ、Ｇ、Ｂのレベル値はゼロにならない。そこで、カラー画像生成部５は、赤外領域については、近赤外輝度信号Ｉｒを用いてモノクロ画像を生成することによって、カラーノイズのない画像を得ることができる。 The reason for determining whether the region is the visible region or the infrared region (region that is not the visible region) is as follows. In the infrared region, the visible light from the subject does not reach, and ideally, the R, G, and B level values are each zero. However, in reality, the level values of R, G, and B do not become zero due to various noises such as dark current output from theCCD image sensor 1. Therefore, the color image generation unit 5 can obtain an image without color noise by generating a monochrome image using the near-infrared luminance signal Ir for the infrared region.

そして、カラー画像生成部５は、これらのカラー画像及びモノクロ画像をＬＣＤ６に供給する。これにより、ＬＣＤ６では、可視領域にはカラー画像、赤外領域にはモノクロ画像が現れる。 Then, the color image generation unit 5 supplies these color images and monochrome images to the LCD 6. Thereby, on the LCD 6, a color image appears in the visible region and a monochrome image appears in the infrared region.

以上のように、第１の実施形態に係る撮像装置は、被写体からの光に基づいて色信号Ｒ、Ｇ、Ｂ及び近赤外輝度信号Ｉｒを生成し、１画面の所定ブロック毎に、色信号Ｒ、Ｇ、Ｂに基づく可視光輝度信号Ｙのレベル値と近赤外輝度信号Ｉｒのレベル値とを比較することで可視領域か赤外領域であるかを判定する。そして、上記撮像装置は、可視領域については色信号Ｒ、Ｇ、Ｂに基づいてカラー画像を生成し、赤外領域については近赤外輝度信号Ｉｒに基づいてモノクロ画像を生成して、これらの画像を表示する。 As described above, the imaging apparatus according to the first embodiment generates the color signals R, G, and B and the near-infrared luminance signal Ir based on the light from the subject, and generates the color for each predetermined block of one screen. By comparing the level value of the visible light luminance signal Y based on the signals R, G, and B with the level value of the near-infrared luminance signal Ir, it is determined whether it is the visible region or the infrared region. The imaging device generates a color image based on the color signals R, G, and B for the visible region, generates a monochrome image based on the near-infrared luminance signal Ir for the infrared region, Display an image.

この結果、上記撮像装置は、夜間に屋外を撮像した場合であっても、連続的かつ一部カラー化した画像を表示することができる。さらに、赤外領域については、近赤外輝度信号Ｉｒに基づいて、カラーノイズのないモノクロ画像を表示することができる。 As a result, the imaging apparatus can display a continuous and partially colored image even when shooting outdoors at night. Further, in the infrared region, a monochrome image without color noise can be displayed based on the near infrared luminance signal Ir.

［第２の実施形態］
つぎに、本発明の第２の実施形態について説明する。なお、第１の実施形態と同一の符号には同一の符号を付し、その詳細な説明は省略する。[Second Embodiment]
Next, a second embodiment of the present invention will be described. In addition, the same code | symbol as 1st Embodiment is attached | subjected to the same code | symbol, and the detailed description is abbreviate | omitted.

図４は、本発明の第２の実施形態に係る撮像装置の構成を示すブロック図である。本実施形態に係る撮像装置は、車両前方を撮像できるように配置されている。上記撮像装置は、図１に示す構成に加えて疑似カラー生成部１１及びカラーマップメモリ１２を備え、またカラーＩＲフィルタ１０の代わりにカラーＩＲフィルタ１０Ａを用いている。 FIG. 4 is a block diagram showing a configuration of an imaging apparatus according to the second embodiment of the present invention. The imaging device according to the present embodiment is arranged so that the front of the vehicle can be imaged. The imaging apparatus includes a pseudo color generation unit 11 and acolor map memory 12 in addition to the configuration shown in FIG. 1, and uses acolor IR filter 10 </ b> A instead of thecolor IR filter 10.

図５は、カラーＩＲフィルタ１０Ａを示す図である。カラーＩＲフィルタ１０Ａは、Ｒ成分、Ｇ成分、Ｂ成分、Ｉｒ１成分、Ｉｒ２成分をそれぞれ透過するフィルタで構成されている。ここで、Ｉｒ１成分とＩｒ２成分は、それぞれ波長の異なる近赤外成分である。ここでは、Ｉｒ１成分及びＩｒ２成分のみを示しているが、Ｉｒ成分の数は３つ以上であってもよい。なお、Ｒ、Ｇ、Ｂ、Ｉｒ１、Ｉｒ２のフィルタの配置については特に限定されるものではない。 FIG. 5 is a diagram showing thecolor IR filter 10A. Thecolor IR filter 10A is configured by a filter that transmits the R component, the G component, the B component, the Ir1 component, and the Ir2 component. Here, the Ir1 component and the Ir2 component are near-infrared components having different wavelengths. Here, only the Ir1 and Ir2 components are shown, but the number of Ir components may be three or more. The arrangement of the R, G, B, Ir1, and Ir2 filters is not particularly limited.

これにより、ＣＣＤイメージセンサ１は、カラーＩＲフィルタ１０Ａを介して入射された光に基づいて、Ｒ、Ｇ、Ｂの各原色信号、近赤外輝度信号Ｉｒ１、Ｉｒ２を生成する。 Thus, theCCD image sensor 1 generates R, G, and B primary color signals and near-infrared luminance signals Ir1 and Ir2 based on the light incident through thecolor IR filter 10A.

ところで、光の反射特性は反射面の色によって異なる。例えば、被写体から反射された近赤外線Ｉｒ１、Ｉｒ２の大きさ（又は比率）は、被写体の色によって異なる特性がある。そこで、カラーマップメモリ１２には、このような光特性を考慮したカラーマップが記憶されている。 By the way, the reflection characteristics of light differ depending on the color of the reflecting surface. For example, the magnitudes (or ratios) of near infrared rays Ir1 and Ir2 reflected from the subject have different characteristics depending on the color of the subject. Therefore, thecolor map memory 12 stores a color map considering such light characteristics.

カラーマップメモリ１２に記憶されているカラーマップは、Ｒ、Ｇ、Ｂの各レベル値と、このＲ、Ｇ、Ｂの各レベル値によって表される色で反射されたときのＩｒ１及びＩｒ２の各レベル値と、の関係を示している。このカラーマップは、現在又は過去に蓄積した画像におけるＲ、Ｇ、Ｂの各レベル値と、その画像のＩｒ１、Ｉｒ２の各レベル値との関係から経験的に求められたものである。 The color map stored in thecolor map memory 12 includes each level value of R, G, B, and each of Ir1 and Ir2 when reflected by the color represented by each level value of R, G, B. The relationship with the level value is shown. This color map is obtained empirically from the relationship between the R, G, and B level values in the current or past image and the Ir1 and Ir2 level values of the image.

なお、カラーマップは、赤外輝度信号Ｉｒ１、Ｉｒ２に対応する色信号Ｒ、Ｇ、Ｂの関係を表していれば、上記のように各信号のレベル値の対応関係を表しても良いし、また、各信号の比率の対応関係を表してもよい。 As long as the color map represents the relationship between the color signals R, G, and B corresponding to the infrared luminance signals Ir1 and Ir2, the color map may represent the relationship between the level values of the signals as described above. Further, the correspondence relationship of the ratio of each signal may be expressed.

さらに、カラーＩＲフィルタ１０Ａがｎ（≧３）以上の異なる波長のＩｒ成分をそれぞれ透過できるフィルタである場合、カラーマップは、ｎ個の近赤外輝度信号と、これに対応する色信号Ｒ、Ｇ、Ｂの対応関係を示していればよい。 Further, when thecolor IR filter 10A is a filter that can transmit Ir components of different wavelengths of n (≧ 3) or more, the color map includes n near-infrared luminance signals and corresponding color signals R, The correspondence relationship between G and B may be shown.

疑似カラー生成部１１は、Ａ／Ｄ変換器３から近赤外輝度信号Ｉｒ１、Ｉｒ２が入力されると、カラーマップメモリ１２から、近赤外輝度信号Ｉｒ１、Ｉｒ２に対応するＲ、Ｇ、Ｂの各色信号を読み出すことによって、赤外領域の疑似カラー画像を生成する。そして、この疑似カラー画像をカラー画像生成部５に供給する。 When the near-infrared luminance signals Ir1 and Ir2 are input from the A /D converter 3, the pseudo color generation unit 11 receives R, G, and B corresponding to the near-infrared luminance signals Ir1 and Ir2 from thecolor map memory 12. The pseudo color image in the infrared region is generated by reading out the respective color signals. Then, this pseudo color image is supplied to the color image generation unit 5.

また、近赤外光源７は、異なる波長の近赤外光Ｉｒ１、Ｉｒ２を車両前方の被写体に照射する。なお、近赤外光源７は、Ｉｒ１成分及びＩｒ２成分が重畳された近赤外光を同時に出射してもよいし、Ｉｒ１成分及びＩｒ２成分を交互に出射してもよい。また、Ｉｒ１成分を出射する近赤外光源と、Ｉｒ２成分を出射する近赤外光源を設けてもよい。 The near-infrared light source 7 irradiates a subject in front of the vehicle with near-infrared light Ir1 and Ir2 having different wavelengths. The near-infrared light source 7 may emit the near-infrared light on which the Ir1 component and the Ir2 component are superimposed at the same time, or may alternately emit the Ir1 component and the Ir2 component. Further, a near infrared light source that emits an Ir1 component and a near infrared light source that emits an Ir2 component may be provided.

以上のように構成された撮像装置では、夜間になると、近赤外光源７が車両前方に近赤外光を照射する。このとき、ＣＣＤイメージセンサ１は、カラーＩＲフィルタ１０Ａを介して入射された光に基づいて、Ｒ、Ｇ、Ｂの各色信号、近赤外輝度信号Ｉｒ１、Ｉｒ２を生成する。ＣＤＳ回路２及びＡ／Ｄ変換器３を経た色信号Ｒ、Ｇ、Ｂ、近赤外輝度信号Ｉｒ１、Ｉｒ２は、可視／赤外領域判定部４、カラー画像生成部５及びカラーマップメモリ１２に供給される。 In the imaging device configured as described above, at night, the near-infrared light source 7 irradiates near-infrared light in front of the vehicle. At this time, theCCD image sensor 1 generates R, G, and B color signals and near-infrared luminance signals Ir1 and Ir2 based on the light incident through thecolor IR filter 10A. The color signals R, G, B and near-infrared luminance signals Ir1, Ir2 that have passed through theCDS circuit 2 and the A /D converter 3 are sent to the visible / infrared area determination unit 4, the color image generation unit 5, and thecolor map memory 12. Supplied.

可視／赤外領域判定部４は、Ｒ、Ｇ、Ｂの各信号から可視光輝度信号Ｙを生成し、１画面の所定ブロック毎に、可視光輝度信号Ｙのレベル値と近赤外輝度信号Ｉｒ１、Ｉｒ２とのレベル値とを比較する。 The visible / infrared region determination unit 4 generates a visible light luminance signal Y from the R, G, and B signals, and the level value of the visible light luminance signal Y and the near infrared luminance signal for each predetermined block of one screen. The level values of Ir1 and Ir2 are compared.

そして、可視／赤外領域判定部４は、（Ｉｒ１、Ｉｒ２の少なくとも１つ）＞Ｙの場合、そのブロックを赤外領域と判定し、（Ｉｒ１とＩｒ２のいずれも）≦Ｙの場合、そのブロックを可視領域と判定する。 Then, the visible / infrared area determination unit 4 determines that the block is an infrared area when (at least one of Ir1 and Ir2)> Y, and if (both Ir1 and Ir2) ≦ Y, The block is determined as the visible region.

なお、可視／赤外領域判定部４は、ブロック毎に、色信号の存在する可視領域と、色信号がゼロ又はほとんど存在しない近赤外輝度信号Ｉｒ１、Ｉｒ２のみの赤外領域と、を判定することができれば、上記の判定手法に限定されるものではない。そして、可視／赤外領域判定部４は、この判定結果をカラー画像生成部５及び疑似カラー生成部１１に供給する。 The visible / infrared area determination unit 4 determines, for each block, a visible area where a color signal exists and an infrared area where only the near-infrared luminance signals Ir1 and Ir2 have no or almost no color signal. If it can do, it is not limited to said determination method. Then, the visible / infrared area determination unit 4 supplies the determination result to the color image generation unit 5 and the pseudo color generation unit 11.

疑似カラー生成部１１は、可視／赤外領域判定部４によって赤外領域と判定されたブロックについて、疑似カラーを生成する。具体的には、疑似カラー生成部１１は、赤外領域と判定されたブロックの近赤外輝度信号Ｉｒ１、Ｉｒ２が供給されると、カラーマップメモリ１２から、その近赤外輝度信号Ｉｒ１、Ｉｒ２に対応する色信号Ｒ、Ｇ、Ｂを読み出し、これをカラー画像生成部５に供給する。 The pseudo color generation unit 11 generates a pseudo color for the block determined as the infrared region by the visible / infrared region determination unit 4. Specifically, when the near-infrared luminance signals Ir1 and Ir2 of the block determined as the infrared region are supplied, the pseudo color generation unit 11 receives the near-infrared luminance signals Ir1 and Ir2 from thecolor map memory 12. The color signals R, G and B corresponding to are read out and supplied to the color image generation unit 5.

カラー画像生成部５は、可視／赤外領域判定部４によって可視領域と判定されたブロックについては、Ａ／Ｄ変換器３から供給される色信号Ｒ、Ｇ、Ｂに基づいて、カラー画像を生成する。カラー画像生成部５は、赤外領域と判定されたブロックについては、疑似カラー生成部１１から供給される色信号Ｒ、Ｇ、Ｂに基づいて、カラー画像を生成する。そして、カラー画像生成部５は、これらのカラー画像をＬＣＤ６に供給する。これにより、ＬＣＤ６には、可視領域にカラー画像が表示され、赤外領域に疑似カラー画像が表示される。 The color image generation unit 5 generates a color image based on the color signals R, G, and B supplied from the A /D converter 3 for the blocks determined as the visible region by the visible / infrared region determination unit 4. Generate. The color image generation unit 5 generates a color image based on the color signals R, G, and B supplied from the pseudo color generation unit 11 for the block determined as the infrared region. Then, the color image generation unit 5 supplies these color images to the LCD 6. As a result, the LCD 6 displays a color image in the visible region and a pseudo color image in the infrared region.

以上のように、第２の実施形態に係る撮像装置は、被写体からの光に基づいて色信号Ｒ、Ｇ、Ｂ及び近赤外輝度信号Ｉｒ１、Ｉｒ２を生成し、１画面の所定ブロック毎に、色信号Ｒ、Ｇ、Ｂに基づく可視光輝度信号Ｙのレベル値と近赤外輝度信号Ｉｒ１、Ｉｒ２のレベル値とを比較することで可視領域か赤外領域であるかを判定する。そして、上記撮像装置は、可視領域については色信号Ｒ、Ｇ、Ｂに基づいてカラー画像を生成する。 As described above, the imaging apparatus according to the second embodiment generates the color signals R, G, and B and the near-infrared luminance signals Ir1 and Ir2 based on the light from the subject, and for each predetermined block of one screen. By comparing the level value of the visible light luminance signal Y based on the color signals R, G, and B with the level value of the near-infrared luminance signals Ir1 and Ir2, it is determined whether the region is the visible region or the infrared region. And the said imaging device produces | generates a color image based on color signal R, G, B about visible region.

また、上記撮像装置は、赤外領域については、カラーマップメモリ１２から近赤外輝度信号Ｉｒ１、Ｉｒ２に対応する色信号Ｒ、Ｇ、Ｂを読み出し、これらの色信号Ｒ、Ｇ、Ｂに基づいてカラー画像を生成する。 The imaging apparatus reads out color signals R, G, and B corresponding to near-infrared luminance signals Ir1, Ir2 from thecolor map memory 12 in the infrared region, and based on these color signals R, G, B. To generate a color image.

この結果、上記撮像装置は、夜間に屋外を撮像した場合であっても、連続的かつ全面カラーの画像を表示することができる。さらに、赤外領域については、カラーマップメモリ１２から読み出した色信号Ｒ、Ｇ、Ｂを用いているので、カラーノイズのないカラー画像を表示することができる。 As a result, the imaging apparatus can display continuous and full-color images even when shooting outdoors at night. Further, since the color signals R, G, and B read from thecolor map memory 12 are used for the infrared region, a color image without color noise can be displayed.

本発明は、上述した実施の形態に限定されるものではなく、特許請求の範囲に記載された範囲内で設計上の変更をされたものにも適用可能であるのは勿論である。 The present invention is not limited to the above-described embodiment, and it is needless to say that the present invention can also be applied to a design modified within the scope of the claims.

例えば、第１及び第２の実施形態では、赤外線として近赤外線を用いたが、遠赤外線を用いてもよい。このとき、撮像装置は、近赤外光源７及び駆動回路８を備えてなくてもよく、近赤外線ではなく遠赤外線を透過するカラーＩＲフィルタを用いればよい。 For example, in the first and second embodiments, near infrared rays are used as infrared rays, but far infrared rays may be used. At this time, the imaging apparatus may not include the near-infrared light source 7 and thedrive circuit 8, and may use a color IR filter that transmits far-infrared rays instead of near-infrared rays.

また、色信号として、３原色信号Ｒ、Ｇ、Ｂを例に挙げて説明したが、本発明はこれに限定されるものではなく、ＣＭＹＫや、Ｌａｂ等の色信号であってもよい。 In addition, the three primary color signals R, G, and B have been described as examples of the color signal, but the present invention is not limited to this, and may be a color signal such as CMYK or Lab.

本発明の第１の実施形態に係る撮像装置の構成を示すブロック図である。1 is a block diagram illustrating a configuration of an imaging apparatus according to a first embodiment of the present invention.カラーＩＲフィルタの構成を示す図である。It is a figure which shows the structure of a color IR filter.多板式の撮像装置に備えられたＣＣＤイメージセンサを示す図である。It is a figure which shows the CCD image sensor with which the multi-plate type imaging device was equipped.本発明の第２の実施形態に係る撮像装置の構成を示すブロック図である。It is a block diagram which shows the structure of the imaging device which concerns on the 2nd Embodiment of this invention.カラーＩＲフィルタを示す図である。It is a figure which shows a color IR filter.

符号の説明Explanation of symbols

１，１Ｒ，１Ｇ，１Ｂ，１ＩｒＣＣＤイメージセンサ
２ＣＤＳ回路
３Ａ／Ｄ変換器
４可視／赤外領域判定部
５カラー画像生成部
６ＬＣＤ
７近赤外光源
８駆動回路
１０，１０ＡカラーＩＲフィルタ
１１疑似カラー生成部
１２カラーマップメモリ1, 1R, 1G, 1B, 1IrCCD image sensor 2 CDS circuit 3 A / D converter 4 Visible / infrared region determination unit 5 Color image generation unit 6 LCD
7 Near-infraredlight source 8Drive circuit 10, 10A Color IR filter 11 Pseudocolor generation unit 12 Color map memory

Claims

Translated fromJapanese

被写体を撮像して、前記被写体からの可視光成分に基づいて複数の色信号を生成し、前記被写体からの異なる波長の赤外線成分に基づいて複数の赤外線輝度信号を生成する撮像手段と、
複数の色信号の各レベル値と、前記各色信号の各レベル値によって表される色で反射されたときの複数の赤外線輝度信号の各レベル値と、の対応関係を記憶する記憶手段と、
前記各色信号に基づく可視光輝度信号のレベル値と前記各赤外線輝度信号のレベル値とを比較し、前記可視光輝度信号のレベル値が高い領域については、前記各色信号に基づいてカラー画像を生成し、少なくとも１つの赤外線輝度信号のレベル値が高い領域については、前記各赤外線輝度信号の各レベル値に対応する各色信号のレベル値を、前記記憶手段から読み出し、読み出した各色信号に基づいてカラー画像を生成するカラー画像生成手段と、
を備えた撮像装置。Imaging means for imaging a subject, generating a plurality of color signals based on visible light components from the subject, and generating a plurality of infrared luminance signals based on infrared components of different wavelengths from the subject;
Storage means for storing a correspondence relationship between each level value of the plurality of color signals and each level value of the plurality of infrared luminance signals when reflected by the color represented by each level value of each color signal;
The level value of the visible light luminance signal based on each color signal and the level value of each infrared luminance signal are compared, and a color image is generated based on each color signal for an area where the level value of the visible light luminance signal is high For the region where the level value of at least one infrared luminance signal is high, thelevel value of each color signal corresponding to each level value of each infrared luminance signal is read from the storage means, and the color value is determined based oneach read color signal. Color image generation means for generating an image;
An imaging apparatus comprising:

前記カラー画像生成手段により生成されたカラー画像を表示する表示手段を更に備えた
請求項１に記載の撮像装置。The imaging apparatus according to claim1, further comprising display means for displaying the generated color image by the color image generating means.

前記被写体に複数の近赤外線光を照射する光照射手段を更に備え、
前記撮像手段は、前記被写体からの複数の近赤外線成分に基づいて複数の近赤外線輝度信号を生成する
請求項１又は２に記載の撮像装置。A light irradiation means for irradiating the subject with a plurality of near infrared rays;
The imaging means, the imaging apparatus according to claim1 or 2 to produce a plurality of near-infrared luminance signal based on the plurality of near-infrared component from the subject.