JP4742883B2

Movatterモバイル変換

Info

Publication number: JP4742883B2
Application number: JP2006017837A
Authority: JP
Inventors: 剛志萩原
Original assignee: Sumitomo Electric Industries Ltd
Current assignee: Sumitomo Electric Industries Ltd
Priority date: 2006-01-26
Filing date: 2006-01-26
Publication date: 2011-08-10
Anticipated expiration: 2026-01-26
Also published as: JP2007201807A

Description

本発明は、夜間に外部を撮像する遠赤外撮像装置の出力輝度値を精度良く補正することができる遠赤外撮像装置及び出力値補正方法に関する。 The present invention relates to a far-infrared imaging device and an output value correction method that can accurately correct an output luminance value of a far-infrared imaging device that images the outside at night.

自動車等の車両の夜間走行の安全を確保すべく、ナイトビジョン等の遠赤外撮像装置により歩行者、自転車等の障害物の存在を検出する障害物検出システムが多々開発されている。通常、車両前方の所定の位置に、左右２基の遠赤外撮像装置を設置し、ステレオ視により検出した障害物までの距離を算出している。 In order to ensure nighttime safety of vehicles such as automobiles, many obstacle detection systems that detect the presence of obstacles such as pedestrians and bicycles using far-infrared imaging devices such as night vision have been developed. Usually, two far-infrared imaging devices are installed at a predetermined position in front of the vehicle, and the distance to the obstacle detected by stereo vision is calculated.

例えば左右の遠赤外撮像装置で撮像した画像から、所定の基準パターンとパターンマッチングすることにより障害物、例えば人間が存在すると考えられる領域を検出し、ステレオ視により該領域までの距離を算出し、所定の距離内である場合に運転者へ通知することにより、車両走行の安全を確保している。 For example, from an image captured by the left and right far-infrared imaging devices, a pattern that matches a predetermined reference pattern is used to detect an area where an obstacle, such as a human being, is present, and the distance to the area is calculated by stereo vision By notifying the driver when the distance is within a predetermined distance, the vehicle traveling safety is ensured.

遠赤外撮像装置は、複数の撮像素子で構成されており、撮像素子で出力された輝度値をＡ／Ｄ変換して、デジタル信号として出力する。左右別個に配置された遠赤外装置で撮像する場合、対象物が同一であっても間とする熱量が相違し、出力値が相違する。したがって、ステレオ視により検出した障害物までの距離を正確に算出するためには、同一の対象物であることを確実に検出することができるよう、同一の対象物の撮像データの輝度値が同一となるよう遠赤外撮像装置の出力値を補正する必要がある。 The far-infrared imaging device is composed of a plurality of imaging elements, A / D-converts luminance values output from the imaging elements, and outputs them as digital signals. When images are taken by far-infrared devices arranged separately on the left and right, even if the object is the same, the amount of heat between them is different, and the output value is different. Therefore, in order to accurately calculate the distance to the obstacle detected by stereo vision, the luminance values of the imaging data of the same object are the same so that the same object can be reliably detected. Therefore, it is necessary to correct the output value of the far-infrared imaging device.

例えば非特許文献１では、撮像素子ごとに相違している感度の非均一性を補正する方法の代表例であるＮＵＣ（Non-Uniformity Correction）について開示されており、撮像素子の応答特性が線形であることを前提として、撮像素子ごとの所定の温度に対する出力値を補正するオフセット補正値、及び撮像素子ごとの所定の温度変化率に対する出力値の差異を補正するゲイン補正値を算出して、遠赤外撮像装置からの出力値を補正している。
「ＩＲ−ＣＣＤ撮像データのリアルタイム２点補正(Real-time implementation of two-point non-uniformity correction for IR-CCD imagery)」、SPIE Proc. 、 Vol.2598、ｐ．４４−５０、１９９５年For example, Non-PatentDocument 1 discloses NUC (Non-Uniformity Correction), which is a representative example of a method for correcting the non-uniformity of sensitivity that differs for each image sensor, and the response characteristics of the image sensor are linear. Assuming that there is an offset, an offset correction value for correcting an output value for a predetermined temperature for each image sensor and a gain correction value for correcting a difference in output value for a predetermined temperature change rate for each image sensor are calculated. The output value from the infrared imaging device is corrected.
“Real-time implementation of two-point non-uniformity correction for IR-CCD imagery”, SPIE Proc., Vol. 2598, p. 44-50, 1995

しかし、上述した撮像装置の出力値の補正方法では、絶対温度に対応してオフセット補正値を算出していないことから、同一の輝度値を出力している場合であっても、周囲の環境に応じて歩行者を示す領域である場合もあれば、歩行者を示す領域ではない場合もある。したがって、歩行者の検出精度を高めることが困難であるという問題点があった。 However, in the above-described correction method of the output value of the imaging apparatus, the offset correction value is not calculated corresponding to the absolute temperature, so even if the same luminance value is output, the surrounding environment is not affected. Depending on the situation, the area may indicate a pedestrian or the area may not indicate a pedestrian. Therefore, there is a problem that it is difficult to improve the detection accuracy of pedestrians.

例えば夏季と冬季とでは、周囲環境の温度と歩行者との温度変化率が相違する度合よりも、表面温度の絶対温度が相違する度合が大きい。しかし、従来の方法では、オフセット補正値は、絶対温度とは無関係に算出されていることから、条件によっては歩行者を示す領域の輝度値と周囲領域の輝度値との差異が小さく補正され、歩行者を示す領域を精度良く検出することが困難になるおそれがあった。 For example, in summer and winter, the degree of difference in absolute temperature of the surface temperature is greater than the degree of difference in temperature change rate between the surrounding environment and the pedestrian. However, in the conventional method, since the offset correction value is calculated regardless of the absolute temperature, the difference between the luminance value of the area indicating the pedestrian and the luminance value of the surrounding area is corrected to be small depending on conditions, There is a possibility that it is difficult to accurately detect a region indicating a pedestrian.

また、遠赤外装置の状態は、時間が経過するとともに変化する。特にレンズの経年変化等によって撮像素子で受光する光量は時間とともに減少する傾向にあり、例えば出荷時に所定の温度で所定の輝度値を出力するよう調整していた場合であっても、実際の出力値が絶対温度に対応している保証は無い。一方、所定の温度変化率に対する出力値は、所定の温度に対する出力値に比べて大きく変動することがない。 In addition, the state of the far-infrared device changes with time. In particular, the amount of light received by the image sensor tends to decrease with time due to lens aging, etc., even if it is adjusted to output a predetermined luminance value at a predetermined temperature at the time of shipment, for example, the actual output There is no guarantee that the values correspond to absolute temperatures. On the other hand, the output value for a predetermined temperature change rate does not vary greatly compared to the output value for a predetermined temperature.

本発明は、斯かる事情に鑑みてなされたものであり、撮像素子の出力値を絶対温度に対応した値へ補正するようオフセット補正値を算出することにより、撮像素子の出力値から撮像対象物の絶対温度を推定することができる遠赤外撮像装置及び出力値補正方法を提供することを目的とする。 The present invention has been made in view of such circumstances, and by calculating an offset correction value so as to correct the output value of the image sensor to a value corresponding to the absolute temperature, the object to be imaged from the output value of the image sensor. An object of the present invention is to provide a far-infrared imaging device and an output value correction method capable of estimating the absolute temperature.

上記目的を達成するために第１発明に係る遠赤外線撮像装置は、マトリックス状に配列された複数の撮像素子と、該撮像素子ごとに所定の温度に対する出力値を補正するオフセット補正値を算出するオフセット補正値算出手段と、前記撮像素子ごとに所定の温度変化率に対する出力値の差異を補正するゲイン補正値を算出するゲイン補正値算出手段とを備え、前記オフセット補正値算出手段及びゲイン補正値算出手段の夫々が算出したオフセット補正値及びゲイン補正値により撮像素子ごとに出力値を補正して撮像データを取得する遠赤外撮像装置において、表面温度が略均一であり、前記撮像素子へ入光させる開口を開閉するシャッターと、該シャッターの表面温度を計測する温度計測手段と、前記撮像素子ごとに複数の温度夫々に対して、前記オフセット補正値算出手段が算出したオフセット補正値を予め記憶する記憶手段とを備え、前記オフセット補正値算出手段は、前記記憶手段が記憶した複数の温度夫々に対するオフセット補正値を照会して、前記温度計測手段が前記シャッターを閉じた状態で計測した前記シャッターの表面温度に対する撮像素子ごとのオフセット補正値を補正するようにしてあることを特徴とする。In order to achieve the above object, a far-infrared imaging device according to a first invention calculates a plurality of imaging elements arranged in a matrix and an offset correction value for correcting an output value for a predetermined temperature for each imaging element. An offset correction value calculating means; and a gain correction value calculating means for calculating a gain correction value for correcting a difference in output value with respect to a predetermined temperature change rate for each of the image sensors, theoffset correction value calculating means and the gain correction value. in the far-infrared imaging apparatus for acquiring imaging data by correcting the output value for each image sensing element by the offset correction valueeach is calculated and a gain correction valuecalculation means, the surface temperature is substantially uniform, entering intothe imaging device a shutter for opening and closing the opening for light, and temperature measuring means for measuring the surface temperature of theshutter, with respect to each of the plurality of temperature husband for each of the imaging device Wherein a storage means for offset correction value calculation means prestores offset correction value calculated,the offset correction value calculation unit may query the offset correction value for each of the plurality of temperature husband said storage means stores said characterized in thatthe temperature measuring means are so as tocorrect the offset correction value for each image sensing elementagainst the surface temperature of themeter measuring thesaid shutteris closed the shutter.

また、第２発明に係る遠赤外撮像装置は、第１発明において、前記温度計測手段は、前記シャッターの表面に接触して表面温度を計測するセンサであることを特徴とする。Moreover, far-infrared imaging device according to thesecond aspect, in thefirst shot bright, the temperature measuring means, characterized in that it is a sensor for measuring the surface temperature in contact with the surface of the shutter.

また、第３発明に係る出力値補正方法は、遠赤外撮像装置にマトリックス状に配列された複数の撮像素子ごとに所定の温度に対する出力値を補正するオフセット補正値を算出し、前記撮像素子ごとに所定の温度変化率に対する出力値の差異を補正するゲイン補正値を算出し、算出したオフセット補正値及びゲイン補正値により撮像素子ごとに出力値を補正する出力値補正方法において、前記撮像素子ごとに複数の温度夫々に対して算出したオフセット補正値を予め記憶し、表面温度が略均一であるシャッターを閉じた状態で該シャッターの表面温度を取得し、記憶した複数の温度夫々に対するオフセット補正値を照会して、取得した表面温度に対する撮像素子ごとのオフセット補正値を補正することを特徴とする。According to athird aspect of the present invention, there is provided an output value correction method for calculating an offset correction value for correcting an output value for a predetermined temperature for each of a plurality of image sensors arranged in a matrix in a far-infrared imaging device. in the output value correction method for correcting an output value for each image sensing element by the offset correction value and gain correction value calculating a gain correction value for correcting the difference of the outputvalue, calculated for a given temperature change rate every,the imaging device The offset correction value calculated for each of a plurality of temperatures is stored in advance, the surface temperature of the shutter is acquired with the shutter having a substantially uniform surface temperature closed,and theoffset correction for each of thestored plurality of temperatures is performed. The value is inquired, and the offset correction value for each image sensor withrespectto the acquiredsurface temperature iscorrected .

第１発明、及び第３発明では、遠赤外撮像装置にマトリックス状に配列された複数の撮像素子ごとに所定の温度に対する出力値を補正するオフセット補正値を算出し、撮像素子ごとに所定の温度変化率に対する出力値の差異を補正するゲイン補正値を算出して、オフセット補正値及びゲイン補正値により撮像素子ごとに出力値を補正する。撮像素子ごとに複数の温度夫々に対して算出したオフセット補正値を予め記憶し、表面温度が略均一であるシャッターを閉じた状態でシャッターの表面温度を取得し、記憶した複数の温度夫々に対するオフセット補正値を照会して、取得したシャッターの表面温度に対する撮像素子ごとのオフセット補正値を推定して補正する。これにより、絶対温度に対応してオフセット補正値を補正することができ、輝度値に基づいて撮像対象物の絶対温度を容易に推定することができる。例えば所定の時間間隔、撮像開始前等にシャッターを閉じて撮像してオフセット補正値を補正することにより、長期に渡り出力値を絶対温度に対応付けて出力することが可能となる。In the first invention and thethird invention, an offset correction value for correcting an output value for a predetermined temperature is calculated for each of a plurality of image sensors arranged in a matrix in the far infrared imaging device, and a predetermined value is calculated for each image sensor. A gain correction value for correcting a difference in output value with respect to the temperature change rate is calculated, and the output value is corrected for each image sensor by the offset correction value and the gain correction value.Previously storing the offset correction value calculated with respect to each of the plurality of temperature husband for each imaging device to obtain the surface temperature of thesheet Yattawith closed shutters surface temperature is substantially uniform,for a plurality of temperatures husband stored s query the offset correction value iscorrected by estimating the offset correction value for each image sensing elementagainst the surface temperature of theobtained sheet Yatta. Thus, it is possible tocorrect the offset correction value corresponding to the absolute temperature, can be easily estimated the absolute temperature of the imaging object based on the luminance value. For example, it is possible to output the output value in association with the absolute temperature over a long period of time by closing the shutter and capturing an image and correcting the offset correction value at a predetermined time interval or before the start of imaging.

第２発明では、温度計測手段は、シャッターの表面に接触して表面温度を計測するセンサである。これにより、安価、小型であり、シャッター表面に容易に取り付けることができ、しかもシャッター表面の温度変化を直接的に検出することができることから、精度良くシャッターの表面温度を計測することができ、オフセット補正値を精度良く算出することが可能となる。In thesecond invention, the temperature measuring means is a sensor that measures the surface temperature in contact with the surface of the shutter. This makes it possible to measure the surface temperature of the shutter with high accuracy, because it is inexpensive and compact, can be easily mounted on the shutter surface, and can directly detect the temperature change of the shutter surface. The correction value can be calculated with high accuracy.

第１発明、及び第３発明によれば、絶対温度に対応してオフセット補正値を補正することができ、輝度値に基づいて撮像対象物の絶対温度を容易に推定することができる。例えば所定の時間間隔、撮像開始前等にシャッターを閉じて撮像してオフセット補正値を補正することにより、長期に渡り出力値を絶対温度に対応付けて出力することが可能となる。First invention and according to thethird invention, it is possible tocorrect the offset correction value corresponding to the absolute temperature, can be easily estimated the absolute temperature of the imaging object based on the luminance value. For example, it is possible to output the output value in association with the absolute temperature over a long period of time by closing the shutter and capturing an image and correcting the offset correction value at a predetermined time interval or before the start of imaging.

第２発明によれば、安価、小型であり、シャッター表面に容易に取り付けることができ、しかもシャッター表面の温度変化を直接的に検出することができることから、精度良くシャッターの表面温度を計測することができ、オフセット補正値を精度良く算出することが可能となる。According to thesecond aspect of the present invention, the surface temperature of the shutter can be accurately measured because it is inexpensive and small-sized, can be easily attached to the shutter surface, and can directly detect the temperature change of the shutter surface. Thus, the offset correction value can be calculated with high accuracy.

以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。図１は、本発明の実施の形態に係る遠赤外撮像装置１の構成を示すブロック図である。なお、本実施の形態に係る遠赤外撮像装置１は、波長が７〜１４マイクロメートルの赤外光を用いた撮像装置である。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram showing a configuration of a far-infrared imaging device 1 according to an embodiment of the present invention. In addition, the far-infrared imaging device 1 which concerns on this Embodiment is an imaging device using the infrared light whose wavelength is 7-14 micrometers.

図１において、画像撮像部１１は、光学信号を電気信号に変換する撮像素子をマトリックス状に備えている。遠赤外用の撮像素子としては、マイクロマシニング（micromachining）技術を用いた酸化バナジウムのボロメータ型、ＢＳＴＯ（Barium-Titanium Oxide）の焦電型等の赤外線センサを用いる。 In FIG. 1, animage capturing unit 11 includes an image sensor that converts an optical signal into an electrical signal in a matrix. As the far-infrared imaging device, an infrared sensor such as a vanadium oxide bolometer type using a micromachining technique or a pyroelectric type BSTO (Barium-Titanium Oxide) is used.

画像撮像部１１は、車両の周囲の赤外光像を輝度信号として読み取り、読み取った輝度信号を、ＬＳＩ基板である信号処理部１２へ送信する。図２は、本発明の実施の形態に係る遠赤外撮像装置１の信号処理部１２の構成を示すブロック図である。信号処理部１２は、ＬＳＩ１６が動作を制御するＡ／Ｄ変換部１２１、ＮＵＣ（Non-Uniformity Correction）処理部１２２、ＢＰＲ（Bad-Pixel Replacement）処理部１２３、及びフラッシュメモリ等の不揮発性メモリ、ＳＲＡＭ等の一時記憶用メモリであるＲＡＭ１２５で構成されている。 Theimage capturing unit 11 reads an infrared light image around the vehicle as a luminance signal, and transmits the read luminance signal to thesignal processing unit 12 that is an LSI substrate. FIG. 2 is a block diagram illustrating a configuration of thesignal processing unit 12 of the far-infrared imaging device 1 according to the embodiment of the present invention. Thesignal processing unit 12 includes an A /D conversion unit 121, an NUC (Non-Uniformity Correction)processing unit 122, a BPR (Bad-Pixel Replacement)processing unit 123, and a non-volatile memory such as a flash memory. TheRAM 125 is a temporary storage memory such as an SRAM.

信号処理部１２は、画像撮像部１１から受信した輝度信号をＡ／Ｄ変換部１２１でデジタル信号に変換し、ＮＵＣ（Non-Uniformity Correction）処理部１２２で撮像素子ごとに出力された輝度信号を補正する。 Thesignal processing unit 12 converts the luminance signal received from theimage capturing unit 11 into a digital signal by the A /D conversion unit 121, and outputs the luminance signal output for each image sensor by the NUC (Non-Uniformity Correction)processing unit 122. to correct.

ＮＵＣ処理部１２２では、キャリブレーションによる補正係数として、撮像素子ごとに所定の温度に対する出力値を補正するオフセット補正値、及び撮像素子ごとに所定の温度変化率に対する出力値の差異を補正するゲイン補正値を算出して、輝度信号を補正する。例えばｉ行ｊ列のマトリックス状に配列された撮像素子ごとの出力輝度値をＶ_ijとした場合、ＮＵＣ処理部では（数１）に示す演算を行うことにより撮像素子ごとの輝度値をＶ’_ijへ補正する。In theNUC processing unit 122, as a correction coefficient by calibration, an offset correction value for correcting an output value for a predetermined temperature for each image sensor, and a gain correction for correcting a difference in output value for a predetermined temperature change rate for each image sensor. The value is calculated and the luminance signal is corrected. For example, if the output luminance value for each image sensor arranged in a matrix of i rows and j columns is V_ij , the NUC processing unit calculates the luminance value for each image sensor by performing the calculation shown in (Equation 1). Correct to_ij .

（数１）において、Ｇ_ijはゲイン補正値を、Ｏ_ijはオフセット補正値を示しており、例えば黒体炉、シャッター等の温度分布が均一である物体を撮像した場合の撮像素子ごとの出力輝度値に基づいて算出した値である。In (Expression 1), G_ij represents a gain correction value, and O_ij represents an offset correction value. For example, an output for each image sensor when an object having a uniform temperature distribution such as a black body furnace or a shutter is imaged. This is a value calculated based on the luminance value.

本実施の形態では、表面の温度分布が略均一である板状のシャッター３２を対物レンズ３１と画像撮像部１１との間に開閉することが可能に設けてあり、シャッター３２が閉じられた状態で撮像した場合の撮像素子ごとの出力輝度値に基づいて、オフセット補正値を随時補正する。なお、図１では、機械式のプレーンシャッターを例に挙げてしているが、表面の温度分布が均一であれば、どのような構成のシャッターであっても良い。 In the present embodiment, a plate-like shutter 32 having a substantially uniform temperature distribution on the surface is provided so as to be able to be opened and closed between theobjective lens 31 and theimage pickup unit 11, and theshutter 32 is closed. The offset correction value is corrected as needed based on the output luminance value for each image sensor when the image is picked up. In FIG. 1, a mechanical plain shutter is taken as an example. However, the shutter may have any configuration as long as the temperature distribution on the surface is uniform.

オフセット補正値により、撮像対象物の温度が同一である場合には同一の輝度値を出力するよう補正するためには、シャッター３２の表面の絶対温度を取得し、対応する輝度値を出力するようオフセット補正値を算出する必要がある。そこで、本実施の形態では、シャッター３２の表面温度を検出する手段として、シャッター３２の表面に接触して表面温度を計測する接触型温度センサ３３、例えばサーミスタ、半導体温度センサ、熱電対等をシャッター３２の画像撮像部１１側の表面に取り付けてある。図３は、本発明の実施の形態に係る遠赤外撮像装置１の接触型温度センサ３３として用いるサーミスタ３３ａの構成を示す模式図である。 In order to perform correction so that the same luminance value is output when the temperature of the imaging object is the same by the offset correction value, the absolute temperature of the surface of theshutter 32 is acquired and the corresponding luminance value is output. It is necessary to calculate an offset correction value. Therefore, in the present embodiment, as a means for detecting the surface temperature of theshutter 32, a contact-type temperature sensor 33 that contacts the surface of theshutter 32 and measures the surface temperature, for example, a thermistor, a semiconductor temperature sensor, a thermocouple, or the like is used. Is attached to the surface of theimage pickup unit 11 side. FIG. 3 is a schematic diagram showing the configuration of the thermistor 33a used as thecontact temperature sensor 33 of the far-infrared imaging device 1 according to the embodiment of the present invention.

本実施の形態に係るサーミスタ３３ａは、いわゆるチップ型と呼ばれる略直方体形状を有しており、セラミック半導体３３１を積層して、内部に内部電極３３２を各階層間に挟持してある。内部電極は、図示しない中間電極を介して外部電極３３３と接続されており、外部電圧を印加することで電流が流れる。シャッター３２の表面には、外部電極３３３の両側面を半田付けし、シャッター３２の温度変化に応じてセラミック半導体３３１の抵抗値が変動する。該抵抗値の変動に応じて、内部を流れる電流値が変動する。したがって、電流値の変動を追従することにより、精度の高い温度計測手段として機能させることが可能となる。サーミスタ３３ａで検出した温度に応じた電流値は、温度信号として信号処理部１２へ送信される。 The thermistor 33a according to the present embodiment has a substantially rectangular parallelepiped shape called a so-called chip type, in which aceramic semiconductor 331 is laminated and aninternal electrode 332 is sandwiched between layers. The internal electrode is connected to theexternal electrode 333 via an intermediate electrode (not shown), and a current flows by applying an external voltage. Both sides of theexternal electrode 333 are soldered to the surface of theshutter 32, and the resistance value of theceramic semiconductor 331 varies according to the temperature change of theshutter 32. The value of the current flowing through the inside varies according to the variation of the resistance value. Therefore, it becomes possible to function as a highly accurate temperature measuring means by following the fluctuation of the current value. The current value corresponding to the temperature detected by the thermistor 33a is transmitted to thesignal processing unit 12 as a temperature signal.

またサーミスタ３３ａの代わりに半導体温度センサ３３ｂを用いても良い。半導体温度センサ３３ｂは、内部にトランジスタを備えており、ベース−エミッタ間の電圧Ｖbeが周囲の温度に対して略直線的に変化する特性を利用したものである。すなわち、温度と半導体温度センサ３３ｂの出力電圧とは一次比例の関係にあり、外付けの抵抗を必要とすることなく半導体温度センサ３３ｂから直接出力することができる。これにより、より取り付けが容易で、シャッター３２の表面温度をより正確に検出することが可能となる。 A semiconductor temperature sensor 33b may be used instead of the thermistor 33a. The semiconductor temperature sensor 33b includes a transistor inside, and utilizes a characteristic that the base-emitter voltage Vbe changes substantially linearly with respect to the ambient temperature. That is, the temperature and the output voltage of the semiconductor temperature sensor 33b are in a linear relationship, and can be directly output from the semiconductor temperature sensor 33b without requiring an external resistor. As a result, attachment is easier and the surface temperature of theshutter 32 can be detected more accurately.

信号処理部１２のＬＳＩ１６は、シャッター３２が閉じられた状態での表面温度及び出力輝度値を取得し、取得した表面温度及び撮像素子ごとの出力輝度値に基づいてオフセット補正値及びゲイン補正値を算出する。算出したオフセット補正値及びゲイン補正値は、ＲＡＭ１２５に記憶しておき、ＮＵＣ処理部１２２は、記憶してあるオフセット補正値及びゲイン補正値に基づいて撮像素子ごとに出力された輝度信号を補正する。 TheLSI 16 of thesignal processing unit 12 acquires the surface temperature and the output luminance value when theshutter 32 is closed, and calculates the offset correction value and the gain correction value based on the acquired surface temperature and the output luminance value for each image sensor. calculate. The calculated offset correction value and gain correction value are stored in theRAM 125, and theNUC processing unit 122 corrects the luminance signal output for each image sensor based on the stored offset correction value and gain correction value. .

なお、撮像素子には所定の割合で欠陥が生じている撮像素子が含まれる。したがって、ＬＳＩ１６は、ＢＰＲ（Bad-Pixel Replacement）処理部１２３にて、欠陥が生じている撮像素子の出力値を、周囲の撮像素子の出力値を代表する値、例えば欠陥が生じている撮像素子の出力値を除外した周囲の撮像素子の出力値の平均値へ補正する。撮像素子ごとに補正された出力値は、画像データとして画像メモリ１３へ記憶される。 The image sensor includes an image sensor in which defects are generated at a predetermined rate. Therefore, theLSI 16 uses a BPR (Bad-Pixel Replacement)processing unit 123 to set the output value of the image sensor having a defect to a value representative of the output value of the surrounding image sensor, for example, the image sensor having the defect. Is corrected to the average value of the output values of the surrounding image sensors excluding the output value of. The output value corrected for each image sensor is stored in theimage memory 13 as image data.

通信インタフェース部１４は、ＬＳＩ基板であり、通信ケーブル等の通信線２を介して外部の装置から受信した指令に従って、画像メモリ１３に記憶された画像データの外部の装置への送出、撮像した画像の解像度による転送レートの変換、画像データを送出するためのデータのフォーマット変換等を行う。 Thecommunication interface unit 14 is an LSI substrate, and sends image data stored in theimage memory 13 to an external device and takes a captured image in accordance with a command received from the external device via thecommunication line 2 such as a communication cable. The conversion of the transfer rate according to the resolution of the data, the format conversion of the data for transmitting the image data, and the like are performed.

以下、信号処理部１２のＬＳＩ１６でのキャリブレーション処理について説明する。図４は、本発明の実施の形態に係る遠赤外撮像装置１の信号処理部１２のＬＳＩ１６のキャリブレーション処理の手順を示すフローチャートである。 Hereinafter, calibration processing in theLSI 16 of thesignal processing unit 12 will be described. FIG. 4 is a flowchart showing a calibration processing procedure of theLSI 16 of thesignal processing unit 12 of the far-infrared imaging device 1 according to the embodiment of the present invention.

遠赤外撮像装置１の画像撮像部１１は、温度分布が均一であるシャッター３２を撮像し、撮像素子ごとの出力値が信号処理部１２へ送信される。信号処理部１２のＬＳＩ１６は、画像撮像部１１から撮像素子ごとの輝度信号を受信し（ステップＳ４０１）、デジタル信号Ｖ_ijへ変換する（ステップＳ４０２）。また、接触型温度センサ３３からシャッター３２の表面温度を取得する（ステップＳ４０３）。Theimage capturing unit 11 of the far-infrared imaging device 1 captures theshutter 32 having a uniform temperature distribution, and an output value for each image sensor is transmitted to thesignal processing unit 12. TheLSI 16 of thesignal processing unit 12 receives a luminance signal for each image sensor from the image capturing unit 11 (step S401), and converts it into a digital signal V_ij (step S402). Further, the surface temperature of theshutter 32 is acquired from the contact-type temperature sensor 33 (step S403).

ＬＳＩ１６は、所定の撮像素子、例えば接触型温度センサ３３の取り付け位置近傍の撮像素子のデジタル化された輝度値Ｖ_ijを基準輝度値として、全ての輝度値が基準輝度値となるようゲイン補正値及びオフセット補正値を撮像素子ごとに算出し（ステップＳ４０４）、シャッター３２の表面温度と対応付けてＲＡＭ１２５に記憶する（ステップＳ４０５）。すなわち、キャリブレーション実行時のシャッター３２の表面温度を基準温度とし、基準温度でのゲイン補正値及びオフセット補正値を算出することになる。TheLSI 16 uses a digitized luminance value V_ij of a predetermined imaging device, for example, an imaging device in the vicinity of the attachment position of the contact-type temperature sensor 33 as a reference luminance value, and gain correction values so that all luminance values become reference luminance values. The offset correction value is calculated for each image sensor (step S404), and stored in theRAM 125 in association with the surface temperature of the shutter 32 (step S405). That is, using the surface temperature of theshutter 32 at the time of calibration as a reference temperature, the gain correction value and the offset correction value at the reference temperature are calculated.

実際の撮像時には、ＬＳＩ１６は、ＲＡＭ１２５に記憶されているゲイン補正値及びオフセット補正値を用いて、画像撮像部１１で撮像された輝度信号は補正される。しかし、ＲＡＭ１２５に記憶されているのは基準温度に基づいて算出されたゲイン補正値及びオフセット補正値であり、基準温度と撮像時のシャッター３２の表面温度とが一般に相違することから、ＲＡＭ１２５に記憶されているゲイン補正値及びオフセット補正値をそのまま使用することはできない。 At the time of actual imaging, theLSI 16 corrects the luminance signal captured by theimage capturing unit 11 using the gain correction value and the offset correction value stored in theRAM 125. However, what is stored in theRAM 125 is a gain correction value and an offset correction value calculated based on the reference temperature. Since the reference temperature and the surface temperature of theshutter 32 at the time of imaging are generally different, they are stored in theRAM 125. The gain correction value and the offset correction value that have been set cannot be used as they are.

ここで、オフセット補正値は、絶対温度であるシャッター３２のキャリブレーション実行時の表面温度に対応して算出されており、撮像時のシャッター３２の表面温度との差に応じて補正することにより、絶対温度に対する出力輝度値を正しく出力するよう補正することができる。一方、温度変化率に対する出力値を補正するゲイン補正値は、シャッター３２の表面温度の変化に対して大きく変動することがないので、オフセット補正値のように随時キャリブレーションを実行して補正する必要性に乏しい。 Here, the offset correction value is calculated corresponding to the surface temperature at the time of calibration of theshutter 32 that is an absolute temperature, and is corrected according to the difference from the surface temperature of theshutter 32 at the time of imaging. It can correct | amend so that the output luminance value with respect to absolute temperature may be output correctly. On the other hand, the gain correction value for correcting the output value with respect to the temperature change rate does not fluctuate greatly with respect to the change in the surface temperature of theshutter 32. Therefore, it is necessary to correct by performing calibration at any time like the offset correction value. Poor sex.

そこで、本実施の形態に係る遠赤外撮像装置１の撮像に際し、シャッター３２を閉じて簡便なキャリブレーションを実行することにより、オフセット補正値を推定して補正する。図５は、本発明の実施の形態に係る遠赤外撮像装置１の信号処理部１２のＬＳＩ１６のオフセット補正値の補正処理の手順を示すフローチャートである。Therefore, when the far-infrared imaging device 1 according to the present embodiment performs imaging, the offset correction value isestimated and corrected by closingtheshutter 32 and executingsimple calibration. FIG. 5 is a flowchart showing a procedure of correction processing of the offset correction value of theLSI 16 of thesignal processing unit 12 of the far-infrared imaging device 1 according to the embodiment of the present invention.

遠赤外撮像装置１は、撮像素子ごとの出力値を信号処理部１２へ送信する。信号処理部１２のＬＳＩ１６は、画像撮像部１１からの撮像素子ごとの輝度信号を受信し（ステップＳ５０１）、デジタル信号Ｖ_ijへ変換する（ステップＳ５０２）。The far-infrared imaging device 1 transmits an output value for each image sensor to thesignal processing unit 12. TheLSI 16 of thesignal processing unit 12 receives the luminance signal for each image sensor from the image imaging unit 11 (step S501) and converts it into a digital signal V_ij (step S502).

ＬＳＩ１６は、ＲＡＭ１２５に記憶してあるゲイン補正値及びオフセット補正値を撮像素子ごとに読み出す（ステップＳ５０３）。またＬＳＩ１６は、接触型温度センサ３３からシャッター３２の表面温度を取得し（ステップＳ５０４）、取得した表面温度に基づいて、読み出した撮像素子ごとのオフセット補正値を補正する（ステップＳ５０５）。 TheLSI 16 reads the gain correction value and the offset correction value stored in theRAM 125 for each image sensor (step S503). Further, theLSI 16 acquires the surface temperature of theshutter 32 from the contact temperature sensor 33 (step S504), and corrects the offset correction value for each read image sensor based on the acquired surface temperature (step S505).

取得した表面温度に対応したオフセット補正値は、基準温度に対応したオフセット補正値を複数記憶しておき、取得した表面温度に応じて線形補間することにより推定する。オフセット補正値の補正方法は、特にこれに限定されるものではなく、例えば複数の温度に対するキャリブレーション結果に基づいて線形関数を事前に求めておき、取得した表面温度を変数として算出してもよい。The offset correction value corresponding to the acquired surface temperature is estimated by storing a plurality of offset correction values corresponding to the reference temperature and performing linear interpolation according to the acquired surface temperature. Thecorrection method of the offset correction value is not particularly limited to this, and for example, a linear function may be obtained in advance based on calibration results for a plurality of temperatures, and the obtained surface temperature may be calculated as a variable. .

ＬＳＩ１６は、抽出したゲイン補正値及び算出したオフセット補正値を用いて撮像素子ごとの輝度値Ｖ_ijを出力輝度値Ｖ’_ijへ補正し（ステップＳ５０６）、画像メモリ１３へ記憶する（ステップＳ５０７）。通信インタフェース部１４は、外部の装置から送出される指令に従って、画像メモリ１３に記憶された画像データを外部の装置へ送出するためのパケットデータを生成して、外部の装置へ送出する。TheLSI 16 corrects the luminance value V_ij for each image sensor to the output luminance value V ′_ij using the extracted gain correction value and the calculated offset correction value (step S506), and stores it in the image memory 13 (step S507). . Thecommunication interface unit 14 generates packet data for sending the image data stored in theimage memory 13 to the external device in accordance with a command sent from the external device, and sends the packet data to the external device.

本実施の形態にかかる遠赤外撮像装置１からの出力値は、上述した処理を経ることにより、絶対温度に対応した輝度値となっている。すなわち、出力された輝度値に基づいて、撮像した対象物の表面温度の絶対値を容易に推定することが可能となる。したがって、本実施の形態に係る遠赤外撮像装置１を、例えば障害物検出システムに適用した場合、検出された障害物の表面温度の絶対値に基づいて、人間であるか否か、原動機が存在するか否か等を判断することができ、障害物の種類をより正確に特定することが可能となる。 The output value from the far-infrared imaging device 1 according to the present embodiment is a luminance value corresponding to the absolute temperature through the above-described processing. That is, the absolute value of the surface temperature of the imaged object can be easily estimated based on the output luminance value. Therefore, when the far-infrared imaging device 1 according to the present embodiment is applied to an obstacle detection system, for example, based on the absolute value of the detected surface temperature of the obstacle, It can be determined whether or not it exists, and the type of obstacle can be specified more accurately.

以上のように本実施の形態によれば、絶対温度に対応してオフセット補正値を算出することができ、輝度値に基づいて撮像対象物の絶対温度を容易に推定することができる。例えば所定の時間間隔、撮像開始前等にシャッターを閉じてキャリブレーションを実行することにより、オフセット補正値を絶対温度に対応付けて補正することができ、長期に渡り出力値を絶対温度に対応付けて出力することが可能となる。 As described above, according to the present embodiment, the offset correction value can be calculated corresponding to the absolute temperature, and the absolute temperature of the imaging target can be easily estimated based on the luminance value. For example, by performing calibration with the shutter closed at a predetermined time interval or before imaging starts, the offset correction value can be corrected in association with the absolute temperature, and the output value can be correlated with the absolute temperature over a long period of time. Can be output.

なお、上述した実施の形態では、遠赤外撮像装置１の信号処理部１２のＬＳＩ１６が上述した処理を行っているが、後続の処理、例えば障害物検出処理、衝突判定処理等を行う演算装置のＭＰＵ、ＣＰＵ等が実行しても良い。 In the above-described embodiment, theLSI 16 of thesignal processing unit 12 of the far-infrared imaging device 1 performs the above-described processing, but an arithmetic device that performs subsequent processing, such as obstacle detection processing, collision determination processing, and the like. May be executed by the MPU, CPU, or the like.

また、本実施の形態では、遠赤外撮像装置１の撮像開始前にシャッター３２を閉じてキャリブレーションを実行しているが、キャリブレーションを実行するタイミングはこれに限定されるものではなく、例えば一定時間ごとにキャリブレーションを実行して、オフセット補正値を補正しても良い。 In the present embodiment, the calibration is executed by closing theshutter 32 before the imaging of the far-infrared imaging device 1 is started. However, the timing for executing the calibration is not limited to this. For example, Calibration may be executed at regular intervals to correct the offset correction value.

本発明の実施の形態に係る遠赤外撮像装置の構成を示すブロック図である。It is a block diagram which shows the structure of the far-infrared imaging device which concerns on embodiment of this invention.本発明の実施の形態に係る遠赤外撮像装置の信号処理部の構成を示すブロック図である。It is a block diagram which shows the structure of the signal processing part of the far-infrared imaging device which concerns on embodiment of this invention.本発明の実施の形態に係る遠赤外撮像装置のサーミスタの構成を示す模式図である。It is a schematic diagram which shows the structure of the thermistor of the far-infrared imaging device which concerns on embodiment of this invention.本発明の実施の形態に係る遠赤外撮像装置の信号処理部のＬＳＩのキャリブレーション処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the calibration process of LSI of the signal processing part of the far-infrared imaging device which concerns on embodiment of this invention.本発明の実施の形態に係る遠赤外撮像装置の信号処理部のＬＳＩのオフセット補正値の補正処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the correction process of the offset correction value of LSI of the signal processing part of the far-infrared imaging device which concerns on embodiment of this invention.

符号の説明Explanation of symbols

１遠赤外撮像装置
２通信線
１１画像撮像部
１２信号処理部
１３画像メモリ
１４通信インタフェース部
１５内部バス
１６ＬＳＩ
３３接触型温度センサ
３３ａサーミスタ
３３ｂ半導体温度センサ
１２１Ａ／Ｄ変換部
１２２ＮＵＣ処理部
１２３ＢＰＲ処理部
１２５ＲＡＭDESCRIPTION OFSYMBOLS 1 Far-infrared imaging device 2Communication line 11 Image pick-uppart 12Signal processing part 13Image memory 14Communication interface part 15Internal bus 16 LSI
33 Contact-type temperature sensor 33a Thermistor 33b Semiconductor temperature sensor 121 A /D converter 122NUC processor 123BPR processor 125 RAM

Claims

Translated fromJapanese

前記温度計測手段は、前記シャッターの表面に接触して表面温度を計測するセンサであることを特徴とする請求項１記載の遠赤外撮像装置。The temperature measuring means, a far-infrared imaging apparatus according to claim1 Symbol mounting, characterized in that a sensor for measuring the surface temperature in contact with the surface of the shutter.

遠赤外撮像装置にマトリックス状に配列された複数の撮像素子ごとに所定の温度に対する出力値を補正するオフセット補正値を算出し、前記撮像素子ごとに所定の温度変化率に対する出力値の差異を補正するゲイン補正値を算出し、算出したオフセット補正値及びゲイン補正値により撮像素子ごとに出力値を補正する出力値補正方法において、
前記撮像素子ごとに複数の温度夫々に対して算出したオフセット補正値を予め記憶し、
表面温度が略均一であるシャッターを閉じた状態で該シャッターの表面温度を取得し、
記憶した複数の温度夫々に対するオフセット補正値を照会して、取得した表面温度に対する撮像素子ごとのオフセット補正値を補正すること
を特徴とする出力値補正方法。An offset correction value for correcting an output value for a predetermined temperature is calculated for each of a plurality of image sensors arranged in a matrix on the far-infrared imaging device, and a difference in output value with respect to a predetermined temperature change rate is calculated for each of the image sensors. In an output value correction method for calculating a gain correction value to be corrected, and correcting an output value for each image sensor bythe calculated offset correction value and gain correction value.
An offset correction value calculated for each of a plurality of temperatures for each image sensor is stored in advance,
Get the surface temperatureof the shutter in a state where the surface temperature is closing the shutter is substantially uniform,
An output value correction methodcomprising: querying an offset correction value for each of a plurality of stored temperatures andcorrecting the offset correction value for each imaging device withrespectto the acquiredsurface temperature .