JP2004045266A - Method and apparatus for detecting three-dimensional information - Google Patents

Abstract

Translated fromJapanese

【課題】本発明は、高精細な画像の距離映像をビデオレートで取得でき、カメラレンズのズーム機能に対応したカラー映像と距離映像を取得することができる３次元情報検出方法及び装置を提供することを目的とする。
【解決手段】可視領域外の光を強度変調して被写体に照射すると共に可視領域の光を被写体に照射し、カメラレンズで集光された被写体からの反射光を可視領域外の光と可視領域の光とに波長分離し、撮像ゲインを変調して波長分離された可視領域外の光学像を撮像し、波長分離された可視領域の光学像を撮影し映像信号を出力し、可視領域外の光の強度変調と撮像ゲインの変調との時間変化パターンが異なる組合せであるときに可視領域外の複数の画像間の強度比から距離を算出することにより、高精細な画像の距離映像をビデオレートで取得でき、カメラレンズのズーム機能に対応したカラー映像と距離映像を取得することができる。
【選択図】　　　　図１An object of the present invention is to provide a three-dimensional information detecting method and apparatus capable of acquiring a distance image of a high-definition image at a video rate and acquiring a color image and a distance image corresponding to a zoom function of a camera lens. The purpose is to:
The light outside the visible region is intensity-modulated to irradiate the object, and the object is irradiated with light in the visible region. The wavelength is separated into light and light, the imaging gain is modulated, an optical image outside the visible region that is wavelength-separated is captured, an optical image that is wavelength-separated in the visible region is captured, and a video signal is output. When the time variation patterns of the light intensity modulation and the imaging gain modulation are different combinations, the distance is calculated from the intensity ratio between multiple images outside the visible region, and the distance image of the high-definition image is converted to the video rate. And a color image and a distance image corresponding to the zoom function of the camera lens can be obtained.
[Selection diagram] Fig. 1

Description

Translated fromJapanese

【０００１】
【発明の属する技術分野】
本発明は３次元情報検出方法及び装置に関し、特に、被写体の奥行き形状を検出し３次元情報を取得する３次元情報検出方法及び装置に関する。
【０００２】
【従来の技術】
物体の３次元位置もしくは奥行き距離の検出方法として、複数台のカメラを使用して得られた多視点画像より３次元情報を取得するステレオ法がある。また、光を照射し距離を検出する方法として、照射光を正弦波駆動し反射側で位相を検出して距離を算出する方法がある。
【０００３】
また、特願平１０−２９３８１７号公報には、照射光の時間変化と撮像側のゲイン変調の組合せを２種類選ぶことで撮影された２枚の画像より高速に距離を算出することが記載されている。
【０００４】
【発明が解決しようとする課題】
ステレオ法による３次元情報の取得方法では、光を照射する必要がないため、外光の影響を受けないというメリットがある反面、複数台のカメラの配置やカメラレンズのキャリブレーションが煩雑であり、また、装置が大型であり汎用性に欠ける。更にカメラレンズのズーム操作により自由な撮影画角変更ができない。更に、標準テレビジョン画像程度以上の高精細な画像において、画素ごとに距離を算出するには、複数画像間で対応点を検索する画像マッチング処理に時間を要するため、ビデオレート（フレームレート６０Ｈｚ）程度の高速で、かつ、４０万画素以上の多画素検出は困難であるという問題があった。
【０００５】
また、正弦波状の光を被写体に照射し反射側でその位相を検出する方式では、撮影画素ごとに光の位相を算出していく必要があり、一般的に実用化レベルにあるレンジファインダで被写体全体の距離を検出する場合は、光ビームの２次元走査機構が必要であるため、高速性が損なわれてしまうとともに構成も複雑となってしまうという問題があった。
【０００６】
また、特願平１０−２９３８１７号公報では、高速に距離画像（距離の情報を画像信号の輝度で表した画像）を取得する方法を示しているが、カラー映像と同じ画角の距離映像を同時に撮影し、しかも距離検出のオクルージョンがなく、ハイビジョン映像クラスの高品質な映像の撮影を可能とし、カメラレンズのズーム機能に対応してカラー画像と距離映像を連動する具体的な方法については考慮されていないという問題があった。
【０００７】
本発明は、上記の点に鑑みなされたもので、高精細な画像の距離映像をビデオレートで取得でき、カメラレンズのズーム機能に対応したカラー映像と距離映像を取得することができる３次元情報検出方法及び装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
請求項１，２に記載の発明は、可視領域外の光を強度変調して被写体に照射すると共に可視領域の光を前記被写体に照射し、
カメラレンズで集光された前記被写体からの反射光を可視領域外の光と可視領域の光とに波長分離し、
撮像ゲインを変調して前記波長分離された可視領域外の光学像を撮像し、
前記波長分離された可視領域の光学像を撮影し映像信号を出力し、
前記可視領域外の光の強度変調と前記撮像ゲインの変調との時間変化パターンが異なる組合せであるときに前記可視領域外の光学像を撮像した複数の画像間の強度比から距離を算出し、距離を明暗で表す距離映像信号を出力することにより、
高精細な画像の距離映像をビデオレートで取得でき、カメラレンズのズーム機能に対応したカラー映像と距離映像を取得することができる。
【０００９】
請求項３に記載の発明は、請求項２記載の３次元情報検出装置において、
前記カメラレンズは、ズーム機能を有することにより、
カメラレンズでズーミングを行った後に可視領域外の光と可視領域の光とに波長分離されるので、カメラレンズのズーム機能に対応したカラー映像と距離映像を取得することができる。
【００１０】
請求項４に記載の発明は、請求項２または３記載の３次元情報検出装置において、
前記第１光照射手段は、照射する可視領域外の光の光軸がカメラレンズの光軸に近接するよう、カメラレンズの周囲に配置したことにより、
可視領域外の光照射で発生する影を小さくして、被写体において距離検出ができない部分を縮小できる。
【００１１】
請求項５に記載の発明は、請求項２または３記載の３次元情報検出装置において、
前記第１光照射手段が照射する可視領域外の光の光軸を前記カメラレンズの光軸に一致させる光軸一致手段を有することにより、
可視領域外の光照射で発生する影をなくし、被写体において距離検出ができない部分をなくすことができる。
【００１２】
【発明の実施の形態】
図１は、本発明の３次元情報検出装置の第１実施例の構成図を示す。同図中、第１光源２の出力光を光照射光学系３を通して、撮影対象の被写体１を含む撮影範囲の全体に照射する。このとき、照射光は光強度が時間軸方向に変化する強度変調光４である。第１光源２としては１個もしくは複数個のレーザダイオードや発光ダイオードが使用できる。
【００１３】
また、第１光源２の出力光の波長はカラー画像撮影に必要な可視領域の波長以外の波長が使用でき、例えば紫外領域や赤外領域の波長が使用できる。特に、７５０ｎｍ〜９００ｎｍの近赤外光は、可視領域に波長が近く光学特性が可視領域と大きく異ならないため、通常のカラー画像撮影用のカメラレンズを使用でき、また、後述の色分離結像光学系８においても、可視領域との波長分離を高い効率で行える。
光学的に高い色分離結像光学系率を確保する光学系を作製することが容易である。
【００１４】
強度変調光４の生成手段としては、半導体レーザや発光ダイオードの駆動電流を直接変調しても良く、また、光源出力光を音響光学素子などの外部変調器を通して変調してもよい。光照射光学系３としては、例えば出力端面に微小レンズを使用し、照射する被写体の範囲に応じたレンズ形状を採用する。照明の照射強度の均一性を確保するためには、光ファイバ束を用い、各光ファイバに微小レンズを配置し照射面で個々の照射パターンを重畳することで、照射光強度の均一性を高めることができる。
【００１５】
更に、光照射光学系３としては、拡散板を使用することもできる。拡散板としては、すりガラス状の散乱効果を示すもの、または表面に細かい回折格子上の凹凸を形成し、回折効果により光の配光制御を行う素子が使用できる。特に、表面回折を使用した拡散板に関しては、表面の凹凸の形成パターンにより、光の配光形状や強度分布が制御できるため、撮影アスペクト比に応じ効率よく均一な照明が実現できる。また、拡散板を用いることで面光源と同様の条件となり、点光源に比較し人物撮影時の目への負担が少なくなり、安全性が確保できる。
【００１６】
被写体１は、可視光５を照射する第２光源６で照明されている。この第２光源６は、カメラレンズ７の近傍にある必要はない。第１光源２に近赤外光を使用した場合、第２光源６としては近赤外成分がほとんど含まれていない蛍光灯照明が使用できる。
【００１７】
上記第１光源２及び第２光源６で照明された被写体１からの反射光は、カメラレンズ７により集光される。カメラレンズの特性としては、通常のカラー画像撮影用のズーム機能付カメラレンズを使用することができる。また、第１光源の波長に応じた表面コーティングを施すことにより、第１光源２の光を効率よく取り込めるとともに、レンズ内でのゴーストの発生を抑えることができ、距離検出性能と高画質映像の取得に有利である。
【００１８】
カメラレンズ７の後段に、第１光源２からの光波長成分と第２光源からの光波長成分とを色分離し、それぞれ結像する色分離結像光学系８が配置されている。第１光源２からの光成分の結像画像は高速に撮像ゲインを可変できる高速撮像素子９に入射される。
【００１９】
高速撮像素子９は第１光源２の強度変調光の時間変化が異なる条件下で、撮像ゲインを変調して複数の画像を撮影する。信号処理部１０は、得られた複数の画像の信号をもとにカメラから被写体１までの距離を算出する信号処理を行い、被写体１の奥行き距離を画像の濃淡で表す距離映像信号１１を出力する。
【００２０】
一方、色分離結像光学系８で分離された第２光源６からの光成分の結像画像はカラーカメラ１２に入射され、カラーカメラ１２はカラー映像信号１３を出力する。
【００２１】
図２に、第１光源２及び光照射光学系３の配置の一実施例を示す。第１光源２はカメラレンズ７の近傍に設置し、カメラレンズ７の撮影光軸１４と光源２の光照射光軸１５を近づけて配置することで、照明光の影を低減する。図２に示すようにカメラレンズ７より距離ｄで、カメラレンズ７の光軸上に位置する被写体１が、奥行きΔｄの段差を持っている場合、カメラレンズ７の撮影光軸１４から距離ｌだけ離れた位置にある光照射光学系３からの光は、被写体の一部に影１６を生じ、その幅Δｌは、（１）式で表される。
【００２２】
Δｌ＝ｌ・Δｄ／ｄ　　　　…（１）
（１）式から明らかなように、カメラレンズ７の撮影光軸１４と光源２の光照射光軸１５間の距離ｌを小さくするほど影の領域を小さくすることができる。
【００２３】
図３に、カメラレンズ７の両脇に光源を配置した実施例を示す。カメラレンズ７の両脇に、第１光源２，２’及び光照射光学系３，３’を配置することで、片側の第１光源２による照明の影１６部分を、もう一方の光源２’からの光を照射することができる。このように、カメラレンズ７の光軸１４と照射光軸１５，１５’を近づけると共に、カメラレンズ７をその左右や上下から挟むように配置することで、距離検出のオクルージョンとなる照明の影１６を低減することができる。
【００２４】
また、図３では一方の光源２で照明の影１６となる部分は、他方の光源２’で照明され、両方の光源で照らされている部分に比して約半分の光量となり、光の強度ムラが生じる。
【００２５】
また、図４に示すように、被写体１のカメラレンズ７の光軸１４を挟む位置に突起１ａ，１ｂがあり、突起１ａ，１ｂが光源２，２’による照明を阻んでいる特殊な場合は照明の影１６’が生じる。これらの場合はカメラレンズ７の光軸１４と照明光の照射光軸１５，１５’を一致させることで、これらの強度ムラや距離検出のオクルージョンとなる影の発生をなくすことができる。
【００２６】
図５に、撮影光軸と照射光軸を一致させる方法を示す。同図中、カメラレンズ７の前面にハーフミラー１７をカメラレンズ７の撮影光軸１４に対し４５度傾けて配置し、撮影光軸１４に直交する方向から第１光源２及び光照射光学系３でハーフミラー１７を介して照明を行う。光照射光学系３の出力する強度変調光４は、ハーフミラー１７で９０度反射され、カメラレンズ７の撮影光軸１４と一致する光軸１５にて被写体１を照明する。
【００２７】
これにより、照明の影１６，１６’や、光の強度ムラをなくすことができる。なお、強度変調光４のうち、ハーフミラー１７で反射せずに透過した光は、この波長の光を吸収する特性を持つ遮光体１８により吸収される。
【００２８】
また、ハーフミラー１７の代わりに、図６に示すように、偏光ビームスプリッタ１９を用いることもできる。この場合、強度変調光４の偏光方向を偏光ビームスプリッタ１９により反射する方向にそろえる。無偏光の場合は、偏光方向をそろえるための偏光変換素子を光照射光学系３の直後に配置して、偏光方向をそろえてもよい。強度変調光４の大部分は、偏光ビームスプリッタ１９で９０度反射される。
【００２９】
出力光はλ／４板２０を透過して円偏光となり、被写体１に照射される。反射光成分の円偏光に近い反射成分は、再びλ／４板２０に入射して直線偏光となり、偏光ビームスプリッタ１９を透過しカメラレンズ７へ入射される。
【００３０】
一方、第１光源２からの出力光の一部は偏光ビームスプリッタ１９を透過するため、この波長成分の光に対し吸収が大きい遮光板１８を設置し、カメラレンズ方向への反射を抑える。また、遮光板１８の代わりに、偏光保存するミラーを配置し、再度光照射光学系３側へ反射させることもできる。このように、偏光ビームスプリッタ１９を使うことで光源出力光の光利用効率を高くすることができる。
【００３１】
ところで、照射光の照射角は、第１光源２の前に取り付けた光照射光学系３により制御する。図７に、光照射光学系３の一実施例を示す。同図中、第１光源２は複数の光源から構成され、個々の光源の出力端に１個もしくは複数個のレンズ２１を取り付け、使用するカメラレンズ７で撮影される最大の画角に広げ光を照射する。
【００３２】
このとき、レンズの縦方向と横方向で広がり角が異なるレンズ、例えば２焦点レンズや焦点距離が異なるシリンドリカルレンズをそれぞれ縦置きと横置きとして光照射光学系３を構成し、カメラ映像の画角に応じた形状の光照射をすることで、光の利用効率を高めることができる。
【００３３】
例えば標準テレビジョンカメラを使用する場合は、横縦比率を４：３、ハイビジョン撮影の場合は１６：９とする。また、光照射光学系３に、拡散板２２を使用することもできる。拡散板としては、すりガラス状の散乱効果を示すもの、または表面に細かい回折格子上の凹凸を形成し、回折効果により光の配光制御を行う素子が使用できる。
【００３４】
特に、表面回折を使用した拡散板に関しては、表面の凹凸の形成パターンにより、光の配光形状や強度分布が制御できるため、撮影画角に応じ効率よく均一性のよい照明が実現できる。
【００３５】
ここで、強度変調光として時間と共に光強度が増加および減少する光と、短時間シャッタ機能を持つ撮像装置による距離検出方法について説明する。距離ｄに置かれた被写体に、図８（Ａ）に示すように、時間と共に係数ｓで光強度が増加する強度変調光２３を照射し、被写体からの反射光２４を時刻ｔｓにパルス状撮像ゲイン２５で短時間撮像した場合、高速撮像素子９で検出される信号量Ｅ_＋（ｄ，ｔｓ）は、（２）式で表される。
【００３６】
【数１】

ここで、Ｔ_Ｌはカメラレンズ７などのレンズ光学系の透過率、ρは被写体１の表面の反射特性係数、Ｆ_０は光の最大照射強度、Δｔは撮像時間幅であり、光変調周期に対して十分小さい値である。また、ｃは光速、２ｄ／ｃは高速撮像素子９から被写体１までの距離ｄを光が往復する時間、ｌはカメラレンズ７から被写体１までの距離であり、式の分母は光の拡散による減衰を考慮した項である。
【００３７】
次に、図８（Ｂ）に示すように、時間と共に係数ｓで光強度が減少する強度変調光２６を照射し、被写体１からの反射光２７を時刻ｔｓにパルス状撮像ゲイン２５で短時間撮像した場合、高速撮像素子９で検出される信号量Ｅ₋（ｄ，ｔｓ）は、（３）式で表される。
【００３８】
【数２】

ここで、Ｔは光強度の変調周期である。なお、１回の撮像では感度が不十分である場合は、１フィールド内に、撮像ゲインの変調周波数と同等の繰り返しパルス光を照射し、蓄積型の撮像素子で蓄積し十分な感度を確保する。なお、図８（Ｂ）の強度変調光は図８（Ａ）の強度変調光と連続して送出しても良い。
【００３９】
（２）式と（３）式より、光強度の異なる２枚の画像間での強度比Ｒ＝Ｅ_＋／Ｅ₋をとり、距離ｄを求めると、（４）式となる。
【００４０】
【数３】

（４）式で示されるように、光強度増加時と光強度減少時に撮像した２つの画像間の比Ｒを計算するだけで、被写体１の反射率や光の拡散による光の減衰効果等の影響をキャンセルし、高速に距離を求めることができる。
【００４１】
このように、時間と共に強度変化する光源は、数十ＭＨｚの低い周波数でも実現できるため、レーザ光源以外に、ＬＥＤ（発光ダイオード）などインコヒーレントな照明も使用でき、高輝度で広い範囲を照明でき、人物の距離検出なども可能となる。なお、この方法による距離の検出範囲は、撮像時刻ｔｓと変調周波数ｆで決まり、（５）式で表される。
【００４２】
【数４】

実際の運用時には、撮像時刻ｔｓを調整し、被写体の位置に検出範囲を合わせる。また、測定レンジｄ_ｒは、変調周波数ｆで決まり（６）式で表される。
【００４３】
ｄ_ｒ＝ｃ／４ｆ　　　　　　　　　　…（６）
測定レンジｄ_ｒが７．５ｍのとき変調周波数ｆは１０ＭＨｚとなり、測定レンジｄ_ｒが１．５ｍのとき変調周波数ｆは５０ＭＨｚとなる。一方、撮像時の撮像時間幅Δｔは光源２の変調周期１／ｆより短く、数ｎｓｅｃのシャッタ機能が必要である。
【００４４】
次に、強度変調光として短時間のパルス光を使用し、高速撮像素子９の撮像ゲインを時間と共に高速に増加させながら撮像した画像と、撮像ゲインを時間と共に高速に減少させながら撮像した画像間で演算を行い、距離を検出する方法を説明する。
【００４５】
距離ｄの位置にある被写体１に、図９（Ａ）に示すように、光強度Ｆ_０のパルス光２８を時刻ｔｐに照射し、被写体１からの反射光２９を時間と共に係数ｇで増加する撮像ゲイン３０を持つ高速撮像素子９で撮像した場合のカメラで検出される信号量Ｅ_＋（ｄ，ｔｐ）は、（７）式で表される。
【００４６】
【数５】

ここで、Ｔ_Ｌはカメラレンズ７などのレンズ光学系の透過率、ρは被写体１の表面の反射特性係数、τはパルス幅、ｃは光速、２ｄ／ｃは高速撮像素子９から被写体１までの距離ｄを光が往復する時間、ｌはカメラレンズ７から被写体１までの距離であり、式の分母は光の拡散による減衰を考慮した項である。
【００４７】
次に、図９（Ｂ）に示すように、時間と共に係数ｇで減少する撮像ゲイン３１を持つ高速撮像素子９で撮像した場合のカメラで検出される信号量Ｅ₋（ｄ，ｔｐ）は、（８）式で表される。
【００４８】
【数６】

ここで、Ｔは撮像ゲインの変調周期である。なお、１回の撮像では感度が不十分である場合は、１フィールド内に、撮像ゲインの変調周波数と同等の繰り返しパルス光を照射し、蓄積型の撮像素子で蓄積し十分な感度を確保する。なお、図９（Ｂ）の撮像ゲインの変調は図９（Ａ）の撮像ゲインの変調に連続するように設定しても良い。
【００４９】
（７）式と（８）式より、撮像ゲインの異なる２枚の画像間での強度比Ｒ＝Ｅ_＋／Ｅ₋をとり、距離ｄを求めると、（９）式となる。
【００５０】
【数７】

上記（９）式で示されるように、撮像ゲイン増加時と撮像ゲイン減少時に撮像した２つの画像間の強度比Ｒを計算するだけで、被写体１の反射率や光の拡散による光の減衰効果等の影響をキャンセルし、高速に距離を求めることができる。
【００５１】
このように、パルス状の光と、時間と共に変化する撮像ゲインの組合せでは、パルスレーザが使用でき、Ｑスイッチパルスレーザ光、モード同期パルス光など、パルス幅がピコ秒からフェムト秒のパルスレーザ光が使用できるため、分解能が高い距離検出が可能となる。
【００５２】
この場合、測定できる範囲（測定レンジ）Ｄは、（１０）式で表される。
【００５３】
【数８】

次に、矩形波状に変調した強度変調光と、矩形波状に撮像ゲインが変化する高速撮像素子９による距離検出方法を説明する。距離ｄに位置する被写体１に、図１０（Ａ）に破線で示すような矩形の強度変調光３２（光強度Ｆ_０、変調周期Ｔ）を照射し、その反射光３３を強度変調光３２と同一周期で同位相の矩形状の撮像ゲイン３４（ゲインｇ、周期Ｔ）で撮像する場合、カメラで検出される信号量Ｅ_＋（ｄ，ｔｐ）は、（１１）式で表される。
【００５４】
【数９】

ここで、Ｔ_Ｌはカメラレンズ７などのレンズ光学系の透過率、ρは被写体１表面の反射特性係数、ｃは光速、２ｄ／ｃは高速撮像素子９から被写体１までのまでの距離ｄを光が往復する時間、ｌはカメラレンズ７から被写体１までの距離であり、式の分母は光の拡散による減衰を考慮した項である。
【００５５】
次に、図１０（Ｂ）に示すように、周期Ｔだけシフトした強度変調光３２と逆位相の矩形状の撮像ゲイン３５（ゲインｇ、周期Ｔ）で撮像する場合、カメラで検出される信号量Ｅ₋（ｄ，ｔｐ）は、（１２）式で表される。
【００５６】
【数１０】

なお、１回の撮像では感度が不十分である場合は、１フィールド内に、撮像ゲインの変調周波数と同等の繰り返しパルス光を照射し、蓄積型の撮像素子で蓄積し十分な感度を確保する。
【００５７】
（１１）式と（１２）式より、２つの画像間の強度比Ｒ＝Ｅ_＋／Ｅ₋をとり、距離ｄを求めると、（１３）式となる。
【００５８】
【数１１】

（１３）式で示されるように、２つの画像間の比Ｒを計算するだけで、被写体１の反射率や光の拡散による光の減衰効果等の影響をキャンセルし、高速に距離を求めることができる。
【００５９】
このように強度変調照射光と、撮像ゲインを同じ周期の幅を持つ矩形波状とすることで、撮像素子で検出される検出信号量が多くなり、信号対ノイズ比が高い撮像が可能であり、高分解能な距離検出が可能となる。
【００６０】
図１１に、色分離結像光学系８の一実施例を示す。同図中、カメラレンズ７のあとにカラー画像撮影に使用する第２光源６からの可視光成分を含む光３７を透過し、距離検出に使用する第１光源２からの可視領域外の光３８を反射させるダイクロイックプリズム３６を有する。このダイクロイックプリズム３６のサイズと材質は、カメラレンズ７のバックフォーカス長を考慮し、高速撮像素子９にカメラレンズ７よりダイクロイックプリズム３６を通して結像できる光路長となるように選択する。
【００６１】
距離検出用の強度変調光源である第１光源２の出力光を近赤外光とした場合、ダイクロイックプリズム３６による色分離特性は、可視光を透過し、近赤外光を反射する特性とする。第２光源６の波長を７８０ｎｍから９００ｎｍの範囲を選択すれば、可視光の透過率を高く、しかも近赤外光の反射率を高く設計することができる。
【００６２】
また、ダイクロイックプリズム３６で反射した光成分に含まれる第１光源２の波長成分より長波長の光を除去する赤外透過の光学フィルタ３９を配置することで、外光の影響を低減し、信号光である近赤外光のみを高速撮像素子９に入力できる特性が得られる。
【００６３】
ダイクロイックプリズム３６を通過した可視光はリレーレンズ４０を通してカラーカメラ１２に入力される。このリレーレンズ４０の倍率はほぼ等倍であり、レンズにはフォーカス調整機能を備える。このとき、リレーレンズ４０の構成をテレセントリック光学系とすることでフォーカス調整が容易となる。
【００６４】
リレーレンズ４０は、可視領域において、透過率や収差などの結像光学特性の最適化を行い、ＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ　Ｔｒａｎｓｆｅｒ　Ｆｕｎｃｔｉｏｎ）の低下を押さえ、カメラレンズによる結像光学画像を高精細、かつ、画像の色変化や輝度の低下なくカラーカメラ１２に伝達入力する。また、リレーレンズ４０の開口数をカメラレンズ７と同等とすることで、明るさの低減を抑える。また、リレーレンズ４０には絞り調整機構をもたせることで、距離検出側への近赤外光量に影響なく、カラー画像の絞り調整が可能となる。
【００６５】
図１２に、高速撮像素子９として、イメージインテンシファイア４１とＣＣＤカメラ４２を用いた実施例を示す。同図中、ダイクロイックプリズム３６で反射した第１光源２の光成分をイメージインテンシファイア４１に結像入力する。イメージインテンシファイア４１は、光電変換面４３、マイクロチャンネルプレート（ＭＣＰ）４４、蛍光面４５から構成されるものが使用できる。
【００６６】
イメージインテンシファイア４１の光電変換面４３とＭＣＰ４４間の印加電圧の値を制御することで、時間と共に撮像感度を高速に変化できる。また、印加電圧をパルス形状とすることで、１ｎｓｅｃ以下の短時間のゲート撮像も可能となる。
【００６７】
光電変換面４３の材料は、距離検出に使用する強度変調光の波長感度特性により選択する。例えば、波長８００ｎｍの場合、マルチアルカリ材料（Ｓｂ−Ｋ−Ｎａ−Ｃｓ）が使用でき、更に長波長の８５０ｎｍを使用する場合は、ガリウム砒素（ＧａＡｓ）材料を使用することで高い量子効率が得られるため、Ｓ／Ｎのよい撮像画像が得られる。
【００６８】
撮像ゲインを高速に変化させ、または短時間のゲート動作をさせて画像を撮像するため、１回の撮像で得られる信号量は非常に微弱であるため、強度変調光４の光源２の出力タイミングと撮像ゲイン変調タイミングを同期させ、繰り返し撮像し、イメージインテンシファイア４１の出力蛍光面４５の画像を画像伝達光学系４６でＣＣＤカメラ４２に入力し、ＣＣＤカメラ４２の蓄積効果で十分な感度を確保することができる。
【００６９】
画像伝達光学系４６はファイバプレートもしくはリレーレンズ光学系で実現できる。画像伝達光学系４６をファイバプレートとし、イメージインテンシファイアの蛍光面４５とＣＣＤカメラ４２のＣＣＤ面を連結するごとで、高い効率で蛍光面出力光をＣＣＤカメラ４２に入力できる。
【００７０】
一方、リレーレンズの場合、フォーカス調整や画像位置の微調整機構を持たせることができる。リレーレンズの透過率や画像の結像収差特性は、イメージインテンシファイアの蛍光面４５の蛍光波長で最適化する。リレーレンズを用いた場合、ファイバプレートを用いた場合より光の利用効率が下がるが、ＣＣＤカメラ４２が交換でき、ＣＣＤカメラ４２の選択の幅が広がるとともに、結像倍率の制御が可能であると共に、ファイバプレート使用時に発生する固定パターンノイズの影響がなく、良好な画像が得られる特徴がある。画像の結像倍率は、カラー画像の画角とＣＣＤカメラ４２で撮像する画角が同じになる倍率とする。
【００７１】
イメージインテンシファイア４１の撮像の解像度は、イメージインテンシファイア４１を構成する光電変換面４３とＭＣＰ４４の間隔、ＭＣＰ４４と蛍光面４５間の間隔、ＭＣＰ４４を構成する導電性のガラスキャピラリの直径に大きく依存する。そのため、光電変換面４３とＭＣＰ４４の間隔、ＭＣＰ４４と蛍光面４５間の間隔を近接させると共に、ＭＣＰを構成する導電性のガラスキャピラリの直径を細かいものを使用すると高解像度に有利である。
【００７２】
また、イメーイジンテシファイア４１ヘの結像入力画像を拡大入力し、画像伝達光学系４６で縮小しＣＤＤカメラ４２に入力することで解像度を高く保つことができる。ＣＣＤカメラ４２としては、標準ＴＶ用カメラやハイビジョンカメラが使用できるとともに、その他産業用の高精細ＣＣＤカメラも使用できる。
【００７３】
図１３は、信号処理部１０の一実施例のブロック図を示す。同図中、高速撮像素子９の出力信号は画角変換部４７に供給され、所望の出力画像のアスペクト比に変換される。例えば、１３００（Ｈ）×１０３０（Ｖ）のＣＣＤを高速撮像素子９に使用した場合、ハイビジョン映像の距離画像を出力するときには、１画面の１６：９の領域（例えば１２８０（Ｈ）×８５３（Ｖ））の信号を画角変換部４７で抽出する。
【００７４】
次に、光強度及び撮像パターンの異なるタイミングで撮像した信号を、外部同期４８に同期したスイッチ４９で切り換えて、それぞれメモリ５０Ａとメモリ５０Ｂに記憶する。メモリ５０Ａ，５０Ｂの記憶タイミングは外部同期４８に同期して行われる。これにより、例えば光強度が増加する強度変調光の照射時に短時間撮像した被写体画像がメモリ５０Ａに記憶され、光強度が減少する強度変調光の照射時に短時間撮像した被写体画像がメモリ５０Ａに記憶される。
【００７５】
メモリ５０Ａ，５０Ｂから読み出された信号は信号調整回路５１Ａ，５１Ｂにて画像の輝度調整や、画像全体にある一定の輝度レベルを付加するためのセットアップ調整を行われたのち、距離算出演算部５３で（４）式、または（９）式、または（１３）式の演算を行って距離ｄを算出し、距離を明暗で表す距離映像信号を得る。その後、距離映像信号は信号変換部５４により所望のテレビジョン信号規格に変換されて出力される。
【００７６】
図１４は、本発明の３次元情報検出装置の第２実施例の構成図を示す。同図中、カメラレンズ７の周囲に配置されたＬＥＤ（発光ダイオード）アレイ５５より近赤外波長（中心波長８５０ｎｍ）の強度変調光を被写体１に照射する。また、蛍光灯５６より可視光を被写体１に照射する。
【００７７】
被写体１からの反射光の可視光成分は、カメラレンズ７の後に配置されたダイクロイックプリズム３６を透過し、リレーレンズ４０を通してカラーカメラ１２に結像される。
【００７８】
一方、ＬＥＤアレイ５５からの近赤外光は、ダイクロイックプリズム３６で反射され、高速撮像素子９側に入射される。高速撮像素子９では、高速シャッタ機能をもつイメージインテンシファイア４１により短時間シャッタ撮影を行い、イメージインテンシファイア４１出力の光画像をリレーレンズ４６でＣＣＤカメラ４２へ入力する。
【００７９】
ＬＥＤアレイ５５に供給する変調信号とイメージインテンシファイア４１のシャッタトリガ信号は信号発生器５７で同期して発生する。これにより、増加変調光照射時と減少変調光照射時の画像を交互に撮影する。ＣＣＤカメラ４２の出力信号を信号処理部１０に供給して距離算出を行い、距離を明暗で表す距離映像信号１１をハイビジョン信号出力する。上記ＬＥＤアレイ５５，イメージインテンシファイア４１，ＣＣＤカメラ４２，カラーカメラ１２，カメラレンズ７それぞれの仕様を図１５に示す。
【００８０】
また、図１６に、カラーカメラ１２側への光透過率と、距離検出側（高速撮像素子９側）への光透過率、及び蛍光灯５６出力の可視光とＬＥＤアレイ５５出力の近赤外光の出力スペクトルを示す。ダイクロイックプリズム３６により、可視光成分と距離検出用の近赤外光成分が、高効率で分割されている。距離検出側への近赤外光の透過率が高いため、距離検出に十分な感度があり、Ｓ／Ｎのよい良好な距離検出が可能となっている。
【００８１】
白紙を被写体１とし、カメラレンズ７からの距離を変化させ、距離映像信号１１のレベルを測定した。このときの強度変調光の変調周波数は１５ＭＨｚ、撮像時間幅は５ｎｓｅｃ（半値幅）、測定中心位置を６ｍに設定した。その結果、図１７に示すように、カメラレンズ７から被写体１までの距離とともに、距離映像信号レベルが変化し、距離に応じた明暗映像が得られる。また、測定中心の６ｍ付近では、比較的リニアな特性を有しているが、測定範囲の周辺部で非線型性が生じている。これはＬＥＤの光変調特性の非線型成分の影響であり、出力信号のγ補正によりリニアな特性に補正できる。
【００８２】
本実施例における距離検出範囲は１５ＭＨｚで約４ｍであった。被写体１の奥行きがより小さい場合、変調周波数を４５ＭＨｚと高くすることで奥行き検出範囲は約１．５ｍとなり、相対的に奥行き検出分解能を高めることができる。
【００８３】
また、距離映像信号のノイズ成分量より、距離検出分解能を評価した。測定は強度変調光４の周波数を４５ＭＨｚ、撮像時間幅を２ｎｓとして、カメラレンズ７から被写体１までの距離を１ｍ〜１０ｍまで変化させ、距離映像信号のノイズ成分の実効値σを測定し、３×σに相当する距離の値を距離検出分解能とした場合の距離と距離検出分解能の関係を図１８に示す。被写体１がカメラレンズ７より２ｍの位置にあるとき、距離映像信号のＳ／Ｎは４４．４ｄＢであり、距離検出分解能は１．７ｃｍであった。
【００８４】
本発明では、カラー画像とともに、高速かつ高精細な距離画像を取得できる３次元情報検出方法及び装置を示した。撮影光軸と光照射光軸を近接もしくは一致させることで、光照射の影を低減し撮影画角全体の距離を検出することが可能となる。更に、強度変調光または撮像ゲインの変調特性の組合せにより、簡易な演算処理で高速に距離を算出でき、動画像に対しても距離を算出できることが可能となった。
【００８５】
また、カメラレンズのあとに色分離結像光学系を導入し、カラー画像と距離画像を同じ画角で、標準のＴＶ画像やハイビジョンクラスの高精細な画像の距離画像をビデオレートで撮影できるとともに、カメラレンズのズーム機能にも対応した３次元情報の検出が可能となる。
【００８６】
本発明装置は、被写体のカラー画像と共に奥行き距離情報が取得できる３次元カメラとして各分野に応用できる。その一例として、テレビジョン放送用カメラとしては、距離情報を基にした画像の抽出や合成など、また、立体テレビジョン用のカメラとしても適用できる。更に、３次元モデリング、医療診断、自動車や航空、宇宙、船舶分野におけるエンジン等の機器内の観察や、ガス管、排気口、水道管、ボイラー、タービン内の検査、古墳や遺跡内の調査や動物生態の観察などの分野に適用できる。
【００８７】
なお、第１光源２，光照射光学系３が請求項記載の第１光照射手段に対応し、第２光源６が第２光照射手段に対応し、色分離結像光学系８が光分離手段に対応し、高速撮像素子９がゲイン可変撮像手段に対応し、カラーカメラ１２が撮影手段に対応し、信号処理部１０が信号処理手段に対応し、ハーフミラー１７，偏光ビームスプリッタ１９が光軸一致手段に対応する。
【００８８】
【発明の効果】
上述の如く、請求項１，２に記載の発明によれば、高精細な画像の距離映像をビデオレートで取得でき、カメラレンズのズーム機能に対応したカラー映像と距離映像を取得することができる。
【００８９】
請求項３に記載の発明によれば、カメラレンズのズーム機能に対応したカラー映像と距離映像を取得することができる。
【００９０】
請求項４に記載の発明によれば、可視領域外の光照射で発生する影を小さくして、被写体において距離検出ができない部分を縮小できる。
【００９１】
請求項５に記載の発明によれば、可視領域外の光照射で発生する影をなくし、被写体において距離検出ができない部分をなくすことができる。
【図面の簡単な説明】
【図１】本発明の３次元情報検出装置の第１実施例の構成図である。
【図２】第１光源及び光照射光学系の配置の一実施例を示す図である。
【図３】カメラレンズの両脇に光源を配置した実施例を示す図である。
【図４】カメラレンズの両脇に光源を配置した実施例を示す図である。
【図５】撮影光軸と照射光軸を一致させる方法を示す図である。
【図６】撮影光軸と照射光軸を一致させる方法を示す図である。
【図７】光照射光学系の一実施例を示す図である。
【図８】パルス状の撮像ゲインと光強度が増加および減少する強度変調光による距離検出方法を説明するための図である。
【図９】パルス状の強度変調光と光強度が増加および減少する撮像ゲインによる距離検出方法を説明するための図である。
【図１０】パルス状の強度変調光とパルス状の撮像ゲインによる距離検出方法を説明するための図である。
【図１１】色分離結像光学系の一実施例を示す図である。
【図１２】高速撮像素子としてイメージインテンシファイアとＣＣＤカメラを用いた実施例を示す図である。
【図１３】信号処理部の一実施例のブロック図である。
【図１４】本発明の３次元情報検出装置の第２実施例の構成図である。
【図１５】ＬＥＤアレイ，イメージインテンシファイア，ＣＣＤカメラ，カラーカメラ，カメラレンズの仕様を示す図である。
【図１６】透過率と、光源光出力スペクトルを示す図である。
【図１７】距離と距離映像信号レベルの関係を示す図である。
【図１８】距離と距離検出分解能の関係を示す図である。
【符号の説明】
１　被写体
２　第１光源
３　光照射光学系
４　強度変調光
５　可視光
６　第２光源
７　カメラレンズ
８　色分離結像光学系
９　高速撮像素子
１０　信号処理部
１１　距離映像信号
１２　カラーカメラ
１３　カラー映像信号
１４　撮影光軸
１５　光照射光軸
１６　影
１７　ハーフミラー
１８　遮光体
１９　偏光ビームスプリッタ
２０　λ／４板
２１　レンズ
２２　拡散板
２３，２６　強度変調光
２４，２７，２９，３３　反射光
２５　パルス状撮像ゲイン
２８　パルス光
３０，３１，３４，３５　撮像ゲイン
３２　強度変調光
３６　ダイクロイックプリズム
３７　可視光成分を含む光
３８　可視領域外の光
３９　光学フィルタ
４０　リレーレンズ
４１　イメージインテンシファイア
４２　ＣＣＤカメラ
４３　光電変換面
４４　マイクロチャンネルプレート
４５　蛍光面
４６　画像伝達光学系
４７　画角変換部
４８　外部同期
４９　スイッチ
５０Ａ，５０Ｂ　メモリ
５１Ａ，５１Ｂ　信号調整回路
５３　距離算出演算部
５４　信号変換部
５５　ＬＥＤアレイ
５６　蛍光灯
５７　信号発生器[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a method and an apparatus for detecting three-dimensional information, and more particularly to a method and an apparatus for detecting three-dimensional information for detecting a depth shape of a subject and acquiring three-dimensional information.
[0002]
[Prior art]
As a method of detecting a three-dimensional position or a depth distance of an object, there is a stereo method of acquiring three-dimensional information from a multi-viewpoint image obtained by using a plurality of cameras. Further, as a method of irradiating light and detecting a distance, there is a method of calculating a distance by sine-wave driving the irradiating light and detecting a phase on a reflection side.
[0003]
Further, Japanese Patent Application No. 10-293817 describes that a distance is calculated faster than two images taken by selecting two combinations of a time change of irradiation light and a gain modulation on an imaging side. ing.
[0004]
[Problems to be solved by the invention]
The method of acquiring three-dimensional information by the stereo method does not need to irradiate light, so there is an advantage that it is not affected by external light, but on the other hand, the arrangement of a plurality of cameras and the calibration of camera lenses are complicated, Also, the device is large and lacks versatility. Furthermore, the photographing angle of view cannot be freely changed by the zoom operation of the camera lens. Furthermore, in a high-definition image equal to or larger than a standard television image, calculating a distance for each pixel requires time for image matching processing for searching for a corresponding point between a plurality of images, so that a video rate (frame rate of 60 Hz) is required. There is a problem that it is difficult to detect a large number of pixels of 400,000 pixels or more at such a high speed.
[0005]
In the method of irradiating a sine-wave light to a subject and detecting its phase on the reflection side, it is necessary to calculate the phase of light for each photographing pixel. In the case of detecting the entire distance, a two-dimensional scanning mechanism of the light beam is required, so that there is a problem that high-speed performance is impaired and the configuration becomes complicated.
[0006]
Also, Japanese Patent Application No. 10-293817 discloses a method of acquiring a distance image (an image in which distance information is represented by the luminance of an image signal) at high speed. However, a distance image having the same angle of view as a color image is obtained. Simultaneous shooting, no occlusion of distance detection, enabling high-definition video class high-quality video shooting, taking into account the specific method of linking color images and distance images according to the zoom function of the camera lens There was a problem that was not.
[0007]
SUMMARY OF THE INVENTION The present invention has been made in view of the above points, and can obtain a high-definition image of a distance image at a video rate, and can obtain a color image and a distance image corresponding to a zoom function of a camera lens. It is an object to provide a detection method and device.
[0008]
[Means for Solving the Problems]
The invention according toclaims 1 and 2 irradiates the subject with intensity-modulated light outside the visible region and irradiates the subject with light in the visible region,
The reflected light from the subject collected by the camera lens is wavelength-separated into light outside the visible region and light in the visible region,
Modulating the imaging gain to capture an optical image outside the visible region separated by the wavelength,
The optical signal of the wavelength-separated visible region is captured and a video signal is output,
Calculate the distance from the intensity ratio between a plurality of images obtained by capturing the optical image outside the visible region when the time variation pattern between the intensity modulation of the light outside the visible region and the modulation of the imaging gain is a different combination, By outputting a distance video signal that represents the distance with light and dark,
A high-definition distance image can be obtained at a video rate, and a color image and a distance image corresponding to a zoom function of a camera lens can be obtained.
[0009]
According to a third aspect of the present invention, in the three-dimensional information detecting device according to the second aspect,
The camera lens has a zoom function,
After zooming with the camera lens, the wavelength is separated into light outside the visible region and light in the visible region, so that a color image and a distance image corresponding to the zoom function of the camera lens can be obtained.
[0010]
According to a fourth aspect of the present invention, in the three-dimensional information detecting device according to the second or third aspect,
The first light irradiating means is arranged around the camera lens such that the optical axis of light outside the visible region to be irradiated is close to the optical axis of the camera lens,
Shadows generated by light irradiation outside the visible region can be reduced, and portions of the subject where distance detection is not possible can be reduced.
[0011]
According to a fifth aspect of the present invention, in the three-dimensional information detecting device according to the second or third aspect,
By having an optical axis matching unit that matches an optical axis of light outside the visible region irradiated by the first light irradiation unit with an optical axis of the camera lens,
Shadows generated by light irradiation outside the visible region can be eliminated, and a portion of the subject where distance detection cannot be performed can be eliminated.
[0012]
BEST MODE FOR CARRYING OUT THE INVENTION
FIG. 1 is a configuration diagram of a first embodiment of a three-dimensional information detecting device according to the present invention. In the figure, the output light of thefirst light source 2 is irradiated through the light irradiationoptical system 3 to the entire photographing range including thesubject 1 to be photographed. At this time, the irradiation light is the intensity modulatedlight 4 whose light intensity changes in the time axis direction. As thefirst light source 2, one or a plurality of laser diodes or light emitting diodes can be used.
[0013]
Further, the wavelength of the output light of thefirst light source 2 can be a wavelength other than the wavelength in the visible region necessary for photographing a color image. For example, the wavelength in the ultraviolet region or the infrared region can be used. In particular, near-infrared light of 750 nm to 900 nm has a wavelength close to the visible region and optical characteristics are not significantly different from those in the visible region, so that a normal camera lens for taking a color image can be used. Also in theoptical system 8, wavelength separation from the visible region can be performed with high efficiency.
It is easy to manufacture an optical system that ensures an optically high color separation and imaging optical system ratio.
[0014]
The means for generating the intensity modulatedlight 4 may directly modulate the drive current of the semiconductor laser or the light emitting diode, or may modulate the light output from the light source through an external modulator such as an acousto-optic device. As the light irradiationoptical system 3, for example, a minute lens is used on the output end face, and a lens shape according to the range of the subject to be irradiated is adopted. In order to ensure the uniformity of the illumination intensity of the illumination, the uniformity of the intensity of the illumination light is improved by using optical fiber bundles, arranging microlenses on each optical fiber, and superimposing individual illumination patterns on the illumination surface. be able to.
[0015]
Further, as the light irradiationoptical system 3, a diffusion plate can be used. As the diffusion plate, one that exhibits a frosted glass-like scattering effect or an element that forms fine irregularities on a diffraction grating on the surface and controls light distribution by the diffraction effect can be used. In particular, with respect to a diffusion plate using surface diffraction, a light distribution shape and intensity distribution of light can be controlled by a pattern of unevenness on the surface, so that uniform illumination can be efficiently realized according to an imaging aspect ratio. In addition, the use of the diffusion plate provides the same conditions as those of the surface light source, so that the burden on the eyes when photographing a person is reduced as compared with the point light source, and safety can be ensured.
[0016]
Thesubject 1 is illuminated by a secondlight source 6 that emitsvisible light 5. This secondlight source 6 does not need to be near thecamera lens 7. When near-infrared light is used for the firstlight source 2, fluorescent light illumination containing almost no near-infrared component can be used as the secondlight source 6.
[0017]
The reflected light from the subject 1 illuminated by the firstlight source 2 and the secondlight source 6 is collected by acamera lens 7. As a characteristic of the camera lens, a normal camera lens with a zoom function for photographing a color image can be used. In addition, by applying a surface coating corresponding to the wavelength of the first light source, the light of the firstlight source 2 can be efficiently taken in, and the occurrence of ghost in the lens can be suppressed. It is advantageous for acquisition.
[0018]
A color separation / imagingoptical system 8 that separates a light wavelength component from the firstlight source 2 and a light wavelength component from the second light source and forms an image is disposed downstream of thecamera lens 7. An image formed by the light component from the firstlight source 2 is incident on a high-speed imaging device 9 capable of changing an imaging gain at high speed.
[0019]
The high-speed imaging device 9 modulates the imaging gain and captures a plurality of images under the condition that the intensity-modulated light of the firstlight source 2 changes over time. Thesignal processing unit 10 performs signal processing for calculating the distance from the camera to the subject 1 based on the obtained signals of the plurality of images, and outputs a distance video signal 11 representing the depth distance of the subject 1 by shading of the image. I do.
[0020]
On the other hand, the formed image of the light component from the secondlight source 6 separated by the color separation and imagingoptical system 8 is incident on thecolor camera 12, and thecolor camera 12 outputs acolor video signal 13.
[0021]
FIG. 2 shows an embodiment of the arrangement of the firstlight source 2 and the light irradiationoptical system 3. The firstlight source 2 is installed in the vicinity of thecamera lens 7 and the shadow of the illumination light is reduced by disposing the imaging optical axis 14 of thecamera lens 7 and the light irradiationoptical axis 15 of thelight source 2 close to each other. As shown in FIG. 2, when the subject 1 located on the optical axis of thecamera lens 7 at a distance d from thecamera lens 7 has a step of depth Δd, thedistance 1 from the shooting optical axis 14 of thecamera lens 7 The light from the light irradiationoptical system 3 at a distant position causes ashadow 16 on a part of the subject, and the width Δl thereof is expressed by Expression (1).
[0022]
Δl = l · Δd / d (1)
As is apparent from the expression (1), the shadow area can be reduced as the distance l between the photographing optical axis 14 of thecamera lens 7 and the light irradiationoptical axis 15 of thelight source 2 decreases.
[0023]
FIG. 3 shows an embodiment in which light sources are arranged on both sides of thecamera lens 7. By arranging thefirst light sources 2 and 2 ′ and the light irradiationoptical systems 3 and 3 ′ on both sides of thecamera lens 7, theshadow 16 portion of the illumination by the firstlight source 2 on one side can be changed to the otherlight source 2 ′ Can be irradiated. In this way, by bringing the optical axis 14 of thecamera lens 7 close to the irradiationoptical axes 15 and 15 ′ and arranging thecamera lens 7 so as to sandwich it from the left and right and up and down, theshadow 16 of the illumination that becomes the occlusion for distance detection is obtained. Can be reduced.
[0024]
Further, in FIG. 3, a portion which becomes ashadow 16 of the illumination by onelight source 2 is illuminated by the other light source 2 ', and has a light amount of about half as compared with a portion illuminated by both light sources. Unevenness occurs.
[0025]
As shown in FIG. 4, there areprojections 1a and 1b at positions sandwiching the optical axis 14 of thecamera lens 7 of the subject 1, and in the special case where theprojections 1a and 1b prevent illumination by thelight sources 2 and 2 '. An illumination shadow 16 'results. In these cases, by causing the optical axis 14 of thecamera lens 7 and the irradiationoptical axes 15 and 15 'of the illumination light to coincide with each other, it is possible to eliminate the occurrence of such unevenness in intensity and the occurrence of occlusion in distance detection.
[0026]
FIG. 5 shows a method for matching the photographing optical axis with the irradiation optical axis. In the figure, a half mirror 17 is arranged in front of thecamera lens 7 at an angle of 45 degrees with respect to the photographing optical axis 14 of thecamera lens 7, and the firstlight source 2 and the light irradiationoptical system 3 are arranged in a direction perpendicular to the photographing optical axis 14. To illuminate via the half mirror 17. The intensity-modulatedlight 4 output from the light irradiationoptical system 3 is reflected by the half mirror 17 at 90 degrees, and illuminates the subject 1 with anoptical axis 15 coincident with the photographing optical axis 14 of thecamera lens 7.
[0027]
Thereby, theshadows 16 and 16 'of the illumination and the unevenness of the light intensity can be eliminated. Note that, of the intensity-modulatedlight 4, light transmitted without being reflected by the half mirror 17 is absorbed by thelight shielding body 18 having a characteristic of absorbing light of this wavelength.
[0028]
Further, apolarization beam splitter 19 can be used instead of the half mirror 17 as shown in FIG. In this case, the polarization direction of the intensity-modulatedlight 4 is aligned with the direction reflected by thepolarization beam splitter 19. In the case of non-polarized light, a polarization conversion element for aligning the polarization direction may be disposed immediately after the light irradiationoptical system 3 to align the polarization directions. Most of the intensity-modulatedlight 4 is reflected by thepolarization beam splitter 19 at 90 degrees.
[0029]
The output light passes through the λ / 4plate 20 and becomes circularly polarized light, and is irradiated on thesubject 1. The reflected light component close to circularly polarized light enters the λ / 4plate 20 again, becomes linearly polarized light, passes through thepolarization beam splitter 19, and enters thecamera lens 7.
[0030]
On the other hand, since a part of the output light from the firstlight source 2 passes through thepolarizing beam splitter 19, a light-shieldingplate 18 that absorbs a large amount of light of this wavelength component is provided to suppress reflection toward the camera lens. Further, instead of the light-shieldingplate 18, a mirror for preserving polarization can be arranged and reflected again to the light irradiationoptical system 3 side. As described above, by using thepolarizing beam splitter 19, the light use efficiency of the light source output light can be increased.
[0031]
Incidentally, the irradiation angle of the irradiation light is controlled by a light irradiationoptical system 3 attached in front of the firstlight source 2. FIG. 7 shows an embodiment of the light irradiationoptical system 3. In the figure, a firstlight source 2 is composed of a plurality of light sources, one or a plurality of lenses 21 are attached to the output ends of the individual light sources, and the light is expanded to the maximum angle of view photographed by thecamera lens 7 used. Is irradiated.
[0032]
At this time, the light irradiationoptical system 3 is configured by vertically and horizontally placing lenses having different divergence angles in the vertical and horizontal directions of the lens, for example, a bifocal lens and a cylindrical lens having different focal lengths, and forming an angle of view of a camera image. By irradiating light having a shape according to the above, light use efficiency can be increased.
[0033]
For example, when a standard television camera is used, the aspect ratio is 4: 3, and when high-definition shooting is performed, the aspect ratio is 16: 9. Further, a diffusion plate 22 can be used for the light irradiationoptical system 3. As the diffusion plate, one that exhibits a frosted glass-like scattering effect or an element that forms fine irregularities on a diffraction grating on the surface and controls light distribution by the diffraction effect can be used.
[0034]
In particular, with respect to a diffusion plate using surface diffraction, the light distribution shape and intensity distribution of light can be controlled by the pattern of the unevenness on the surface, so that illumination with good uniformity can be realized efficiently according to the angle of view of the image.
[0035]
Here, a description will be given of a light whose intensity increases and decreases with time as intensity-modulated light, and a distance detection method using an imaging device having a short-time shutter function. As shown in FIG. 8A, a subject placed at a distance d is irradiated with intensity-modulatedlight 23 whose light intensity increases by a coefficient s with time, and reflected light 24 from the subject is pulsed at time ts. When imaging is performed for a short time with thegain 25, the signal amount E detected by the high-speed imaging device 9₊ (D, ts) is represented by equation (2).
[0036]
(Equation 1)

Where T_L Is the transmittance of a lens optical system such as thecamera lens 7, ρ is the reflection characteristic coefficient of the surface of the subject 1,₀ Is the maximum light irradiation intensity, Δt is the imaging time width, and is a value sufficiently smaller than the light modulation period. Also, c is the speed of light, 2d / c is the time that light travels back and forth over the distance d from the high-speed imaging device 9 to thesubject 1, l is the distance from thecamera lens 7 to thesubject 1, and the denominator of the equation is the light diffusion. This is a term that considers attenuation.
[0037]
Next, as shown in FIG. 8B, an intensity-modulatedlight 26 whose light intensity decreases by a coefficient s with time is irradiated, and the reflected light 27 from thesubject 1 is irradiated at a time ts with a pulse-like imaging gain 25 for a short time. When an image is taken, the signal amount E detected by the high-speed image sensor 9₋ (D, ts) is expressed by equation (3).
[0038]
(Equation 2)

Here, T is a light intensity modulation period. If the sensitivity is not sufficient in one imaging, a repetitive pulse light equivalent to the modulation frequency of the imaging gain is irradiated in one field, and accumulated by an accumulation type imaging element to secure sufficient sensitivity. . Note that the intensity-modulated light in FIG. 8B may be transmitted continuously with the intensity-modulated light in FIG.
[0039]
From the expressions (2) and (3), the intensity ratio R = E between two images having different light intensities is obtained.₊ / E₋ , And the distance d is obtained, the expression (4) is obtained.
[0040]
[Equation 3]

As shown by the equation (4), only by calculating the ratio R between the two images taken when the light intensity increases and when the light intensity decreases, the reflectance of the subject 1 and the light attenuating effect due to the diffusion of light can be obtained. The influence can be canceled and the distance can be obtained at high speed.
[0041]
As described above, since a light source whose intensity changes with time can be realized even at a frequency as low as several tens of MHz, in addition to a laser light source, incoherent illumination such as an LED (light emitting diode) can be used, and a wide range can be illuminated with high luminance. It is also possible to detect the distance of a person. Note that the range of distance detection by this method is determined by the imaging time ts and the modulation frequency f, and is expressed by equation (5).
[0042]
(Equation 4)

In actual operation, the imaging time ts is adjusted to match the detection range with the position of the subject. Also, the measurement range d_r Is determined by the modulation frequency f and is expressed by the equation (6).
[0043]
d_r = C / 4f (6)
Measurement range d_r Is 7.5 m, the modulation frequency f is 10 MHz, and the measurement range d_r Is 1.5 m, the modulation frequency f is 50 MHz. On the other hand, the imaging time width Δt at the time of imaging is shorter than themodulation period 1 / f of thelight source 2 and requires a shutter function of several nsec.
[0044]
Next, a short-time pulse light is used as the intensity-modulated light, and an image captured while increasing the imaging gain of the high-speed imaging device 9 with time at high speed and an image captured with the imaging gain reduced at high speed with time are used. A method for calculating the distance and detecting the distance will be described.
[0045]
As shown in FIG. 9A, the light intensity F is applied to the subject 1 at the position of the distance d.₀ At the time tp, and the amount of signal E detected by the camera when the reflected light 29 from thesubject 1 is imaged by the high-speed imaging device 9 having theimaging gain 30 that increases by a coefficient g with time.₊ (D, tp) is represented by equation (7).
[0046]
(Equation 5)

Where T_L Is the transmittance of a lens optical system such as acamera lens 7, ρ is the reflection characteristic coefficient of the surface of the subject 1, τ is the pulse width, c is the light speed, 2d / c is the distance d from the high-speed image sensor 9 to thesubject 1. Is the distance from thecamera lens 7 to thesubject 1, and the denominator of the equation is a term that takes into account attenuation due to light diffusion.
[0047]
Next, as shown in FIG. 9B, the signal amount E detected by the camera when the image is captured by the high-speed imaging device 9 having theimaging gain 31 that decreases with the coefficient g with time.₋ (D, tp) is represented by equation (8).
[0048]
(Equation 6)

Here, T is a modulation cycle of the imaging gain. If the sensitivity is not sufficient in one imaging, a repetitive pulse light equivalent to the modulation frequency of the imaging gain is irradiated in one field, and accumulated by an accumulation type imaging element to secure sufficient sensitivity. . Note that the imaging gain modulation shown in FIG. 9B may be set to be continuous with the imaging gain modulation shown in FIG. 9A.
[0049]
From the equations (7) and (8), the intensity ratio R = E between two images having different imaging gains is obtained.₊ / E₋ , And the distance d is obtained, the expression (9) is obtained.
[0050]
(Equation 7)

As shown in the above equation (9), the light attenuation effect due to the reflectance of the subject 1 and the diffusion of light is calculated only by calculating the intensity ratio R between the two images captured when the imaging gain is increased and when the imaging gain is decreased. And so on, and the distance can be obtained at high speed.
[0051]
As described above, a pulse laser can be used in the combination of the pulsed light and the imaging gain that changes with time, and a pulse laser light having a pulse width of picosecond to femtosecond, such as a Q-switched pulse laser light or a mode-locked pulse light. Can be used, so that distance detection with high resolution can be performed.
[0052]
In this case, the measurable range (measurement range) D is represented by equation (10).
[0053]
(Equation 8)

Next, a description will be given of a distance detection method using the intensity-modulated light modulated in a rectangular waveform and the high-speed imaging device 9 in which the imaging gain changes in a rectangular waveform. A rectangular intensity modulated light 32 (light intensity F) as shown by a broken line in FIG.₀ , Modulation period T), and the reflectedlight 33 is imaged with a rectangular imaging gain 34 (gain g, period T) having the same period and the same phase as the intensity modulatedlight 32, the signal amount detected by the camera E₊ (D, tp) is represented by equation (11).
[0054]
(Equation 9)

Where T_L Is the transmittance of the lens optical system such as thecamera lens 7, ρ is the reflection characteristic coefficient of the surface of the subject 1, c is the speed of light, and 2d / c is the time that light travels back and forth over the distance d from the high-speed image sensor 9 to thesubject 1. , L is the distance from thecamera lens 7 to thesubject 1, and the denominator of the equation is a term that takes into account attenuation due to light diffusion.
[0055]
Next, as shown in FIG. 10B, when imaging is performed with a rectangular imaging gain 35 (gain g, period T) having a phase opposite to that of the intensity-modulatedlight 32 shifted by the period T, a signal detected by the camera is used. Quantity E₋ (D, tp) is represented by equation (12).
[0056]
(Equation 10)

If the sensitivity is not sufficient in one imaging, a repetitive pulse light equivalent to the modulation frequency of the imaging gain is irradiated in one field, and accumulated by an accumulation type imaging element to secure sufficient sensitivity. .
[0057]
From the expressions (11) and (12), the intensity ratio R = E between the two images is obtained.₊ / E₋ , And the distance d is obtained, the expression (13) is obtained.
[0058]
[Equation 11]

As shown in the equation (13), simply calculating the ratio R between the two images cancels the influence of the reflectance of the subject 1 and the effect of light attenuation due to the diffusion of light, and obtains the distance at high speed. Can be.
[0059]
In this manner, by making the intensity modulation irradiation light and the imaging gain into a rectangular wave shape having the same cycle width, the amount of detection signals detected by the imaging element increases, and imaging with a high signal-to-noise ratio can be performed. High-resolution distance detection becomes possible.
[0060]
FIG. 11 shows one embodiment of the color separation / imagingoptical system 8. In the figure, after thecamera lens 7, light 37 including a visible light component from the secondlight source 6 used for color image shooting is transmitted, and light 38 outside the visible region from the firstlight source 2 used for distance detection is used. And adichroic prism 36 that reflects the light. The size and material of thedichroic prism 36 are selected in consideration of the back focus length of thecamera lens 7 so as to have an optical path length capable of forming an image on the high-speed image sensor 9 through thedichroic prism 36 from thecamera lens 7.
[0061]
When the output light of the firstlight source 2 which is the intensity-modulated light source for distance detection is near-infrared light, the color separation characteristics of thedichroic prism 36 are such that visible light is transmitted and near-infrared light is reflected. . If the wavelength of the secondlight source 6 is selected in the range of 780 nm to 900 nm, the transmittance of visible light can be increased and the reflectance of near-infrared light can be designed to be high.
[0062]
Further, by disposing an infrared transmittingoptical filter 39 that removes light having a wavelength longer than the wavelength component of the firstlight source 2 included in the light component reflected by thedichroic prism 36, the influence of external light is reduced, and the signal is reduced. A characteristic is obtained in which only near-infrared light, which is light, can be input to the high-speed imaging device 9.
[0063]
The visible light passing through thedichroic prism 36 is input to thecolor camera 12 through therelay lens 40. The magnification of therelay lens 40 is substantially equal, and the lens has a focus adjustment function. At this time, focus adjustment becomes easy by using a telecentric optical system for the configuration of therelay lens 40.
[0064]
Therelay lens 40 optimizes imaging optical characteristics such as transmittance and aberration in the visible region, suppresses a decrease in MTF (Modulation Transfer Function), and enables the imaging optical image formed by the camera lens to have high definition and high image quality. Is transmitted to thecolor camera 12 without any color change or decrease in luminance. Further, by setting the numerical aperture of therelay lens 40 equal to that of thecamera lens 7, a reduction in brightness is suppressed. Further, by providing therelay lens 40 with an aperture adjustment mechanism, it is possible to adjust the aperture of a color image without affecting the near-infrared light amount on the distance detection side.
[0065]
FIG. 12 shows an embodiment using animage intensifier 41 and aCCD camera 42 as the high-speed imaging device 9. In the figure, the light component of the firstlight source 2 reflected by thedichroic prism 36 is image-formed and input to animage intensifier 41. As theimage intensifier 41, an image intensifier composed of aphotoelectric conversion surface 43, a micro channel plate (MCP) 44, and afluorescent surface 45 can be used.
[0066]
By controlling the value of the applied voltage between thephotoelectric conversion surface 43 and theMCP 44 of theimage intensifier 41, the imaging sensitivity can be changed at high speed with time. Further, by making the applied voltage into a pulse shape, it is possible to perform gate imaging in a short time of 1 nsec or less.
[0067]
The material of thephotoelectric conversion surface 43 is selected according to the wavelength sensitivity characteristics of the intensity-modulated light used for distance detection. For example, when the wavelength is 800 nm, a multi-alkali material (Sb-K-Na-Cs) can be used, and when a longer wavelength of 850 nm is used, high quantum efficiency can be obtained by using a gallium arsenide (GaAs) material. Therefore, a captured image with a good S / N can be obtained.
[0068]
Since an image is captured by changing the imaging gain at a high speed or by performing a gate operation for a short time, the signal amount obtained by one imaging is very weak. And the imaging gain modulation timing is synchronized, images are repeatedly taken, and the image of theoutput phosphor screen 45 of theimage intensifier 41 is input to theCCD camera 42 by the image transmissionoptical system 46, and sufficient sensitivity is obtained by the accumulation effect of theCCD camera 42. Can be secured.
[0069]
The image transmissionoptical system 46 can be realized by a fiber plate or a relay lens optical system. Each time the image transmissionoptical system 46 is a fiber plate and thefluorescent screen 45 of the image intensifier is connected to the CCD plane of theCCD camera 42, the fluorescent screen output light can be input to theCCD camera 42 with high efficiency.
[0070]
On the other hand, in the case of a relay lens, a mechanism for fine adjustment of focus and image position can be provided. The transmittance of the relay lens and the imaging aberration characteristics of the image are optimized by the fluorescent wavelength of thefluorescent screen 45 of the image intensifier. When a relay lens is used, the light use efficiency is lower than when a fiber plate is used. However, theCCD camera 42 can be replaced, the range of choice of theCCD camera 42 can be increased, and the imaging magnification can be controlled. There is a characteristic that a good image can be obtained without being affected by fixed pattern noise generated when using a fiber plate. The imaging magnification of the image is a magnification at which the angle of view of the color image and the angle of view captured by theCCD camera 42 are the same.
[0071]
The imaging resolution of theimage intensifier 41 is large depending on the distance between thephotoelectric conversion surface 43 and theMCP 44 constituting theimage intensifier 41, the distance between theMCP 44 and thephosphor screen 45, and the diameter of the conductive glass capillary constituting theMCP 44. Dependent. Therefore, it is advantageous for high resolution to use a material in which the distance between thephotoelectric conversion surface 43 and theMCP 44 and the distance between theMCP 44 and thefluorescent screen 45 are close to each other and the diameter of the conductive glass capillary constituting the MCP is small.
[0072]
Further, the resolution can be kept high by enlarging and inputting the image input to theimage finder 41, reducing it by the image transmissionoptical system 46, and inputting it to theCDD camera 42. As theCCD camera 42, a standard TV camera or a high-vision camera can be used, and other industrial high-definition CCD cameras can also be used.
[0073]
FIG. 13 shows a block diagram of one embodiment of thesignal processing unit 10. In the figure, an output signal of the high-speed imaging device 9 is supplied to an angle-of-view converter 47, where it is converted into a desired output image aspect ratio. For example, when a 1300 (H) × 1030 (V) CCD is used for the high-speed imaging device 9, when outputting a high-definition video distance image, a 16: 9 area of one screen (for example, 1280 (H) × 853 ( V)) is extracted by the angle-of-view converter 47.
[0074]
Next, the signals captured at different timings of the light intensity and the imaging pattern are switched by theswitch 49 synchronized with the external synchronization 48 and stored in thememories 50A and 50B, respectively. The storage timing of thememories 50A and 50B is synchronized with the external synchronization 48. Thereby, for example, the subject image captured for a short time when the intensity modulated light whose light intensity increases is stored in thememory 50A, and the subject image captured for a short time when the intensity modulated light whose light intensity decreases is stored in thememory 50A. Is done.
[0075]
The signals read from thememories 50A and 50B are subjected to brightness adjustment of the image and setup adjustment for adding a certain brightness level to the entire image by thesignal adjustment circuits 51A and 51B, and then a distance calculation operation unit. At 53, the distance d is calculated by performing the calculation of the expression (4), the expression (9), or the expression (13), and a distance video signal representing the distance in light and dark is obtained. After that, the distance video signal is converted into a desired television signal standard by thesignal converter 54 and output.
[0076]
FIG. 14 is a configuration diagram of a second embodiment of the three-dimensional information detecting apparatus according to the present invention. In the figure, asubject 1 is irradiated with intensity-modulated light having a near-infrared wavelength (center wavelength: 850 nm) from an LED (light emitting diode)array 55 arranged around acamera lens 7. Further, thesubject 1 is irradiated with visible light from the fluorescent lamp 56.
[0077]
The visible light component of the reflected light from the subject 1 passes through thedichroic prism 36 disposed behind thecamera lens 7 and forms an image on thecolor camera 12 through therelay lens 40.
[0078]
On the other hand, the near-infrared light from theLED array 55 is reflected by thedichroic prism 36 and enters the high-speed imaging device 9 side. In the high-speed imaging device 9, short-time shutter shooting is performed by animage intensifier 41 having a high-speed shutter function, and a light image output from theimage intensifier 41 is input to aCCD camera 42 by arelay lens 46.
[0079]
The modulation signal supplied to theLED array 55 and the shutter trigger signal of theimage intensifier 41 are generated by thesignal generator 57 in synchronization. As a result, images at the time of irradiation with increasing modulation light and at the time of irradiation with decreasing modulation light are alternately photographed. The output signal of theCCD camera 42 is supplied to thesignal processing unit 10 to calculate the distance, and the distance video signal 11 representing the distance is expressed as a high-definition signal. FIG. 15 shows the specifications of theLED array 55, theimage intensifier 41, theCCD camera 42, thecolor camera 12, and thecamera lens 7.
[0080]
FIG. 16 shows the light transmittance to thecolor camera 12 side, the light transmittance to the distance detection side (high-speed imaging device 9 side), the visible light of the fluorescent lamp 56 output, and the near-infrared light of theLED array 55 output. 3 shows an output spectrum of light. Thedichroic prism 36 divides the visible light component and the near-infrared light component for distance detection with high efficiency. Since the transmittance of near-infrared light to the distance detection side is high, sufficient sensitivity for distance detection is achieved, and good distance detection with good S / N is possible.
[0081]
The level of the distance video signal 11 was measured while changing the distance from thecamera lens 7 with the white paper as thesubject 1. At this time, the modulation frequency of the intensity-modulated light was set to 15 MHz, the imaging time width was set to 5 nsec (half width), and the measurement center position was set to 6 m. As a result, as shown in FIG. 17, the distance video signal level changes along with the distance from thecamera lens 7 to thesubject 1, and a bright / dark image corresponding to the distance is obtained. In addition, although it has a relatively linear characteristic in the vicinity of 6 m from the measurement center, non-linearity occurs in the periphery of the measurement range. This is due to the influence of the non-linear component of the light modulation characteristics of the LED, and the output signal can be corrected to a linear characteristic by the γ correction.
[0082]
The distance detection range in this embodiment was about 4 m at 15 MHz. When the depth of the subject 1 is smaller, the depth detection range becomes about 1.5 m by increasing the modulation frequency to 45 MHz, and the depth detection resolution can be relatively increased.
[0083]
Further, the distance detection resolution was evaluated based on the noise component amount of the distance video signal. The measurement was performed with the frequency of the intensity modulatedlight 4 set to 45 MHz, the imaging time width set to 2 ns, the distance from thecamera lens 7 to the subject 1 changed from 1 m to 10 m, and the effective value σ of the noise component of the distance video signal measured. FIG. 18 shows the relationship between the distance and the distance detection resolution when the distance value corresponding to × σ is used as the distance detection resolution. When the subject 1 was at a position 2 m from thecamera lens 7, the S / N of the distance video signal was 44.4 dB and the distance detection resolution was 1.7 cm.
[0084]
In the present invention, a three-dimensional information detection method and apparatus capable of acquiring a high-speed and high-resolution range image together with a color image has been described. By bringing the photographing optical axis close to or coincident with the light irradiation optical axis, it is possible to reduce the shadow of light irradiation and detect the distance of the entire photographing angle of view. Further, the combination of the intensity modulation light and the modulation characteristic of the imaging gain makes it possible to calculate the distance at high speed with simple arithmetic processing, and to calculate the distance even for a moving image.
[0085]
In addition, a color-separation imaging optical system is introduced after the camera lens so that color images and distance images can be captured at the same angle of view, and standard TV images and high-definition class high-definition images can be captured at video rates. This makes it possible to detect three-dimensional information corresponding to the zoom function of the camera lens.
[0086]
The device of the present invention can be applied to various fields as a three-dimensional camera capable of acquiring depth distance information together with a color image of a subject. For example, as a television broadcast camera, an image can be extracted or synthesized based on distance information, and can also be applied as a stereoscopic television camera. In addition, three-dimensional modeling, medical diagnosis, observation of equipment such as engines in the automobile, aviation, space, and marine fields, inspection of gas pipes, exhaust ports, water pipes, boilers, turbines, and investigation of tumuli and archeological sites Applicable to fields such as observation of animal ecology.
[0087]
The firstlight source 2 and the light irradiatingoptical system 3 correspond to the first light irradiating means, the secondlight source 6 corresponds to the second light irradiating means, and the color separation / imagingoptical system 8 corresponds to the light separating optical system. The high-speed imaging device 9 corresponds to the variable gain imaging device, thecolor camera 12 corresponds to the imaging device, thesignal processing unit 10 corresponds to the signal processing device, and the half mirror 17 and thepolarization beam splitter 19 correspond to the light. Corresponds to axis matching means.
[0088]
【The invention's effect】
As described above, according to the first and second aspects of the present invention, it is possible to obtain a distance image of a high-definition image at a video rate, and to obtain a color image and a distance image corresponding to a zoom function of a camera lens. .
[0089]
According to the third aspect of the invention, a color image and a distance image corresponding to the zoom function of the camera lens can be obtained.
[0090]
According to the fourth aspect of the present invention, it is possible to reduce a shadow generated by light irradiation outside the visible region and to reduce a portion of the subject where distance detection is not possible.
[0091]
According to the fifth aspect of the present invention, it is possible to eliminate a shadow generated by light irradiation outside the visible region and eliminate a portion of the subject where distance detection is not possible.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a first embodiment of a three-dimensional information detection device of the present invention.
FIG. 2 is a diagram showing an embodiment of an arrangement of a first light source and a light irradiation optical system.
FIG. 3 is a diagram showing an embodiment in which light sources are arranged on both sides of a camera lens.
FIG. 4 is a diagram showing an embodiment in which light sources are arranged on both sides of a camera lens.
FIG. 5 is a diagram illustrating a method of matching an imaging optical axis with an irradiation optical axis.
FIG. 6 is a diagram showing a method of matching an imaging optical axis with an irradiation optical axis.
FIG. 7 is a diagram showing one embodiment of a light irradiation optical system.
FIG. 8 is a diagram for explaining a distance detection method using pulse-shaped imaging gain and intensity-modulated light whose light intensity increases and decreases.
FIG. 9 is a diagram for explaining a distance detection method using pulse-like intensity modulated light and an imaging gain in which light intensity increases and decreases.
FIG. 10 is a diagram for explaining a distance detection method using pulse-like intensity-modulated light and pulse-like imaging gain.
FIG. 11 is a diagram showing one embodiment of a color separation and imaging optical system.
FIG. 12 is a diagram showing an embodiment using an image intensifier and a CCD camera as a high-speed imaging device.
FIG. 13 is a block diagram of one embodiment of a signal processing unit.
FIG. 14 is a configuration diagram of a second embodiment of the three-dimensional information detection device of the present invention.
FIG. 15 is a diagram showing specifications of an LED array, an image intensifier, a CCD camera, a color camera, and a camera lens.
FIG. 16 is a diagram showing transmittance and a light source light output spectrum.
FIG. 17 is a diagram illustrating a relationship between a distance and a distance video signal level.
FIG. 18 is a diagram illustrating a relationship between a distance and a distance detection resolution.
[Explanation of symbols]
1 subject
2 First light source
3 Light irradiation optical system
4 Intensity modulated light
5 Visible light
6 Second light source
7 Camera lens
8 color separation and imaging optical system
9 High-speed image sensor
10 Signal processing unit
11 Distance video signal
12 color camera
13 color video signal
14 Shooting optical axis
15 Light irradiation optical axis
16 Shadow
17 Half mirror
18 Shade
19 Polarizing beam splitter
20 λ / 4 plate
21 lenses
22 Diffusion plate
23,26 intensity modulated light
24, 27, 29, 33 reflected light
25 Pulse imaging gain
28 pulsed light
30, 31, 34, 35 Imaging gain
32 intensity modulated light
36 dichroic prism
37 Light containing visible light components
38 Light outside the visible range
39 Optical Filter
40 relay lens
41 Image Intensifier
42 CCD camera
43 Photoelectric conversion surface
44 micro channel plate
45 phosphor screen
46 Image transmission optical system
47 Angle of view converter
48 External synchronization
49 switch
50A, 50B memory
51A, 51B signal adjustment circuit
53 Distance calculation unit
54 signal converter
55 LED array
56 fluorescent light
57 signal generator

Claims (9)

Translated fromJapanese

可視領域外の光を強度変調して被写体に照射すると共に可視領域の光を前記被写体に照射し、
カメラレンズで集光された前記被写体からの反射光を可視領域外の光と可視領域の光とに波長分離し、
撮像ゲインを変調して前記波長分離された可視領域外の光学像を撮像し、
前記波長分離された可視領域の光学像を撮影し映像信号を出力し、
前記可視領域外の光の強度変調と前記撮像ゲインの変調との時間変化パターンが異なる組合せであるときに前記可視領域外の光学像を撮像した複数の画像間の強度比から距離を算出し、距離を明暗で表す距離映像信号を出力することを特徴とする３次元情報検出方法。Irradiating the subject with intensity modulated light outside the visible region and irradiating the subject with light in the visible region,
The reflected light from the subject collected by the camera lens is wavelength-separated into light outside the visible region and light in the visible region,
Modulating the imaging gain to capture an optical image outside the visible region separated by the wavelength,
The optical signal of the wavelength-separated visible region is captured and a video signal is output,
Calculate the distance from the intensity ratio between a plurality of images obtained by capturing the optical image outside the visible region when the time variation pattern between the intensity modulation of the light outside the visible region and the modulation of the imaging gain is a different combination, A three-dimensional information detection method, comprising: outputting a distance video signal representing a distance with light and dark.可視領域外の光を強度変調して被写体に照射する第１光照射手段と、
可視領域の光を前記被写体に照射する第２光照射手段と、
前記被写体からの反射光を集光するカメラレンズと、
前記カメラレンズで集光された光を可視領域外の光と可視領域の光とに波長分離する光分離手段と、
撮像ゲインを変調して前記光分離手段で波長分離された可視領域外の光学像を撮像するゲイン可変撮像手段と、
前記光分離手段で分離された可視領域の光学像を撮影し映像信号を出力する撮影手段と、
前記第１光照射手段の出力光の強度変調と前記ゲイン可変撮像手段の撮像ゲインの変調との時間変化パターンが異なる組合せであるときに前記ゲイン可変撮像手段で撮像した複数の画像間の強度比から距離を算出し、距離を明暗で表す距離映像信号を出力する信号処理手段とを
有することを特徴とする３次元情報検出装置。First light irradiation means for modulating the intensity of light outside the visible region and irradiating the object with light;
Second light irradiating means for irradiating the subject with light in a visible region;
A camera lens for collecting reflected light from the subject,
Light separating means for wavelength-separating the light collected by the camera lens into light outside the visible region and light in the visible region,
A variable gain imaging unit that modulates an imaging gain and captures an optical image outside the visible region wavelength-separated by the light separation unit,
A photographing means for photographing an optical image in a visible region separated by the light separating means and outputting a video signal,
The intensity ratio between a plurality of images captured by the variable gain imaging unit when the time variation patterns of the intensity modulation of the output light of the first light irradiation unit and the modulation of the imaging gain of the variable gain imaging unit are different combinations. A signal processing means for calculating a distance from the distance and outputting a distance video signal representing the distance in light and dark.請求項２記載の３次元情報検出装置において、
前記カメラレンズは、ズーム機能を有することを特徴とする３次元情報検出装置。The three-dimensional information detection device according to claim 2,
The three-dimensional information detection device, wherein the camera lens has a zoom function.請求項２または３記載の３次元情報検出装置において、
前記第１光照射手段は、照射する可視領域外の光の光軸が前記カメラレンズの光軸に近接するよう、前記カメラレンズの周囲に配置したことを特徴とする３次元情報検出装置。The three-dimensional information detection device according to claim 2 or 3,
The three-dimensional information detecting device according to claim 1, wherein the first light irradiating means is arranged around the camera lens such that an optical axis of light to be irradiated outside a visible region is close to an optical axis of the camera lens.請求項２または３記載の３次元情報検出装置において、
前記第１光照射手段が照射する可視領域外の光の光軸を前記カメラレンズの光軸に一致させる光軸一致手段を
有することを特徴とする３次元情報検出装置。The three-dimensional information detection device according to claim 2 or 3,
3. A three-dimensional information detecting apparatus, comprising: an optical axis matching unit that matches an optical axis of light out of a visible region emitted by the first light emitting unit with an optical axis of the camera lens.請求項２乃至５のいずれか記載の３次元情報検出装置において、
前記第１光照射手段は、前記可視領域外の光の光強度を時間と共に増加及び減少させて出力し、
前記ゲイン可変撮像手段は、前記撮像ゲインをパルス状に短時間一定値とし、
前記信号処理手段は、前記光強度を時間と共に増加させながら撮像した画像と前記光強度を時間と共に減少させながら撮像した画像との間の強度比から距離を算出することを特徴とする３次元情報検出装置。The three-dimensional information detection device according to any one of claims 2 to 5,
The first light irradiation unit increases and decreases the light intensity of the light outside the visible region with time, and outputs the light intensity.
The gain-variable imaging unit sets the imaging gain to a pulse-like constant value for a short time,
The three-dimensional information, wherein the signal processing unit calculates a distance from an intensity ratio between an image captured while increasing the light intensity with time and an image captured while decreasing the light intensity with time. Detection device.請求項２乃至５のいずれか記載の３次元情報検出装置において、
前記第１光照射手段は、前記可視領域外のパルス光を出力し、
前記ゲイン可変撮像手段は、前記撮像ゲインを時間と共に増加及び減少させ、
前記信号処理手段は、前記撮像ゲインを時間と共に増加させながら撮像した画像と前記撮像ゲインを時間と共に減少させながら撮像した画像との間の強度比から距離を算出することを特徴とする３次元情報検出装置。The three-dimensional information detection device according to any one of claims 2 to 5,
The first light irradiating means outputs pulsed light outside the visible region,
The variable gain imaging means increases and decreases the imaging gain with time,
The three-dimensional information, wherein the signal processing means calculates a distance from an intensity ratio between an image captured while increasing the imaging gain with time and an image captured while decreasing the imaging gain with time. Detection device.請求項２乃至５のいずれか記載の３次元情報検出装置において、
前記第１光照射手段は、前記可視領域外の光の光強度を矩形波状に変調して出力し、
前記ゲイン可変撮像手段は、前記撮像ゲインを前記光強度と同一周期で矩形波状に変調し、
前記信号処理手段は、前記光強度と前記撮像ゲインが同位相のとき撮像した画像と前記光強度と前記撮像ゲインが逆位相のとき撮像した画像との間の強度比から距離を算出することを特徴とする３次元情報検出装置。The three-dimensional information detection device according to any one of claims 2 to 5,
The first light irradiation means modulates the light intensity of the light outside the visible region into a rectangular wave and outputs the modulated light intensity.
The gain variable imaging unit modulates the imaging gain into a rectangular wave at the same cycle as the light intensity,
The signal processing unit calculates a distance from an intensity ratio between an image captured when the light intensity and the imaging gain are in phase and an image captured when the light intensity and the imaging gain are in opposite phase. Characteristic three-dimensional information detection device.請求項２乃至８のいずれか記載の３次元情報検出装置において、
前記ゲイン可変撮像手段は、イメージインテンシファイアとＣＣＤカメラからなることを特徴とする３次元情報検出装置。The three-dimensional information detection device according to any one of claims 2 to 8,
3. The three-dimensional information detecting device according to claim 1, wherein said variable gain imaging means comprises an image intensifier and a CCD camera.

Images