WO2021177045A1 - Signal processing device, signal processing method, and range-finding module - Google Patents

Abstract

The present technology relates to a signal processing device, a signal processing method, and a range-finding module which make it possible to more appropriately correct variations in the characteristics of taps. This signal processing device comprises a signal processing unit that performs a process for computing the distance to an object on the basis of pixel data obtained from a pixel receiving reflected light, which is illumination light that has been emitted from a prescribed light source and has reflected off of the object and returned. The signal processing unit has a characteristics calculation unit that computes a correction parameter for correcting the characteristics of a first charge detection unit and a second charge detection unit of the pixel on the basis of a luminance model corresponding to the shape of the light emission waveform of the illumination light and the shape of the exposure waveform of the pixel. The present technology can be applied to, for example, a range-finding module that measures the distance to a subject.

Description

Translated fromJapanese

信号処理装置、信号処理方法、および、測距モジュールSignal processing device, signal processing method, and ranging module

　本技術は、信号処理装置、信号処理方法、および、測距モジュールに関し、特に、より適切にタップ間の特性ばらつきを補正できるようにした信号処理装置、信号処理方法、および、測距モジュールに関する。The present technology relates to a signal processing device, a signal processing method, and a ranging module, and more particularly to a signal processing device, a signal processing method, and a ranging module capable of more appropriately correcting characteristic variations between taps.

　近年、半導体技術の進歩により、物体までの距離を測定する測距モジュールの小型化が進んでいる。これにより、例えば、いわゆるスマートフォンなどのモバイル端末に測距モジュールを搭載することが実現されている。In recent years, advances in semiconductor technology have led to the miniaturization of distance measuring modules that measure the distance to an object. As a result, for example, it has been realized that a distance measuring module is mounted on a mobile terminal such as a so-called smartphone.

　スマートフォンには、例えば、Indirect ToF（Time of Flight）方式による測距を行う測距モジュールが搭載されている。Indirect ToF方式は、物体に向かって照射光が発光され、その照射光が物体の表面で反射され返ってくる反射光を検出し、照射光が発光されてから反射光が受光されるまでの飛行時間に基づいて物体までの距離を算出する方式である。For example, smartphones are equipped with a distance measurement module that measures distance by the Indirect ToF (Time of Flight) method. In the IndirectToF method, the irradiation light is emitted toward the object, the reflected light is reflected on the surface of the object and returned, and the flight from the emission of the irradiation light to the reception of the reflected light is detected. This is a method of calculating the distance to an object based on time.

　Indirect ToF方式では、照射光の照射タイミングを基準に、受光センサ側は、位相を０°、９０°、１８０°、および、２７０°だけずらした受光タイミングで反射光を受光する。照射光の照射タイミング対して、４つの異なる位相で検出された４枚の位相画像を用いて、物体までの距離を算出する方式は、４Phase方式などと呼ばれる。In the Indirect ToF method, the light receiving sensor side receives the reflected light at the light receiving timings shifted by 0 °, 90 °, 180 °, and 270 ° based on the irradiation timing of the irradiation light. A method of calculating the distance to an object by using four phase images detected in four different phases with respect to the irradiation timing of the irradiation light is called a 4 Phase method or the like.

　一方、１画素に第１タップと第２タップの２つの電荷蓄積部を有し、第１タップと第２タップとに交互に受光電荷を振り分けることで、１枚の位相画像で位相が反転した２つの位相を検出することができるので、２枚の位相画像を用いて物体までの距離を算出する２Phase方式と呼ばれるものもある。On the other hand, one pixel has two charge storage portions, a first tap and a second tap, and by alternately distributing the received charge to the first tap and the second tap, the phase is inverted in one phase image. Since two phases can be detected, there is also a method called a 2-phase method in which the distance to an object is calculated using two phase images.

　２Phase方式は、４Phase方式の半分の枚数の位相画像で距離を算出できるメリットがある反面、各画素の２つの電荷蓄積部である第１タップと第２タップには、タップ間の特性ばらつき（タップ間の感度差）が存在するため、タップ間の特性ばらつきを補正することが必要である。The 2Phase method has the advantage that the distance can be calculated with half the number of phase images of the 4Phase method, but the characteristics of the first tap and the second tap, which are the two charge storage units of each pixel, vary between taps (tap). Since there is a sensitivity difference between taps), it is necessary to correct the characteristic variation between taps.

　例えば、特許文献１には、事前計測により各タップのオフセットを算出し、距離算出の誤差を低減する手法が提案されている。For example,Patent Document 1 proposes a method of calculating the offset of each tap by pre-measurement to reduce the error of distance calculation.

特開２０１９－１９１１１８号公報Japanese Unexamined Patent Publication No. 2019-191118

　しかしながら、特許文献１に開示に手法では、タップ間の特性ばらつきを補正する補正式が、受光波形の振幅が小さいときには０に近い値で除算する式となり、計算安定性やノイズ耐性に十分とは言えなかった。However, in the method disclosed inPatent Document 1, the correction formula for correcting the characteristic variation between taps is a formula for dividing by a value close to 0 when the amplitude of the received light waveform is small, which is sufficient for calculation stability and noise immunity. I could not say.

　本技術は、このような状況に鑑みてなされたものであり、１画素に２つの電荷蓄積部を備える受光センサにおいて、より適切にタップ間の特性ばらつきを補正できるようにするものである。This technology was made in view of such a situation, and makes it possible to more appropriately correct the characteristic variation between taps in a light receiving sensor having two charge storage units in one pixel.

　本技術の第１の側面の信号処理装置は、所定の発光源から照射された照射光が物体で反射されて返ってきた反射光を受光する画素で得られた画素データに基づいて、前記物体までの距離を算出する処理を行う信号処理部を備え、前記信号処理部は、前記照射光の発光波形の形状と前記画素の露光波形の形状とに応じた輝度モデルに基づいて、前記画素の第１電荷検出部と第２電荷検出部との特性を補正する補正パラメータを算出する特性計算部を有する。The signal processing device on the first aspect of the present technology is based on the pixel data obtained by the pixels that receive the reflected light that is reflected by the object and returned by the irradiation light emitted from the predetermined light emitting source. A signal processing unit that performs processing for calculating the distance to the It has a characteristic calculation unit that calculates correction parameters that correct the characteristics of the first charge detection unit and the second charge detection unit.

　本技術の第２の側面の信号処理方法は、所定の発光源から照射された照射光が物体で反射されて返ってきた反射光を受光する画素で得られた画素データに基づいて、前記物体までの距離を算出する処理を行う信号処理装置が、前記照射光の発光波形の形状と前記画素の露光波形の形状とに応じた輝度モデルに基づいて、前記画素の第１電荷検出部と第２電荷検出部との特性を補正する補正パラメータを算出する。The signal processing method of the second aspect of the present technology is based on the pixel data obtained by the pixel that receives the reflected light that is reflected by the object and returned by the irradiation light emitted from the predetermined light emitting source. The signal processing device that performs the process of calculating the distance to 2 Calculate the correction parameter that corrects the characteristics with the charge detection unit.

　本技術の第３の側面の測距モジュールは、所定の発光源と、前記発光源から照射された照射光が物体で反射されて返ってきた反射光を受光する画素を有する測距センサとを備え、前記測距センサは、前記照射光の発光波形の形状と前記画素の露光波形の形状とに応じた輝度モデルに基づいて、前記画素の第１電荷検出部と第２電荷検出部との特性を補正する補正パラメータを算出する特性計算部を有する。The distance measuring module on the third side of the present technology comprises a predetermined light emitting source and a distance measuring sensor having pixels that receive the reflected light that is reflected by an object and returned from the irradiation light emitted from the light emitting source. The distance measuring sensor includes a first charge detection unit and a second charge detection unit of the pixel based on a luminance model corresponding to the shape of the emission waveform of the irradiation light and the shape of the exposure waveform of the pixel. It has a characteristic calculation unit that calculates correction parameters for correcting characteristics.

　本技術の第１乃至第３の側面においては、照射光の発光波形の形状と画素の露光波形の形状とに応じた輝度モデルに基づいて、画素の第１電荷検出部と第２電荷検出部との特性を補正する補正パラメータが算出される。In the first to third aspects of the present technology, the first charge detection unit and the second charge detection unit of the pixel are based on the luminance model according to the shape of the emission waveform of the irradiation light and the shape of the exposure waveform of the pixel. A correction parameter that corrects the characteristics of and is calculated.

　信号処理装置及び測距モジュールは、独立した装置であっても良いし、他の装置に組み込まれるモジュールであっても良い。The signal processing device and the ranging module may be independent devices or may be modules incorporated in other devices.

本技術を適用した測距モジュールの概略構成例を示すブロック図である。It is a block diagram which shows the schematic structure example of the distance measurement module to which this technology is applied.受光部の詳細構成例を示すブロック図である。It is a block diagram which shows the detailed configuration example of a light receiving part.画素の動作を説明する図である。It is a figure explaining the operation of a pixel.２Phase方式と４Phase方式を説明する図である。It is a figure explaining 2Phase method and 4Phase method.２Phase方式と４Phase方式を説明する図である。It is a figure explaining 2Phase method and 4Phase method.２Phase方式と４Phase方式を説明する図である。It is a figure explaining 2Phase method and 4Phase method.信号処理部の第１構成例を示すブロック図である。It is a block diagram which shows the 1st structural example of a signal processing part.モデル決定部が決定する輝度モデルの例を示す図である。It is a figure which shows the example of the luminance model which a model determination part determines.輝度モデルを三角波であると仮定した場合の輝度関数の概念図である。It is a conceptual diagram of the luminance function when it is assumed that the luminance model is a triangular wave.輝度モデルを三角波であると仮定した場合に信号補正部が行う補正処理の概念図である。It is a conceptual diagram of the correction processing performed by the signal correction unit when it is assumed that the luminance model is a triangular wave.輝度モデルをｓｉｎ波であると仮定した場合の輝度関数の概念図である。It is a conceptual diagram of the luminance function when it is assumed that the luminance model is a sine wave.輝度モデルをｓｉｎ波であると仮定した場合に信号補正部が行う補正処理の概念図である。It is a conceptual diagram of the correction processing performed by the signal correction unit when it is assumed that the luminance model is a sine wave.高調波の輝度モデルを学習する学習処理を説明する図である。It is a figure explaining the learning process which learns the luminance model of a harmonic.第２の評価関数L_２を求める演算の概念図である。It is a conceptual diagram of the operation which obtains the 2nd evaluation function L_2.測距モジュールによる測定処理を説明するフローチャートである。It is a flowchart explaining the measurement process by a distance measurement module.図１５のステップＳ２で実行される、補正パラメータ推定処理の詳細なフローチャートである。It is a detailed flowchart of the correction parameter estimation process executed in step S2 of FIG.図１５のステップＳ３で実行される、２Phase方式による距離測定処理の詳細なフローチャートである。It is a detailed flowchart of the distance measurement process by the 2 Phase method executed in step S3 of FIG.機械学習を用いてオフセットとゲインを算出する処理のフローチャートである。It is a flowchart of the process of calculating offset and gain using machine learning.信号処理部の第２構成例を示すブロック図である。It is a block diagram which shows the 2nd structural example of a signal processing part.信号処理部の第２構成例を採用した場合における測距モジュールの測定処理のフローチャートである。It is a flowchart of the measurement process of the distance measurement module in the case of adopting the 2nd configuration example of the signal processing unit.信号処理部の第３構成例を示すブロック図である。It is a block diagram which shows the 3rd structural example of a signal processing part.評価部による固定パターンノイズ評価処理を説明する図である。It is a figure explaining the fixed pattern noise evaluation process by an evaluation part.信号処理部の第３構成例を採用した場合における測距モジュールの測定処理のフローチャートである。It is a flowchart of the measurement process of the distance measurement module in the case of adopting the 3rd configuration example of the signal processing unit.図２３のステップＳ１０５で実行される固定パターンノイズ評価処理の詳細なフローチャートである。It is a detailed flowchart of the fixed pattern noise evaluation process executed in step S105 of FIG.測距センサのチップ構成例を示す斜視図である。It is a perspective view which shows the chip structure example of the distance measuring sensor.測距モジュールを搭載した電子機器としてのスマートフォンの構成例を示すブロック図である。It is a block diagram which shows the configuration example of a smartphone as an electronic device equipped with a distance measurement module.車両制御システムの概略的な構成の一例を示すブロック図である。It is a block diagram which shows an example of the schematic structure of a vehicle control system.車外情報検出部及び撮像部の設置位置の一例を示す説明図である。It is explanatory drawing which shows an example of the installation position of the vehicle exterior information detection unit and the image pickup unit.

　以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．測距モジュールの概略構成例
２．Indirect ToF方式の距離算出原理
３．信号処理部の第１構成例
４．輝度波形を三角波とした場合の補正パラメータ算出処理
５．輝度波形をｓｉｎ波とした場合の補正パラメータ算出処理
６．輝度波形を高調波とした場合の補正パラメータ算出処理
７．測距モジュールによる測定処理のフローチャート
８．信号処理部の第２構成例
９．第２構成例を用いた測定処理のフローチャート
１０．信号処理部の第３構成例
１１．第３構成例を用いた測定処理のフローチャート
１２．測距センサのチップ構成例
１３．電子機器の構成例
１４．移動体への応用例Hereinafter, embodiments for carrying out the present technology (hereinafter referred to as embodiments) will be described. The explanation will be given in the following order.
1. 1. Schematic configuration example of the rangingmodule 2. Indirect To F method distance calculation principle 3. First configuration example ofsignal processing unit 4. 4. Correction parameter calculation process when the luminance waveform is a triangular wave. Correction parameter calculation process when the luminance waveform is a sine wave 6. Correction parameter calculation process when the luminance waveform is a harmonic 7. Flowchart of measurement process bydistance measurement module 8. Second configuration example of the signal processing unit 9. Flowchart of measurement processing using the second configuration example 10. Third configuration example of thesignal processing unit 11. Flowchart of measurement processing using the third configuration example 12. Example of chip configuration ofdistance measuring sensor 13. Configuration example ofelectronic device 14. Application example to mobile

＜１．測距モジュールの概略構成例＞
　図１は、本技術を適用した測距モジュールの概略構成例を示すブロック図である。<1. Schematic configuration example of ranging module>
FIG. 1 is a block diagram showing a schematic configuration example of a distance measuring module to which the present technology is applied.

　図１に示される測距モジュール１１は、Indirect ToF方式による測距を行う測距モジュールであり、発光部１２、および、測距センサ１３を有する。測距モジュール１１は、物体に対して光を照射し、その光（照射光）が物体で反射されてきた光（反射光）を受光することにより、物体までの距離情報としてのデプスマップを生成して出力する。測距センサ１３は、制御部１４、受光部１５、および、信号処理部１６で構成されている。Thedistance measurement module 11 shown in FIG. 1 is a distance measurement module that performs distance measurement by the Indirect ToF method, and has alight emitting unit 12 and adistance measurement sensor 13. The rangingmodule 11 irradiates an object with light, and the light (irradiation light) receives the light (reflected light) reflected by the object to generate a depth map as distance information to the object. And output. Thedistance measuring sensor 13 includes acontrol unit 14, alight receiving unit 15, and asignal processing unit 16.

　発光部１２は、例えば、VCSEL（Vertical Cavity Surface Emitting Laser：垂直共振器面発光レーザ)を平面状に複数配列したVCSELアレイを発光源として含み、制御部１４から供給される発光制御信号に応じたタイミングで変調しながら発光し、物体に対して照射光を照射する。Thelight emitting unit 12 includes, for example, a VCSEL array in which a plurality of VCSELs (Vertical Cavity Surface Emitting Lasers) are arranged in a plane in a plane as a light emitting source, and responds to a light emitting control signal supplied from thecontrol unit 14. It emits light while being modulated at the timing, and irradiates the object with irradiation light.

　制御部１４は、測距モジュール１１全体の動作を制御する。例えば、制御部１４は、所定の周波数（例えば、200MHzなど）の発光制御信号を発光部１２に供給することにより、発光部１２を制御する。また、制御部１４は、発光部１２における発光のタイミングに合わせて受光部１５を駆動させるために、発光制御信号を受光部１５にも供給する。Thecontrol unit 14 controls the operation of the entire rangingmodule 11. For example, thecontrol unit 14 controls thelight emitting unit 12 by supplying a light emitting control signal of a predetermined frequency (for example, 200 MHz or the like) to thelight emitting unit 12. Further, thecontrol unit 14 also supplies a light emission control signal to thelight receiving unit 15 in order to drive thelight receiving unit 15 in accordance with the timing of light emission in thelight emitting unit 12.

　受光部１５は、詳細は図２を参照して後述するが、複数の画素３１が２次元配置された画素アレイ３２で、物体からの反射光を受光する。そして、受光部１５は、受光した反射光の受光量に応じた検出信号で構成される画素データを、画素アレイ３２の画素３１単位で信号処理部１６に供給する。Thelight receiving unit 15 receives the reflected light from the object in the pixel array 32 in which a plurality ofpixels 31 are two-dimensionally arranged, which will be described in detail later with reference to FIG. Then, thelight receiving unit 15 supplies the pixel data composed of the detection signals according to the received amount of the received reflected light to thesignal processing unit 16 in units ofpixels 31 of the pixel array 32.

　信号処理部１６は、受光部１５から画素アレイ３２の画素３１ごとに供給される画素データに基づいて、測距モジュール１１から物体までの距離であるデプス値を算出し、各画素３１の画素値としてデプス値が格納されたデプスマップを生成して、モジュール外へ出力する。Thesignal processing unit 16 calculates a depth value, which is the distance from thedistance measuring module 11 to the object, based on the pixel data supplied from thelight receiving unit 15 for eachpixel 31 of the pixel array 32, and the pixel value of eachpixel 31. Generates a depth map in which the depth value is stored as, and outputs it to the outside of the module.

＜２．Indirect ToF方式の距離算出原理＞
　次に、受光部１５の詳細構成例を説明しながら、Indirect ToF方式の距離算出原理について説明する。<2. Indirect To F method distance calculation principle>
Next, the distance calculation principle of the Indirect ToF method will be described while explaining a detailed configuration example of thelight receiving unit 15.

　図２は、受光部１５の詳細構成例を示すブロック図である。FIG. 2 is a block diagram showing a detailed configuration example of thelight receiving unit 15.

　受光部１５は、受光した光量に応じた電荷を生成し、その電荷に応じた検出信号を出力する画素３１が行方向および列方向の行列状に２次元配置された画素アレイ３２と、画素アレイ３２の周辺領域に配置された駆動制御回路３３とを有する。Thelight receiving unit 15 generates a charge corresponding to the amount of received light, and a pixel array 32 and a pixel array in whichpixels 31 that output a detection signal corresponding to the charge are two-dimensionally arranged in a matrix in the row direction and the column direction. It has adrive control circuit 33 arranged in a peripheral region of 32.

　駆動制御回路３３は、例えば、制御部１４から供給される発光制御信号などに基づいて、画素３１の駆動を制御するための制御信号（例えば、後述する振り分け信号DIMIXや、選択信号ADDRESS DECODE、リセット信号RSTなど）を出力する。Thedrive control circuit 33 is, for example, a control signal for controlling the drive of thepixel 31 based on a light emission control signal supplied from thecontrol unit 14, (for example, a distribution signal DIMIX, a selection signal ADDRESS DECODE, or a reset, which will be described later). (Signal RST, etc.) is output.

　画素３１は、受光した光量に応じた電荷を生成する光電変換部としてのフォトダイオード５１と、フォトダイオード５１で生成された電荷を検出する第１タップ５２A（第１の電荷検出部）および第２タップ５２B（第２の電荷検出部）とを有する。画素３１では、１つのフォトダイオード５１で発生した電荷が、第１タップ５２Aまたは第２タップ５２Bに振り分けられる。そして、フォトダイオード５１で発生した電荷のうち、第１タップ５２Aに振り分けられた電荷が信号線５３Aから検出信号Aとして出力され、第２タップ５２Bに振り分けられた電荷が信号線５３Bから検出信号Bとして出力される。Thepixel 31 includes aphotodiode 51 as a photoelectric conversion unit that generates an electric charge according to the amount of received light, afirst tap 52A (first charge detecting unit) that detects the electric charge generated by thephotodiode 51, and a second. It has atap 52B (second charge detection unit). In thepixel 31, the electric charge generated by onephotodiode 51 is distributed to thefirst tap 52A or thesecond tap 52B. Then, of the charges generated by thephotodiode 51, the charges distributed to thefirst tap 52A are output as a detection signal A from thesignal line 53A, and the charges distributed to thesecond tap 52B are detected signals B from thesignal line 53B. Is output as.

　第１タップ５２Aは、転送トランジスタ４１A、FD（Floating Diffusion）部４２A、選択トランジスタ４３A、およびリセットトランジスタ４４Aにより構成される。同様に、第２タップ５２Bは、転送トランジスタ４１B、FD部４２B、選択トランジスタ４３B、およびリセットトランジスタ４４Bにより構成される。Thefirst tap 52A is composed of atransfer transistor 41A, an FD (Floating Diffusion)unit 42A, aselection transistor 43A, and areset transistor 44A. Similarly, thesecond tap 52B is composed of atransfer transistor 41B, anFD unit 42B, aselection transistor 43B, and areset transistor 44B.

　発光部１２から、例えば、図３に示されるような、照射時間Ｔで照射のオン／オフを繰り返すように変調（１周期＝２Ｔ）された照射光が出力され、物体までの距離に応じた遅延時間ΔTだけ遅れて、フォトダイオード５１において反射光が受光される。反射光の波形は、物体までの距離に応じた位相（遅延時間ΔT）の遅れ以外は、照射光の発光波形と同じであるとする。Irradiation light modulated (1 cycle = 2T) so as to repeat irradiation on / off at irradiation time T is output from thelight emitting unit 12, for example, as shown in FIG. 3, depending on the distance to the object. The reflected light is received by thephotodiode 51 with a delay time ΔT. It is assumed that the waveform of the reflected light is the same as the emission waveform of the irradiation light except for the delay of the phase (delay time ΔT) according to the distance to the object.

　振り分け信号DIMIX_Aは、転送トランジスタ４１Aのオン／オフを制御し、振り分け信号DIMIX_Bは、転送トランジスタ４１Bのオン／オフを制御する。図３の振り分け信号DIMIX_Aは、照射光と同一位相の信号であり、振り分け信号DIMIX_Bは、振り分け信号DIMIX_Aを反転した位相となっている。The distribution signal DIMIX_A controls the on / off of thetransfer transistor 41A, and the distribution signal DIMIX_B controls the on / off of thetransfer transistor 41B. The distribution signal DIMIX_A in FIG. 3 is a signal having the same phase as the irradiation light, and the distribution signal DIMIX_B has a phase in which the distribution signal DIMIX_A is inverted.

　従って、図２において、フォトダイオード５１が反射光を受光することにより発生する電荷は、振り分け信号DIMIX_Aに従って転送トランジスタ４１Aがオンとなっている間ではFD部４２Aに転送され、振り分け信号DIMIX_Bに従って転送トランジスタ４１Bがオンとなっている間ではFD部４２Bに転送される。これにより、照射時間Ｔの照射光の照射が周期的に行われる所定の期間において、転送トランジスタ４１Aを介して転送された電荷はFD部４２Aに順次蓄積され、転送トランジスタ４１Bを介して転送された電荷はFD部４２Bに順次蓄積される。Therefore, in FIG. 2, the electric charge generated by thephotodiode 51 receiving the reflected light is transferred to theFD unit 42A according to the distribution signal DIMIX_A while thetransfer transistor 41A is on, and is transferred to the transfer transistor according to the distribution signal DIMIX_B. While 41B is on, it is transferred to theFD unit 42B. As a result, the electric charges transferred via thetransfer transistor 41A are sequentially accumulated in theFD section 42A and transferred via thetransfer transistor 41B during a predetermined period in which the irradiation light of the irradiation time T is periodically irradiated. The electric charge is sequentially accumulated in theFD unit 42B.

　そして、電荷を蓄積する期間の終了後、選択信号ADDRESS DECODE_Aに従って選択トランジスタ４３Aがオンとなると、FD部４２Aに蓄積されている電荷が信号線５３Aを介して読み出され、その電荷量に応じた検出信号Aが受光部１５から出力される。同様に、選択信号ADDRESS DECODE_Bに従って選択トランジスタ４３Bがオンとなると、FD部４２Bに蓄積されている電荷が信号線５３Bを介して読み出され、その電荷量に応じた検出信号Bが受光部１５から出力される。また、FD部４２Aに蓄積されている電荷は、リセット信号RST_Aに従ってリセットトランジスタ４４Aがオンになると排出され、FD部４２Bに蓄積されている電荷は、リセット信号RST_Bに従ってリセットトランジスタ４４Bがオンになると排出される。Then, when theselection transistor 43A is turned on according to the selection signal ADDRESS DECODE_A after the period for accumulating the electric charge, the electric charge accumulated in theFD unit 42A is read out via thesignal line 53A and corresponds to the amount of the electric charge. The detection signal A is output from thelight receiving unit 15. Similarly, when theselection transistor 43B is turned on according to the selection signal ADDRESS DECODE_B, the electric charge accumulated in theFD unit 42B is read out via thesignal line 53B, and the detection signal B corresponding to the amount of the electric charge is transmitted from thelight receiving unit 15. It is output. Further, the electric charge stored in theFD section 42A is discharged when thereset transistor 44A is turned on according to the reset signal RST_A, and the electric charge stored in theFD section 42B is discharged when thereset transistor 44B is turned on according to the reset signal RST_B. Will be done.

　このように、画素３１は、フォトダイオード５１が受光した反射光により発生する電荷を、遅延時間ΔTに応じて第１タップ５２Aまたは第２タップ５２Bに振り分けて、検出信号Aおよび検出信号Bを画素データとして出力する。In this way, thepixel 31 distributes the electric charge generated by the reflected light received by thephotodiode 51 to thefirst tap 52A or thesecond tap 52B according to the delay time ΔT, and outputs the detection signal A and the detection signal B to the pixels. Output as data.

　信号処理部１６は、各画素３１から画素データとして供給される検出信号Aおよび検出信号Bに基づき、デプス値を算出する。デプス値を算出する方式としては、２種類の位相の検出信号を用いる２Phase方式と、４種類の位相の検出信号を用いる４Phase方式とがある。Thesignal processing unit 16 calculates the depth value based on the detection signal A and the detection signal B supplied as pixel data from eachpixel 31. As a method for calculating the depth value, there are a 2Phase method using two types of phase detection signals and a 4Phase method using four types of phase detection signals.

　２Phase方式と、４Phase方式とについて説明する。The 2Phase method and the 4Phase method will be explained.

　４Phase方式では、受光部１５は、図４に示されるように、照射光の照射タイミングを基準に、位相を０°、９０°、１８０°、および、２７０°だけずらした受光タイミングで反射光を受光（露光）する。より具体的には、受光部１５は、あるフレーム期間では、照射光の照射タイミングに対して位相を０°にして受光し、次のフレーム期間では、位相を９０°にして受光し、次のフレーム期間では、位相を１８０°にして受光し、次のフレーム期間では、位相を２７０°にして受光する、というように、時分割で位相を変えて反射光を受光する。In the 4Phase method, as shown in FIG. 4, thelight receiving unit 15 transmits the reflected light at the light receiving timings shifted by 0 °, 90 °, 180 °, and 270 ° with respect to the irradiation timing of the irradiation light. Receive light (exposure). More specifically, thelight receiving unit 15 receives light with the phase set to 0 ° with respect to the irradiation timing of the irradiation light in a certain frame period, and receives light with the phase set to 90 ° in the next frame period. In the frame period, the phase is set to 180 ° to receive light, and in the next frame period, the phase is set to 270 ° to receive light.

　このように、照射光の照射タイミングを基準として予め設定した受光タイミングの位相を、設定位相と呼ぶことにする。なお、設定位相０°、９０°、１８０°、または、２７０°は、特に言及しない限り、画素３１の第１タップ５２Aにおける設定位相を表す。第２タップ５２Bは、第１タップ５２Aとは反転した位相となるので、第１タップ５２Aが０°、９０°、１８０°、または、２７０°の設定位相のとき、第２タップ５２Bは、それぞれ、１８０°、２７０°、０°、または、９０°の設定位相となっている。In this way, the phase of the light receiving timing that is preset with reference to the irradiation timing of the irradiation light is referred to as the set phase. The set phase of 0 °, 90 °, 180 °, or 270 ° represents the set phase of thepixel 31 at thefirst tap 52A unless otherwise specified. Since thesecond tap 52B has a phase inverted from that of thefirst tap 52A, when thefirst tap 52A has a set phase of 0 °, 90 °, 180 °, or 270 °, thesecond tap 52B has a phase opposite to that of thefirst tap 52A, respectively. , 180 °, 270 °, 0 °, or 90 °.

　図５は、０°、９０°、１８０°、および、２７０°の各設定位相における画素３１の第１タップ５２Aの露光期間を、設定位相の違いが分かり易いように並べて示した図である。FIG. 5 is a diagram showing the exposure periods of thefirst tap 52A of thepixel 31 in each set phase of 0 °, 90 °, 180 °, and 270 ° side by side so that the difference in the set phase can be easily understood.

　図５に示されるように、反射光は、受光部１５において、物体までの距離に応じた時間ΔTだけ、照射光の照射タイミングから位相が遅れた状態で受光される。この物体までの距離に応じて発生する位相差を、設定位相と区別して、距離位相とも称する。As shown in FIG. 5, the reflected light is received by thelight receiving unit 15 in a state in which the phase is delayed from the irradiation timing of the irradiation light by the time ΔT corresponding to the distance to the object. The phase difference generated according to the distance to the object is also referred to as a distance phase to distinguish it from the set phase.

　第１タップ５２Aにおいて、照射光と同一の設定位相（設定位相０°）で受光して得られる検出信号Ｉ_Ａを検出信号Ｉ_Ａ（０）、照射光と９０度ずらした設定位相（設定位相９０°）で受光して得られる検出信号Ｉ_Ａを検出信号Ｉ_Ａ（９０）、照射光と１８０度ずらした設定位相（設定位相１８０°）で受光して得られる検出信号Ｉ_Ａを検出信号Ｉ_Ａ（１８０）、照射光と２７０度ずらした設定位相（設定位相２７０°）で受光して得られる検出信号Ｉ_Ａを検出信号Ｉ_Ａ（２７０）、と呼ぶことにする。In thefirst tap 52A, the detection signal obtained by receiving the irradiation light and the same phase setting (setphase 0 °) I_A detection signal I_{A (0),} the irradiation light 90 degrees shifted by the set phase (phase setting 90 detection signal_I a (90 a detection signal_{I a} obtained by receiving in °)), the detection signal of the detection signals_{I a} obtained by receiving the irradiation light 180 degrees shifted by the set phase (phase setting 180 °) I_a (180), the detection signal_I a (270) a detection signal_{I a} obtained by receiving the irradiation light and the 270-degree shifted by the set phase (phase setting 270 °), is referred to as.

　また、図示は省略するが、第２タップ５２Bにおいて、照射光と同一の設定位相（設定位相０°）で受光して得られる検出信号Ｉ_Ｂを検出信号Ｉ_Ｂ（０）、照射光と９０度ずらした設定位相（設定位相９０°）で受光して得られる検出信号Ｉ_Ｂを検出信号Ｉ_Ｂ（９０）、照射光と１８０度ずらした設定位相（設定位相１８０°）で受光して得られる検出信号Ｉ_Ｂを検出信号Ｉ_Ｂ（１８０）、照射光と２７０度ずらした設定位相（設定位相２７０°）で受光して得られる検出信号Ｉ_Ｂを検出信号Ｉ_Ｂ（２７０）、と呼ぶことにする。Although not shown, thesecond tap 52B, detection signal I_{B (0)} to detection signals I_B obtained by receiving the same phase setting and illumination light (setphase 0 °), theirradiation light 90 detection signal a detection signal I_B obtained by receiving in degrees staggered phase setting (set phase_{90 °) I B (90)} , is received by the irradiation light 180 degrees shifted by the set phase (phase setting 180 °) to give detection signal_I B a detection signal_{I B} to be (180), the detection signal_I B a detection signal_{I B} obtained by receiving the irradiation light and the 270-degree shifted by the set phase (phase setting 270 °) (270), referred to as I will decide.

　図５は、２Phase方式と４Phase方式によるデプス値dの算出方法を説明する図である。FIG. 5 is a diagram illustrating a method of calculating the depth value d by the 2Phase method and the 4Phase method.

　Indirect ToF方式において、デプス値dは、次式（１）で求めることができる。

　式（１）のｃは光速であり、ΔTは遅延時間であり、fは光の変調周波数を表す。また、式（１）のφは、反射光の位相ずれ量[rad]、すなわち距離位相を表し、次式（２）で表される。

In the Indirect ToF method, the depth value d can be obtained by the following equation (1).

In equation (1), c is the speed of light, ΔT is the delay time, and f is the modulation frequency of light. Further, φ in the equation (1) represents the phase shift amount [rad] of the reflected light, that is, the metric phase, and is represented by the following equation (2).

　４Phase方式では、式（２）のI,Qが、設定位相０°、９０°、１８０°、および２７０°で得られた検出信号Ｉ_Ａ（０）乃至Ｉ_Ａ（２７０）および検出信号Ｉ_Ｂ（０）乃至Ｉ_Ｂ（２７０）を用いて、次式（３）で計算される。I,Qは、照射光の輝度変化をsin波と仮定し、sin波の位相を極座標から直交座標系（IQ平面）に変換した信号である。
　I＝ｃ_０－ｃ_１８０
　　　＝（Ｉ_Ａ（０）－Ｉ_Ｂ（０））－（Ｉ_Ａ（１８０）－Ｉ_Ｂ（１８０））
　Q＝ｃ_９０－ｃ_２７０
　　　＝（Ｉ_Ａ（９０）－Ｉ_Ｂ（９０））－（Ｉ_Ａ（２７０）－Ｉ_Ｂ（２７０））　　・・・・・・・・・・（３）In 4Phase method, I of equation (2), Q is setphase 0 °, 90 °, 180 °, and 270 detect signals_I A (0) obtained in ° to_I A (270) and the detection signal_{I B} (0) through using_I B (270), is calculated by the following formula (3). I and Q are signals obtained by converting the phase of the sine wave from polar coordinates to a Cartesian coordinate system (IQ plane), assuming that the change in brightness of the irradiation light is a sine wave.
I = c_0- c_{180
= (I A (0) -I} B (0)) - (I A (180) -I B (180))
Q = c_90- c_{270
= (I A (90) -I} B (90)) - (I A (270) -I B (270)) ·········· (3)

　４Phase方式では、例えば、式（３）の“Ｉ_Ａ（０）－Ｉ_Ａ（１８０）”や“Ｉ_Ａ（９０）－Ｉ_Ａ（２７０）”のように、同じ画素での逆位相の検出信号の差分を取ることで、各画素に存在するタップ間の特性ばらつき、すなわち、固定パターンノイズを除去することができる。In 4Phase method, for example, of the formula_{(3) "I A (0} ) -I A (180)" Ya_{"I A (90) -I A} (270)" as the detection of anti-phase at the same pixel By taking the difference between the signals, it is possible to remove the characteristic variation between the taps existing in each pixel, that is, the fixed pattern noise.

　一方、２Phase方式では、設定位相０°、９０°、１８０°、および２７０°で得られた検出信号Ｉ_Ａ（０）乃至Ｉ_Ａ（２７０）および検出信号Ｉ_Ｂ（０）乃至Ｉ_Ｂ（２７０）のうち、直交関係にある２つの設定位相のみを用いて、物体までのデプス値dを求めることができる。例えば、設定位相０°の検出信号Ｉ_Ａ（０）およびＩ_Ｂ（０）と、設定位相９０°の検出信号Ｉ_Ａ（９０）およびＩ_Ｂ（９０）を用いた場合、式（２）のI,Qは次式（４）となる。
　I＝ｃ_０－ｃ_１８０＝（Ｉ_Ａ（０）－Ｉ_Ｂ（０））
　Q＝ｃ_９０－ｃ_２７０＝（Ｉ_Ａ（９０）－Ｉ_Ｂ（９０））　　・・・・・・・・・・（４）On the other hand, in the 2Phase method, setting thephase 0 °, 90 °, 180 °, and 270 detect signals_I A (0) obtained in ° to_I A (270) and the detection signal_I B (0) to_I B (270 ), The depth value d to the object can be obtained by using only two set phases that are orthogonal to each other. For example, when used with theset phase 0 ° of the detection signals_I A (0) and_I B (0), setting thephase 90 ° of the detection signals_I A (90) and_I B (90), formula (2) I and Q are given by the following equation (4).
_{I = c 0 -c 180 = (} I A (0) -I B (0))
_{Q = c 90 -c 270 = (} I A (90) -I B (90)) ·········· (4)

　例えば、設定位相１８０°の検出信号Ｉ_Ａ（１８０）およびＩ_Ｂ（１８０）と、設定位相２７０°の検出信号Ｉ_Ａ（２７０）およびＩ_Ｂ（２７０）を用いた場合、式（２）のI,Qは次式（５）となる。
　I＝ｃ_０－ｃ_１８０＝－（Ｉ_Ａ（１８０）－Ｉ_Ｂ（１８０））
　Q＝ｃ_９０－ｃ_２７０＝－（Ｉ_Ａ（２７０）－Ｉ_Ｂ（２７０））　　・・・・・・・（５）For example, when used with theset phase 180 ° of the detection signals_I A (180) and_I B (180), sets thephase 270 ° of the detection signals_I A (270) and_I B (the 270), formula (2) I and Q are given by the following equation (5).
_{I = c 0 -c 180 = -} (I A (180) -I B (180))
_{Q = c 90 -c 270 = -} (I A (270) -I B (270)) ······· (5)

　２Phase方式では、各画素に存在するタップ間の特性ばらつきは除去することができないが、２つの設定位相の検出信号のみで物体までのデプス値dを求めることができるので、４Phase方式の２倍のフレームレートで測距を行うことができる。In the 2Phase method, the characteristic variation between taps existing in each pixel cannot be removed, but the depth value d to the object can be obtained only from the detection signals of the two set phases, which is twice that of the 4Phase method. Distance measurement can be performed at the frame rate.

　換言すれば、各画素に存在するタップ間の特性ばらつきを適正に補正することができれば、２Phase方式を採用することで、物体までの距離を正確かつ高速に測定することができる。In other words, if the characteristic variation between taps existing in each pixel can be properly corrected, the distance to the object can be measured accurately and at high speed by adopting the 2Phase method.

　タップ間の特性ばらつきを補正する手法として、例えば、タップ間の特性ばらつきを補正する補正パラメータとして、オフセットc₀とゲインc₁とを仮定して、オフセットc₀とゲインc₁を最小二乗法により算出する方法がある。As a method for correcting the characteristic variation between taps, for example, assuming an offset c₀ and a gain c₁ as correction parameters for correcting the characteristic variation between taps, the offset c₀ and the gain c₁ are set by the least squares method. There is a way to calculate.

　具体的には、各画素２１の第１タップ３２Aと第２タップ３２Bの受光期間は、１８０°位相がずれていることから、オフセットc₀とゲインc₁と、検出信号Ｉ_Ａ（０）乃至Ｉ_Ａ（２７０）および検出信号Ｉ_Ｂ（０）乃至Ｉ_Ｂ（２７０）との間には、理想条件では以下の関係が成り立つ。
　　Ｉ_Ａ（０） = c₀+ c₁・Ｉ_Ｂ（１８０）
　　Ｉ_Ａ（９０） = c₀+ c₁・Ｉ_Ｂ（２７０）
　　Ｉ_Ａ（１８０） = c₀+ c₁・Ｉ_Ｂ（０）
　　Ｉ_Ａ（２７０） = c₀+ c₁・Ｉ_Ｂ（９０）　　　　　・・・・・（６）Specifically, the light receiving period of the first tap 32A and the second tap 32B of each pixel 21, since it is 180 ° out of phase, and offset c₀ and the gain c_1, detection signal I_{A (0)} to between the I_a (270) and the detection signal_I B (0) to_I B (270), the following relationship holds in the ideal conditions.
_{I A (0) = c 0} +c 1 · I B (180)
_{I A (90) = c 0} +c 1 · I B (270)
_{I A (180) = c 0} +c 1 · I B (0)
_{I A (270) = c 0} +c 1 · I B (90) ····· (6)

　行列A、ｘ、およびｙを、

と置くと、式（６）は、ｙ＝Aｘと表現することができるので、最小二乗法により、次式（７）により、行列ｘ、すなわち、オフセットc₀とゲインc₁を算出することができる。

The matrices A, x, and y,

Then, since the equation (6) can be expressed as y = Ax, the matrix x, that is, the offset c₀ and the gain c₁ can be calculated by the least squares method and the following equation (7). can.

　しかしながら、式（７）の分母に、以下の式（８）が出現するところ、式（８）の値は、照射タイミングを制御する照射光の発光波形の振幅が小さい場合に限りなくゼロに近づく値となる。例えば、発光波形の振幅が１／１００になると、式（８）の値は、およそ１／８０００になる。そのため、反射率の低い物体や、遠方の物体、または、消費電力低減のため発光量を小さくした場合などに、オフセットc₀とゲインc₁の算出が不安定となる。

However, when the following equation (8) appears in the denominator of the equation (7), the value of the equation (8) approaches zero as much as possible when the amplitude of the emission waveform of the irradiation light that controls the irradiation timing is small. It becomes a value. For example, when the amplitude of the emission waveform becomes 1/100, the value of the equation (8) becomes about 1/8000. Therefore, the calculation_{of the offset c 0} and the gain c₁ becomes unstable when the reflectance is low, the object is far away, or the amount of light emitted is reduced to reduce power consumption.

　そこで、図１の測距センサ１３の信号処理部１６は、タップ間の特性ばらつきをより適切に補正し、２Phase方式を用いて物体までの距離を算出する。Therefore, thesignal processing unit 16 of thedistance measuring sensor 13 in FIG. 1 more appropriately corrects the characteristic variation between taps and calculates the distance to the object using the 2Phase method.

＜３．信号処理部の第１構成例＞
　図７は、図１の測距センサ１３の信号処理部１６の第１構成例を示すブロック図である。<3. First configuration example of signal processing unit>
FIG. 7 is a block diagram showing a first configuration example of thesignal processing unit 16 of thedistance measuring sensor 13 of FIG.

　図７の信号処理部１６は、モデル決定部７１、特性計算部７２、信号補正部７３、および、距離計算部７４を備える。Thesignal processing unit 16 of FIG. 7 includes amodel determination unit 71, acharacteristic calculation unit 72, asignal correction unit 73, and adistance calculation unit 74.

　受光部１５の各画素３１で検出される輝度波形は、発光部１２が出力した照射光の発光波形と、受光部１５の各画素３１が露光（受光）を行う際の露光波形とを畳み込んだ波形となる。The luminance waveform detected by eachpixel 31 of thelight receiving unit 15 is a convolution of the emission waveform of the irradiation light output by thelight emitting unit 12 and the exposure waveform when eachpixel 31 of thelight receiving unit 15 exposes (receives light). It becomes a waveform.

　そこで、モデル決定部７１は、発光部１２が出力した照射光の発光波形の形状と、受光部１５の各画素３１が露光（受光）を行う際の露光波形の形状とを仮定して（予測して）、受光部１５で観測される輝度波形のモデル（輝度モデル）を決定する。Therefore, themodel determination unit 71 assumes (predicts) the shape of the emission waveform of the irradiation light output by thelight emitting unit 12 and the shape of the exposure waveform when eachpixel 31 of thelight receiving unit 15 exposes (receives light). Then, a model (luminance model) of the brightness waveform observed by thelight receiving unit 15 is determined.

　図８は、モデル決定部７１が決定する輝度モデルの例を示している。FIG. 8 shows an example of a luminance model determined by themodel determination unit 71.

　例えば、モデル決定部７１は、図３に示されるように、第１の輝度モデル（モデル１）として、照射光の発光波形の形状として矩形波を仮定し、露光波形の形状として矩形波を仮定し、受光部１５で観測される輝度波形が三角波であると仮定する。For example, as shown in FIG. 3, themodel determination unit 71 assumes a square wave as the shape of the emission waveform of the irradiation light and assumes a square wave as the shape of the exposure waveform as the first luminance model (model 1). Then, it is assumed that the luminance waveform observed by thelight receiving unit 15 is a triangular wave.

　また例えば、モデル決定部７１は、第２の輝度モデル（モデル２）として、照射光の発光波形の形状としてｓｉｎ波を仮定し、露光波形の形状として矩形波を仮定し、受光部１５で観測される輝度波形がｓｉｎ波であると仮定する。Further, for example, themodel determination unit 71 assumes a sine wave as the shape of the emission waveform of the irradiation light as the second luminance model (model 2), assumes a square wave as the shape of the exposure waveform, and observes with thelight receiving unit 15. It is assumed that the luminance waveform to be generated is a sine wave.

　あるいはまた、モデル決定部７１は、照射光の発光波形の形状と、露光波形の形状が仮定できない場合、第３の輝度モデル（モデル３）として、受光部１５で観測される輝度波形が高調波であると仮定する。Alternatively, in themodel determination unit 71, when the shape of the emission waveform of the irradiation light and the shape of the exposure waveform cannot be assumed, the luminance waveform observed by thelight receiving unit 15 is a harmonic as the third luminance model (model 3). Is assumed to be.

　モデル決定部７１は、例えば、図３のような複数の輝度モデルのなかから、受光部１５で観測される輝度波形のモデルである輝度モデルを決定し、特性計算部７２へ供給する。なお、発光波形が、ユーザによる初期設定などにより既知である場合には、その設定値に基づいて、輝度モデルを決定してもよい。Themodel determination unit 71 determines a luminance model, which is a model of the luminance waveform observed by thelight receiving unit 15, from among a plurality of luminance models as shown in FIG. 3, and supplies the luminance model to thecharacteristic calculation unit 72. If the emission waveform is known by the initial setting by the user, the brightness model may be determined based on the set value.

　特性計算部７２は、発光波形の形状と露光波形の形状とに応じた輝度波形（輝度モデル）に基づいて、各画素３１のタップ間の特性ばらつきを補正する補正パラメータであるオフセットc₀とゲインc₁を算出する。算出されたオフセットc₀とゲインc₁は、信号補正部７３に供給される。_{The characteristic calculation unit 72 has offset c 0} and gain, which are correction parameters for correcting characteristic variations between taps of eachpixel 31 based on a luminance waveform (luminance model) corresponding to the shape of the emission waveform and the shape of the exposure waveform. Calculate c_1. The calculated offset c₀ and gain c₁ are supplied to thesignal correction unit 73.

　例えば、特性計算部７２は、モデル決定部７１において輝度モデルとして第１のモデルが決定された場合、輝度波形が三角波であると仮定して、補正パラメータであるオフセットc₀とゲインc₁を算出する。For example, when themodel determination unit 71 determines the first model as the luminance model, thecharacteristic calculation unit 72 calculates the offset c₀ and the gain c_{1 which are the correction parameters, assuming that the luminance waveform is a triangular wave.} do.

　また、特性計算部７２は、モデル決定部７１において輝度モデルとして第２のモデルが決定された場合、輝度波形がｓｉｎ波であると仮定して、補正パラメータであるオフセットc₀とゲインc₁を算出する。Further, when themodel determination unit 71 determines the second model as the luminance model, thecharacteristic calculation unit 72 assumes that the luminance waveform is a sine wave, and sets the offset c₀ and the gain c_{1 which are correction parameters.} calculate.

　また、特性計算部７２は、モデル決定部７１において輝度モデルとして第３のモデルが決定された場合、輝度波形が高調波であると仮定して、補正パラメータであるオフセットc₀とゲインc₁を算出する。Further, when themodel determination unit 71 determines the third model as the luminance model, thecharacteristic calculation unit 72 assumes that the luminance waveform is a harmonic and sets the offset c₀ and the gain c_{1 which are correction parameters.} calculate.

　輝度波形が三角波、ｓｉｎ波、または、高調波であると仮定された場合の補正パラメータの詳細な算出方法については後述する。The detailed calculation method of the correction parameter when the luminance waveform is assumed to be a triangular wave, a sine wave, or a harmonic wave will be described later.

　信号補正部７３は、特性計算部７２で算出されたオフセットc₀とゲインc₁を用いて、第１タップ５２Aの検出信号Ｉ_Ａ（θ）または第２タップ５２Bの検出信号Ｉ_Ｂ（θ）のいずれか一方の信号を補正する。Signal correctingunit 73 uses the offset c₀ and a gain c₁ calculated by the characteristic calculatingsection 72, the detection signal I_B of the detection signals I_{A (θ)} or thesecond tap 52B of thefirst tap 52A_(theta) Correct one of the signals.

　例えば、信号補正部７３は、上述の式（６）に従い、設定位相０°の第２タップ５２Bの検出信号Ｉ_Ｂ（０）を補正することにより、設定位相１８０°の第１タップ５２Aの検出信号Ｉ”_Ａ（１８０）を生成し、設定位相９０°の第２タップ５２Bの検出信号Ｉ_Ｂ（０）を補正することにより、設定位相２７０°の第１タップ５２Aの検出信号Ｉ”_Ａ（１８０）を生成する。なお、以下では、補正パラメータを用いて変換された検出信号I（θ）には、検出信号I”（θ）のように「”」を付けて表す。
　　Ｉ”_Ａ（１８０） = c₀+ c₁・Ｉ_Ｂ（０）
　　Ｉ”_Ａ（２７０） = c₀+ c₁・Ｉ_Ｂ（９０）For example, thesignal correcting unit 73 in accordance with the above equation (6), by correcting the detection signal_I B of thesecond tap 52B of the phase setting 0 ° (0), detection of thefirst tap 52A of the phase setting 180 ° By generating the signal I "_{A(180) and correcting the detection signal I B} (0) of thesecond tap 52B having the setphase 90 °, the_{detection signal I" A} (0) of thefirst tap 52A having theset phase 270 ° 180) is generated. In the following, the detection signal I (θ) converted using the correction parameter is represented by adding “” ”like the detection signal I” (θ).
_{I "A (180) = c} 0 +c 1 · I B (0)
_{I "A (270) = c} 0 +c 1 · I B (90)

　距離計算部７４は、直交関係にある２つの設定位相の位相画像、具体的には、信号補正部７３から供給される補正後の画素データに基づいて、２Phase方式により、物体までの距離であるデプス値を算出する。そして、距離計算部７４は、各画素３１の画素値としてデプス値が格納されたデプスマップを生成して、モジュール外へ出力する。Thedistance calculation unit 74 is the distance to the object by the 2 Phase method based on the phase images of the two set phases having an orthogonal relationship, specifically, the corrected pixel data supplied from thesignal correction unit 73. Calculate the depth value. Then, thedistance calculation unit 74 generates a depth map in which the depth value is stored as the pixel value of eachpixel 31 and outputs the depth map to the outside of the module.

　測距センサ１３の受光部１５は、設定位相を、０°、９０°、１８０°、および、２７０°に順次変更して受光してもよいし、例えば、０°と９０°の設定位相のみを交互の繰り返するような受光を行ってもよい。信号処理部１６は、隣接する２枚（２つの設定位相）の位相画像を用いて、デプスマップを生成して出力することができる。Thelight receiving unit 15 of thedistance measuring sensor 13 may sequentially change the set phase to 0 °, 90 °, 180 °, and 270 ° to receive light, and for example, only the set phases of 0 ° and 90 °. The light reception may be performed so that the above steps are alternately repeated. Thesignal processing unit 16 can generate and output a depth map using two adjacent (two set phases) phase images.

＜４．輝度波形を三角波とした場合の補正パラメータ算出処理＞
　次に、モデル決定部７１において第１のモデルが決定され、輝度モデルとして三角波が仮定された場合の特性計算部７２による補正パラメータの算出について説明する。<4. Correction parameter calculation process when the luminance waveform is a triangular wave>
Next, the calculation of the correction parameter by thecharacteristic calculation unit 72 when the first model is determined by themodel determination unit 71 and a triangular wave is assumed as the luminance model will be described.

　特性計算部７２には、受光部１５（図１）から、設定位相θを０°、９０°、１８０°、２７０°に順次設定して得られた４枚の位相画像が供給される。画素アレイ３２の各画素３１の第１タップ５２Aおよび第２タップ５２Bにおいて設定位相θで受光した反射光の検出信号Ｉ_Ａ（θ）およびＩ_Ｂ（θ）は輝度波形を表す関数に対応するので、検出信号Ｉ_Ａ（θ）およびＩ_Ｂ（θ）を、輝度関数Ｉ_Ａ（θ）およびＩ_Ｂ（θ）とも称する。Thecharacteristic calculation unit 72 is supplied with four phase images obtained by sequentially setting the set phase θ to 0 °, 90 °, 180 °, and 270 ° from the light receiving unit 15 (FIG. 1). Since the detection signal I_{A (θ)} and I_B of the reflected light received by the set phase theta in thefirst tap 52A and thesecond tap 52B of thepixels 31 of the pixel array 32_(theta) correspond to the function representing the luminance waveform , the detection signal_{I a} (θ) and_{I B} the (theta), also referred to as the intensity function_{I a} (θ) and_{I B} (theta).

　図９は、モデル決定部７１で決定された輝度モデルが第１のモデルの三角波である場合の、輝度関数Ｉ_Ａ（０）乃至Ｉ_Ａ（２７０）および輝度関数Ｉ_Ｂ（０）乃至Ｉ_Ｂ（２７０）の概念図を示している。9, when the luminance model determined by themodel determination unit 71 is a triangular wave of the first model, the intensity function_I A (0) to_I A (270) and the intensity function_I B (0) to_{I B} The conceptual diagram of (270) is shown.

　特性計算部７２は、設定位相を０°、９０°、１８０°、および、２７０°の４位相に順次設定して受光部１５で検出された各画素３１の第１タップ５２Aの輝度関数Ｉ_Ａ（０）、Ｉ_Ａ（９０）、Ｉ_Ａ（１８０）、およびＩ_Ａ（２７０）と、第２タップ５２Bの輝度関数Ｉ_Ｂ（０）、Ｉ_Ｂ（９０）、Ｉ_Ｂ（１８０）、およびＩ_Ｂ（２７０）とに基づいて、タップ間の特性ばらつきを補正する補正パラメータであるオフセットc₀とゲインc₁を算出する。Characteristic calculation unit 72, 0 ° setting phase, 90 °, 180 °, and, 270 ° of 4 luminance function_{I A} of thefirst tap 52A of eachpixel 31 is detected by thelight receiving portion 15 are sequentially set to the phase_{(0), I a (90} ), and I a (180), and_I a (270), the intensity function_I B of the second tap_{52B (0), I B (} 90), I B (180), and based on the I B_(270), calculates the offset c₀ and the gain c₁ is a correction parameter for correcting the variation in characteristics between taps.

　輝度モデルが第１のモデルの三角波である場合、第１タップ５２Aで検出される輝度関数Ｉ_Ａ（θ）は、図９に示されるような、中心center_Ａ、振幅amp_Ａ、オフセットoffset_Ａにより規定される三角波に従う。If the brightness model is a triangular wave of the first model, the intensity function I_A detected by thefirst tap 52A_(theta), such as shown in FIG. 9, the central center_A, the amplitude # 038_A, by the offset offset_A Follow the specified triangular wave.

　同様に、第２タップ５２Bで検出される輝度関数Ｉ_Ｂ（θ）は、図９に示されるような、中心center_Ｂ、振幅amp_Ｂ、オフセットoffset_Ｂにより規定される三角波に従う。Similarly, the intensity function I_B detected by thesecond tap 52B_(theta), such as shown in FIG. 9, the central center_B, the amplitude # 038_B, according to the triangular wave is defined by an offset offset_B.

　この場合、オフセットc₀とゲインc₁は、以下の式（９）および式（１０）により算出することができる。

In this case, the offset c₀ and the gain c₁ can be calculated by the following equations (9) and (10).

　ここで、第１タップ５２Aで検出される輝度関数Ｉ_Ａ（θ）の三角波の振幅amp_Ａ、および、第２タップ５２Bで検出される輝度関数Ｉ_Ｂ（θ）の三角波の振幅amp_Ｂは、例えば、文献「M. Schmidt. “Spatiotemporal Analysis of Range Imagery”. Dissertation, Department of Physics and Astronomy, University of Heidelberg, 2008.」等に記載されているように、以下の式（１１）および式（１２）により算出することができる。

Here, the amplitude # 038_A of the triangular wave of the luminance function I_A detected by thefirst tap 52A_(theta), and the amplitude # 038_B of the triangular wave of the luminance function I_B detected by thesecond tap 52B_(theta) is For example, as described in the literature "M. Schmidt." Spatiotemporal Analysis of Range Imagery ". Dissertation, Department of Physics and Astronomy, University of Heidelberg, 2008.", the following equations (11) and (12) ) Can be calculated.

　また、三角波の輝度関数Ｉ（θ）は、式（１３）で表すことができるので、θ＝０°、９０°、１８０°、または、２７０°として得られる式（１４）乃至式（１７）から、三角波の中心centerは、式（１８）で求めることができる。

Further, since the brightness function I (θ) of the triangular wave can be expressed by the equation (13), the equations (14) to (17) obtained as θ = 0 °, 90 °, 180 °, or 270 °. Therefore, the center of the triangular wave can be obtained by Eq. (18).

　したがって、第１タップ５２Aの輝度関数Ｉ_Ａ（θ）の三角波の中心center_Ａ、および、第２タップ５２Bの輝度関数Ｉ_Ｂ（θ）の三角波の中心center_Ｂは、それぞれ、式（１９）および式（２０）により算出することができる。

Thus, the triangular wave of the center center_A of the intensity function_{I A} of thefirst tap 52A (theta), and the central center_B of the triangular wave of the luminance function_{I B} of thesecond tap 52B (theta), respectively, equation (19) and It can be calculated by the formula (20).

　第１タップ５２Aの輝度関数Ｉ_Ａ（θ）の三角波のオフセットoffset_Ａ、および、第２タップ５２Bの輝度関数Ｉ_Ｂ（θ）の三角波のオフセットoffset_Ｂは、三角波の最小値に相当するので、以下のように、三角波の中心centerから振幅ampを引くことで得ることができる。
　　　offset_Ａ＝center_Ａ－amp_Ａ　　・・・・・・・・・・（２１）
　　　offset_Ｂ＝center_Ｂ－amp_Ｂ　　・・・・・・・・・・（２２）Triangular wave offset offset_A of the intensity function I_A of thefirst tap 52A_(theta), and the offset offset_B of the triangular wave of the luminance function I_B of thesecond tap 52B_(theta), so corresponds to the minimum value of the triangular wave, It can be obtained by subtracting the amplitude amp from the center center of the triangular wave as shown below.
_{offset A = center A -amp A ··········} (21)
_{offset B = center B -amp B ··········} (22)

　特性計算部７２は、輝度モデルとして三角波を仮定した場合、第１タップ５２Aで検出された輝度関数Ｉ_Ａ（θ）の三角波の振幅amp_Ａ、および、第２タップ５２Bで検出された輝度関数Ｉ_Ｂ（θ）の三角波の振幅amp_Ｂを、上述の式（１１）および式（１２）により算出し、オフセットoffset_Ａ、および、オフセットoffset_Ｂを、上述の式（２１）および式（２２）により算出する。そして、特性計算部７２は、上述の式（９）および式（１０）により、オフセットc₀とゲインc₁を算出する。Characteristic calculatingunit 72, assuming a triangular wave as a brightness model, the amplitude # 038_A of the triangular wave of the detected intensity function I_A first tap 52A_(theta), and the intensity function I detected by thesecond tap 52B_{The amplitude amp B} of the triangular wave of_B (θ) is calculated by the above equations (11) and (12), and the offset offset_{Aand the offset offset B} are calculated by the above equations (21) and (22). calculate. Then, thecharacteristic calculation unit 72 calculates the offset c₀ and the gain c₁ by the above equations (9) and (10).

　図１０は、輝度モデルを第１のモデルの三角波であると仮定した場合に、信号補正部７３が行う補正処理の概念図を示している。FIG. 10 shows a conceptual diagram of correction processing performed by thesignal correction unit 73 when the luminance model is assumed to be a triangular wave of the first model.

　信号補正部７３は、設定位相０°の第２タップ５２Bの検出信号Ｉ_Ｂ（０）をオフセットc₀とゲインc₁を用いて補正することにより、設定位相１８０°の第１タップ５２Aの検出信号Ｉ”_Ａ（１８０）を生成する。また、信号補正部７３は、設定位相９０°の第２タップ５２Bの検出信号Ｉ_Ｂ（９０）をオフセットc₀とゲインc₁を用いて補正することにより、設定位相２７０°の第１タップ５２Aの検出信号Ｉ”_Ａ（２７０）を生成する。Signal correction unit 73, by correcting using the offset c₀ and the gain c₁ a detection signal I_{B (0)} of thesecond tap 52B of the phase setting 0 °, the detection of thefirst tap 52A of the phase setting 180 ° The signal I "_A (180) is generated. Further, thesignal correction unit 73 corrects the detection signal I_B (90) of thesecond tap 52B having the set phase of 90 ° by using the_{offset c 0} and the gain c_{1.Therefore, the detection signal I "A} (270) of thefirst tap 52A having the set phase of 270 ° is generated.

　これにより、４位相の検出信号I（θ）が揃うので、式（１）、（２）、および（４）を用いて、デプス値を計算することができる。As a result, the four-phase detection signals I (θ) are aligned, so the depth value can be calculated using equations (1), (2), and (4).

＜５．輝度波形をｓｉｎ波とした場合の補正パラメータ算出処理＞
　次に、モデル決定部７１において第２のモデルが決定され、輝度モデルとしてｓｉｎ波が仮定された場合の特性計算部７２による補正パラメータの算出について説明する。<5. Correction parameter calculation process when the luminance waveform is a sine wave>
Next, the calculation of the correction parameter by thecharacteristic calculation unit 72 when the second model is determined by themodel determination unit 71 and a sine wave is assumed as the luminance model will be described.

　輝度モデルとしてｓｉｎ波が仮定された場合、振幅amp_Ａおよび振幅amp_Ｂを求める演算式が、上述した三角波の場合の式（１１）および式（１２）と異なる。具体的には、輝度モデルがｓｉｎ波の場合の振幅amp_Ａおよび振幅amp_Ｂは、以下の式（２３）および式（２４）で算出される。When a sine wave is assumed as the luminance model, the_{arithmetic expressions for obtaining the amplitude amp A} and the amplitude amp_B are different from the above-mentioned equations (11) and (12) for the triangular wave._{Specifically, the amplitude amp A} and the amplitude amp_B when the luminance model is a sine wave are calculated by the following equations (23) and (24).

　特性計算部７２は、輝度モデルとしてｓｉｎ波を仮定した場合、第１タップ５２Aで検出された輝度関数Ｉ_Ａ（θ）のｓｉｎ波の振幅amp_Ａ、および、第２タップ５２Bで検出された輝度関数Ｉ_Ｂ（θ）のｓｉｎ波の振幅amp_Ｂを、上述の式（２３）および式（２４）により算出する。Characteristic calculatingunit 72, assuming a sin wave as a brightness model, the amplitude # 038_A of sin wave of the detected intensity function I_A first tap 52A_(theta), and the luminance detected by thesecond tap 52B the amplitude # 038_B of sin wave function_{I B} (theta), is calculated by the above equation (23) and (24).

　また、特性計算部７２は、輝度関数Ｉ_Ａ（θ）のｓｉｎ波の中心center_Ａ、および、輝度関数Ｉ_Ｂ（θ）のｓｉｎ波の中心center_Ｂを、上述の式（１９）および式（２０）により算出する。さらに、特性計算部７２は、輝度関数Ｉ_Ａ（θ）のｓｉｎ波のオフセットoffset_Ａ、および、輝度関数Ｉ_Ｂ（θ）のｓｉｎ波のオフセットoffset_Ｂを、上述の式（２１）および式（２２）により算出する。そして、特性計算部７２は、上述の式（９）および式（１０）により、オフセットc₀とゲインc₁を算出する。Moreover, the characteristic calculatingsection 72, the intensity function_{I A} (theta) center center_A of sin wave, and, a central center_B of sin waves of the intensity function_{I B} (theta), the above equation (19) and ( Calculated according to 20). Furthermore,characteristic calculation unit 72, the intensity function_{I A} (theta) of the sin wave offset offset_A, and the offset offset_B of the sin wave of the intensity function_{I B} (theta), the above equation (21) and ( Calculated according to 22). Then, thecharacteristic calculation unit 72 calculates the offset c₀ and the gain c₁ by the above equations (9) and (10).

　図１１は、輝度モデルを第２のモデルのｓｉｎ波であると仮定した場合の、輝度関数Ｉ_Ａ（０）乃至Ｉ_Ａ（２７０）および輝度関数Ｉ_Ｂ（０）乃至Ｉ_Ｂ（２７０）の概念図を示している。11, assuming that the brightness model is a sin wave of the second model, the intensity function_I A (0) to_I A (270) and the intensity function_I B (0) to_I B of the (270) A conceptual diagram is shown.

　図１２は、輝度モデルを第２のモデルのｓｉｎ波であると仮定した場合に、信号補正部７３が行う補正処理の概念図を示している。FIG. 12 shows a conceptual diagram of correction processing performed by thesignal correction unit 73 when the luminance model is assumed to be a sine wave of the second model.

　発光波形が矩形になるよう設計しても、発光回路の時定数や、発光波形および露光波形の変調周波数などに応じて、実際の発光波形が、矩形から歪んだ形状になることがある。その場合、輝度モデルを三角波と仮定するのではなく、ｓｉｎ波として仮定するほうが、実際の輝度モデルに近い場合があり、輝度モデルをｓｉｎ波と仮定してオフセットc₀とゲインc₁を算出する方が、距離の算出結果が良好となる場合がある。Even if the emission waveform is designed to be rectangular, the actual emission waveform may be distorted from the rectangle depending on the time constant of the emission circuit, the modulation frequency of the emission waveform and the exposure waveform, and the like. In that case, it may be closer to the actual luminance model to assume the luminance model as a sine wave instead of assuming it as a triangular wave, and calculate the offset c₀ and gain c₁ by assuming the luminance model as a sine wave. In some cases, the calculation result of the distance is better.

＜６．輝度波形を高調波とした場合の補正パラメータ算出処理＞
　次に、モデル決定部７１において第３のモデルが決定され、輝度モデルとして高調波が仮定された場合の特性計算部７２による補正パラメータの算出について説明する。<6. Correction parameter calculation process when the luminance waveform is a harmonic>
Next, the calculation of the correction parameter by thecharacteristic calculation unit 72 when the third model is determined by themodel determination unit 71 and harmonics are assumed as the luminance model will be described.

　特性計算部７２は、機械学習を用いて、補正パラメータを算出する。Thecharacteristic calculation unit 72 calculates the correction parameter using machine learning.

　初めに、測距モジュール１１は、設定位相を０°、９０°、１８０°、および２７０°とした４枚の位相画像を、様々なシーン（測定対象）で取得する。取得された様々なシーンの４枚の位相画像が、特性計算部７２に蓄積される。First, the rangingmodule 11 acquires four phase images with the set phases set to 0 °, 90 °, 180 °, and 270 ° in various scenes (measurement targets). The four phase images of the acquired various scenes are accumulated in thecharacteristic calculation unit 72.

　特性計算部７２は、第１タップ５２Aと第２タップ５２Bのそれぞれについて、同一構成のニューラルネットワークの学習器を有している。Thecharacteristic calculation unit 72 has a neural network learner having the same configuration for each of thefirst tap 52A and thesecond tap 52B.

　図１３は、第１タップ５２Aで検出される高調波の輝度モデルを学習する学習処理を説明する図である。FIG. 13 is a diagram illustrating a learning process for learning the luminance model of the harmonics detected by thefirst tap 52A.

　特性計算部７２は、第１タップ５２Aで検出される高調波の輝度モデルを学習する学習器８１Aを有している。学習器８１Aの各ノードの重み係数は、Ｗ^A＝｛ｗ_１，ｗ_２，ｗ_３，・・・｝である。Thecharacteristic calculation unit 72 has alearner 81A that learns a brightness model of harmonics detected by thefirst tap 52A. Weighting factor of eachnode learning unit 81A_{^{is, W A = {w 1,}} w 2, w 3, ···} is.

　輝度モデルを高調波と仮定したときの輝度関数Ｉ’_Ａ（θ）を、フーリエ級数展開した次式（２５）で表す。

The luminance function I_{'A (theta),} assuming the luminance model harmonic, expressed by Fourier series expanded following equation (25).

　式（２５）は、高調波と仮定したときの輝度関数Ｉ’_Ａ（θ）を、高調波の中心c ^A_０と、１次からM次までのcos関数と、１次からM次までのsin関数とで表したものである。ここで、次数M（Mは自然数）は予め決定される。Equation (25), the luminance function I_{'A (theta)} on the assumption that higher harmonics, centered c^A₀ harmonics, and cos function from primary to M order, from the primary to M order It is represented by the sin function. Here, the order M (M is a natural number) is determined in advance.

　学習器８１Aの入力ｖ^A_inは、蓄積された所定のシーンの設定位相０°、９０°、１８０°、および、２７０°の４枚の位相画像内の所定の画素３１の第１タップ５２Aの輝度値Ｉ_Ａ（０）、Ｉ_Ａ（９０）、Ｉ_Ａ（１８０）、およびＩ_Ａ（２７０）とされる。すなわち、入力ｖ^A_in＝｛Ｉ_Ａ（０）、Ｉ_Ａ（９０）、Ｉ_Ａ（１８０）、およびＩ_Ａ（２７０）｝である。The input v^A_in of thelearner 81A is thefirst tap 52 A of thepredetermined pixel 31 in the four phase images of the accumulated predetermined scenes of set phases 0 °, 90 °, 180 °, and 270 °. brightness value_{I a (0), I a} (90), are I a (180), and_I a (270). That is, the input_{^{v A in = {I A (}} 0), I A (90), I A (180), and_I A (270)} is.

　学習器８１Aの出力ｖ^A_outは、輝度関数Ｉ’_Ａ（θ）をフーリエ級数展開した式（２５）のM次元のcos関数の係数｛ａ^A₁,・・・,ａ^A_M｝と、M次元のsin関数の係数｛ｂ^A₁,・・・, ｂ^A_M｝とされる。すなわち、出力ｖ^A_out＝｛ａ^A₁,・・・,ａ^A_M, ｂ^A₁,・・・, ｂ^A_M｝である。Output v^A_out of thelearning unit 81A, the coefficient of cos function of M dimensions of formula (25) in which the luminance function I_'A (theta) Fourier series expansion_{^{{a A 1, ···, a}} A M} and, It is the coefficient of the M-dimensional sin function {b^A₁ , ..., b^A_M }. That is, the output v^A_out = {a^A₁ , ..., a^A_M , b^A₁ , ..., b^A_M }.

　予め何らかの重み係数Ｗ^Aが初期値として設定された学習器８１Aの入力ｖ^A_inに、ｖ^A_in＝｛Ｉ_Ａ（０）、Ｉ_Ａ（９０）、Ｉ_Ａ（１８０）、およびＩ_Ａ（２７０）｝を入力すると、出力ｖ^A_out＝｛ａ^A₁,・・・,ａ^A_M, ｂ^A₁,・・・, ｂ^A_M｝が得られる。Advance to the input v^A_in some weight coefficient W^A is setlearner 81A as an initial_{^{value, v A in = {I A}} (0), I A (90), I A (180), and_I A ( When 270)} is input, the output v^A_out = {a^A₁ , ..., a^A_M , b^A₁ , ..., b^A_M } is obtained.

　特性計算部７２は、学習器８１Aから得られた出力ｖ^A_out＝｛ａ^A₁,・・・,ａ^A_M, ｂ^A₁,・・・, ｂ^A_M｝を、式（２５）に代入し、高調波の中心c ^A_０には、蓄積された様々なシーンの入力ｖ^A_inの平均値を代入することで、高調波と仮定した輝度関数Ｉ_Ａ’（θ）を復元する。Thecharacteristic calculation unit 72 puts the output v^A_out = {a^A₁ , ..., a^A_M , b^A₁ , ..., b^A_M } obtained from thelearner 81A into equation (25). By substituting the average value of the input v^A_in of various accumulated scenes into the center c^A₀ of the harmonic, the luminance function I_A '(θ) assumed to be the harmonic is restored.

　復元された高調波の輝度関数Ｉ’_Ａ（θ）が輝度関数Ｉ_Ａ（θ）をよく表している場合、設定位相０°、９０°、１８０°、および、２７０°のときの輝度関数Ｉ’_Ａ（θ）の値である、輝度値Ｉ’_Ａ（０）、Ｉ’_Ａ（９０）、Ｉ’_Ａ（１８０）、およびＩ’_Ａ（２７０）は、学習器８１Aの入力とした輝度関数Ｉ_Ａ（θ）の値である、輝度値Ｉ_Ａ（０）、Ｉ_Ａ（９０）、Ｉ_Ａ（１８０）、およびＩ_Ａ（２７０）｝と同じになるはずである。If restored harmonic intensity function I_'A (θ) is representative good intensity function_{I A} (theta), it sets thephase 0 °, 90 °, 180 ° , and, the intensity function I when the 270 ° 'is the value of_a (theta), the luminance value_{I' a (0), I} 'a (90), I' a (180), and I_'a (270), the luminance asinput learning device 81A is the value of the function_{I a (θ),} the brightness value_{I a (0), I a} (90), I a (180), and_I a (270)} and should be the same.

　そこで、特性計算部７２は、学習器８１Aの入力ｖ^A_inと出力ｖ^A_outの輝度関数Ｉ’_Ａ（θ）の値との差が小さくなるように学習を行う。具体的には、特性計算部７２は、次式（２６）で表される第１の評価関数L^A_１が小さくなるように、学習器８１Aの各ノードの重み係数Ｗ^A＝｛ｗ^A_１，ｗ^A_２，ｗ^A_３，・・・｝を更新する。式（２７）のＷ^A’は、更新後の重み係数を表し、η^Aは学習率を表す係数である。

Therefore,characteristic calculation unit 72 performs learning such that the difference between the value of the intensity function I_{'A (θ)} of the input v^A_in the output v^A_out of thelearning device 81A is reduced. Specifically, the characteristic calculatingsection 72, as the first evaluation function L^A₁ represented by the following formula (26) decreases, the weighting factor of eachnode learning unit 81A W^A = {w^A₁ , W^A₂ , w^A₃ , ...} are updated. W^A 'of formula (27) represents the weighting coefficients after updating, the eta^A is a coefficient representing the learning rate.

　以上の重み係数Ｗ^Aの更新を、蓄積された様々なシーンの４枚の位相画像の同一画素の第１タップ５２Aの輝度値Ｉ_Ａ（０）、Ｉ_Ａ（９０）、Ｉ_Ａ（１８０）、およびＩ_Ａ（２７０）を用いて所定回数繰り返すことにより、式（２５）で表される高調波の輝度関数Ｉ’_Ａ（θ）が求められる。More weighting factor W update of^A, the luminance value_I A of thefirst tap 52A of the same pixel in the four phase images of the stored various scenes_{(0), I A (90} ), I A (180) , and by repeating a predetermined number of times by using the_I a (270), the intensity function I_'a harmonics of the formula (25) (θ) is obtained.

　図示は省略するが、特性計算部７２は、第２タップ５２Bについても同様の学習を行う。Although not shown, thecharacteristic calculation unit 72 performs the same learning for thesecond tap 52B.

　すなわち、輝度モデルを高調波と仮定したときの輝度関数Ｉ’_B（θ）を、フーリエ級数展開した次式（２８）で表す。

In other words, expressed by the luminance function I_'B (theta), assuming the luminance model harmonic Fourier series expanded following equation (28).

　式（２８）は、高調波と仮定したときの輝度関数Ｉ’_B（θ）を、高調波の中心c ^B_０と、１次からM次までのcos関数と、１次からM次までのsin関数とで表したものである。ここで、次数M（Mは自然数）は予め決定される。Equation (28), the luminance function I_'B (theta) on the assumption that higher harmonics, centered c^B₀ harmonic, and cos function from primary to M order, from the primary to M order It is represented by the sin function. Here, the order M (M is a natural number) is determined in advance.

　特性計算部７２は、第２タップ５２Bで検出される高調波の輝度モデルを学習する学習器８１B（図示せず）の各ノードの重み係数を、Ｗ^B＝｛ｗ^B_１，ｗ^B_２，ｗ^B_３，・・・｝とすると、学習器８１Bの入力ｖ^B_inに、蓄積された所定のシーンの設定位相０°、９０°、１８０°、および、２７０°の４枚の位相画像内の所定の画素３１の第２タップ５２Bの輝度値Ｉ_Ｂ（０）、Ｉ_Ｂ（９０）、Ｉ_Ｂ（１８０）、およびＩ_Ｂ（２７０）を入力する。すなわち、入力ｖ^Ｂ_in＝｛Ｉ_Ｂ（０）、Ｉ_Ｂ（９０）、Ｉ_Ｂ（１８０）、およびＩ_Ｂ（２７０）｝である。Characteristic calculation unit 72, a weighting factor of eachnode learning unit 81B (not shown) to learn the luminance model of harmonics detected by thesecond tap^{52B, W B = {w B} 1,w B 2, If w^B₃ , ...},_{the set phases of the predetermined scenes accumulated in}^{the input v B} in of thelearner 81B are within the four phase images of 0 °, 90 °, 180 °, and 270 °. the luminance value of thesecond tap 52B of predetermined pixels_{31 I B (0), I} B (90), I B (180), and_I inputs B (270). That is, the input_{^{v B in = {I B (}} 0), I B (90), I B (180), and_I B (270)} is.

　学習器８１Bの出力ｖ^B_outは、輝度関数Ｉ’_B（θ）をフーリエ級数展開した式（２８）のM次元のcos関数の係数｛ａ^B₁,・・・,ａ^B_M｝と、M次元のsin関数の係数｛ｂ^B₁,・・・, ｂ^B_M｝とされる。すなわち、出力ｖ^B_out＝｛ａ^B₁,・・・,ａ^B_M, ｂ^B₁,・・・, ｂ^B_M｝である。Output v^B_out of thelearning device 81B, the coefficients of cos function of M dimensions of formula (28) in which the luminance function I_'B (theta) Fourier series expansion_{^{{a B 1, ···, a}} B M} and, The coefficient of the M-dimensional sin function {b^B₁ , ..., b^B_M }. That is, the output v^B_out = {a^B₁ , ..., a^B_M , b^B₁ , ..., b^B_M }.

　予め何らかの重み係数Ｗ^Bが初期値として設定された学習器８１Bの入力ｖ^B_inに、ｖ^B_in＝｛Ｉ_B（０）、Ｉ_B（９０）、Ｉ_B（１８０）、およびＩ_B（２７０）｝を入力すると、出力ｖ^B_out＝｛ａ^B₁,・・・,ａ^B_M, ｂ^B₁,・・・, ｂ^B_M｝が得られる。The input v^B_in thepreset learner 81B some weighting factor W^B is an initial_{^{value, v B in = {I B}} (0), I B (90), I B (180), and I_B ( When 270)} is input, the output v^B_out = {a^B₁ , ..., a^B_M , b^B₁ , ..., b^B_M } is obtained.

　特性計算部７２は、学習器８１Bから得られた出力ｖ^A_out＝｛ａ^B₁,・・・,ａ^B_M, ｂ^B₁,・・・, ｂ^B_M｝を、式（２８）に代入し、高調波の中心c ^B_０には、蓄積された様々なシーンの入力ｖ^B_inの平均値を代入することで、高調波と仮定した輝度関数Ｉ_Ｂ’（θ）を復元する。Thecharacteristic calculation unit 72 puts the output v^A_out = {a^B₁ , ..., a^B_M , b^B₁ , ..., b^B_M } obtained from thelearner 81B into the equation (28). substituted and, in the center c^B₀ harmonic, by substituting an average value of the input v^B_in the stored various scenes, to restore the luminance function I_B were assumed harmonic '(theta).

　そして、特性計算部７２は、学習器８１Bの入力ｖ^Ｂ_inと出力ｖ^B_outの輝度関数Ｉ’_B（θ）との差が小さくなるように学習を行う。具体的には、特性計算部７２は、次式（２９）で表される第１の評価関数L^B_１が小さくなるように、学習器８１Bの各ノードの重み係数Ｗ^B＝｛ｗ^B_１，ｗ^B_２，ｗ^B_３，・・・｝を更新する。式（３０）のＷ^B’は、更新後の重み係数を表し、η^Bは学習率を表す係数である。

Thecharacteristic calculating section 72 performs learning such that the difference between the intensity function I_'B (θ) of the input v^B_in the output v^B_out of thelearning device 81B decreases. Specifically, the characteristic calculatingsection 72, as the first evaluation function L^B₁ represented by the following formula (29) decreases, the weighting factor of eachnode learning unit 81B W^B = {w^B₁ , W^B₂ , w^B₃ , ...}. W^B 'is of formula (30) represents the weighting coefficients after updating, eta^B is a coefficient representing the learning rate.

　以上の重み係数Ｗ^Bの更新を、蓄積された様々なシーンの４枚の位相画像の同一画素の第２タップ５２Bの輝度値Ｉ_Ｂ（０）、Ｉ_Ｂ（９０）、Ｉ_Ｂ（１８０）、およびＩ_Ｂ（２７０）を用いて所定回数繰り返すことにより、式（２８）で表される高調波の輝度関数Ｉ’_Ｂ（θ）が求められる。More updates weighting factors W^B, the luminance value_I B of thesecond tap 52B of the same pixel in the four phase images of the stored various scenes_{(0), I B (90} ), I B (180) , and by repeating a predetermined number of times by using the_I B (270), the intensity function I_'B harmonics of the formula (28) (θ) is obtained.

　なお、復元される輝度関数Ｉ’_A（θ）と輝度関数Ｉ’_B（θ）は、中心と振幅は異なるが同じ発光波形と露光波形の特性を持つと考えられるため、輝度関数Ｉ’（θ）を白色化して得られる関数の形状は同一であると考えられる。そこで、学習器８１の各ノードの重み係数Ｗを更新する際の制約条件として、上述した第１の評価関数L^A_１およびL^B_１に、次式（３１）で表される第２の評価関数L_２を追加し、第２の評価関数L_２も小さくなるような、重み係数Ｗを求めるようにしてもよい。重み係数Ｗの更新は、式（３２）で表される。

Incidentally, the intensity function I_'A (θ) and the intensity function I'_B to be restored (theta), since the center of the amplitude is considered to differ with the characteristics of the same light emission waveform as exposure waveform, the intensity function I '( It is considered that the shape of the function obtained by whitening θ) is the same. Therefore, as a constraint condition when updating the weighting coefficient W of each node of the learner 81, the first evaluation functions L^A₁ and L^B₁ described above are subjected to the second evaluation represented by the following equation (31). A function L₂ may be added to obtain a weighting coefficient W such that the_{second evaluation function L 2 is also small.} The update of the weighting coefficient W is represented by the equation (32).

　図１４は、第２の評価関数L_２を求める演算の概念図を示している。FIG. 14 shows a conceptual diagram of an operation for obtaining the_{second evaluation function L 2.}

　以上により、第１タップ５２Aで検出された反射光の輝度関数Ｉ’_Ａ（θ）と、第２タップ５２Bで検出された反射光の輝度関数Ｉ’_B（θ）が推定された。Thus, 'and_{A (theta),} intensity function I of the detected reflected light at thesecond tap 52B' luminance function I of the reflected light detected by thefirst tap 52A_B (θ) is estimated.

　次に、特性計算部７２は、推定された第１タップ５２Aの輝度関数Ｉ’_Ａ（θ）と、第２タップ５２Bの輝度関数Ｉ’_B（θ）とを用いて、次式（３３）によりゲインc₁を算出し、式（３４）によりオフセットc₀を算出する。

Next,characteristic calculation unit 72 uses 'and_A (theta), intensity function I of thesecond tap 52B' luminance function I of thefirst tap 52A estimated and_B (theta), the following equation (33) The gain c₁ is calculated by the formula (34), and the offset c₀ is calculated by the equation (34).

　モデル決定部７１において輝度モデルとして高調波が仮定された場合、特性計算部７２は、以上のように機械学習を用いて補正パラメータを算出することができる。When harmonics are assumed as the luminance model in themodel determination unit 71, thecharacteristic calculation unit 72 can calculate the correction parameters using machine learning as described above.

　なお、輝度モデルを高調波として仮定した場合の高調波の算出方法は、機械学習に限定されるわけではなく、その他の手法を用いてもよい。例えば、文献「Marvin Lindner and Andreas Kolb, ”Lateral and Depth Calibration of PMD-Distance Sensors, International Symposium on Visual Computing”, 2006.」に開示されているような手法を採用してもよい。この文献に開示されている手法は、既知の複数の奥行きを撮影し、既知の奥行きと、実際に計測された奥行きの差から、高調波成分を求める、奥行きを補正するためのルックアップテーブルを生成する方法が開示されている。Note that the method of calculating harmonics when the luminance model is assumed as harmonics is not limited to machine learning, and other methods may be used. For example, a method as disclosed in the document "Marvin Lindner and Andreas Kolb," Lateral and Depth Calibration of PMD-Distance Sensors, International Symposium on Visual Computing ", 2006." may be adopted. The technique disclosed in this document captures multiple known depths and obtains a harmonic component from the difference between the known depth and the actually measured depth, providing a look-up table for depth correction. The method of generation is disclosed.

　輝度モデルを高調波として仮定することにより、輝度モデルが未知である場合にも、単純なモデルよりも正確に補正パラメータを算出することができる。By assuming the brightness model as a harmonic, even if the brightness model is unknown, the correction parameters can be calculated more accurately than with a simple model.

＜７．測距モジュールによる測定処理のフローチャート＞
　次に、図１５のフローチャートを参照して、図１の測距モジュール１１による測定処理を説明する。この処理は、例えば、測距モジュール１１が組み込まれた上位装置の制御部から、測定の開始が指示されたとき開始される。<7. Flowchart of measurement process by distance measurement module>
Next, the measurement process by thedistance measuring module 11 of FIG. 1 will be described with reference to the flowchart of FIG. This process is started, for example, when the control unit of the host device in which thedistance measuring module 11 is incorporated instructs the start of measurement.

　初めに、ステップＳ１において、測距センサ１３の制御部１４は、受光部１５の画素アレイ３２の各画素３１のタップ間の特性ばらつきを補正する補正パラメータの推定を行うかを判定する。First, in step S1, thecontrol unit 14 of thedistance measuring sensor 13 determines whether to estimate the correction parameter for correcting the characteristic variation between the taps of eachpixel 31 of the pixel array 32 of thelight receiving unit 15.

　例えば、出荷前のキャリブレーション等においては、補正パラメータの推定を行うと判定される。また例えば、測距モジュール１１が起動された最初の測定においては、補正パラメータの推定を必ず行うようにしたり、所定回数の測定ごとに、補正パラメータの推定を行うように制御することができる。For example, in calibration before shipment, it is determined that the correction parameters are estimated. Further, for example, in the first measurement in which thedistance measuring module 11 is activated, the correction parameter can be estimated without fail, or the correction parameter can be estimated every predetermined number of measurements.

　ステップＳ１で、補正パラメータの推定を行うと判定された場合、処理はステップＳ２に進み、測距モジュール１１は、各画素３１の補正パラメータであるオフセットc₀とゲインc₁を推定する補正パラメータ推定処理を実行する。If it is determined in step S1 that the correction parameters are to be estimated, the process proceeds to step S2, and thedistance measuring module 11 estimates the correction parameters for estimating the_{offset c 0} and the gain c_{1 which are the correction parameters of each pixel 31.} Execute the process.

　一方、ステップＳ１で、補正パラメータの推定を行わないと判定された場合、ステップＳ２の補正パラメータ推定処理はスキップされ、処理はステップＳ３に進む。補正パラメータの推定を行わない場合は、既に補正パラメータが設定されている状態である。On the other hand, if it is determined in step S1 that the correction parameter is not estimated, the correction parameter estimation process in step S2 is skipped, and the process proceeds to step S3. When the correction parameter is not estimated, the correction parameter has already been set.

　ステップＳ３において、測距モジュール１１は、各画素３１のタップ間の特性ばらつきを補正する補正パラメータを用いて、２Phase方式により物体までの距離を測定する距離測定処理を実行し、処理を終了する。In step S3, thedistance measuring module 11 executes a distance measurement process for measuring the distance to the object by the 2 Phase method using the correction parameter for correcting the characteristic variation between the taps of eachpixel 31, and ends the process.

　図１６は、図１５の測定処理のステップＳ２で実行される、補正パラメータ推定処理の詳細なフローチャートである。FIG. 16 is a detailed flowchart of the correction parameter estimation process executed in step S2 of the measurement process of FIG.

　この処理では、初めに、ステップＳ１１において、制御部１４は、発光波形と露光波形の位相差（設定位相）を０°に設定し、発光制御信号を発光部１２と受光部１５に供給する。In this process, first, in step S11, thecontrol unit 14 sets the phase difference (set phase) between the light emitting waveform and the exposure waveform to 0 °, and supplies the light emitting control signal to thelight emitting unit 12 and thelight receiving unit 15.

　ステップＳ１２において、測距モジュール１１は、照射光の発光と、物体で反射されて返ってきた反射光の受光を行う。すなわち、発光部１２は、制御部１４から供給された発光制御信号に応じたタイミングで変調しながら発光し、物体に対して照射光を照射する。受光部１５は、物体からの反射光を受光する。受光部１５は、受光した反射光の受光量に応じた検出信号で構成される画素データを、画素アレイ３２の画素３１単位で信号処理部１６に供給する。In step S12, the rangingmodule 11 emits the irradiation light and receives the reflected light reflected and returned by the object. That is, thelight emitting unit 12 emits light while modulating at a timing corresponding to the light emission control signal supplied from thecontrol unit 14, and irradiates the object with the irradiation light. Thelight receiving unit 15 receives the reflected light from the object. Thelight receiving unit 15 supplies pixel data composed of detection signals according to the amount of received reflected light to thesignal processing unit 16 in units ofpixels 31 of the pixel array 32.

　ステップＳ１３において、制御部１４は、設定位相０°、９０°、１８０°、および、２７０°の４枚の位相画像の取得を行ったかを判定する。In step S13, thecontrol unit 14 determines whether or not four phase images having the set phases of 0 °, 90 °, 180 °, and 270 ° have been acquired.

　ステップＳ１３で、４枚の位相画像の取得をまだ行っていないと判定された場合、処理はステップＳ１４に進み、制御部１４は、設定位相を、現在の値から９０°インクリメントした値に更新する。ステップＳ１４の後、処理はステップＳ１２に戻り、上述したステップＳ１２およびＳ１３が繰り返される。If it is determined in step S13 that the acquisition of the four phase images has not yet been performed, the process proceeds to step S14, and thecontrol unit 14 updates the set phase to a value incremented by 90 ° from the current value. .. After step S14, the process returns to step S12, and steps S12 and S13 described above are repeated.

　一方、ステップＳ１３で、４枚の位相画像の取得を行ったと判定された場合、処理はステップＳ１５に進み、信号処理部１６の特性計算部７２は、発光波形の形状と露光波形の形状とに応じた輝度波形に基づいて、各画素３１のタップ間の特性ばらつきを補正する補正パラメータであるオフセットc₀とゲインc₁を算出する。輝度モデルは、ステップＳ１５の処理の前に決定され、モデル決定部７１から特性計算部７２に供給されている。On the other hand, when it is determined in step S13 that four phase images have been acquired, the process proceeds to step S15, and thecharacteristic calculation unit 72 of thesignal processing unit 16 changes the shape of the emission waveform and the shape of the exposure waveform._{Based on the corresponding luminance waveform, the offset c 0} and the gain c₁ which are the correction parameters for correcting the characteristic variation between the taps of eachpixel 31 are calculated. The luminance model is determined before the process of step S15, and is supplied from themodel determination unit 71 to thecharacteristic calculation unit 72.

　ステップＳ１５において、オフセットc₀とゲインc₁は、輝度モデルとして三角波が仮定された場合、輝度モデルとしてｓｉｎ波が仮定された場合、輝度モデルとして高調波が仮定された場合のそれぞれについて、上述した算出方法で算出される。算出されたオフセットc₀とゲインc₁は、信号補正部７３に供給され、図１６の補正パラメータ推定処理が終了し、図１５の測定処理に戻る。In step S15, the offset c₀ and the gain c₁ are described above for each of the cases where a triangular wave is assumed as the luminance model, a sine wave is assumed as the luminance model, and a harmonic is assumed as the luminance model. It is calculated by the calculation method. The calculated offset c₀ and gain c₁ are supplied to thesignal correction unit 73, the correction parameter estimation process of FIG. 16 is completed, and the process returns to the measurement process of FIG.

　なお、図１６の補正パラメータ推定処理では、１枚のデプスマップを生成できる４枚の位相画像のみを用いて補正パラメータ（オフセットc₀とゲインc₁）を算出したが、ノイズの影響を低減するために、複数枚のデプスマップに相当する８枚以上の位相画像を用いて、その結果得られた複数の補正パラメータの加算平均等を用いて、最終的な補正パラメータを算出するようにしてもよい。In the correction parameter estimation process of FIG. 16, the correction parameters (offset c₀ and gain c₁ ) were calculated using only four phase images capable of generating one depth map, but the influence of noise is reduced. Therefore, even if eight or more phase images corresponding to a plurality of depth maps are used and the summation average of the plurality of correction parameters obtained as a result is used to calculate the final correction parameter. good.

　図１７は、図１５の測定処理のステップＳ３で実行される、２Phase方式による距離測定処理の詳細なフローチャートである。FIG. 17 is a detailed flowchart of the distance measurement process by the 2 Phase method executed in step S3 of the measurement process of FIG.

　この処理では、初めに、ステップＳ３１において、制御部１４は、発光波形と露光波形の位相差（設定位相）を０°に設定し、発光制御信号を発光部１２と受光部１５に供給する。In this process, first, in step S31, thecontrol unit 14 sets the phase difference (set phase) between the light emitting waveform and the exposure waveform to 0 °, and supplies the light emitting control signal to thelight emitting unit 12 and thelight receiving unit 15.

　ステップＳ３２において、測距モジュール１１は、照射光の発光と、物体で反射されて返ってきた反射光の受光を行う。すなわち、発光部１２は、制御部１４から供給された発光制御信号に応じたタイミングで変調しながら発光し、物体に対して照射光を照射する。受光部１５は、物体からの反射光を受光する。受光部１５は、受光した反射光の受光量に応じた検出信号で構成される画素データを、画素アレイ３２の画素３１単位で信号処理部１６に供給する。In step S32, the rangingmodule 11 emits the irradiation light and receives the reflected light reflected and returned by the object. That is, thelight emitting unit 12 emits light while modulating at a timing corresponding to the light emission control signal supplied from thecontrol unit 14, and irradiates the object with the irradiation light. Thelight receiving unit 15 receives the reflected light from the object. Thelight receiving unit 15 supplies pixel data composed of detection signals according to the amount of received reflected light to thesignal processing unit 16 in units ofpixels 31 of the pixel array 32.

　ステップＳ３３において、制御部１４は、設定位相０°および９０°の２枚の位相画像の取得を行ったかを判定する。In step S33, thecontrol unit 14 determines whether or not two phase images having the set phases of 0 ° and 90 ° have been acquired.

　ステップＳ３３で、２枚の位相画像の取得をまだ行っていないと判定された場合、処理はステップＳ３４に進み、制御部１４は、発光波形と露光波形の位相差（設定位相）を９０°に設定する。ステップＳ３４の後、処理はステップＳ３２に戻り、上述したステップＳ３２およびＳ３３が繰り返される。If it is determined in step S33 that the acquisition of the two phase images has not yet been performed, the process proceeds to step S34, and thecontrol unit 14 sets the phase difference (set phase) between the emission waveform and the exposure waveform to 90 °. Set. After step S34, the process returns to step S32, and steps S32 and S33 described above are repeated.

　一方、ステップＳ３３で、２枚の位相画像の取得を行ったと判定された場合、処理はステップＳ３５に進み、信号処理部１６の信号補正部７３は、特性計算部７２で算出されたオフセットc₀とゲインc₁を用いて、式（６）に従い、第２タップ５２Bの検出信号Ｉ_Ｂ（θ）を補正する。On the other hand, if it is determined in step S33 that the two phase images have been acquired, the process proceeds to step S35, and thesignal correction unit 73 of thesignal processing unit 16 has the offset c_{0 calculated by the characteristic calculation unit 72.} and using the gain c_1, in accordance with the equation (6), to correct the detection signals_{I B} of thesecond tap 52B (theta).

　具体的には、信号補正部７３は、設定位相０°および９０°で取得された各画素３１の第２タップ５２Bの検出信号Ｉ_Ｂ（０）およびＩ_Ｂ（９０）を用いて、次の補正後のＩ”_Ａ（１８０）およびＩ”_Ａ（２７０）を算出する。
　　Ｉ”_Ａ（１８０） = c₀+ c₁・Ｉ_Ｂ（０）
　　Ｉ”_Ａ（２７０） = c₀+ c₁・Ｉ_Ｂ（９０）Specifically, thesignal correcting unit 73 uses the detection signal_I B of thesecond tap 52B of thepixels 31 acquired in set phases 0 ° and 90 ° (0) and_I B (90), the following Calculate the corrected I "_A (180) and I"_A (270).
_{I "A (180) = c} 0 +c 1 · I B (0)
_{I "A (270) = c} 0 +c 1 · I B (90)

　ステップＳ３６において、距離計算部７４は、信号補正部７３から供給された、補正後の設定位相０°と９０°の２枚の位相画像を用いて、画素アレイ３２の各画素３１について、物体までの距離であるデプス値を、２Phase方式により算出する。そして、距離計算部７４は、各画素３１の画素値としてデプス値が格納されたデプスマップを生成して、モジュール外へ出力する。In step S36, thedistance calculation unit 74 uses the two phase images of the corrected set phases of 0 ° and 90 ° supplied from thesignal correction unit 73 to reach the object for eachpixel 31 of the pixel array 32. The depth value, which is the distance between, is calculated by the 2 Phase method. Then, thedistance calculation unit 74 generates a depth map in which the depth value is stored as the pixel value of eachpixel 31 and outputs the depth map to the outside of the module.

　以上で図１６の補正パラメータ推定処理が終了し、図１５の測定処理全体も終了する。With the above, the correction parameter estimation process of FIG. 16 is completed, and the entire measurement process of FIG. 15 is also completed.

　図１６のステップＳ１５におけるオフセットc₀とゲインc₁を算出する処理であって、輝度モデルとして高調波が仮定された場合である、機械学習を用いてオフセットc₀とゲインc₁を算出する処理について、図１８のフローチャートを参照して、さらに詳しく説明する。_{The process of calculating the offset c 0} and the gain c₁ in step S15 of FIG. 16_{, which is the process of calculating the offset c 0} and the gain c₁ using machine learning when harmonics are assumed as the luminance model. Will be described in more detail with reference to the flowchart of FIG.

　なお、以下のステップＳ５１乃至Ｓ５６の処理では、第１タップ５２Aで検出される高調波の輝度モデルを学習する学習器８１Aの処理について説明するが、第２タップ５２Bで検出される高調波の輝度モデルを学習する学習器８１Bについても同様に実行されている。In the following steps S51 to S56, the processing of thelearner 81A for learning the brightness model of the harmonics detected by thefirst tap 52A will be described, but the brightness of the harmonics detected by thesecond tap 52B will be described. The same applies to thelearner 81B for learning the model.

　初めに、ステップＳ５１において、特性計算部７２は、第１タップ５２Aに対応する学習器８１Aの重み係数Ｗ^Aに所定の初期値を設定する。First, in step S51,characteristic calculation unit 72 sets a predetermined initial value the weight coefficient W^A learner 81A corresponding to thefirst tap 52A.

　ステップＳ５２において、特性計算部７２は、蓄積された複数のシーンの位相画像のうち、所定の１つのシーンの設定位相０°、９０°、１８０°、および、２７０°の４枚の位相画像内の所定の画素３１の第１タップ５２Aの輝度値Ｉ_Ａ（０）、Ｉ_Ａ（９０）、Ｉ_Ａ（１８０）、およびＩ_Ａ（２７０）を抽出し、学習器８１Aの入力ｖ^A_in＝｛Ｉ_Ａ（０）、Ｉ_Ａ（９０）、Ｉ_Ａ（１８０）、およびＩ_Ａ（２７０）｝とする。In step S52, thecharacteristic calculation unit 72 within four phase images of the set phases 0 °, 90 °, 180 °, and 270 ° of a predetermined one scene among the accumulated phase images of the plurality of scenes. the luminance value_I a of thefirst tap 52A of predetermined pixels_{31 (0), I a (} 90), I a (180), and extracts the_I a (270), the input v^a_in thelearning device 81A =_{{I a (0), I} a (90), I a (180), and_I a (270)} and.

　ステップＳ５３において、特性計算部７２は、学習器８１Aの入力ｖ^A_inに応じた出力ｖ^A_out＝｛ａ^A₁,・・・,ａ^A_M, ｂ^A₁,・・・, ｂ^A_M｝を取得する。In step S53, thecharacteristic calculation unit 72 outputs the output according to^{the input v A}_in^{of the learner 81 A v A}_out = {a^A₁ , ..., a^A_M , b^A₁ , ..., b^A_M } To get.

　ステップＳ５４において、特性計算部７２は、学習器８１Aから得られた出力ｖ^A_out＝｛ａ^A₁,・・・,ａ^A_M, ｂ^A₁,・・・, ｂ^A_M｝を、式（２５）に代入し、高調波の中心c ^A_０には、蓄積された様々なシーンの入力ｖ^A_inの平均値を代入することで、高調波と仮定した輝度関数Ｉ_Ａ’（θ）を復元する。In step S54, thecharacteristic calculation unit 72 formulates the output v^A_out = {a^A₁ , ..., a^A_M , b^A₁ , ..., b^A_M } obtained from thelearner 81A. By substituting into (25) and substituting the average value of the input v^A_in^{of various accumulated scenes into the center c A}₀ of the harmonic, the luminance function I_A '(θ) assumed to be a harmonic. To restore.

　ステップＳ５５において、特性計算部７２は、復元した輝度関数Ｉ_Ａ’（θ）に設定位相０°、９０°、１８０°、および、２７０°を代入して得られた輝度値Ｉ’_Ａ（０）、Ｉ’_Ａ（９０）、Ｉ’_Ａ（１８０）、およびＩ’_Ａ（２７０）と、入力ｖ^A_in＝｛Ｉ_Ａ（０）、Ｉ_Ａ（９０）、Ｉ_Ａ（１８０）、およびＩ_Ａ（２７０）｝とを比較して、式（２６）で表される第１の評価関数L^A_１が小さくなるように、学習器８１Aの各ノードの重み係数Ｗ^A＝｛ｗ^A_１，ｗ^A_２，ｗ^A_３，・・・｝を更新する。これにより、更新後の重み係数Ｗ^A’が算出される。In step S55, the characteristic calculatingsection 72, the restored luminance function_{I A} 'setphase 0 ° to (θ), 90 °, 180 °, and the luminance value obtained by substituting the 270 ° I'_A (0_{), I 'a (90)} , I' and_a (180), and I_'a (270), the input^{_{v a in = {I a (}} 0), I a (90), I a (180), and by comparing the I_a (270)}, as the evaluation function L^a₁ of the first of the formula (26) decreases, the weighting factor of eachnode learning unit 81A W^a = {w^a₁ , W^A₂ , w^A₃ , ...} are updated. Thus, the weighting coefficients after updating W^A 'is calculated.

　ステップＳ５６において、特性計算部７２は、重み係数Ｗ^Aの更新を規定回数行ったかを判定する。In step S56, the characteristic calculatingsection 72 determines whether performed predetermined number of times to update the weight coefficient W^A.

　なお、ステップＳ５６の重み係数Ｗ^Aの更新終了を判定する判定処理は、規定回数行ったかを判定するのではなく、復元した輝度関数Ｉ_Ａ’（θ）の輝度値Ｉ’_Ａ（０）、Ｉ’_Ａ（９０）、Ｉ’_Ａ（１８０）、およびＩ’_Ａ（２７０）と、入力ｖ^A_in＝｛Ｉ_Ａ（０）、Ｉ_Ａ（９０）、Ｉ_Ａ（１８０）、およびＩ_Ａ（２７０）｝と誤差が所定範囲内となったかや、更新前後の重み係数Ｗ^Aの差が所定範囲内であるかなどを判定基準としてもよい。Note that determination processes updating end of the weight coefficient W^A of step S56, instead of determining whether performed predetermined number of times, 'luminance value I (theta)'_A restored luminance function I_{A(0),I 'a (90), I} ' a (180), and I 'and_a (270), the input_{^{v a in = {I a (}} 0), I a (90), I a (180), and_{I a} (270)} and Kaya error becomes within the predetermined range, the difference between the weight coefficient W^a of before and after the update and may be a criterion it is within the predetermined range.

　ステップＳ５６で、まだ規定回数の重み係数Ｗ^Aの更新を行っていないと判定された場合、処理はステップＳ５２に戻り、特性計算部７２は、蓄積された複数のシーンの位相画像のうち、まだ選択していない所定の１つのシーンの設定位相０°、９０°、１８０°、および、２７０°の４枚の位相画像を取得して、上述したステップＳ５２乃至Ｓ５６の処理を繰り返す。In step S56, when it is determined that not yet updated weight coefficient W^A prescribed number, processing returns to step S52,characteristic calculation unit 72, among the accumulated plural scenes phase images, still Four phase images of set phases 0 °, 90 °, 180 °, and 270 ° of a predetermined unselected scene are acquired, and the above-described processes of steps S52 to S56 are repeated.

　一方、ステップＳ５６で、規定回数の重み係数Ｗ^Aの更新を行ったと判定された場合、処理はステップＳ５７に進む。ステップＳ５１乃至Ｓ５６の処理は、上述したように、学習器８１Aの処理と同様に、第２タップ５２Bで検出される高調波の輝度モデルを学習する学習器８１Bについても実行されている。On the other hand, in step S56, when it is determined that made the update of the weight coefficient W^A prescribed number, the process proceeds to step S57. As described above, the processes of steps S51 to S56 are also executed for thelearner 81B that learns the luminance model of the harmonics detected by thesecond tap 52B, in the same manner as the process of thelearner 81A.

　ステップＳ５７において、特性計算部７２は、算出された第１タップ５２Aの輝度関数Ｉ’_Ａ（θ）と、第２タップ５２Bの輝度関数Ｉ’_B（θ）とを用いて、上述した式（３４）によりオフセットc₀を算出し、上述した式（３３）によりゲインc₁を算出する。In step S57, the characteristic calculatingsection 72 uses 'and_{A (theta),} intensity function I of thesecond tap 52B' luminance function I of thefirst tap 52A which is calculated and_B (theta), the above Expression ( The offset c_{0is calculated by 34), and the gain c 1} is calculated by the above equation (33).

　以上により、機械学習を用いてオフセットc₀とゲインc₁を算出する処理は終了する。This completes the process of calculating the_{offset c 0} and the gain c₁ using machine learning.

　信号処理部１６の第１構成例を用いた測距モジュール１１による測定処理によれば、決定した輝度モデル（輝度波形）に基づいて、各画素３１のタップ間の特性ばらつきを補正する補正パラメータを算出することにより、より適切にタップ間の特性ばらつきを補正することができる。According to the measurement process by the rangingmodule 11 using the first configuration example of thesignal processing unit 16, the correction parameter for correcting the characteristic variation between the taps of eachpixel 31 is set based on the determined luminance model (luminance waveform). By calculating, it is possible to more appropriately correct the characteristic variation between taps.

＜８．信号処理部の第２構成例＞
　図１９は、図１の測距センサ１３の信号処理部１６の第２構成例を示すブロック図である。<8. Second configuration example of signal processing unit>
FIG. 19 is a block diagram showing a second configuration example of thesignal processing unit 16 of thedistance measuring sensor 13 of FIG.

　図１９において、図７に示した第１構成例と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略する。In FIG. 19, the parts corresponding to the first configuration example shown in FIG. 7 are designated by the same reference numerals, and the description of the parts will be omitted as appropriate.

　図１９の信号処理部１６は、モデル決定部７１、特性計算部７２、信号補正部７３、距離計算部７４、および、最適モデル選択部９１を備える。Thesignal processing unit 16 of FIG. 19 includes amodel determination unit 71, acharacteristic calculation unit 72, asignal correction unit 73, adistance calculation unit 74, and an optimummodel selection unit 91.

　すなわち、信号処理部１６の第２構成例は、図７に示した信号処理部１６の第１構成例に対して、最適モデル選択部９１がさらに追加されている。That is, in the second configuration example of thesignal processing unit 16, the optimummodel selection unit 91 is further added to the first configuration example of thesignal processing unit 16 shown in FIG. 7.

　図７に示した第１構成例では、モデル決定部７１は、選択可能な複数の輝度モデルのなかから所定の１つを決定し、特性計算部７２は、モデル決定部７１から供給された１つの輝度モデル（輝度波形）に基づいて、補正パラメータ（オフセットc₀とゲインc₁）を算出した。In the first configuration example shown in FIG. 7, themodel determination unit 71 determines a predetermined one from a plurality of selectable luminance models, and thecharacteristic calculation unit 72 is supplied from themodel determination unit 71._{The correction parameters (offset c 0} and gain c₁ ) were calculated based on one luminance model (luminance waveform).

　これに対して、図１９の第２構成例では、モデル決定部７１は、記憶している全ての輝度モデルを、特性計算部７２に供給し、特性計算部７２は、全ての輝度モデル（輝度波形）について、補正パラメータ（オフセットc₀とゲインc₁）を算出する。ここで、モデル決定部７１においてＮ個の輝度モデルが記憶されており、Ｎ個の輝度モデルそれぞれについて算出されたオフセットc₀とゲインc₁を、（c₀^１，c₁^１）、（c₀^２，c₁^２）、・・・、（c₀^Ｎ，c₁^Ｎ）とする。特性計算部７２は、Ｎ個の輝度モデルそれぞれについて算出されたオフセットc₀とゲインc₁を、最適モデル選択部９１に供給する。On the other hand, in the second configuration example of FIG. 19, themodel determination unit 71 supplies all the stored luminance models to thecharacteristic calculation unit 72, and thecharacteristic calculation unit 72 supplies all the luminance models (luminance). For the waveform), the correction parameters (offset c₀ and gain c₁ ) are calculated. Here, N brightness models are stored in themodel determination unit 71, and the offset c₀ and the gain c₁ calculated for each of the N brightness models are set to (c₀¹ , c₁¹ ), (c).₀² , c₁² ), ..., (c₀^N , c₁^N )._{The characteristic calculation unit 72 supplies the offset c 0} and the gain c₁ calculated for each of the N luminance models to the optimummodel selection unit 91.

　最適モデル選択部９１は、Ｎ個の輝度モデルそれぞれのオフセットとゲインの組（c₀^１，c₁^１）、（c₀^２，c₁^２）、・・・、（c₀^Ｎ，c₁^Ｎ）を算出したのと同じ、設定位相０°、９０°、１８０°、および２７０°の４枚の位相画像を用いて、４Phase方式により、各画素３１の位相ずれ量φ_refを算出する。すなわち、上述した式（３）と式（２）により、各画素３１の位相ずれ量φ_refが算出される。The optimummodel selection unit 91 sets the offset and gain of each of the N luminance models (c₀¹ , c₁¹ ), (c₀² , c₁² ), ..., (C₀^N , c_1).^{Using the} same four phase images with set phases of 0 °, 90 °, 180 °, and 270 °, which are the same as those for calculating_{N), the phase shift amount φ ref} of eachpixel 31 is calculated by the 4 Phase method._{That is, the phase shift amount φ ref} of eachpixel 31 is calculated by the above-mentioned equations (3) and (2).

　また、最適モデル選択部９１は、オフセットとゲインの組（c₀^１，c₁^１）、（c₀^２，c₁^２）、・・・、（c₀^Ｎ，c₁^Ｎ）それぞれについて、式（６）を用いて、設定位相１８０°の第１タップ５２Aの検出信号Ｉ”_Ａ（１８０）と、設定位相２７０°の第１タップ５２Aの検出信号Ｉ”_Ａ（１８０）を生成する。
　　Ｉ”_Ａ（１８０） = c₀+ c₁・Ｉ_Ｂ（０）
　　Ｉ”_Ａ（２７０） = c₀+ c₁・Ｉ_Ｂ（９０）Further, the optimummodel selection unit 91 sets the offset and gain (c₀¹ , c₁¹ ), (c₀² , c₁² ), ..., (C₀^N , c₁^N ), respectively. using equation (6), to produce "and a (180), the detection signal_I of thefirst tap52A configuration phase 270 °" detection signal_I of thefirst tap52A configuration phase 180 ° of the a (180).
_{I "A (180) = c} 0 +c 1 · I B (0)
_{I "A (270) = c} 0 +c 1 · I B (90)

　さらに、最適モデル選択部９１は、２Phase方式、すなわち、上述した式（４）と式（２）により、各画素３１の位相ずれ量φ（c₀^１，c₁^１）、φ（c₀^２，c₁^２）、・・・、φ（c₀^Ｎ，c₁^Ｎ）を算出する。Further, the optimummodel selection unit 91 uses the 2Phase method, that is, the phase shift amounts φ (c₀¹ , c₁¹ ) and φ (c₀^{2) of each pixel 31 according to the above equations (4) and (2).} , C₁² ), ···, φ (c₀^N , c₁^N ) is calculated.

　そして、最適モデル選択部９１は、位相ずれ量φ_refと、位相ずれ量φ（c₀^１，c₁^１）、φ（c₀^２，c₁^２）、・・・、φ（c₀^Ｎ，c₁^Ｎ）との誤差を比較することで、最適なオフセットとゲインの組（c₀^opt，c₁^opt）を選択する。すなわち、最適モデル選択部９１は、次式（３５）を計算する。

Then, the optimummodel selection unit 91 has a phase shift amount φ_ref , a phase shift amount φ (c₀¹ , c₁¹ ), φ (c₀² , c₁² ), ..., φ (c₀^N). , C₁^N ) to select the optimum offset and gain pair (c₀^opt , c₁^opt). That is, the optimummodel selection unit 91 calculates the following equation (35).

　式（３５）のMSE[]は、［］内の平均二乗誤差を算出する関数である。argminは、MSE[]を最小にする（c₀^ｎ，c₁^ｎ）を求める関数である。したがって、式（３５）は、｛φ_ref－φ（c₀^ｎ，c₁^ｎ）｝の平均二乗誤差を最小とする（c₀^ｎ，c₁^ｎ）を（c₀^opt，c₁^opt）に決定することを表す。MSE [] in Eq. (35) is a function that calculates the mean square error in []. argmin is a function that finds the minimum MSE [] (c₀ⁿ , c₁^n). Therefore, in equation (35), (c₀^opt , c₁^opt ) is set to minimize the mean square error of_{{φ ref} −φ (c₀ⁿ , c₁ⁿ_{)} (c 0}ⁿ , c₁^n). Indicates that the decision is made.

　なお、誤差を評価する関数は、平均二乗誤差に限らず、その他の関数を用いてもよい。The function for evaluating the error is not limited to the mean square error, and other functions may be used.

　最適モデル選択部９１は、選択したオフセットc₀^optとゲインc₁^optを、信号補正部７３に供給する。The optimummodel selection unit 91_{supplies the selected offset c 0}^opt and gain c₁^opt to thesignal correction unit 73.

　信号補正部７３と距離計算部７４の処理は、第１構成例と同様である。The processing of thesignal correction unit 73 and thedistance calculation unit 74 is the same as that of the first configuration example.

＜９．第２構成例を用いた測定処理のフローチャート＞
　図２０は、信号処理部１６の第２構成例を採用した場合における図１の測距モジュール１１の測定処理のフローチャートである。この処理は、例えば、測距モジュール１１が組み込まれた上位装置の制御部から、測定の開始が指示されたとき開始される。<9. Flowchart of measurement processing using the second configuration example>
FIG. 20 is a flowchart of the measurement process of thedistance measuring module 11 of FIG. 1 when the second configuration example of thesignal processing unit 16 is adopted. This process is started, for example, when the control unit of the host device in which thedistance measuring module 11 is incorporated instructs the start of measurement.

　初めに、ステップＳ７１において、測距センサ１３の制御部１４は、受光部１５の画素アレイ３２の各画素３１のタップ間の特性ばらつきを補正する補正パラメータの推定を行うかを判定する。ステップＳ７１の処理は、図１５のフローチャートで説明した第１の構成例における測定処理のステップＳ１と同様である。First, in step S71, thecontrol unit 14 of thedistance measuring sensor 13 determines whether to estimate the correction parameter for correcting the characteristic variation between the taps of eachpixel 31 of the pixel array 32 of thelight receiving unit 15. The process of step S71 is the same as step S1 of the measurement process in the first configuration example described in the flowchart of FIG.

　ステップＳ７１で、補正パラメータの推定を行うと判定された場合、処理はステップＳ２に進み、測距モジュール１１は、全ての輝度モデルについて補正パラメータを推定する補正パラメータ推定処理を実行する。If it is determined in step S71 that the correction parameters are to be estimated, the process proceeds to step S2, and the rangingmodule 11 executes the correction parameter estimation process for estimating the correction parameters for all the luminance models.

　すなわち、第１の構成例におけるステップＳ２の処理では、モデル決定部７１によって決定された所定の１つの輝度モデルの補正パラメータを推定したのに対して、第２構成例のステップＳ７２の処理は、モデル決定部７１が記憶している全ての輝度モデルの補正パラメータを推定する点で異なる。特性計算部７２は、Ｎ個の輝度モデルそれぞれについて算出されたオフセットc₀とゲインc₁を、最適モデル選択部９１に供給する。That is, in the process of step S2 in the first configuration example, the correction parameter of one predetermined luminance model determined by themodel determination unit 71 is estimated, whereas in the process of step S72 of the second configuration example, the process is The difference is that themodel determination unit 71 estimates the correction parameters of all the luminance models stored._{The characteristic calculation unit 72 supplies the offset c 0} and the gain c₁ calculated for each of the N luminance models to the optimummodel selection unit 91.

　そして、ステップＳ７２の後、処理はステップＳ７３に進み、最適モデル選択部９１は、Ｎ個の輝度モデルのなかから、最適な輝度モデルを選択する。すなわち、式（３５）を計算することにより、Ｎ個の輝度モデルそれぞれの補正パラメータ（オフセットc₀^ｎとゲインc₁^ｎ）のなかから、最適なオフセットc₀^optとゲインc₁^optが選択される。Then, after step S72, the process proceeds to step S73, and the optimummodel selection unit 91 selects the optimum luminance model from the N luminance models. That is, by calculating equation (35), the optimum offset c₀^opt and gain c₁^opt are selected from_{the correction parameters (offset c 0}ⁿ and gain c₁^{n) of each of the N luminance models.} NS.

　一方、ステップＳ７１で、補正パラメータの推定を行わないと判定された場合、ステップＳ７２およびＳ７３の処理はスキップされ、処理はステップＳ７４に進む。On the other hand, if it is determined in step S71 that the correction parameter is not estimated, the processes of steps S72 and S73 are skipped, and the process proceeds to step S74.

　ステップＳ７４において、測距モジュール１１は、各画素３１のタップ間の特性ばらつきを補正する補正パラメータを用いて、２Phase方式により物体までの距離を測定する距離測定処理を実行し、処理を終了する。In step S74, thedistance measuring module 11 executes a distance measurement process for measuring the distance to the object by the 2 Phase method using the correction parameter for correcting the characteristic variation between the taps of eachpixel 31, and ends the process.

　信号処理部１６の第２の構成例を用いた測距モジュール１１による測定処理によれば、様々な輝度モデル（輝度波形）のなかから最適な輝度モデルを選択し、各画素３１のタップ間の特性ばらつきを補正する補正パラメータを算出することにより、より適切にタップ間の特性ばらつきを補正することができる。According to the measurement process by the rangingmodule 11 using the second configuration example of thesignal processing unit 16, the optimum luminance model is selected from various luminance models (luminance waveforms), and between the taps of eachpixel 31. By calculating the correction parameter for correcting the characteristic variation, the characteristic variation between taps can be corrected more appropriately.

＜１０．信号処理部の第３構成例＞
　図２１は、図１の測距センサ１３の信号処理部１６の第３構成例を示すブロック図である。<10. Third configuration example of signal processing unit>
FIG. 21 is a block diagram showing a third configuration example of thesignal processing unit 16 of thedistance measuring sensor 13 of FIG.

　図２１において、図１９に示した第２構成例と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略する。In FIG. 21, the parts corresponding to the second configuration example shown in FIG. 19 are designated by the same reference numerals, and the description of the parts will be omitted as appropriate.

　図２１の信号処理部１６は、モデル決定部７１、特性計算部７２、信号補正部７３、距離計算部７４、最適モデル選択部９１、および、評価部１０１を備える。Thesignal processing unit 16 of FIG. 21 includes amodel determination unit 71, acharacteristic calculation unit 72, asignal correction unit 73, adistance calculation unit 74, an optimummodel selection unit 91, and anevaluation unit 101.

　すなわち、信号処理部１６の第３構成例は、図１９に示した信号処理部１６の第２構成例に対して、評価部１０１がさらに追加されている。That is, in the third configuration example of thesignal processing unit 16, theevaluation unit 101 is further added to the second configuration example of thesignal processing unit 16 shown in FIG.

　評価部１０１には、距離計算部７４で計算されたデプスマップが供給される。The depth map calculated by thedistance calculation unit 74 is supplied to theevaluation unit 101.

　評価部１０１は、時間方向に連続する２枚のデプスマップを用いて、現在使用している補正パラメータが適切であるか否かを評価する。補正パラメータが画素３１のタップ間の特性ばらつきを適切に補正した値でない場合、特性ばらつきが固定パターンノイズとしてデプスマップに現れる。評価部１０１は、デプスマップに固定パターンノイズが現れているか否かを判定する。Theevaluation unit 101 evaluates whether or not the correction parameter currently used is appropriate by using two depth maps that are continuous in the time direction. If the correction parameter is not a value obtained by appropriately correcting the characteristic variation between taps of thepixel 31, the characteristic variation appears in the depth map as fixed pattern noise. Theevaluation unit 101 determines whether or not fixed pattern noise appears in the depth map.

　評価部１０１は、デプスマップに固定パターンノイズが現れていると判定した場合、モデル決定部７１に、補正パラメータの再計算を指示する。モデル決定部７１は、評価部１０１から補正パラメータの再計算が指示された場合、記憶している全ての輝度モデルを、特性計算部７２に供給する。When theevaluation unit 101 determines that fixed pattern noise appears in the depth map, theevaluation unit 101 instructs themodel determination unit 71 to recalculate the correction parameters. When theevaluation unit 101 instructs theevaluation unit 101 to recalculate the correction parameters, themodel determination unit 71 supplies all the stored luminance models to thecharacteristic calculation unit 72.

　図２２を参照して、評価部１０１が行う固定パターンノイズ評価処理について説明する。The fixed pattern noise evaluation process performed by theevaluation unit 101 will be described with reference to FIG. 22.

　評価部１０１には、時刻ｔ－１におけるデプスマップＤ_ｔ－１と、時刻ｔにおけるデプスマップＤ_ｔとが入力されている。The depth map D_t-1 at time t-1 and the depth map D_{t at} time t are input to theevaluation unit 101.

　評価部１０１は、初めに、時間方向に連続する２枚のデプスマップＤ_ｔ－１およびＤ_ｔのそれぞれに、画像を平滑化する空間フィルタｆを適用し、フィルタ処理後のデプスマップＤ’_ｔ－１および’Ｄ_ｔを生成する。以下、フィルタ処理後のデプスマップＤ’_ｔ－１およびＤ’_ｔを、処理後デプスマップＤ’_ｔ－１およびＤ’_ｔと称する。
　　　Ｄ’_ｔ－１＝ｆ（Ｄ_ｔ－１）
　　　Ｄ’_ｔ＝ｆ（Ｄ_ｔ）Evaluation unit 101, initially, each time two consecutive in the direction depth map D_t-1 and D_t, to apply the spatial filter f for smoothing the image, the filtered depth map D_'t Generate_-1 and'D_t. Hereinafter, the depth map D_'t-1 and D'_t after filtering, referred to as a post-processing the depth map D_'t-1 and D'_t.
D'_t-1 = f (D_t-1 )
D'_t = f (D_t )

　空間フィルタｆには、例えば、ガウシアンフィルタやバイラテラルフィルタなどの、エッジ保存型フィルタを採用することができる。空間フィルタｆを適用することで、デプスマップからノイズの影響を低減することができる。For the spatial filter f, for example, an edge preservation type filter such as a Gaussian filter or a bilateral filter can be adopted. By applying the spatial filter f, the influence of noise can be reduced from the depth map.

　次に、評価部１０１は、領域サイズを予め設定した小領域ｇ_ｔ－１およびｇ_ｔの領域位置を、それぞれ、処理後デプスマップＤ’_ｔ－１およびＤ’_ｔ内で順次スライドさせ、小領域ｇ内の各画素で検出されるデプス値ｄの分散と、２枚の処理後デプスマップ間のデプス値ｄの差との双方が最も小さい小領域ｇ_ｔを、固定パターンノイズの評価で用いる代表小領域ｇｓ’_ｔとする。この処理を式で表すと、以下のように表すことができる。

　式（３６）において、V()は、分散を求める演算子を表す。Next, theevaluation unit 101, the area position of the small region g_t-1 and g_t obtained by setting the area size in advance, respectively, are sequentially slid in the post-processing the depth map D_'t-1 and D'_t, the small the dispersion of the depth value d that is detected at each pixel in the region g, both the smallest small region g_t of the difference between the depth value d between two of the processed depth map, used in the evaluation of the fixed pattern noise as the representative small area gs'_t. This process can be expressed as follows.

In equation (36), V () represents the operator for the variance.

　次に、評価部１０１は、代表小領域ｇｓ’_ｔと同じ領域位置の小領域ｇｓを、２枚のデプスマップＤ_ｔ－１およびＤ_ｔそれぞれから抽出し、小領域ｇｓ_ｔ－１およびｇｓ_ｔとする。Next, theevaluation unit 101, the representative small area gs'_t subregions gs in the same area position, extracted from each of two depth map_{D t-1} and_{D t,} the small region_{gs t-1} and gs_t And.

　評価部１０１は、２枚のデプスマップＤ_ｔ－１およびＤ_ｔそれぞれから抽出した小領域ｇｓ_ｔ－１およびｇｓ_ｔを用いて、以下の式（３７）を算出し、小領域ｇｓ_ｔ－１とｇｓ_ｔとの差分と、小領域ｇｓ_ｔの分散との和が、所定の閾値Thより大きいか否かを判定する。式（３７）の条件式を満たす場合、評価部１０１は、デプスマップＤ_ｔに固定パターンノイズが現れている、すなわち、補正パラメータがタップ間の特性ばらつきを適切に補正した値でないと判定する。

Theevaluation unit 101 calculates the following equation (37) using the small regions gs_t-1 and gs_t extracted from the two depth maps D_t-1 and D_{t,respectively, and calculates the small region gs t-1.} It is determined whether or not the sum of the difference between gs_{tand the variance of the small region gs t} is larger than the predetermined threshold value Th. When satisfying the condition of formula (37), theevaluation unit 101, a fixed pattern noise in the depth map D_t it has appeared, that is, determines that the correction parameter is not the value obtained by appropriately correcting the characteristic variation between taps.

＜１１．第３構成例を用いた測定処理のフローチャート＞
　図２３は、信号処理部１６の第３構成例を採用した場合における図１の測距モジュール１１の測定処理のフローチャートである。この処理は、例えば、測距モジュール１１が組み込まれた上位装置の制御部から、測定の開始が指示されたとき開始される。<11. Flowchart of measurement processing using the third configuration example>
FIG. 23 is a flowchart of the measurement process of thedistance measuring module 11 of FIG. 1 when the third configuration example of thesignal processing unit 16 is adopted. This process is started, for example, when the control unit of the host device in which thedistance measuring module 11 is incorporated instructs the start of measurement.

　図２３のステップＳ１０１乃至S１０４の処理は、図２０で説明したステップＳ７１乃至Ｓ７４の処理とそれぞれ同様であるので、その説明は省略する。ステップＳ１０４において算出されたデプスマップは、評価部１０１にも供給され、評価部１０１には、時間方向に連続する２枚のデプスマップＤ_ｔ－１およびＤ_ｔが記憶される。Since the processes of steps S101 to S104 of FIG. 23 are the same as the processes of steps S71 to S74 described with reference to FIG. 20, the description thereof will be omitted. The depth map calculated in step S104 is also supplied to theevaluation unit 101, and theevaluation unit 101 stores two depth maps D_t-1 and D_{t that} are continuous in the time direction.

　ステップＳ１０５において、評価部１０１は、時間方向に連続する２枚のデプスマップを用いて、現在使用している補正パラメータが適切であるか否かを評価する固定パターンノイズ評価処理を実行する。ステップＳ１０５における固定パターンノイズ評価処理の詳細は、図２４のフローチャートを参照して後述する。In step S105, theevaluation unit 101 executes a fixed pattern noise evaluation process for evaluating whether or not the correction parameter currently used is appropriate, using two depth maps that are continuous in the time direction. Details of the fixed pattern noise evaluation process in step S105 will be described later with reference to the flowchart of FIG. 24.

　ステップＳ１０６において、評価部１０１は、固定パターンノイズ評価処理の結果を用いて、デプスマップＤ_ｔ－１およびＤ_ｔに固定パターンノイズが発生しているかを判定する。具体的には、評価部１０１は、式（３７）の条件式を満たすか否かを判定する。In step S106, theevaluation unit 101 uses the result of the fixed pattern noise evaluation process to determine whether fixed pattern noise is generated in the_{depth maps D t-1} and D_t. Specifically, theevaluation unit 101 determines whether or not the conditional expression of the equation (37) is satisfied.

　ステップＳ１０６で、式（３７）の条件式を満たし、固定パターンノイズが発生していると判定された場合、処理はステップＳ１０７に進み、評価部１０１は、モデル決定部７１に、補正パラメータの再計算を指示する。モデル決定部７１は、記憶している全ての輝度モデルを、特性計算部７２に供給する。特性計算部７２は、全ての輝度モデルについて補正パラメータを推定する補正パラメータ推定処理を実行する。補正パラメータの再計算が指示された後のステップＳ１０７の処理は、ステップＳ１０２や、図２０のステップＳ７２と同様である。If the conditional expression of the equation (37) is satisfied in step S106 and it is determined that the fixed pattern noise is generated, the process proceeds to step S107, and theevaluation unit 101 informs themodel determination unit 71 of the correction parameter. Instruct the calculation. Themodel determination unit 71 supplies all the stored luminance models to thecharacteristic calculation unit 72. Thecharacteristic calculation unit 72 executes a correction parameter estimation process for estimating correction parameters for all luminance models. The process of step S107 after the recalculation of the correction parameter is instructed is the same as that of step S102 and step S72 of FIG.

　そして、ステップＳ１０８において、最適モデル選択部９１は、Ｎ個の輝度モデルのなかから、最適な輝度モデルを選択する。ステップＳ１０８の処理は、ステップＳ１０３や、図２０のステップＳ７３と同様である。Then, in step S108, the optimummodel selection unit 91 selects the optimum brightness model from the N brightness models. The process of step S108 is the same as that of step S103 and step S73 of FIG.

　一方、ステップＳ１０６で、固定パターンノイズが発生していないと判定された場合、ステップＳ１０７およびＳ１０８の処理はスキップされ、測定処理は終了する。On the other hand, if it is determined in step S106 that fixed pattern noise has not occurred, the processes of steps S107 and S108 are skipped, and the measurement process ends.

　図２４は、図２３のステップＳ１０５で実行される固定パターンノイズ評価処理の詳細なフローチャートである。FIG. 24 is a detailed flowchart of the fixed pattern noise evaluation process executed in step S105 of FIG. 23.

　初めに、ステップＳ１２１において、評価部１０１は、時間方向に連続する２枚のデプスマップＤ_ｔ－１およびＤ_ｔのそれぞれに、画像を平滑化する空間フィルタｆを適用し、処理後デプスマップＤ’_ｔ－１およびＤ’_ｔを生成する。First, in step S121, theevaluation unit 101 applies a spatial filter f for smoothing an image to each of_{the two continuous depth maps D t-1} and D_{t in the time direction, and the processed depth map D.} '_t-1 and D'_t are generated.

　ステップＳ１２２において、評価部１０１は、処理後デプスマップＤ’_ｔ－１およびＤ’_ｔ内に、それぞれ、小領域ｇ_ｔ－１およびｇ_ｔを設定してスライドさせ、代表小領域ｇｓ’_ｔを設定する。代表小領域ｇｓ’_ｔは、式（３６）で表される、小領域ｇ内のデプス値ｄの分散と、２枚の処理後デプスマップ間のデプス値ｄの差との双方が最も小さい小領域ｇ_ｔとされる。In step S122, theevaluation unit 101, the processing after the depth map D within_'t-1 and D'_t, respectively, is slid by setting small regions_{g t-1} and_{g t,} a representative small region gs'_t Set. Small representative subregion gs'_t has the formula represented by (36), and the variance of depth value d in the small region g, the smallest both the difference between the depth value d between the two processed depth map It is an area_{g t.}

　ステップＳ１２３において、評価部１０１は、代表小領域ｇｓ’_ｔと同じ領域位置の小領域ｇｓを、２枚のデプスマップＤ_ｔ－１およびＤ_ｔそれぞれから抽出し、小領域ｇｓ_ｔ－１およびｇｓ_ｔとする。In step S123, theevaluation unit 101, the representative small area gs'_t subregions gs in the same area position, extracted from each of two depth map_{D t-1} and_{D t,} the small region_{gs t-1} and gs_{Let t} .

　ステップＳ１２４において、評価部１０１は、２枚のデプスマップＤ_ｔ－１およびＤ_ｔそれぞれから抽出した小領域ｇｓ_ｔ－１およびｇｓ_ｔを用いて、式（３７）の左辺、すなわち、小領域ｇｓ_ｔ－１とｇｓ_ｔとの差分と、小領域ｇｓ_ｔの分散との和を算出する。In step S124, theevaluation unit 101 uses the small regions gs_t-1 and gs_{textracted from the two depth maps D t-1} and D_t, respectively, to use the left side of the equation (37), that is, the small region gs. The sum of the difference between_t-1 and gs_t and the variance of the_{small region gs t is calculated.}

　ステップＳ１２４の後、処理は図２３のステップＳ１０６に進み、式（３７）の条件式を満たすか否かが判定される。After step S124, the process proceeds to step S106 of FIG. 23, and it is determined whether or not the conditional expression of the equation (37) is satisfied.

　以上で、信号処理部１６の第３構成例を採用した場合における測距モジュール１１の測定処理が終了する。This completes the measurement process of thedistance measuring module 11 when the third configuration example of thesignal processing unit 16 is adopted.

　上述した信号処理部１６の第１構成例乃至第３構成例のいずれかを備える測距モジュール１１によれば、より適切にタップ間の特性ばらつきを補正することができる。信号処理部１６は、上述した第１構成例乃至第３構成例のいずれかで構成されてもよいし、第１構成例乃至第３構成例を選択的に実行可能な構成としてもよい。かかる信号処理部１６を有することにより、タップ間の特性ばらつきを補正するタイミングにおいて信号のSN比が十分に高くない場合でも、安定したオフセットc₀とゲインc₁の推定が期待できる。According to thedistance measuring module 11 including any of the first configuration example to the third configuration example of thesignal processing unit 16 described above, it is possible to more appropriately correct the characteristic variation between taps. Thesignal processing unit 16 may be configured by any of the above-mentioned first configuration example to third configuration example, or may be configured so that the first configuration example to the third configuration example can be selectively executed._{By having such a signal processing unit 16, stable estimation of offset c 0} and gain c₁ can be expected even when the signal-to-noise ratio of the signal is not sufficiently high at the timing of correcting the characteristic variation between taps.

＜１２．測距センサのチップ構成例＞
　図２５は、測距センサ１３のチップ構成例を示す斜視図である。<12. Distance measurement sensor chip configuration example>
FIG. 25 is a perspective view showing a chip configuration example of thedistance measuring sensor 13.

　測距センサ１３は、例えば、図２５のAに示されるように、複数のダイ（基板）としてのセンサダイ１５１とロジックダイ１５２とが積層された１つのチップで構成することができる。For example, as shown in A of FIG. 25, thedistance measuring sensor 13 can be composed of one chip in which a sensor die 151 as a plurality of dies (boards) and alogic die 152 are laminated.

　センサダイ１５１には、センサ部１６１（としての回路）が構成され、ロジックダイ１５２には、ロジック部１６２が構成されている。The sensor die 151 is configured with a sensor unit 161 (as a circuit), and the logic die 152 is configured with alogic unit 162.

　センサ部１６１には、例えば、受光部１５が形成されている。ロジック部１６２には、例えば、制御部１４、信号処理部１６、入出力端子などが形成されている。For example, alight receiving unit 15 is formed in thesensor unit 161. Thelogic unit 162 is formed with, for example, acontrol unit 14, asignal processing unit 16, input / output terminals, and the like.

　また、測距センサ１３は、センサダイ１５１とロジックダイ１５２とに加えて、もう１つのロジックダイを積層した３層で構成してもよい。勿論、４層以上のダイ（基板）の積層で構成してもよい。Further, thedistance measuring sensor 13 may be composed of three layers in which another logic die is laminated in addition to the sensor die 151 and the logic die 152. Of course, it may be composed of a stack of four or more dies (boards).

　あるいはまた、測距センサ１３は、例えば、図２５のBに示されるように、第１のチップ１７１および第２のチップ１７２と、それらが搭載された中継基板（インターポーザ基板）１７３とで構成してもよい。Alternatively, the rangingsensor 13 is composed of, for example, as shown in FIG. 25B, afirst chip 171 and asecond chip 172, and a relay board (interposer board) 173 on which they are mounted. You may.

　第１のチップ１７１には、例えば、受光部１５が形成されている。第２のチップ１７２には、制御部１４、信号処理部１６などが形成されている。For example, alight receiving portion 15 is formed on thefirst chip 171. Acontrol unit 14, asignal processing unit 16, and the like are formed on thesecond chip 172.

　なお、上述した図２５のAにおけるセンサダイ１５１とロジックダイ１５２との回路配置、および、図２５のBにおける第１のチップ１７１と第２のチップ１７２との回路配置は、あくまで一例であり、これに限定されない。例えば、デプスマップの生成処理などを行う信号処理部１６が、信号処理装置として測距センサ１３の外部（別チップ）に設けられてもよい。The circuit arrangement of the sensor die 151 and the logic die 152 in A of FIG. 25 and the circuit arrangement of thefirst chip 171 and thesecond chip 172 in B of FIG. 25 are merely examples. Not limited to. For example, asignal processing unit 16 that performs depth map generation processing and the like may be provided outside (separate chip) of thedistance measuring sensor 13 as a signal processing device.

＜１３．電子機器の構成例＞
　上述した測距モジュール１１は、例えば、スマートフォン、タブレット型端末、携帯電話機、パーソナルコンピュータ、ゲーム機、テレビ受像機、ウェアラブル端末、デジタルスチルカメラ、デジタルビデオカメラなどの電子機器に搭載することができる。<13. Configuration example of electronic device>
Thedistance measuring module 11 described above can be mounted on an electronic device such as a smartphone, a tablet terminal, a mobile phone, a personal computer, a game machine, a television receiver, a wearable terminal, a digital still camera, or a digital video camera.

　図２６は、測距モジュールを搭載した電子機器としてのスマートフォンの構成例を示すブロック図である。FIG. 26 is a block diagram showing a configuration example of a smartphone as an electronic device equipped with a ranging module.

　図２６に示すように、スマートフォン２０１は、測距モジュール２０２、撮像装置２０３、ディスプレイ２０４、スピーカ２０５、マイクロフォン２０６、通信モジュール２０７、センサユニット２０８、タッチパネル２０９、および制御ユニット２１０が、バス２１１を介して接続されて構成される。また、制御ユニット２１０では、CPUがプログラムを実行することによって、アプリケーション処理部２２１およびオペレーションシステム処理部２２２としての機能を備える。As shown in FIG. 26, in thesmartphone 201, thedistance measuring module 202, theimage pickup device 203, thedisplay 204, thespeaker 205, themicrophone 206, thecommunication module 207, thesensor unit 208, thetouch panel 209, and thecontrol unit 210 are connected via thebus 211. Is connected and configured. Further, thecontrol unit 210 has functions as an application processing unit 221 and an operating system processing unit 222 by executing a program by the CPU.

　測距モジュール２０２には、図１の測距モジュール１１が適用される。例えば、測距モジュール２０２は、スマートフォン２０１の前面に配置され、スマートフォン２０１のユーザを対象とした測距を行うことにより、そのユーザの顔や手、指などの表面形状のデプス値を測距結果として出力することができる。また、測距モジュール２０２による測距結果を用いて、ユーザのジェスチャを認識することも可能である。Thedistance measuring module 11 of FIG. 1 is applied to thedistance measuring module 202. For example, thedistance measuring module 202 is arranged in front of thesmartphone 201, and by performing distance measurement for the user of thesmartphone 201, the depth value of the surface shape of the user's face, hand, finger, etc. is measured as a distance measurement result. Can be output as. It is also possible to recognize the user's gesture by using the distance measurement result by thedistance measurement module 202.

　撮像装置２０３は、スマートフォン２０１の前面に配置され、スマートフォン２０１のユーザを被写体とした撮像を行うことにより、そのユーザが写された画像を取得する。なお、図示しないが、スマートフォン２０１の背面にも撮像装置２０３が配置された構成としてもよい。Theimage pickup device 203 is arranged in front of thesmartphone 201, and by taking an image of the user of thesmartphone 201 as a subject, the image taken by the user is acquired. Although not shown, theimage pickup device 203 may be arranged on the back surface of thesmartphone 201.

　ディスプレイ２０４は、アプリケーション処理部２２１およびオペレーションシステム処理部２２２による処理を行うための操作画面や、撮像装置２０３が撮像した画像などを表示する。スピーカ２０５およびマイクロフォン２０６は、例えば、スマートフォン２０１により通話を行う際に、相手側の音声の出力、および、ユーザの音声の収音を行う。Thedisplay 204 displays an operation screen for performing processing by the application processing unit 221 and the operation system processing unit 222, an image captured by theimage pickup device 203, and the like. Thespeaker 205 and themicrophone 206, for example, output the voice of the other party and collect the voice of the user when making a call by thesmartphone 201.

　通信モジュール２０７は、通信ネットワークを介した通信を行う。センサユニット２０８は、速度や加速度、近接などをセンシングし、タッチパネル２０９は、ディスプレイ２０４に表示されている操作画面に対するユーザによるタッチ操作を取得する。Thecommunication module 207 communicates via the communication network. Thesensor unit 208 senses speed, acceleration, proximity, etc., and thetouch panel 209 acquires a touch operation by the user on the operation screen displayed on thedisplay 204.

　アプリケーション処理部２２１は、スマートフォン２０１によって様々なサービスを提供するための処理を行う。例えば、アプリケーション処理部２２１は、測距モジュール２０２から供給されるデプスに基づいて、ユーザの表情をバーチャルに再現したコンピュータグラフィックスによる顔を作成し、ディスプレイ２０４に表示する処理を行うことができる。また、アプリケーション処理部２２１は、測距モジュール２０２から供給されるデプスに基づいて、例えば、任意の立体的な物体の三次元形状データを作成する処理を行うことができる。The application processing unit 221 performs processing for providing various services by thesmartphone 201. For example, the application processing unit 221 can create a face by computer graphics that virtually reproduces the user's facial expression based on the depth supplied from thedistance measuring module 202, and can perform a process of displaying the face on thedisplay 204. Further, the application processing unit 221 can perform a process of creating, for example, three-dimensional shape data of an arbitrary three-dimensional object based on the depth supplied from thedistance measuring module 202.

　オペレーションシステム処理部２２２は、スマートフォン２０１の基本的な機能および動作を実現するための処理を行う。例えば、オペレーションシステム処理部２２２は、測距モジュール２０２から供給されるデプス値に基づいて、ユーザの顔を認証し、スマートフォン２０１のロックを解除する処理を行うことができる。また、オペレーションシステム処理部２２２は、測距モジュール２０２から供給されるデプス値に基づいて、例えば、ユーザのジェスチャを認識する処理を行い、そのジェスチャに従った各種の操作を入力する処理を行うことができる。The operation system processing unit 222 performs processing for realizing the basic functions and operations of thesmartphone 201. For example, the operation system processing unit 222 can perform a process of authenticating the user's face and unlocking thesmartphone 201 based on the depth value supplied from thedistance measuring module 202. Further, the operation system processing unit 222 performs, for example, a process of recognizing a user's gesture based on the depth value supplied from thedistance measuring module 202, and performs a process of inputting various operations according to the gesture. Can be done.

　このように構成されているスマートフォン２０１では、上述した測距モジュール１１を適用することで、例えば、高精度にかつ高速にデプスマップを生成することができる。これにより、スマートフォン２０１は、測距情報をより正確に検出することができる。In thesmartphone 201 configured in this way, by applying thedistance measuring module 11 described above, for example, a depth map can be generated with high accuracy and high speed. As a result, thesmartphone 201 can detect the distance measurement information more accurately.

＜１４．移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。<14. Application example to mobile>
The technology according to the present disclosure (the present technology) can be applied to various products. For example, the technology according to the present disclosure is realized as a device mounted on a moving body of any kind such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. You may.

　図２７は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。FIG. 27 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technology according to the present disclosure can be applied.

　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２７に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。Thevehicle control system 12000 includes a plurality of electronic control units connected via thecommunication network 12001. In the example shown in FIG. 27, thevehicle control system 12000 includes a drivesystem control unit 12010, a bodysystem control unit 12020, an outsideinformation detection unit 12030, an in-vehicleinformation detection unit 12040, and an integrated control unit 12050. Further, as a functional configuration of the integrated control unit 12050, amicrocomputer 12051, an audioimage output unit 12052, and an in-vehicle network I / F (interface) 12053 are shown.

　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。The drivesystem control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs. For example, the drivesystem control unit 12010 provides a driving force generator for generating the driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating a braking force of a vehicle.

　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。The bodysystem control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs. For example, the bodysystem control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, blinkers or fog lamps. In this case, the bodysystem control unit 12020 may be input with radio waves transmitted from a portable device that substitutes for the key or signals of various switches. The bodysystem control unit 12020 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.

　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。The vehicle outsideinformation detection unit 12030 detects information outside the vehicle equipped with thevehicle control system 12000. For example, theimage pickup unit 12031 is connected to the vehicle exteriorinformation detection unit 12030. The vehicle outsideinformation detection unit 12030 causes theimage pickup unit 12031 to capture an image of the outside of the vehicle and receives the captured image. The vehicle exteriorinformation detection unit 12030 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or a character on the road surface based on the received image.

　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。Theimaging unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of the light received. Theimage pickup unit 12031 can output an electric signal as an image or can output it as distance measurement information. Further, the light received by theimaging unit 12031 may be visible light or invisible light such as infrared light.

　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。The in-vehicleinformation detection unit 12040 detects the in-vehicle information. For example, a driverstate detection unit 12041 that detects the driver's state is connected to the in-vehicleinformation detection unit 12040. The driverstate detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicleinformation detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driverstate detection unit 12041. It may be calculated, or it may be determined whether the driver is dozing.

　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。Themicrocomputer 12051 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the vehicle exteriorinformation detection unit 12030 or the vehicle interiorinformation detection unit 12040, and the drive system control unit. A control command can be output to 12010. For example, themicrocomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, and the like. It is possible to perform cooperative control for the purpose of.

　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。Further, themicrocomputer 12051 controls the driving force generator, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exteriorinformation detection unit 12030 or the vehicle interiorinformation detection unit 12040. It is possible to perform coordinated control for the purpose of automatic driving, etc., which runs autonomously without depending on the operation.

　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。Further, themicrocomputer 12051 can output a control command to the bodysystem control unit 12020 based on the information outside the vehicle acquired by the vehicle exteriorinformation detection unit 12030. For example, themicrocomputer 12051 controls the headlamps according to the position of the preceding vehicle or the oncoming vehicle detected by the externalinformation detection unit 12030, and performs coordinated control for the purpose of anti-glare such as switching the high beam to the low beam. It can be carried out.

　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２７の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。The audioimage output unit 12052 transmits the output signal of at least one of the audio and the image to the output device capable of visually or audibly notifying the passenger of the vehicle or the outside of the vehicle. In the example of FIG. 27, anaudio speaker 12061, adisplay unit 12062, and aninstrument panel 12063 are exemplified as output devices. Thedisplay unit 12062 may include, for example, at least one of an onboard display and a heads-up display.

　図２８は、撮像部１２０３１の設置位置の例を示す図である。FIG. 28 is a diagram showing an example of the installation position of theimaging unit 12031.

　図２８では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。In FIG. 28, thevehicle 12100 hasimage pickup units 12101, 12102, 12103, 12104, 12105 as theimage pickup unit 12031.

　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。Theimaging units 12101, 12102, 12103, 12104, 12105 are provided at positions such as the front nose, side mirrors, rear bumpers, back doors, and the upper part of the windshield in the vehicle interior of thevehicle 12100, for example. Theimage pickup unit 12101 provided on the front nose and theimage pickup section 12105 provided on the upper part of the windshield in the vehicle interior mainly acquire an image in front of thevehicle 12100. Theimaging units 12102 and 12103 provided in the side mirrors mainly acquire images of the side of thevehicle 12100. Theimaging unit 12104 provided on the rear bumper or the back door mainly acquires an image of the rear of thevehicle 12100. The images in front acquired by theimaging units 12101 and 12105 are mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.

　なお、図２８には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。Note that FIG. 28 shows an example of the photographing range of theimaging units 12101 to 12104. Theimaging range 12111 indicates the imaging range of theimaging unit 12101 provided on the front nose, the imaging ranges 12112 and 12113 indicate the imaging ranges of theimaging units 12102 and 12103 provided on the side mirrors, respectively, and theimaging range 12114 indicates the imaging range of theimaging units 12102 and 12103. The imaging range of theimaging unit 12104 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by theimaging units 12101 to 12104, a bird's-eye view image of thevehicle 12100 as viewed from above can be obtained.

　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。At least one of theimaging units 12101 to 12104 may have a function of acquiring distance information. For example, at least one of theimage pickup units 12101 to 12104 may be a stereo camera composed of a plurality of image pickup elements, or may be an image pickup element having pixels for phase difference detection.

　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。For example, themicrocomputer 12051 has a distance to each three-dimensional object within theimaging range 12111 to 12114 based on the distance information obtained from theimaging units 12101 to 12104, and a temporal change of this distance (relative velocity with respect to the vehicle 12100). By obtaining can. Further, themicrocomputer 12051 can set an inter-vehicle distance to be secured in front of the preceding vehicle in advance, and can perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform coordinated control for the purpose of automatic driving or the like in which the vehicle travels autonomously without depending on the operation of the driver.

　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。For example, themicrocomputer 12051 converts three-dimensional object data related to a three-dimensional object into two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, utility poles, and other three-dimensional objects based on the distance information obtained from theimaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles. For example, themicrocomputer 12051 distinguishes obstacles around thevehicle 12100 into obstacles that can be seen by the driver of thevehicle 12100 and obstacles that are difficult to see. Then, themicrocomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, themicrocomputer 12051 via theaudio speaker 12061 or thedisplay unit 12062. By outputting an alarm to the driver and performing forced deceleration and avoidance steering via the drivesystem control unit 12010, driving support for collision avoidance can be provided.

　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。At least one of theimaging units 12101 to 12104 may be an infrared camera that detects infrared rays. For example, themicrocomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the captured image of theimaging units 12101 to 12104. Such pedestrian recognition includes, for example, a procedure for extracting feature points in an image captured by animaging unit 12101 to 12104 as an infrared camera, and pattern matching processing for a series of feature points indicating the outline of an object to determine whether or not the pedestrian is a pedestrian. It is done by the procedure to determine. When themicrocomputer 12051 determines that a pedestrian is present in the captured images of theimaging units 12101 to 12104 and recognizes the pedestrian, the audioimage output unit 12052 outputs a square contour line for emphasizing the recognized pedestrian. Thedisplay unit 12062 is controlled so as to superimpose and display. Further, the audioimage output unit 12052 may control thedisplay unit 12062 so as to display an icon or the like indicating a pedestrian at a desired position.

　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、車外情報検出ユニット１２０３０や車内情報検出ユニット１２０４０に適用され得る。具体的には、車外情報検出ユニット１２０３０や車内情報検出ユニット１２０４０として測距モジュール１１による測距を利用することで、運転者のジェスチャを認識する処理を行い、そのジェスチャに従った各種（例えば、オーディオシステム、ナビゲーションシステム、エアーコンディショニングシステム）の操作を実行したり、より正確に運転者の状態を検出することができる。また、測距モジュール１１による測距を利用して、路面の凹凸を認識して、サスペンションの制御に反映させたりすることができる。The above is an example of a vehicle control system to which the technology according to the present disclosure can be applied. The technique according to the present disclosure can be applied to the vehicle exteriorinformation detection unit 12030 and the vehicle interiorinformation detection unit 12040 among the configurations described above. Specifically, by using the distance measurement by thedistance measuring module 11 as the outsideinformation detection unit 12030 and the insideinformation detection unit 12040, processing for recognizing the driver's gesture is performed, and various types (for example, for example) according to the gesture are performed. It can perform operations on audio systems, navigation systems, air conditioning systems) and detect the driver's condition more accurately. Further, the distance measurement by thedistance measurement module 11 can be used to recognize the unevenness of the road surface and reflect it in the control of the suspension.

　なお、本技術は、Indirect ToF方式の中でもContinuous-Wave方式と称する、物体へ投射する光を振幅変調する方式に適用することができる。また、受光部１５のフォトダイオード５１の構造としては、CAPD（Current Assisted Photonic Demodulator）構造の測距センサや、フォトダイオードの電荷を２つのゲートに交互にパルスを加えるゲート方式の測距センサなど、２つの電荷蓄積部に電荷を振り分ける構造の測距センサに適用することができる。Note that this technology can be applied to the continuous-Wave method, which is an indirect ToF method that amplitude-modulates the light projected onto an object. The structure of thephotodiode 51 of thelight receiving unit 15 includes a distance measuring sensor having a CAPD (Current Assisted Photonic Demodulator) structure, a gate type distance measuring sensor that alternately applies an electric charge of the photodiode to two gates, and the like. It can be applied to a distance measuring sensor having a structure that distributes charges to two charge storage units.

　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。The embodiment of the present technology is not limited to the above-described embodiment, and various changes can be made without departing from the gist of the present technology.

　本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。The present techniques described above in this specification can be independently implemented independently as long as there is no contradiction. Of course, any plurality of the present technologies can be used in combination. For example, some or all of the techniques described in any of the embodiments may be combined with some or all of the techniques described in other embodiments. It is also possible to carry out a part or all of any of the above-mentioned techniques in combination with other techniques not described above.

　また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。Further, for example, the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units). On the contrary, the configurations described above as a plurality of devices (or processing units) may be collectively configured as one device (or processing unit). Further, of course, a configuration other than the above may be added to the configuration of each device (or each processing unit). Further, if the configuration and operation of the entire system are substantially the same, a part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit). ..

　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。Further, in the present specification, the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..

　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。It should be noted that the effects described in the present specification are merely examples and are not limited, and effects other than those described in the present specification may be obtained.

　なお、本技術は、以下の構成を取ることができる。
（１）
　所定の発光源から照射された照射光が物体で反射されて返ってきた反射光を受光する画素で得られた画素データに基づいて、前記物体までの距離を算出する処理を行う信号処理部を備え、
　前記信号処理部は、前記照射光の発光波形の形状と前記画素の露光波形の形状とに応じた輝度モデルに基づいて、前記画素の第１電荷検出部と第２電荷検出部との特性を補正する補正パラメータを算出する特性計算部を有する
　信号処理装置。
（２）
　前記特性計算部は、複数の輝度モデルのなかから選択された所定の輝度モデルに基づいて、前記補正パラメータを算出する
　前記（１）に記載の信号処理装置。
（３）
　前記所定の輝度モデルは、三角波である
　前記（２）に記載の信号処理装置。
（４）
　前記所定の輝度モデルは、ｓｉｎ波である
　前記（２）に記載の信号処理装置。
（５）
　前記所定の輝度モデルは、高調波である
　前記（２）に記載の信号処理装置。
（６）
　前記特性計算部は、前記第１電荷検出部と第２電荷検出部のそれぞれについて、高調波と仮定した輝度波形を表す輝度関数を機械学習により推定し、前記補正パラメータを算出する
　前記（５）に記載の信号処理装置。
（７）
　前記機械学習の学習器は、前記第１電荷検出部または第２電荷検出部に対応する前記輝度関数を学習し、
　前記特性計算部は、前記学習器の入力と、学習により得られた前記輝度関数の値との差が小さくなるように、前記学習器を学習する
　前記（６）に記載の信号処理装置。
（８）
　前記特性計算部は、前記第１電荷検出部に対応する第１の輝度関数と、前記第２電荷検出部に対応する第２の輝度関数とが同一であるという条件にも基づいて、前記学習器を学習する
　前記（７）に記載の信号処理装置。
（９）
　前記特性計算部は、複数の輝度モデルについて前記補正パラメータを算出し、
　前記複数の輝度モデルの前記補正パラメータのうち、入力された画像から算出した位相ずれ量との誤差が少ない前記補正パラメータを選択する選択部をさらに備える
　前記（１）乃至（８）のいずれかに記載の信号処理装置。
（１０）
　前記特性計算部により算出された前記補正パラメータを評価する評価部をさらに備える
　前記（１）乃至（９）のいずれかに記載の信号処理装置。
（１１）
　前記信号処理部は、前記特性計算部により算出された前記補正パラメータで補正された画素データに基づいて、前記物体までの距離を算出する距離計算部をさらに備える
　前記（１）乃至（１０）のいずれかに記載の信号処理装置。
（１２）
　所定の発光源から照射された照射光が物体で反射されて返ってきた反射光を受光する画素で得られた画素データに基づいて、前記物体までの距離を算出する処理を行う信号処理装置が、
　前記照射光の発光波形の形状と前記画素の露光波形の形状とに応じた輝度モデルに基づいて、前記画素の第１電荷検出部と第２電荷検出部との特性を補正する補正パラメータを算出する
　信号処理方法。
（１３）
　所定の発光源と、
　前記発光源から照射された照射光が物体で反射されて返ってきた反射光を受光する画素を有する測距センサと
　を備え、
　前記測距センサは、前記照射光の発光波形の形状と前記画素の露光波形の形状とに応じた輝度モデルに基づいて、前記画素の第１電荷検出部と第２電荷検出部との特性を補正する補正パラメータを算出する特性計算部を有する
　測距モジュール。The present technology can have the following configurations.
(1)
A signal processing unit that performs processing to calculate the distance to the object based on the pixel data obtained by the pixels that receive the reflected light that is reflected by the object and the irradiation light emitted from the predetermined light emitting source is received. Prepare,
The signal processing unit determines the characteristics of the first charge detection unit and the second charge detection unit of the pixel based on the luminance model according to the shape of the emission waveform of the irradiation light and the shape of the exposure waveform of the pixel. A signal processing device having a characteristic calculation unit for calculating correction parameters to be corrected.
(2)
The signal processing device according to (1), wherein the characteristic calculation unit calculates the correction parameter based on a predetermined luminance model selected from a plurality of luminance models.
(3)
The signal processing device according to (2) above, wherein the predetermined luminance model is a triangular wave.
(4)
The signal processing device according to (2) above, wherein the predetermined luminance model is a sine wave.
(5)
The signal processing device according to (2) above, wherein the predetermined luminance model is a harmonic.
(6)
The characteristic calculation unit estimates the brightness function representing the brightness waveform assumed to be a harmonic for each of the first charge detection unit and the second charge detection unit by machine learning, and calculates the correction parameter (5). The signal processing apparatus according to.
(7)
The machine learning learner learns the luminance function corresponding to the first charge detection unit or the second charge detection unit, and learns the brightness function.
The signal processing device according to (6), wherein the characteristic calculation unit learns the learner so that the difference between the input of the learner and the value of the luminance function obtained by learning becomes small.
(8)
The characteristic calculation unit learns based on the condition that the first luminance function corresponding to the first charge detection unit and the second luminance function corresponding to the second charge detection unit are the same. The signal processing device according to (7) above.
(9)
The characteristic calculation unit calculates the correction parameters for a plurality of luminance models, and calculates the correction parameters.
One of the above (1) to (8) further comprising a selection unit for selecting the correction parameter having a small error from the phase shift amount calculated from the input image among the correction parameters of the plurality of luminance models. The signal processing device described.
(10)
The signal processing apparatus according to any one of (1) to (9), further comprising an evaluation unit for evaluating the correction parameter calculated by the characteristic calculation unit.
(11)
The signal processing unit further includes a distance calculation unit that calculates a distance to the object based on pixel data corrected by the correction parameter calculated by the characteristic calculation unit (1) to (10). The signal processing device according to any one.
(12)
A signal processing device that calculates the distance to the object based on the pixel data obtained by the pixels that receive the reflected light that is reflected by the object and the irradiation light emitted from the predetermined light source. ,
Based on the brightness model according to the shape of the emission waveform of the irradiation light and the shape of the exposure waveform of the pixel, a correction parameter for correcting the characteristics of the first charge detection unit and the second charge detection unit of the pixel is calculated. Signal processing method.
(13)
With a given light source
A distance measuring sensor having a pixel that receives the reflected light that is reflected by an object and returned from the irradiation light emitted from the light emitting source is provided.
The ranging sensor determines the characteristics of the first charge detection unit and the second charge detection unit of the pixel based on the luminance model according to the shape of the emission waveform of the irradiation light and the shape of the exposure waveform of the pixel. A distance measuring module having a characteristic calculation unit that calculates correction parameters to be corrected.

　１１　測距モジュール，　１２　発光部，　１３　測距センサ，　１４　制御部，　１５　受光部，　１６　信号処理部，　３１　画素，　３２　画素アレイ，　５２A　第１タップ，　５２B　第２タップ，　７１　モデル決定部，　７２　特性計算部，　７３　信号補正部，　７４　距離計算部，　８１A，８１B　学習器，　９１　最適モデル選択部，　１０１　評価部，　２０１　スマートフォン，　２０２　測距モジュール11 Distance measurement module, 12 light emitting unit, 13 distance measurement sensor, 14 control unit, 15 light receiving unit, 16 signal processing unit, 31 pixels, 32 pixel array, 52A 1st tap, 52B 2nd tap, 71 model determination unit, 72 Characteristic calculation unit, 73 signal correction unit, 74 distance calculation unit, 81A, 81B learner, 91 optimum model selection unit, 101 evaluation unit, 201 smartphone, 202 distance measurement module

Claims (13)

Translated fromJapanese

　所定の発光源から照射された照射光が物体で反射されて返ってきた反射光を受光する画素で得られた画素データに基づいて、前記物体までの距離を算出する処理を行う信号処理部を備え、
　前記信号処理部は、前記照射光の発光波形の形状と前記画素の露光波形の形状とに応じた輝度モデルに基づいて、前記画素の第１電荷検出部と第２電荷検出部との特性を補正する補正パラメータを算出する特性計算部を有する
　信号処理装置。A signal processing unit that performs processing to calculate the distance to the object based on the pixel data obtained by the pixels that receive the reflected light that is reflected by the object and the irradiation light emitted from the predetermined light emitting source is received. Prepare,
The signal processing unit determines the characteristics of the first charge detection unit and the second charge detection unit of the pixel based on the luminance model according to the shape of the emission waveform of the irradiation light and the shape of the exposure waveform of the pixel. A signal processing device having a characteristic calculation unit for calculating correction parameters to be corrected.　前記特性計算部は、複数の輝度モデルのなかから選択された所定の輝度モデルに基づいて、前記補正パラメータを算出する
　請求項１に記載の信号処理装置。The signal processing device according to claim 1, wherein the characteristic calculation unit calculates the correction parameter based on a predetermined luminance model selected from a plurality of luminance models.　前記所定の輝度モデルは、三角波である
　請求項２に記載の信号処理装置。The signal processing device according to claim 2, wherein the predetermined luminance model is a triangular wave.　前記所定の輝度モデルは、ｓｉｎ波である
　請求項２に記載の信号処理装置。The signal processing device according to claim 2, wherein the predetermined luminance model is a sine wave.　前記所定の輝度モデルは、高調波である
　請求項２に記載の信号処理装置。The signal processing device according to claim 2, wherein the predetermined luminance model is a harmonic.　前記特性計算部は、前記第１電荷検出部と第２電荷検出部のそれぞれについて、高調波と仮定した輝度波形を表す輝度関数を機械学習により推定し、前記補正パラメータを算出する
　請求項５に記載の信号処理装置。The characteristic calculation unit estimates the brightness function representing the brightness waveform assumed to be a harmonic for each of the first charge detection unit and the second charge detection unit by machine learning, and calculates the correction parameter according to claim 5. The signal processing device described.　前記機械学習の学習器は、前記第１電荷検出部または第２電荷検出部に対応する前記輝度関数を学習し、
　前記特性計算部は、前記学習器の入力と、学習により得られた前記輝度関数の値との差が小さくなるように、前記学習器を学習する
　請求項６に記載の信号処理装置。The machine learning learner learns the luminance function corresponding to the first charge detection unit or the second charge detection unit, and learns the brightness function.
The signal processing device according to claim 6, wherein the characteristic calculation unit learns the learner so that the difference between the input of the learner and the value of the luminance function obtained by learning becomes small.　前記特性計算部は、前記第１電荷検出部に対応する第１の輝度関数と、前記第２電荷検出部に対応する第２の輝度関数とが同一であるという条件にも基づいて、前記学習器を学習する
　請求項７に記載の信号処理装置。The characteristic calculation unit learns based on the condition that the first luminance function corresponding to the first charge detection unit and the second luminance function corresponding to the second charge detection unit are the same. The signal processing device according to claim 7, wherein the device is learned.　前記特性計算部は、複数の輝度モデルについて前記補正パラメータを算出し、
　前記複数の輝度モデルの前記補正パラメータのうち、入力された画像から算出した位相ずれ量との誤差が少ない前記補正パラメータを選択する選択部をさらに備える
　請求項１に記載の信号処理装置。The characteristic calculation unit calculates the correction parameters for a plurality of luminance models, and calculates the correction parameters.
The signal processing apparatus according to claim 1, further comprising a selection unit for selecting the correction parameter having a small error from the phase shift amount calculated from the input image among the correction parameters of the plurality of luminance models.　前記特性計算部により算出された前記補正パラメータを評価する評価部をさらに備える
　請求項１に記載の信号処理装置。The signal processing apparatus according to claim 1, further comprising an evaluation unit for evaluating the correction parameter calculated by the characteristic calculation unit.　前記信号処理部は、前記特性計算部により算出された前記補正パラメータで補正された画素データに基づいて、前記物体までの距離を算出する距離計算部をさらに備える
　請求項１に記載の信号処理装置。The signal processing device according to claim 1, wherein the signal processing unit further includes a distance calculation unit that calculates a distance to the object based on pixel data corrected by the correction parameter calculated by the characteristic calculation unit. ..　所定の発光源から照射された照射光が物体で反射されて返ってきた反射光を受光する画素で得られた画素データに基づいて、前記物体までの距離を算出する処理を行う信号処理装置が、
　前記照射光の発光波形の形状と前記画素の露光波形の形状とに応じた輝度モデルに基づいて、前記画素の第１電荷検出部と第２電荷検出部との特性を補正する補正パラメータを算出する
　信号処理方法。A signal processing device that calculates the distance to the object based on the pixel data obtained by the pixels that receive the reflected light that is reflected by the object and the irradiation light emitted from the predetermined light source. ,
Based on the brightness model according to the shape of the emission waveform of the irradiation light and the shape of the exposure waveform of the pixel, a correction parameter for correcting the characteristics of the first charge detection unit and the second charge detection unit of the pixel is calculated. Signal processing method.　所定の発光源と、
　前記発光源から照射された照射光が物体で反射されて返ってきた反射光を受光する画素を有する測距センサと
　を備え、
　前記測距センサは、前記照射光の発光波形の形状と前記画素の露光波形の形状とに応じた輝度モデルに基づいて、前記画素の第１電荷検出部と第２電荷検出部との特性を補正する補正パラメータを算出する特性計算部を有する
　測距モジュール。With a given light source
A distance measuring sensor having a pixel that receives the reflected light that is reflected by an object and returned from the irradiation light emitted from the light emitting source is provided.
The ranging sensor determines the characteristics of the first charge detection unit and the second charge detection unit of the pixel based on the luminance model according to the shape of the emission waveform of the irradiation light and the shape of the exposure waveform of the pixel. A distance measuring module having a characteristic calculation unit that calculates correction parameters to be corrected.

Images