JP5925109B2 - Image processing apparatus, control method thereof, and control program - Google Patents

Description

Translated fromJapanese

本発明は、撮像装置によって２つ以上の異なる視点から被写体を撮像し、当該撮像装置から被写体までの距離に応じて画像を生成する画像処理装置、その制御方法、および制御プログラムに関する。  The present invention relates to an image processing apparatus that captures an image of a subject from two or more different viewpoints using an imaging device and generates an image according to the distance from the imaging device to the subject, a control method thereof, and a control program.

従来、２つの異なる視点から被写体を撮像して、撮像装置から被写体までの距離に応じて画像（以下距離画像と呼ぶ）を生成することが行われている。  Conventionally, a subject is imaged from two different viewpoints, and an image (hereinafter referred to as a distance image) is generated according to the distance from the imaging device to the subject.

例えば、２台の撮像装置によって左右の異なる視点から被写体を撮像して、距離画像を生成する手法として、非特許文献１に記載の手法がある。  For example, there is a method described inNon-Patent Document 1 as a method for capturing a subject from two different left and right viewpoints and generating a distance image.

非特許文献１では、まず、左右の異なる視点で撮影された２つの画像について、撮像レンズの歪み補正を行う。そして、左右の異なる視点間においてカメラの角度と距離とを調整するため、左右の画像を写像する（ステレオ平行化）。続いて、左右のカメラのビューにおいて同一の特徴を求めて、視差画像を生成する（ステレオ対応点探索）。次に、左右のカメラの幾何学的な位置情報に応じて、視差画像を距離画像に変換する（３Ｄ再投影）。  InNon-Patent Document 1, first, distortion correction of an imaging lens is performed on two images taken from different left and right viewpoints. Then, in order to adjust the angle and distance of the camera between the left and right viewpoints, the left and right images are mapped (stereo parallelization). Subsequently, the same feature is obtained in the left and right camera views, and a parallax image is generated (stereo correspondence point search). Next, the parallax image is converted into a distance image according to the geometric position information of the left and right cameras (3D reprojection).

Ｇａｒｙ Ｂｒａｄｓｋｉ、Ａｄｒｉａｎ Ｋａｅｂｌｅｒ（著）、松田晃一（訳）、「詳解ＯｐｅｎＣＶ」、オライリー・ジャパン、オーム社、２００９年８月、ｐ．３７７―４６６Gary Bradski, Adrian Kaebler (Author), Junichi Matsuda (translation), “Detailed OpenCV”, O'Reilly Japan, Ohm, August 2009, p. 377-466

ところが、非特許文献１に記載の手法では、１台のカメラを撮影者が手動で視点移動させて視差のある２つの画像を撮像する場合においては、左右の視点の幾何学的な位置をカメラが調整してその位置情報を特定することができない。よって、視差画像を距離画像に変換することができないという問題点がある。  However, in the method described inNon-Patent Document 1, when the photographer manually moves the viewpoint of one camera to capture two images with parallax, the geometric positions of the left and right viewpoints are determined by the camera. Cannot adjust the position information. Therefore, there is a problem that a parallax image cannot be converted into a distance image.

さらに、非特許文献１に記載の手法では、左右のカメラの幾何学的な位置情報を取得する際、所謂ステレオキャリブレーションを用いている。このため、非特許文献１においては、位置情報を得るためチェスボードチャートのような形状が既知であるキャリブレーションパターンを撮影する必要がある。このため、ロボットアーム用のカメラおよびやセキュリティカメラなど、その用途が限定されてしまう。  Furthermore, in the method described inNon-Patent Document 1, so-called stereo calibration is used when acquiring geometric position information of the left and right cameras. For this reason, in Non-PatentDocument 1, it is necessary to photograph a calibration pattern having a known shape such as a chessboard chart in order to obtain position information. For this reason, the applications of the robot arm camera and the security camera are limited.

従って、本発明の第１の目的は、左右の視点の幾何学的な位置を調整できない場合においても距離画像を生成することができる画像処理装置、その制御方法、および制御プログラムを提供することにある。  Accordingly, a first object of the present invention is to provide an image processing apparatus capable of generating a distance image even when the geometric positions of the left and right viewpoints cannot be adjusted, a control method thereof, and a control program. is there.

本発明の第２の目的は、その用途が限定されることが少ない画像処理装置、その制御方法、および制御プログラムを提供することにある。  A second object of the present invention is to provide an image processing apparatus, its control method, and control program whose use is rarely limited.

上記の目的を達成するため、本発明による画像処理装置は、撮像手段によって互いに異なる視点から特定の被写体を撮像して得られた複数の画像に応じて、前記撮像手段から前記特定の被写体までの距離に応じた距離画像を生成する画像処理装置であって、前記複数の画像の視差量に応じた視差画像を得る視差画像取得手段と、前記撮像手段から前記特定の被写体までの距離を示す距離情報を求める距離情報取得手段と、前記視差量および前記距離情報に応じて、前記視点うちの一つの投影中心に対する他の視点の投影中心の移動量である並進移動量を求める並進移動量取得手段と、前記視差画像と前記並進移動量とに応じて前記距離画像を生成する距離画像取得手段と、を有することを特徴とする。  In order to achieve the above object, an image processing apparatus according to the present invention provides a plurality of images obtained by imaging a specific subject from different viewpoints by the imaging unit, from the imaging unit to the specific subject. An image processing apparatus that generates a distance image according to a distance, a parallax image acquisition unit that obtains a parallax image according to a parallax amount of the plurality of images, and a distance that indicates a distance from the imaging unit to the specific subject Distance information acquisition means for obtaining information, and translational movement amount acquisition means for obtaining a translational movement amount that is a movement amount of the projection center of another viewpoint with respect to one projection center of the viewpoints according to the parallax amount and the distance information And distance image acquisition means for generating the distance image in accordance with the parallax image and the translational movement amount.

本発明による制御方法は、撮像手段によって互いに異なる視点から特定の被写体を撮像して得られた複数の画像に応じて、前記撮像手段から前記特定の被写体までの距離に応じた距離画像を生成する画像処理装置の制御方法であって、前記複数の画像の視差量に応じた視差画像を得る視差画像取得ステップと、前記撮像手段から前記特定の被写体までの距離を示す距離情報を求める距離情報取得ステップと、前記視差量および前記距離情報に応じて、前記視点うちの一つの投影中心に対する他の視点の投影中心の移動量である並進移動量を求める並進移動量取得ステップと、前記視差画像と前記並進移動量とに応じて前記距離画像を生成する距離画像取得ステップと、を有することを特徴とする。  The control method according to the present invention generates a distance image corresponding to a distance from the imaging unit to the specific subject according to a plurality of images obtained by imaging the specific subject from different viewpoints by the imaging unit. A method for controlling an image processing apparatus, wherein a parallax image obtaining step for obtaining a parallax image corresponding to a parallax amount of the plurality of images, and distance information obtaining for obtaining distance information indicating a distance from the imaging unit to the specific subject A translational movement amount obtaining step for obtaining a translational movement amount that is a movement amount of a projection center of another viewpoint with respect to one projection center of the viewpoints according to the parallax amount and the distance information; and the parallax image; A distance image acquisition step of generating the distance image according to the translational movement amount.

本発明による制御プログラムは、撮像手段によって互いに異なる視点から特定の被写体を撮像して得られた複数の画像に応じて、前記撮像手段から前記特定の被写体までの距離に応じた距離画像を生成する画像処理装置で用いられる制御プログラムであって、前記画像処理装置が備えるコンピュータに、前記複数の画像の視差量に応じた視差画像を得る視差画像取得ステップと、前記撮像手段から前記特定の被写体までの距離を示す距離情報を求める距離情報取得ステップと、前記視差量および前記距離情報に応じて、前記視点うちの一つの投影中心に対する他の視点の投影中心の移動量である並進移動量を求める並進移動量取得ステップと、前記視差画像と前記並進移動量とに応じて前記距離画像を生成する距離画像取得ステップと、を実行させることを特徴とする制御プログラム。  The control program according to the present invention generates a distance image corresponding to the distance from the imaging unit to the specific subject according to a plurality of images obtained by imaging the specific subject from different viewpoints by the imaging unit. A control program used in the image processing device, the computer included in the image processing device obtaining a parallax image according to the parallax amount of the plurality of images, and from the imaging unit to the specific subject A distance information acquisition step for obtaining distance information indicating a distance of a distance, and a translational movement amount that is a movement amount of a projection center of another viewpoint with respect to one projection center of the viewpoints according to the parallax amount and the distance information. A translational movement amount acquisition step, and a distance image acquisition step of generating the distance image according to the parallax image and the translational movement amount. A control program for causing the.

本発明によれば、左右の視点の幾何学的な位置を撮像手段で調整できない場合であっても、用途を限定することなく距離画像を生成することができる。  According to the present invention, even when the geometric positions of the left and right viewpoints cannot be adjusted by the imaging unit, it is possible to generate a distance image without limiting the application.

本発明の第１の実施形態による画像処理装置が用いられた撮像装置の一例についてその構成を示すブロック図である。1 is a block diagram illustrating a configuration of an example of an imaging apparatus using an image processing apparatus according to a first embodiment of the present invention.図１に示す信号処理回路の構成を説明するためのブロック図である。It is a block diagram for demonstrating the structure of the signal processing circuit shown in FIG.左右の視点が形成する撮像系をピンホールモデルで示す図である。It is a figure which shows the imaging system which a right-and-left viewpoint forms with a pinhole model.ホモグラフィの写像手順を説明するための図であり、（ａ）は右画像の投影平面におけるオブジェクトの結像イメージおよびエピポールのピクセル座標を示す図、（ｂ）は（ａ）について回転行列を適用したピクセル座標系を示す図、（ｃ）は（ｂ）についてホモグラフィＧを適用したピクセル座標系を示す図である。It is a figure for demonstrating the mapping procedure of a homography, (a) is a figure which shows the imaging image of an object and the pixel coordinate of an epipole in the projection plane of a right image, (b) applies a rotation matrix about (a). The figure which shows the pixel coordinate system which performed, (c) is a figure which shows the pixel coordinate system which applied the homography G about (b).本発明の第１の実施形態において撮像された画像（生画像）をステレオ平行化された左右画像に写像する手順を説明するための図であり、（ａ）は生画像を示す図、（ｂ）は歪み補正後の画像を示す図、（ｃ）は平行化処理後の画像を示す図、（ｄ）は切り出し処理後の画像を示す図である。It is a figure for demonstrating the procedure which maps the image (raw image) imaged in the 1st Embodiment of this invention to the stereo-parallelized right-and-left image, (a) is a figure which shows a raw image, (b) () Is a diagram showing an image after distortion correction, (c) is a diagram showing an image after parallelization processing, and (d) is a diagram showing an image after clipping processing.本発明の第１の実施形態におけるステレオ対応点探索で用いられるブロックマッチング手法を説明するための図である。It is a figure for demonstrating the block matching method used by the stereo corresponding point search in the 1st Embodiment of this invention.図１に示すカメラで行われる距離画像生成制御を説明するためのフローチャートである。It is a flowchart for demonstrating the distance image generation control performed with the camera shown in FIG.図１に示すカメラによる視点移動を説明するための図である。It is a figure for demonstrating the viewpoint movement by the camera shown in FIG.図１に示すカメラにおいて左視点および右視点で撮像されたステレオ平行化画像を説明するための図である。It is a figure for demonstrating the stereo parallelization image imaged with the left viewpoint and the right viewpoint in the camera shown in FIG.図１に示すカメラで生成された視差画像を示す図である。It is a figure which shows the parallax image produced | generated with the camera shown in FIG.図１に示すカメラにおいて投影平面上におけるＡＦ測距枠の位置を説明するための図である。It is a figure for demonstrating the position of AF ranging frame on a projection plane in the camera shown in FIG.本発明の第２の実施形態によるカメラおける距離画像の生成を説明するためのフローチャートである。It is a flowchart for demonstrating the production | generation of the distance image in the camera by the 2nd Embodiment of this invention.本発明の第２の実施形態によるカメラにおいて投影平面上におけるＡＦ測距枠の位置を説明するための図である。It is a figure for demonstrating the position of AF ranging frame on a projection plane in the camera by the 2nd Embodiment of this invention.本発明の第３の実施形態によるカメラおける距離画像の生成を説明するためのフローチャートである。It is a flowchart for demonstrating the production | generation of the distance image in the camera by the 3rd Embodiment of this invention.本発明の第３の実施形態によるカメラにおいて投影平面上におけるＡＦ測距枠の位置を説明するための図である。It is a figure for demonstrating the position of AF ranging frame on a projection plane in the camera by the 3rd Embodiment of this invention.本発明の第４の実施形態によるカメラおける距離画像の生成を説明するためのフローチャートである。It is a flowchart for demonstrating the production | generation of the distance image in the camera by the 4th Embodiment of this invention.本発明の第５の実施形態によるカメラおける距離画像の生成を説明するためのフローチャートである。It is a flowchart for demonstrating the production | generation of the distance image in the camera by the 5th Embodiment of this invention.本発明の第５の実施形態によるカメラで行われる連続フレーム処理を説明するためのフローチャートである。It is a flowchart for demonstrating the continuous frame process performed with the camera by the 5th Embodiment of this invention.

以下、本発明の実施の形態による画像処理装置の一例について図面を参照して説明する。  Hereinafter, an example of an image processing apparatus according to an embodiment of the present invention will be described with reference to the drawings.

［第１の実施形態］
図１は、本発明の第１の実施形態による画像処理装置が用いられた撮像装置の一例についてその構成を示すブロック図である。[First Embodiment]
FIG. 1 is a block diagram showing the configuration of an example of an imaging apparatus using the image processing apparatus according to the first embodiment of the present invention.

図示の撮像装置は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）であり、カメラは結像光学系１０１を有している。そして、この結像光学系１０１は撮影レンズおよび絞りなどを備えており、フォーカス調節および焦点距離調整を行う。  The illustrated imaging device is, for example, a digital camera (hereinafter simply referred to as a camera), and the camera has an imagingoptical system 101. The imagingoptical system 101 includes a photographing lens and a diaphragm, and performs focus adjustment and focal length adjustment.

結像光学系１０１の後段には、ＣＣＤなどの撮像素子１０２が配置され、結像光学系１０１から入射した光学像（被写体像）は撮像素子１０２に結像する。撮像素子１０２は光学像に応じた電気信号（アナログ画像信号）を出力する。このアナログ画像信号はＡ／Ｄ変換回路１０３によってデジタル画像信号に変換されて、信号処理回路１０４およびＡＦ評価値取得回路１０８に与えられる。  Animaging device 102 such as a CCD is disposed at the subsequent stage of the imagingoptical system 101, and an optical image (subject image) incident from the imagingoptical system 101 is formed on theimaging device 102. Theimage sensor 102 outputs an electrical signal (analog image signal) corresponding to the optical image. The analog image signal is converted into a digital image signal by the A /D conversion circuit 103 and is supplied to thesignal processing circuit 104 and the AF evaluationvalue acquisition circuit 108.

信号処理回路１０４はデジタル画像信号に対して所定の信号処理を施して画像データとする。そして、この画像データはメモリ制御回路１０５によってメモリ（例えば、ＤＲＡＭ）１０６に書き込まれる。また、メモリ制御回路１０５はメモリ１０６に書き込まれた画像データを読み出して、表示部１０９に画像データに応じた画像を表示するとともに、必要に応じて当該画像データを信号処理回路１０４に送る。  Thesignal processing circuit 104 performs predetermined signal processing on the digital image signal to obtain image data. The image data is written into a memory (eg, DRAM) 106 by thememory control circuit 105. Thememory control circuit 105 reads the image data written in thememory 106, displays an image corresponding to the image data on thedisplay unit 109, and sends the image data to thesignal processing circuit 104 as necessary.

ＡＦ評価値取得回路１０８は、デジタル画像信号に応じて、結像光学系１０１のオート・フォーカス（ＡＦ）調整用のＡＦ評価値を生成する。そして、このＡＦ評価値はメモリ制御回路１０５を介してシステム制御回路１０７に与えられ、システム制御回路１０７はＡＦ評価値に基づいて、結像光学系１０１のＡＦ制御を行う。なお、システム制御回路１０７はカメラ全体の制御を司る。  The AF evaluationvalue acquisition circuit 108 generates an AF evaluation value for auto focus (AF) adjustment of the imagingoptical system 101 according to the digital image signal. The AF evaluation value is given to thesystem control circuit 107 via thememory control circuit 105, and thesystem control circuit 107 performs AF control of the imagingoptical system 101 based on the AF evaluation value. Thesystem control circuit 107 controls the entire camera.

システム制御回路１０７には操作部１１０が接続され、ユーザは操作部１１０を操作して各種指示をシステム制御回路１１０に与える。また、システム制御回路１０７は表示部１０９にカメラに関する各種カメラ情報を表示する。  Anoperation unit 110 is connected to thesystem control circuit 107, and the user operates theoperation unit 110 to give various instructions to thesystem control circuit 110. Further, thesystem control circuit 107 displays various camera information related to the camera on thedisplay unit 109.

結像光学系１０１のＡＦ制御を行う際には、既知の山登りコントラストＡＦが用いられる。つまり、デジタル画像信号に応じた画面において、ＡＦ測距枠で規定された領域におけるコントラスト（つまり、ＡＦ評価値）が極大となるようにＡＦ制御が行われる。さらに、フォーカス調整後の結像光学系１０１の位置（光軸に沿った位置）に応じて、ＡＦ測距枠の合焦被写体までの距離が求められる。  When performing AF control of the imagingoptical system 101, known hill-climbing contrast AF is used. That is, on the screen corresponding to the digital image signal, the AF control is performed so that the contrast (that is, the AF evaluation value) in the region defined by the AF distance measurement frame is maximized. Furthermore, the distance to the focused subject in the AF distance measurement frame is determined according to the position of the imagingoptical system 101 after focus adjustment (position along the optical axis).

図２は、図１に示す信号処理回路１０４の構成を説明するためのブロック図である。  FIG. 2 is a block diagram for explaining the configuration of thesignal processing circuit 104 shown in FIG.

図２において、左画像２０１および右画像２０２は、撮影の結果得られた画像データであり、メモリ１０６に格納されている。ここでは、ユーザが被写体をフレーミングしている際においても、撮像素子１０２は、システム制御回路１０７の制御下で連続的に被写体を撮像しており、これによって、フレーミングによる視点移動を用いて左画像２０１および右画像２０２を得る。  In FIG. 2, aleft image 201 and aright image 202 are image data obtained as a result of shooting, and are stored in thememory 106. Here, even when the user is framing the subject, theimage sensor 102 continuously captures the subject under the control of thesystem control circuit 107, and thereby the left image is used by moving the viewpoint by framing. 201 andright image 202 are obtained.

カメラから被写体までの距離に応じて画像（以下距離画像と呼ぶ）を生成する際には、システム制御回路１０７の制御下でメモリ制御回路１０５によってメモリ１０６から左画像２０１および右画像２０２が読み出されて、信号処理回路１０４に送られる。  When an image (hereinafter referred to as a distance image) is generated according to the distance from the camera to the subject, theleft image 201 and theright image 202 are read from thememory 106 by thememory control circuit 105 under the control of thesystem control circuit 107. And sent to thesignal processing circuit 104.

図示のように、信号処理回路１０４は、ホモグラフィ推定回路２０３、逆写像処理回路２０４および２０５、ステレオ対応点探索回路２０６、および３次元（３Ｄ）再投影回路２０７を備えている。そして、左画像２０１はホモグラフィ推定回路２０３および逆写像回路２０４に与えられ、右画像２０２はホモグラフィ推定回路２０３および逆写像回路２０５に与えられる。  As illustrated, thesignal processing circuit 104 includes ahomography estimation circuit 203, inversemapping processing circuits 204 and 205, a stereo correspondencepoint search circuit 206, and a three-dimensional (3D)reprojection circuit 207. Theleft image 201 is supplied to thehomography estimation circuit 203 and theinverse mapping circuit 204, and theright image 202 is supplied to thehomography estimation circuit 203 and theinverse mapping circuit 205.

ホモグラフィ推定回路２０３は左画像２０１および右画像２０２を受けて、ステレオ平行化のためのホモグラフィを推定するホモグラフィ推定処理を行う。ホモグラフィ推定処理では、結像光学系１０１による歪みが補正された座標系を用いる必要がある。ここで用いられる歪み補正は非特許文献１に記載の補正手法と同様であり、座標変換式は次の式（１）で表される。  Thehomography estimation circuit 203 receives theleft image 201 and theright image 202 and performs homography estimation processing for estimating homography for stereo parallelization. In the homography estimation process, it is necessary to use a coordinate system in which distortion caused by the imagingoptical system 101 is corrected. The distortion correction used here is the same as the correction method described inNon-Patent Document 1, and the coordinate conversion formula is expressed by the following formula (1).

ここで、（ｘ，ｙ）は歪んだ点の元の位置であり、（ｘ_{ｃｏｒｒｅｃｔｅｄ}，ｙ_{ｃｏｒｒｅｃｔｅｄ}）は補正の結果得られる位置である。さらに、ｒは歪んだ点の元の位置のレンズ中心からの距離であり、ｋ１、ｋ２、およびｋ３は結像光学系１０１で用いられるレンズの形状から決定される歪み補正係数である。Here, (x, y) is the original position of the distorted point, and (x_corrected , y_corrected ) is the position obtained as a result of correction. Further, r is the distance from the lens center at the original position of the distorted point, and k1, k2, and k3 are distortion correction coefficients determined from the shape of the lens used in the imagingoptical system 101.

ここでは、歪み補正において半径方向歪みのみを補正するものとしたが、半径方向の歪み補正に限定されるものではなく、例えば、円周方向の歪みも補正するようにしてもよい。  Here, only the distortion in the radial direction is corrected in the distortion correction, but is not limited to the distortion correction in the radial direction. For example, the distortion in the circumferential direction may be corrected.

また、ステレオ平行化のためのホモグラフィ推定の手法は非特許文献１に記載の手法と同様である。  A homography estimation method for stereo parallelization is the same as the method described inNon-Patent Document 1.

図３は、左右の視点が形成する撮像系をピンホールモデルで示す図である。  FIG. 3 is a diagram illustrating an imaging system formed by the left and right viewpoints using a pinhole model.

図３において、Ｏ_ｌおよびＯ_ｒはそれぞれ左右の視点の投影中心位置、Ｐは被写体位置、ｐ_ｌおよびｐ_ｒはそれぞれ左右の視点の投影平面に投影される被写体の結像位置を示す。また、ｅ_ｌおよびｅ_ｒはそれぞれ左右の視点におけるエピポールを示し、そして、ｐ_ｌ，ｅ_ｌおよびｐ_ｒ，ｅ_ｒはそれぞれ左右の視点におけるエピポーラ線を示す。In FIG. 3, O_l and O_r are the projection center positions of the left and right viewpoints, P is the subject position, and p_l and_pr are the imaging positions of the objects projected on the projection planes of the left and right viewpoints, respectively. Also shows epipole in_{e l} and_{e r} are perspective left and right,_and, p l, showing the epipolar lines in_{e l} and_p r,_{e r} is the viewpoint of the left and right.

エピポーラ拘束によって、１つの画像内の特徴点が与えられると、もう一つの画像内で対応する点は対応するエピポーラ線上に存在する。このため、ステレオ対応点探索はエピポーラ線に沿って対応点探索することになる。そして、２つの画像においてエピポーラ線を平行にして対応点の高さを合わせると、水平方向の１次元における対応点探索となるので、２次元のものよりも計算量が大幅に軽減され、さらに結果の信頼度も高い。２つの画像でエピポーラ線を平行にして対応点の高さを合わせる座標変換がステレオ平行化と呼ばれる。  When an epipolar constraint gives a feature point in one image, the corresponding point in the other image is on the corresponding epipolar line. For this reason, the stereo corresponding point search involves searching for the corresponding points along the epipolar line. Then, if the epipolar lines are parallel in the two images and the heights of the corresponding points are adjusted, the corresponding point search in the horizontal direction is performed, so the calculation amount is greatly reduced compared to the two-dimensional one, and the result High reliability. A coordinate transformation in which epipolar lines are parallel in two images and the heights of corresponding points are matched is called stereo parallelization.

ステレオ平行を行う際には次のステップが実行される。  The following steps are performed when performing stereo parallelism.

（２−１）２つの画像で８点以上の特徴点の対応を求める。  (2-1) Correspondence between eight or more feature points in two images is obtained.

（２−２）８点以上の特徴点の対応から基礎行列Ｆを求める。  (2-2) A basic matrix F is obtained from the correspondence of eight or more feature points.

（２−３）基礎行列Ｆからエピポールｅ_ｌおよびｅ_ｒを求める。(2-3) determining the epipole_{e l} and_{e r} from the fundamental matrix F.

（２−４）エピポールｅ_ｒから右画像のステレオ平行化のためのホモグラフィＨ_ｒを推定する。(2-4) for estimating the homography_{H r} for stereo collimation of the right image from the epipole_{e r.}

（２−５）特徴点の対応、ホモグラフィＨ_ｒ、およびエピポールｅ_ｌから左画像のステレオ平行化のためのホモグラフィＨ_ｌを推定する。(2-5) corresponding feature points to estimate the homography_{H l} for stereo collimation of the left image from the homography_{H r,} and epipole_{e l.}

（２−１）の処理においては、２つの画像間でブロックマッチング手法による２次元の対応点探索を行って、必要な特徴点の対応を求める。画素単位で対応点探索するステレオ対応点探索とは異なり、画像一面内で最低８点の対応を求めればよいので、２次元であっても計算量が少なく結果の信頼度にも大きな影響はない。ブロックマッチング手法の詳細については、後述するステレオ対応点探索と同様であるが、ステレオ対応点探索のブロックマッチング手法は１次元方向のみの探索なので、ここではその探索範囲を２次元方向に拡張したブロックマッチング手法を用いる。  In the process of (2-1), a two-dimensional corresponding point search is performed between two images by a block matching method to obtain a necessary feature point correspondence. Unlike stereo corresponding point search, which searches for corresponding points in pixel units, it is only necessary to obtain a correspondence of at least 8 points in one image plane. Therefore, even in two dimensions, the calculation amount is small and the reliability of the result is not greatly affected. . The details of the block matching method are the same as those of the stereo corresponding point search described later. However, since the block matching method of the stereo corresponding point search is a search only in the one-dimensional direction, a block in which the search range is expanded in the two-dimensional direction here. Use a matching technique.

（２−２）の処理においては、８点の特徴点の対応から３×３行列の基礎行列Ｆを求める。また、特徴点の座標は上記の式（１）で歪み補正されたものを用いる。式（２）は一般にエピポーラ方程式と呼ばれている方程式である。  In the process of (2-2), a basic matrix F of 3 × 3 matrix is obtained from the correspondence of the eight feature points. Further, the coordinates of the feature points are those corrected for distortion by the above equation (1). Equation (2) is an equation generally called an epipolar equation.

式（２）において、Ｅは３×３行列の基本行列である。また、３×３行列のカメラ内部行列Ｍを用いると、一般に、式（３）によって３次元物理座標ｐを投影平面の２次元ピクセル座標ｑに変換できる。  In Equation (2), E is a basic matrix of 3 × 3 matrix. In addition, when the camera internal matrix M of 3 × 3 matrix is used, generally, the three-dimensional physical coordinate p can be converted into the two-dimensional pixel coordinate q on the projection plane by Expression (3).

また、カメラ内部行列Ｍを用いると、一般に式（４）によって基本行列Ｅを基礎行列Ｆに変換できる。  Further, when the camera internal matrix M is used, the basic matrix E can be converted into the basic matrix F in general by the equation (4).

式（２）から式（４）を用いると、基礎行列Ｆに関して、式（５）の方程式が導かれる。  When Expressions (2) to (4) are used, the equation of Expression (5) is derived for the basic matrix F.

基礎行列Ｆは３×３行列で、かつスカラの自由度を有するので、９個の行列要素のうちの８個が変数となる。よって、式（５）に左右画像のｑ_ｌおよびｑ_ｒの対応を８点代入すれば、単なる連立１次方程式となり、この連立１次方程式を解くことで基礎行列Ｆを求めることができる。Since the basic matrix F is a 3 × 3 matrix and has a degree of freedom of scalars, eight of the nine matrix elements are variables. Therefore, by substituting 8 points for the correspondence between q_l and q_r of the left and right images into Equation (5), a simple simultaneous linear equation is obtained, and the basic matrix F can be obtained by solving this simultaneous linear equation.

本発明の第１の実施形態では、基礎行列Ｆを求めるために左右画像のｑ_ｌおよびｑ_ｒの対応を８点用いているが、本発明はこれに限定されるものではなく、例えば、非特許文献１で記載されているように８点以上の対応を用いた最小二乗法によって基礎行列Ｆを推定するようにしてもよい。In the first embodiment of the present invention, eight points of correspondence between q_l and q_r of the left and right images are used to obtain the basic matrix F. However, the present invention is not limited to this, for example, non- As described inPatent Document 1, the base matrix F may be estimated by a least square method using a correspondence of 8 points or more.

（２−３）の処理においては、基礎行列Ｆからエピポールｅ_ｌおよびｅ_ｒを求める。基礎行列Ｆとエピポールｅ_ｌおよびｅ_ｒとの関係は一般に式（６）および（７）で示される。そして、式（６）および（７）に求めた基礎行列Ｆを代入することでエピポールｅ_ｌおよびｅ_ｒを求めることができる。(2-3) In the process of obtaining the epipole_{e l} and_{e r} from the fundamental matrix F. The relationship between the basic matrix F and the epipoles e₁ and er is generally_expressed by equations (6) and (7). Then, it is possible to obtain the epipole e_l and e_r by substituting fundamental matrix F obtained in equation (6) and (7).

（２−４）の処理においては、エピポールｅ_ｒからホモグラフィＨ_ｒを推定する。(2-4) In the process, estimating the homography_{H r} from epipole_{e r.}

図４は、ホモグラフィＨ_ｌおよびＨ_ｒの写像手順を説明するための図である。そして、図４（ａ）は右画像の投影平面におけるオブジェクトの結像イメージ（網掛けの三角形）およびエピポールｅ_ｒのピクセル座標（ｘ_ｅ，ｙ_ｅ）を示す図であり、図４（ｂ）は図４（ａ）について回転行列Ｒを適用したピクセル座標系を示す図である。また、図４（ｃ）は図４（ｂ）についてホモグラフィＧを適用したピクセル座標系を示す図である。FIG. 4 is a diagram for explaining the mapping procedure of the homography H_l and H_r . Then, a diagram illustrating the FIGS. 4 (a) object imaging image in the projection plane of the right image (shaded triangles) and epipole_{e r} pixel coordinates_(x e,_{y e),} FIG. 4 (b) These are the figures which show the pixel coordinate system which applied the rotation matrix R about Fig.4 (a). FIG. 4C is a diagram showing a pixel coordinate system to which the homography G is applied to FIG.

まず、エピポールｅ_ｒをｘ軸上の（ｋ，０）に写像する回転行列Ｒを、式（８）によって求める。First, the rotation matrix R that maps epipole_{e r} in (k, 0) on the x-axis, determined by equation (8).

式（８）をエピポールｅ_ｒに適用すると、式（９）が得られる。Applying equation (8) to the epipole_{e r,} equation (9) is obtained.

次に、ｘ軸上に写像されたエピポール（ｋ，０）を無限遠点（±∞，０）に写像するホモグラフィＧを、式（１０）によって求める。  Next, the homography G that maps the epipole (k, 0) mapped on the x-axis to the point at infinity (± ∞, 0) is obtained by Expression (10).

このようなホモグラフィは、全てのエピポーラ線をｘ軸に対して平行な直線に写像する。従って、図４（ｃ）におけるエピポーラ線はｘ軸に対して平行な直線に写像される。  Such homography maps all epipolar lines to straight lines parallel to the x-axis. Therefore, the epipolar line in FIG. 4C is mapped to a straight line parallel to the x axis.

式（８）〜式（１０）を用いると、ホモグラフィＨ_ｒは式（１１）で示される。Using the equations (8) to (10), the homography_Hr is represented by the equation (11).

（２−５）の処理において、特徴点の対応、ホモグラフィＨ_ｒ、およびエピポールｅ_ｌから左画像のステレオ平行化のためのホモグラフィＨ_ｌを推定する。このホモグラフィＨ_ｌは、左画像の全てのエピポーラ線をｘ軸に対して平行な直線に写像して、左右画像の対応するエピポーラ線の高さを揃える。(2-5) In the processing of the corresponding feature points to estimate the homography H_l for stereo collimation of the homography H_r, and the left image from the epipole e_l. The homography H_l is all epipolar lines of the left image and mapping a straight line parallel to the x axis, align the heights of the corresponding epipolar lines of the left and right images.

左画像の全てのエピポーラ線をｘ軸に対して平行な直線に写像する際には、（２−４）の処理で説明した手順と同様の手順が用いられる。また、同様の手順で左画像について得られた行列を、Ｇ’およびＲ’とする。  When mapping all the epipolar lines in the left image to a straight line parallel to the x-axis, the same procedure as that described in the process (2-4) is used. Further, the matrices obtained for the left image in the same procedure are denoted as G ′ and R ′.

左右画像の対応するエピポーラ線の高さを揃える際には、左右画像間に存在する特徴点の対応において特徴点間距離の総和が最小になるようなホモグラフィＫを推定すればよい。  When aligning the heights of the corresponding epipolar lines in the left and right images, a homography K that minimizes the sum of the distances between the feature points in the correspondence of the feature points existing between the left and right images may be estimated.

つまり、推定したホモグラフィＨ_ｌは式（１２）で示される。That is, the estimated homography H_l is expressed by the equation (12).

さらに、ホモグラフィＫを推定するためには、式（１３）が用いられる。  Furthermore, in order to estimate the homography K, equation (13) is used.

なお、式（１３）において、ｄｄ（ｑ_ｌ，ｑ_ｒ）は、２つのピクセル座標間の距離自乗和を示している。また、特徴点の対応（ｑ^ｌ_ｉ，ｑ^ｒ_ｉ）については、（２−１）の処理で求めたものを用いればよい。In equation (13), dd (q_l , q_r ) represents the sum of squared distances between two pixel coordinates. As for the corresponding feature point^{_{(q l i, q r i}} ), it may be used those obtained in the process (2-1).

逆写像処理回路２０４および２０５は、ステレオ平行化のためのホモグラフィを用いて、それぞれ左画像２０１および右画像２０２をステレオ平行化する。ここで、ステレオ平行化のための逆写像処理の手法は非特許文献１に記載の手法と同様である。  The inversemapping processing circuits 204 and 205 stereo-parallelize theleft image 201 and theright image 202 using homography for stereo parallelization, respectively. Here, the method of inverse mapping processing for stereo parallelization is the same as the method described inNon-Patent Document 1.

図５は、本発明の第１の実施形態において、撮像された画像（生画像）をステレオ平行化された左右画像に写像する手順を説明するための図である。そして、図５（ａ）は生画像を示す図であり、図５（ｂ）は歪み補正後の画像を示す図である。また、図５（ｃ）は平行化処理後の画像を示す図であり、図５（ｄ）は切り出し処理後の画像を示す図である。  FIG. 5 is a diagram for describing a procedure for mapping a captured image (raw image) to a stereo-parallelized left and right image in the first embodiment of the present invention. FIG. 5A shows a raw image, and FIG. 5B shows an image after distortion correction. FIG. 5C shows an image after the parallelization process, and FIG. 5D shows an image after the clipping process.

ここでは、ステレオ平行化された画像内の各整数座標（図５（ｃ））に対して、歪んでいない画像（図５（ｂ））内の座標を求めて、これら座標を用いて生画像（図５（ａ））内の小数点座標を参照する逆写像処理を行う。つまり、この小数点座標を用いて生画像内で画素補間処理を行って、ステレオ平行化画像（図５（ｃ））内での画素値を求める。  Here, for each integer coordinate in the stereo-parallelized image (FIG. 5C), the coordinates in the undistorted image (FIG. 5B) are obtained, and the raw image is obtained using these coordinates. Inverse mapping processing is performed with reference to the decimal point coordinates in FIG. That is, pixel interpolation processing is performed in the raw image using the decimal point coordinates, and pixel values in the stereo parallelized image (FIG. 5C) are obtained.

なお、図中のＤＩＳＴ（）は、式（１）に示す（ｘ_{ｃｏｒｒｅｃｔｅｄ}，ｙ_{ｃｏｒｒｅｃｔｅｄ}）から（ｘ，ｙ）を求める式（１）の逆変換処理である。Note that DIST () in the figure is an inverse conversion process of Expression (1) for_obtaining (x, y) from (x_corrected , y_corrected ) shown in Expression (1).

逆写像処理回路２０４および２０５の出力はステレオ対応点探索回路２０６に与えられる。ステレオ対応点探索回路２０６はステレオ平行化された左画像２０１および右画像２０２から視差画像２０８を生成する。なお、ステレオ対応点探索回路２０６におけるステレオ対応点探索は非特許文献１に記載の手法と同様である。  The outputs of the inversemapping processing circuits 204 and 205 are given to the stereo correspondencepoint search circuit 206. A stereo correspondingpoint search circuit 206 generates aparallax image 208 from theleft image 201 and theright image 202 that are stereo-parallelized. The stereo correspondence point search in the stereo correspondencepoint search circuit 206 is the same as the method described inNon-Patent Document 1.

図６は、本発明の第１の実施形態におけるステレオ対応点探索で用いられるブロックマッチング手法を説明するための図である。  FIG. 6 is a diagram for explaining a block matching method used in the stereo correspondence point search in the first embodiment of the present invention.

ブロックマッチングは、差分絶対値和（ＳＡＤ）ウィンドウを行方向にスライドすることによって行われる。これによって、左の画像内おける各特徴点に対して、右の画像において対応する行から最もよくマッチするものを探す。左右画像はステレオ平行化されて各行がエピポーラ線になっており、右の画像内でマッチングする箇所は左の画像内の同一の行にあるため、探索方向は行方向だけに限定することができる。  Block matching is performed by sliding the sum of absolute differences (SAD) window in the row direction. As a result, for each feature point in the left image, the best match is searched from the corresponding row in the right image. The left and right images are stereo-parallelized and each row is an epipolar line, and the matching location in the right image is in the same row in the left image, so the search direction can be limited to the row direction only. .

左の画像内のある特徴点のｘ座標ｘ_ｌに対して、対応する右の画像内の対応点のｘ座標ｘ_ｒまでの距離ｄ＝（ｘ_ｌ−ｘ_ｒ）が対応する視差量となる。For the x coordinate x_l of a certain feature point in the left image, the distance d = (x_l −x_r ) to the x coordinate x_r of the corresponding point in the corresponding right image is the corresponding amount of parallax. .

ステレオ対応点探索回路２０６で生成された視差画像２０８は、３Ｄ再投影回路２０７に与えられる。３Ｄ再投影回路２０７は視差画像２０８から距離画像２０９を生成する。なお、ここで用いられる３Ｄ再投影は非特許文献１に記載の手法と同様である。  Theparallax image 208 generated by the stereo correspondencepoint search circuit 206 is given to the3D reprojection circuit 207. The3D reprojection circuit 207 generates adistance image 209 from theparallax image 208. The 3D reprojection used here is the same as the method described inNon-Patent Document 1.

三角測量の手法によって、距離Ｚと視差量ｄとの関係は一般に式（１４）で表される。  By the triangulation method, the relationship between the distance Z and the parallax amount d is generally expressed by Expression (14).

ここで、ｆは撮像系の焦点距離、Ｔは左右２つの視点の投影中心の距離である。  Here, f is the focal length of the imaging system, and T is the distance between the projection centers of the two left and right viewpoints.

３Ｄ再投影回路２０７で生成された距離画像２０９は、メモリ制御回路１０５を介してメモリ１０６に書き込まれる。  Thedistance image 209 generated by the3D reprojection circuit 207 is written into thememory 106 via thememory control circuit 105.

図７は、図１に示すカメラで行われる距離画像生成制御を説明するためのフローチャートである。  FIG. 7 is a flowchart for explaining distance image generation control performed by the camera shown in FIG.

距離画像生成が開始されると、前述したようにして、システム制御回路１０７の制御下で、ステレオ対応点探索回路２０６は、逆写像処理回路２０４および２０５でステレオ平行化された左右画像を処理して視差画像を生成する（ステップＳ１０１）。  When the distance image generation is started, as described above, the stereo correspondencepoint search circuit 206 processes the left and right images that have been made parallel by the inversemapping processing circuits 204 and 205 under the control of thesystem control circuit 107. To generate a parallax image (step S101).

図８は、図１に示すカメラによる視点移動を説明するための図である。  FIG. 8 is a diagram for explaining viewpoint movement by the camera shown in FIG. 1.

図８において、撮像素子１０２は投影平面の配置されており、撮像素子１０２の後側に左画像を撮像した時の投影中心３０１および右画像を撮影した時の投影中心３０２がある。また、図８における左右視点の投影中心および投影平面の位置はステレオ平行化後のものであって、Ｘ軸方向は並進移動の方向、Ｚ軸方向は距離画像における距離の方向である。  In FIG. 8, theimage sensor 102 is arranged in a projection plane, and aprojection center 301 when a left image is captured and aprojection center 302 when a right image is captured are located behind theimage sensor 102. Further, the projection center of the left and right viewpoints and the position of the projection plane in FIG. 8 are those after stereo parallelization, the X-axis direction is the translational movement direction, and the Z-axis direction is the distance direction in the distance image.

図８においては、被写体（Ａ）３０３、被写体（Ｂ）３０４、および被写体（Ｃ）３０５が存在するとともに、背景被写体３０６が存在する。なお、ｆは結像光学系１０１の焦点距離、Ｔは左視点の投影中心に対する右視点の投影中心の並進移動量、Ｚ_Ａ、Ｚ_Ｂ、およびＺ_ＣはそれぞれＸ軸から被写体３０２、被写体３０４、および被写体３０５までの距離である。In FIG. 8, a subject (A) 303, a subject (B) 304, and a subject (C) 305 exist, and abackground subject 306 exists. Here, f is the focal length of the imagingoptical system 101, T is the translation amount of the projection center of the right viewpoint relative to the projection center of the left viewpoint, and Z_A , Z_B , and Z_C are the subject 302 and subject 304 from the X axis, respectively. , And the distance to the subject 305.

図９は、図１に示すカメラにおいて左視点および右視点で撮像されたステレオ平行化画像を説明するための図である。  FIG. 9 is a diagram for explaining a stereo parallelized image captured from the left viewpoint and the right viewpoint in the camera shown in FIG.

図９において、実線は左画像における被写体輪郭、破線は右画像における被写体輪郭を表している。ｄ_Ａ、ｄ_Ｂ、およびｄ_Ｃはそれぞれ被写体（Ａ）３０３、被写体（Ｂ）３０４、および被写体（Ｃ）３０５の視差量である。被写体（Ａ）３０３が最も距離が近いので視差量が最も大きく、被写体の視差量は被写体（Ｃ）３０５および被写体（Ｂ）３０４の順で小さくなる。In FIG. 9, the solid line represents the subject outline in the left image, and the broken line represents the subject outline in the right image. d_A , d_B , and d_C are parallax amounts of the subject (A) 303, the subject (B) 304, and the subject (C) 305, respectively. Since the subject (A) 303 is the shortest distance, the amount of parallax is the largest, and the amount of parallax of the subject decreases in the order of subject (C) 305 and subject (B) 304.

図１０は、図１に示すカメラで生成された視差画像を示す図である。  FIG. 10 is a diagram showing a parallax image generated by the camera shown in FIG.

図１０に示す例では、被写体（Ａ）３０３はその視差量が５０μｍであり、被写体（Ｂ）３０４はその視差量が１０μｍである。また、被写体（Ｃ）３０５はその視差量が２０μｍであり、背景被写体３０６はその視差量が２μｍである。  In the example shown in FIG. 10, the subject (A) 303 has a parallax amount of 50 μm, and the subject (B) 304 has a parallax amount of 10 μm. The subject (C) 305 has a parallax amount of 20 μm, and thebackground subject 306 has a parallax amount of 2 μm.

システム制御回路１０７の制御下で、３Ｄ再投影回路２０７は視差画像から視差量信頼度が高い被写体を選択被写体（つまり、特定の被写体）として選択する（ステップＳ１０２）。ここでは、視差量信頼度は被写体の視差量に応じて判定されるものとする。つまり、視差量閾値をｄ_ｔｈとした際、ｄ＞ｄ_ｔｈを満たす視差量ｄを有する被写体が被写体信頼度の高い被写体と判定される。例えば、ｄ_ｔｈ＝４０μｍとすると、図１０から被写体（Ａ）３０３が視差量信頼度の高い被写体として選択されることになる。Under the control of thesystem control circuit 107, the3D reprojection circuit 207 selects a subject having a high parallax amount reliability from the parallax image as a selected subject (that is, a specific subject) (step S102). Here, it is assumed that the degree of parallax reliability is determined according to the amount of parallax of the subject. That is, when the parallax amount threshold is d_th , a subject having a parallax amount d that satisfies d> d_th is determined to be a subject with high subject reliability. For example, if d_th = 40 μm, the subject (A) 303 is selected as a subject with high parallax amount reliability from FIG.

続いて、システム制御回路１０７の制御下で、３Ｄ再投影回路２０７は選択された被写体までの距離を取得する（ステップＳ１０３）。  Subsequently, under the control of thesystem control circuit 107, the3D reprojection circuit 207 acquires the distance to the selected subject (step S103).

図１１は、図１に示すカメラにおいて投影平面上におけるＡＦ測距枠の位置を説明するための図である。  FIG. 11 is a diagram for explaining the position of the AF distance measurement frame on the projection plane in the camera shown in FIG.

図１１において、被写体（Ａ）３０３が測距の対象であるので、システム制御回路１０７は被写体（Ａ）３０３に合わせてＡＦ測距枠４０１を設定し、山登りコントラストＡＦによって被写体（Ａ）３０３までの距離Ｚ_Ａを求める。In FIG. 11, since the subject (A) 303 is the object of distance measurement, thesystem control circuit 107 sets the AFdistance measurement frame 401 according to the subject (A) 303, and reaches the subject (A) 303 by hill-climbing contrast AF. determination of the distance_{Z a.}

次に、システム制御回路１０７の制御下で、３Ｄ再投影回路２０７は投影中心の並進移動量を取得する（ステップＳ１０４）。前述の式（１４）から、並進移動量は、Ｔ＝（Ｚ_Ａｄ_Ａ／ｆ）となる。また、視差量の検出誤差をΔｄ、並進移動量の検出誤差をΔＴとすると、検出誤差ΔＴは、次の式（１５）で表される。Next, under the control of thesystem control circuit 107, the3D reprojection circuit 207 acquires the translational movement amount of the projection center (step S104). From the above equation (14), the translational movement amount is T = (Z_A d_A / f). If the detection error of the parallax amount is Δd and the detection error of the translational movement amount is ΔT, the detection error ΔT is expressed by the following equation (15).

最後に、システム制御回路１０７の制御下で、３Ｄ再投影回路２０７は視差画像について画素毎に式（１４）を適用して、距離画像２０８を生成する（ステップＳ１０５）。そして、システム制御回路１０７は距離画像生成処理を終了する。  Finally, under the control of thesystem control circuit 107, the3D reprojection circuit 207 applies the formula (14) for each pixel with respect to the parallax image to generate the distance image 208 (step S105). Then, thesystem control circuit 107 ends the distance image generation process.

このように、本発明の第１の実施形態では、左右の視点の幾何学的な位置をカメラで調整できない場合であっても、用途を限定することなく距離画像を生成することができる。また、視差量ｄが大きい被写体、つまり、距離Ｚがカメラに近い被写体から並進移動量Ｔを検出するようにしたので、式（１５）から容易に理解できるように、並進移動量の検出誤差ΔＴを小さくすることができる。  As described above, in the first embodiment of the present invention, even when the geometric positions of the left and right viewpoints cannot be adjusted by the camera, the distance image can be generated without limiting the application. Further, since the translational movement amount T is detected from a subject having a large parallax amount d, that is, a subject whose distance Z is close to the camera, the translational movement amount detection error ΔT can be easily understood from the equation (15). Can be reduced.

［第２の実施形態］
続いて、本発明の第２の実施形態によるカメラの一例について説明する。なお、第２の実施形態によるカメラの構成は、図１および図２に示すカメラと同様であるので、説明を省略する。[Second Embodiment]
Next, an example of a camera according to the second embodiment of the present invention will be described. The configuration of the camera according to the second embodiment is the same as that of the camera shown in FIG. 1 and FIG.

図１２は、本発明の第２の実施形態によるカメラおける距離画像の生成を説明するためのフローチャートである。なお、図１２において、図７に示すフローチャートと同一のステップについては、同一の参照符号を付して説明を省略する。  FIG. 12 is a flowchart for explaining generation of a distance image in the camera according to the second embodiment of the present invention. In FIG. 12, the same steps as those in the flowchart shown in FIG. 7 are denoted by the same reference numerals, and the description thereof is omitted.

図７で説明したようにして視差画像が生成された後、システム制御回路１０７は、ＡＦ測距枠によって指定された被写体までの距離を取得する（ステップＳ２０２）。ユーザがＡＦ測距枠によって被写体を指定する際には、ユーザは表示部１０９に表示された撮像画像を確認しつつ操作部１１０を操作してＡＦ測距枠を移動する。そして、ユーザ所望の被写体にＡＦ測距枠を位置づけて操作部１１０によって被写体を指定する。  After the parallax image is generated as described with reference to FIG. 7, thesystem control circuit 107 acquires the distance to the subject specified by the AF distance measurement frame (step S202). When the user designates the subject using the AF distance measurement frame, the user moves the AF distance measurement frame by operating theoperation unit 110 while confirming the captured image displayed on thedisplay unit 109. Then, the AF distance measurement frame is positioned on the subject desired by the user, and the subject is designated by theoperation unit 110.

図１３は、本発明の第２の実施形態によるカメラにおいて投影平面上におけるＡＦ測距枠の位置を説明するための図である。  FIG. 13 is a diagram for explaining the position of the AF distance measurement frame on the projection plane in the camera according to the second embodiment of the present invention.

図１３において、ユーザは被写体（Ｂ）３０４にＡＦ測距枠４０１を指定されているので、ここでは、被写体（Ｂ）３０４が測距の対象となる。そして、システム制御回路１０７は山登りコントラストＡＦによって被写体（Ｂ）３０４までの距離Ｚ_Ｂを求める。In FIG. 13, since the user has designated the AFdistance measurement frame 401 for the subject (B) 304, the subject (B) 304 is the object of distance measurement here. Then, thesystem control circuit 107 obtains the distance Z_B to the subject (B) 304 by hill-climbing contrast AF.

続いて、システム制御回路１０７の制御下で、ステップＳ１０４において３Ｄ再投影回路２０７は投影中心の並進移動量を取得する。前述の式（１４）から並進移動量は、Ｔ＝（Ｚ_Ｂｄ_Ｂ／ｆ）となる。Subsequently, under the control of thesystem control circuit 107, in step S104, the3D reprojection circuit 207 acquires the translation amount of the projection center. Translation amount from Equation (14) described above,_{T =} a_{(Z B d B / f)} .

最後に、システム制御回路１０７の制御下で、ステップＳ１０５において３Ｄ再投影回路２０７は視差画像について画素毎に式（１４）を適用して、距離画像２０８を生成する。そして、システム制御回路１０７は距離画像生成処理を終了する。  Finally, under the control of thesystem control circuit 107, in step S105, the3D reprojection circuit 207 applies the formula (14) for each pixel to the parallax image to generate thedistance image 208. Then, thesystem control circuit 107 ends the distance image generation process.

このように、本発明の第２の実施形態では、左右の視点の幾何学的な位置をカメラで調整できない場合であっても、用途を限定することなく距離画像を生成することができる。また、距離画像を生成する際、ユーザ所望の被写体にフォーカス位置を合わせることができる。  As described above, in the second embodiment of the present invention, even when the geometric positions of the left and right viewpoints cannot be adjusted by the camera, a distance image can be generated without limiting the application. Further, when generating the distance image, the focus position can be adjusted to the subject desired by the user.

［第３の実施形態］
続いて、本発明の第３の実施形態によるカメラの一例について説明する。なお、第３の実施形態によるカメラの構成は、図１および図２に示すカメラと同様であるので、説明を省略する。[Third Embodiment]
Next, an example of a camera according to the third embodiment of the present invention will be described. The configuration of the camera according to the third embodiment is the same as that of the camera shown in FIG. 1 and FIG.

図１４は、本発明の第３の実施形態によるカメラおける距離画像の生成を説明するためのフローチャートである。なお、図１４において、図７に示すフローチャートと同一のステップについては、同一の参照符号を付して説明を省略する。  FIG. 14 is a flowchart for explaining generation of a distance image in the camera according to the third embodiment of the present invention. In FIG. 14, the same steps as those in the flowchart shown in FIG. 7 are denoted by the same reference numerals, and description thereof is omitted.

図７で説明したようにして、ステップＳ１０２において、視差画像から視差量信頼度が高い被写体が選択される。なお、第３の実施形態では、ｄ_ｔｈ＝１５μｍとする。よって、ここでは、図１０に示す例においては、被写体（Ａ）３０３および被写体（Ｃ）３０５が視差量信頼度の高い被写体として選択されることになる。As described with reference to FIG. 7, in step S <b> 102, a subject with high parallax amount reliability is selected from the parallax image. In the third embodiment, d_th = 15 μm. Therefore, here, in the example shown in FIG. 10, the subject (A) 303 and the subject (C) 305 are selected as subjects with high parallax amount reliability.

次に、システム制御回路１０７の制御下で、３Ｄ再投影回路２０７は表示重要度が高い被写体を選択する（ステップＳ３０３）。ここでは、画像中心からの２次元距離が近い被写体ほど重要度が高いものとする。  Next, under the control of thesystem control circuit 107, the3D reprojection circuit 207 selects a subject with high display importance (step S303). Here, it is assumed that a subject closer to the two-dimensional distance from the center of the image has a higher importance.

図１５は、本発明の第３の実施形態によるカメラにおいて投影平面上におけるＡＦ測距枠の位置を説明するための図である。  FIG. 15 is a diagram for explaining the position of the AF distance measurement frame on the projection plane in the camera according to the third embodiment of the present invention.

図１５において、画像中心から被写体（Ａ）３０３までの距離はＲ_Ａであり、画像中心から被写体（Ｃ）３０５までの距離はＲ_Ｃである。ここでは、Ｒ_Ａ＞Ｒ_Ｃであるので、３Ｄ再投影回路２０７は被写体（Ｃ）３０５の方が被写体（Ａ）３０３よりも表示重要度が高いと判定して、被写体（Ｃ）３０５を選択することになる。そして、システム制御回路１０７は被写体（Ｃ）３０５に合わせてＡＦ測距枠４０１を設定し、ステップＳ１０３で山登りコントラストＡＦによって被写体（Ｃ）３０５までの距離Ｚ_Ｃを求める。In FIG. 15, the distance from the image center to the subject (A) 303 is_RA , and the distance from the image center to the subject (C) 305 is_RC . Here, since R_A > R_C , the3D reprojection circuit 207 determines that the display importance of the subject (C) 305 is higher than that of the subject (A) 303, and selects the subject (C) 305. Will do. Then, thesystem control circuit 107 sets theAF measurement frame 401 to fit the object (C) 305, obtains a distance_{Z C} to the object (C) 305 by climbing contrast AF at step S103.

その後、図７で説明したステップＳ１０４およびＳ１０５の処理を行った後、システム制御回路１０７は距離画像生成処理を終了する。なお、第３の実施形態では、前述の式（１４）から、並進移動量はＴ＝（Ｚ_Ｃｄ_Ｃ／ｆ）となる。Thereafter, after performing the processes of steps S104 and S105 described in FIG. 7, thesystem control circuit 107 ends the distance image generation process. In the third embodiment, the translational movement amount is T = (Z_C d_C / f) from the above-described equation (14).

このように、本発明の第３の実施形態では、左右の視点の幾何学的な位置をカメラで調整できない場合であっても、用途を限定することなく距離画像を生成することができる。また、視差量ｄが大きい被写体、つまり、距離Ｚがカメラに近い被写体から並進移動量Ｔを検出するようにしたので、並進移動量の検出誤差ΔＴを小さくすることができる。さらに、距離画像を生成する際、表示重要度に応じてフォーカスが行われるので、表示に関して品位を保つことができる。  As described above, in the third embodiment of the present invention, even when the geometric positions of the left and right viewpoints cannot be adjusted by the camera, the distance image can be generated without limiting the application. Further, since the translational movement amount T is detected from a subject having a large amount of parallax d, that is, a subject whose distance Z is close to the camera, the translational movement amount detection error ΔT can be reduced. Furthermore, since the focus is performed according to the display importance when the distance image is generated, the display quality can be maintained.

［第４の実施形態］
次に、本発明の第４の実施形態によるカメラの一例について説明する。なお、第４の実施形態によるカメラの構成は、図１および図２に示すカメラと同様であるので、説明を省略する。[Fourth Embodiment]
Next, an example of a camera according to the fourth embodiment of the present invention will be described. The configuration of the camera according to the fourth embodiment is the same as that of the camera shown in FIGS.

図１６は、本発明の第４の実施形態によるカメラおける距離画像の生成を説明するためのフローチャートである。  FIG. 16 is a flowchart for explaining generation of a distance image in the camera according to the fourth embodiment of the present invention.

距離画像生成が開始されると、システム制御回路１０７は、電子ビューファインダ表示中でいるか否かを判定する（ステップＳ４０１）。ここでは、ユーザが被写体をフレーミングする目的で撮像画像を連続フレーム表示させることを電子ビューファインダと呼ぶ。ユーザは操作部１１０を操作して電子ビューファインダの表示又は非表示を選択する。  When the distance image generation is started, thesystem control circuit 107 determines whether or not the electronic viewfinder is being displayed (step S401). Here, displaying the captured image in continuous frames for the purpose of framing the subject is called an electronic viewfinder. The user operates theoperation unit 110 to select display or non-display of the electronic viewfinder.

電子ビューファインダが表示中でないと（ステップＳ４０１において、ＮＯ）、システム制御回路１０７は距離優先モードに移行して、距離優先モードに応じた処理を実行する（ステップＳ４０２）。そして、システム制御回路１０７は距離画像生成処理を終了する。ここで、距離優先モードに応じた処理とは第１の実施形態で説明した距離画像生成に係る処理をいう。  If the electronic viewfinder is not being displayed (NO in step S401), thesystem control circuit 107 shifts to the distance priority mode and executes processing according to the distance priority mode (step S402). Then, thesystem control circuit 107 ends the distance image generation process. Here, the process according to the distance priority mode refers to the process related to the distance image generation described in the first embodiment.

一方、電子ビューファインダが表示中であると（ステップＳ４０１において、ＹＥＳ）、システム制御回路１０７はユーザがＡＦ測距枠の位置を指示しているか否かを判定する（ステップＳ４０３）。ユーザによるＡＦ測距枠の指示がなければ（ステップＳ４０３において、ＮＯ）、システム制御回路１０７は距離表示優先モードに移行して、距離表示優先モードに応じた処理を実行する（ステップＳ４０４）。そして、システム制御回路１０７は距離画像生成処理を終了する。ここで、距離表示優先モードに応じた処理とは第３の実施形態で説明した距離画像生成に係る処理をいう。  On the other hand, if the electronic viewfinder is being displayed (YES in step S401), thesystem control circuit 107 determines whether or not the user has instructed the position of the AF distance measurement frame (step S403). If there is no instruction for the AF distance measurement frame by the user (NO in step S403), thesystem control circuit 107 shifts to the distance display priority mode and executes processing according to the distance display priority mode (step S404). Then, thesystem control circuit 107 ends the distance image generation process. Here, the process according to the distance display priority mode refers to the process related to the distance image generation described in the third embodiment.

ユーザによるＡＦ測距枠の指示があると（ステップＳ４０３において、ＹＥＳ）、システム制御回路１０７は表示優先モードに移行して、表示優先モードに応じた処理を実行する（ステップＳ４０５）。そして、システム制御回路１０７は距離画像生成処理を終了する。ここで、表示優先モードに応じた処理とは第２の実施形態で説明した距離画像生成に係る処理をいう。  When the user has instructed an AF distance measurement frame (YES in step S403), thesystem control circuit 107 shifts to the display priority mode and executes processing according to the display priority mode (step S405). Then, thesystem control circuit 107 ends the distance image generation process. Here, the process according to the display priority mode refers to the process related to the distance image generation described in the second embodiment.

このように、本発明の第４の実施形態では、電子ビューファインダが表示されているか否かにに応じて、距離画像の生成を変更することができる。つまり、電子ビューファインダが表示されていない場合には、距離画像の精度を高くすることができ、電子ビューファインダが表示されかつユーザ所望の被写体にフォーカスを合わせる際には、フォーカス位置に影響がないように距離画像を生成することができる。さらに、電子ビューファインダが表示されかつフォーカスが自動的に調整される際には、距離画像の精度を高くしつつ表示の品位を保つことができる。  Thus, in the fourth embodiment of the present invention, the generation of the distance image can be changed according to whether or not the electronic viewfinder is displayed. That is, when the electronic viewfinder is not displayed, the accuracy of the distance image can be increased, and the focus position is not affected when the electronic viewfinder is displayed and when focusing on a user-desired subject. Thus, a distance image can be generated. Furthermore, when the electronic viewfinder is displayed and the focus is automatically adjusted, the display quality can be maintained while increasing the accuracy of the distance image.

［第５の実施形態］
続いて、本発明の第５の実施形態によるカメラの一例について説明する。なお、第５の実施形態によるカメラの構成は、図１および図２に示すカメラと同様であるので、説明を省略する。[Fifth Embodiment]
Next, an example of a camera according to the fifth embodiment of the present invention will be described. The configuration of the camera according to the fifth embodiment is the same as that of the camera shown in FIGS.

図１７は、本発明の第５の実施形態によるカメラおける距離画像の生成を説明するためのフローチャートである。なお、図１７において、図１６に示すフローチャートと同一のステップについては、同一の参照符号を付して説明を省略する。  FIG. 17 is a flowchart for explaining generation of a distance image in the camera according to the fifth embodiment of the present invention. In FIG. 17, the same steps as those in the flowchart shown in FIG. 16 are denoted by the same reference numerals, and the description thereof is omitted.

距離画像の生成が開始されると、まず、ステップＳ４０２において、距離優先モードに応じた処理が行われる。続いて、システム制御回路１０７の制御下で、３Ｄ再投影回路２０７は視差画像において視差量信頼度が高い被写体が選択されたか否かを判定する（ステップＳ５０２）。  When the generation of the distance image is started, first, in step S402, processing according to the distance priority mode is performed. Subsequently, under the control of thesystem control circuit 107, the3D reprojection circuit 207 determines whether or not an object with high parallax amount reliability has been selected in the parallax image (step S502).

いま、視差量閾値ｄ_ｔｈが５５μｍであるとすると、図１０に示す例では、いずれの被写体も視差量信頼度が高くないと判定されることになる。視差量信頼度が高い被写体が選択されないと（ステップＳ５０２において、ＮＯ）、システム制御回路１０７は結像光学系１０１の焦点距離を調整して長くする（焦点距離を望遠側に調整する）。つまり、システム制御回路１０７は視差量信頼度が十分高くなるように焦点距離を調整する（ステップＳ５０３）。そして、システム制御回路１０７はステップＳ４０２の処理に戻る。Now, assuming that the parallax amount threshold d_th is 55 μm, in the example shown in FIG. 10, it is determined that none of the subjects has high parallax amount reliability. If a subject with high parallax amount reliability is not selected (NO in step S502), thesystem control circuit 107 adjusts the focal length of the imagingoptical system 101 to increase it (adjusts the focal length to the telephoto side). That is, thesystem control circuit 107 adjusts the focal length so that the parallax amount reliability is sufficiently high (step S503). Then, thesystem control circuit 107 returns to the process of step S402.

例えば、図１０に示す例では、焦点距離を１．２倍に調整すると、ＡＦ測距枠内にある被写体（Ａ）３０３の視差量が１．２倍の６０μｍに調整されることになる。この場合、焦点距離を調整した影響によってピントが若干ずれてしまうが、焦点距離を調整する際には、その範囲は各被写体像における錯乱円の大きさが許容錯乱円径を超えない範囲とする。  For example, in the example shown in FIG. 10, when the focal length is adjusted to 1.2 times, the parallax amount of the subject (A) 303 within the AF distance measurement frame is adjusted to 60 μm, which is 1.2 times. In this case, the focus is slightly shifted due to the effect of adjusting the focal length, but when adjusting the focal length, the range is set so that the size of the circle of confusion in each subject image does not exceed the allowable circle of confusion. .

一方、視差量信頼度が高い被写体が選択されると（ステップＳ５０２において、ＹＥＳ）、システム制御回路１０７は距離画像の生成処理を終了する。  On the other hand, when a subject with a high degree of parallax reliability is selected (YES in step S502), thesystem control circuit 107 ends the distance image generation process.

このように、本発明の第５の実施形態では、距離優先モードによる処理の際、常に視差量信頼度が高い被写体に合わせて距離画像を生成することができる。  As described above, in the fifth embodiment of the present invention, it is possible to always generate a distance image in accordance with a subject having a high degree of parallax reliability when processing in the distance priority mode.

［第６の実施形態］
次に、本発明の第５の実施形態によるカメラの一例について説明する。なお、第５の実施形態によるカメラの構成は、図１および図２に示すカメラと同様であるので、説明を省略する。また、ここでは、時間的に連続する複数のフレーム画像について距離画像を生成する連続フレーム処理について説明する。[Sixth Embodiment]
Next, an example of a camera according to the fifth embodiment of the present invention will be described. The configuration of the camera according to the fifth embodiment is the same as that of the camera shown in FIGS. Here, a continuous frame process for generating a distance image for a plurality of temporally continuous frame images will be described.

図１８は、本発明の第５の実施形態によるカメラで行われる連続フレーム処理を説明するためのフローチャートである。なお、ここでは、複数のフレーム画像を撮影する際には、フレーム（１）、フレーム（２）、フレーム（３）、・・・の順で撮像が行われる。  FIG. 18 is a flowchart for explaining continuous frame processing performed by the camera according to the fifth embodiment of the present invention. Here, when a plurality of frame images are captured, imaging is performed in the order of frame (1), frame (2), frame (3),.

連続フレーム処理が開始されると、システム制御回路１０７の制御下で、距離画像生成処理が行われて（ステップＳ６０１）、少なくとも１つの距離画像が生成される（Ｓ６０１）。この距離画像生成処理は、第１の実施形態から第４の実施形態のいずれかによる処理であり、ここでは、ステップＳ６０１の処理による投影中心の並進移動量を取得する対象となる被写体までの距離Ｚが連続フレーム処理で用いられる。  When the continuous frame processing is started, distance image generation processing is performed under the control of the system control circuit 107 (step S601), and at least one distance image is generated (S601). This distance image generation process is a process according to any one of the first to fourth embodiments, and here, the distance to the subject that is the target of acquiring the translation amount of the projection center by the process of step S601. Z is used in continuous frame processing.

続いて、システム制御回路１０７はカウント数Ｎ＝１（Ｎは１以上の整数）を設定する（ステップＳ６０２）。そして、システム制御回路１０７はカウント数Ｎが予め定められた最大数ＭＡＸ＿ＮＵＭ以下であるか否かを判定する（ステップＳ６０３）。Ｎ＞ＭＡＸ＿ＮＵＭであると（ステップＳ６０３において、ＮＯ）、システム制御回路１０７は連続フレーム処理を終了する。  Subsequently, thesystem control circuit 107 sets a count number N = 1 (N is an integer equal to or greater than 1) (step S602). Then, thesystem control circuit 107 determines whether or not the count number N is equal to or less than a predetermined maximum number MAX_NUM (step S603). If N> MAX_NUM (NO in step S603),system control circuit 107 ends the continuous frame processing.

一方、Ｎ≦ＭＡＸ＿ＮＵＭであれば（ステップＳ６０３において、ＮＯ）、システム制御回路１０７の制御下で、前述したように、信号処理回路１０４は時間的に連続する第Ｎの画像（つまり、フレーム（Ｎ））と第（Ｎ＋１）の画像（つまり、フレーム（Ｎ＋１））に応じて視差画像を生成する（ステップＳ６０４）。そして、システム制御回路１０７の制御下で、信号処理回路１０４は投影中心の並進移動量を取得する対象となる被写体を選択する（ステップＳ６０５）。  On the other hand, if N ≦ MAX_NUM (NO in step S603), thesignal processing circuit 104 controls the Nth image (that is, the frame (N )) And the (N + 1) th image (that is, the frame (N + 1)), a parallax image is generated (step S604). Then, under the control of thesystem control circuit 107, thesignal processing circuit 104 selects a subject for which the translation amount of the projection center is acquired (step S605).

続いて、信号処理回路１０４は、前述の式（１４）を用いて、ステップＳ６０５で選択した被写体の視差量ｄと被写体距離Ｚとに応じて、投影中心の並進移動量を求める（ステップＳ６０６）。そして、信号処理回路１０４はフレーム（Ｎ）とフレーム（Ｎ＋１）に応じた距離画像を生成する（ステップＳ６０７）。  Subsequently, thesignal processing circuit 104 obtains the translational movement amount of the projection center according to the parallax amount d and the subject distance Z of the subject selected in step S605 using the above-described equation (14) (step S606). . Then, thesignal processing circuit 104 generates a distance image corresponding to the frame (N) and the frame (N + 1) (step S607).

なお、視差画像の生成、並進移動量を求める被写体の選択、並進移動量の算出、および、距離画像生成に係る処理は、前述の第１の実施形態〜第４の実施形態で説明したいずれかの手法が用いられる。  The processing related to the generation of the parallax image, the selection of the subject for obtaining the translational movement amount, the calculation of the translational movement amount, and the distance image generation is any of those described in the first to fourth embodiments. The method is used.

続いて、システム制御回路１０７は、カウント数Ｎ＝Ｎ＋１として（ステップＳ６０８）、ステップＳ６０３の処理に戻る。  Subsequently, thesystem control circuit 107 sets the count number N = N + 1 (step S608), and returns to the process of step S603.

前述したように、カウント数Ｎが最大数ＭＡＸ＿ＮＵＭを超えると、投影中心の並進移動量を求める対象である被写体が移動して被写体距離Ｚが変化することがある。このため、カウント数Ｎが最大数ＭＡＸ＿ＮＵＭを超えると、システム制御回路１０７は連続フレーム処理を終了する。  As described above, when the count number N exceeds the maximum number MAX_NUM, the subject that is the target for obtaining the translational movement amount of the projection center may move and the subject distance Z may change. For this reason, when the count number N exceeds the maximum number MAX_NUM, thesystem control circuit 107 ends the continuous frame processing.

例えば、許容する距離Ｚの精度が１０ｃｍ、想定する被写体移動速度が１０ｃｍ／秒、フレームレートが６０フレーム／秒である場合には、６０フレームで距離Ｚの許容精度の１０ｃｍに達するので、最大数ＭＡＸ＿ＮＵＭは６０とする。  For example, if the accuracy of the allowable distance Z is 10 cm, the assumed moving speed of the subject is 10 cm / second, and the frame rate is 60 frames / second, the allowable number of distance Z reaches 10 cm in 60 frames. MAX_NUM is set to 60.

よって、続けて連続フレーム処理によって距離画像を生成する際には、ステップＳ６０１から処理をやり直すことになる。  Therefore, when a distance image is continuously generated by continuous frame processing, the processing is repeated from step S601.

このように、本発明の第６の実施形態では、一連のフレーム処理において直前の処理で参照したフレーム画像のうちの一つを次のフレームでも参照するので、撮像のフレームレートと同一のレートで距離画像が生成されることになって、距離画像の時間分解能を高くすることができる。  As described above, in the sixth embodiment of the present invention, one of the frame images referred to in the immediately preceding process in the series of frame processes is also referred to in the next frame. Therefore, at the same rate as the imaging frame rate. Since the distance image is generated, the time resolution of the distance image can be increased.

上述の説明から明らかなように、図１に示す例においては、システム制御回路１０７および信号処理回路１０４が視差画像取得手段、距離情報取得手段、並進移動量取得手段、および距離画像取得手段として機能する。また、システム制御回路１０７は被写体選択手段として機能し、システム制御回路１０７および操作部１１０はモード選択手段として機能する。そして、システム制御回路１０７は焦点距離調整手段、視差量調整手段、および制御手段として機能する。  As is apparent from the above description, in the example shown in FIG. 1, thesystem control circuit 107 and thesignal processing circuit 104 function as parallax image acquisition means, distance information acquisition means, translational movement amount acquisition means, and distance image acquisition means. To do. Thesystem control circuit 107 functions as a subject selection unit, and thesystem control circuit 107 and theoperation unit 110 function as a mode selection unit. Thesystem control circuit 107 functions as a focal length adjustment unit, a parallax amount adjustment unit, and a control unit.

なお、図１において、少なくとも信号処理回路１０４、メモリ制御回路１０５、システム制御回路１０７、ＡＦ評価値取得回路１０８、および操作部１１０は画像処理装置を構成する。また、結像光学系、撮像素子１０２、Ａ／Ｄ変換回路、およびシステム制御回路１０７が撮像手段を構成する。  In FIG. 1, at least thesignal processing circuit 104, thememory control circuit 105, thesystem control circuit 107, the AF evaluationvalue acquisition circuit 108, and theoperation unit 110 constitute an image processing apparatus. In addition, the imaging optical system, theimage sensor 102, the A / D conversion circuit, and thesystem control circuit 107 constitute an imaging unit.

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。  As mentioned above, although this invention was demonstrated based on embodiment, this invention is not limited to these embodiment, Various forms of the range which does not deviate from the summary of this invention are also contained in this invention. .

例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。  For example, the function of the above embodiment may be used as a control method, and this control method may be executed by the image processing apparatus. In addition, a program having the functions of the above-described embodiments may be used as a control program, and the control program may be executed by a computer included in the image processing apparatus. The control program is recorded on a computer-readable recording medium, for example.

上記の制御方法および制御プログラムの各々は、少なくとも視差画像取得ステップ、距離情報取得ステップ、並進移動量取得ステップ、および距離画像取得ステップを有している。  Each of the control method and the control program has at least a parallax image acquisition step, a distance information acquisition step, a translational movement amount acquisition step, and a distance image acquisition step.

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。  The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various recording media, and the computer (or CPU, MPU, etc.) of the system or apparatus reads the program. To be executed.

１０１ 結像光学系
１０２ 撮像素子
１０３ Ａ／Ｄ変換回路
１０４ 信号処理回路
１０５ メモリ制御回路
１０６ メモリ
１０７ システム制御回路
１０８ ＡＦ評価値取得回路
１０９ 表示部
１１０ 操作部DESCRIPTION OFSYMBOLS 101 Imagingoptical system 102 Image pick-up element 103 A /D conversion circuit 104Signal processing circuit 105Memory control circuit 106Memory 107System control circuit 108 AF evaluationvalue acquisition circuit 109Display part 110 Operation part

Claims (10)

Translated fromJapanese

撮像手段によって互いに異なる視点から特定の被写体を撮像して得られた複数の画像に応じて、前記撮像手段から前記特定の被写体までの距離に応じた距離画像を生成する画像処理装置であって、
前記複数の画像の視差量に応じた視差画像を得る視差画像取得手段と、
前記撮像手段から前記特定の被写体までの距離を示す距離情報を求める距離情報取得手段と、
前記視差量および前記距離情報に応じて、前記視点うちの一つの投影中心に対する他の視点の投影中心の移動量である並進移動量を求める並進移動量取得手段と、
前記視差画像と前記並進移動量とに応じて前記距離画像を生成する距離画像取得手段と、
を有することを特徴とする画像処理装置。An image processing apparatus that generates a distance image according to a distance from the imaging unit to the specific subject according to a plurality of images obtained by imaging the specific subject from different viewpoints by the imaging unit,
Parallax image acquisition means for obtaining parallax images according to the parallax amounts of the plurality of images;
Distance information acquisition means for obtaining distance information indicating a distance from the imaging means to the specific subject;
A translational movement amount obtaining means for obtaining a translational movement amount that is a movement amount of a projection center of another viewpoint with respect to one projection center of the viewpoints according to the parallax amount and the distance information;
Distance image acquisition means for generating the distance image according to the parallax image and the translational movement amount;
An image processing apparatus comprising: 前記視差画像取得手段は、前記複数の画像の各々を平行化画像に写像して、複数の平行化画像の視差量に応じて視差画像を得ることを特徴とする請求項１に記載の画像処理装置。  2. The image processing according to claim 1, wherein the parallax image acquisition unit maps each of the plurality of images to a parallelized image and obtains a parallax image according to a parallax amount of the plurality of parallelized images. apparatus. 前記特定の被写体として、前記視差画像において前記視差量が所定の閾値よりも大きい被写体を選択する被写体選択手段を有することを特徴とする請求項１又は２に記載の画像処理装置。  The image processing apparatus according to claim 1, further comprising: a subject selection unit that selects a subject having the parallax amount larger than a predetermined threshold in the parallax image as the specific subject. 前記特定の被写体としてピントを合わせた被写体を選択する被写体選択手段を有することを特徴とする請求項１又は２に記載の画像処理装置。  The image processing apparatus according to claim 1, further comprising subject selection means for selecting a subject in focus as the specific subject. 前記視差画像において前記視差量が所定の閾値より高い被写体からピントを合わせる被写体を選択被写体として選択し、当該選択被写体を前記特定の被写体とする被写体選択手段を有することを特徴とする請求項１又は２に記載の画像処理装置。  2. The apparatus according to claim 1, further comprising: a subject selection unit that selects a subject to be focused as a selected subject from subjects whose parallax amount is higher than a predetermined threshold in the parallax image, and uses the selected subject as the specific subject. 2. The image processing apparatus according to 2. 距離優先モード、表示優先モード、および距離表示優先モードのうち少なくとも２つのモードから１つのモードを選択するモード選択手段と、
前記距離優先モードが選択されると、前記特定の被写体として前記視差画像において前記視差量が所定の閾値より高い被写体を選択し、前記表示優先モードが選択されると、前記特定の被写体としてピントを合わせた被写体を選択し、前記距離表示優先モードが選択されると、前記視差画像において前記視差量が所定の閾値より高い被写体からピントを合わせる被写体を選択被写体として選択して当該選択被写体を前記特定の被写体とする被写体選択手段とを有することを特徴とする請求項１又は２に記載の画像処理装置。Mode selection means for selecting one mode from at least two modes among the distance priority mode, the display priority mode, and the distance display priority mode;
When the distance priority mode is selected, a subject whose parallax amount is higher than a predetermined threshold in the parallax image is selected as the specific subject, and when the display priority mode is selected, the specific subject is focused. When a combined subject is selected and the distance display priority mode is selected, a subject to be focused is selected as a selected subject from subjects whose parallax amount is higher than a predetermined threshold in the parallax image, and the selected subject is specified. The image processing apparatus according to claim 1, further comprising: a subject selection unit that sets the subject as a subject. 前記撮像手段における焦点距離を調整する焦点距離調整手段と、
前記特定の被写体に係る視差量が所定の閾値よりも小さいと、前記焦点距離調整手段を制御して前記焦点距離を望遠側に調整し前記特定の被写体に係る視差量を前記閾値より大きくする視差量調整手段とを有することを特徴とすることを特徴する請求項１〜６のいずれか１項に記載の画像処理装置。A focal length adjusting means for adjusting a focal length in the imaging means;
When the amount of parallax related to the specific subject is smaller than a predetermined threshold, the parallax for controlling the focal length adjusting means to adjust the focal length to the telephoto side and making the amount of parallax related to the specific subject larger than the threshold The image processing apparatus according to claim 1, further comprising an amount adjustment unit. 前記撮像手段によって前記複数の画像を連続的に得て、
第Ｎの画像と第（Ｎ＋１）の画像（Ｎは１以上の整数）とに応じて、前記視差画像取得手段、前記距離情報取得手段、前記並進移動量取得手段、および前記距離画像取得手段を制御して連続的に前記距離画像を求める制御手段を有することを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。Obtaining the plurality of images continuously by the imaging means;
According to the Nth image and the (N + 1) th image (N is an integer equal to or greater than 1), the parallax image acquisition means, the distance information acquisition means, the translational movement amount acquisition means, and the distance image acquisition means The image processing apparatus according to claim 1, further comprising a control unit configured to control and obtain the distance image continuously. 撮像手段によって互いに異なる視点から特定の被写体を撮像して得られた複数の画像に応じて、前記撮像手段から前記特定の被写体までの距離に応じた距離画像を生成する画像処理装置の制御方法であって、
前記複数の画像の視差量に応じた視差画像を得る視差画像取得ステップと、
前記撮像手段から前記特定の被写体までの距離を示す距離情報を求める距離情報取得ステップと、
前記視差量および前記距離情報に応じて、前記視点うちの一つの投影中心に対する他の視点の投影中心の移動量である並進移動量を求める並進移動量取得ステップと、
前記視差画像と前記並進移動量とに応じて前記距離画像を生成する距離画像取得ステップと、
を有することを特徴とする制御方法。A control method of an image processing apparatus that generates a distance image according to a distance from the imaging unit to the specific subject according to a plurality of images obtained by imaging a specific subject from different viewpoints by the imaging unit. There,
A parallax image obtaining step for obtaining a parallax image corresponding to the parallax amount of the plurality of images;
A distance information acquisition step for obtaining distance information indicating a distance from the imaging means to the specific subject;
A translational movement amount obtaining step for obtaining a translational movement amount that is a movement amount of a projection center of another viewpoint with respect to one projection center of the viewpoints according to the parallax amount and the distance information;
A distance image acquisition step of generating the distance image according to the parallax image and the translational movement amount;
A control method characterized by comprising: 撮像手段によって互いに異なる視点から特定の被写体を撮像して得られた複数の画像に応じて、前記撮像手段から前記特定の被写体までの距離に応じた距離画像を生成する画像処理装置で用いられる制御プログラムであって、
前記画像処理装置が備えるコンピュータに、
前記複数の画像の視差量に応じた視差画像を得る視差画像取得ステップと、
前記撮像手段から前記特定の被写体までの距離を示す距離情報を求める距離情報取得ステップと、
前記視差量および前記距離情報に応じて、前記視点うちの一つの投影中心に対する他の視点の投影中心の移動量である並進移動量を求める並進移動量取得ステップと、
前記視差画像と前記並進移動量とに応じて前記距離画像を生成する距離画像取得ステップと、
を実行させることを特徴とする制御プログラム。Control used in an image processing apparatus that generates a distance image according to a distance from the imaging unit to the specific subject according to a plurality of images obtained by imaging the specific subject from different viewpoints by the imaging unit A program,
In the computer provided in the image processing apparatus,
A parallax image obtaining step for obtaining a parallax image corresponding to the parallax amount of the plurality of images;
A distance information acquisition step for obtaining distance information indicating a distance from the imaging means to the specific subject;
A translational movement amount obtaining step for obtaining a translational movement amount that is a movement amount of a projection center of another viewpoint with respect to one projection center of the viewpoints according to the parallax amount and the distance information;
A distance image acquisition step of generating the distance image according to the parallax image and the translational movement amount;
A control program characterized by causing

Images