WO2012066768A1 - Stereo image generation device and stereo image generation method - Google Patents

Abstract

Provided are a stereo image generation device and a stereo image generation method capable of capturing a high-resolution stereo image, without using two high-resolution image capturing means. The present invention is provided with: a first image capturing unit (10-1) having a high-resolution; a second image capturing unit (10-2) having a lower resolution than the first image capturing unit (10-1); an image resizing unit (24) which converts a first captured image to contain a predetermine number of pixels, and converts a second captured image to contain a predetermined number of pixels; an image encoding unit (27) which encodes the first captured image and the second captured image which are converted by the image resizing unit (24); and a stereo image format conversion unit (28) which generates a stereo image by converting the first captured image and the second captured image encoded by the image encoding unit (27), to a stereo image format.

Description

Translated fromJapanese

ステレオ画像生成装置及びステレオ画像生成方法Stereo image generation apparatus and stereo image generation method

　本発明は、ステレオ画像を撮像するステレオ画像撮像用の複眼カメラに用いて好適なステレオ画像生成装置及びステレオ画像生成方法に関する。The present invention relates to a stereo image generating apparatus and a stereo image generating method suitable for use in a compound eye camera for capturing a stereo image.

　ステレオ画像を生成する方法として、特許文献１に記載された複眼カメラ及び画像処理方法が知られている。特許文献１に記載された複眼カメラは、複数の撮像手段（即ちカメラ）を有して、ステレオ画像の撮像を可能にし、さらに複数の撮像手段のうちの１つを選択して２次元撮影を可能にしている。As a method of generating a stereo image, a compound eye camera and an image processing method described inPatent Document 1 are known. The compound eye camera described inPatent Document 1 has a plurality of imaging units (that is, cameras), enables imaging of stereo images, and selects one of the plurality of imaging units to perform two-dimensional imaging. It is possible.

日本国特開平１０－０９０９１４号公報Japanese Laid-Open Patent Publication No. 10-090914

　しかしながら、上述した特許文献１に記載された複眼カメラの構成では、複数の撮像手段の解像度が同一であるため、高解像度のステレオ画像を撮像するには高解像度の撮像手段を２つ使用する必要があり、コストが嵩み、実装面積も大きくなるという課題がある。However, in the configuration of the compound eye camera described inPatent Document 1 described above, since the resolution of the plurality of imaging units is the same, it is necessary to use two high-resolution imaging units to capture a high-resolution stereo image. There is a problem that the cost is increased and the mounting area is increased.

　本発明は、係る事情に鑑みてなされたものであり、高解像度の撮像手段を２つ使用することなく、高解像度のステレオ画像を撮像することができるステレオ画像生成装置及びステレオ画像生成方法を提供することを目的とする。The present invention has been made in view of such circumstances, and provides a stereo image generation apparatus and a stereo image generation method capable of capturing a high-resolution stereo image without using two high-resolution imaging means. The purpose is to do.

　本発明のステレオ画像生成装置は、第１の画素数を備え、第１の撮像画像を撮像する第１の撮像部と、前記第１の画素数よりも小さい第２の画素数を備え、第２の撮像画像を撮像する第２の撮像部と、前記第１の撮像画像を変換し、所定の画素数にするとともに、前記第２の撮像画像を変換し、前記所定の画素数にする画像リサイズ部と、前記画像リサイズ部で変換された前記第１の撮像画像及び前記第２の撮像画像をエンコードする画像エンコード部と、前記画像エンコード部でエンコードされた前記第１の撮像画像及び前記第２の撮像画像をステレオ画像フォーマットに変換してステレオ画像を生成するステレオ画像フォーマット変換部と、を備えた。The stereo image generating apparatus of the present invention includes a first number of pixels, a first imaging unit that captures the first captured image, a second number of pixels smaller than the first number of pixels, A second imaging unit that captures the second captured image, and an image that converts the first captured image to a predetermined number of pixels and converts the second captured image to the predetermined number of pixels. A resizing unit; an image encoding unit that encodes the first captured image and the second captured image converted by the image resizing unit; the first captured image encoded by the image encoding unit; A stereo image format conversion unit that converts the two captured images into a stereo image format to generate a stereo image.

　上記構成によれば、高解像度の第１の撮像部と、この第１の撮像部よりも低解像度の第２の撮像部を備え、第１の撮像部で撮像された第１の撮像画像を所定の画素数にリサイズするとともに、第２の撮像部で撮像された第２の撮像画像を所定の画素数にリサイズし、リサイズした第１の撮像画像及び第２の撮像画像をエンコードし、エンコードした第１の撮像画像及び第２の撮像画像をステレオ画像フォーマットに変換してステレオ画像を生成するので、高解像度の撮像手段を２つ使用することなく、高解像度のステレオ画像を撮像することが可能となる。また、高解像度の撮像手段を２つ使用しないことから、コストを安くでき、また実装面積も小さくできる。According to the above-described configuration, the first imaging unit including the first imaging unit having a high resolution and the second imaging unit having a lower resolution than the first imaging unit is provided. Resizing to a predetermined number of pixels, resizing the second captured image captured by the second imaging unit to a predetermined number of pixels, encoding the resized first captured image and second captured image, and encoding Since the first captured image and the second captured image are converted into a stereo image format to generate a stereo image, a high-resolution stereo image can be captured without using two high-resolution imaging means. It becomes possible. Further, since two high-resolution imaging means are not used, the cost can be reduced and the mounting area can be reduced.

　上記構成において、前記画像リサイズ部が行う、前記第１の撮像画像の変換、及び前記第２の撮像画像の変換は、拡大、縮小、又は等倍の変換である。In the above configuration, the conversion of the first captured image and the conversion of the second captured image performed by the image resizing unit are enlargement, reduction, or equal magnification conversion.

　上記構成によれば、第１の撮像部で撮像された第１の撮像画像の画素数と第２の撮像部で撮像された第２の撮像画像の画素数を合わせることができる。According to the above configuration, the number of pixels of the first captured image captured by the first imaging unit and the number of pixels of the second captured image captured by the second imaging unit can be matched.

　上記構成において、前記所定の画素数は、前記第１の画素数である。In the above configuration, the predetermined number of pixels is the first number of pixels.

　上記構成によれば、第１の撮像部で撮像された第１の撮像画像の画素数に第２の撮像部で撮像された第２の撮像画像の画素数を合わせることができる。According to the above configuration, the number of pixels of the second captured image captured by the second imaging unit can be matched with the number of pixels of the first captured image captured by the first imaging unit.

　上記構成において、前記第１の撮像部は、第１の画角を備え、前記第２の撮像部は、前記第１の画角よりも狭い第２の画角を備え、前記第１の撮像画像をトリミングする画角補正部を備え、前記画像エンコード部は、前記画角補正部でトリミングされ、前記画像リサイズ部で画素数が変換された前記第１の撮像画像と、前記画像リサイズ部で画素数が変換された前記第２の撮像画像と、をエンコードする。In the above configuration, the first imaging unit includes a first angle of view, and the second imaging unit includes a second angle of view narrower than the first angle of view, and the first imaging unit. An angle of view correction unit for trimming an image, and the image encoding unit is trimmed by the angle of view correction unit, the first captured image whose number of pixels is converted by the image resizing unit, and the image resizing unit The second captured image in which the number of pixels is converted is encoded.

　上記構成によれば、画角補正部を備えたことで、第１の撮像画像を小さくすることができる。According to the above configuration, the first captured image can be reduced by providing the angle of view correction unit.

　上記構成において、画角補正情報を保持する画角情報保持部を備え、前記画角補正部は、前記画角補正情報に基づきトリミングする。In the above configuration, an angle-of-view information holding unit that holds angle-of-view correction information is provided, and the angle-of-view correction unit performs trimming based on the angle-of-view correction information.

　上記構成によれば、画角補正情報を保持する画角情報保持部を備えたことで、トリミングにおける処理時間の短縮化を図ることができる。According to the above configuration, the processing time in trimming can be shortened by providing the angle-of-view information holding unit that holds the angle-of-view correction information.

　上記構成において、前記第１の撮像画像、もしくは前記第２の撮像画像のいずれかに対して、上下ずれ、水平ずれ、回転ずれ、又は大きさずれの中で少なくとも１つを補正する位置補正部を備え、前記画像エンコード部は、前記位置補正部で補正され、前記画像リサイズ部で所定の画素数に変換された前記第１の撮像画像と、前記位置補正部で補正され、前記画像リサイズ部で前記所定の画素数に変換された前記第２の撮像画像と、をエンコードする。In the above configuration, a position correction unit that corrects at least one of vertical shift, horizontal shift, rotational shift, and size shift with respect to either the first captured image or the second captured image. The image encoding unit is corrected by the position correction unit, converted to a predetermined number of pixels by the image resizing unit, and corrected by the position correction unit, and the image resizing unit. And the second captured image converted into the predetermined number of pixels.

　上記構成によれば、第１の撮像画像、もしくは第２の撮像画像のいずれかに対して、上下ずれ、水平ずれ、回転ずれ、又は大きさずれの中で少なくとも１つを補正する位置補正部を備えたことで、第１の撮像画像と第２の撮像画像とから精度の高いステレオ画像を生成することが可能となる。According to the above configuration, the position correction unit that corrects at least one of vertical shift, horizontal shift, rotational shift, and size shift with respect to either the first captured image or the second captured image. With this, it is possible to generate a highly accurate stereo image from the first captured image and the second captured image.

　上記構成において、位置補正情報を保持する位置補正情報保持部を備え、前記位置補正部は、前記位置補正情報に基づき上下ずれ、水平ずれ、回転ずれ、又は大きさずれの中で少なくとも１つを補正する。In the above configuration, a position correction information holding unit that holds position correction information is provided, and the position correction unit has at least one of vertical deviation, horizontal deviation, rotation deviation, and size deviation based on the position correction information. to correct.

　上記構成によれば、位置補正情報を保持する位置補正情報保持部を備えたことで、位置補正における処理時間の短縮化を図ることができる。According to the above configuration, the position correction information holding unit for holding the position correction information is provided, so that the processing time in the position correction can be shortened.

　上記構成において、前記第１の撮像画像と前記第２の撮像画像との間の色の違いについて、前記第１の撮像画像及び／又は前記第２の撮像画像に対して色の補正する色補正部を備え、前記画像エンコード部は、前記色補正部で色の補正がなされた前記第１の撮像画像と、前記第２の撮像画像と、をエンコードする。In the above configuration, color correction for correcting the color of the first captured image and / or the second captured image with respect to the color difference between the first captured image and the second captured image. The image encoding unit encodes the first captured image and the second captured image that have been color-corrected by the color correction unit.

　上記構成によれば、色補正部を備えたことで、第１の撮像画像及び／又は前記第２の撮像画像の色補正を行うことができる。According to the above configuration, the color correction of the first captured image and / or the second captured image can be performed by providing the color correction unit.

　上記構成において、前記画像リサイズ部が行う、前記第１の撮像画像の変換、及び前記第２の撮像画像の変換が拡大の変換である場合、超解像処理を用いる。In the above configuration, when the conversion of the first captured image and the conversion of the second captured image performed by the image resizing unit are enlargement conversions, super-resolution processing is used.

　上記構成によれば、超解像処理を行うことで、撮像画像を拡大することによってぼけた部分が生じてもくっきり感を上げることができる。即ち、高画質化を図ることができる。According to the above configuration, by performing the super-resolution processing, it is possible to enhance a clear feeling even if a blurred portion is generated by enlarging the captured image. That is, high image quality can be achieved.

　上記構成において、前記第１の撮像画像及び前記第２の撮像画像のそれぞれの画像の周辺部に対して平均化処理を行う画像フィルタ部を備え、前記画像エンコード部は、前記画像リサイズ部で画素数の変換した後、前記画像フィルタ部により平均化処理を行った前記第１の撮像画像と、前記画像リサイズ部で画素数の変換した後、前記画像フィルタ部により平均化処理を行った前記第２の撮像画像と、をエンコードする。In the above-described configuration, an image filter unit that performs an averaging process on a peripheral portion of each of the first captured image and the second captured image is provided, and the image encoding unit includes pixels in the image resizing unit. After the number conversion, the first captured image that has been subjected to the averaging process by the image filter unit and the first image that has been subjected to the averaging process by the image filter unit after the number of pixels has been converted by the image resizing unit. Two captured images are encoded.

　上記構成によれば、画像フィルタ部を備えたことで、第１の撮像画像及び前記第２の撮像画像のそれぞれの画像の周辺部をぼかすことができ、第１，第２の撮像部間のレンズ歪の差によるステレオ画像の画質の劣化を少なくすることができる。According to the above configuration, by providing the image filter unit, it is possible to blur the periphery of each of the first captured image and the second captured image, and between the first and second image capturing units. Deterioration of the image quality of the stereo image due to the difference in lens distortion can be reduced.

　本発明のステレオ画像生成方法は、第１の撮像部において第１の画素数で、第１の撮像画像を撮像する第１撮像ステップと、第２の撮像部において前記第１の画素数よりも小さい第２の画素数で、第２の撮像画像を撮像する第２撮像ステップと、前記第１の撮像画像を変換し、所定の画素数にするとともに、前記第２の撮像画像を変換し、前記所定の画素数にする画像リサイズステップと、前記画像リサイズステップで変換された前記第１の撮像画像及び前記第２の撮像画像をエンコードする画像エンコードステップと、前記画像エンコードステップでエンコードされた前記第１の撮像画像及び前記第２の撮像画像をステレオ画像フォーマットに変換してステレオ画像を生成するステレオ画像フォーマット変換ステップと、を備えた。The stereo image generation method of the present invention includes a first imaging step of capturing a first captured image with a first number of pixels in a first imaging unit, and a first imaging number that is greater than the first number of pixels in a second imaging unit. A second imaging step of capturing a second captured image with a small second number of pixels, and converting the first captured image to a predetermined number of pixels and converting the second captured image; The image resizing step to obtain the predetermined number of pixels, the image encoding step for encoding the first captured image and the second captured image converted in the image resizing step, and the encoded in the image encoding step A stereo image format conversion step of generating a stereo image by converting the first captured image and the second captured image into a stereo image format.

　上記方法によれば、高解像度の第１の撮像部と、この第１の撮像部よりも低解像度の第２の撮像部を使用し、第１の撮像部で撮像された第１の撮像画像を所定の画素数にするとともに、第２の撮像部で撮像された第２の撮像画像を所定の画素数にし、このようにしてリサイズした第１の撮像画像及び第２の撮像画像とをエンコードし、エンコードした第１の撮像画像及び第２の撮像画像をステレオ画像フォーマットに変換してステレオ画像を生成するので、高解像度の撮像手段を２つ使用することなく、高解像度のステレオ画像を撮像することが可能となる。According to the above method, the first captured image captured by the first imaging unit using the first imaging unit having a high resolution and the second imaging unit having a lower resolution than the first imaging unit. Is set to a predetermined number of pixels, the second captured image captured by the second imaging unit is set to a predetermined number of pixels, and the resized first captured image and second captured image are encoded as described above. Since the encoded first captured image and second captured image are converted into a stereo image format to generate a stereo image, a high-resolution stereo image is captured without using two high-resolution image capturing means. It becomes possible to do.

　本発明によれば、解像度の異なる２つの撮像手段で２つの画像を撮像し、低解像度の画像を高解像度の画像の画素数まで拡大し、ステレオ画像を生成するので、高解像度の撮像手段を２つ使用することがないため、コストを低く抑えることができるとともに、実装面積も小さく抑えることができる。According to the present invention, two images are picked up by two image pickup means having different resolutions, a low-resolution image is enlarged to the number of pixels of the high-resolution image, and a stereo image is generated. Since two are not used, the cost can be kept low and the mounting area can be kept small.

本発明の一実施の形態に係るステレオ画像生成装置の概略構成を示すブロック図The block diagram which shows schematic structure of the stereo image production | generation apparatus which concerns on one embodiment of this invention図１のステレオ画像生成装置のプレビュー処理を示すフローチャートThe flowchart which shows the preview process of the stereo image generation apparatus of FIG.図２のプレビュー処理のステップＳ１３～ステップＳ１５及びステップＳ１７～ステップＳ１８の各ステップにおける処理結果を示す図The figure which shows the processing result in each step of step S13-step S15 and step S17-step S18 of the preview process of FIG.図１のステレオ画像生成装置の撮影処理を示すフローチャートThe flowchart which shows the imaging | photography process of the stereo image generation apparatus of FIG.図４の撮影処理のステップＳ３０～ステップＳ３２及びステップＳ３４の各ステップにおける処理結果を示す図The figure which shows the processing result in each step of step S30-step S32 and step S34 of the imaging | photography process of FIG.（ａ）～（ｇ）図１のステレオ画像生成装置に２つの撮像部を配置したときの光軸ずれを示す図(A)-(g) The figure which shows the optical axis shift | offset | difference when arrange | positioning two imaging parts to the stereo image production | generation apparatus of FIG.

　以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。Hereinafter, preferred embodiments for carrying out the present invention will be described in detail with reference to the drawings.

　図１は、本発明の一実施の形態に係るステレオ画像生成装置の概略構成を示すブロック図である。図１において、本実施の形態のステレオ画像生成装置１は、高解像度の撮像部１０－１と、低解像度の撮像部１０－２と、ズーム制御部１１と、オートフォーカス制御部１２と、シャッター制御部１３と、露出制御部１４と、ホワイトバランス制御部１５と、カメラ操作部１６と、制御部１７と、２つのカメラ信号処理部１８－１，１８－２と、画角補正部１９と、画角情報保持部２０と、位置補正部２１と、位置補正情報保持部２２と、色補正部２３と、画像リサイズ部２４と、超解像処理部２５と、画像フィルタ部２６と、画像エンコード部２７と、ステレオ画像フォーマット変換部２８と、画像保存部２９と、フォーマット変換部３０と、表示制御部３１と、表示部３２とを備える。FIG. 1 is a block diagram showing a schematic configuration of a stereo image generating apparatus according to an embodiment of the present invention. In FIG. 1, a stereoimage generating apparatus 1 according to the present embodiment includes a high-resolution imaging unit 10-1, a low-resolution imaging unit 10-2, a zoom control unit 11, an autofocus control unit 12, and a shutter. A control unit 13, anexposure control unit 14, a whitebalance control unit 15, acamera operation unit 16, acontrol unit 17, two camera signal processing units 18-1 and 18-2, and an angle ofview correction unit 19; , Angle-of-viewinformation holding unit 20,position correction unit 21, position correctioninformation holding unit 22,color correction unit 23,image resizing unit 24,super-resolution processing unit 25,image filter unit 26, and image Anencoding unit 27, a stereo imageformat conversion unit 28, animage storage unit 29, aformat conversion unit 30, adisplay control unit 31, and adisplay unit 32 are provided.

　撮像部１０－１，１０－２は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を備え、撮像信号を出力する。本実施の形態では、撮像部１０－１で撮像して得られた画像を第１の撮像画像とし、撮像部１０－２で撮像して得られた画像を第２の撮像画像とする。また、本実施の形態では、撮像部１０－１は第１の画角を有しており、撮像部１０－２は、撮像部１０－１の第１の画角よりも狭い第２の画角を有している。The imaging units 10-1 and 10-2 each include an imaging element such as a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS), and outputs an imaging signal. In the present embodiment, an image obtained by imaging with the imaging unit 10-1 is defined as a first captured image, and an image obtained by imaging with the imaging unit 10-2 is defined as a second captured image. In the present embodiment, the imaging unit 10-1 has a first angle of view, and the imaging unit 10-2 has a second image that is narrower than the first angle of view of the imaging unit 10-1. Has horns.

　ズーム制御部１１は、撮像部１０－１，１０－２のズーム制御を行う。オートフォーカス制御部１２は、撮像部１０－１，１０－２のオートフォーカス制御を行う。シャッター制御部１３は、撮像部１０－１，１０－２のシャッター制御を行う。露出制御部１４は、撮像部１０－１，１０－２の露出制御を行う。ホワイトバランス制御部１５は、撮像部１０－１，１０－２のホワイトバランス制御を行う。The zoom control unit 11 performs zoom control of the imaging units 10-1 and 10-2. The autofocus control unit 12 performs autofocus control of the imaging units 10-1 and 10-2. The shutter control unit 13 performs shutter control of the imaging units 10-1 and 10-2. Theexposure control unit 14 performs exposure control of the imaging units 10-1 and 10-2. The whitebalance control unit 15 performs white balance control of the imaging units 10-1 and 10-2.

　カメラ操作部１６は、ステレオ画像生成装置１の操作を行うものであり、操作時の信号が制御部１７に入力される。制御部１７は、カメラ操作部１６での操作に応じた操作信号を撮像部１０－１，１０－２へ出力する。カメラ信号処理部１８－１は、プレビュー処理において、撮像部１０－１で撮像された第１の撮像画像を表示部３２のサイズに合わせてリサイズする。カメラ信号処理部１８－２は、プレビュー処理において、撮像部１０－２で撮像された第２の撮像画像を表示部３２のサイズに合わせてリサイズする。本実施の形態では、プレビュー処理時は、カメラ信号処理部１８－１からＶＧＡサイズ（Ｗ６４０ピクセル、Ｈ４８０ピクセル）の第１の撮像画像（Ｌ：左画像）を出力し、カメラ信号処理部１８－２からはＶＧＡサイズ（Ｗ６４０ピクセル、Ｈ４８０ピクセル）の第２の撮像画像（Ｒ：右画像）を出力する。Ｗ６４０ピクセルとは、水平方向の画素数が６４０ピクセルであることを示しており、Ｈ４８０とは、垂直方向の画素数が４８０ピクセルであることを意味する。撮影処理時は、カメラ信号処理部１８－１からは１３メガピクセルの第１の撮像画像（Ｌ：左画像）を出力し、カメラ信号処理部１８－２からは３メガピクセルの第２の撮像画像（Ｒ：右画像）を出力するものとする。Thecamera operation unit 16 operates the stereoimage generation device 1, and a signal at the time of operation is input to thecontrol unit 17. Thecontrol unit 17 outputs an operation signal corresponding to an operation on thecamera operation unit 16 to the imaging units 10-1 and 10-2. In the preview process, the camera signal processing unit 18-1 resizes the first captured image captured by the imaging unit 10-1 in accordance with the size of thedisplay unit 32. In the preview process, the camera signal processing unit 18-2 resizes the second captured image captured by the imaging unit 10-2 according to the size of thedisplay unit 32. In the present embodiment, at the time of preview processing, a first captured image (L: left image) of VGA size (W640 pixels, H480 pixels) is output from the camera signal processing unit 18-1, and the camera signal processing unit 18- 2 outputs a second captured image (R: right image) of VGA size (W640 pixels, H480 pixels). W640 pixel indicates that the number of pixels in the horizontal direction is 640 pixels, and H480 indicates that the number of pixels in the vertical direction is 480 pixels. At the time of shooting processing, a first captured image (L: left image) of 13 megapixels is output from the camera signal processing unit 18-1, and a second imaging of 3 megapixels is output from the camera signal processing unit 18-2. Assume that an image (R: right image) is output.

　画角補正部１９は、画角情報保持部２０に保持されている画角補正情報に基づき撮像部１０－１で撮像された第１の撮像画像の画角を小さくする。例えば、８メガピクセルの画角にする。なお、撮像部１０－２で撮像された第２の撮像画像については画角補正しない。位置補正部２１は、位置補正情報保持部２２に保持されている位置補正情報に基づき、撮像部１０－１で撮像された第１の撮像画像に対して位置補正する。この場合、位置補正として、“上下ずれ”、“水平ずれ”、“回転ずれ”、又は“大きさずれ”の中で少なくとも１つを行う。なお、位置補正は、撮像部１０－２で撮像された第２の撮像画像に対して行ってもよい。即ち、位置補正部２１は、撮像部１０－１で撮像された第１の撮像画像、もしくは撮像部１０－２で撮像された第２の撮像画像のいずれかに対して位置補正を行う。The angle-of-view correction unit 19 reduces the angle of view of the first captured image captured by the imaging unit 10-1 based on the angle-of-view correction information held in the angle-of-viewinformation holding unit 20. For example, the field angle is set to 8 megapixels. Note that the angle of view is not corrected for the second captured image captured by the imaging unit 10-2. Theposition correction unit 21 corrects the position of the first captured image captured by the imaging unit 10-1 based on the position correction information held in the position correctioninformation holding unit 22. In this case, as position correction, at least one of “vertical shift”, “horizontal shift”, “rotational shift”, or “size shift” is performed. The position correction may be performed on the second captured image captured by the imaging unit 10-2. That is, theposition correction unit 21 performs position correction on either the first captured image captured by the imaging unit 10-1 or the second captured image captured by the imaging unit 10-2.

　色補正部２３は、撮像部１０－２で撮像された第２の撮像画像と位置補正後の撮像部１０－１で撮像された第１の撮像画像との間の色の違いについて、第１の撮像画像及び第２の撮像画像（第１の撮像画像又は第２の撮像画像）に対して色の補正を行う。画像リサイズ部２４は、撮像部１０－１で撮像された第１の撮像画像を変換し、所定の画素数にするとともに、撮像部１０－２で撮像された第２の撮像画像を変換し、第１の撮像画像と同様の画素数にする。本実施の形態では、第２の撮像画像についてのみリサイズを行い、３メガピクセルを８メガピクセルまでアップサンプリングして、第１の撮像画像と第２の撮像画像の画像サイズを合わせる。Thecolor correction unit 23 determines the first color difference between the second captured image captured by the image capturing unit 10-2 and the first captured image captured by the image capturing unit 10-1 after position correction. The color correction is performed on the captured image and the second captured image (first captured image or second captured image). Theimage resizing unit 24 converts the first captured image captured by the imaging unit 10-1 to a predetermined number of pixels, converts the second captured image captured by the imaging unit 10-2, The number of pixels is the same as that of the first captured image. In the present embodiment, resizing is performed only for the second captured image, and 3 megapixels are upsampled to 8 megapixels to match the image sizes of the first captured image and the second captured image.

　また、画像リサイズ部２４は、撮像部１０－１で撮像された第１の撮像画像を所定の画素数に変換するとともに、撮像部１０－２で撮像された第２の撮像画像も所定の画素数に変換する。なお、画像リサイズ部２４が行う第１の撮像画像の変換及び第２の撮像画像の変換は、“拡大”や“縮小”の他に“等倍”も含まれる。Further, theimage resizing unit 24 converts the first captured image captured by the imaging unit 10-1 into a predetermined number of pixels, and the second captured image captured by the imaging unit 10-2 is also a predetermined pixel. Convert to a number. Note that the conversion of the first captured image and the conversion of the second captured image performed by theimage resizing unit 24 include “magnification” in addition to “enlargement” and “reduction”.

　超解像処理部２５は、第２の撮像画像の変換が拡大の変換である場合に、画像リサイズ部２４において拡大処理を行わずに、超解像処理により拡大処理を行うものであり、画像リサイズ部２４により拡大処理するか、超解像処理により拡大するかを選択可能である。超解像処理とは、画像を拡大することによってぼけた部分についてくっきり感を上げるような処理である（つまり、高画質化を図る処理である）。本実施の形態では、超解像処理部２５ではなく、画像リサイズ部２４により拡大処理する場合を説明する。画像フィルタ部２６は、２つの撮像部１０－１，１０－２のレンズ歪の差による左右画像の画素ずれを目立たなくするため、第１の撮像画像及び第２の撮像画像のそれぞれの画像の周辺部をぼかすための平均化処理を行う。この画像フィルタ部２６を設けることで、２つの撮像部１０－１，１０－２間のレンズ歪の差によるステレオ画像の画質の劣化を少なくすることができる。When the conversion of the second captured image is an enlargement conversion, thesuper-resolution processing unit 25 performs the enlargement process by the super-resolution process without performing the enlargement process in theimage resizing unit 24. It is possible to select enlargement processing by the resizingunit 24 or enlargement by super-resolution processing. The super-resolution process is a process that increases the sharpness of a blurred portion by enlarging an image (that is, a process for improving image quality). In the present embodiment, a case will be described in which enlargement processing is performed not by thesuper-resolution processing unit 25 but by theimage resizing unit 24. Theimage filter unit 26 makes each pixel of the first captured image and the second captured image inconspicuous the pixel shift between the left and right images due to the difference in lens distortion between the two image capturing units 10-1 and 10-2. An averaging process is performed to blur the periphery. By providing theimage filter unit 26, it is possible to reduce deterioration of the image quality of the stereo image due to a difference in lens distortion between the two imaging units 10-1 and 10-2.

　画像エンコード部２７は、画像リサイズ部２４で画素数の変換が行われ、さらに画像フィルタ部２６により平均化処理が行われた第１の撮像画像と、画像リサイズ部２４で画素数の変換が行われ、さらに画像フィルタ部２６で平均化処理が行われた第２の撮像画像とをエンコード（圧縮）する。この場合、例えばＪＰＥＧ（Joint Photographic Experts Group）形式で圧縮する。ステレオ画像フォーマット変換部２８は、画像エンコード部２７でエンコードされた第１の撮像画像及び第２の撮像画像をステレオ画像フォーマットに変換してステレオ画像を生成する。この場合、例えばＪＰＥＧ形式からＭＰＯ（Multi-Picture Format）形式に変換する。画像保存部２９は、フラッシュメモリ（ＳＤメモリなど）を有し、ステレオ画像フォーマット変換部２８で生成されたステレオ画像を保存する。フォーマット変換部３０は、画像リサイズ部２４で表示部３２に合う画素数に変換された第１の撮像画像及び第２の撮像画像を表示部３２に表示するための形式に変換する。表示制御部３１は、フォーマット変換部３０で表示部３２に表示するための形式（例えば、ピクセルバイピクセル）に変換された第１の撮像画像及び第２の撮像画像を表示部３２に表示する制御を行う。表示部３２は、例えば液晶表示器である。Theimage encoding unit 27 performs the conversion of the number of pixels by theimage resizing unit 24, and further performs the conversion of the number of pixels by the first captured image subjected to the averaging process by theimage filter unit 26 and theimage resizing unit 24. Further, the second captured image that has been subjected to the averaging process by theimage filter unit 26 is encoded (compressed). In this case, for example, compression is performed in a JPEG (Joint Photographic Experts Group) format. The stereo imageformat conversion unit 28 converts the first captured image and the second captured image encoded by theimage encoding unit 27 into a stereo image format and generates a stereo image. In this case, for example, JPEG format is converted to MPO (Multi-Picture Format) format. Theimage storage unit 29 has a flash memory (such as an SD memory) and stores the stereo image generated by the stereo imageformat conversion unit 28. Theformat conversion unit 30 converts the first captured image and the second captured image that have been converted to the number of pixels suitable for thedisplay unit 32 by theimage resizing unit 24 into a format for displaying on thedisplay unit 32. Thedisplay control unit 31 controls thedisplay unit 32 to display the first captured image and the second captured image converted into a format (for example, pixel-by-pixel) for display on thedisplay unit 32 by theformat conversion unit 30. I do. Thedisplay unit 32 is, for example, a liquid crystal display.

　次に、本実施の形態のステレオ画像生成装置１の動作を説明する。
　図２は、本実施の形態のステレオ画像生成装置１のプレビュー処理を説明するためのフローチャートである。プレビュー処理とは、ユーザ操作により、撮像部１０－１、撮像部１０－２が起動され、ユーザが撮影したい構図を決めるために、撮像部１０－１、撮像部１０－２が取り込んだ連続的な撮像画像を、表示部３２に順次表示する処理であり、撮像画像の保存を含む撮影自体はまだ行われていない。Next, the operation of the stereoimage generating apparatus 1 of the present embodiment will be described.
FIG. 2 is a flowchart for explaining the preview processing of the stereoimage generating apparatus 1 according to the present embodiment. In the preview process, the image capturing unit 10-1 and the image capturing unit 10-2 are activated by a user operation, and the continuous image captured by the image capturing unit 10-1 and the image capturing unit 10-2 is used to determine a composition that the user wants to capture. This is a process of sequentially displaying a picked-up image on thedisplay unit 32, and photographing itself including storage of the picked-up image has not been performed yet.

　図２において、ユーザがカメラ操作部１６により撮像部１０－１、１０－２の起動を指示する（ステップＳ１０）。このユーザ指示により、制御部１７が、撮像部１０－１、１０－２を起動する指示を出力する（ステップＳ１１）。起動指示を出力した後、ユーザがカメラ操作部１６により撮影終了を指示するまで間、ステップＳ１３～ステップＳ２１を繰り返す。ステップＳ１３～ステップＳ２１の処理を繰り返すための判定はステップＳ１２とステップＳ２２で行われる。In FIG. 2, the user instructs thecamera operation unit 16 to start the imaging units 10-1 and 10-2 (step S10). In response to this user instruction, thecontrol unit 17 outputs an instruction to activate the imaging units 10-1 and 10-2 (step S11). After outputting the activation instruction, steps S13 to S21 are repeated until the user instructs thecamera operation unit 16 to end photographing. The determination for repeating the processes in steps S13 to S21 is performed in steps S12 and S22.

　ユーザが撮影終了を指示しない間、まずカメラ信号処理部１８－１，１８－２が撮像部１０－１，１０－２で撮像された撮像画像を表示部３２のサイズに合わせてリサイズする（ステップＳ１３）。次いで、画角補正部１９が、画角情報保持部２０に保持されている画角補正情報を読み出し、撮像部１０－１で撮像された第１の撮像画像をトリミングする（ステップＳ１４）。While the user does not instruct the end of shooting, first, the camera signal processing units 18-1 and 18-2 resize the captured images captured by the imaging units 10-1 and 10-2 in accordance with the size of the display unit 32 (step). S13). Next, the viewangle correction unit 19 reads the view angle correction information held in the view angleinformation holding unit 20, and trims the first captured image captured by the imaging unit 10-1 (step S14).

　次いで、位置補正部２１が、位置補正情報保持部２２に保持されている位置補正情報を読み出し、その位置補正情報に基づき撮像部１０－１で撮像された第１の撮像画像に対して、上下ずれ、水平ずれ、回転ずれ、大きさずれの中の少なくとも１つを補正する（ステップＳ１５）。次いで、色補正部２３が、左右画像即ち撮像部１０－１で撮像された第１の撮像画像と撮像部１０－２で撮像された第２の撮像画像の色の違いを補正する（ステップＳ１６）。次いで、画像リサイズ部２４が、表示部３２のサイズに合わせて、左右画像即ち撮像部１０－１で撮像された第１の撮像画像と撮像部１０－２で撮像された第２の撮像画像をリサイズし、さらに水平方向に１／２に圧縮する（ステップＳ１７）。次いで、フォーマット変換部３０が、表示部３２のステレオ画像（３Ｄ）表示フォーマットに合わせてフォーマット変換を行う（ステップＳ１８）。次いで、表示制御部３１が、表示部３２のデータ受信タイミングに合わせて表示データを転送し、表示部３２にプレビュー画像をステレオ表示する（ステップＳ１９）。Next, theposition correction unit 21 reads out the position correction information held in the position correctioninformation holding unit 22, and the first correction image captured by the imaging unit 10-1 based on the position correction information is At least one of the shift, the horizontal shift, the rotation shift, and the size shift is corrected (step S15). Next, thecolor correction unit 23 corrects the difference in color between the left and right images, that is, the first captured image captured by the imaging unit 10-1 and the second captured image captured by the imaging unit 10-2 (step S16). ). Next, theimage resizing unit 24 adjusts the right and left images, that is, the first captured image captured by the imaging unit 10-1 and the second captured image captured by the imaging unit 10-2 in accordance with the size of thedisplay unit 32. The image is resized and further compressed in half in the horizontal direction (step S17). Next, theformat conversion unit 30 performs format conversion in accordance with the stereo image (3D) display format of the display unit 32 (step S18). Next, thedisplay control unit 31 transfers the display data in accordance with the data reception timing of thedisplay unit 32, and displays the preview image in stereo on the display unit 32 (step S19).

　次いで、制御部１７が、ユーザがカメラ操作部１６により撮影を指示したかどうか判定し（ステップＳ２０）、撮影を指示した場合（即ち、ステップＳ２０の判定が「Ｙｅｓ」の場合）、ステップＳ２１で撮影処理を行う。この撮影処理の詳細については後述する。これに対して撮影を指示していない場合（即ち、ステップＳ２０の判定が「Ｎｏ」の場合）、撮影処理を行わない。以上の処理を、ユーザがカメラ操作部１６により、撮影終了を指示するまで繰り返し行う。そして、ユーザが撮影終了を指示すると、制御部１７が、撮像部１０－１、１０－２のそれぞれの動作を停止させ（ステップＳ２３）、その後、本処理を終了する。Next, thecontrol unit 17 determines whether or not the user has instructed photographing using the camera operation unit 16 (step S20), and when the photographing is instructed (that is, when the determination in step S20 is “Yes”), in step S21. Perform shooting processing. Details of this photographing process will be described later. On the other hand, when the photographing is not instructed (that is, when the determination in step S20 is “No”), the photographing process is not performed. The above processing is repeated until the user instructs thecamera operation unit 16 to end photographing. When the user instructs the end of shooting, thecontrol unit 17 stops the operation of each of the imaging units 10-1 and 10-2 (step S23), and then ends this process.

　図３は、撮像部１０－１，１０－２と表示部３２の仕様を以下のように決定したときのステップＳ１３～ステップＳ１５及びステップＳ１７～ステップＳ１８の各ステップにおける処理結果を示す図である。
　撮像部１０－１：１３メガピクセルカメラ、焦点距離 ２７ｍｍ相当（３５ｍｍフィルム換算
　撮像部１０－２：３メガピクセルカメラ、焦点距離 ３５ｍｍ相当（３５ｍｍフィルム換算
　表示部３２：ＶＧＡ（Video Graphics Array）サイズ（Ｗ６４０×Ｈ４８０ピクセル）FIG. 3 is a diagram showing processing results in steps S13 to S15 and steps S17 to S18 when the specifications of the imaging units 10-1 and 10-2 and thedisplay unit 32 are determined as follows. .
Imaging unit 10-1: 13 megapixel camera, focal length equivalent to 27 mm (35 mm film equivalent) Imaging unit 10-2: 3 megapixel camera, focal length equivalent to 35 mm (35 mm film equivalent display unit 32: VGA (Video Graphics Array) size ( (W640 x H480 pixels)

　ステップＳ１３では、第１の撮像画像は、約Ｈ（（４８０×１．３）＋β）ピクセル、約Ｗ（（６４０×１．３）＋α）ピクセルとなる。第２の撮像画像は、Ｈ４８０ピクセル、Ｗ６４０ピクセルとなる。ここで、焦点距離３５ｍｍ、２７ｍｍの画角の差により、２７ｍｍのカメラで撮影したほうが、縦横それぞれ約１．３倍広角に撮影できる。そのため、２７ｍｍｍのカメラ画像をトリミングした後に、３５ｍｍと同じ画角になるように、２７ｍｍのカメラはＶＧＡサイズより１．３倍程度大きい画像を出力するように、カメラ信号処理部１８－１に設定する。さらに、上下／左右／大きさ／回転の補正により、画像サイズが小さくなる分も見込んで、２７ｍｍのカメラはＨ（（４８０×１．３）＋β）ピクセル、Ｗ（（６４０×１．３）＋α）の画像を撮像するようにする。ここでα、βの意味は、２つのカメラをステレオ画像生成装置に配置した時の光軸のずれ、およびそれぞれのカメラ自体の画角のずれ、光軸のずれを補正することにより、画像の有効画素が減少しないように、水平方向はαピクセル、垂直方向はβピクセル分、大きい画像サイズを出力するように、カメラ信号処理部に設定することを意味する。図６（ａ）～（ｇ）は、２つのカメラをステレオ画像生成装置に配置した時に発生する光軸のずれを示したものである。ここで、図６（ａ）～（ｇ）における２つのカメラは前述した２つの撮像部に相当するものである。In step S13, the first captured image is approximately H ((480 × 1.3) + β) pixels and approximately W ((640 × 1.3) + α) pixels. The second captured image is H480 pixels and W640 pixels. Here, due to the difference in angle of view between the focal lengths of 35 mm and 27 mm, shooting with a 27 mm camera enables shooting at a wide angle of about 1.3 times in the vertical and horizontal directions. Therefore, after trimming a 27 mm camera image, the 27 mm camera is set in the camera signal processing unit 18-1 so that it outputs an image about 1.3 times larger than the VGA size so that the angle of view is the same as 35 mm. To do. Furthermore, the 27 mm camera has H ((480 × 1.3) + β) pixels and W ((640 × 1.3), with the expectation that the image size will be reduced by correcting vertical / horizontal / size / rotation. + Α) is captured. Here, the meanings of α and β are obtained by correcting the shift of the optical axis when the two cameras are arranged in the stereo image generating device, the shift of the angle of view of each camera itself, and the shift of the optical axis. This means that the camera signal processing unit is set to output a large image size of α pixels in the horizontal direction and β pixels in the vertical direction so that the effective pixels are not reduced. FIGS. 6 (a) to 6 (g) show the deviation of the optical axis that occurs when two cameras are arranged in a stereo image generating apparatus. Here, the two cameras in FIGS. 6A to 6G correspond to the two imaging units described above.

　ステップＳ１４では、第１の撮像画像は、約Ｈ（４８０＋β）ピクセル、約Ｗ（６４０＋α）ピクセルとなる。第２の撮像画像は、Ｈ４８０ピクセル、Ｗ６４０ピクセルのままである。ステップＳ１５では、第１の撮像画像は、約Ｈ４８０ピクセル、約Ｗ６４０ピクセルとなる。第２の撮像画像は、Ｈ４８０ピクセル、Ｗ６４０ピクセルのままである。ステップＳ１７では、第１の撮像画像は、Ｈ４８０ピクセル、Ｗ３２０ピクセルとなる。第２の撮像画像は、Ｈ４８０ピクセル、Ｗ３２０ピクセルとなる。ステップＳ１８では、第１の撮像画像と第２の撮像画像とが交互となり、Ｈ４８０ピクセル、Ｗ６４０ピクセルとなる。In step S14, the first captured image is about H (480 + β) pixels and about W (640 + α) pixels. The second captured image remains H480 pixels and W640 pixels. In step S15, the first captured image is about H480 pixels and about W640 pixels. The second captured image remains H480 pixels and W640 pixels. In step S17, the first captured image is H480 pixels and W320 pixels. The second captured image is H480 pixels and W320 pixels. In step S18, the first captured image and the second captured image are alternated to become H480 pixels and W640 pixels.

　（撮影処理）
　次に、上記ステップＳ２１の撮影処理について説明する。
　図４は、図２における撮影処理を説明するためのフローチャートである。ここで、撮影処理とは、プレビュー処理において、表示部３２に表示される画像を確認して、撮影したい構図を決定し、ユーザがカメラ操作部１６に対して撮影指示を行った以降の処理のことを指しており、画像リサイズから画像保存部２９にステレオ画像を保存するまでの処理である。図４において、カメラ信号処理部１８－１が、撮像部１０－１が撮像した第１の撮像画像をユーザ設定の画像サイズに合わせてリサイズする一方、カメラ信号処理部１８－２が、撮像部１０－２が撮像した第２の撮像画像をユーザ設定の画像サイズに合わせてリサイズする（ステップＳ３０）。(Shooting process)
Next, the photographing process in step S21 will be described.
FIG. 4 is a flowchart for explaining the photographing process in FIG. Here, the shooting process is a process in the preview process after the image displayed on thedisplay unit 32 is confirmed, the composition to be shot is determined, and the user gives a shooting instruction to thecamera operation unit 16. This is processing from image resizing to storing a stereo image in theimage storage unit 29. In FIG. 4, the camera signal processing unit 18-1 resizes the first captured image captured by the imaging unit 10-1 in accordance with the user-set image size, while the camera signal processing unit 18-2 The second captured image captured by 10-2 is resized according to the image size set by the user (step S30).

　次いで、画角補正部１９が、画角情報保持部２０より画角補正情報を読み出し、撮像部１０－１が撮像した第１の撮像画像をトリミングする（ステップＳ３１）。次いで、位置補正部２１が、位置補正情報保持部２２より位置補正情報を読み出し、撮像部１０－１が撮像した第１の撮像画像に対して、“上下ずれ”、“水平ずれ”、“回転ずれ”、又は“大きさずれ”の中で少なくとも１つを補正する（ステップＳ３２）。Next, the angle-of-view correction unit 19 reads the angle-of-view correction information from the angle-of-viewinformation holding unit 20, and trims the first captured image captured by the imaging unit 10-1 (step S31). Next, theposition correction unit 21 reads the position correction information from the position correctioninformation holding unit 22, and “up / down shift”, “horizontal shift”, “rotation” with respect to the first captured image captured by the image capturing unit 10-1. At least one of “deviation” or “size deviation” is corrected (step S32).

　次いで、色補正部２３が、左右画像の色の違いを補正する（ステップＳ３３）。即ち、撮像部１０－２で撮像された第２の撮像画像と位置補正後の撮像部１０－１で撮像された第１の撮像画像との間の色の違いを補正する。次いで、画像リサイズ部２４が、画角補正後の第１の撮像画像のサイズに合わせて、撮像部１０－２で撮像された第２の撮像画像を拡大する（ステップＳ３４）。次いで、画像エンコード部２７が、左右の画像をエンコードする（例えば、ＪＰＥＧ形式に圧縮する）。即ち、撮像部１０－２で撮像された第２の撮像画像と位置補正後の撮像部１０－１で撮像された第１の撮像画像をエンコードする（ステップＳ３５）。次いで、ステレオ画像フォーマット変換部２８において、画像エンコード部２７でエンコードされた左右の画像即ち第１の撮像画像と第２の撮像画像をステレオ画像フォーマットに変換する（ステップＳ３６）。左右の画像をステレオ画像フォーマットに変換すると本処理を終える。Next, thecolor correction unit 23 corrects the color difference between the left and right images (step S33). That is, the color difference between the second captured image captured by the image capturing unit 10-2 and the first captured image captured by the image capturing unit 10-1 after position correction is corrected. Next, theimage resizing unit 24 enlarges the second captured image captured by the imaging unit 10-2 in accordance with the size of the first captured image after the angle of view correction (step S34). Next, theimage encoding unit 27 encodes the left and right images (for example, compresses them in the JPEG format). That is, the second captured image captured by the image capturing unit 10-2 and the first captured image captured by the image capturing unit 10-1 after position correction are encoded (step S35). Next, the stereo imageformat conversion unit 28 converts the left and right images encoded by theimage encoding unit 27, that is, the first captured image and the second captured image, into a stereo image format (step S36). When the left and right images are converted into a stereo image format, this process is finished.

　図５は、撮像部１０－１，１０－２の仕様を以下のように決定したときのステップＳ３０～ステップＳ３２及びステップＳ３４の各ステップにおける処理結果を示す図である。
　撮像部１０－１：１３メガピクセルカメラ、焦点距離 ２７ｍｍ相当（３５ｍｍフィルム換算
　撮像部１０－２：３メガピクセルカメラ、焦点距離 ３５ｍｍ相当（３５ｍｍフィルム換算FIG. 5 is a diagram showing processing results in steps S30 to S32 and step S34 when the specifications of the imaging units 10-1 and 10-2 are determined as follows.
Imaging unit 10-1: 13 megapixel camera, focal length equivalent to 27 mm (35 mm film equivalent) Imaging unit 10-2: 3 megapixel camera, focal length equivalent to 35 mm (35 mm film equivalent)

　ステップＳ３０では、第１の撮像画像は、Ｈ３１２０ピクセル、Ｗ４１６０ピクセルとなる。第２の撮像画像は、Ｈ１５３６ピクセル、Ｗ２０４８ピクセルとなる。ステップＳ３１では、第１の撮像画像は、約Ｈ２４００ピクセル、約Ｗ３２００ピクセルとなる。ここで、焦点距離３５ｍｍ、２７ｍｍの画角の差により、２７ｍｍのカメラで撮影したほうが、縦横それぞれ約１．３倍広角に撮影できる。そのため、２７ｍｍｍのカメラ画像を画角補正部１９によりトリミングすると、１／１．３倍程度の画素数になる。但し、同じ画素数のカメラでも、画角のばらつきがあるため、トリミング後の画像サイズはばらつく。本実施の形態では、第１の撮像画像をトリミングして、第２の撮像画像の画角とあわせているが、撮像部１０-１に光学ズーム機能が備わっており、撮像部１０－２には光学ズーム機能は備わっておらず、電子ズーム機能のみ備わっている構成において、撮影時に撮像部１０－１側を光学ズームすることで、撮像部１０－１の画角が撮像部１０－２の画角に比べて狭くなった時は、撮像部１０－２で撮像された第２の撮像画像をトリミングする。In step S30, the first captured image is H3120 pixels and W4160 pixels. The second captured image is H1536 pixels and W2048 pixels. In step S31, the first captured image is about H2400 pixels and about W3200 pixels. Here, due to the difference in angle of view between the focal lengths of 35 mm and 27 mm, shooting with a 27 mm camera enables shooting at a wide angle of about 1.3 times in the vertical and horizontal directions. Therefore, when a 27-mm camera image is trimmed by the angle-of-view correction unit 19, the number of pixels is about 1 / 1.3 times. However, even with cameras having the same number of pixels, since the angle of view varies, the image size after trimming varies. In the present embodiment, the first captured image is trimmed to match the angle of view of the second captured image, but the imaging unit 10-1 has an optical zoom function, and the imaging unit 10-2 includes In the configuration having only the electronic zoom function without the optical zoom function, the angle of view of the image pickup unit 10-1 is set to the image pickup unit 10-2 by optically zooming the image pickup unit 10-1 side during shooting. When it becomes narrower than the angle of view, the second captured image captured by the imaging unit 10-2 is trimmed.

　第２の撮像画像は、Ｈ１５３６ピクセル、Ｗ２０４８ピクセルのままである。ステップＳ３２では、第１の撮像画像は、Ｈ（２４００－β）ピクセル、Ｗ（３２００－α）ピクセルとなる。第２の撮像画像は、Ｈ１５３６ピクセル、Ｗ２０４８ピクセルのままである。ステップＳ３４では、第１の撮像画像は、Ｈ（２４００－β）ピクセル、Ｗ（３２００－α）ピクセルとなる。第２の撮像画像は、Ｈ（２４００－β）ピクセル、Ｗ（３２００－α）ピクセルとなり、第１の撮像画像と同じ画素数になる。ここでα、βの意味は、２つのカメラ（撮像部）をステレオ画像生成装置に配置した時の光軸のずれ、およびそれぞれのカメラ自体の画角のずれ、光軸のずれを補正することにより、減少する画素数を示している。The second captured image remains H1536 pixels and W2048 pixels. In step S32, the first captured image is H (2400-β) pixels and W (3200-α) pixels. The second captured image remains H1536 pixels and W2048 pixels. In step S34, the first captured image is H (2400-β) pixels and W (3200-α) pixels. The second captured image has H (2400-β) pixels and W (3200-α) pixels, and has the same number of pixels as the first captured image. Here, the meanings of α and β are to correct the deviation of the optical axis when the two cameras (imaging units) are arranged in the stereo image generation device, the deviation of the angle of view of each camera itself, and the deviation of the optical axis. Indicates the number of pixels to be reduced.

　このように本実施の形態に係るステレオ画像生成装置１によれば、高解像度の第１の撮像部１０－１と、この第１の撮像部１０－１よりも低解像度の第２の撮像部１０－２と、第１の撮像画像を変換し、所定の画素数にするとともに、第２の撮像画像を変換し、所定の画素数にする画像リサイズ部２４と、画像リサイズ部２４で変換された第１の撮像画像及び第２の撮像画像とをエンコードする画像エンコード部２７と、画像エンコード部２７でエンコードされた第１の撮像画像及び第２の撮像画像をステレオ画像フォーマットに変換してステレオ画像を生成するステレオ画像フォーマット変換部２８と、を備えたので、高解像度の撮像手段を２つ使用することなく、高解像度のステレオ画像を撮像することができる。また、高解像度の撮像手段を２つ使用しないことから、コストを安くでき、また実装面積も小さくできる。Thus, according to the stereoimage generating apparatus 1 according to the present embodiment, the first imaging unit 10-1 having a high resolution and the second imaging unit having a lower resolution than the first imaging unit 10-1. 10-2, the first captured image is converted to a predetermined number of pixels, and the second captured image is converted to a predetermined number of pixels. Theimage resizing unit 24 and theimage resizing unit 24 convert the second captured image. Animage encoding unit 27 that encodes the first captured image and the second captured image, and the first captured image and the second captured image encoded by theimage encoding unit 27 are converted into a stereo image format and stereo. Since a stereo imageformat conversion unit 28 that generates an image is provided, a high-resolution stereo image can be captured without using two high-resolution imaging means. Further, since two high-resolution imaging means are not used, the cost can be reduced and the mounting area can be reduced.

　本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。Although the present invention has been described in detail and with reference to specific embodiments, it will be apparent to those skilled in the art that various changes and modifications can be made without departing from the spirit and scope of the invention.

　本出願は、２０１０年１１月１９日出願の日本特許出願（特願２０１０－２５９１５８）に基づくものであり、その内容はここに参照として取り込まれる。This application is based on a Japanese patent application (Japanese Patent Application No. 2010-259158) filed on November 19, 2010, the contents of which are incorporated herein by reference.

　本発明は、高解像度の撮像手段を２つ使用することなく、高解像度のステレオ画像を撮像することができるといった効果を有し、ステレオ画像を撮像するステレオ画像撮像用の複眼カメラなどへの適用が可能である。INDUSTRIAL APPLICABILITY The present invention has an effect that a high-resolution stereo image can be captured without using two high-resolution imaging means, and is applied to a compound-eye camera for capturing a stereo image and the like. Is possible.

　１　ステレオ画像生成装置
　１０－１，１０－２　撮像部
　１１　ズーム制御部
　１２　オートフォーカス制御部
　１３　シャッター制御部
　１４　露出制御部
　１５　ホワイトバランス制御部
　１６　カメラ操作部
　１７　制御部
　１８－１，１８－２　カメラ信号処理部
　１９　画角補正部
　２０　画角情報保持部
　２１　位置補正部
　２２　位置補正情報保持部
　２３　色補正部
　２４　画像リサイズ部
　２５　超解像処理部
　２６　画像フィルタ部
　２７　画像エンコード部
　２８　ステレオ画像フォーマット変換部
　２９　画像保存部
　３０　フォーマット変換部
　３１　表示制御部
　３２　表示部DESCRIPTION OFSYMBOLS 1 Stereo image production | generation apparatus 10-1, 10-2 Image pick-up part 11 Zoom control part 12 Autofocus control part 13Shutter control part 14Exposure control part 15 Whitebalance control part 16Camera operation part 17 Control part 18-1, 18-2 Camerasignal processing unit 19 Viewangle correction unit 20 View angleinformation holding unit 21Position correction unit 22 Position correctioninformation holding unit 23Color correction unit 24Image resizing unit 25Super-resolution processing unit 26Image filter unit 27Image encoding unit 28 Stereo imageFormat conversion unit 29Image storage unit 30Format conversion unit 31Display control unit 32 Display unit

Claims (11)

Translated fromJapanese

　第１の画素数を備え、第１の撮像画像を撮像する第１の撮像部と、
　前記第１の画素数よりも小さい第２の画素数を備え、第２の撮像画像を撮像する第２の撮像部と、
　前記第１の撮像画像を変換し、所定の画素数にするとともに、前記第２の撮像画像を変換し、前記所定の画素数にする画像リサイズ部と、
　前記画像リサイズ部で変換された前記第１の撮像画像及び前記第２の撮像画像をエンコードする画像エンコード部と、
　前記画像エンコード部でエンコードされた前記第１の撮像画像及び前記第２の撮像画像をステレオ画像フォーマットに変換してステレオ画像を生成するステレオ画像フォーマット変換部と、
　を備えたステレオ画像生成装置。A first imaging unit having a first number of pixels and capturing a first captured image;
A second imaging unit having a second pixel number smaller than the first pixel number and imaging a second captured image;
An image resizing unit that converts the first captured image into a predetermined number of pixels and converts the second captured image into the predetermined number of pixels;
An image encoding unit for encoding the first captured image and the second captured image converted by the image resizing unit;
A stereo image format conversion unit that converts the first captured image and the second captured image encoded by the image encoding unit into a stereo image format to generate a stereo image;
Stereo image generating apparatus comprising:　請求項１に記載のステレオ画像生成装置であって、
　前記画像リサイズ部が行う、前記第１の撮像画像の変換、及び前記第２の撮像画像の変換は、拡大、縮小、又は等倍の変換であるステレオ画像生成装置。The stereo image generating device according to claim 1,
The stereo image generation apparatus in which the conversion of the first captured image and the conversion of the second captured image performed by the image resizing unit are conversion of enlargement, reduction, or equal magnification.　請求項１又は請求項２に記載のステレオ画像生成装置であって、
　前記所定の画素数は、前記第１の画素数であるステレオ画像生成装置。The stereo image generating apparatus according to claim 1 or 2,
The stereo image generating device, wherein the predetermined number of pixels is the first number of pixels.　請求項１から請求項３のいずれか１項に記載のステレオ画像生成装置であって、
　前記第１の撮像部は、第１の画角を備え、
　前記第２の撮像部は、前記第１の画角よりも狭い第２の画角を備え、
　前記第１の撮像画像をトリミングする画角補正部を備え、
　前記画像エンコード部は、前記画角補正部でトリミングされ、前記画像リサイズ部で画素数が変換された前記第１の撮像画像と、前記画像リサイズ部で画素数が変換された前記第２の撮像画像と、をエンコードするステレオ画像生成装置。The stereo image generation device according to any one of claims 1 to 3,
The first imaging unit includes a first angle of view;
The second imaging unit includes a second field angle narrower than the first field angle,
An angle-of-view correction unit that trims the first captured image;
The image encoding unit includes the first captured image trimmed by the angle of view correction unit and the number of pixels converted by the image resizing unit, and the second imaging of which the number of pixels is converted by the image resizing unit. Stereo image generation device for encoding images.　請求項４に記載のステレオ画像生成装置であって、
　画角補正情報を保持する画角情報保持部を備え、
　前記画角補正部は、前記画角補正情報に基づきトリミングするステレオ画像生成装置。The stereo image generating device according to claim 4,
An angle-of-view information holding unit for holding angle-of-view correction information;
The field angle correction unit is a stereo image generation device that performs trimming based on the field angle correction information.　請求項１に記載のステレオ画像生成装置であって、
　前記第１の撮像画像、もしくは前記第２の撮像画像のいずれかに対して、上下ずれ、水平ずれ、回転ずれ、又は大きさずれの中で少なくとも１つを補正する位置補正部を備え、
　前記画像エンコード部は、前記位置補正部で補正され、前記画像リサイズ部で所定の画素数に変換された前記第１の撮像画像と、前記位置補正部で補正され、前記画像リサイズ部で前記所定の画素数に変換された前記第２の撮像画像と、をエンコードするステレオ画像生成装置。The stereo image generating device according to claim 1,
A position correction unit that corrects at least one of vertical shift, horizontal shift, rotational shift, or size shift with respect to either the first captured image or the second captured image,
The image encoding unit is corrected by the position correcting unit, converted to a predetermined number of pixels by the image resizing unit, corrected by the position correcting unit, and corrected by the image resizing unit. A stereo image generation device that encodes the second captured image converted into the number of pixels.　請求項６に記載のステレオ画像生成装置であって、
　位置補正情報を保持する位置補正情報保持部を備え、
　前記位置補正部は、前記位置補正情報に基づき上下ずれ、水平ずれ、回転ずれ、又は大きさずれの中で少なくとも１つを補正するステレオ画像生成装置。The stereo image generating device according to claim 6,
A position correction information holding unit for holding position correction information;
The position correction unit is a stereo image generation device that corrects at least one of vertical shift, horizontal shift, rotation shift, and size shift based on the position correction information.　請求項１に記載のステレオ画像生成装置であって、
　前記第１の撮像画像と前記第２の撮像画像との間の色の違いについて、前記第１の撮像画像及び／又は前記第２の撮像画像に対して色の補正する色補正部を備え、
　前記画像エンコード部は、前記色補正部で色の補正がなされた前記第１の撮像画像と、前記第２の撮像画像と、をエンコードするステレオ画像生成装置。The stereo image generating device according to claim 1,
A color correction unit that corrects the color of the first captured image and / or the second captured image with respect to the color difference between the first captured image and the second captured image;
The image encoding unit is a stereo image generation device that encodes the first captured image and the second captured image that have been subjected to color correction by the color correction unit.　請求項２に記載のステレオ画像生成装置であって、
　前記画像リサイズ部が行う、前記第１の撮像画像の変換、及び前記第２の撮像画像の変換が拡大の変換である場合、超解像処理を用いるステレオ画像生成装置。The stereo image generating device according to claim 2,
A stereo image generation apparatus that uses super-resolution processing when the conversion of the first captured image and the conversion of the second captured image performed by the image resizing unit are enlargement conversions.　請求項１に記載のステレオ画像生成装置であって、
　前記第１の撮像画像及び前記第２の撮像画像のそれぞれの画像の周辺部に対して平均化処理を行う画像フィルタ部を備え、
　前記画像エンコード部は、前記画像リサイズ部で画素数の変換した後、前記画像フィルタ部により平均化処理を行った前記第１の撮像画像と、前記画像リサイズ部で画素数の変換した後、前記画像フィルタ部により平均化処理を行った前記第２の撮像画像と、をエンコードするステレオ画像生成装置。The stereo image generating device according to claim 1,
An image filter unit that performs an averaging process on the periphery of each of the first captured image and the second captured image;
The image encoding unit converts the number of pixels by the image resizing unit, and then performs the averaging process by the image filter unit, and converts the number of pixels by the image resizing unit, A stereo image generation apparatus that encodes the second captured image subjected to the averaging process by the image filter unit.　第１の撮像部において第１の画素数で、第１の撮像画像を撮像する第１撮像ステップと、
　第２の撮像部において前記第１の画素数よりも小さい第２の画素数で、第２の撮像画像を撮像する第２撮像ステップと、
　前記第１の撮像画像を変換し、所定の画素数にするとともに、前記第２の撮像画像を変換し、前記所定の画素数にする画像リサイズステップと、
　前記画像リサイズステップで変換された前記第１の撮像画像及び前記第２の撮像画像をエンコードする画像エンコードステップと、
　前記画像エンコードステップでエンコードされた前記第１の撮像画像及び前記第２の撮像画像をステレオ画像フォーマットに変換してステレオ画像を生成するステレオ画像フォーマット変換ステップと、
　を備えたステレオ画像生成方法。A first imaging step of capturing a first captured image with a first number of pixels in the first imaging unit;
A second imaging step of imaging a second captured image with a second number of pixels smaller than the first number of pixels in a second imaging unit;
An image resizing step that converts the first captured image to a predetermined number of pixels and converts the second captured image to the predetermined number of pixels;
An image encoding step for encoding the first captured image and the second captured image converted in the image resizing step;
A stereo image format conversion step of converting the first captured image and the second captured image encoded in the image encoding step into a stereo image format to generate a stereo image;
Stereo image generation method comprising:

Images