【０００１】[0001]
【産業上の利用分野】本発明は３次元（３Ｄ）画像の形
成方法に関し、特に、多眼カメラ画像（multiple camer
a images) についてカラー・ブロック・マッチングによ
る対応性を検出し、これに基づき画像の補間を行う３次
元画像の形成方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method for forming a three-dimensional (3D) image, and more particularly to a multiple camera image.
(a images), the correspondence is detected by color block matching, and an image is interpolated based on the detected correspondence.
【０００２】[0002]
【従来の技術及びその課題】３次元画像は、リモートセ
ンシング、ロボット工学及びＣＡＤのような分野におい
て、重要度を増している。また、コンスーマ・エレクト
ロニクス分野においても、３次元ＴＶの潜在的な需要
は、ＨＤＴＶよりも高いものと期待されている。これ
は、３次元ＴＶが、２次元ＴＶでは行えない、視差をも
った自然画像を観察者に提供することができるという利
点を持つためである。BACKGROUND OF THE INVENTION Three-dimensional images are becoming increasingly important in fields such as remote sensing, robotics and CAD. Also in the consumer electronics field, the potential demand for 3D TV is expected to be higher than that for HDTV. This is because the 3D TV has an advantage that it can provide the observer with a natural image having parallax, which cannot be performed by the 2D TV.
【０００３】今日利用されている３次元表示装置は、ス
テレオ技術に基づくものであり、これは、視差をもった
若干異なる２つの画像を観察者に提供するものである。
このような２つの画像（ステレオ画像）は交互にスクリ
ーンに表示され、つまり、観測者が、右または左の画像
を、それぞれ対応する目で観測することができるよう
に、液晶シャッタと同期して表示される。あるいは、左
右の画像を異なる偏向を有する光で表示し、偏向メガネ
を利用して左右の目にそれぞれ呈示するようにする。The three-dimensional display devices used today are based on stereo technology, which provides the observer with two slightly different images with parallax.
Such two images (stereo images) are alternately displayed on the screen, that is, in synchronism with the liquid crystal shutter so that the observer can observe the right or left image with the corresponding eyes. Is displayed. Alternatively, the left and right images are displayed with lights having different deflections, and the left and right eyes are presented by using deflection glasses.
【０００４】ステレオ画像は、通常、コンピュータグラ
フィックス（ＣＧ）か、または互いに平行に配置された
２つのＴＶカメラによって生成される。ＣＧを用いた場
合、視点または観察角度を観察者の要求によって容易に
変えることができる。しかし、自然画像の場合、カメラ
の位置はほとんど固定されているため、観測者の要求に
応じてこれらのパラメータを変えることは困難である。Stereoscopic images are usually produced by computer graphics (CG) or by two TV cameras arranged parallel to each other. When CG is used, the viewpoint or the observation angle can be easily changed according to the observer's request. However, in the case of a natural image, since the position of the camera is almost fixed, it is difficult to change these parameters according to the observer's request.
【０００５】極く自然の３次元的な知覚を得るために
は、多くの画像が必要である。テレビ番組のような動画
への用途を考えた場合、このデータ量は現実的ではな
い。３次元ＴＶへの用途において、多眼カメラ画像が受
け入れられるようにする為には、画像の数を減らすこと
が鍵である。Many images are required to obtain a very natural three-dimensional perception. This data amount is not realistic when considering the use for moving images such as television programs. Reducing the number of images is key to the acceptance of multi-view camera images in 3D TV applications.
【０００６】[0006]
【従来技術の課題】これまでに比較的少数の視差画像か
ら任意の角度の画像を生成する補間方式が提案されてい
る。しかしながら、これらの従来技術は、画像間の対応
点の検出に、１次元すなわち水平線上のエッジ位置や画
素値等の情報しか利用しておらず、このため、視差が大
きくなると、垂直方向のエッジの対応づけが滑らかに行
われないという課題があった。2. Description of the Related Art Up to now, an interpolation method for generating an image at an arbitrary angle from a relatively small number of parallax images has been proposed. However, these conventional techniques use only one-dimensional information, that is, the edge position on the horizontal line, the pixel value, and the like to detect corresponding points between images. Therefore, when the parallax becomes large, the edge in the vertical direction is detected. There was a problem that the correspondence of was not performed smoothly.
【０００７】本発明の目的は、上記従来技術の課題を解
決し、画像データを削減しつつも、画像品質の優れた３
次元画像を形成可能な３次元画像形成方法を提供する。
本発明の他の目的は、多眼カメラ画像に対するカラー・
ブロック・マッチングに基く対応性検出方式を用いた３
次元画像形成方法を提供する。本発明の他の目的は、階
層サーチにより画素毎の対応性を検出し、これによって
画素を補間生成する３次元画像形成方法を提供する。本
発明の他の目的は、画像データを削減し、画像形成に要
する処理時間を短縮可能な３次元画像形成方法を提供す
る。本発明の他の目的は、既存のＴＶ動画に適用可能な
３次元画像形成方法を提供する。An object of the present invention is to solve the above-mentioned problems of the prior art and to reduce the image data, and to achieve the excellent image quality.
A three-dimensional image forming method capable of forming a three-dimensional image.
Another object of the invention is to
3 using correspondence detection method based on block matching
A three-dimensional image forming method is provided. Another object of the present invention is to provide a three-dimensional image forming method for detecting the correspondence for each pixel by hierarchical search and interpolating and generating the pixel by this. Another object of the present invention is to provide a three-dimensional image forming method capable of reducing image data and shortening processing time required for image formation. Another object of the present invention is to provide a three-dimensional image forming method applicable to an existing TV moving image.
【０００８】[0008]
【課題を解決するための手段】上記目的を達成するた
め、本発明に係る３次元画像形成方法は、以下の手段を
採用する。３次元画像形成方法は、少なくとも一対の視
差画像を生成するステップと、上記一対の視差画像相互
間において、各画素間の対応性を検出するステップと、
相互に対応性がある画素を参照して、上記一対の視差画
像間に補間される画像の画素を生成するステップと、上
記一対の視差画像及び補間された画像を用いて３次元画
像形成を行うステップとを有する。In order to achieve the above object, the three-dimensional image forming method according to the present invention employs the following means. The three-dimensional image forming method includes a step of generating at least a pair of parallax images, and a step of detecting correspondence between pixels in the pair of parallax images.
A step of generating pixels of an image to be interpolated between the pair of parallax images with reference to mutually corresponding pixels, and a three-dimensional image formation using the pair of parallax images and the interpolated image And steps.
【０００９】また、他の手段として、本発明の３次元画
像形成装置は、複数の視差画像を生成するステップと、
各々隣接する視差画像を対として、各対の視差画像相互
間において、各画素間の対応性を示す視差ベクトルを検
出するステップと、上記視差ベクトルの連続性から視差
画像内のオクルージョン領域を識別するステップと、オ
クルージョン領域を含む視差画像に隣接する視差画像に
ついて得られた視差ベクトルを参照して、オクルージョ
ン領域内の対応性を示すべき画素位置を表する第２の視
差ベクトルを算出するステップと、上記第２の視差ベク
トルによって特定された画素位置の画素を、隣接する視
差画像の対応する画素を補間することによって生成する
ステップと、上記視差ベクトル及び第２の視差ベクトル
によって特定された各画素を参照して、上記複数の視差
画像間に補間すべき画像を生成するステップと、上記複
数の視差画像及び補間された画像を用いて３次元画像形
成を行うステップとを有する。As another means, the three-dimensional image forming apparatus of the present invention comprises a step of generating a plurality of parallax images,
Each pair of adjacent parallax images, between each pair of parallax images, detecting a parallax vector indicating the correspondence between each pixel, and identifying the occlusion area in the parallax image from the continuity of the parallax vector A step of calculating a second parallax vector representing a pixel position that should indicate the correspondence in the occlusion area with reference to the parallax vector obtained for the parallax image adjacent to the parallax image including the occlusion area; A step of generating a pixel at a pixel position specified by the second parallax vector by interpolating a corresponding pixel of an adjacent parallax image; and each pixel specified by the parallax vector and the second parallax vector. With reference to the step of generating an image to be interpolated between the plurality of parallax images, the plurality of parallax images and And performing a 3-dimensional image formed by between images.
【００１０】本発明の好ましい態様では、多眼カメラ画
像についてカラー・ブロック・マッチングに基く対応性
検出を行い、３次元画像を形成する。即ち、隣接するカ
メラ画像における画素毎の対応性（a pixel-by-pixel c
orrespondence)を利用して、仮想カメラの位置における
画像を補間によって生成する。According to a preferred aspect of the present invention, correspondence detection based on color block matching is performed on a multi-view camera image to form a three-dimensional image. That is, the correspondence (a pixel-by-pixel c) for each pixel in the adjacent camera images.
orrespondence) is used to generate an image at the position of the virtual camera by interpolation.
【００１１】また、他の態様では、計算量を減少させる
ために、階層サーチ方法（hierachical search method)
を適用する。さらに、従来のテレビ装置との両立性を維
持するため、入力画像のフォーマットは４：２：２と仮
定する。補間には、カメラの距離に応じた重み付け平均
を用いる。物体の陰に隠れて見えないようなオクルージ
ョン領域（occluded area)に対する対応性も一連の多眼
カメラ画像における視差ベクトル（disparity vector)
の連続性を利用して処理する。In another aspect, in order to reduce the amount of calculation, a hierarchical search method is used.
Apply Further, in order to maintain compatibility with the conventional television apparatus, it is assumed that the input image format is 4: 2: 2. For the interpolation, a weighted average according to the distance of the camera is used. Correspondence to an occluded area that is hidden behind an object and cannot be seen is also a disparity vector in a series of multi-view camera images.
Process using the continuity of.
【００１２】[0012]
【作用】このように、本発明によれば、視差画像間の画
素毎の対応性を検出し、この検出結果に基づき視差画像
間に画像を補間するため、３次元画像を生成するに当た
って、従来のように膨大な画像データを必要とするもの
ではなく、しかも、適切な補間処理を行うことにより高
画質の画像を期待することができる。As described above, according to the present invention, the correspondence between the parallax images for each pixel is detected, and the images are interpolated between the parallax images based on the detection result. As described above, a large amount of image data is not required, and a high quality image can be expected by performing appropriate interpolation processing.
【００１３】[0013]
【実施例】本発明の一実施例を図面を参照して説明す
る。先ず、本発明の概念を図１及び２を参照して説明す
る。１組の視差画像は、図１に示すように、一直線ＡＢ
上に整列された複数の多眼カメラ１によって物体２を撮
像することにより得ることができる。カメラ間の距離が
観察者の眼球の距離に概ね等しく、そして、隣り合う一
対の画像、即ち、左右の画像が対応する目に呈示されれ
ば、これらの画像は、３次元的な感覚を提供することが
できる。なお、画像の中心に物体を保つ為に、カメラ１
は、各々の位置で回転できるようにしておかなければな
らない。このようなカメラの配置により、捉えられた画
像に歪みが生ずるが、これは前処理で補正される。前処
理の目的は、カメラの配列（図１の線ＡＢ）と平行な面
上に像を投影することにより、同じ水平線上にあるべき
各画像の画素を同じ水平線上に正しく配置し直し、歪を
取り除くことである。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of the present invention will be described with reference to the drawings. First, the concept of the present invention will be described with reference to FIGS. One set of parallax images is, as shown in FIG.
It can be obtained by imaging the object 2 with a plurality of multi-eye cameras 1 aligned above. If the distance between the cameras is approximately equal to the distance of the observer's eye, and if a pair of adjacent images, that is, the left and right images, are presented to the corresponding eyes, then these images provide a three-dimensional sensation. can do. In order to keep the object in the center of the image, the camera 1
Must be able to rotate in each position. Such a camera arrangement causes distortion in the captured image, which is corrected by preprocessing. The purpose of the pre-processing is to project the image on a plane parallel to the array of cameras (line AB in FIG. 1) so that the pixels of each image that should be on the same horizon are repositioned correctly on the same horizon and the Is to remove.
【００１４】極く自然の３次元的な感覚を得るために
は、約１００枚の画像が必要であると言われている。最
新の圧縮技術を用いても、現存の通信回線を通じて伝送
するには、このデータ量は現実的ではない。このため、
データ削減技術が必要である。３次元画像の質を劣化さ
せることなく、幾つかのカメラ位置における画像を省略
することができれば、データを削減することができる。It is said that about 100 images are required to obtain an extremely natural three-dimensional sensation. Even with the latest compression techniques, this amount of data is not practical for transmission over existing communication lines. For this reason,
Data reduction technology is needed. Data can be reduced if the images at some camera positions can be omitted without degrading the quality of the 3D image.
【００１５】本実施例は、物体２に対して一直線上に配
列されたカメラ１０ａ、１０ｂ，１０ｃにより視差画像
を生成し、隣接するカメラ１０ａと１０ｂからの一対の
視差画像から仮想カメラ１１における画像を補間により
生成し、同様に、隣接するカメラ１０ｂと１０ｃからの
一対の視差画像から仮想カメラ１２における画像を補間
により生成する。このように、図１に示すような中間に
位置するカメラを削除し、隣り合う一対のカメラから得
られた一対のステレオ画像を用いて、削除されたカメラ
位置１１、１２における画像を補間するものである。そ
して、この補間に必要な情報は、左右の視差画像間の画
素毎の対応性である。In the present embodiment, parallax images are generated by the cameras 10a, 10b and 10c arranged in a straight line with respect to the object 2, and the parallax images from the adjacent cameras 10a and 10b are used to generate an image in the virtual camera 11. Is generated by interpolation, and similarly, an image in the virtual camera 12 is generated by interpolation from a pair of parallax images from the adjacent cameras 10b and 10c. In this way, the camera located in the middle as shown in FIG. 1 is deleted, and the images at the deleted camera positions 11 and 12 are interpolated using a pair of stereo images obtained from a pair of adjacent cameras. Is. The information necessary for this interpolation is the correspondence between the left and right parallax images for each pixel.
【００１６】以下に、画素毎の対応性の検出、及び画像
の補間を行うためのアルゴリズムを説明する。図２に示
すように、１組の視差画像は一対のステレオ画像に相当
する。第１段階では、隣接する一対のステレオ画像の対
応性を検出し、第２段階では、オクルージョン（occlus
ion)領域の対応性を検出する。An algorithm for detecting correspondence between pixels and interpolating an image will be described below. As shown in FIG. 2, one set of parallax images corresponds to a pair of stereo images. The first step detects the correspondence between a pair of adjacent stereo images, and the second step detects occlusion (occlus).
ion) area correspondence is detected.
【００１７】図３は、本実施例に係る対応性検出方法を
示すブロック図である。先ず、第１ステップ１０１にお
いて、画像を２回サブサンプルすることにより、解像度
が１／１６及び１／４の層を生成する。ここで、既存の
ＴＶとの両立性を考慮して、画像フォーマットを４：
２：２とするため、Ｙ成分について水平方向及び垂直方
向の双方でサブサンプルし、１／４層を生成する。他
方、Ｃｂ及びＣｒ成分について垂直方向でだけサブサン
プルし、１／４層を生成する。次に、３つの成分（Ｙ，
Ｃｂ，Ｃｒ）について水平及び垂直の双方向で再びサブ
サンプルし、１／１６層を生成する。FIG. 3 is a block diagram showing a correspondence detection method according to this embodiment. First, in a first step 101, the image is subsampled twice to generate layers with resolutions of 1/16 and 1/4. Here, in consideration of compatibility with the existing TV, the image format is set to 4:
Since it is 2: 2, the Y component is subsampled in both the horizontal direction and the vertical direction to generate a ¼ layer. On the other hand, the Cb and Cr components are subsampled only in the vertical direction to generate a 1/4 layer. Next, the three components (Y,
Cb, Cr) are subsampled again in both horizontal and vertical directions to produce a 1/16 layer.
【００１８】第２ステップ１０２において、ソーベル・
オペレータ（Sobel operator) を用い、フルサイズのＹ
成分（７２０×４８０）についてのエッジ（edge) 画像
を検出する。なお、エッジとは、画像において、ルミナ
ンス（輝度）が急峻に変化する部分の意である。次に、
このフルサイズのエッジ画像を用い、夫々隣合う２×２
及び４×４画素の論理和を局所的に実施することによ
り、１／４層と１／１６層のエッジ画像を生成する。In the second step 102, the Sobel
Full size Y using the operator (Sobel operator)
An edge image for the component (720 × 480) is detected. The edge means a portion of the image where the luminance (luminance) changes abruptly. next,
Using this full-size edge image, 2 x 2 adjacent to each other
And 4 × 4 pixels are locally ORed to generate edge images of the ¼ layer and the 1/16 layer.
【００１９】第３ステップ１０３ないし第５ステップ１
０５は、階層サーチによるブロックマッチングの処理を
示すものである。本実施例において、ブロックのマッチ
ングは、計算を少なくし、かつ、平坦な領域（例えば、
壁などのようにエッジのない領域）で誤った対応性を摘
出するのを避けるために、エッジポイント（edge poin
t) だけを対象にする。これは３つの層全部に対して言
えることである。階層サーチ法は、より高い（またはよ
り小さいサイズの）層で検出された対応性を使って、よ
り低い（またはより大きいサイズの）層の対応性を検出
するものであり、こうして、対応した点の間の座標の差
から視差ベクトルが求められる。Third step 103 to fifth step 1
Reference numeral 05 denotes a block matching process by hierarchical search. In this embodiment, the block matching is computationally intensive and can be performed on flat regions (eg,
To avoid picking up false correspondences in areas without edges, such as walls, edge poin
t) only. This is true for all three layers. Hierarchical search methods use the correspondence found in higher (or smaller size) layers to find the correspondence in lower (or larger size) layers, and thus the corresponding points The parallax vector is obtained from the difference in coordinates between the two.
【００２０】このため、先ず、１／１６層のエッジ画像
において、エッジ回りのブロックのマッチングが行われ
る（ステップ１０３）。例えば、左側の画像のあるエッ
ジポイントについてのサーチを行う場合、当該エッジポ
イントを中心とするブロックを想定し、右側の１／１６
層のエッジ画像内の対応する位置に前記ブロックと同じ
高さで一定の幅をもったサーチ領域を画定し、該サーチ
領域内のブロックを１画像づつ左右に移動させることに
より領域内のブロックとのマッチングが行われ、マッチ
ング位置を示す視差ベクトルが求められる。ブロックの
大きさは、画像の詳細さに応じて、７×７から１１×１
１の範囲で選択する。こうして、各エッジポイントを含
むブロックについてのマッチングが行われ、視差ベクト
ルが算出される。Therefore, first, in the edge image of the 1/16 layer, matching of blocks around the edge is performed (step 103). For example, when performing a search for an edge point on the left image, a block centering on the edge point is assumed, and 1/16 on the right side is assumed.
A search area having the same height as the block and a constant width is defined at a corresponding position in the edge image of the layer, and the blocks in the search area are moved left and right one image at a time so as to be divided into blocks in the area. Is performed, and the parallax vector indicating the matching position is obtained. The block size varies from 7x7 to 11x1 depending on the detail of the image.
Select in the range of 1. In this way, matching is performed on the block including each edge point, and the parallax vector is calculated.
【００２１】次に、１／１６層で検出された視差ベクト
ルの周りで、１／４層についての更に細かいサーチが実
施される（ステップ１０４）。最後に、１／４層におい
て得られた視差ベクトルを参照し、フル解像度の層（fu
ll resolution layer)について、詳細なサーチが行われ
る。Next, a finer search is performed on the 1/4 layer around the parallax vector detected on the 1/16 layer (step 104). Finally, referring to the disparity vector obtained in the 1/4 layer, the full resolution layer (fu
ll resolution layer).
【００２２】また、ステレオ画像は、上述したように、
前処理によって各画像の水平線を予め調整しているた
め、水平の視差しか存在せず、従って、ブロックマッチ
ングにおけるサーチは、水平方向にのみ行えば良い。つ
まり、１つの画像から次の画像へのサーチが、１つの方
向、例えば左から右への順序に沿って行なわれる。式
（１）に、本実施例におけるサーチの判断基準を示す。
ここで、Ｗはブロックの矩形窓であり、その中心がエッ
ジ点である。添字Ｒ及びＬは、それぞれ右側及び左側の
画像の成分を表わす。この式では、クロミナンス（色）
情報（Chrominanceinformation)を活用している。つま
り、赤や灰色の色彩についての階調において、その差を
識別できない場合があるため、特に高い層にとってクロ
ミナンス情報は重要なものとなる。他方、式（１）にク
ロミナンス情報を用いる欠点は、誤差の評価の為に３倍
の計算を要することである。更に、水平方向のクロミナ
ンスのフル解像度がルミナンス（Ｙ）の解像度の半分で
あるため、フルサイズのクロミナンス情報を利用するこ
とができない。この為、式（１）の第２項及び第３項
は、１／１６層についてのみ評価する。また、ａの値は
１／１６層について０．５と設定する。フル解像度の層
と１／４層については、ａを０とし、Ｙ成分だけを用い
てマッチングを行う。The stereo image is, as described above,
Since the horizontal line of each image is adjusted in advance by the preprocessing, there is no horizontal gaze, and therefore the search in block matching may be performed only in the horizontal direction. That is, a search from one image to the next is performed in one direction, eg, left to right. Expression (1) shows the criteria for the search in this embodiment.
Here, W is a rectangular window of the block, and its center is the edge point. The subscripts R and L represent the components of the right and left images, respectively. In this formula, chrominance (color)
Utilizes information (Chrominance information). In other words, the chrominance information is important especially for high layers, because the difference may not be distinguishable in the gradations of red and gray colors. On the other hand, the drawback of using chrominance information in equation (1) is that it requires three times the calculation to evaluate the error. Furthermore, since the full resolution of the chrominance in the horizontal direction is half the resolution of the luminance (Y), the full-size chrominance information cannot be used. Therefore, the second and third terms of equation (1) are evaluated only for the 1/16 layer. The value of a is set to 0.5 for the 1/16 layer. For the full resolution layer and the 1/4 layer, a is set to 0 and matching is performed using only the Y component.
【００２３】適合するブロックが、最小の誤差値Ｅmin
（ｐmin）を与えるブロックとして検出される。The matching block has the smallest error value Emin.
Detected as the block giving (pmin ).
【数１】ここでｐminは視差ベクトルである。[Equation 1] Here, pmin is a disparity vector.
【００２４】次に、隣合う一対のステレオ画像から中間
の画像を補間する方法を説明する。図４において、左右
のカメラ２０ａ，２０ｂ間の距離がＬであるとし、これ
らの２つのカメラの間に仮想カメラ２１を配置したと仮
定する。左側及び右側のカメラから測った仮想カメラの
距離を、それぞれＤL及びＤRとする。対応性はエッジ
ポイントに対してだけ検出されるが、オクルージョンの
ために対応性をもたない幾つかのエッジポイントがあ
る。画素毎の対応性を求めるために、２つの対応した点
を結ぶ水平線分上にある点も対応性を持つものと仮定す
る（図５参照）。Next, a method of interpolating an intermediate image from a pair of adjacent stereo images will be described. In FIG. 4, it is assumed that the distance between the left and right cameras 20a and 20b is L and the virtual camera 21 is arranged between these two cameras.Let the virtual camera distances measured from the left and right cameras be DL and DR , respectively. Correspondence is only detected for edge points, but there are some edge points that have no correspondence due to occlusion. In order to obtain the correspondence for each pixel, it is assumed that points on a horizontal line segment connecting two corresponding points also have correspondence (see FIG. 5).
【００２５】図５は、ＰL1ＰL2とＰR1ＰR2の間の線の対
応性を用いてＰL及びＰRの間の点の対応性を求める方
法を説明する図である。求めるべきＰL及びＰRのｘ座
標は、短い方の線上の点を長い方の線上に線形写像する
ことによって決定される。点ＰL1,ＰL2,ＰR1,ＰR2,
ＰL及びＰRのｘ座標を、それぞれｘＰL1,ｘＰL2,ｘ
ＰR1,ｘＰR2,ｘＰL及びｘＰRとする。｜ｘＰL2−ｘ
ＰL1｜＜｜ｘＰR2−ｘＰR1｜と仮定すると、ｘＰL1は次
式に示すように、ｘＰRから導き出される。FIG. 5 is a diagram for explaining a method for obtaining the correspondence of points between PL and PR by using the correspondence of lines between PL1 PL2 and PR1 PR2 . The x-coordinates of PL and PR to be determined are determined by linearly mapping the points on the shorter line to the longer line. Points PL1, PL2, PR1, PR2,
Let the x-coordinates of PL and PR be xPL1, xPL2, x, respectively.
Let PR1, xPR2, xPL and xPR. ｜ xPL2 −x
Assuming PL1 | <| xPR2 −xPR1 |, xPL1 is derived from xPR as shown in the following equation.
【数２】[Equation 2]
【００２６】また、不等号が逆になれば、上の式で左側
及び右側の添字Ｌ及びＲを入れ替えなければならない。
このようにして検出された対応する点の左右の画像の各
画素値を、それぞれｐL及びｐRとすると、補間される
画素値ＰIは、次式で表わされる。If the inequality sign is reversed, the left side of the above equation
And the subscripts L and R on the right must be interchanged.
Each of the left and right images of the corresponding points detected in this way
Pixel value is pLAnd pRWill be interpolated
Pixel value PIIs expressed by the following equation.
【００２７】[0027]
【数３】但し(Equation 3) However
【数４】Ｌ＝ＤR＋ＤL (4) ここで、Ａは、０＜Ａ＜１を満足する定数である。## EQU4 ## L = DR + DL (4) Here, A is a constant that satisfies 0 <A <1.
【００２８】式（３）及び（４）に示されるように、２
つのカメラ間の任意の位置にある画像は、補間によって
生成可能であることが明らかであろう。また、対応性検
出過程で解決しなければならない問題は、オクルージョ
ンである。１つの物体に対する視線が特定の観察角度で
他の物体によって覆われる時、オクルージョンが生じ
る。一般に、オクルージョンとされた物体は、異なる観
察点から観測することができる。このことは、一連の画
像の視差ベクトル（disparity vector) の連続性を活用
することによって、オクルージョン領域についての対応
性を求めることができることを意味している。As shown in equations (3) and (4), 2
It will be clear that an image at any position between two cameras can be generated by interpolation. Also, the problem that must be solved in the correspondence detection process is occlusion. Occlusion occurs when the line of sight to one object is covered by another object at a particular viewing angle. In general, an occlusion object can be observed from different observation points. This means that by utilizing the continuity of disparity vectors of a series of images, the correspondence with respect to the occlusion area can be obtained.
【００２９】図６に示された視差画像を例にしてオクル
ージョン処理を説明する。図６（ａ）に示すように、一
列に配置された多眼カメラ６１、・・・６５を仮定し、
図６（ｂ）ないし（ｆ）は、各々多眼カメラ６１ないし
６５の画像であるとする。図６（ｂ），（ｃ），（ｅ）
及び（ｆ）に丸で囲った領域７０は、図６（ｄ）では物
体７１の陰となって見ることがでいない。前述した対応
性の検出アルゴリズムは、カメラ６２、６３に対応する
一対の画像（ｃ）と（ｄ）、及びカメラ６３、６４に対
応する一対の画像（ｄ）と（ｅ）について、丸で囲った
領域７０に対する対応性を検出することができない。つ
まり、図５の点ＰL又はＰRの内の一方が存在しないの
で、補間された画像に重大な歪みが生ずる。The occlusion process will be described by taking the parallax image shown in FIG. 6 as an example. As shown in FIG. 6A, assuming multi-lens cameras 61, ... 65 arranged in a line,
6B to 6F are images of the multi-eye cameras 61 to 65, respectively. 6 (b), (c), (e)
The area 70 circled in (f) and (f) cannot be seen as a shadow of the object 71 in FIG. The correspondence detection algorithm described above encloses a pair of images (c) and (d) corresponding to the cameras 62 and 63, and a pair of images (d) and (e) corresponding to the cameras 63 and 64, in a circle. It is not possible to detect the correspondence with respect to the region 70. That is, the absence of one of the points PL or PR in FIG. 5 causes significant distortion in the interpolated image.
【００３０】本実施例では、オクルージョンの点に対す
る対応性を求めるために、一連の視差ベクトルの連続性
を調べる。図７に示すように、先ず、カメラ６１と６２
により撮像された画像（ｂ）と（ｃ）間の対応性検出に
より視差ベクトルＶ1が検出される。次に、画像（ｃ）
と（ｄ）間の対応が検出できなかった時、言換えれば、
視差ベクトルＶ2を定めることができない時、Ｖ1と大
体同じベクトル値を持つベクトルＶ4（Ｖ1Ｖ4）が見
付かるまで、前のベクトルＶ1を隣りの画像（ｄ）にま
で延長をする。その後、２つの点Ｐ2及びＰ4の間で式
（１）に定められた誤差値を計算する。この誤差値が閾
値より小さければ、ベクトルＶ2及びＶ3は次に示すよ
うに、Ｐ2及びＰ4のｘ座標によって定められる。In this embodiment, the occlusion point is dealt with.
Sequence of disparity vectors to determine the correspondence
Find out. As shown in FIG. 7, first, the cameras 61 and 62 are
To detect the correspondence between images (b) and (c) captured by
More parallax vector V1Is detected. Next, image (c)
When the correspondence between (d) and (d) cannot be detected, in other words,
Parallax vector V2When it is not possible to determine1And large
Vector V with the same vector valueFour(V1VFour) Sees
Until attached, the previous vector V1To the adjacent image (d)
To extend. After that, two points P2And PFourExpression between
The error value defined in (1) is calculated. This error value is the threshold
If smaller than the value, vector V2And V3Is shown below
Sea urchin P2And PFourIs defined by the x coordinate of.
【００３１】[0031]
【数５】ここで、式（１）の評価の為、１／１６層についてだけ
クロミナンス情報を用い、１／４層とフル解像度の層に
ついては、ルミナンス項だけが評価される。(Equation 5) Here, for the evaluation of the equation (1), the chrominance information is used only for the 1/16 layer, and for the 1/4 layer and the full resolution layer, only the luminance term is evaluated.
【００３２】補間では、オクルージョンの点の画素値を
式（３）の右辺の第１項又は第２項によって計算しなけ
ればならない。オクルージョンの点が見えるかどうか
は、仮想カメラの位置に依存することに注意されたい。
また、オクルージョンの点が見えるかどうかの曖昧さを
避ける為、補間は、視差ベクトルの値から得られる奥行
情報を用いて、奥行方向の遠点から近点へと行なうべき
である。即ち、補間は小さい視差ベクトルを持つ点から
開始され、大きな視差ベクトルを持つ点へと進む。こう
して、遠方に於けるオクルージョンによる歪みは、オク
ルージョンが存在しない近距離の画素値によって上書き
され、是正することができる。In interpolation, the pixel value at the occlusion point must be calculated by the first term or the second term on the right side of the equation (3). Note that the visibility of occlusion points depends on the position of the virtual camera.
Also, in order to avoid ambiguity in whether or not occlusion points are visible, interpolation should be performed from the far point in the depth direction to the near point using depth information obtained from the value of the disparity vector. That is, the interpolation starts from a point with a small disparity vector and proceeds to a point with a large disparity vector. Thus, distortion due to occlusion at a distance can be corrected by being overwritten by a pixel value at a short distance where occlusion does not exist.
【００３３】このように、本実施例では、３次元画面に
おける空間的なサンプリングのギャップを埋めるための
補間アルゴリズムを説明した。このアルゴリズムは、ブ
ロックのマッチングに基づいており、これは、誤ったベ
クトルを抽出するのを避ける為に、階層サーチの最上層
でクロミナンス情報を用いる。そして、ルミナンス情報
を用いて、２番目及び３番目の層に対するベクトルの手
直しを行っている。オクルージョン領域に対する対応性
も、相次ぐ一連の画像を活用した視差ベクトルの連続性
を利用して処理している。As described above, in this embodiment, the interpolation algorithm for filling the spatial sampling gap in the three-dimensional screen has been described. This algorithm is based on block matching, which uses chrominance information at the top layer of the hierarchical search to avoid extracting erroneous vectors. Then, using the luminance information, the vector is modified for the second and third layers. Correspondence to the occlusion area is also processed by utilizing the continuity of the disparity vector utilizing a series of consecutive images.
【００３４】図８は本実施例の３次元表示方法を利用し
たシステムの構成例である。画像を幾つかのカメラによ
って捉え、これらの視差画像をコントローラ８１内のデ
ィスクに記憶する。視差ベクトルが前述した方法によっ
て予め計算され、同じようにディスクに記憶される。偏
向眼鏡を備えた視点位置追跡装置８２（アイ・ポジショ
ン・トラッカー）が、観察者の目の位置を検出し、その
位置をコントローラ８１へ送る。コントローラ８１が、
一対のステレオ画像を発生し、プロジェクタ８３を介し
てそれをスクリーン８４に表示する。表示される画像の
観察角度が、観察者の目の位置の変化に従って更新され
る。FIG. 8 is a structural example of a system using the three-dimensional display method of this embodiment. Images are captured by several cameras and these parallax images are stored on a disk in controller 81. The disparity vector is precomputed by the method described above and is also stored on disk. A viewpoint position tracking device 82 (eye position tracker) equipped with polarizing glasses detects the position of the eyes of the observer and sends the position to the controller 81. The controller 81
A pair of stereo images is generated and displayed on the screen 84 via the projector 83. The viewing angle of the displayed image is updated according to the change in the position of the eyes of the viewer.
【００３５】以上、本発明の一実施例に関し詳述した
が、本発明はこれに限定されるものではない。Although one embodiment of the present invention has been described in detail above, the present invention is not limited to this.
【００３６】[0036]
【発明の効果】本発明によれば、視差画像間の画素毎の
対応性を検出し、この検出結果に基づき視差画像間に画
像を補間するため、少ない多眼カメラ画像から３次元画
像を生成することができ、従来のように膨大な画像デー
タを必要とするものではない。その結果、データ伝送ま
たは処理に要する時間も短縮可能である。しかも、適切
な補間処理を行うことにより高画質の画像を期待するこ
とができる。According to the present invention, the correspondence between each pixel between parallax images is detected, and the images are interpolated between the parallax images based on the detection result. Therefore, a three-dimensional image is generated from a few multi-view camera images. Therefore, it does not require a huge amount of image data as in the past. As a result, the time required for data transmission or processing can be shortened. Moreover, high-quality images can be expected by performing appropriate interpolation processing.
【図１】多眼カメラによる画像生成を説明する図、FIG. 1 is a diagram illustrating image generation by a multi-lens camera,
【図２】本発明の概念である補間を利用した画像生成を
説明する図、FIG. 2 is a diagram illustrating image generation using interpolation, which is a concept of the present invention;
【図３】本発明の実施例に係るステレオ画像における対
応性検出のステップを示すブロック図、FIG. 3 is a block diagram showing steps of detecting correspondence in a stereo image according to an embodiment of the present invention;
【図４】本発明の実施例に係る画像補間を説明する図、FIG. 4 is a diagram explaining image interpolation according to the embodiment of the present invention;
【図５】画像補間における画素毎の対応性検出方法を説
明する図、FIG. 5 is a diagram explaining a correspondence detection method for each pixel in image interpolation;
【図６】視差画像におけるオクルージョン領域を説明す
る図、FIG. 6 is a diagram illustrating an occlusion area in a parallax image,
【図７】オクルージョン領域に対する対応性検出方法を
説明する図、FIG. 7 is a diagram explaining a correspondence detection method for an occlusion area;
【図８】本実施例に係る３Ｄ表示システムの一例を示す
図。FIG. 8 is a diagram showing an example of a 3D display system according to the present embodiment.
１、１０ａ、１０ｂ、１０ｃ、２０ａ、２０ｂ カメラ ２、７１ 物体 １１、１２ 仮想カメラ 1, 10a, 10b, 10c, 20a, 20b Camera 2, 71 Object 11, 12 Virtual camera
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7003431AJPH08201941A (en) | 1995-01-12 | 1995-01-12 | Three-dimensional image forming method |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7003431AJPH08201941A (en) | 1995-01-12 | 1995-01-12 | Three-dimensional image forming method |
| Publication Number | Publication Date |
|---|---|
| JPH08201941Atrue JPH08201941A (en) | 1996-08-09 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7003431APendingJPH08201941A (en) | 1995-01-12 | 1995-01-12 | Three-dimensional image forming method |
| Country | Link |
|---|---|
| JP (1) | JPH08201941A (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6747610B1 (en) | 1997-07-22 | 2004-06-08 | Sanyo Electric Co., Ltd. | Stereoscopic image display apparatus capable of selectively displaying desired stereoscopic image |
| KR100584536B1 (en)* | 1999-09-29 | 2006-05-30 | 삼성전자주식회사 | Image processing device for video communication |
| JP2007159112A (en)* | 2005-11-30 | 2007-06-21 | Mitsubishi Electric Research Laboratories Inc | Method and system for synthesizing multiview video |
| JP2008093287A (en)* | 2006-10-13 | 2008-04-24 | Olympus Medical Systems Corp | Medical image processing apparatus and medical image processing method |
| JP2009510892A (en)* | 2005-09-29 | 2009-03-12 | サムスン エレクトロニクス カンパニー リミテッド | Method for predicting disparity vector using camera parameter, device for encoding and decoding multi-view video using the method, and recording medium on which program for performing the method is recorded |
| JP2009165115A (en)* | 2007-12-12 | 2009-07-23 | Sony Corp | Imaging device |
| JP2011228846A (en)* | 2010-04-16 | 2011-11-10 | Canon Inc | Image processing device and method |
| WO2012042998A1 (en)* | 2010-09-28 | 2012-04-05 | シャープ株式会社 | Image processing device, image processing method, program, and recording medium |
| JP2012069090A (en)* | 2010-08-27 | 2012-04-05 | Canon Inc | Image processing apparatus and method |
| US8330796B2 (en) | 2006-11-22 | 2012-12-11 | 3D International Europe Gmbh | Arrangement and method for the recording and display of images of a scene and/or an object |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6747610B1 (en) | 1997-07-22 | 2004-06-08 | Sanyo Electric Co., Ltd. | Stereoscopic image display apparatus capable of selectively displaying desired stereoscopic image |
| KR100584536B1 (en)* | 1999-09-29 | 2006-05-30 | 삼성전자주식회사 | Image processing device for video communication |
| JP2009510892A (en)* | 2005-09-29 | 2009-03-12 | サムスン エレクトロニクス カンパニー リミテッド | Method for predicting disparity vector using camera parameter, device for encoding and decoding multi-view video using the method, and recording medium on which program for performing the method is recorded |
| US8542739B2 (en) | 2005-09-29 | 2013-09-24 | Samsung Electronics Co., Ltd. | Method of estimating disparity vector using camera parameters, apparatus for encoding and decoding multi-view picture using the disparity vector estimation method, and computer-readable recording medium storing a program for executing the method |
| JP2007159112A (en)* | 2005-11-30 | 2007-06-21 | Mitsubishi Electric Research Laboratories Inc | Method and system for synthesizing multiview video |
| JP2008093287A (en)* | 2006-10-13 | 2008-04-24 | Olympus Medical Systems Corp | Medical image processing apparatus and medical image processing method |
| US8330796B2 (en) | 2006-11-22 | 2012-12-11 | 3D International Europe Gmbh | Arrangement and method for the recording and display of images of a scene and/or an object |
| JP2009165115A (en)* | 2007-12-12 | 2009-07-23 | Sony Corp | Imaging device |
| JP2011228846A (en)* | 2010-04-16 | 2011-11-10 | Canon Inc | Image processing device and method |
| JP2012069090A (en)* | 2010-08-27 | 2012-04-05 | Canon Inc | Image processing apparatus and method |
| WO2012042998A1 (en)* | 2010-09-28 | 2012-04-05 | シャープ株式会社 | Image processing device, image processing method, program, and recording medium |
| JP2012073702A (en)* | 2010-09-28 | 2012-04-12 | Sharp Corp | Image processing apparatus, image processing method, program, and recording medium |
| Publication | Publication Date | Title |
|---|---|---|
| US6353457B2 (en) | Stereoscopic computer graphics image generating apparatus and stereoscopic TV apparatus | |
| US7742657B2 (en) | Method for synthesizing intermediate image using mesh based on multi-view square camera structure and device using the same and computer-readable medium having thereon program performing function embodying the same | |
| US7689031B2 (en) | Video filtering for stereo images | |
| KR101629479B1 (en) | High density multi-view display system and method based on the active sub-pixel rendering | |
| US8189035B2 (en) | Method and apparatus for rendering virtual see-through scenes on single or tiled displays | |
| EP0680019B1 (en) | Image processing method and apparatus | |
| JPH0927969A (en) | Multiple image intermediate image generation method and parallax estimation method and apparatus | |
| EP0680014B1 (en) | Image processing method and apparatus | |
| US8866887B2 (en) | Computer graphics video synthesizing device and method, and display device | |
| CN211128024U (en) | 3D display device | |
| KR20110093828A (en) | Method and system for encoding 3D image signal, encoded 3D image signal, method and system for decoding 3D image signal | |
| TWI788739B (en) | 3D display device, 3D image display method | |
| CN112929639B (en) | Human eye tracking device and method, 3D display equipment, method and terminal | |
| KR20080101998A (en) | Image correction method and apparatus for random view image synthesis | |
| JPH08201941A (en) | Three-dimensional image forming method | |
| JPH07129792A (en) | Image processing method and image processing apparatus | |
| CN114513646B (en) | Method and device for generating panoramic video in three-dimensional virtual scene | |
| JPH08126034A (en) | Stereoscopic image display device and method | |
| JP2014072809A (en) | Image generation apparatus, image generation method, and program for the image generation apparatus | |
| CN117061720A (en) | Stereo image pair generation method based on monocular image and depth image rendering | |
| JPH09288735A (en) | Image processing device | |
| Kang Wei et al. | Three-dimensional scene navigation through anaglyphic panorama visualization | |
| US9888222B2 (en) | Method and device for generating stereoscopic video pair | |
| KR101779423B1 (en) | Method and apparatus for processing image | |
| JP4999010B2 (en) | Free viewpoint video generation method and recording medium |