【０００１】[0001]
【発明の属する技術分野】この発明は、表示画像の位置
認識方法とその位置認識装置および仮想画像立体合成装
置に関する。詳しくは、画像表示装置の画面上の表示画
像に２次元マトリクスコードを示す情報画像を部分的に
挿入させて表示したり、表示画像の四隅にバーコードを
表示するものとし、この２次元マトリクスコードを示す
情報画像やバーコードから表示画面の位置を認識して、
観察者の視聴する画像表示装置の表示画像に仮想体の画
像を再現性良く立体的に合成するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method for recognizing a position of a displayed image, a position recognizing device thereof, and a three-dimensional virtual image synthesizing device. Specifically, an information image indicating a two-dimensional matrix code is partially inserted into a display image on a screen of an image display device and displayed, or bar codes are displayed at four corners of the display image. Recognize the position of the display screen from the information image and barcode indicating
The image of the virtual body is three-dimensionally synthesized with good reproducibility on the display image of the image display device viewed by the observer.
【０００２】[0002]
【従来の技術】近年、表示技術の向上に伴い、バーチャ
ル・リアリティ（仮想現実感）、すなわち作り出された
仮想の空間があたかも現実に存在するように観察者に知
覚させることができる立体表示装置が実用化されてい
る。2. Description of the Related Art In recent years, with the improvement of display technology, a virtual reality (virtual reality), that is, a stereoscopic display device that can make an observer perceive a created virtual space as if it exists in reality has been developed. Has been put to practical use.
【０００３】この種の立体表示装置は、例えば縦横数ｍ
程度の大きさの映写空間を設けて、各々の面に表示装置
が配置され、各々の表示装置から恐竜、怪獣や武器など
の仮想体の画像が立体表示される。そして、観察者は液
晶シャッター付きの眼鏡をかけ、その映写空間に立つ
と、あたかも、各々の表示装置で表示された仮想体と同
じ場所に居るようなされる。[0003] This type of three-dimensional display device is, for example, several meters long and short.
A display space is provided on each surface with a projection space of about the same size, and an image of a virtual body such as a dinosaur, a monster or a weapon is stereoscopically displayed from each display device. Then, when the observer wears glasses with a liquid crystal shutter and stands in the projection space, it is as if he were at the same place as the virtual object displayed on each display device.
【０００４】また、観察者が仮想空間上で手にする武器
がカメラによって撮像され、その武器の動きによって仮
想体が反応するように画像処理されている。これによ
り、観察者は数千年前の原始時代にタイムスリップし
て、恐竜退治などをゲーム感覚で行うことができる。Further, a weapon that an observer holds in a virtual space is imaged by a camera, and image processing is performed so that a virtual body reacts according to the movement of the weapon. This allows the observer to slip back in time to the primitive era thousands of years ago, and perform dinosaur extermination, etc., as if playing a game.
【０００５】[0005]
【発明が解決しようとする課題】ところで、従来方式の
物体の位置認識方法では、観察者が実空間上で手にする
武器などの物体の位置の認識を行う場合に、その物体を
含む背景画像を撮影してその物体の輪郭部を抽出し、こ
の抽出された輪郭パターンと予め記憶されているその物
体に関する基準パターンとを比較して物体の位置の認識
が行われる。In the conventional method of recognizing the position of an object, when the observer recognizes the position of an object such as a weapon held by a hand in real space, a background image including the object is recognized. Is photographed to extract the outline of the object, and the position of the object is recognized by comparing the extracted outline pattern with a previously stored reference pattern for the object.
【０００６】従って、その物体の位置を認識して、仮想
空間上に撮影された物体を合成しようとした場合には、
物体の位置の認識や合成に係る計算量が多くなり、例え
ばコンピュータ装置での負荷が重くなる。Therefore, when the position of the object is recognized and an attempt is made to synthesize the object photographed in the virtual space,
The amount of calculation involved in recognizing and synthesizing the position of an object increases, and for example, the load on a computer device increases.
【０００７】このため、例えば、観察者の視聴する受像
機の受信画面上に、テレビ番組のキャラクタなどを仮想
的に飛び出させ、さらに観察者の手のひらでそのキャラ
クタを遊ばせるような仮想現実感を可能とするために
は、受信画面上にキャラクタなどを仮想的に飛び出させ
る処理や手の位置の認識処理等が複雑であると共に処理
での計算量が多くなったりして、装置のコストアップに
つながるという問題がある。For this reason, for example, a virtual reality character such as a character of a TV program jumps out virtually on a receiving screen of a receiver watched by an observer and the character is played with the palm of the observer. In order to make it possible, the process of virtually popping out a character or the like on the reception screen, the process of recognizing the position of the hand, and the like are complicated, and the amount of calculation in the process increases. There is a problem of being connected.
【０００８】そこで、本発明は表示画面の位置を認識し
て観察者の視聴する画像に仮想体の画像を立体的に再現
性よく合成するための表示画像の位置認識方法とその位
置認識装置および仮想画像立体合成装置を提供するもの
である。Accordingly, the present invention provides a method and apparatus for recognizing a position of a display image for recognizing a position of a display screen and synthesizing an image of a virtual body three-dimensionally with high reproducibility on an image viewed by an observer. It is intended to provide a virtual image three-dimensional composition device.
【０００９】[0009]
【課題を解決するための手段】この発明に係る表示画像
の位置認識方法は、画像表示装置の画面上の表示画像に
２次元マトリクスコードを示す情報画像を部分的に挿入
して表示するものとし、画像表示装置の表示画面を直交
する２つの方向に流すように撮像して２次元マトリクス
コード画像の画像信号を生成し、二次元マトリクスコー
ド画像の画像信号を処理して表示画像の位置を認識する
ものである。また、画像表示装置の画面の四隅にバーコ
ードを表示するものとし、四隅のバーコードを撮像し、
撮像された四隅のバーコード画像の画像信号を処理して
表示画像の位置を認識するものである。According to the present invention, there is provided a method for recognizing a position of a display image, wherein an information image indicating a two-dimensional matrix code is partially inserted into a display image on a screen of an image display device and displayed. Imaging the display screen of the image display device in two orthogonal directions to generate an image signal of a two-dimensional matrix code image, process the image signal of the two-dimensional matrix code image, and recognize the position of the display image Is what you do. Further, barcodes are displayed at the four corners of the screen of the image display device, and the barcodes at the four corners are imaged,
It processes the image signals of the captured barcode images at the four corners to recognize the position of the display image.
【００１０】表示画像の位置認識装置は、２次元マトリ
クスコードを示す情報画像を表示画像に部分的に挿入し
て表示する画像表示手段と、画像表示手段で表示された
画像を直交する２つの方向に流すように撮像して２次元
マトリクスコード画像の画像信号を得る撮像手段と、撮
像手段で得られた画像信号を処理して表示画像の位置を
認識する演算手段を備えるものである。また、表示画像
の四隅にバーコードを表示する画像表示手段と、表示画
像をバーコードと共に撮影して画像信号を得る撮像手段
と、撮像手段で得られた画像信号を処理して表示画像の
位置を認識する演算手段を備えるものである。The apparatus for recognizing the position of a display image includes image display means for partially inserting an information image indicating a two-dimensional matrix code into the display image and displaying the information image, and two directions orthogonal to the image displayed by the image display means. And an arithmetic unit for processing the image signal obtained by the imaging unit to recognize the position of the display image. Further, image display means for displaying barcodes at four corners of the display image, imaging means for photographing the display image together with the barcode to obtain an image signal, and processing the image signal obtained by the imaging means for processing the position of the display image. Is provided.
【００１１】さらに、仮想画像立体合成装置は、観察者
の視聴する表示画像に仮想体の画像を立体的に合成する
装置であって、観察者の視聴する画像表示装置の表示画
面上で任意の基準面を認識する面認識手段と、面認識手
段により認識された仮想空間の基準面上に仮想体の画像
を合成する合成手段とを備え、面認識手段は、２次元マ
トリクスコードを示す情報画像が表示画像に部分的に挿
入されている画像を、直交する２つの方向に流すように
撮影して２次元マトリクスコード画像の画像信号を得る
撮像手段と、撮像手段で得られた画像信号を処理して表
示画像の位置を認識する演算手段を有するものである。
また、観察者の視聴する表示画像に仮想体の画像を立体
的に合成する装置であって、観察者の視聴する画像表示
装置の表示画面上で任意の基準面を認識する面認識手段
と、面認識手段により認識された仮想空間の基準面上に
仮想体の画像を合成する合成手段とを備え、面認識手段
は、表示画像の四隅に表示されたバーコードを表示画像
と共に撮影して画像信号を得る撮像手段と、撮像手段で
得られた画像信号を処理して表示画像の位置を認識する
演算手段を備えるものである。Further, the three-dimensional virtual image synthesizing device is a device for stereoscopically synthesizing the image of the virtual body with the display image viewed by the observer. A plane recognition means for recognizing a reference plane; and a synthesizing means for synthesizing an image of a virtual body on a reference plane in a virtual space recognized by the plane recognition means, wherein the plane recognition means is an information image indicating a two-dimensional matrix code. Captures an image partially inserted in a display image in two orthogonal directions to obtain an image signal of a two-dimensional matrix code image, and processes the image signal obtained by the imaging unit. And a calculation means for recognizing the position of the display image.
Further, a device for stereoscopically combining the image of the virtual body with the display image viewed by the observer, the surface recognition means for recognizing any reference plane on the display screen of the image display device viewed by the observer, Synthesizing means for synthesizing an image of the virtual body on the reference plane of the virtual space recognized by the plane recognizing means, the plane recognizing means taking a bar code displayed at the four corners of the display image together with the display image, and The image processing apparatus includes an imaging unit that obtains a signal, and a calculation unit that processes an image signal obtained by the imaging unit to recognize a position of a display image.
【００１２】この発明においては、画像表示装置の画面
上の表示画像に２次元マトリクスコードを示す情報画像
が部分的に挿入して表示される。また、この２次元マト
リクスコードを示す情報画像の挿入位置は所定の周期で
変更される。さらに、２次元マトリクスコード画像の第
１の方向の端部を示す第１の情報画像と、第１の方向直
交する第２の方向の端部を示す第２の情報画像と、２次
元マトリクスコード内容を示す第３の情報画像で、２次
元マトリクスコードを示す情報画像が構成される。また
各情報画像は異なる色で表示され、あるいは単一色のレ
ベル差で表示される。このようにして表示された２次元
マトリクスコードを示す情報画像を直交する２つの方向
に流すように撮像し、得られた画像信号に基づいて表示
画像の位置の認識が行われる。さらに、２次元マトリク
スコードを示す情報画像に変えて表示画像の四隅にバー
コードが表示されて、このバーコード表示によって表示
画面おＮ位置の認識が行われる。In the present invention, an information image indicating a two-dimensional matrix code is partially inserted into a display image on a screen of an image display device and displayed. The insertion position of the information image indicating the two-dimensional matrix code is changed at a predetermined cycle. Further, a first information image indicating an end in a first direction of the two-dimensional matrix code image, a second information image indicating an end in a second direction orthogonal to the first direction, and a two-dimensional matrix code An information image indicating a two-dimensional matrix code is configured by the third information image indicating the content. Also, each information image is displayed in a different color or a single color level difference. The information image indicating the two-dimensional matrix code displayed in this way is imaged so as to flow in two orthogonal directions, and the position of the display image is recognized based on the obtained image signal. Further, barcodes are displayed at the four corners of the display image in place of the information image indicating the two-dimensional matrix code, and the display screen N position is recognized by the barcode display.
【００１３】[0013]
【発明の実施の形態】以下、この発明について図面を参
照しながら詳細に説明する。図１は仮想画像立体合成シ
ステムの構成の実施の一形態を示す斜視図である。この
仮想画像立体合成システムでは、例えば観察者の聴取す
るテレビ画像にＴＶ番組のキャラクタなどの仮想体画像
を合成して立体的に表示するものであり、基準面設定用
の画像表示装置１０及びヘッドマウントディスプレイ装
置（以下「ＨＭＤ装置」という）２０を有している。こ
の画像表示装置１０は、例えば観察者が視聴できる位置
であって、ＨＭＤ装置２０の撮影範囲内に入るように配
置される。DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention will be described below in detail with reference to the drawings. FIG. 1 is a perspective view showing an embodiment of the configuration of the virtual image three-dimensional composition system. In this virtual image three-dimensional synthesis system, for example, a virtual image such as a TV program character is synthesized with a television image heard by an observer and displayed three-dimensionally, and an image display device 10 for setting a reference plane and a head are provided. It has a mount display device (hereinafter referred to as “HMD device”) 20. The image display device 10 is arranged, for example, at a position where an observer can view and be within a shooting range of the HMD device 20.
【００１４】この画像表示装置１０は、陰極線管や液晶
表示パネル、プラズマディスプレイパネル等を用いて構
成されており、実空間上の画像表示装置１０の画面の位
置を認識するための２次元マトリクスコード（２次元バ
ーコード）を生成するための情報が、表示画像に部分的
に挿入されて表示される。The image display device 10 is constituted by using a cathode ray tube, a liquid crystal display panel, a plasma display panel, etc., and has a two-dimensional matrix code for recognizing the position of the screen of the image display device 10 in a real space. Information for generating a (two-dimensional barcode) is partially inserted into the display image and displayed.
【００１５】ここで、２次元マトリクスコードを用いた
仮想現実感の原理について説明する。２次元マトリクス
コードは、図２Ａに示すような例えば正方形の２次元マ
トリクスコードが用いられる。この２次元マトリクスコ
ードを撮影して得られた画像が図２Ｂに示すような場
合、コード枠の４頂点を正方形の頂点に射影する変換行
列が算出される。Here, the principle of virtual reality using a two-dimensional matrix code will be described. As the two-dimensional matrix code, for example, a square two-dimensional matrix code as shown in FIG. 2A is used. In the case where an image obtained by capturing the two-dimensional matrix code is as shown in FIG. 2B, a transformation matrix that projects four vertices of the code frame to square vertices is calculated.
【００１６】実空間中の平面上の点（ｘi，ｙi，０）
と、並進や回転運動によって移動し、透視変換で画像座
標系に射影した点を（Ｘi，Ｙi）とすると、下記に示す
式（１）および式（２）の関係が成り立つ。なお「ａ
1」〜「ａ8」は係数であり、図２Ａに示すような正方形
の２次元マトリクスコードをカメラで撮影して図２Ｂに
示す画像が得られるものとしたときには、ビデオカメラ
の位置や方向、焦点距離等のパラメータを示している。A point (xi, yi, 0) on a plane in the real space
And (Xi, Yi) the point that is moved by translation or rotation and projected onto the image coordinate system by perspective transformation, the following equations (1) and (2) hold. Note that "a
“1” to “a8” are coefficients. When a square two-dimensional matrix code as shown in FIG. 2A is photographed by a camera to obtain an image shown in FIG. 2B, the position, direction, and focus of the video camera are determined. It shows parameters such as distance.
【００１７】[0017]
【数１】(Equation 1)
【００１８】ここで、実空間中の点と、この点と対応す
る画像座標系の点が４組、すなわち実空間中の点（ｘ
1，Ｙ1）（ｘ2，Ｙ2）（ｘ3，Ｙ3）（ｘ4，Ｙ4）と、こ
の点と対応する画像座標系の点（Ｘ1，Ｙ1）（Ｘ2，Ｙ
2）（Ｘ3，Ｙ3）（Ｘ4，Ｙ4）が４組み存在すれば、式
（３）の方程式を解くことによって、係数「ａ1」〜
「ａ8」を算出できる。Here, four pairs of points in the real space and points in the image coordinate system corresponding to the points, ie, points (x
1, Y1) (x2, Y2) (x3, Y3) (x4, Y4) and the corresponding point (X1, Y1) (X2, Y1) in the image coordinate system.
2) If there are four sets of (X3, Y3) (X4, Y4), solving the equation (3) yields the coefficients "a1" to
“A8” can be calculated.
【００１９】[0019]
【数２】(Equation 2)
【００２０】特に、（ｘ1，Ｙ1）（ｘ2，Ｙ2）（ｘ3，
Ｙ3）（ｘ4，Ｙ4）を一辺の長さ１の正方形の４つの頂
点とすると、求めた係数「ａ1」〜「ａ8」を用いて、画
面上の頂点を正方形の各頂点に射影することができる。In particular, (x1, Y1) (x2, Y2) (x3,
If Y3) (x4, Y4) are four vertices of a square having a side length of 1, the vertices on the screen can be projected onto the vertices of the square using the obtained coefficients “a1” to “a8”. it can.
【００２１】このようにして、撮影された２次元マトリ
クスコードの画像から正方形のコード画像を復元するこ
とができるので、この復元されたコード画像から２次元
マトリクスコードで示された情報を得ることができる。In this manner, a square code image can be restored from the photographed image of the two-dimensional matrix code, so that information represented by the two-dimensional matrix code can be obtained from the restored code image. it can.
【００２２】また、撮影された２次元マトリクスコード
の外枠の各辺に相当する方向ベクトルをＶ0〜Ｖ3、対角
線に相当する方向ベクトルをＶ4，Ｖ5とすると、２次元
マトリクスコードの外枠が例えば正方形であるときに
は、隣接する２辺および２つの対角線がそれぞれ直交す
ることから式（４）が成り立つ。なお式（４）におい
て、「・」はベクトルの内積を示している。Further, assuming that directional vectors corresponding to each side of the outer frame of the photographed two-dimensional matrix code are V0 to V3 and directional vectors corresponding to diagonal lines are V4 and V5, the outer frame of the two-dimensional matrix code is, for example, In the case of a square, Equation (4) holds because two adjacent sides and two diagonals are orthogonal to each other. In equation (4), “•” indicates the inner product of the vectors.
【００２３】[0023]
【数３】(Equation 3)
【００２４】このため、方向ベクトルＶ0〜Ｖ5を２次元
マトリクスコードが含まれる平面の画像座標系における
法線ベクトルＶｎで表現し、Ｅ（Ｖn）が「０」となる
法線ベクトルＶｎ0を求め、さらに、求めた法線ベクト
ルＶｎ0から方向ベクトルＶ0〜Ｖ5を再計算すること
で、式（５）に示す変換行列によって実空間中の点の座
標（ｘ，ｙ，ｚ）Tとカメラの座標系での座標（Ｘ，
Ｙ，Ｚ）Tを関係付けることができる。For this reason, the direction vectors V0 to V5 are represented by a normal vector Vn in a plane image coordinate system including a two-dimensional matrix code, and a normal vector Vn0 in which E (Vn) becomes "0" is obtained. Further, by recalculating the direction vectors V0 to V5 from the obtained normal vector Vn0, the coordinates (x, y, z) T of the point in the real space and the coordinate system of the camera are obtained by the conversion matrix shown in Expression (5). Coordinates (X,
Y, Z) T can be related.
【００２５】[0025]
【数４】(Equation 4)
【００２６】但し、ｅx，ｅy，ｅzはカメラの回転を表
す成分、ｅtはカメラの移動を表す成分で、式（６）〜
（９）で示すものである。Where ex, ey and ez are components representing the rotation of the camera, et is a component representing the movement of the camera, and
This is shown in (9).
【００２７】[0027]
【数５】(Equation 5)
【００２８】なお、「dist」はカメラ原点から矩形状の
２次元マトリクスコードの中心までの距離を示してお
り、Ｖｐはカメラ原点と画像上の矩形状の２次元マトリ
クスコードの中心座標を結ぶ方向ベクトルを示してい
る。また「Ｎ」は正規化演算であることを示している。Note that "dist" indicates the distance from the camera origin to the center of the rectangular two-dimensional matrix code, and Vp is the direction connecting the camera origin and the center coordinates of the rectangular two-dimensional matrix code on the image. Shows a vector. “N” indicates that the operation is a normalization operation.
【００２９】このようにしてカメラの位置や姿勢を推定
することができるので、カメラの位置情報や姿勢情報を
利用して、撮影画面上に３次元的に整合された物体をオ
ーバレイすることができる。Since the position and orientation of the camera can be estimated in this way, the three-dimensionally matched object can be overlaid on the photographing screen using the position information and orientation information of the camera. .
【００３０】ここで、画像表示装置１０では、２次元マ
トリクスコードが図３Ａに示すような２値のマトリクス
から成るものであるときには、図３Ｂに示すように、本
来の領域内に２次元マトリクスコードの各行列の情報を
表示する領域が設けられて、図３Ｃに示すように２次元
マトリクスコードの情報が画面上に部分的に挿入されて
表示される。Here, in the image display device 10, when the two-dimensional matrix code is composed of a binary matrix as shown in FIG. 3A, as shown in FIG. The area for displaying the information of each matrix is provided, and the information of the two-dimensional matrix code is partially inserted and displayed on the screen as shown in FIG. 3C.
【００３１】次に、図１に示すＨＭＤ装置２０について
説明する。このＨＭＤ装置２０の本体部２１内には画像
処理装置３０が設けられ、流し撮りＣＣＤ装置２２，２
３から出力された画像データを処理して２次元マトリク
スコードの読み取りや座標系の推定等の処理がなされ
る。また、通常のＣＣＤ撮像装置２４が設けられてお
り、画像表示装置１０の画面が撮影される。さらに、Ｈ
ＭＤ装置２０には表示手段２５が設けられて、この表示
手段２５で表示された画像によって仮想現実感を得るこ
とができる。なお、ＨＭＤ装置２０の本体部２１にはベ
ルト２６が取り付けられており、表示手段２５の画像を
見ることができる位置でＨＭＤ装置２０を観察者に固定
して取り付けることができる。Next, the HMD device 20 shown in FIG. 1 will be described. An image processing device 30 is provided in a main body 21 of the HMD device 20, and the panning CCD devices 22, 2 are provided.
The image data output from 3 is processed to perform processing such as reading a two-dimensional matrix code and estimating a coordinate system. Further, a normal CCD imaging device 24 is provided, and a screen of the image display device 10 is photographed. Furthermore, H
The MD device 20 is provided with a display unit 25, and a virtual reality can be obtained from the image displayed on the display unit 25. A belt 26 is attached to the main body 21 of the HMD device 20, and the HMD device 20 can be fixedly attached to a viewer at a position where an image on the display unit 25 can be viewed.
【００３２】流し撮りＣＣＤ装置２２では、画像表示装
置１０の画面上に表示されている２次元マトリクスコー
ドの情報を所定の撮像方向に流すように撮像される。ま
た、流し撮りＣＣＤ装置２３は、流し撮りＣＣＤ装置２
２と同様に構成されると共に、流し撮りＣＣＤ装置２２
に対して直交するように設けられる。In the panning CCD device 22, the image of the two-dimensional matrix code displayed on the screen of the image display device 10 is imaged so as to flow in a predetermined imaging direction. The panning CCD device 23 is a panning CCD device 2.
2 and the panning CCD device 22
Are provided so as to be orthogonal to.
【００３３】ここで、流し撮りとは、流し撮りＣＣＤ装
置において、同一フィールド期間中に複数回、後述する
光電変換素子（フォトダイオードなど）から信号電荷を
読み出して撮像信号を得る撮影モードをいう。Here, the follow shot means a shooting mode in which a signal charge is read out from a photoelectric conversion element (such as a photodiode), which will be described later, a plurality of times during the same field period to obtain an image signal in the follow shot CCD device.
【００３４】流し撮りＣＣＤ装置２２，２３として、垂
直転送部を有するインターライン転送方式の二次元撮像
デバイスを使用した場合には、同一フィールド期間中に
複数回、光電変換素子から垂直転送部に信号電荷が読み
出される。また、流し撮りＣＣＤ装置２２，２３として
電荷蓄積部を有するフレーム転送方式の二次元撮像デバ
イスを使用した場合には、同一フィールド期間中に複数
回、光電変換素子から電荷蓄積部に信号電荷が読み出さ
れる。When an interline transfer type two-dimensional imaging device having a vertical transfer unit is used as the panning CCD devices 22 and 23, signals are sent from the photoelectric conversion element to the vertical transfer unit a plurality of times during the same field period. The charge is read. When a two-dimensional frame transfer type imaging device having a charge storage section is used as the panning CCD devices 22 and 23, signal charges are read out of the photoelectric conversion element to the charge storage section a plurality of times during the same field period. It is.
【００３５】ここで、インターライン転送方式の流し撮
りＣＣＤ装置２２の構成について説明する。なお、流し
撮りＣＣＤ装置２３は流し撮りＣＣＤ装置２２と同様に
構成されており、流し撮りＣＣＤ装置２３に関する説明
は省略する。Here, the configuration of the interline transfer type panning CCD device 22 will be described. The panning CCD device 23 has the same configuration as the panning CCD device 22, and a description of the panning CCD device 23 will be omitted.
【００３６】流し撮りＣＣＤ装置２２は、図４に示すよ
うにレンズ２２１を有しており、撮影画像がレンズ２２
１によって撮像素子２２３の撮像面上に結像される。な
お、レンズ２２１として魚眼レンズを用いるものとすれ
ば、観察者が視聴する基準面設定用の画像表示装置１０
などを広範囲に撮影することができる。The panning CCD device 22 has a lens 221 as shown in FIG.
1 forms an image on the imaging surface of the imaging element 223. If a fisheye lens is used as the lens 221, the image display device 10 for setting a reference plane to be viewed by the observer is used.
Can be taken over a wide area.
【００３７】なお、レンズ２２１の前面に薄膜フィルタ
２２２を取り付けて、この特定波長の光を透過させて撮
像素子２２３に照射するものとしてもよい。この薄膜フ
ィルタ２２２は、例えばＴｉＯ2膜又はＳｉＯ2膜を多層
に積み上げた構造とされており、各層の厚みを制御する
ことで、赤色、緑色、青色などを通す光透過帯域（透過
率対波長）を自由に設定することができる。また上述の
構成は撮像素子２２３の表面に設けるものとしてもよ
い。It should be noted that a thin film filter 222 may be attached to the front surface of the lens 221 to transmit the light having the specific wavelength and irradiate the image pickup element 223. The thin film filter 222 has a structure in which, for example, a TiO2 film or a SiO2 film is stacked in multiple layers, and by controlling the thickness of each layer, a light transmission band (transmittance vs. wavelength) transmitting red, green, blue, and the like is obtained. Can be set freely. Further, the above-described configuration may be provided on the surface of the imaging element 223.
【００３８】図５は撮像素子２２３の構成を示してお
り、基板２２４上には、１画素を構成する光電変換素子
としてフォトダイオードＰＨｉｊ（ｉ＝１〜ｐ、ｊ＝１
〜ｑ）がｐ行×ｑ列のマトリクス状に配置されている。FIG. 5 shows the structure of the image pickup element 223. On the substrate 224, photodiodes PHij (i = 1 to p, j = 1) are provided as photoelectric conversion elements constituting one pixel.
To q) are arranged in a matrix of p rows × q columns.
【００３９】この基板２２４の列方向には電荷転送部と
してｑ本の垂直転送部２２５が設けられ、フォトダイオ
ードＰＨｉｊから読み出した信号電荷が垂直読み出し信
号Ｓ１に基づいて垂直方向（流し撮り方向）に転送され
る。この垂直転送部２２５には水平転送部２２６が接続
され、その信号電荷が水平読み出し信号Ｓ２に基づいて
水平方向に転送されるので、出力端子２２７に流し撮り
信号ＳOUTが出力される。この例では、流し撮りをする
ために、少なくとも、同一フィールド期間中に複数回、
フォトダイオードＰＨｉｊから垂直転送部２２５に信号
電荷が読み出される。In the column direction of the substrate 224, q vertical transfer sections 225 are provided as charge transfer sections, and the signal charges read from the photodiodes PHij are transferred in the vertical direction (moving shot direction) based on the vertical read signal S1. Will be transferred. A horizontal transfer unit 226 is connected to the vertical transfer unit 225, and the signal charges are transferred in the horizontal direction based on the horizontal readout signal S2, so that the panning signal SOUT is output to the output terminal 227. In this example, at least several times during the same field,
The signal charge is read from the photodiode PHij to the vertical transfer unit 225.
【００４０】同様に、流し撮りＣＣＤ装置２３からも流
し撮り信号ＳOUTが出力されて、例えば流し撮りＣＣＤ
装置２２によって縦方向に流し撮りして得られた流し撮
り信号と、流し撮りＣＣＤ装置２３によって横方向に流
し撮りして得られた流し撮り信号とから、２次元マトリ
クスコードの升目状のブロックを判別することができ
る。Similarly, a panning signal SOUT is also output from the panning CCD device 23 and, for example, the panning CCD
From the panning signal obtained by panning in the vertical direction by the device 22 and the panning signal obtained by panning in the horizontal direction by the panning CCD device 23, a grid-like block of a two-dimensional matrix code is formed. Can be determined.
【００４１】例えば、図３Ｃに示す２次元マトリクスコ
ードを正面から流し撮りＣＣＤ装置２２，２３によって
撮影すると、流し撮りＣＣＤ装置２２によって縦方向に
流し撮りが行われて、図６Ａに示すような画像を得るこ
とができる。また、流し撮りＣＣＤ装置２２と同様に構
成された流し撮りＣＣＤ装置２３を、流し撮りＣＣＤ装
置２２に対して９０度傾けることにより横方向に流し撮
りが行われて、図６Ｂに示すような画像を得ることがで
きる。この図６Ａと図６Ｂに示す画像を、画像の向きを
合わせてマージすると図６Ｃに示すような画像を得るこ
とができ、この図６Ｃの画像を処理することで図３Ａに
示す２次元マトリクスコードの升目状のブロックを判別
することができる。また、図３Ｃに示す２次元マトリク
スコードを例えば斜め方向から流し撮りＣＣＤ装置２
２，２３によって撮影すると、流し撮りＣＣＤ装置２２
によって縦方向に流し撮りが行われて、図７Ａに示すよ
うな画像を得ることができる。また、流し撮りＣＣＤ装
置２３によって横方向に流し撮りが行われて、図７Ｂに
示すような画像を得ることができる。この図７Ａと図７
Ｂに示す画像を、画像の向きを合わせてマージすると図
７Ｃに示すような画像を得ることができる。ここで、交
点の抽出を行うと共に各升目が二値のブロック、例えば
白あるいは黒のブロックのいずれであるかを検出して２
次元マトリクスコードの升目状のブロックを判別するこ
とができる。なお、画像をマージするときには、流し撮
りＣＣＤ装置２２と流し撮りＣＣＤ装置２３の間隔を考
慮することで、すなわち視差の影響を考慮することで正
しく画像をマージすることができる。For example, when the two-dimensional matrix code shown in FIG. 3C is photographed by the panning CCD devices 22 and 23 from the front, the panning CCD device 22 performs panning in the vertical direction, and the image shown in FIG. Can be obtained. In addition, the panning CCD device 23, which is configured in the same manner as the panning CCD device 22, is tilted 90 degrees with respect to the panning CCD device 22 so that panning is performed in the horizontal direction, and an image as shown in FIG. Can be obtained. By merging the images shown in FIGS. 6A and 6B with the orientation of the images aligned, an image as shown in FIG. 6C can be obtained. By processing the image of FIG. 6C, the two-dimensional matrix code shown in FIG. Can be determined. Also, the two-dimensional matrix code shown in FIG.
When photographed by 2, 23, the panning CCD device 22
Panning is performed in the vertical direction, and an image as shown in FIG. 7A can be obtained. In addition, panning is performed in the horizontal direction by the panning CCD device 23, and an image as shown in FIG. 7B can be obtained. FIGS. 7A and 7
When the image shown in B is merged with the orientation of the image matched, an image as shown in FIG. 7C can be obtained. Here, the intersection is extracted, and it is detected whether each cell is a binary block, for example, a white or black block.
The grid-shaped blocks of the dimensional matrix code can be determined. When merging images, the images can be correctly merged by taking into account the distance between the panning CCD device 22 and the panning CCD device 23, that is, by considering the influence of parallax.
【００４２】続いて、非透過型のＨＭＤ装置２０の回路
構成について説明する。図１および図８に示すＨＭＤ装
置２０は、上述した流し撮りＣＣＤ装置２２，２３と通
常のＣＣＤ撮像装置２４を有すると共に、表示手段２５
としての右眼表示用のＬＣＤ２７や左眼表示用のＬＣＤ
２８と、画像処理装置３０を有している。Next, the circuit configuration of the non-transmissive HMD device 20 will be described. The HMD device 20 shown in FIGS. 1 and 8 includes the above-described panning CCD devices 22 and 23 and a normal CCD imaging device 24, and also has a display unit 25.
LCD 27 for displaying right eye and LCD for displaying left eye
28 and an image processing device 30.
【００４３】図９は、画像処理装置３０の構成を示して
おり、画像処理装置３０の内部バス４１には、内部イン
タフェース（Ｉ／Ｏ）４２、画像処理部４４、ＣＰＵ４
５、ＲＯＭ４６、ＲＡＭ４７、Ｅ2ＰＲＯＭ（電気的な
書き込み及び消去が可能な読み出し専用メモリ）４８及
び外部インタフェース４９が接続されている。流し撮り
ＣＣＤ装置２２，２３、通常のＣＣＤ撮像装置２４、右
眼表示用のＬＣＤ２７及び左眼表示用のＬＣＤ２８は内
部インタフェース４２を介して内部バス４１に接続され
る。FIG. 9 shows the configuration of the image processing apparatus 30. An internal interface (I / O) 42, an image processing unit 44, a CPU 4
5, a ROM 46, a RAM 47, an E2 PROM (a read-only memory capable of electrically writing and erasing) 48, and an external interface 49 are connected. The panning CCD devices 22 and 23, the normal CCD imaging device 24, the right-eye display LCD 27 and the left-eye display LCD 28 are connected to an internal bus 41 via an internal interface 42.
【００４４】この内部バス４１には記録媒体としてＥ2
ＰＲＯＭ４８が接続され、観察者の聴取するテレビ画像
に３Ｄポリゴン１００の画像を立体的に合成するアルゴ
リズムが格納されている。例えば、Ｅ2ＰＲＯＭ４８に
は、観察者の視聴する表示画面上で任意に設定されたＴ
Ｖ画面を撮像して仮想空間上にそのＴＶ画面を表示する
と共に、その仮想空間上に３Ｄポリゴン１００の画像を
重ね合わせて合成するアルゴリズムが格納される。従っ
て、このアルゴリズムを実行することによって、簡易
に、しかも、少ない計算量で実空間上のＴＶ画面を認識
することができる。The internal bus 41 has E2 as a recording medium.
The PROM 48 is connected, and stores an algorithm for stereoscopically combining the image of the 3D polygon 100 with the television image heard by the observer. For example, in the E2 PROM 48, the T set arbitrarily on the display screen viewed by the observer is set.
An algorithm for capturing the V screen, displaying the TV screen in the virtual space, and superimposing and synthesizing the image of the 3D polygon 100 on the virtual space is stored. Therefore, by executing this algorithm, the TV screen in the real space can be easily recognized with a small amount of calculation.
【００４５】これにより、実空間上のＴＶ画面の属する
位置に、あたかも、３Ｄポリゴン１００が存在するよう
に画像処理することができるので、バーチャルキャラク
タ育成ゲーム装置などの仮想画像立体合成システムを再
現性良く構成することができる。As a result, the image processing can be performed as if the 3D polygon 100 exists at the position to which the TV screen belongs in the real space, so that a virtual image stereoscopic synthesis system such as a virtual character breeding game device can be reproduced. It can be configured well.
【００４６】この例では、内部バス４１に外部インタフ
ェース４９が接続されている。この外部インタフェース
４９には外部入力端子５０が設けられ、ＲＳ−２３２Ｃ
通信プロトコルによるビデオ信号やデジタル放送信号な
どが入力できるようになされている。また、他の機能装
置、例えば３Ｄ映像処理装置などに接続できる外部入力
端子５１が設けられており、Ｅ2ＰＲＯＭ４８などには
格納されていない、例えば、ＴＶ放送時のキャラクタ画
像を３Ｄ映像加工処理した後のステレオ画像が供給され
る。In this example, an external interface 49 is connected to the internal bus 41. The external interface 49 is provided with an external input terminal 50, and the RS-232C
Video signals and digital broadcast signals according to communication protocols can be input. Further, an external input terminal 51 which can be connected to another functional device, for example, a 3D video processing device is provided, and for example, a character image at the time of TV broadcast which is not stored in the E2 PROM 48 or the like is subjected to 3D video processing. After that, the stereo image is supplied.
【００４７】更に、内部バス４１にはＲＯＭ４６が接続
され、この仮想画像立体合成システムを制御するための
システムプログラムや、メモリの読み出し手順などの制
御情報などが格納される。内部バス４１にはワーキング
用のＲＡＭ４７が接続され、システムプログラムやキャ
ラクタ画像を表示する表示情報が一時記録される。ま
た、内部バス４１にはＣＰＵ４５が接続され、内部イン
タフェース４２、画像処理部４４、ＲＯＭ４６、ＲＡＭ
４７及びＥ2ＰＲＯＭ４８の入出力の制御や、流し撮り
ＣＣＤ装置２２、２３、ＬＣＤ２７及びＬＣＤ２８の入
出力の制御が行われる。Further, a ROM 46 is connected to the internal bus 41, and stores a system program for controlling the virtual image stereoscopic composition system, control information such as a memory reading procedure, and the like. A working RAM 47 is connected to the internal bus 41, and system information and display information for displaying a character image are temporarily recorded. A CPU 45 is connected to the internal bus 41, and an internal interface 42, an image processing unit 44, a ROM 46, a RAM
The input and output of the 47 and E2 PROM 48 and the input and output of the panning CCD devices 22 and 23, the LCD 27 and the LCD 28 are controlled.
【００４８】この内部インタフェース４２には演算手段
として画像処理部４４が接続され、例えば、流し撮りＣ
ＣＤ装置２２，２３や通常のＣＣＤ撮像装置２４からの
撮像信号が、ＣＰＵ４５の制御命令と共に内部インタフ
ェース４２を介して、画像処理部４４に取り込まれる。
この画像処理部４４で所定の画像処理がなされ、再び、
内部インタフェース４２を介してＨＭＤ装置２内のＬＣ
Ｄ２７及びＬＣＤ２８などに転送される。このため、Ｌ
ＣＤ２７及びＬＣＤ２８の表示によって観察者の画像表
示装置１０の実像と、３Ｄポリゴン１００の画像とが観
察者の眼球に導かれて、観察者の属する背景像と３Ｄポ
リゴン１００とが頭の中で合成される。An image processing section 44 is connected to the internal interface 42 as arithmetic means.
Imaging signals from the CD devices 22 and 23 and the normal CCD imaging device 24 are taken into the image processing unit 44 via the internal interface 42 together with the control command of the CPU 45.
Predetermined image processing is performed by the image processing unit 44, and again,
LC in the HMD device 2 via the internal interface 42
D27 and LCD28. Therefore, L
The real image of the observer's image display device 10 and the image of the 3D polygon 100 are guided to the observer's eyeball by the display of the CD 27 and the LCD 28, and the background image to which the observer belongs and the 3D polygon 100 are synthesized in the head. Is done.
【００４９】なお、ＨＭＤ装置２０は非透過型のものに
限られるものではなく、例えば図１０に示すように透過
型のものであっても良い。この透過型のＨＭＤ装置２０
では、通常のＣＣＤ撮像装置２４は搭載されていない。
従って、透過型のヘッドマウントディスプレイは、流し
撮りＣＣＤ装置２２，２３と、外界像取り込み用の液晶
シャッタ６１と、画像表示素子としてのＬＣＤ６２を有
している。The HMD device 20 is not limited to a non-transmissive type, but may be a transmissive type as shown in FIG. This transmission type HMD device 20
In this case, the normal CCD image pickup device 24 is not mounted.
Therefore, the transmissive head-mounted display includes the panning CCD devices 22 and 23, a liquid crystal shutter 61 for capturing an external image, and an LCD 62 as an image display element.
【００５０】例えば、観察者の眉間に相当する位置に
は、流し撮りＣＣＤ装置２２，２３が配置され、観察者
が基準面設定用の画像表示装置１０に目を向けると、画
像表示装置１０の２次元マトリクスコードの情報が流し
撮りされる。そして、観察者の左目及び右目に相当する
位置には液晶シャッタ６１が設けられ、例えば、液晶シ
ャッタ６１が開かれると、その液晶シャッタ６１を通過
した観察者が視聴する画像表示装置１０の受信画像（実
像）が直接眼球に導かれる。For example, panning CCD devices 22 and 23 are arranged at positions corresponding to the eyebrows of the observer. When the observer turns his / her eyes to the image display device 10 for setting the reference plane, the image display device 10 The information of the two-dimensional matrix code is panned. A liquid crystal shutter 61 is provided at a position corresponding to the left and right eyes of the observer. For example, when the liquid crystal shutter 61 is opened, a received image of the image display device 10 viewed by the observer passing through the liquid crystal shutter 61 is displayed. (Real image) is directly guided to the eyeball.
【００５１】また、ＨＭＤ装置２０内の観察者の左目又
は右目の脇に位置する部分には、ＬＣＤ６２が取付けら
れ、上述のＨＭＤ装置２０と同様にしてキャラクタ画像
が表示される。図示しないが、液晶シャッタ６１と、Ｌ
ＣＤ６２との間には偏光ビームスプリッタなどの光学手
段が設けられ、観察者の画像表示装置１０の実像と、３
Ｄポリゴン１００の画像とが観察者の眼球に導くように
なされている。これにより、観察者の属する背景像と３
Ｄポリゴン１００とが頭の中で合成される。An LCD 62 is attached to a portion of the HMD device 20 located beside the left or right eye of the observer, and a character image is displayed in the same manner as the HMD device 20 described above. Although not shown, the liquid crystal shutter 61 and L
Optical means such as a polarizing beam splitter is provided between the optical disc and the CD 62.
The image of the D polygon 100 is guided to the eyeball of the observer. Thus, the background image to which the observer belongs and 3
The D polygon 100 is synthesized in the head.
【００５２】次に、動作について説明する。この例で
は、観察者の聴取する画像表示装置１０の画面に３Ｄポ
リゴン１００の画像を立体的に合成する場合であって、
画像表示装置１０の画面上には、図１１に示すように元
の表示画像（以下「元画像」という）に対して２次元マ
トリクスコード情報が部分的に挿入されて表示される。
また、２次元マトリクスコード情報は、通常の映像を見
やすくするために、流し撮りＣＣＤ装置２２，２３によ
って判別可能であると共に表示サイズが小さいものとさ
れる。Next, the operation will be described. In this example, a case where the image of the 3D polygon 100 is three-dimensionally synthesized on the screen of the image display device 10 that the observer listens to,
On the screen of the image display device 10, as shown in FIG. 11, two-dimensional matrix code information is partially inserted into an original display image (hereinafter, referred to as "original image") and displayed.
In addition, the two-dimensional matrix code information can be distinguished by the panning CCD devices 22 and 23 and has a small display size in order to make it easy to view a normal image.
【００５３】観察者は図１に示したＨＭＤ装置２０を頭
部に装着する。そして、図１２に示すフローチャートの
ステップＳＴ１で、画像表示装置１０をオン状態とし
て、観察者が画像表示装置１０の方向を向くことで、３
Ｄポリゴン１００の画像を合成しようとする基準面（表
示画面）が設定される。The observer wears the HMD device 20 shown in FIG. 1 on the head. Then, in step ST1 of the flowchart shown in FIG. 12, the image display device 10 is turned on, and the observer faces the image display
A reference plane (display screen) on which an image of the D polygon 100 is to be synthesized is set.
【００５４】次に、ステップＳＴ２では、ＨＭＤ装置２
０の流し撮りＣＣＤ装置２２，２３によって画像表示装
置１０の画面が撮影されて、流し撮りＣＣＤ装置２２，
２３からの撮像信号（輝度信号）を画像処理部４４で画
像処理すると共に２値化して２次元マトリクスコード画
像が生成される。Next, in step ST2, the HMD device 2
The screen of the image display device 10 is photographed by the panning CCD devices 22 and 23 and the panning CCD devices 22 and 23.
The image signal (luminance signal) from the image processing unit 23 is image-processed and binarized by the image processing unit 44 to generate a two-dimensional matrix code image.
【００５５】ここで、２次元マトリクスコード情報を所
定色で表示すると共に、薄膜フィルタをレンズに取り付
けて、この所定色の光を透過させて撮像素子２２３に照
射させて、上述の図６および図７と同様に処理すると共
に、流し撮りによって生成された所定色の連結領域は２
次元マトリクスコード画像に含まれるものであることか
ら、各連結領域を含む外接四角形によって２次元マトリ
クスコード画像を特定することができる。例えば、２次
元マトリクスコードの端部側ブロックが図２Ａに示すよ
うに黒ブロックとされているときには、黒ブロックの連
結領域を含む外接四角形によって２次元マトリクスコー
ド画像を特定することができる。なお、２次元マトリク
スコード画像が含まれている可能性の低い背景画像（領
域）を除去することにより、良好な２次元マトリクスコ
ードを得ることができる。また、通常のＣＣＤ撮像装置
２４を使用して実空間上のＴＶ画面を撮影してＬＣＤ２
７及びＬＣＤ２８にステレオ画像を表示する。Here, the two-dimensional matrix code information is displayed in a predetermined color, and a thin-film filter is attached to the lens, and the light of this predetermined color is transmitted to irradiate the image pickup device 223, thereby obtaining the above-mentioned FIGS. 7 and the connected area of the predetermined color generated by the panning is 2
Since the two-dimensional matrix code image is included in the two-dimensional matrix code image, the two-dimensional matrix code image can be specified by a circumscribed rectangle including each connected region. For example, when the end-side block of the two-dimensional matrix code is a black block as shown in FIG. 2A, the two-dimensional matrix code image can be specified by a circumscribed rectangle including a connection region of the black blocks. By removing a background image (region) that is unlikely to include a two-dimensional matrix code image, a good two-dimensional matrix code can be obtained. In addition, a TV screen in a real space is photographed by using a normal CCD
7 and the LCD 28 display a stereo image.
【００５６】ステップＳＴ３では、観察者の視聴する画
像表示装置１０の画面を認識するために画像処理する。
画像処理部４４では、上述したように２次元マトリクス
コード画像の四隅の４頂点を、カメラの座標系から空間
の座標系に変換することにより、少ない計算量で容易に
画像表示装置１０の画面の位置や流し撮りＣＣＤ装置２
２，２３の姿勢等を求めることができる。In step ST3, image processing is performed to recognize the screen of the image display device 10 which the observer views.
The image processing unit 44 converts the four vertices of the four corners of the two-dimensional matrix code image from the camera coordinate system to the space coordinate system as described above, so that the screen of the image display device 10 can be easily calculated with a small amount of calculation. Position and panning CCD device 2
2, 23 postures and the like can be obtained.
【００５７】ステップＳＴ４では、ステップＳＴ３で求
められた画像表示装置１０の画面の位置や流し撮りＣＣ
Ｄ装置２２，２３の姿勢等に基づき、画像表示装置１０
画面を基準として３Ｄポリゴン１００の画像の合成が行
われる。このとき、観察者が装着したＨＭＤ装置２０で
は、ＬＣＤ２７によって画像表示装置１０の表示画像と
３Ｄポリゴン１００の画像とを合成したステレオ画像の
一方が観察者の右の眼球に導くようになされると共に、
画像表示装置１０の元画像と３Ｄポリゴン１００の画像
とを合成したステレオ画像の他方がＬＣＤ２８によって
観察者の左の眼球に導くようになされる。In step ST4, the position of the screen of the image display device 10 and the panning CC obtained in step ST3 are determined.
Based on the attitude of the D devices 22 and 23, the image display device 10
The image of the 3D polygon 100 is synthesized based on the screen. At this time, in the HMD device 20 worn by the observer, one of the stereo images obtained by synthesizing the display image of the image display device 10 and the image of the 3D polygon 100 by the LCD 27 is led to the right eyeball of the observer. ,
The other of the stereo images obtained by combining the original image of the image display device 10 and the image of the 3D polygon 100 is guided to the left eyeball of the observer by the LCD 28.
【００５８】従って、図１３に示す観察者６０の視聴す
る画像表示装置１０の画面上では３Ｄポリゴン１００’
の２次元画像が表示されているだけであるのに、図１４
に示す仮想空間ではその画面から外部へ３Ｄポリゴン１
００を出現させることができる。この例では、雪だるま
の３Ｄポリゴン１００の他に、雪の３Ｄポリゴン１００
Ａなども観察者６０に降り注ぐようになされる。Therefore, on the screen of the image display device 10 viewed by the observer 60 shown in FIG.
Although only the two-dimensional image of FIG.
3D polygon 1 from the screen to the outside in the virtual space shown in
00 can appear. In this example, in addition to the snowman 3D polygon 100, the snow 3D polygon 100
A and the like also fall on the observer 60.
【００５９】つまり、観察者６０の視聴する画像表示装
置１０の元画像と、仮想空間上に出現した雪だるまなど
の３Ｄポリゴン１００が頭の中で合成されるので、実空
間上の画面の中に二次元表示されている雪だるまが、３
Ｄポリゴン１００の雪だるまとなって画面外へ、あたか
も飛び出すような画像を立体的に合成することができ
る。That is, since the original image of the image display device 10 viewed by the observer 60 and the 3D polygon 100 such as a snowman appearing in the virtual space are synthesized in the head, the original image is displayed on the screen in the real space. The two-dimensionally displayed snowman is 3
An image that appears as a snowman of the D polygon 100 and jumps out of the screen can be three-dimensionally synthesized.
【００６０】また、２次元マトリクスコード情報の挿入
位置を、例えばフレーム毎に変更させることにより、２
次元マトリクスコード情報で欠けてしまう元画像の位置
が変化されるので、２次元マトリクスコード情報の部分
的に挿入して表示させても、元画像を見やすく表示する
ことができる。Also, by changing the insertion position of the two-dimensional matrix code information for each frame, for example,
Since the position of the original image missing in the dimensional matrix code information is changed, the original image can be displayed in an easily viewable manner even when the two-dimensional matrix code information is partially inserted and displayed.
【００６１】ところで、上述の実施の形態では、流し撮
りＣＣＤ装置２２，２３で所定色の２次元マトリクスコ
ードの情報を判別するものとしたが、例えば赤、緑、青
の色彩を認識できるように各色に対応したＣＣＤ装置を
設けるものとしてもよい。この場合、赤色用のＣＣＤ装
置では、赤色識別薄膜フィルタがレンズの前面に取り付
けられて赤色の光が取り込まれる。また、緑色用のＣＣ
Ｄ装置や青色用のＣＣＤ装置では、緑色識別薄膜フィル
タや青色識別薄膜フィルタがレンズの前面に取り付けら
れて、緑色や青色の光が取り込まれる。In the above-described embodiment, the two-dimensional matrix code information of a predetermined color is determined by the follow-up CCD devices 22 and 23. However, for example, the colors of red, green, and blue can be recognized. A CCD device corresponding to each color may be provided. In this case, in the CCD device for red, a red discriminating thin film filter is attached to the front surface of the lens to capture red light. Also, CC for green
In a D device or a CCD device for blue, a green discriminating thin film filter or a blue discriminating thin film filter is attached to the front surface of the lens to capture green or blue light.
【００６２】ここで、図１５Ａに示すように、Ｘ軸方向
を水平走査方向としたとき、走査線の最上部あるいは最
下部のどちらかに緑色領域が設けると共に、水平走査開
始あるいは走査終了部分のどちらかに青色領域をＹ軸方
向に設け、さらに１つのブロックの範囲内に２値判別の
ための赤領域を設けて、画像表示装置１０の画面上に表
示する。Here, as shown in FIG. 15A, when the X-axis direction is the horizontal scanning direction, a green area is provided at either the uppermost or lowermost part of the scanning line, and a horizontal scanning start or scanning end part is provided. A blue area is provided in either direction in the Y-axis direction, and a red area for binary discrimination is provided within the range of one block, and is displayed on the screen of the image display device 10.
【００６３】このような画面を各色に対応したＣＣＤ装
置で撮影すると共に、緑色用のＣＣＤ装置と青色用のＣ
ＣＤ装置を直交して設けて流し撮りを行うことにより、
緑色用のＣＣＤ装置によって図１５Ｂに示す画像を得る
ことができると共に、青色用のＣＣＤ装置によって図１
５Ｃに示す画像を得ることができる。さらに、赤色用の
ＣＣＤ装置によって図１５Ｄに示す画像を得ることがで
きるので、緑色用のＣＣＤ装置で得られた画像と青色用
のＣＣＤ装置で得られた画像を画像の向きを合わせて合
成することで、升目状のブロックを検出することができ
ると共に、赤色用のＣＣＤ装置で得られた画像に基づい
て、検出されたブロック内が赤領域であるか否かを判別
して図１５Ｅに示す２次元マトリクスコードを得ること
ができる。Such a screen is photographed by a CCD device corresponding to each color, and a green CCD device and a blue CCD device are used.
By installing a CD device at right angles and performing panning,
The image shown in FIG. 15B can be obtained by the green CCD device, and the image shown in FIG.
An image shown in FIG. 5C can be obtained. Further, since the image shown in FIG. 15D can be obtained by the red CCD device, the image obtained by the green CCD device and the image obtained by the blue CCD device are combined with the directions of the images aligned. This makes it possible to detect the grid-shaped blocks and to determine whether or not the inside of the detected block is a red area based on the image obtained by the red CCD device, as shown in FIG. 15E. A two-dimensional matrix code can be obtained.
【００６４】このようにして２次元マトリクスコード画
像が認識されると、上述した方法で２次元マトリクスコ
ード画像の四隅の４頂点をカメラの座標系から空間の座
標系に変換することができる。このため、上述の場合と
同様にして、観察者の聴取する画像表示装置１０の画面
上に３Ｄポリゴン１００の画像を立体的に合成すること
ができる。When the two-dimensional matrix code image is recognized in this manner, the four vertices of the four corners of the two-dimensional matrix code image can be converted from the camera coordinate system to the space coordinate system by the above-described method. Therefore, in the same manner as in the above-described case, the image of the 3D polygon 100 can be three-dimensionally synthesized on the screen of the image display device 10 that the observer listens to.
【００６５】また、赤、緑、青の色を用いるだけでなく
単色の領域を設けるものとし、単色の領域の色のレベル
を３段階に分けて、赤、緑、青の各色に対応させるもの
とすれば、上述の場合と同様にして３Ｄポリゴン１０の
画像を立体的に合成することができる。In addition to using the red, green and blue colors, a single color area is provided, and the color level of the single color area is divided into three levels to correspond to each of the red, green and blue colors. Then, the image of the 3D polygon 10 can be three-dimensionally synthesized in the same manner as described above.
【００６６】ところで、上述の実施の形態では、画像表
示装置１０の画面に２次元マトリクスコードの情報を部
分的に挿入して表示するものとしたが、図１６に示すよ
うに、画面の４隅に予めバーコードを表示するものとし
たり、画面の４隅近傍にバーコードシールを貼着するも
のとしてもよい。In the above embodiment, the information of the two-dimensional matrix code is partially inserted and displayed on the screen of the image display device 10. However, as shown in FIG. Alternatively, a barcode may be displayed in advance, or a barcode sticker may be attached near four corners of the screen.
【００６７】この場合、通常のＣＣＤ撮像装置２４を用
いて撮影が行われると共に、通常のＣＣＤ撮像装置２４
から得られた撮像信号に基づき画像処理部４４では、４
隅のバーコードから４頂点を設定すると共に、この４頂
点をカメラの座標系から空間の座標系に変換して画像表
示装置１０の画面の位置やＣＣＤ撮像装置２４の姿勢等
を認識できる。このため、上述の場合と同様にして、観
察者の聴取する画像表示装置１０の画面上に３Ｄポリゴ
ン１００の画像を立体的に合成することができる。な
お、バーコードは三原色を用いて生成するものとしても
良く、また単色で色のレベルを変化させて生成するもの
としても良い。In this case, the photographing is performed using the normal CCD image pickup device 24 and the normal CCD image pickup device 24
In the image processing unit 44 based on the imaging signal obtained from
Four vertices are set from the corner barcode, and the four vertices can be converted from the camera coordinate system to the space coordinate system to recognize the position of the screen of the image display device 10, the attitude of the CCD imaging device 24, and the like. Therefore, in the same manner as in the above-described case, the image of the 3D polygon 100 can be three-dimensionally synthesized on the screen of the image display device 10 that the observer listens to. Note that the barcode may be generated using three primary colors, or may be generated by changing the color level of a single color.
【００６８】また、上述の実施の形態では流し撮りＣＣ
Ｄ装置２２，２３に関してインターライン転送方式の二
次元撮像デバイスを使用する場合について説明したが、
フレーム転送方式の二次元撮像デバイスを使用する場合
であっても同様な効果を得ることができる。In the above-described embodiment, the panning CC
Although the case where the two-dimensional imaging device of the interline transfer method is used for the D devices 22 and 23 has been described,
Similar effects can be obtained even when using a two-dimensional imaging device of the frame transfer system.
【００６９】[0069]
【発明の効果】以上説明したように、この発明によれ
ば、画像表示装置の画面上の表示画像に２次元マトリク
スコードを示す情報画像が部分的に挿入されて表示さ
れ、この２次元マトリクスコードを示す情報画像から表
示画像の位置が認識される。このため、表示画像を視聴
しながら表示画像の位置を判別することができると共
に、観察者の視聴する表示画像に、仮想体の画像を表示
画像の位置に応じて立体的に合成することができる。As described above, according to the present invention, an information image indicating a two-dimensional matrix code is partially inserted and displayed in a display image on a screen of an image display device. The position of the display image is recognized from the information image indicating. Therefore, the position of the display image can be determined while viewing the display image, and the image of the virtual object can be three-dimensionally combined with the display image viewed by the observer according to the position of the display image. .
【００７０】また、２次元マトリクスコードを示す情報
画像の挿入位置が所定の周期で変更されるので、２次元
マトリクスコードを示す情報画像を見えないようにする
ことができる。Since the insertion position of the information image indicating the two-dimensional matrix code is changed at a predetermined cycle, the information image indicating the two-dimensional matrix code can be made invisible.
【００７１】さらに、２次元マトリクスコード画像の第
１の方向の端部を示す第１の情報画像と、第１の方向直
交する第２の方向の端部を示す第２の情報画像と、２次
元マトリクスコード内容を示す第３の情報画像で、２次
元マトリクスコードを示す情報画像が構成されるので、
これらの情報画像を利用して２次元マトリクスコード画
像の輪郭等の検出が容易となり、表示画像の位置を簡単
に認識できる。また、各情報画像を異なる色とすれば、
各情報画像の判別が容易である。また各情報画像を単一
色とレベル差で表示するものとすれば、単一色を表示画
像と異なる色に設定することで、正しく情報画像を判別
できる。さらに、２次元マトリクスコードを示す情報画
像に変えて表示画像の四隅にバーコードを表示するもの
とすれば、簡単な構成で表示画像の位置を認識すること
ができる。Further, a first information image indicating an end in a first direction of the two-dimensional matrix code image, a second information image indicating an end in a second direction orthogonal to the first direction, and Since the third information image indicating the contents of the dimensional matrix code forms an information image indicating the two-dimensional matrix code,
Utilizing these information images, it becomes easy to detect the contour of the two-dimensional matrix code image, and the position of the display image can be easily recognized. Also, if each information image has a different color,
Discrimination of each information image is easy. If each information image is displayed with a single color and a level difference, the information image can be correctly identified by setting the single color to a color different from the display image. Further, if bar codes are displayed at the four corners of the display image instead of the information image indicating the two-dimensional matrix code, the position of the display image can be recognized with a simple configuration.
【図１】仮想画像立体合成システムの構成を示す斜視図
である。FIG. 1 is a perspective view showing a configuration of a virtual image three-dimensional composition system.
【図２】２次元マトリクスコードと撮影画像を示す図で
ある。FIG. 2 is a diagram illustrating a two-dimensional matrix code and a captured image.
【図３】２次元マトリクスコードの表示方法を説明する
ための図である。FIG. 3 is a diagram for explaining a method of displaying a two-dimensional matrix code.
【図４】流し撮りＣＣＤ装置の構成を示す図である。FIG. 4 is a diagram illustrating a configuration of a panning CCD device.
【図５】撮像素子の構成を示す斜視図である。FIG. 5 is a perspective view illustrating a configuration of an image sensor.
【図６】２次元マトリクスコードの升目状ブロックの判
別方法を説明するための図である。FIG. 6 is a diagram for explaining a method of determining a grid-shaped block of a two-dimensional matrix code.
【図７】２次元マトリクスコードを斜め方向から撮影し
たときの升目状ブロックの判別方法を説明するための図
である。FIG. 7 is a diagram for explaining a method of determining a grid-shaped block when a two-dimensional matrix code is photographed from an oblique direction.
【図８】非透過型のＨＭＤ装置を正面から見た概念図で
ある。FIG. 8 is a conceptual diagram of a non-transmissive HMD device as viewed from the front.
【図９】画像処理装置の構成を示す図である。FIG. 9 is a diagram illustrating a configuration of an image processing apparatus.
【図１０】透過型のＨＭＤ装置を正面から見た概念図で
ある。FIG. 10 is a conceptual diagram of a transmission type HMD device as viewed from the front.
【図１１】画像表示装置の表示画像を示す図である。FIG. 11 is a diagram showing a display image of the image display device.
【図１２】仮想画像立体合成システムの動作を示すフロ
ーチャートである。FIG. 12 is a flowchart illustrating an operation of the virtual image three-dimensional composition system.
【図１３】ＨＭＤ装置の非装着時の画像を示す図であ
る。FIG. 13 is a diagram illustrating an image when the HMD device is not mounted.
【図１４】ＨＭＤ装置の装着時の仮想画像を示す図であ
る。FIG. 14 is a diagram showing a virtual image when the HMD device is mounted.
【図１５】複数色の２次元マトリクスコードを用いた場
合の動作を説明するための図である。FIG. 15 is a diagram for explaining an operation when a two-dimensional matrix code of a plurality of colors is used.
【図１６】画面の位置認識用のコードの他の表示方法を
説明するための図である。FIG. 16 is a diagram for explaining another method of displaying a code for recognizing a position on a screen.
１０・・・画像表示装置、２０・・・ヘッドマウントデ
ィスプレイ装置、２１・・・本体部、２２，２３・・・
流し撮りＣＣＤ装置、２４・・・ＣＣＤ装置、２５・・
・表示手段、２６・・・ベルト、２７，２８，６２・・
・ＬＣＤ、３０・・・画像処理装置、４１・・・内部バ
ス、４２・・・内部インタフェース、４４・・・画像処
理部、４５・・・ＣＰＵ、４６・・・ＲＯＭ、４７・・
・ＲＡＭ、４８・・・Ｅ2ＰＲＯＭ、４９・・・外部イ
ンタフェース、５０，５１・・・外部入力端子、６１・
・・液晶シャッタ、１００，１００’，１００Ａ・・・
ポリゴンDESCRIPTION OF SYMBOLS 10 ... Image display apparatus, 20 ... Head mounted display apparatus, 21 ... Body part, 22, 23 ...
Panning CCD device, 24 ... CCD device, 25 ...
.Display means, 26... Belts, 27, 28, 62.
LCD, 30 image processing device, 41 internal bus, 42 internal interface, 44 image processing unit, 45 CPU, 46 ROM, 47
· RAM, 48 ··· E 2 PROM , 49 ··· external interface, 50, 51 ... external input terminal, 61,
..Liquid crystal shutters, 100, 100 ', 100A ...
polygon
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B050 BA09 DA07 EA09 EA19 EA28 FA02 FA05 FA06 5B087 AA00 AD02 AE00 BC05 BC19 BC26 CC25 CC26 CC33 DE02 5E501 AA30 AC15 BA20 CA10 CB14 EB05 EB15 FA14 FA36 FA46 FB43 ──────────────────────────────────────────────────続 き Continued on front page F term (reference) 5B050 BA09 DA07 EA09 EA19 EA28 FA02 FA05 FA06 5B087 AA00 AD02 AE00 BC05 BC19 BC26 CC25 CC26 CC33 DE02 5E501 AA30 AC15 BA20 CA10 CB14 EB05 EB15 FA14 FA36 FA46 FB43
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2283699AJP2000222116A (en) | 1999-01-29 | 1999-01-29 | Position recognition method for display image, position recognition device therefor and virtual image stereoscopic synthesis device |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2283699AJP2000222116A (en) | 1999-01-29 | 1999-01-29 | Position recognition method for display image, position recognition device therefor and virtual image stereoscopic synthesis device |
| Publication Number | Publication Date |
|---|---|
| JP2000222116Atrue JP2000222116A (en) | 2000-08-11 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2283699APendingJP2000222116A (en) | 1999-01-29 | 1999-01-29 | Position recognition method for display image, position recognition device therefor and virtual image stereoscopic synthesis device |
| Country | Link |
|---|---|
| JP (1) | JP2000222116A (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008510254A (en)* | 2004-08-19 | 2008-04-03 | 株式会社ソニー・コンピュータエンタテインメント | Portable augmented reality device and method |
| CN100442214C (en)* | 2002-10-31 | 2008-12-10 | 微软公司 | Decoding and error correction in 2-d arrays |
| JP2011258120A (en)* | 2010-06-11 | 2011-12-22 | Nintendo Co Ltd | Image processing system, image processing program, image processing device and image processing method |
| JP2015521419A (en)* | 2012-05-09 | 2015-07-27 | エヌカム テクノロジーズ リミテッドＮｃａｍ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｌｉｍｉｔｅｄ | A system for mixing or synthesizing computer generated 3D objects and video feeds from film cameras in real time |
| JP2015228201A (en)* | 2014-05-30 | 2015-12-17 | モリアタウン カンパニー リミテッド | Display device using wearable glasses and operating method thereof |
| JP2017055797A (en)* | 2015-09-14 | 2017-03-23 | 株式会社三共 | Image visual recognition device |
| KR101768604B1 (en)* | 2011-01-14 | 2017-08-17 | 에코스타 테크놀로지스 엘엘씨 | 3-D Matrix Barcode Presentation |
| US10015550B2 (en) | 2010-12-20 | 2018-07-03 | DISH Technologies L.L.C. | Matrix code-based user interface |
| US10015483B2 (en) | 2011-02-28 | 2018-07-03 | DISH Technologies LLC. | Set top box health and configuration |
| CN108319875A (en)* | 2017-01-16 | 2018-07-24 | 欧姆龙株式会社 | Sensor support system, terminal, sensor and sensor support method |
| US10165321B2 (en) | 2011-02-28 | 2018-12-25 | DISH Technologies L.L.C. | Facilitating placeshifting using matrix codes |
| US10382807B2 (en) | 2010-11-24 | 2019-08-13 | DISH Technologies L.L.C. | Tracking user interaction from a receiving device |
| JP2023516554A (en)* | 2020-03-04 | 2023-04-20 | メタ プラットフォームズ テクノロジーズ， リミテッド ライアビリティ カンパニー | Systems and methods for synchronizing eyewear devices with displays |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100442214C (en)* | 2002-10-31 | 2008-12-10 | 微软公司 | Decoding and error correction in 2-d arrays |
| JP2008510254A (en)* | 2004-08-19 | 2008-04-03 | 株式会社ソニー・コンピュータエンタテインメント | Portable augmented reality device and method |
| JP2011258120A (en)* | 2010-06-11 | 2011-12-22 | Nintendo Co Ltd | Image processing system, image processing program, image processing device and image processing method |
| US9058790B2 (en) | 2010-06-11 | 2015-06-16 | Nintendo Co., Ltd. | Image processing system, storage medium storing image processing program, image processing apparatus and image processing method |
| US10382807B2 (en) | 2010-11-24 | 2019-08-13 | DISH Technologies L.L.C. | Tracking user interaction from a receiving device |
| US10015550B2 (en) | 2010-12-20 | 2018-07-03 | DISH Technologies L.L.C. | Matrix code-based user interface |
| KR101768604B1 (en)* | 2011-01-14 | 2017-08-17 | 에코스타 테크놀로지스 엘엘씨 | 3-D Matrix Barcode Presentation |
| US10165321B2 (en) | 2011-02-28 | 2018-12-25 | DISH Technologies L.L.C. | Facilitating placeshifting using matrix codes |
| US10015483B2 (en) | 2011-02-28 | 2018-07-03 | DISH Technologies LLC. | Set top box health and configuration |
| US9600936B2 (en) | 2012-05-09 | 2017-03-21 | Ncam Technologies Limited | System for mixing or compositing in real-time, computer generated 3D objects and a video feed from a film camera |
| JP2015521419A (en)* | 2012-05-09 | 2015-07-27 | エヌカム テクノロジーズ リミテッドＮｃａｍ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｌｉｍｉｔｅｄ | A system for mixing or synthesizing computer generated 3D objects and video feeds from film cameras in real time |
| US11182960B2 (en) | 2012-05-09 | 2021-11-23 | Ncam Technologies Limited | System for mixing or compositing in real-time, computer generated 3D objects and a video feed from a film camera |
| US11721076B2 (en) | 2012-05-09 | 2023-08-08 | Ncam Technologies Limited | System for mixing or compositing in real-time, computer generated 3D objects and a video feed from a film camera |
| US12217375B2 (en) | 2012-05-09 | 2025-02-04 | Ncam Technologies Limited | System for mixing or compositing in real-time, computer generated 3D objects and a video feed from a film camera |
| JP2015228201A (en)* | 2014-05-30 | 2015-12-17 | モリアタウン カンパニー リミテッド | Display device using wearable glasses and operating method thereof |
| JP2017055797A (en)* | 2015-09-14 | 2017-03-23 | 株式会社三共 | Image visual recognition device |
| CN108319875A (en)* | 2017-01-16 | 2018-07-24 | 欧姆龙株式会社 | Sensor support system, terminal, sensor and sensor support method |
| CN108319875B (en)* | 2017-01-16 | 2021-07-16 | 欧姆龙株式会社 | Sensor support system, terminal, sensor, and sensor support method |
| JP2023516554A (en)* | 2020-03-04 | 2023-04-20 | メタ プラットフォームズ テクノロジーズ， リミテッド ライアビリティ カンパニー | Systems and methods for synchronizing eyewear devices with displays |
| Publication | Publication Date | Title |
|---|---|---|
| US10390005B2 (en) | Generating images from light fields utilizing virtual viewpoints | |
| CN102378015B (en) | Use the image capture of brightness and chromaticity transducer | |
| JP5140210B2 (en) | Imaging apparatus and image processing method | |
| CN102428707B (en) | Image aligning device for stereoscopic viewing and image aligning method for stereoscopic viewing | |
| CN108307675A (en) | More baseline camera array system architectures of depth enhancing in being applied for VR/AR | |
| CN102668537A (en) | Multocular image pickup apparatus and multocular image pickup method | |
| JP2000222116A (en) | Position recognition method for display image, position recognition device therefor and virtual image stereoscopic synthesis device | |
| JP2020167659A (en) | Image processing apparatus, head-mounted display, and image display method | |
| KR20150003576A (en) | Apparatus and method for generating or reproducing three-dimensional image | |
| JP4281139B2 (en) | Position recognition apparatus, position recognition method, and virtual image stereoscopic composition apparatus | |
| JP4211097B2 (en) | Receiver, position recognition apparatus thereof, position recognition method thereof, and virtual image stereoscopic composition apparatus | |
| KR102112491B1 (en) | Method for description of object points of the object space and connection for its implementation | |
| TWI505708B (en) | Image capture device with multiple lenses and method for displaying stereo image thereof | |
| JP6257260B2 (en) | Imaging apparatus and control method thereof | |
| JP2000132329A (en) | Device and method for recognizing surface and virtual image solid synthesizer | |
| JP2005174148A (en) | Image pickup device and method, and image pickup system | |
| JP7429515B2 (en) | Image processing device, head-mounted display, and image display method | |
| JP2003134534A (en) | Image pickup device | |
| JP2000098300A (en) | Device and method for stereoscopically synthesizing virtual image, game device and recording medium | |
| CN115129159A (en) | Display method and device, head-mounted equipment, electronic equipment and computer medium | |
| JP4360180B2 (en) | 3D image shooting device | |
| JP2000098870A (en) | Virtual image stereoscopic compositing device virtual image stereoscopic compositing method, game device and recording medium | |
| JP2004128588A (en) | Imaging device | |
| KR100489213B1 (en) | View finder system for stereo picture | |
| JP2000217131A (en) | Position recognition information generation method and information reading method, and virtual image three-dimensional synthesis device |