【０００１】[0001]
【発明の属する技術分野】本発明は、例えばＨＭＤに取
り付けられ、３次元空間中を移動する撮像装置の位置姿
勢を推定する撮像部位置姿勢推定装置及びその制御方法
に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image pickup unit position / orientation estimation apparatus for estimating the position / orientation of an image pickup apparatus attached to an HMD and moving in a three-dimensional space, and a control method thereof.
【０００２】[0002]
【従来の技術】現実空間を撮像する撮像部（ビデオカメ
ラ等）の外部パラメータ（位置姿勢）を計測、決定する
方法において、2. Description of the Related Art In a method for measuring and determining external parameters (position and orientation) of an image pickup section (video camera, etc.) for picking up a physical space,
【０００３】（１）画像情報のみによる推定方法（例えば、加藤，Ｍａｒｋ，浅野，橘：「マーカ追跡に
基づく拡張現実感システムとそのキャリブレーショ
ン」，日本バーチャルリアリティ学会論文集 Vol.4No.
4, pp.607-616,1999に記載。以下第１文献と呼ぶ）、（２）６自由度位置姿勢センサと画像とのハイブリッド
な推定方法(1) Estimation method using only image information (for example, Kato, Mark, Asano, Tachibana: "Augmented Reality System Based on Marker Tracking and Its Calibration", The Virtual Reality Society of Japan Vol.4 No.
4, pp.607-616, 1999. (Hereinafter referred to as the first document), (2) Hybrid estimation method of 6-DOF position / orientation sensor and image
【０００４】（例えば特開平１１−１３６７０６号公
報、特開２０００−３４７１２８号公報に記載）（３）画像と加速度センサのハイブリッドな推定方法（例えば、横小路，菅原，吉川：「画像と加速度計を用
いたＨＭＤ上での映像の正確な重ね合わせ」， 日本バ
ーチャルリアリティ学会論文集 Vol.4 No.4, pp.589-5
98,1999）（４）ジャイロセンサと画像とのハイブリッドな位置合
わせなどの推定方法（例えば、藤井，神原，岩佐，竹村，横矢：「拡張現実
のためのジャイロセンサを併用したステレオカメラによ
る位置合わせ」， 信学技報 PRMU99-192, January 20
00、以下第２文献と呼ぶ）等が知られている。また、画
像による位置合わせや、６自由度センサと画像のハイブ
リッドな方法では、さらに手法の異なる様々な方法があ
る。(For example, described in JP-A-11-136706 and JP-A-2000-347128) (3) Hybrid estimation method of image and acceleration sensor (eg Yokokoji, Sugawara, Yoshikawa: "Image and accelerometer Accurate Superimposition of Images on HMD Using ", Virtual Reality Society of Japan Vol.4 No.4, pp.589-5
98,1999) (4) Estimation method such as hybrid alignment between gyro sensor and image (eg Fujii, Kamihara, Iwasa, Takemura, Yokoya: "Registration by stereo camera with gyro sensor for augmented reality" ], IEICE Technical Report PRMU99-192, January 20
00, hereinafter referred to as the second document) and the like are known. In addition, there are various methods in which the method is further different in the image-based alignment and the hybrid method of the 6-DOF sensor and the image.
【０００５】[0005]
【発明が解決しようとする課題】しかし、上に挙げた従
来の方法は、それぞれ得意とする環境や場面が異なり、
ある特定の環境内においても、場面によっては相補的な
関係にある場合がありえる。しかし、それぞれの方法は
独立した処理を前提としており、場面に応じて様々な手
法を動的に切り替えて用いることは想定されていなかっ
た。具体的な例を挙げれば、（２）の、６自由度センサ
の１種である磁気センサと画像情報とのハイブリッドな
推定方法を使用する場合に、計測対象である撮像部が磁
気センサの計測範囲外に出た場合には、画像情報のみに
よる推定方法に切り替えるような処理ができない、とい
う状況が挙げられる。However, the conventional methods listed above are different in their respective environments and scenes, and are different from each other.
Even within a specific environment, there may be complementary relationships depending on the scene. However, each method is premised on independent processing, and it has not been supposed to dynamically switch and use various methods depending on the situation. As a specific example, when the hybrid estimation method of (2) a magnetic sensor, which is one of the six-degree-of-freedom sensors, and image information is used, the imaging unit that is the measurement target measures the magnetic sensor. There is a situation in which, when it goes out of the range, it is impossible to perform a process of switching to an estimation method based on only image information.
【０００６】本発明は、このように、場面に応じて様々
な推定方法を動的に切り替えることができないという従
来技術の問題点に鑑みてなされたものであり、位置姿勢
の計測対象である撮像部が存在する状況に応じて、複数
の位置姿勢推定方法を動的に切り替え可能な撮像部位置
姿勢推定装置及びその制御方法を提供することを目的と
する。本発明を用いれば、その場その場で望ましい推定
方法をユーザが能動的に選択する、または装置が状況に
応じて自動的に選択することが可能になり、従来よりも
広範囲な空間において撮像部の位置姿勢を推定すること
が可能である。本発明において選択対象となる方法は、
カメラの位置姿勢を推定する方法であれば、如何なる方
法であっても良い。The present invention has been made in view of the problem of the prior art that various estimation methods cannot be dynamically switched according to the scene as described above. It is an object of the present invention to provide an image capturing unit position / orientation estimation device and a control method thereof capable of dynamically switching a plurality of position / orientation estimation methods according to the situation in which a unit exists. According to the present invention, the user can actively select a desired estimation method on the spot or the device can automatically select the estimation method according to the situation. It is possible to estimate the position and orientation of the. The method to be selected in the present invention is
Any method may be used as long as it is a method of estimating the position and orientation of the camera.
【０００７】[0007]
【課題を解決するための手段】すなわち、本発明の要旨
は、３次元空間内に位置する撮像手段の位置姿勢を推定
し、位置姿勢情報として出力する撮像部位置姿勢推定装
置であって、撮像手段の位置姿勢を互いに異なる方法で
推定する、２つ以上の推定手段と、推定手段を動的に選
択する選択手段とを備え、選択手段で選択された推定手
段による推定結果を位置姿勢情報として出力することを
特徴とする撮像部位置姿勢推定装置に存する。That is, the gist of the present invention is an image pickup unit position / orientation estimation apparatus for estimating the position / orientation of an image pickup unit located in a three-dimensional space and outputting it as position / orientation information. Two or more estimating means for estimating the position and orientation of the means by different methods and a selecting means for dynamically selecting the estimating means are provided, and the estimation result by the estimating means selected by the selecting means is used as the position and orientation information. The present invention resides in an image pickup unit position / orientation estimation device characterized by outputting.
【０００８】また、本発明の別の要旨は、請求項１乃至
請求項９のいずれか１項に記載の撮像部位置姿勢推定装
置と、撮像部位置姿勢推定装置から得られる位置姿勢情
報を用いて仮想空間画像を生成し、撮像部が撮像した画
像と合成して複合現実感画像を生成する複合現実感画像
生成手段と、複合現実感画像を撮像部を装着するユーザ
に提示する提示手段を有することを特徴とする複合現実
感提示システムに存する。Another aspect of the present invention uses the image pickup unit position / orientation estimation apparatus according to any one of claims 1 to 9 and the position / orientation information obtained from the image pickup unit position / orientation estimation apparatus. A virtual space image to generate a virtual reality image, and combine the image captured by the image capturing unit to generate a mixed reality image; and a presenting unit that presents the mixed reality image to a user wearing the image capturing unit. It exists in a mixed reality presentation system characterized by having.
【０００９】また、本発明の別の要旨は、３次元空間内
に位置する撮像手段の位置姿勢を、互いに異なる方法で
推定する２つ以上の推定手段を選択的に用いて推定し、
位置姿勢情報として出力する撮像部位置姿勢推定装置の
制御方法であって、推定手段を動的に選択する選択ステ
ップと、選択ステップで選択された推定手段による推定
結果を位置姿勢情報として出力する出力ステップとを有
することを特徴とする撮像部位置姿勢推定装置の制御方
法に存する。Further, another gist of the present invention is to estimate the position and orientation of the image pickup means located in the three-dimensional space by selectively using two or more estimating means for estimating by different methods.
A control method for an image pickup unit position / orientation estimation device, which outputs as position / orientation information, comprising: a selecting step of dynamically selecting an estimating means; and an output of outputting an estimation result by the estimating means selected in the selecting step as position / orientation information. And a control method of the image capturing unit position / orientation estimation apparatus.
【００１０】また、本発明の別の要旨は、本発明の撮像
部位置姿勢推定装置の制御方法をコンピュータ装置に実
行させることを特徴とするコンピュータプログラムに存
する。Another subject matter of the present invention resides in a computer program characterized by causing a computer device to execute the control method of the image pickup unit position / orientation estimation device of the present invention.
【００１１】また、本発明の別の要旨は、本発明のコン
ピュータプログラムを格納したことを特徴とするコンピ
ュータ装置読みとり可能な記憶媒体に存する。Another subject matter of the present invention resides in a computer-readable storage medium characterized in that the computer program of the present invention is stored.
【００１２】[0012]
【発明の実施の形態】＜第１の実施形態＞以下、添付図
面を参照して、本発明をその好適な実施形態に基づき詳
細に説明する。以下の説明においては、ビデオシースル
ー(Video See-Through)型のヘッドマウントディスプレ
イ（ＨＭＤ）を用いた複合現実感提示システムに、本発
明の実施形態に係る撮像部位置姿勢推定装置を適用した
場合について説明する。BEST MODE FOR CARRYING OUT THE INVENTION <First Embodiment> Hereinafter, the present invention will be described in detail based on its preferred embodiments with reference to the accompanying drawings. In the following description, the case where the imaging unit position / orientation estimation apparatus according to the embodiment of the present invention is applied to a mixed reality presentation system using a video see-through type head mounted display (HMD) explain.
【００１３】本発明の撮像部位置姿勢推定装置により、
ビデオシースルー型のＨＭＤに取り付けた撮像部（以
降、特に断らない限り「撮像部」という言葉は左右一対
のカメラをまとめて表す）の位置姿勢を推定することに
より、ユーザが複合現実感(Mixed Reality:MR)空間をよ
り広範囲な空間において体験できる。According to the position and orientation estimation device of the image pickup unit of the present invention,
By estimating the position and orientation of the image pickup unit attached to the video see-through HMD (hereinafter, the term “image pickup unit” collectively refers to a pair of left and right cameras unless otherwise specified), the user can obtain mixed reality (Mixed Reality). : MR) You can experience the space in a wider area.
【００１４】複合現実感提示システムとは、現実空間の
画像とコンピュータグラフィックス等の非現実空間（仮
想空間）画像を合成した複合現実空間（ＭＲ空間）を、
ユーザ（観察者）に提示するシステムである。なお、Ｍ
Ｒ技術についての情報は、例えばhttp://www.mr-syste
m.co.jp/whatsmr/index_j.html/から得ることができ
る。The mixed reality presentation system is a mixed reality space (MR space) obtained by synthesizing an image of the real space and an image of an unreal space (virtual space) such as computer graphics.
This is a system presented to the user (observer). In addition, M
For information on R technology, see http: //www.mr-syste
You can get it from m.co.jp/whatsmr/index_j.html/.
【００１５】ＭＲ空間を表現するためには、現実空間を
撮像する撮像部の現実空間上での位置姿勢を推定するこ
とが不可欠である。これは、仮想物体（仮想空間画像）
を現実空間上の位置に合わせて描画するには、撮像部の
現実空間上での位置姿勢から見た仮想物体の画像を生成
しなければならないからである。仮想物体は世界座標系
上で定義されているために、ビューイング変換行列と呼
ばれる変換行列により、世界座標系から撮像部を中心と
する座標系であるカメラ座標系に変換する必要がある。
カメラ座標系に変換された仮想物体を描画することによ
って現実空間の位置と合った画像を生成できる。つま
り、撮像部の位置姿勢を表すビューイング変換行列を推
定できれば、この撮像部によって撮像した現実空間の画
像と、推定したビューイング変換行列を用いて生成した
仮想空間画像とを合成することにより、適切なＭＲ空間
を表現する複合現実感映像（画像）を生成することがで
きる。In order to express the MR space, it is indispensable to estimate the position and orientation in the real space of the image pickup unit for picking up the real space. This is a virtual object (virtual space image)
This is because it is necessary to generate an image of a virtual object viewed from the position and orientation of the image capturing unit in the real space, in order to draw in accordance with the position in the real space. Since the virtual object is defined on the world coordinate system, it is necessary to convert from the world coordinate system to the camera coordinate system, which is a coordinate system centered on the imaging unit, by a transformation matrix called a viewing transformation matrix.
An image matching the position in the real space can be generated by drawing the virtual object converted into the camera coordinate system. That is, if the viewing transformation matrix representing the position and orientation of the image capturing unit can be estimated, by synthesizing the image of the real space captured by the image capturing unit and the virtual space image generated using the estimated viewing transformation matrix, A mixed reality video (image) expressing an appropriate MR space can be generated.
【００１６】本実施形態に係る撮像部位置姿勢推定装置
では、従来の技術で挙げた第１文献（画像情報のみから
推定する方法）、第２文献（画像とジャイロセンサを利
用して推定する方法）、特開平１１−１３６７０６号公
報（画像と６自由度センサを利用して推定する方法）に
て述べられている具体的な推定方法を、撮像部の存在す
る状況に応じて切り替えて用いることにより、これら推
定方法を単独で利用するよりも広範囲な領域において適
切なＭＲ空間画像を生成可能とした例を説明する。な
お、上で述べたように、本発明に係る撮像部位置姿勢推
定装置は、任意数かつ任意の推定方法を選択的に切り替
えて使用することが可能であり、以下に説明する実施形
態はその一例に過ぎない。In the image pickup unit position / orientation estimation apparatus according to this embodiment, the first document (method of estimating only from image information) and the second document (method of estimating using image and gyro sensor) mentioned in the prior art. ), The specific estimation method described in Japanese Patent Laid-Open No. 11-136706 (method for estimating using image and 6-degree-of-freedom sensor) is switched and used according to the situation where the imaging unit exists. An example will be described in which an appropriate MR spatial image can be generated in a wider area than when these estimation methods are used alone. As described above, the image capturing unit position / orientation estimation apparatus according to the present invention can selectively use an arbitrary number and arbitrary estimation methods, and the embodiment described below is not limited thereto. This is just an example.
【００１７】まず、本実施形態に係る撮像部位置姿勢推
定装置が用いる３つの撮像部の位置姿勢推定方法につい
て順に説明し、その後、切り替えに係る構成及び処理に
ついて説明する。なお、以下に説明する推定方法の詳細
については、それぞれ、第１文献、第２文献、特開平１
１−１３６７０６公報を参照されたい。First, the position / orientation estimation method for the three image pickup units used by the image pickup unit position / orientation estimation apparatus according to the present embodiment will be described in order, and then the configuration and processing relating to switching will be described. For details of the estimation method described below, refer to the first document, the second document, and Japanese Patent Application Laid-Open No. HEI-1.
See Japanese Patent Publication 1-136706.
【００１８】＜方法１：６自由度位置姿勢センサと画像
とのハイブリッドな推定方法＞はじめに、特開平１１−
１３６７０６号公報に記載される、６自由度位置姿勢セ
ンサと画像情報とを用いてハイブリッドに撮像部の位置
姿勢を推定する方法について、図４、図７を用いて説明
する。<Method 1: Hybrid estimation method of 6-DOF position / orientation sensor and image> First, Japanese Patent Laid-Open No. 11-
A method for hybridly estimating the position and orientation of an image capturing unit using a 6-degree-of-freedom position and orientation sensor and image information described in Japanese Patent No. 136706 will be described with reference to FIGS. 4 and 7.
【００１９】ここで、６自由度位置姿勢センサとは、Po
lhemus社の3SPCACE FASTRAKやAssension Technology社
のFlock of Birdsなどの磁気センサ、または、Northern
Digital社のOPTOTRAKなどの光学式センサなど、計測対
象の位置と姿勢を計測する機器を指す。この６自由度位
置姿勢センサは、ＨＭＤに固定されている。また撮像部
もＨＭＤに固定して取り付けられていることから、６自
由度センサの計測値から撮像部の位置姿勢が計測でき
る。この撮像部の位置姿勢からビューイング変換行列を
生成して現実空間画像と仮想空間画像を合成した場合、
センサの誤差が原因となって画像上での位置ずれが生じ
る。例えば、磁気センサを用いた６自由度位置姿勢セン
サの測定値は周囲の磁場に影響されるので、計測部近辺
に金属物質があると誤差が大きくなり、結果として画像
の位置ずれ量も増える。Here, the 6-degree-of-freedom position and orientation sensor is Po
Magnetic sensors such as lhemus' 3S PCACE FASTRAK or Asset Technology's Flock of Birds, or Northern
This refers to a device that measures the position and orientation of a measurement target, such as an optical sensor such as Digital's OPTOTRAK. This 6-DOF position and orientation sensor is fixed to the HMD. Further, since the image pickup unit is also fixedly attached to the HMD, the position and orientation of the image pickup unit can be measured from the measurement values of the 6-DOF sensor. When a viewing transformation matrix is generated from the position and orientation of the image capturing unit and a real space image and a virtual space image are combined,
A position error on the image occurs due to the error of the sensor. For example, since the measurement value of the 6-DOF position and orientation sensor using the magnetic sensor is influenced by the surrounding magnetic field, the error becomes large if a metal substance is present in the vicinity of the measurement section, and as a result, the amount of positional deviation of the image also increases.
【００２０】このような状況に鑑みて特開平１１−１３
６７０６号公報では、画像情報を用いて、６自由度セン
サ誤差を補正する方法を述べている。この方法では、現
実空間にマーカと呼ばれる、画像処理によって検出しや
すい特定の色や形状を有する物体、例えばシールを、現
実空間中の物体に貼り付けてランドマーク（絶対位置基
準）として利用する。また、マーカとしては特別に配置
したもの以外にも、現実空間中の特徴的な物体や点を利
用することも可能である。In view of such a situation, Japanese Patent Laid-Open No. 11-13
Japanese Patent No. 6706 describes a method of correcting a 6-degree-of-freedom sensor error using image information. In this method, an object having a specific color or shape that is easily detected by image processing, which is called a marker in the physical space, such as a sticker, is attached to an object in the physical space and used as a landmark (absolute position reference). In addition to the specially arranged markers, it is also possible to use characteristic objects or points in the real space.
【００２１】図４は画像と６自由度センサを用いた撮像
部位置姿勢推定部１７０Ａの構成例を示すブロック図で
ある。位置姿勢計測部４１０は、ユーザ頭部に装着され
たＨＭＤ１００に組み込まれた左右一対のカメラからな
る撮像部１１０の位置姿勢を計測する６自由度センサの
計測値の受信処理を行う。一方で、マーカ検出部４２０
では、撮像画像の取得部１５０から撮像部１１０で撮像
した画像を取得し、その画像からマーカ２２０Ａを検出
して、観測座標での２次元位置（ｘ０，ｙ０）を得る。
マーカ２２０Ａの検出方法は特に限らないが、例えば以
下のような例が挙げられる。現実空間に赤色マーカ２２
０Ａを配置し、それを撮像部１１０によって撮像した画
像から検出する場合は、画像中の注目画素値（Ｒ，Ｇ，
Ｂ）の特徴量ｌSをｌS＝Ｒ／（（Ｇ＋Ｂ）／２）
（式１）として求め、特徴量Ｉｓがあらかじめ指定した
閾値を超えた場合は、注目画素がマーカ領域内であると
判定する。これを、画像中の全画素に対して適応し、検
出されたマーカ領域は、個々にラベル付けされる。ラベ
ル付けされた領域の重心位置をマーカ２２０Ａの２次元
位置とし、観測座標のマーカ位置（ｘ０，ｙ０）が算出
される。このようにして得られたマーカ２２０Ａの２次
元位置と撮像部１１０の位置姿勢計測値を位置姿勢推定
部４３０に入力する。FIG. 4 is a block diagram showing a configuration example of the image pickup unit position / orientation estimation unit 170A using an image and a 6-DOF sensor. The position / orientation measurement unit 410 receives a measurement value of a 6-degree-of-freedom sensor that measures the position / orientation of the imaging unit 110 including a pair of left and right cameras incorporated in the HMD 100 mounted on the user's head. On the other hand, the marker detection unit 420
Then, the image captured by the image capturing unit 110 is acquired from the captured image acquisition unit 150, the marker 220A is detected from the image, and the two-dimensional position (x0, y0) in the observation coordinates is obtained.
The method of detecting the marker 220A is not particularly limited, but the following examples can be given, for example. Red marker 22 in the physical space
0A is arranged and detected from the image captured by the image capturing unit 110, the pixel value of interest (R, G,
The feature amount lS of B) is set to lS = R / ((G + B) / 2)
If the feature amount Is exceeds the threshold value specified in advance, it is determined that the pixel of interest is within the marker area. This is applied to all the pixels in the image, and the detected marker areas are individually labeled. The position of the center of gravity of the labeled area is used as the two-dimensional position of the marker 220A, and the marker position (x0, y0) of the observation coordinates is calculated. The two-dimensional position of the marker 220A and the position / orientation measurement value of the imaging unit 110 thus obtained are input to the position / orientation estimation unit 430.
【００２２】図７は位置姿勢推定部４３０で行われる処
理の概要を示す図である。まず、位置姿勢計測部４１０
より入力された計測値から、カメラ（撮像部１１０）の
ビューイング変換行列ＭCを生成する（ステップＳ７０
０）。さらに、ビューイング変換座標ＭCと既知である
世界座標系上での各マーカの３次元位置と、撮像部１１
０の理想的透視変換行列から、各マーカの観測座標予測
値を算出する（ステップＳ７１０）。FIG. 7 is a diagram showing an outline of processing performed by the position / orientation estimation unit 430. First, the position / orientation measurement unit 410
The viewing transformation matrix MC of the camera (imaging unit 110) is generated from the input measurement value (step S70).
0). Furthermore, the viewing transformation coordinate MC and the three-dimensional position of each marker on the known world coordinate system, and the imaging unit 11
From the ideal perspective transformation matrix of 0, the observation coordinate prediction value of each marker is calculated (step S710).
【００２３】そして、ステップＳ７２０において、マー
カ検出部４２０から渡されたマーカ位置情報（２次元観
測座標）に基づいて、現在観測しているマーカ、すなわ
ち補正の基準となるマーカを判別する。ステップＳ７３
０では、ステップＳ７１０で演算されたマーカの観測座
標予測値とマーカ検出部４２０が検出したマーカの２次
元観測座標値との差異に基づいて、位置姿勢計測部４１
０によって得られた撮像部１１０の位置姿勢を表すビュ
ーイング変換行列ＭCを補正するための補正行列ΔＭCを
求める。さらに、ステップＳ７４０において、ステップ
Ｓ７３０で求めた補正行列ΔＭCとステップＳ７００で
求めた計測値からのカメラのビューイング変換行列ＭC
を積算することにより、補正後の視点のビューイング変
換行列ＭC１を得ることができる。すなわち、 ＭC１＝
ΔＭC・ＭC である。Then, in step S720, the currently observed marker, that is, the marker serving as a reference for correction, is determined based on the marker position information (two-dimensional observation coordinates) passed from the marker detection unit 420. Step S73
At 0, the position / orientation measurement unit 41 is based on the difference between the observed coordinate predicted value of the marker calculated in step S710 and the two-dimensional observed coordinate value of the marker detected by the marker detection unit 420.
A correction matrix ΔMC for correcting the viewing transformation matrix MC representing the position and orientation of the image capturing unit 110 obtained by 0 is obtained. Furthermore, in step S740, the correction matrix ΔMC obtained in step S730 and the camera viewing transformation matrix MC from the measurement values obtained in step S700.
By multiplying by, it is possible to obtain the corrected viewing viewing matrix MC1 . That is, MC1 =
ΔMC · MC
【００２４】最後に、世界座標系で定義された仮想物体
の３次元データを、補正されたビューイング変換行列Ｍ
C１を用いてカメラ座標系に変換することで、ＨＭＤを
装着したユーザの視点位置から見た仮想物体の画像を生
成できる。そして、撮像部１１０から入力される現実空
間の映像と仮想物体画像とを合成し、複合現実映像（以
降、ＭＲ画像と呼ぶ）を生成する。なお、仮想物体に関
するデータは不図示の外部メモリに格納されているもの
とする。生成されたＭＲ画像は、ＨＭＤ内の表示部（図
示せず）に出力される。このようして得られたＭＲ画像
をＨＭＤ１００を介してユーザに提示することにより、
ユーザはＭＲ空間を認識することができる。Finally, the three-dimensional data of the virtual object defined in the world coordinate system is converted into the corrected viewing transformation matrix M.
By converting to the camera coordinate system usingC1 , an image of the virtual object viewed from the viewpoint position of the user wearing the HMD can be generated. Then, the image of the physical space input from the imaging unit 110 and the virtual object image are combined to generate a mixed reality image (hereinafter referred to as an MR image). Note that the data regarding the virtual object is stored in an external memory (not shown). The generated MR image is output to the display unit (not shown) in the HMD. By presenting the MR image thus obtained to the user via the HMD 100,
The user can recognize the MR space.
【００２５】この手法においては、６自由度センサの計
測範囲内では高い精度にて現実空間と仮想空間の位置合
わせが行われるが、計測対象であるＨＭＤ１００に装着
された撮像部１１０がセンサの計測範囲を超えた場合
（例えば、センサが撮像部近傍に取り付けられた発信機
と離れた位置にある受信機とから構成され、その距離が
所定の範囲を超えた場合など）は、センサの誤差が許容
値を越えるため、マーカの判別処理に問題が生じ、正確
な位置合わせはできない。このようなことから、特開平
１１−１３６７０６号公報では、予め定めた測定範囲内
でセンサを使用することを前提としている。In this method, the real space and the virtual space are aligned with high accuracy within the measurement range of the 6-degree-of-freedom sensor, but the image pickup unit 110 mounted on the HMD 100 as the measurement target measures the sensor. If the range is exceeded (for example, the sensor is composed of a transmitter mounted near the imaging unit and a receiver at a remote position, and the distance exceeds a predetermined range), the sensor error Since the value exceeds the allowable value, there is a problem in the marker discrimination process, and accurate alignment cannot be performed. For this reason, Japanese Patent Laid-Open No. 11-136706 presupposes that the sensor is used within a predetermined measurement range.
【００２６】なお、撮像部位置姿勢推定部１７０Ａは例
えば汎用のコンピュータ装置から構成され、各部はソフ
トウェアを実行するＣＰＵ又は専用のハードウェアによ
って実現される。The image pickup unit position / orientation estimation unit 170A is composed of, for example, a general-purpose computer device, and each unit is realized by a CPU executing software or dedicated hardware.
【００２７】＜方法２：画像情報のみによる推定方法＞
次に、第１文献に記載されるような、撮影画像中の特徴
的な画像から撮像部の位置姿勢を求める方法について、
図５及び図８を用いて説明する。図５は、画像を用いた
撮像部位置姿勢推定部１７０Ｂの構成例を示すブロック
図である。基本的には、図４の構成から６自由度センサ
１２０Ａと位置姿勢計測部４１０を除いた構成を有す
る。また、使用するマーカ２２０Ｂとして、第１文献で
は白色のカード上に書かれた一辺８０ｍｍの黒色正方形
で、その内部に各マーカを識別するための４０ｍｍ四方
のパターンが与えられたものを例示している。各マーカ
２２０Ｂ内部のパターンにより、複数のマーカの取り扱
いを可能にしている。<Method 2: Estimation method using only image information>
Next, regarding the method of obtaining the position and orientation of the imaging unit from the characteristic image in the captured image, as described in the first document,
This will be described with reference to FIGS. 5 and 8. FIG. 5 is a block diagram showing a configuration example of the image capturing unit position / orientation estimating unit 170B using an image. Basically, it has a configuration in which the 6-degree-of-freedom sensor 120A and the position / orientation measuring unit 410 are removed from the configuration of FIG. In addition, as the marker 220B to be used, in the first document, a black square having a side of 80 mm written on a white card, and a 40 mm square pattern for identifying each marker is given as an example. There is. A plurality of markers can be handled by the pattern inside each marker 220B.
【００２８】撮像画像の取得部１５０から、マーカ２２
０Ｂを含む撮像画像を受け、画像処理用マーカ検出部５
１０にてマーカ２２０Ｂの検出を行い、マーカ２２０Ｂ
の各頂点の観測座標系位置、テンプレートマッチング用
の画像を算出する。そして、それらの出力を位置姿勢推
定部５２０に入力し、撮像部１１０の位置姿勢を推定す
る。From the captured image acquisition section 150, the marker 22
An image processing marker detection unit 5 that receives a captured image including 0B
The marker 220B is detected at 10, and the marker 220B is detected.
Calculate the observation coordinate system position of each vertex and the image for template matching. Then, those outputs are input to the position / orientation estimation unit 520 to estimate the position / orientation of the imaging unit 110.
【００２９】撮像部１１０の位置姿勢を推定する処理手
順を以下で述べる。まず、マーカ２２０Ｂを撮像部１１
０により撮像することで、まずマーカ２２０Ｂの３次元
位置姿勢が推定され、マーカ座標系の位置が求まり、マ
ーカ２２０Ｂからの撮像部１１０の推定位置姿勢が算出
される。ここで、マーカ座標系と世界座標系の位置関係
が既知であるとすると、世界座標系上での撮像部１１０
の位置姿勢を推定することが可能となる。つまりは、マ
ーカ２２０Ｂの３次元位置姿勢が求められれば、撮像部
１１０の位置姿勢を推定することが可能である。The processing procedure for estimating the position and orientation of the image pickup unit 110 will be described below. First, the marker 220B is attached to the imaging unit 11
By capturing an image with 0, first, the three-dimensional position and orientation of the marker 220B is estimated, the position of the marker coordinate system is obtained, and the estimated position and orientation of the image capturing unit 110 from the marker 220B is calculated. Here, assuming that the positional relationship between the marker coordinate system and the world coordinate system is known, the image capturing unit 110 on the world coordinate system.
It is possible to estimate the position and orientation of the. That is, if the three-dimensional position and orientation of the marker 220B is obtained, the position and orientation of the imaging unit 110 can be estimated.
【００３０】前述のマーカ２２０Ｂの３次元位置姿勢推
定は、マーカ座標系からカメラ座標系への変換行列Ｔcm
を推定する問題である。Ｔcmは回転移動成分Ｒ3x3と平
行移動成分Ｔ3x1から構成される。よって、回転移動成
分Ｒ3x3と平行移動成分Ｔ3x1を求めることが必要とな
る。The above-described three-dimensional position and orientation estimation of the marker 220B is performed by the transformation matrix Tcm from the marker coordinate system to the camera coordinate system.
Is the problem of estimating. Tcm is composed of a rotational movement component R3x3 and a parallel movement component T3x1 . Therefore, it is necessary to obtain the rotational movement component R3x3 and the parallel movement component T3x1 .
【００３１】図８は図５の画像処理用マーカ検出部５１
０と位置姿勢推定部５２０の処理を説明するフローチャ
ートである。まず、画像処理用マーカ検出部５１０で
は、マーカ２２０Ｂが撮像された画像を２値化処理し、
マーカ２２０Ｂが撮像されている領域（外接長方形）の
抽出を行う（ステップＳ８００）。また、ステップＳ８
００において、抽出領域内のテンプレートマッチング用
の撮像パターン画像を保存しておく。FIG. 8 shows an image processing marker detecting section 51 of FIG.
9 is a flowchart illustrating processing of 0 and the position and orientation estimation unit 520. First, the image processing marker detection unit 510 binarizes the image captured by the marker 220B,
The region (circumscribing rectangle) in which the marker 220B is imaged is extracted (step S800). Also, step S8
At 00, the captured pattern image for template matching in the extraction area is stored.
【００３２】次に、抽出された領域情報からマーカ２２
０Ｂの各辺に対応する輪郭線データに最小２乗法で直線
当てはめを行い、各辺の線分に当てはまる直線の式を算
出する（ステップＳ８１０）。ステップＳ８２０におい
て、ステップＳ８１０にて算出した４つの直線の各交点
を求め、マーカ２２０Ｂの頂点の画像座標系上での２次
元座標値とする。画像処理用マーカ検出部５１０は、以
上の処理で得られたマーカ２２０Ｂの頂点座標値とテン
プレートマッチング用撮像パターン画像を位置姿勢推定
部５２０へ受け渡す。Next, the marker 22 is extracted from the extracted area information.
Straight line fitting is performed on the contour line data corresponding to each side of 0B by the method of least squares, and a straight line equation that fits the line segment of each side is calculated (step S810). In step S820, the intersections of the four straight lines calculated in step S810 are obtained, and set as the two-dimensional coordinate value of the apex of the marker 220B on the image coordinate system. The image processing marker detection unit 510 transfers the vertex coordinate values of the marker 220B and the template matching imaging pattern image obtained by the above processing to the position and orientation estimation unit 520.
【００３３】位置姿勢推定部５２０は、ステップＳ８３
０において、画像処理用マーカ検出部５１０がステップ
Ｓ８００にて求めたテンプレートマッチング用の撮像パ
ターン画像と、あらかじめ用意してあるテンプレートマ
ッチング用の画像を比較し、マーカ識別と、画像上にお
けるマーカ２２０Ｂの向きの判別を行う。The position / orientation estimation unit 520 causes the step S83.
At 0, the image processing marker detection unit 510 compares the image capturing pattern image for template matching obtained in step S800 with the image for template matching prepared in advance, and identifies the marker and the marker 220B on the image. Determine the orientation.
【００３４】ステップＳ８４０において、判別したマー
カ２２０Ｂの回転移動成分Ｒ3x3を求める。まず、マー
カ２２０Ｂの４頂点（画像上の２次元位置）から、向か
い合う２辺の２直線の方程式が得られる、これらの２つ
の直線とカメラの理想的透視変換行列とを用いて、カメ
ラ座標系上（３次元空間）での対応する２平面の式が得
られる。この２平面はカメラ座標系上のマーカ２２０Ｂ
の対応する辺（３次元空間中の線分）をそれぞれの平面
内に一つずつ含む。マーカ２２０Ｂの向かい合う２辺は
平行なのでその方向ベクトルは一致し、前述の２平面の
面内方向となる。そして、もう一組の平行２辺において
も同様の処理を行うことで、マーカ２２０Ｂの隣り合う
２辺の方向ベクトルを求められる。この一対の３次元ベ
クトルと、テンプレートマッチングの結果から、回転移
動成分Ｒ3x3を求める（詳細については、第１文献の
２．３．１節を参照）。In step S840, the rotational movement component R3x3 of the determined marker 220B is obtained. First, from the four vertices of the marker 220B (two-dimensional position on the image), the equation of two straight lines on two opposite sides is obtained. Using these two straight lines and the ideal perspective transformation matrix of the camera, the camera coordinate system The corresponding two-plane equations above (three-dimensional space) are obtained. These two planes are markers 220B on the camera coordinate system.
The corresponding sides (line segments in the three-dimensional space) of are included in each plane one by one. Since the two opposite sides of the marker 220B are parallel to each other, their directional vectors coincide with each other, which is the in-plane direction of the above-mentioned two planes. Then, the same processing is performed on the other pair of parallel two sides to obtain the direction vectors of the two adjacent sides of the marker 220B. From this pair of three-dimensional vectors and the result of template matching, the rotational movement component R3x3 is obtained (for details, refer to Section 2.3.1 of the first document).
【００３５】さらにステップＳ８５０において、ステッ
プＳ８４０の回転移動成分Ｒ3x3と、マーカ４頂点のマ
ーカ座標系での３次元座標値と、カメラの理想的透視変
換行列後の２次元座標値を与えると、平行移動成分Ｔ
3x1が得られる（詳細については、第１文献の２．３．
２節を参照）。Further, in step S850, when the rotational movement component R3x3 of step S840, the three-dimensional coordinate values of the four vertexes of the marker in the marker coordinate system, and the two-dimensional coordinate value after the ideal perspective transformation matrix of the camera are given, Translation component T
3x1 is obtained (for details, see 2.3.
(See section 2).
【００３６】以上の結果から、変換行列Ｔcmが求めら
れ、既知であるマーカ座標系と世界座標系との位置関係
から、世界座標系からカメラ座標系への変換行列、つま
りビューイング変換行列ＭC２を得る（ステップＳ８６
０）。From the above result, the transformation matrix Tcm is obtained, and from the known positional relationship between the marker coordinate system and the world coordinate system, the transformation matrix from the world coordinate system to the camera coordinate system, that is, the viewing transformation matrix M.Get C2 (step S86
0).
【００３７】このようにして得られたビューイング変換
行列ＭC２から撮像部１１０の位置姿勢を推定した後
は、上述の６自由度センサを用いる場合と同様に仮想物
体の映像を生成し、撮像部１１０から入力される現実空
間の映像と合成し、ＭＲ画像を生成する。After estimating the position and orientation of the image pickup unit 110 from the viewing transformation matrix MC2 obtained in this way, an image of a virtual object is generated and imaged as in the case of using the 6-degree-of-freedom sensor described above. An MR image is generated by synthesizing with an image of the physical space input from the unit 110.
【００３８】この手法により、画像情報のみから撮像部
の位置姿勢１１０を求められる。しかし、マーカ２２０
Ｂを常に撮像部１１０において撮像し、さらにマーカ２
２０Ｂの内部の識別用パターンが認識可能な程度に近い
距離から撮像していなければ、撮像部１１０の位置姿勢
の推定は不可能である。これは、マーカ２２０Ｂに完全
に依存した方法であり、見回す範囲内にマーカ２２０Ｂ
を検出できない状態、または、マーカ２２０Ｂから離れ
てパターンが認識不可能な状態では、この推定方法が使
用できないことを意味する。By this method, the position and orientation 110 of the image pickup unit can be obtained only from the image information. However, the marker 220
B is always imaged by the imaging unit 110, and the marker 2
The position and orientation of the image capturing unit 110 cannot be estimated unless an image is captured from a distance that is close to the recognizable identification pattern inside the 20B. This is a method completely dependent on the marker 220B, and the marker 220B is within the range to look around.
This means that this estimation method cannot be used in the state in which the pattern cannot be detected or the pattern cannot be recognized apart from the marker 220B.
【００３９】＜方法３：ジャイロセンサと画像とのハイ
ブリッドな推定方法＞次にジャイロセンサと画像情報を
用いてハイブリッドに撮像部の位置姿勢を推定する方法
について、図６、図９を用いて説明する。<Method 3: Hybrid Estimating Method of Gyro Sensor and Image> Next, a method of hybridly estimating the position and orientation of the image pickup section using the gyro sensor and image information will be described with reference to FIGS. 6 and 9. To do.
【００４０】図６は、ジャイロセンサと画像情報を用い
た撮像部位置姿勢推定部１７０Ｃの構成例を示すブロッ
ク図である。撮像部位置姿勢推定部１７０Ｃは、ＨＭＤ
に取り付けられ、その姿勢を計測するジャイロセンサ１
２０Ｃの計測値を受ける姿勢計測部６２０、撮像部１１
０（ステレオカメラ）からの画像を取得するとともに、
撮影画像からマーカ２２０Ａの３次元位置を検出する機
能を持つ撮像画像取得部１５０、撮像画像取得部１５０
及び姿勢計測部６２０からの情報に基づき撮像部１１０
の位置姿勢を推定する位置姿勢推定部６１０から構成さ
れる。FIG. 6 is a block diagram showing a configuration example of the image pickup unit position / orientation estimation unit 170C using a gyro sensor and image information. The imaging unit position / orientation estimation unit 170C uses the HMD.
Gyro sensor 1 that is attached to the robot and measures its posture
Attitude measurement unit 620 that receives the measurement value of 20C, imaging unit 11
While acquiring the image from 0 (stereo camera),
The captured image acquisition unit 150 and the captured image acquisition unit 150 having the function of detecting the three-dimensional position of the marker 220A from the captured image.
And the image capturing unit 110 based on the information from the posture measuring unit 620.
The position and orientation estimation unit 610 that estimates the position and orientation of
【００４１】まず、撮像部１１０の位置姿勢を推定する
処理を行う前に、基準マーカと呼ばれるマーカ２２０Ａ
を撮像して、第１フレームの初期カメラ位置姿勢を求め
る必要がある。なお、フレームとは撮像された単位画像
のことを指す。この基準マーカは世界座標系上での３次
元位置が既知であり、かつ同一直線上にない３つのマー
カ２２０Ａである。さらに、初期カメラ位置姿勢を求め
るときに、この３つのマーカ２２０Ａが左右のカメラに
撮像されていなければならない。First, before performing the processing for estimating the position and orientation of the image pickup unit 110, a marker 220A called a reference marker is used.
Needs to be imaged to determine the initial camera position and orientation of the first frame. It should be noted that a frame refers to a captured unit image. The reference markers are three markers 220A whose three-dimensional position on the world coordinate system is known and which are not on the same straight line. Furthermore, when obtaining the initial camera position and orientation, these three markers 220A must be imaged by the left and right cameras.
【００４２】まず、ステレオカメラである撮像部１１０
で３つの基準マーカ２２０Ａを同時に撮像し、エピポー
ラ拘束により左右画像中のマーカの対応付けを行う。こ
の対応付けを行ったマーカと既知であるマーカの３次元
位置を利用して、撮像部１１０の初期位置姿勢を算出す
る（詳細については、神原，岩佐，竹村，横矢： 「マ
ーカの切替え追跡による広範囲位置合わせ可能なビデオ
シースルー型拡張現実感」，信学会技報， PRMU99-19
9,pp. 51-56, Jan, 2000.を参照）。このようにして得
られた初期カメラ位置姿勢を基に、マーカ追跡を行って
第２フレーム以降のカメラ位置姿勢を求める。また、マ
ーカ追跡を行っている間は、常に１つ以上のマーカが撮
像され、かつマーカとして認識されていなければならな
い。First, the image pickup section 110 which is a stereo camera.
The three reference markers 220A are imaged at the same time, and the markers in the left and right images are associated with each other by epipolar constraint. The initial position and orientation of the image capturing unit 110 are calculated using the three-dimensional positions of the associated marker and the known marker (for details, see Kambara, Iwasa, Takemura, Yokoya: "By marker tracking tracking. Video See-through Augmented Reality with Wide-range Alignment ", IEICE Technical Report, PRMU99-19
9, pp. 51-56, Jan, 2000.). Based on the initial camera position and orientation thus obtained, marker tracking is performed to obtain the camera position and orientation for the second and subsequent frames. Further, during the marker tracking, one or more markers must always be imaged and recognized as the markers.
【００４３】図９はマーカ追跡処理中の位置姿勢推定部
６１０の処理を説明するフローチャートである。まず、
撮像部１１０の回転成分の推定については、姿勢計測部
６２０からの計測値を受ける（ステップＳ９００）。次
に、ステップＳ９１０で、撮像部１１０の平行移動成分
を推定する。この推定は、ステップＳ９４０により格納
した前フレームのマーカ３次元位置と、現フレームから
得られるマーカ３次元位置と、ステップＳ９００で得ら
れた回転移動成分とから、行うことができる（第２文献
の２．２節を参照）。FIG. 9 is a flow chart for explaining the processing of the position / orientation estimation unit 610 during the marker tracking processing. First,
Regarding the estimation of the rotation component of the image capturing unit 110, the measurement value from the posture measuring unit 620 is received (step S900). Next, in step S910, the translation component of the image capturing unit 110 is estimated. This estimation can be performed from the marker three-dimensional position of the previous frame stored in step S940, the marker three-dimensional position obtained from the current frame, and the rotational movement component obtained in step S900 (see second document). See section 2.2).
【００４４】ステップＳ９３０では、ステップＳ９００
で得られた回転成分の推定値とステップＳ９１０で得ら
れた平行移動成分の推定値を基に、現在のフレームにお
ける画像上のマーカ位置を予測し、予測した範囲におい
てマーカ検出処理を行う。このマーカ検出処理は、図４
のマーカ検出部４２０の処理と同様の処理である。In step S930, step S900
The marker position on the image in the current frame is predicted on the basis of the estimated value of the rotation component obtained in step S910 and the estimated value of the translation component obtained in step S910, and marker detection processing is performed in the predicted range. This marker detection process is shown in FIG.
The process is the same as the process of the marker detection unit 420.
【００４５】ステップＳ９３０において、ステップＳ９
００で得られた回転成分の推定値とステップＳ９１０で
得られた平行移動成分の推定値を基に、ビューイング変
換行列ＭC３を算出する。さらに、次フレームのマーカ
検出のためのマーカ３次元位置を現在の撮像部１１０の
位置姿勢を基にステレオカメラによって求め、ステップ
Ｓ９４０において保存しておく。In step S930, step S9
The viewing transformation matrix MC3 is calculated based on the estimated value of the rotation component obtained in 00 and the estimated value of the parallel movement component obtained in step S910. Further, the three-dimensional position of the marker for detecting the marker in the next frame is obtained by the stereo camera based on the current position and orientation of the image pickup unit 110, and is saved in step S940.
【００４６】このようにして得られたビューイング変換
行列ＭC３から、撮像部１１０の位置姿勢を推定し、＜
方法１＞、＜方法２＞と同様に仮想物体の映像を生成す
る。さらに、撮像部１１０から入力される現実空間の映
像と仮想物体の映像とを合成し、ＭＲ画像を生成してＨ
ＭＤ１００の表示部を介してユーザに提示する。From the viewing transformation matrix MC3 thus obtained, the position and orientation of the image pickup unit 110 is estimated,
An image of a virtual object is generated in the same manner as in Method 1> and <Method 2>. Further, the image of the real space and the image of the virtual object input from the image pickup unit 110 are combined to generate an MR image and generate an H image.
It is presented to the user via the display unit of the MD 100.
【００４７】この手法では、ＨＭＤに取り付けられたジ
ャイロセンサを利用することにより、広範囲に移動し、
見回すことが可能である。しかし、マーカが撮像されて
いない状態で一定の距離を移動すると平行移動成分が推
定できなくなり、撮像部１１０の位置姿勢推定処理は継
続できなくなる。In this method, by using a gyro sensor attached to the HMD, it is possible to move over a wide range,
It is possible to look around. However, if the marker is not imaged and it moves a certain distance, the translation component cannot be estimated, and the position / orientation estimation process of the imaging unit 110 cannot be continued.
【００４８】以上、本実施形態に係る撮像部位置姿勢推
定装置で切り替えて使用する３つの撮像部位置姿勢推定
方法の概要と性質について述べた。以下では、これらの
方法を切り替えて使用するための具体的な構成及び動作
について説明する。The outline and the nature of the three image pickup unit position / posture estimation methods switched and used in the image pickup unit position / posture estimation apparatus according to the present embodiment have been described above. Hereinafter, a specific configuration and operation for switching and using these methods will be described.
【００４９】＜複合現実感提示システム＞図１は、本発
明の実施形態に係る撮像部位置姿勢推定装置を適用した
複合現実感提示システムの構成例を示すブロック図であ
る。<Mixed Reality Presentation System> FIG. 1 is a block diagram showing a configuration example of a mixed reality presentation system to which the image pickup unit position and orientation estimation apparatus according to the embodiment of the present invention is applied.
【００５０】複合現実感提示システムは、ユーザにＭＲ
空間画像を提示するＨＭＤ１００と、ＨＭＤ１００に装
着された撮像部１１０から得られる現実空間の画像を受
ける撮像画像の取得部１５０と、撮影画像の取得部１５
０から得られる撮像部１１０の画像をそのまま表示する
現実空間の描画部１８０と、本発明の実施形態に係る撮
像部位置姿勢推定装置２００と、撮像部位置姿勢推定装
置２００から出力される撮像部１１０の位置姿勢情報を
用いて仮想空間画像を描画し、現実空間の描画部１８０
から得られる現実空間映像と合成する仮想空間の融合描
画部１９０とから構成されている。The mixed reality presentation system provides the user with an MR.
An HMD 100 that presents a spatial image, a captured image acquisition unit 150 that receives an image of a physical space obtained from the imaging unit 110 mounted on the HMD 100, and a captured image acquisition unit 15
0, the drawing unit 180 in the real space that directly displays the image of the image capturing unit 110, the image capturing unit position / orientation estimating apparatus 200 according to the embodiment of the present invention, and the image capturing unit output from the image capturing unit position / orientation estimating apparatus 200. The virtual space image is drawn using the position and orientation information of 110, and the drawing unit 180 of the real space is drawn.
It is composed of a fusion drawing unit 190 of a virtual space to be combined with a real space image obtained from the above.
【００５１】本実施形態の複合現実感提示システムにお
いて用いるＨＭＤ１００はビデオシースルーＨＭＤであ
り、現実空間を撮像するステレオカメラである撮像部１
１０と、撮像部１１０の位置姿勢推定に利用する６自由
度位置姿勢センサ１２０と、同じく撮像部１１０の位置
姿勢推定に利用するジャイロセンサ１２５と、現実空間
と仮想空間の融合画像（ＭＲ画像）を提示するための、
例えばＬＣＤからなる表示部１３０とから構成されてい
る。さらに、撮像部１１０、６自由度センサ１２０Ａ、
ジャイロセンサ１２０Ｃ、表示部１３０はＨＭＤ１００
に固定されている。なお、ＨＭＤ１００に設けられるセ
ンサは、撮像部位置姿勢推定装置２００が切り替えて使
用する推定方法に応じて適宜加除されることに留意され
たい。The HMD 100 used in the mixed reality presentation system of the present embodiment is a video see-through HMD, and the image pickup unit 1 which is a stereo camera for picking up an image of the physical space.
10, a 6-DOF position / orientation sensor 120 used for position / orientation estimation of the imaging unit 110, a gyro sensor 125 similarly used for position / orientation estimation of the imaging unit 110, and a fusion image (MR image) of the real space and the virtual space. For presenting
For example, the display unit 130 includes an LCD. Further, the imaging unit 110, the 6-degree-of-freedom sensor 120A,
The gyro sensor 120C and the display unit 130 are the HMD 100.
It is fixed to. It should be noted that the sensors provided in the HMD 100 are appropriately added or removed according to the estimation method switched and used by the imaging unit position / orientation estimation apparatus 200.
【００５２】本実施形態において、撮像部位置姿勢推定
装置２００は、＜方法１＞で説明した位置姿勢推定部１
７０Ａ（図４）、＜方法２＞で説明した位置姿勢推定部
１７０Ｂ（図５）及び、＜方法３＞で説明した位置姿勢
推定部１７０Ｃ（図６）と同等の位置姿勢推定部１７０
Ａ〜１７０Ｃと、これら位置姿勢推定部１７０Ａ〜１７
０Ｃを動的に切り替える推定方法の選択部１６０Ａ、１
６０Ｂと、使用する推定方法（すなわち、位置姿勢推定
部）を指定する推定方法指定部１９５から構成される。
なお、本実施形態において使用する推定方法はユーザが
決定し、推定方法指定部１９５に指示することによって
使用する位置姿勢推定部が切り替えられる。また、推定
方法指定部１９５は例えばワイヤード又はワイヤレスリ
モコンとしてユーザが手元で使用できるように構成する
ことが好ましい。In the present embodiment, the image pickup unit position / orientation estimation apparatus 200 uses the position / orientation estimation unit 1 described in <Method 1>.
70A (FIG. 4), the position and orientation estimation unit 170B (FIG. 5) described in <Method 2> and the position and orientation estimation unit 170 that is equivalent to the position and orientation estimation unit 170C (FIG. 6) described in <Method 3>.
A to 170C and these position and orientation estimation units 170A to 17C
Selector 160A of the estimation method for dynamically switching 0C, 1
60B and an estimation method designation unit 195 that designates the estimation method to be used (that is, the position and orientation estimation unit).
The estimation method used in this embodiment is determined by the user, and the position / orientation estimation unit to be used is switched by instructing the estimation method designation unit 195. Further, it is preferable that the estimation method designating unit 195 is configured so that the user can use it as a wired or wireless remote controller at hand.
【００５３】図２は、図１における複合現実感提示シス
テムの使用時の状態を説明する図である。本実施形態で
は、６自由度位置姿勢センサ１２０Ａとして、Polhemus
社の3SPCACE FASTRAK(以下、FASTRAK)、ジャイロセンサ
１２０Ｃとして、InterSense社のIS-300(以下、IS-300)
を用いている。また、FASTRAKセンサは、トランスミッ
タから発生する磁界をレシーバが受け、レシーバが接続
されているFASTRAKセンサのコントローラ（不図示）に
よってレシーバの位置と姿勢を出力する構成を有するた
め、FASTRAKセンサのトランスミッタ２１０をテーブル
２４０Ａに、FASTRAKセンサのレシーバ（ステーショ
ン）１２０ＡをＨＭＤ１００に配置した。また、図１に
示すように、６自由度センサ１２０Ａ（正確にはFASTRE
AKのコントローラ）の出力は位置姿勢推定部１７０Ａ内
部の位置姿勢計測部４１０へ入力される。また、送受信
機の組み合わせからなることから、FASTREAKセンサの測
定範囲は有限であり、図２の２１５にその測定範囲を示
す。FIG. 2 is a diagram for explaining a state when the mixed reality presentation system in FIG. 1 is used. In this embodiment, the Polhemus is used as the 6-DOF position and orientation sensor 120A.
3SPCACE FASTRAK (hereinafter, FASTRAK) from InterSense, IS-300 (hereinafter, IS-300) from InterSense as gyro sensor 120C
Is used. Since the FASTRAK sensor has a configuration in which the receiver receives a magnetic field generated from the transmitter and the controller (not shown) of the FASTRAK sensor to which the receiver is connected outputs the position and orientation of the receiver, the transmitter 210 of the FASTRAK sensor is On the table 240A, the receiver (station) 120A of the FASTRAK sensor is arranged on the HMD 100. In addition, as shown in FIG. 1, the 6-degree-of-freedom sensor 120A (correctly, FASTRE
The output of the AK controller) is input to the position / orientation measuring unit 410 inside the position / orientation estimating unit 170A. Further, since the transmitter / receiver is combined, the measurement range of the FASTREAK sensor is limited, and the measurement range is indicated by 215 in FIG.
【００５４】もちろん、６自由度センサやジャイロセン
サなどは前述した製品に限るものではなく、それぞれ＜
方法１＞、＜方法３＞の実施が可能な任意のセンサを利
用可能であり、使用するセンサに応じて具体的な実装方
法は変化する。Of course, the 6-degree-of-freedom sensor, the gyro sensor, etc. are not limited to the above-mentioned products.
Any sensor that can implement Method 1> and <Method 3> can be used, and the specific mounting method changes depending on the sensor used.
【００５５】図２の２２０Ａ、２２０Ｂは現実空間に配
置されたマーカを表している。本実施形態では、２２０
Ａはテーブル２４０Ａ上に配置され、２２０Ｂはテーブ
ル２４０Ｂに配置されている。マーカ２２０Ａは位置姿
勢推定部１７０Ａ及び１７０Ｃを利用するときに使用す
るマーカであり、現実空間を撮像した撮像画像から色で
マーカ２２０Ａを抽出できるよう、テーブル２４０Ａと
は異なる色、本実施形態では赤色を有するシール状のも
のを利用している。220A and 220B in FIG. 2 represent markers arranged in the physical space. In this embodiment, 220
A is arranged on the table 240A, and 220B is arranged on the table 240B. The marker 220A is a marker used when using the position / orientation estimation units 170A and 170C, and is a color different from the table 240A, in this embodiment, red so that the marker 220A can be extracted from the captured image of the real space by color. A seal-like one having is used.
【００５６】マーカ２２０Ｂは位置姿勢推定部１７０Ｂ
を利用するときに使用するマーカを表し、＜方法２＞で
説明したマーカ２２０Ｂと同様の、内部に白地に黒い線
分などで表された識別パターンを有する黒の正方形マー
カである。また、個々のマーカ２２０Ａ、２２０Ｂの世
界座標系２３０上での位置はあらかじめ計測しておき、
それぞれの位置姿勢推定処理を行うときの入力データと
する。なお、本実施形態において、マーカ種は２２０
Ａ、２２０Ｂのようなマーカに限るものではなく、＜方
法１＞、＜方法２＞、＜方法３＞においてマーカとして
取り扱え、撮像部１１０の位置姿勢推定処理が可能であ
れば任意のマーカが適応可能である。また、切り替えて
使用される位置姿勢推定処理の全てで共用可能なマーカ
を用いることも可能である。具体的には２２０Ｂの枠部
分の色を赤くしたマーカをマーカ２２０Ａとして配置し
てもよい。The marker 220B is the position / orientation estimation unit 170B.
Is a black square marker having an identification pattern inside which is represented by a black line segment or the like on a white background, similar to the marker 220B described in <Method 2>. The positions of the individual markers 220A and 220B on the world coordinate system 230 are measured in advance,
The input data is used when performing each position and orientation estimation process. In this embodiment, the marker type is 220
The markers are not limited to the markers A and 220B, but any marker can be used as long as it can be handled as a marker in <Method 1>, <Method 2>, and <Method 3> and the position and orientation estimation processing of the imaging unit 110 is possible. It is possible. It is also possible to use a marker that can be shared by all of the position and orientation estimation processes that are switched and used. Specifically, a marker in which the color of the frame portion of 220B is red may be arranged as the marker 220A.
【００５７】図２中のＡ、Ｂ、Ｃの場所にあるＨＭＤ１
００は同一のＨＭＤ１００がＡ→Ｂ→Ｃの順番で移動し
た状態を表している。なお、ＨＭＤ１００はユーザ（不
図示）が装着しているものとする。図２中のＨＭＤ１０
０は、図１で示したＨＭＤ１００と同じ構成である。位
置Ａは、６自由度センサ１２０Ａの計測範囲２１５内に
ある場所を示し、位置Ｂは、６自由度センサ１２０Ａの
計測範囲２１５内から出て、６自由度センサ１２０Ａの
計測値に大幅な誤差が生じる場所を指している。さら
に、位置Ｃはテーブル２４０Ｂの台上を間近に見られる
場所を指している。HMD1 at the locations of A, B and C in FIG.
00 represents a state in which the same HMD 100 moves in the order of A → B → C. The HMD 100 is assumed to be worn by a user (not shown). HMD10 in FIG.
0 has the same configuration as the HMD 100 shown in FIG. The position A indicates a place within the measurement range 215 of the 6-degree-of-freedom sensor 120A, and the position B exits from the measurement range 215 of the 6-degree-of-freedom sensor 120A and has a large error in the measurement value of the 6-degree-of-freedom sensor 120A. Points to where Further, the position C indicates a place which can be seen up close on the table 240B.
【００５８】位置Ａにユーザが装着したＨＭＤ１００が
位置する場合には、FASTRAKセンサのトランスミッタ２
１０から近く、計測範囲２１５の内部であるので、ユー
ザは位置姿勢推定部１７０Ａを選択する。When the HMD 100 worn by the user is located at the position A, the transmitter 2 of the FASTRAK sensor is used.
Since it is close to 10 and inside the measurement range 215, the user selects the position / orientation estimation unit 170A.
【００５９】次に、ユーザが装着するＨＭＤ１００が位
置Ａから位置Ｂに移動した場合は、FASTRAKセンサの計
測範囲２１５内から出てしまったので、ユーザに提示さ
れるＭＲ画像は、FASTRAKセンサ誤差から現実空間と仮
想物体の位置が大幅にずれている画像となっている。そ
こでユーザは、例えば３つの位置姿勢推定部の各々を直
接指定するスイッチ又は、押下される毎に順次使用する
位置姿勢推定部を巡回的に切り替えるスイッチからなる
推定方法指定部１９５を用いて選択部１６０Ａ，１６０
Ｂを切り替え、位置姿勢推定部１７０Ｂを利用して撮像
部１１０の位置姿勢を推定するように選択する。Next, when the HMD 100 worn by the user moves from the position A to the position B, the HMD 100 has moved out of the measurement range 215 of the FASTRAK sensor. Therefore, the MR image presented to the user has an error of the FASTRAK sensor. This is an image in which the positions of the virtual space and the physical space are significantly displaced. Therefore, the user uses the estimation method designating unit 195 including a switch for directly designating each of the three position / orientation estimating units or a switch for cyclically switching the position / orientation estimating units to be sequentially used each time the button is pressed down. 160A, 160
B is switched, and the position / orientation estimation unit 170B is used to select to estimate the position / orientation of the imaging unit 110.
【００６０】この時点で、位置姿勢推定部は１７０Ｂに
切り替えられ、ジャイロセンサ１２０Ｃと画像情報から
撮像部１１０の位置姿勢を推定する。なお、位置姿勢推
定部１７０Ｂに切り替える時には、左右の撮像部１１０
Ｌ、１１０Ｒに同一直線上にない３つ以上のマーカ２２
０Ａが撮像されていなければならないが、位置Ｂでは、
テーブル２４０Ａから離れた位置であるので、テーブル
２４０Ａを注目していれば、マーカ２２０Ａを３つ以上
撮像することは容易である。切り替え後の第１フレーム
で初期カメラ位置姿勢を求めた後は、マーカ追跡処理に
よりマーカ２２０Ａは左右の撮像部１１０Ｌ、１１０Ｒ
が同一のマーカ２２０Ａを１つ撮像していれば、撮像部
１１０の位置姿勢を推定できる。At this point, the position / orientation estimation unit is switched to 170B, and the position / orientation of the image pickup unit 110 is estimated from the gyro sensor 120C and the image information. When switching to the position / orientation estimation unit 170B, the left and right imaging units 110 are used.
Three or more markers 22 that are not on the same line as L and 110R
0A must be imaged, but at position B,
Since the position is away from the table 240A, it is easy to image three or more markers 220A if the table 240A is focused. After the initial camera position / orientation is obtained in the first frame after switching, the marker 220A indicates the left and right imaging units 110L and 110R by the marker tracking process.
The position and orientation of the image capturing unit 110 can be estimated if one marker 220A having the same image is captured.
【００６１】次に、ユーザが位置Ｃに移った場合、テー
ブル２４０Ｂにはマーカ２２０Ｂのみしか設置されてお
らず、マーカ２２０Ａは撮像されない状態になる。マー
カ２２０Ａが撮像されていない場合、位置姿勢推定部１
７０Ｃは撮像部１１０の推定に必要な平行移動成分が得
られず、ＭＲ画像において現実空間と仮想物体の位置に
ずれが生じる。ここで、ユーザはマーカ２２０Ｂに対応
した推定方法である位置姿勢推定部１７０Ｃを選択する
ことでこのずれを解消することができる。このとき、位
置姿勢推定部１７０Ｃはマーカ２２０Ｂの画像情報から
撮像部１１０の位置姿勢を推定している。Next, when the user moves to the position C, only the marker 220B is installed on the table 240B, and the marker 220A is not imaged. When the marker 220A is not imaged, the position and orientation estimation unit 1
In the case of 70C, the translation component necessary for the estimation of the imaging unit 110 cannot be obtained, and the positions of the real space and the virtual object in the MR image deviate. Here, the user can eliminate this deviation by selecting the position / orientation estimation unit 170C, which is an estimation method corresponding to the marker 220B. At this time, the position / orientation estimation unit 170C estimates the position / orientation of the imaging unit 110 from the image information of the marker 220B.
【００６２】図３は、本実施形態における撮像部位置姿
勢推定装置２００の動作を説明するフローチャートであ
る。まずステップＳ３００において、撮像部１１０で撮
影した現実空間画像を、撮像画像の取得部１５０を介し
て取得する。FIG. 3 is a flow chart for explaining the operation of the image pickup unit position / orientation estimation apparatus 200 in this embodiment. First, in step S300, the physical space image captured by the image capturing unit 110 is acquired via the captured image acquiring unit 150.
【００６３】次にステップＳ３１０において、ユーザが
指定した推定方法指定部１９５の指示が位置姿勢推定部
１７０Ａかどうかを判定する。推定方法指定部１９５が
１７０Ａを指定していた場合は、ステップＳ３３０に移
る。もし、指定していなかった場合は、ステップＳ３２
０に移る。Next, in step S310, it is determined whether or not the instruction of the estimation method designation unit 195 designated by the user is the position / orientation estimation unit 170A. If the estimation method designation unit 195 has designated 170A, the process proceeds to step S330. If not specified, step S32
Move to 0.
【００６４】ステップＳ３２０では、ステップＳ３１０
と同様に、位置姿勢推定部１７０Ｂが指定されているか
どうかを判定する。選択されていた場合はステップＳ３
４０へ、選択されていなかった場合は、ステップＳ３５
０に移る。At step S320, step S310.
Similarly, it determines whether the position / orientation estimation unit 170B is designated. If selected, step S3
If not selected, go to step S35.
Move to 0.
【００６５】ステップＳ３３０においては、＜方法１＞
で説明した、位置姿勢推定部１７０Ａ（図４）を用いて
撮像部の位置姿勢推定処理を行う（処理のフローチャー
トは図７）。この処理では、撮像部１１０にて撮像され
たマーカ２２０Ａの２次元位置と対応するマーカ２２０
Ａの３次元位置とを利用して、６自由度センサ１２０Ａ
であるFASTRAKセンサの計測値を補正し、撮像部１１０
の位置姿勢を推定する。なお、位置姿勢推定部１７０Ａ
のマーカの検出部４２０においては、赤色マーカを検出
するための特徴量Ｉｓを算出する式として、上述の式１
を利用する。In step S330, <method 1>
The position / orientation estimation unit 170A (FIG. 4) described above is used to perform the position / orientation estimation process of the imaging unit (the flowchart of the process is FIG. 7). In this process, the marker 220 corresponding to the two-dimensional position of the marker 220A captured by the image capturing unit 110 is used.
Using the three-dimensional position of A, the sensor with 6 degrees of freedom 120A
The measurement value of the FASTRAK sensor that is
Estimate the position and orientation of. The position / orientation estimation unit 170A
In the marker detection unit 420, the above-mentioned Expression 1 is used as an expression for calculating the feature amount Is for detecting the red marker.
To use.
【００６６】ステップＳ３６０において、求めた撮像部
１１０の位置姿勢推定値（ビューイング変換行列
ＭC１）を仮想空間の融合描画部１９０に出力する。ス
テップＳ３４０においては、＜方法２＞で説明した、位
置姿勢推定部１７０Ｂ（図５）を用いて撮像部の位置姿
勢推定処理を行う（処理のフローチャートは図８）。こ
の処理によって撮像された画像からマーカ２２０Ｂを抽
出し、撮像部１１０の位置姿勢である、ビューイング変
換行列ＭC２を求める。In step S360, the obtained position / orientation estimated value (viewing transformation matrix MC1 ) of the image pickup unit 110 is output to the fusion drawing unit 190 in the virtual space. In step S340, the position / orientation estimation process of the imaging unit is performed using the position / orientation estimation unit 170B (FIG. 5) described in <Method 2> (the flowchart of the process is FIG. 8). The marker 220B is extracted from the image captured by this processing, and the viewing transformation matrix MC2 , which is the position and orientation of the image capturing unit 110, is obtained.
【００６７】ステップＳ３５０においては、＜方法３＞
で説明した、位置姿勢推定部１７０Ｃ（図６）を用いて
撮像部の位置姿勢推定処理を行う（処理のフローチャー
トは図９）。この処理では、IS-300センサを撮像部１１
０の姿勢検出手段とマーカ検出時の予測手段として利用
し、撮像部１１０の回転移動成分と平行移動成分を求
め、最終的な撮像部１１０の位置姿勢であるビューイン
グ変換行列ＭC３を求める。In step S350, <method 3>
The position / orientation estimation unit 170C (FIG. 6) described above is used to perform the position / orientation estimation process of the imaging unit (the flowchart of the process is FIG. 9). In this process, the IS-300 sensor is used as the imaging unit 11
It is used as a posture detecting means of 0 and a predicting means at the time of marker detection to obtain a rotational movement component and a parallel movement component of the image pickup unit 110, and obtain a viewing transformation matrix MC3 which is the final position and orientation of the image pickup unit 110.
【００６８】仮想空間の融合描画部１９０は、世界座標
系で定義されている仮想物体データを選択部１６０Ｂか
ら得られるビューイング変換行列（ＭC１、ＭC２、Ｍ
C３）を用いてカメラ座標系上の値に変換することによ
り、ユーザの視点位置から見た仮想物体の画像を描画
し、現実空間の画像と合成することでＭＲ画像を生成す
る。生成されたＭＲ画像は、ＨＭＤ１００の表示部１３
０を介してユーザに提示される。The virtual space fusion drawing unit 190 converts the virtual object data defined in the world coordinate system from the viewing conversion matrix (MC1 , MC2 , M) obtained from the selection unit 160B.
C3 ) is used to convert the value into a value on the camera coordinate system to draw an image of the virtual object viewed from the user's viewpoint position, and synthesize it with the image in the real space to generate an MR image. The generated MR image is displayed on the display unit 13 of the HMD 100.
Presented to the user via 0.
【００６９】なお、撮像画像の取得部１５０、撮像画像
の描画部１８０、仮想空間の融合描画部１９０及び撮像
部位置姿勢同定装置２００はいずれも、ＣＰＵ、ＲＡ
Ｍ、ＲＯＭ、外部記憶装置（ＨＤＤ、ＣＤ−ＲＯＭ
等）、ディスプレイ、キーボード（マウス等のポインテ
ィングデバイスをふくむ）等を有する汎用コンピュータ
装置を用いてそれぞれの機能を実現可能なソフトウェア
モジュールを実行することにより実現することが可能で
ある。もちろん、必要な処理速度を得るため、処理の一
部又は全部を専用のハードウェアによって実行すること
も可能である。Note that the captured image acquisition unit 150, the captured image drawing unit 180, the virtual space fusion drawing unit 190, and the imaging unit position / orientation identification device 200 are all CPU, RA.
M, ROM, external storage device (HDD, CD-ROM
Etc.), a display, a keyboard (including a pointing device such as a mouse), and the like, and can be realized by executing software modules capable of realizing the respective functions. Of course, part or all of the processing can be executed by dedicated hardware in order to obtain the required processing speed.
【００７０】＜第２の実施形態＞上述の第１の実施形態
においては、各位置姿勢推定処理部１７０Ａ〜１７０Ｃ
を、状況によってユーザが能動的に切り替える構成を説
明した。本実施形態においては、使用する位置姿勢推定
部をユーザが切り替えるのではなく、６自由度センサ１
２０Ａの位置情報、撮像画像取得部１５０の撮像画像内
に撮像されているマーカの情報などの情報を基に自動的
に切り替えることを特徴とする。<Second Embodiment> In the first embodiment described above, the position / orientation estimation processing units 170A to 170C are used.
The configuration has been described in which the user actively switches depending on the situation. In the present embodiment, the 6-degree-of-freedom sensor 1 is used instead of the user switching the position / orientation estimation unit to be used.
It is characterized in that the switching is automatically performed based on the position information of 20A and the information of the marker imaged in the captured image of the captured image acquisition unit 150.
【００７１】図１１は、本実施形態に係る撮像部位置姿
勢同定装置２０１を用いた複合現実感提示システムの構
成例を示すブロック図である。推定方法の選択部１６０
Ｂにおいて、６自由度センサ１２０Ａの位置情報、各位
置姿勢推定処理部１７０Ａ〜１７０Ｃから得られるマー
カ情報などに基づき、現在の状況に適した推定方法を自
動的に選択し、選択した推定方法を推定方法指定部１９
５に指示する。そして、推定方法指定部１９５が、この
指示に基づいて選択部１６０Ａを切り替え、使用する位
置姿勢推定部を変更する。FIG. 11 is a block diagram showing a configuration example of a mixed reality presentation system using the image pickup unit position / orientation identification apparatus 201 according to the present embodiment. Estimation method selection unit 160
In B, based on the position information of the 6-DOF sensor 120A, the marker information obtained from the position and orientation estimation processing units 170A to 170C, and the like, an estimation method suitable for the current situation is automatically selected, and the selected estimation method is set. Estimating method designation unit 19
Instruct 5. Then, the estimation method designation unit 195 switches the selection unit 160A based on this instruction and changes the position / orientation estimation unit to be used.
【００７２】図１０は、本実施形態に係る選択部１６０
Ｂの動作例を説明するフローチャートである。ここで
は、まずＨＭＤ１００が６自由度センサ１２０Ａの測定
範囲２１５内にあるか判定し（ステップＳ１０１）、内
部に位置する場合は位置姿勢推定処理部１７０Ａを選択
する（ステップＳ１０４）。一方、測定範囲２１５の外
と判定されると、選択部１６０Ａを用いて位置姿勢推定
処理部１７０Ｂにも撮像画像を一時的に供給し、撮像さ
れた画像中に直線上にないマーカ２２０Ａを３つ以上撮
影しているか否かを判定する（ステップＳ１０２）。条
件を満たす場合には位置姿勢推定処理部１７０Ｂを選択
する（ステップＳ１０５）。条件を満たさない場合には
ステップＳ１０３で、選択部１６０Ａを用いて位置姿勢
推定処理部１７０Ｃにも撮像画像を一時的に供給し、撮
像された画像中にマーカ２２０Ｂが撮像されているか否
かを判定する（ステップＳ１０３）。条件を満たす場合
には位置姿勢推定処理部１７０Ｃを選択する（ステップ
Ｓ１０６）。条件を満たさない場合には最後に推定され
たビューイング変換行列を用いる（ステップＳ１０
７）。現在使用している位置姿勢推定処理部の測定誤差
が所定範囲外になった場合には（ステップＳ１０８）再
度選択処理を行う。FIG. 10 shows the selection unit 160 according to this embodiment.
It is a flowchart explaining the operation example of B. Here, it is first determined whether the HMD 100 is within the measurement range 215 of the 6-DOF sensor 120A (step S101), and if it is located inside, the position / orientation estimation processing unit 170A is selected (step S104). On the other hand, when it is determined that it is outside the measurement range 215, the picked-up image is temporarily supplied to the position / orientation estimation processing unit 170B by using the selection unit 160A, and the marker 220A that is not on a straight line is picked up in the picked-up image. It is determined whether one or more images have been taken (step S102). If the condition is satisfied, the position / orientation estimation processing unit 170B is selected (step S105). If the condition is not satisfied, in step S103, the picked-up image is temporarily supplied to the position / orientation estimation processing unit 170C by using the selection unit 160A to check whether or not the marker 220B is picked up in the picked-up image. The determination is made (step S103). If the condition is satisfied, the position / orientation estimation processing unit 170C is selected (step S106). If the condition is not satisfied, the last estimated viewing transformation matrix is used (step S10).
7). When the measurement error of the position / orientation estimation processing unit currently used is out of the predetermined range (step S108), the selection process is performed again.
【００７３】このような自動選択処理を行うことによ
り、図２において位置Ａの場所から位置Ｂの場所に移動
する場合、位置Ａの場所では、６自由度センサ１２０Ａ
の計測値は、計測範囲２１５よりも内側の位置を示して
いるので、位置姿勢推定部１７０Ａを自動的に選択す
る。さらに、位置Ｂに移動する場合に、計測範囲２１５
の外に出るので、計測誤差が増加する。ここで、計測誤
差が既定の閾値を越えた場合に、選択処理をおこない、
左右の撮像部１１０が直線上にない３つのマーカ２２０
Ａを同時に撮像されている場合は、位置姿勢推定部１７
０Ｂを選択する。もし、上記の条件に適合するマーカ２
２０Ａを撮像できていない場合は撮像画像取得部１５０
の画像からマーカ２２０Ｂの検出処理を行い、検出でき
た場合は位置姿勢推定部１７０Ｃを選択する。さらに、
マーカ２２０Ｂが検出されない場合は、最後に推定でき
た撮像部１１０の位置姿勢を継続して利用する。By performing such automatic selection processing, when moving from the position A to the position B in FIG. 2, the 6-degree-of-freedom sensor 120A is moved to the position A.
Since the measurement value of indicates the position inside the measurement range 215, the position and orientation estimation unit 170A is automatically selected. Further, when moving to the position B, the measurement range 215
Since it goes out of, the measurement error increases. Here, if the measurement error exceeds a predetermined threshold value, selection processing is performed,
Three markers 220 whose left and right imaging units 110 are not on a straight line
When A is imaged at the same time, the position and orientation estimation unit 17
Select 0B. If the marker 2 that meets the above conditions
When the image of 20A is not captured, the captured image acquisition unit 150
The marker 220B is detected from the image, and if it is detected, the position / orientation estimation unit 170C is selected. further,
If the marker 220B is not detected, the position / orientation of the image capturing unit 110 that was estimated last is continuously used.
【００７４】この自動切り替えを行う条件としては、計
測誤差が所定値を超えた場合に限るものではなく、ユー
ザに提示するＭＲ画像における、現実空間と仮想物体の
位置のずれがなるべく最小になるように判定できるもの
であれば適応可能である。また、マーカ２２０Ａ、２２
０Ｂが撮像されているか否かについては、各位置姿勢推
定処理部１７０Ａ〜１７０Ｃを用いずに選択部１６０Ｂ
が取得部１５０から画像を取得して判定することも可能
である。この場合、現在使用している位置姿勢推定処理
部１７０Ａ〜１７０Ｃの測定誤差が所定値を超えなくと
も、マーカの検出状況に応じて切り替え処理を行っても
良い。The condition for performing this automatic switching is not limited to the case where the measurement error exceeds a predetermined value, and the deviation between the positions of the real space and the virtual object in the MR image presented to the user is minimized as much as possible. It can be applied if it can be determined. In addition, the markers 220A, 22
Regarding whether or not 0B is imaged, the selection unit 160B is used without using the position and orientation estimation processing units 170A to 170C.
It is also possible to acquire an image from the acquisition unit 150 and make a determination. In this case, even if the measurement error of the position / orientation estimation processing units 170A to 170C currently used does not exceed a predetermined value, the switching process may be performed according to the marker detection state.
【００７５】＜第３の実施形態＞上記実施形態において
は、推定方法指定部１９５によって選択部１６０Ａを切
り替え、いずれか１つの位置姿勢推定処理部１７０Ａ〜
１７０Ｃにのみ撮像画像取得部１５０からの撮像画像を
供給していた。本実施形態では、撮像画像取得部１５０
からの撮像画像を特定の位置姿勢推定処理部ではなく、
全ての位置姿勢推定処理部１７０Ａ〜１７０Ｃに供給す
るとともに、同時に推定処理を行い、各位置姿勢推定処
理部１７０Ａ〜１７０Ｃの推定処理結果である３つの撮
像部１１０の位置姿勢に基づき、１つの推定処理結果の
選出、または３つの推定処理結果からの合成を行い、最
適な撮像部１１０の位置姿勢を求めることを特徴とす
る。<Third Embodiment> In the above embodiment, the estimation method designating unit 195 switches the selection unit 160A, and any one of the position and orientation estimation processing units 170A to 170A.
The captured image from the captured image acquisition unit 150 was supplied only to 170C. In the present embodiment, the captured image acquisition unit 150
The captured image from is not a specific position and orientation estimation processing unit,
One estimation is performed based on the positions and orientations of the three image capturing units 110, which are the estimation processing results of the position and orientation estimation processing units 170A to 170C, as well as being supplied to all the position and orientation estimation processing units 170A to 170C. It is characterized in that the optimum position and orientation of the image pickup unit 110 is obtained by selecting the processing result or combining the three estimation processing results.
【００７６】図１２は、本実施形態に係る撮像部位置姿
勢同定装置２０２を用いた複合現実感提示システムの構
成例を示すブロック図である。また、図１３は図１２に
おける複合現実感提示システムの使用時の状態を説明す
る図である。図１３に示すように、本実施形態において
は常に３つの位置姿勢推定処理部１７０Ａ〜１７０Ｃを
用いた推定処理を行うため、テーブル２４０Ａ以外の
床、壁にも位置姿勢推定処理部１７０Ａ、１７０Ｂが用
いるマーカ２２０Ａが、またテーブル２４０Ａに位置姿
勢推定処理部１７０Ｃ用のマーカ２２０Ｂが配置されて
いる。FIG. 12 is a block diagram showing a configuration example of a mixed reality presentation system using the image pickup unit position / orientation identification device 202 according to this embodiment. In addition, FIG. 13 is a diagram illustrating a state when the mixed reality presentation system in FIG. 12 is used. As shown in FIG. 13, in the present embodiment, since the estimation processing using the three position / orientation estimation processing units 170A to 170C is always performed, the position / orientation estimation processing units 170A and 170B are provided on the floor and the walls other than the table 240A. The marker 220A to be used and the marker 220B for the position / orientation estimation processing unit 170C are arranged on the table 240A.
【００７７】全ての位置姿勢推定部１７０Ａ、１７０
Ｂ、１７０Ｃに撮像画像取得部１５０からの撮像画像が
入力され、同時に推定処理を行う。全ての推定処理が完
了した時点で推定結果の合成部１６０Ｃにおいて処理結
果の比較が行われる。処理結果の比較は、それぞれの推
定処理結果に撮像部１１０の推定結果信頼度Ｒを設定
し、Ｒによる推定結果の重み付け平均を算出する。 ＭC”＝Ｒ１・ＭC１＋Ｒ２・ＭC２＋Ｒ３・ＭC３ （式２）但し、Ｒ１＋Ｒ２＋Ｒ３＝１である。ＭC１、ＭC２、Ｍ
C３はそれぞれ、位置姿勢推定処理部１７０Ａ〜１７０
Ｃが出力する推定処理結果である撮像部の位置姿勢を表
すビューイング変換行列である。All position / orientation estimation units 170A, 170
The captured images from the captured image acquisition unit 150 are input to B and 170C, and the estimation processing is performed at the same time. When all the estimation processes are completed, the estimation result combining unit 160C compares the processing results. For the comparison of the processing results, the estimation result reliability R of the imaging unit 110 is set to each estimation processing result, and a weighted average of the estimation results by R is calculated. MC ″ = R1 · MC1 + R2 · MC2 + R3 · MC3 (Formula 2) where R1 + R2 + R3 = 1. MC1 , MC2 , M
C3 is the position / orientation estimation processing units 170A to 170, respectively.
It is a viewing conversion matrix showing the position and orientation of the imaging part which is the estimation process result which C outputs.
【００７８】各位置姿勢推定処理部１７０Ａ〜１７０Ｃ
に対する推定結果信頼度Ｒ１、Ｒ２、Ｒ３の設定方法の
例を以下に示す。位置姿勢推定部１７０Ａにおけるセン
サ計測誤差に関する関数ｆからｒ１、撮像画像上におけ
るマーカ２２０Ｂの外接長方形が占める面積率に関する
関数ｇからｒ２（ただし、外接長方形の４頂点すべてが
撮像画面上に存在すること）、図９のステップＳ９１０
で求められる平行移動量に関する関数ｈからｒ３を求め
る。Ｓerrはセンサ計測誤差、ｔはマーカ検出時に現在の計
測誤差でマーカを検出できる範囲を示す閾値を表す。ｊは撮像画像上におけるマーカ２２０Ｂの外接長方形が
占める面積率、ｋはマーカ２２０Ｂのパターンが識別可
能な最低の面積率とする。ｒ３＝ｈ（ｕ）ｈ（ｕ）＝１−ｕ （０≦ｕ≦１）ｕは平行移動量を表す。Position / orientation estimation processing units 170A to 170C
An example of a method of setting the estimation result reliability levels R1 , R2 , and R3 with respect to is shown below. The function f to r1 related to the sensor measurement error in the position / orientation estimation unit 170A and the function g to r2 related to the area ratio of the circumscribed rectangle of the marker 220B on the captured image (provided that all four vertices of the circumscribed rectangle are present on the imaging screen). ), Step S910 of FIG.
R3 is obtained from the function h relating to the parallel movement amount obtained in. Serr represents a sensor measurement error, and t represents a threshold value indicating a range in which the marker can be detected by the current measurement error when detecting the marker. j is the area ratio occupied by the circumscribed rectangle of the marker 220B on the captured image, and k is the lowest area ratio with which the pattern of the marker 220B can be identified. r3 = h (u) h (u) = 1-u (0 ≦ u ≦ 1) u represents a translation amount.
【００７９】さらに、ｒ１、ｒ２、ｒ３の比率を求め、
Ｒ１、Ｒ２、Ｒ３を設定する。また、各位置姿勢推定処
理部１７０Ａ〜１７０Ｃに対する重み付けは前述の設定
方法に限るものではなく、各位置姿勢推定処理部１７０
Ａ〜１７０Ｃで行われる推定処理の内容や、適用条件等
を考慮して任意に設定可能である。Further, the ratio of r1, r2 and r3 is obtained,
Set R1 , R2 , and R3 . Further, the weighting for each of the position and orientation estimation processing units 170A to 170C is not limited to the above-described setting method, but each of the position and orientation estimation processing units 170 is also possible.
It can be arbitrarily set in consideration of the contents of the estimation process performed in A to 170C, application conditions, and the like.
【００８０】[0080]
【他の実施形態】上述の第１の実施形態においては、１
つの位置姿勢推定処理部１７０Ａ〜１７０Ｃを選択して
用いる場合のみ説明したが、推定処理選択手段１９５に
よって複数の位置姿勢推定処理部を選択し、第２の実施
形態及び第３の実施形態における選択処理の候補となる
位置姿勢推定処理部を指定するように構成することも可
能である。[Other Embodiments] In the above first embodiment, 1
Only the case where one of the position / orientation estimation processing units 170A to 170C is selected and used has been described, but a plurality of position / orientation estimation processing units are selected by the estimation processing selection unit 195, and the selection in the second and third embodiments is performed. The position / orientation estimation processing unit that is a candidate for processing may be designated.
【００８１】上述の実施形態においては、３つの異なる
位置姿勢推定処理を切り替える場合のみを説明したが、
２つ又は４つ以上の処理を切り替えて使用することも可
能である。また、切り替えて使用する位置姿勢推定処理
方法についても、上述した手法以外の方法を用いること
も可能である。In the above embodiment, only the case where three different position / orientation estimation processes are switched has been described.
It is also possible to switch between two or four or more processes. As for the position and orientation estimation processing method that is switched and used, a method other than the above-described method can be used.
【００８２】上述の実施形態においては、１つの機器か
ら構成される撮像部位置姿勢同定装置についてのみ説明
したが、本発明の撮像部位置姿勢同定装置と同等の機能
を複数の機器から構成されるシステムによって実現して
も良い。In the above-described embodiment, only the imaging section position / orientation identifying apparatus composed of one device has been described, but the same function as the imaging section position / orientation identifying apparatus of the present invention is composed of a plurality of apparatuses. It may be realized by the system.
【００８３】尚、前述した実施形態の機能を実現するソ
フトウェアのプログラム（実施形態で説明したフローチ
ャートに対応したプログラム）を、記録媒体から直接、
或いは有線／無線通信を用いて当該プログラムを実行可
能なコンピュータを有するシステム又は装置に供給し、
そのシステム或いは装置のコンピュータが該供給された
プログラムを実行することによって同等の機能が達成さ
れる場合も本発明に含む。A software program (a program corresponding to the flowcharts described in the embodiments) for realizing the functions of the above-described embodiments is directly recorded from a recording medium.
Alternatively, by using wired / wireless communication, the program is supplied to a system or device having a computer capable of executing the program,
The present invention also includes the case where an equivalent function is achieved by the computer of the system or apparatus executing the supplied program.
【００８４】従って、本発明の機能処理をコンピュータ
で実現するために、該コンピュータに供給、インストー
ルされるプログラムコード自体も本発明を実現するもの
である。つまり、本発明の機能処理を実現するためのコ
ンピュータプログラム自体も本発明に含まれる。Therefore, the program code itself supplied to and installed in the computer to implement the functional processing of the present invention by the computer also implements the present invention. That is, the computer program itself for realizing the functional processing of the present invention is also included in the present invention.
【００８５】その場合、プログラムの機能を有していれ
ば、オブジェクトコード、インタプリタにより実行され
るプログラム、ＯＳに供給するスクリプトデータ等、プ
ログラムの形態を問わない。In this case, the program may take any form such as an object code, a program executed by an interpreter, or script data supplied to the OS as long as it has the function of the program.
【００８６】プログラムを供給するための記録媒体とし
ては、例えば、フレキシブルディスク、ハードディス
ク、磁気テープ等の磁気記録媒体、ＭＯ、ＣＤ−ＲＯ
Ｍ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−
Ｒ、ＤＶＤ−ＲＷ等の光／光磁気記憶媒体、不揮発性の
半導体メモリなどがある。The recording medium for supplying the program is, for example, a magnetic recording medium such as a flexible disk, a hard disk, a magnetic tape, MO, CD-RO.
M, CD-R, CD-RW, DVD-ROM, DVD-
There are optical / magneto-optical storage media such as R and DVD-RW, and non-volatile semiconductor memory.
【００８７】有線／無線通信を用いたプログラムの供給
方法としては、コンピュータネットワーク上のサーバに
本発明を形成するコンピュータプログラムそのもの、も
しくは圧縮され自動インストール機能を含むファイル
等、クライアントコンピュータ上で本発明を形成するコ
ンピュータプログラムとなりうるデータファイル（プロ
グラムデータファイル）を記憶し、接続のあったクライ
アントコンピュータにプログラムデータファイルをダウ
ンロードする方法などが挙げられる。この場合、プログ
ラムデータファイルを複数のセグメントファイルに分割
し、セグメントファイルを異なるサーバに配置すること
も可能である。As a method of supplying a program using wired / wireless communication, the present invention can be implemented on a client computer such as a computer program itself forming the present invention in a server on a computer network or a compressed file including an automatic installation function. A method of storing a data file that can be a computer program to be formed (a program data file) and downloading the program data file to a connected client computer can be used. In this case, it is also possible to divide the program data file into a plurality of segment files and arrange the segment files in different servers.
【００８８】つまり、本発明の機能処理をコンピュータ
で実現するためのプログラムデータファイルを複数のユ
ーザに対してダウンロードさせるサーバ装置も本発明に
含む。That is, the present invention also includes a server device that allows a plurality of users to download the program data file for implementing the functional processing of the present invention on a computer.
【００８９】また、本発明のプログラムを暗号化してＣ
Ｄ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所
定の条件を満たしたユーザに対して暗号化を解く鍵情報
を、例えばインターネットを介してホームページからダ
ウンロードさせることによって供給し、その鍵情報を使
用することにより暗号化されたプログラムを実行してコ
ンピュータにインストールさせて実現することも可能で
ある。The program of the present invention is encrypted to C
The key information is stored in a storage medium such as a D-ROM and distributed to users, and the key information for decrypting the encryption is supplied to users who satisfy predetermined conditions by downloading it from a homepage via the Internet, for example, and the key is supplied. It is also possible to execute the encrypted program by using the information and install the program in a computer to realize the program.
【００９０】また、コンピュータが、読み出したプログ
ラムを実行することによって、前述した実施形態の機能
が実現される他、そのプログラムの指示に基づき、コン
ピュータ上で稼動しているＯＳなどが、実際の処理の一
部または全部を行い、その処理によっても前述した実施
形態の機能が実現され得る。Further, the computer executes the read program to realize the functions of the above-described embodiments, and the OS running on the computer executes the actual processing based on the instructions of the program. The function of the above-described embodiment can be realized by performing a part or all of the above.
【００９１】さらに、記録媒体から読み出されたプログ
ラムが、コンピュータに挿入された機能拡張ボードやコ
ンピュータに接続された機能拡張ユニットに備わるメモ
リに書き込まれた後、そのプログラムの指示に基づき、
その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ
などが実際の処理の一部または全部を行い、その処理に
よっても前述した実施形態の機能が実現され得る。Further, after the program read from the recording medium is written in the memory provided in the function expansion board inserted into the computer or the function expansion unit connected to the computer, based on the instruction of the program,
CPU provided on the function expansion board or function expansion unit
Etc. perform a part or all of the actual processing, and the functions of the above-described embodiments can also be realized by the processing.
【００９２】[0092]
【発明の効果】以上説明したように、本発明によれば、
複数の位置姿勢推定処理のうち適切な処理を選択して使
用可能になるため、従来よりも広い範囲で撮像部の位置
姿勢を高精度に推定可能となり、結果として広範囲でユ
ーザに位置ずれのないＭＲ画像を提示することができ
る。As described above, according to the present invention,
Since appropriate processing can be selected and used from a plurality of position / orientation estimation processing, the position / orientation of the imaging unit can be estimated with higher accuracy in a wider range than in the past, and as a result, there is no positional deviation for the user in a wide range. MR images can be presented.
【図１】本発明の第１の実施形態に係る撮像部位置姿勢
推定装置を適用した複合現実感提示システムの構成例を
示すブロック図である。FIG. 1 is a block diagram showing a configuration example of a mixed reality presentation system to which an image capturing unit position / orientation estimation apparatus according to a first embodiment of the present invention is applied.
【図２】図１における複合現実感提示システムの使用時
の状態を説明する図である。FIG. 2 is a diagram illustrating a state when the mixed reality presentation system in FIG. 1 is used.
【図３】第１の実施形態における撮像部位置姿勢推定装
置２００の動作を説明するフローチャートである。FIG. 3 is a flowchart illustrating an operation of the image capturing unit position / orientation estimation apparatus 200 according to the first embodiment.
【図４】画像と６自由度センサを用いた撮像部位置姿勢
推定部１７０Ａの構成例を示すブロック図である。FIG. 4 is a block diagram showing a configuration example of an image pickup unit position / orientation estimation unit 170A using an image and a 6-DOF sensor.
【図５】画像を用いた撮像部位置姿勢推定部１７０Ｂの
構成例を示すブロック図である。FIG. 5 is a block diagram showing a configuration example of an image pickup unit position / orientation estimation unit 170B using an image.
【図６】ジャイロセンサと画像情報を用いた撮像部位置
姿勢推定部１７０Ｃの構成例を示すブロック図である。FIG. 6 is a block diagram showing a configuration example of an image pickup unit position / orientation estimation unit 170C using a gyro sensor and image information.
【図７】図４における位置姿勢推定部４３０で行われる
処理の概要を示す図である。7 is a diagram showing an outline of processing performed by a position / orientation estimation unit 430 in FIG.
【図８】図５の画像処理用マーカ検出部５１０と位置姿
勢推定部５２０の処理を説明するフローチャートであ
る。8 is a flowchart illustrating the processing of the image processing marker detection unit 510 and the position / orientation estimation unit 520 of FIG.
【図９】図６の位置姿勢推定部６１０の処理を説明する
フローチャートである。9 is a flowchart illustrating a process of a position / orientation estimation unit 610 of FIG.
【図１０】本発明の第２の実施形態における選択部１６
０Ｂの動作例を説明するフローチャートである。FIG. 10 is a selection unit 16 according to the second embodiment of the present invention.
It is a flowchart explaining the operation example of 0B.
【図１１】本発明の第２の実施形態に係る撮像部位置姿
勢推定装置を適用した複合現実感提示システムの構成例
を示すブロック図である。FIG. 11 is a block diagram showing a configuration example of a mixed reality presentation system to which the image capturing unit position / orientation estimation apparatus according to the second embodiment of the present invention is applied.
【図１２】本発明の第３の実施形態に係る撮像部位置姿
勢推定装置を適用した複合現実感提示システムの構成例
を示すブロック図である。FIG. 12 is a block diagram showing a configuration example of a mixed reality presentation system to which an image capturing unit position / orientation estimating apparatus according to a third embodiment of the present invention is applied.
【図１３】図１２における複合現実感提示システムの使
用時の状態を説明する図である。FIG. 13 is a diagram illustrating a state when the mixed reality presentation system in FIG. 12 is used.
─────────────────────────────────────────────────────フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 17/40 Ｇ０６Ｔ 17/40 Ｅ Ｈ０４Ｎ 5/262 Ｈ０４Ｎ 5/262 Ｆターム(参考） 2F065 AA04 AA37 BB28 CC00 EE00 FF04 FF05 FF61 FF65 FF67 JJ03 JJ05 JJ26 QQ00 QQ04 QQ17 QQ18 QQ23 QQ24 QQ25 QQ27 QQ28 QQ39 QQ42 5B050 AA00 BA08 BA09 DA02 DA04 EA24 EA28 FA02 FA05 5B057 AA20 BA02 DA07 DB03 DB06 DB09 DC08 DC25 DC33 5C023 AA11 AA37 AA38 BA11 CA03 5L096 AA09 CA02 FA03 FA06 FA67 FA69 GA32 JA03 JA09─────────────────────────────────────────────────── ─── Continuation of front page (51) Int.Cl.7 Identification code FI theme code (reference) G06T 17/40 G06T 17/40 E H04N 5/262 H04N 5/262 F term (reference) 2F065 AA04 AA37 BB28 CC00 EE00 FF04 FF05 FF61 FF65 FF67 JJ03 JJ05 JJ26 QQ00 QQ04 QQ17 QQ18 QQ23 QQ24 QQ25 QQ27 QQ28 QQ39 QQ42 5B050 AA00 BA08 BA09 DA02 DA04 EA24 EA28 FA02 FA05 5B057 AA20 BA02 DA07 DB03 DB06 DB09 DC08 DC25 DC33 5C023 AA11 AA37 AA38 BA11 CA03 5L096 AA09 CA02 FA03 FA06 FA67 FA69 GA32 JA03 JA09
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002081251AJP2003281504A (en) | 2002-03-22 | 2002-03-22 | Imaging unit position and orientation estimation apparatus, control method therefor, and mixed reality presentation system |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002081251AJP2003281504A (en) | 2002-03-22 | 2002-03-22 | Imaging unit position and orientation estimation apparatus, control method therefor, and mixed reality presentation system |
| Publication Number | Publication Date |
|---|---|
| JP2003281504Atrue JP2003281504A (en) | 2003-10-03 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002081251APendingJP2003281504A (en) | 2002-03-22 | 2002-03-22 | Imaging unit position and orientation estimation apparatus, control method therefor, and mixed reality presentation system |
| Country | Link |
|---|---|
| JP (1) | JP2003281504A (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005293141A (en)* | 2004-03-31 | 2005-10-20 | Canon Inc | Marker detection method and apparatus, and position and orientation estimation method |
| JP2005326274A (en)* | 2004-05-14 | 2005-11-24 | Canon Inc | Arrangement information estimation method and information processing apparatus |
| JP2005326282A (en)* | 2004-05-14 | 2005-11-24 | Canon Inc | Position and orientation measurement method and apparatus |
| JP2006313549A (en)* | 2005-05-03 | 2006-11-16 | Seac02 Srl | Augmented reality system for identifying real marker object |
| JP2007187524A (en)* | 2006-01-12 | 2007-07-26 | Shimadzu Corp | Magnetic mapping device |
| JP2007525663A (en)* | 2004-01-30 | 2007-09-06 | エレクトロニック・スクリプティング・プロダクツ・インコーポレイテッド | Method and apparatus for processing posture data obtained from posture of long object |
| JP2007271563A (en)* | 2006-03-31 | 2007-10-18 | Canon Inc | Position and orientation measurement method and apparatus |
| JP2008046750A (en)* | 2006-08-11 | 2008-02-28 | Canon Inc | Image processing apparatus and method |
| JP2008209142A (en)* | 2007-02-23 | 2008-09-11 | Nintendo Co Ltd | Information processing program and information processing apparatus |
| JP2009085805A (en)* | 2007-10-01 | 2009-04-23 | Shimadzu Corp | Motion tracker device |
| JP2010515189A (en)* | 2007-01-05 | 2010-05-06 | トタル イメルシオン | Method and apparatus for inserting virtual objects in real time into an image stream using data from a real scene represented by an image |
| JP2010532465A (en)* | 2007-05-22 | 2010-10-07 | メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツング | Camera pose estimation apparatus and method for extended reality image |
| JP2010257461A (en)* | 2009-04-26 | 2010-11-11 | Ailive Inc | Method and system for creating shared game space for networked game |
| JP2011134343A (en)* | 2011-02-24 | 2011-07-07 | Nintendo Co Ltd | Image processing program, image processing apparatus, image processing system, and image processing method |
| JP2012212460A (en)* | 2012-06-22 | 2012-11-01 | Nintendo Co Ltd | Image processing program, image processing apparatus, image processing system, and image processing method |
| JP2013134538A (en)* | 2011-12-26 | 2013-07-08 | Sony Corp | Information processing terminal, information processing method, and program |
| JP2013534616A (en)* | 2010-05-17 | 2013-09-05 | コミシリア ア レネルジ アトミック エ オ エナジーズ オルタネティヴズ | Method and system for fusing data originating from image sensors and motion or position sensors |
| US8571266B2 (en) | 2011-02-24 | 2013-10-29 | Nintendo Co., Ltd. | Computer-readable storage medium, image processing apparatus, image processing system, and image processing method |
| US8625898B2 (en) | 2011-02-24 | 2014-01-07 | Nintendo Co., Ltd. | Computer-readable storage medium, image recognition apparatus, image recognition system, and image recognition method |
| US8705869B2 (en) | 2011-02-24 | 2014-04-22 | Nintendo Co., Ltd. | Computer-readable storage medium, image recognition apparatus, image recognition system, and image recognition method |
| US8705868B2 (en) | 2011-02-24 | 2014-04-22 | Nintendo Co., Ltd. | Computer-readable storage medium, image recognition apparatus, image recognition system, and image recognition method |
| US8718325B2 (en) | 2011-02-24 | 2014-05-06 | Nintendo Co., Ltd. | Computer-readable storage medium, image processing apparatus, image processing system, and image processing method |
| JP2014167786A (en)* | 2012-10-31 | 2014-09-11 | Boeing Co | Automated frame-of-reference calibration for augmented reality |
| JP2014170483A (en)* | 2013-03-05 | 2014-09-18 | Nintendo Co Ltd | Information processing system, information processor, information processing method and program for information processing |
| JP2014216813A (en)* | 2013-04-25 | 2014-11-17 | 日本放送協会 | Camera attitude estimation device and program therefor |
| WO2015045834A1 (en)* | 2013-09-30 | 2015-04-02 | 独立行政法人産業技術総合研究所 | Marker image processing system |
| JP2015158461A (en)* | 2014-02-25 | 2015-09-03 | 富士通株式会社 | Attitude estimation device, attitude estimation method and attitude estimation computer program |
| JP2015528936A (en)* | 2012-06-14 | 2015-10-01 | クアルコム，インコーポレイテッド | Adaptive switching between vision-assisted inertial camera pose estimation and vision-based camera pose estimation |
| JP2015532077A (en)* | 2012-09-27 | 2015-11-05 | メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツングｍｅｔａｉｏ ＧｍｂＨ | Method for determining the position and orientation of an apparatus associated with an imaging apparatus that captures at least one image |
| JP2015225014A (en)* | 2014-05-29 | 2015-12-14 | 日本電信電話株式会社 | POSITION ESTIMATION DEVICE, POSITION ESTIMATION METHOD, AND PROGRAM |
| WO2016017121A1 (en)* | 2014-07-28 | 2016-02-04 | パナソニックＩｐマネジメント株式会社 | Augmented reality display system, terminal device and augmented reality display method |
| JP2017036970A (en)* | 2015-08-07 | 2017-02-16 | キヤノン株式会社 | Information processor, information processing method, and program |
| US9710967B2 (en) | 2011-08-31 | 2017-07-18 | Nintendo Co., Ltd. | Information processing program, information processing system, information processing apparatus, and information processing method, utilizing augmented reality technique |
| WO2019187167A1 (en)* | 2018-03-31 | 2019-10-03 | 株式会社スペシャルエフエックススタジオ | Terminal display image display method |
| JP2019532447A (en)* | 2016-09-01 | 2019-11-07 | アルジョ ソリューションズＡｒｊｏ Ｓｏｌｕｔｉｏｎｓ | Method and system for generating a surface signature |
| JP2021018206A (en)* | 2019-07-23 | 2021-02-15 | 株式会社島津製作所 | Head motion tracker device |
| WO2021140631A1 (en)* | 2020-01-09 | 2021-07-15 | マクセル株式会社 | Spatial recognition system, spatial recognition method, and information terminal |
| WO2025033109A1 (en)* | 2023-08-04 | 2025-02-13 | ソニーグループ株式会社 | Information processing device and method |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007525663A (en)* | 2004-01-30 | 2007-09-06 | エレクトロニック・スクリプティング・プロダクツ・インコーポレイテッド | Method and apparatus for processing posture data obtained from posture of long object |
| JP4809778B2 (en)* | 2004-01-30 | 2011-11-09 | エレクトロニック・スクリプティング・プロダクツ・インコーポレイテッド | Method and apparatus for processing posture data obtained from posture of long object |
| JP2005293141A (en)* | 2004-03-31 | 2005-10-20 | Canon Inc | Marker detection method and apparatus, and position and orientation estimation method |
| JP2005326274A (en)* | 2004-05-14 | 2005-11-24 | Canon Inc | Arrangement information estimation method and information processing apparatus |
| JP2005326282A (en)* | 2004-05-14 | 2005-11-24 | Canon Inc | Position and orientation measurement method and apparatus |
| JP2006313549A (en)* | 2005-05-03 | 2006-11-16 | Seac02 Srl | Augmented reality system for identifying real marker object |
| JP2007187524A (en)* | 2006-01-12 | 2007-07-26 | Shimadzu Corp | Magnetic mapping device |
| JP2007271563A (en)* | 2006-03-31 | 2007-10-18 | Canon Inc | Position and orientation measurement method and apparatus |
| JP2008046750A (en)* | 2006-08-11 | 2008-02-28 | Canon Inc | Image processing apparatus and method |
| JP2010515189A (en)* | 2007-01-05 | 2010-05-06 | トタル イメルシオン | Method and apparatus for inserting virtual objects in real time into an image stream using data from a real scene represented by an image |
| JP2008209142A (en)* | 2007-02-23 | 2008-09-11 | Nintendo Co Ltd | Information processing program and information processing apparatus |
| JP2010532465A (en)* | 2007-05-22 | 2010-10-07 | メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツング | Camera pose estimation apparatus and method for extended reality image |
| JP2013178252A (en)* | 2007-05-22 | 2013-09-09 | Metaio Gmbh | Camera pose estimation apparatus and method for augmented reality imaging |
| US8452080B2 (en) | 2007-05-22 | 2013-05-28 | Metaio Gmbh | Camera pose estimation apparatus and method for augmented reality imaging |
| US10033985B2 (en) | 2007-05-22 | 2018-07-24 | Apple Inc. | Camera pose estimation apparatus and method for augmented reality imaging |
| JP2009085805A (en)* | 2007-10-01 | 2009-04-23 | Shimadzu Corp | Motion tracker device |
| JP2010257461A (en)* | 2009-04-26 | 2010-11-11 | Ailive Inc | Method and system for creating shared game space for networked game |
| JP2013534616A (en)* | 2010-05-17 | 2013-09-05 | コミシリア ア レネルジ アトミック エ オ エナジーズ オルタネティヴズ | Method and system for fusing data originating from image sensors and motion or position sensors |
| JP2011134343A (en)* | 2011-02-24 | 2011-07-07 | Nintendo Co Ltd | Image processing program, image processing apparatus, image processing system, and image processing method |
| US8718325B2 (en) | 2011-02-24 | 2014-05-06 | Nintendo Co., Ltd. | Computer-readable storage medium, image processing apparatus, image processing system, and image processing method |
| US8571266B2 (en) | 2011-02-24 | 2013-10-29 | Nintendo Co., Ltd. | Computer-readable storage medium, image processing apparatus, image processing system, and image processing method |
| US8625898B2 (en) | 2011-02-24 | 2014-01-07 | Nintendo Co., Ltd. | Computer-readable storage medium, image recognition apparatus, image recognition system, and image recognition method |
| US8699749B2 (en) | 2011-02-24 | 2014-04-15 | Nintendo Co., Ltd. | Computer-readable storage medium, image processing apparatus, image processing system, and image processing method |
| US8705869B2 (en) | 2011-02-24 | 2014-04-22 | Nintendo Co., Ltd. | Computer-readable storage medium, image recognition apparatus, image recognition system, and image recognition method |
| US8705868B2 (en) | 2011-02-24 | 2014-04-22 | Nintendo Co., Ltd. | Computer-readable storage medium, image recognition apparatus, image recognition system, and image recognition method |
| US9710967B2 (en) | 2011-08-31 | 2017-07-18 | Nintendo Co., Ltd. | Information processing program, information processing system, information processing apparatus, and information processing method, utilizing augmented reality technique |
| JP2013134538A (en)* | 2011-12-26 | 2013-07-08 | Sony Corp | Information processing terminal, information processing method, and program |
| JP2015528936A (en)* | 2012-06-14 | 2015-10-01 | クアルコム，インコーポレイテッド | Adaptive switching between vision-assisted inertial camera pose estimation and vision-based camera pose estimation |
| JP2012212460A (en)* | 2012-06-22 | 2012-11-01 | Nintendo Co Ltd | Image processing program, image processing apparatus, image processing system, and image processing method |
| JP2015532077A (en)* | 2012-09-27 | 2015-11-05 | メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツングｍｅｔａｉｏ ＧｍｂＨ | Method for determining the position and orientation of an apparatus associated with an imaging apparatus that captures at least one image |
| JP2014167786A (en)* | 2012-10-31 | 2014-09-11 | Boeing Co | Automated frame-of-reference calibration for augmented reality |
| JP2014170483A (en)* | 2013-03-05 | 2014-09-18 | Nintendo Co Ltd | Information processing system, information processor, information processing method and program for information processing |
| JP2014216813A (en)* | 2013-04-25 | 2014-11-17 | 日本放送協会 | Camera attitude estimation device and program therefor |
| WO2015045834A1 (en)* | 2013-09-30 | 2015-04-02 | 独立行政法人産業技術総合研究所 | Marker image processing system |
| US10262429B2 (en) | 2013-09-30 | 2019-04-16 | National Institute Of Advanced Industrial Science | Marker image processing system |
| JPWO2015045834A1 (en)* | 2013-09-30 | 2017-03-09 | 国立研究開発法人産業技術総合研究所 | Marker image processing system |
| JP2015158461A (en)* | 2014-02-25 | 2015-09-03 | 富士通株式会社 | Attitude estimation device, attitude estimation method and attitude estimation computer program |
| JP2015225014A (en)* | 2014-05-29 | 2015-12-14 | 日本電信電話株式会社 | POSITION ESTIMATION DEVICE, POSITION ESTIMATION METHOD, AND PROGRAM |
| US10152826B2 (en) | 2014-07-28 | 2018-12-11 | Panasonic Intellectual Property Mangement Co., Ltd. | Augmented reality display system, terminal device and augmented reality display method |
| JPWO2016017121A1 (en)* | 2014-07-28 | 2017-06-22 | パナソニックＩｐマネジメント株式会社 | Augmented reality display system, terminal device, and augmented reality display method |
| WO2016017121A1 (en)* | 2014-07-28 | 2016-02-04 | パナソニックＩｐマネジメント株式会社 | Augmented reality display system, terminal device and augmented reality display method |
| JP2017036970A (en)* | 2015-08-07 | 2017-02-16 | キヤノン株式会社 | Information processor, information processing method, and program |
| US11151374B2 (en) | 2016-09-01 | 2021-10-19 | Arjo Solutions | Method and system for generating a surface signature |
| JP2019532447A (en)* | 2016-09-01 | 2019-11-07 | アルジョ ソリューションズＡｒｊｏ Ｓｏｌｕｔｉｏｎｓ | Method and system for generating a surface signature |
| JP2022166116A (en)* | 2016-09-01 | 2022-11-01 | アルジョ ソリューションズ | Method and system for generating surface signature |
| JP7316419B2 (en) | 2016-09-01 | 2023-07-27 | アルジョ ソリューションズ | Method and system for generating surface signatures |
| JP7623101B2 (en) | 2016-09-01 | 2025-01-28 | アルジョ ソリューションズ | Method and system for generating a surface signature - Patents.com |
| WO2019187167A1 (en)* | 2018-03-31 | 2019-10-03 | 株式会社スペシャルエフエックススタジオ | Terminal display image display method |
| JP2021018206A (en)* | 2019-07-23 | 2021-02-15 | 株式会社島津製作所 | Head motion tracker device |
| JP7334521B2 (en) | 2019-07-23 | 2023-08-29 | 株式会社島津製作所 | Head motion tracker device |
| WO2021140631A1 (en)* | 2020-01-09 | 2021-07-15 | マクセル株式会社 | Spatial recognition system, spatial recognition method, and information terminal |
| JPWO2021140631A1 (en)* | 2020-01-09 | 2021-07-15 | ||
| JP7525515B2 (en) | 2020-01-09 | 2024-07-30 | マクセル株式会社 | SPATIAL RECOGNITION SYSTEM, SPATIAL RECOGNITION METHOD, AND INFORMATION TERMINAL |
| US12154330B2 (en) | 2020-01-09 | 2024-11-26 | Maxell, Ltd. | Space recognition system, space recognition method and information terminal |
| WO2025033109A1 (en)* | 2023-08-04 | 2025-02-13 | ソニーグループ株式会社 | Information processing device and method |
| Publication | Publication Date | Title |
|---|---|---|
| JP2003281504A (en) | Imaging unit position and orientation estimation apparatus, control method therefor, and mixed reality presentation system | |
| KR102049245B1 (en) | Image processing apparatus, image processing method, image processing system, and storage medium | |
| JP4065507B2 (en) | Information presentation apparatus and information processing method | |
| US8144238B2 (en) | Image processing apparatus and method | |
| JP4532856B2 (en) | Position and orientation measurement method and apparatus | |
| US10930008B2 (en) | Information processing apparatus, information processing method, and program for deriving a position orientation of an image pickup apparatus using features detected from an image | |
| US7092109B2 (en) | Position/orientation measurement method, and position/orientation measurement apparatus | |
| EP1883052B1 (en) | Generating images combining real and virtual images | |
| JP4532982B2 (en) | Arrangement information estimation method and information processing apparatus | |
| JP6503906B2 (en) | Image processing apparatus, image processing method and image processing program | |
| JP3976900B2 (en) | Method for determining viewpoint position and orientation and camera device | |
| EP1596329A2 (en) | Marker placement information estimating method and information processing device | |
| US20030012410A1 (en) | Tracking and pose estimation for augmented reality using real features | |
| JP2008275391A (en) | Position / orientation measuring apparatus and position / orientation measuring method | |
| JP2008046687A (en) | Imaging environment calibration method and information processing apparatus | |
| JP6894707B2 (en) | Information processing device and its control method, program | |
| JP7224350B2 (en) | Image capture device and image capture method | |
| JP6196562B2 (en) | Subject information superimposing apparatus, subject information superimposing method, and program | |
| JP2005107247A (en) | Position and orientation estimation method and apparatus | |
| JP4194316B2 (en) | Position / orientation estimation apparatus, position / orientation estimation method, and program | |
| JP2005107965A (en) | Index identification method and apparatus | |
| JP5530391B2 (en) | Camera pose estimation apparatus, camera pose estimation method, and camera pose estimation program | |
| JP2005107964A (en) | Index identification method and apparatus | |
| CN113412510A (en) | Image adjustment system, image adjustment device, and image adjustment method | |
| JP6759300B2 (en) | Information processing equipment, information processing methods and programs |
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20061220 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20070105 | |
| A02 | Decision of refusal | Free format text:JAPANESE INTERMEDIATE CODE: A02 Effective date:20070427 |