【０００１】[0001]
【産業上の利用分野】本発明は座標検出装置及び方法、
詳しくは操作者により指示された座標位置を検出する座
標検出装置及び方法に関するものである。BACKGROUND OF THE INVENTION The present invention relates to a coordinate detecting device and method,
More specifically, the present invention relates to a coordinate detection device and method for detecting a coordinate position designated by an operator.
【０００２】[0002]
【従来の技術】従来、この種の装置としては、専用のタ
ブレット上を専用のペンで示すタイプのデバイス（デジ
タイザと呼ばれる）と、回転ボールとそのボールの回転
方向やその量を検出するロータリーエンコーダを内蔵し
たタイプのデバイス（例えばマウスやトラックボール）
等がある。2. Description of the Related Art Conventionally, as a device of this type, a device of a type in which a dedicated tablet is indicated by a dedicated pen (called a digitizer), a rotary ball and a rotary encoder for detecting the rotating direction of the ball and the amount thereof are known. Built-in device (eg mouse or trackball)
Etc.
【０００３】これらはいずれも、 表示画面を見る人＝ポインティングデバイスを操作する
人 であるケースが多い。In many of these cases, the person who looks at the display screen = the person who operates the pointing device.
【０００４】ところで、最近では、予め表示情報を電子
化しておいて、その席上で、多数の人を前に各種プレゼ
ンテーションを行うようになってきた。一般に、このよ
うなプレゼンテーションでは比較的大きな画面に表示さ
れるこが望まれ、情報処理装置（例えばパーソナルコン
ピュータ等）にプロジェクタや、専用のＯＨＰ装置を接
続することで行われることが多い。By the way, recently, it has become possible to digitize display information in advance and to give various presentations to a large number of people on the seat. Generally, in such a presentation, it is desired that the information is displayed on a relatively large screen, and it is often performed by connecting a projector or a dedicated OHP device to an information processing device (for example, a personal computer).
【０００５】かかるシステムでは、プレゼンテーション
用資料の作成等も、ワープロ感覚で作成できるので注目
されている。With such a system, attention has been paid to the fact that presentation materials can be created as if they were word processors.
【０００６】[0006]
【発明が解決しようとする課題】しかしながら、例えば
表示（もしくは投影）された画像中に、いくつかのメニ
ューを表示させていても、結局そのメニューを選択する
のは、専用のオペレータであり、視聴者はあくまで受手
としてしか参加できない。However, for example, even if some menus are displayed in the displayed (or projected) image, a dedicated operator is the one who ultimately selects the menu. A person can participate only as a recipient.
【０００７】これを解決する手法としては、例えば、特
開平４−１８８５９号や特開平４−１８８６０号があ
る。これらの提案には、ポインティング光線を照射する
手段と、スクリーンに設けられ、この照射された位置を
検出する手段を備える技術が開示されている。As a method for solving this, there are, for example, JP-A-4-18859 and JP-A-4-18860. These proposals disclose a technique including means for irradiating a pointing light beam and means for detecting the irradiated position provided on the screen.
【０００８】たしかに、かかる構成をすると、遠隔から
スクリーン上の所望とする位置を指定することは可能で
はあるが、そのスクリーンは複雑な構成を備えることに
なるので、製造が困難であり、且つ、非常に高価にな
る。また、そのスクリーンが必須になるので、プレゼン
テーションを行う場所も自ずと決まってくる。Although it is possible to specify a desired position on the screen from a remote location with such a configuration, the screen has a complicated configuration, which is difficult to manufacture, and Very expensive. Also, since the screen is mandatory, the place to give a presentation is naturally decided.
【０００９】[0009]
【課題を解決するための手段】及び[Means for Solving the Problems] and
【作用】本発明はかかる点に着目したものであり、簡単
な構成でもって、既存の資源を活用しつつ、遠隔から所
望とする位置を指定することを可能ならしめる座標検出
装置及び方法を提供しようとするものである。The present invention focuses on such a point, and provides a coordinate detection device and method with a simple configuration, which makes it possible to remotely designate a desired position while utilizing existing resources. Is what you are trying to do.
【００１０】この課題を解決するため、例えば本発明の
座標検出装置は以下の構成を備える。すなわち、指示し
た座標位置を検出する座標検出装置であって、撮像手段
を備えたポインティングデバイスと、該ポインティング
デバイスから供給された像中の、座標入力空間を特定す
る少なくとも２つのマーカーを検出する検出手段と、検
出されたマーカーの位置に基づいて、前記座標入力空間
に対する前記撮像手段の撮像方向の位置を導出する導出
手段とを備える。In order to solve this problem, for example, the coordinate detecting device of the present invention has the following configuration. That is, a coordinate detection device that detects a designated coordinate position, and detects a pointing device that includes an image pickup means and at least two markers that specify a coordinate input space in an image supplied from the pointing device. And a derivation unit that derives the position of the image pickup unit in the image pickup direction with respect to the coordinate input space based on the detected position of the marker.
【００１１】また、本発明の好適な実施態様に従えば、
前記座標入力空間は、表示画面であることが望ましい。
これによって、画像を表示できさえすれば座標入力空間
が構築できるようになる。According to a preferred embodiment of the present invention,
The coordinate input space is preferably a display screen.
This allows the coordinate input space to be constructed as long as the image can be displayed.
【００１２】また、この場合におけるマーカーは表示画
面の所定位置に表示される識別マーカー画像であること
が望ましい。これにより、表示を制御する側でマーカー
を表示させる処理を行なえばよくなり、画像を表示する
側は汎用のものが使用できる。The marker in this case is preferably an identification marker image displayed at a predetermined position on the display screen. As a result, the display control side has only to perform the process of displaying the marker, and the image display side can use a general-purpose one.
【００１３】また、マーカーは、着脱自在な物理的なマ
ーカーであっても良い。この場合には、表示を制御する
側にはマーカーを表示する等の処理が不要になり、その
マーカーさえ設置すれば座標検出が行なえるようにな
る。The marker may be a removable physical marker. In this case, the display control side does not need to display a marker or the like, and the coordinates can be detected by installing the marker.
【００１４】また、前記ポインティングデバイスと、前
記検出手段及び導出手段は少なくとも別体になっていて
いるが望ましい。この結果、ポインティングデバイスは
非常にコンパクトにすることができるので、マイクを持
つような間隔で遠隔から座標入力が行なえる。Further, it is desirable that the pointing device and the detecting means and the deriving means are at least separate bodies. As a result, the pointing device can be made very compact so that coordinate input can be performed remotely at intervals such as holding a microphone.
【００１５】また、前記導出手段は、検出された２つの
マーカーと、前記座標入力空間を特定する所定の形状情
報に基づいて座標位置を導出するが望ましい。これによ
って、操作者と座標入力空間を載置した場所との間の距
離に関わりなく座標入力を行なえるようになる。Further, it is preferable that the deriving means derives the coordinate position based on the detected two markers and predetermined shape information for specifying the coordinate input space. This allows coordinate input to be performed regardless of the distance between the operator and the place where the coordinate input space is placed.
【００１６】また、前記形状情報はアスペクト比である
ことが望ましい。この結果、座標検出は至極簡単にな
り、検出速度も高速に行なえるようになる。The shape information is preferably an aspect ratio. As a result, the coordinate detection becomes extremely simple, and the detection speed can be made high.
【００１７】更に、前記導出手段で導出された座標デー
タを送出するための汎用インターフェースを備えるが望
ましい。この結果、汎用の情報処理装置に接続するだ
け、座標入力を行なえるようになる。Further, it is preferable that a general-purpose interface for transmitting the coordinate data derived by the deriving means is provided. As a result, the coordinates can be input only by connecting to a general-purpose information processing device.
【００１８】前記ポインティングデバイスには、少なく
とも１つのボタンスイッチを備え、当該ボタンスイッチ
の状態情報を映像信号と共に出力するが望ましい。この
結果、単に座標の入力だけでなく、各種指示等を行なえ
るようになる。It is preferable that the pointing device includes at least one button switch, and state information of the button switch is output together with a video signal. As a result, not only the input of coordinates but also various instructions can be performed.
【００１９】また、更に、前記マーカーの位置と座標入
力空間の関係を調整する手段を備えることが望ましい。
これにより、異なる座標入力空間においても正常な座標
入力が行なえるようになる。Further, it is desirable to further comprise means for adjusting the relationship between the position of the marker and the coordinate input space.
As a result, normal coordinate input can be performed even in different coordinate input spaces.
【００２０】[0020]
【実施例】以下、添付図面に従って本発明に係る一実施
例を詳細に説明する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment according to the present invention will be described in detail below with reference to the accompanying drawings.
【００２１】図１は実施例におけるシステムの構成を示
している。図中、１は装置全体の制御を司るＣＰＵであ
り、２はブートプログラム等を記憶しているＲＯＭ、３
はＣＰＵ１が処理するＯＳやアプリケーション或いはワ
ーク領域として使用するＲＡＭである。４はＯＳやアプ
リケーションプログラム、更には各種情報を格納してい
る外部記憶装置（例えばハードディスク装置、フロッピ
ーディスク装置、光磁気ディスク装置等）である。５は
各種コンマンドを入力したり、文字等を入力するための
キーボードである。６は表示画面に表示するイメージを
展開するＶＲＡＭであり、７はＶＲＡＭ６に展開された
イメージを表示する表示装置である。尚、ＶＲＡＭ６に
各種イメージデータを展開すると、その展開されたイメ
ージが表示装置７に表示される。従って、ＶＲＡＭにデ
ータを書き込むことと、表示するということは等価であ
る。FIG. 1 shows a system configuration in the embodiment. In the figure, 1 is a CPU that controls the entire apparatus, 2 is a ROM that stores a boot program, and 3
Is a RAM used as an OS or application processed by the CPU 1 or a work area. Reference numeral 4 is an external storage device (for example, a hard disk device, a floppy disk device, a magneto-optical disk device, etc.) that stores an OS, application programs, and various kinds of information. A keyboard 5 is used to input various commands and characters. Reference numeral 6 is a VRAM which expands an image displayed on the display screen, and 7 is a display device which displays the image expanded in the VRAM 6. When various image data is expanded in the VRAM 6, the expanded image is displayed on the display device 7. Therefore, writing data in the VRAM and displaying the data are equivalent.
【００２２】９が、操作者が操作する座標入力部であっ
て、撮像素子と、一般のマウスデバイスや座標入力ペン
等と同様にボタンが設けられている。撮像された像デー
タ及びこのボタンの押下情報は、図示のインターフェー
ス８を介して装置に取り込まれる。Reference numeral 9 denotes a coordinate input section operated by an operator, which is provided with buttons similar to those of an image pickup element and a general mouse device or a coordinate input pen. The imaged image data and the pressing information of this button are loaded into the apparatus via the interface 8 shown in the figure.
【００２３】上記構成において、今、本システムに電源
が投入されると、ＣＰＵ１はＲＯＭ２内に格納されてい
るブートプログラムに従って、外部記憶装置４からＯＳ
プログラムをＲＡＭ３に読み出してＯＳを稼動させる。
そして、操作者がキーボード５や実施例の座標入力部９
からの指示に基づいて各種アプリケーションを起動し、
処理を遂行していくことになる。このとき、実施例の座
標入力部９を使用すると、表示装置７上には対応するカ
ーソルが表示され、一般のマウスやデジタイザと同様の
作業が行なえるようになる。尚、カーソルの表示制御自
身は公知であり、本願発明には直接的には関係がないの
でその説明は省略するが、少なくともＯＳは座標データ
及びボタンの押下情報をインターフェース８を介して受
け、カーソルの制御等を行うことになる。In the above configuration, when the power of the present system is turned on, the CPU 1 operates from the external storage device 4 according to the boot program stored in the ROM 2.
The program is read into the RAM 3 and the OS is operated.
Then, the operator operates the keyboard 5 and the coordinate input section 9 of the embodiment.
Start various applications based on the instructions from
The processing will be carried out. At this time, when the coordinate input unit 9 of the embodiment is used, a corresponding cursor is displayed on the display device 7, and the same work as a general mouse or digitizer can be performed. Although the cursor display control itself is well known and is not directly related to the present invention, the description thereof is omitted, but at least the OS receives coordinate data and button press information via the interface 8 Will be controlled.
【００２４】図２に実施例のシステム及び座標入力部９
の操作例を示す。FIG. 2 shows the system and coordinate input unit 9 of the embodiment.
An operation example of is shown.
【００２５】図示の如く、実施例における座標入力部９
は、手に持てる程度の大きさであり、遠隔から表示画面
上のカーソルの位置を制御することを可能にしている、
図示において、９ａは座標入力部９に設けられたボタン
を示し、１０１は座標入力部９の操作に連動するカーソ
ルである。As shown, the coordinate input unit 9 in the embodiment
Is a size that you can hold in your hand and allows you to remotely control the position of the cursor on the display screen.
In the figure, 9a indicates a button provided on the coordinate input section 9, and 101 is a cursor which is interlocked with the operation of the coordinate input section 9.
【００２６】以下、図２に示す動作を実現するための原
理を詳細に説明する。The principle for realizing the operation shown in FIG. 2 will be described in detail below.
【００２７】座標入力部９には、先に説明したように固
体撮像素子（ＣＣＤ）が内蔵されている。そして、その
撮像された像を基にして座標入力部９の指し示した延長
上の表示画面位置を検出するものである。The coordinate input section 9 has a built-in solid-state image pickup device (CCD) as described above. Then, the extended display screen position pointed by the coordinate input unit 9 is detected based on the captured image.
【００２８】一般に、撮像した像を認識するには非常に
複雑な処理を要するが、本願発明者はかかる処理を極め
て簡単に実現した。Generally, a very complicated process is required to recognize a picked-up image, but the inventor of the present invention realized such a process very easily.
【００２９】具体的には、表示装置７の表示領域（以
下、スクリーン領域）の所定位置（少なくとも２箇所）
に、表示画像と区別可能なマーカーを表示する。図２に
おける符号１０２、１０３がマーカーである。ここでマ
ーカーは、特別な色にしたり、或いは、点滅する周期を
所定値にしたりする等が考えられる。いずれにしてもマ
ーカーを認識できさえすれば、以下に説明する機能が実
現できるので、その手法は問わない。ここでは、説明を
簡単にするため、マーカー１０２を赤色、マーカー１０
３を緑色にした例を説明する。但し、この場合には、ス
クリーン領域には、マーカーで使用している色は表示し
ないものとする。Specifically, predetermined positions (at least two places) in the display area (hereinafter, screen area) of the display device 7
A marker distinguishable from the displayed image is displayed on the screen. Reference numerals 102 and 103 in FIG. 2 are markers. Here, it is conceivable that the marker has a special color, or the blinking period has a predetermined value. In any case, as long as the marker can be recognized, the function described below can be realized, and the method is not limited. Here, in order to simplify the description, the marker 102 is red and the marker 10 is
An example in which 3 is green will be described. However, in this case, the color used in the marker is not displayed in the screen area.
【００３０】図３は、座標入力部９での撮像例を示して
いる。同図（Ａ）は撮像の中心位置が撮像されたスクリ
ーン領域の外にある例を、同図（Ｂ）は撮像の中心位置
が撮像されたスクリーン領域内にある例を示している。
撮像の中心位置が、表示画面内に入っているか否かの判
定は、２つのマーカー（赤色マーカーと緑色マーカー）
を検出でき、且つ、撮像されたマーカーの位置から一義
的に決まる撮像画像中のスクリーン領域のサイズと位置
を演算し、それでもって判定すれば良い。FIG. 3 shows an example of imaging by the coordinate input section 9. FIG. 9A shows an example in which the center position of the image pickup is outside the screen region where the image was taken, and FIG. 8B shows an example where the center position of the image pickup is inside the screen region in which the image was taken.
Two markers (red marker and green marker) are used to determine whether the center position of imaging is within the display screen.
Can be detected, and the size and position of the screen area in the captured image that is uniquely determined from the position of the imaged marker can be calculated, and the determination can be made accordingly.
【００３１】例えば、表示装置７のスクリーン領域の縦
横比（一般にアスペクト比と呼ばれる）が決まっていれ
ば、２つのマーカーを検出しさえすれば、そのマーカー
位置と、表示画面のアスペクト比でもって、撮像の中心
位置の表示画面に対する座標を求めることができる。ア
スペクト比を用いることの利点は、座標入力部９の操作
者の表示装置７からの距離を無視（操作者と表示画面と
の距離を無視）できるからである。For example, if the aspect ratio (generally called the aspect ratio) of the screen area of the display device 7 is determined, as long as two markers are detected, the position of the marker and the aspect ratio of the display screen, The coordinates of the center position of imaging with respect to the display screen can be obtained. The advantage of using the aspect ratio is that the distance of the operator of the coordinate input unit 9 from the display device 7 can be ignored (the distance between the operator and the display screen can be ignored).
【００３２】従って、同図（Ａ）の状態であれば、検出
した座標データは、範囲外として処理すれば良いし、同
図（Ｂ）の状態であれば、マーカーによって決まるスク
リーン領域に対する撮像の中心位置の座標を演算すれば
良い。Therefore, in the state of FIG. 9A, the detected coordinate data may be processed as being out of the range, and in the state of FIG. 9B, the image pickup for the screen area determined by the marker is performed. The coordinates of the center position may be calculated.
【００３３】ここで注目する点は、座標入力部９の指向
方向がスクリーン領域のどの位置にあるかがわかれば良
いわけであるから、座標入力部９がどのように操作者の
手に持たれているかは一切考慮する必要はない点であ
る。すなわち、ボタン９ａが必ず上になるように持つこ
とを義務付けるものではない。The point to be noted here is that it suffices to know at which position in the screen area the directivity direction of the coordinate input section 9 is located. Therefore, how the coordinate input section 9 is held by the operator. It is not necessary to consider whether or not it is present. That is, it is not obligatory to hold the button 9a so that it is always on top.
【００３４】尚、座標位置の求め方を簡単に説明する
と、次のようになろう。The method of obtaining the coordinate position will be briefly described as follows.
【００３５】図４（Ａ）は、座標入力部９で撮像された
スクリーン領域を示している（点Ａ，Ｂ，Ａ’，Ｂ’で
囲まれる領域）。FIG. 4A shows a screen area imaged by the coordinate input section 9 (area surrounded by points A, B, A ', B').
【００３６】ここで、点Ａが赤色のマーカー、点Ｂが緑
色のマーカーであるものとする。勿論、この時点では点
Ａ’，Ｂ’の位置は未定であるが、簡単に求めることは
できる。すなわち、点Ａ、Ｂの距離及び、点Ｂを基準と
し、水平軸から点Ａへの角度θ1は容易に検出（算出）
できる。また、∠ＡＢＡ’（＝θ2）は固定であるの
で、点Ａ’の水平線からの角度θ3は、 θ3=θ1-θ2 となる。すなわち、この場合には、点Ｂを基準とし、点
Ａ及び点Ｐをθ3だけ時計まわりに回転さることで、ス
クリーンに表示された像を正立させることが可能にな
る。Here, it is assumed that the point A is a red marker and the point B is a green marker. Of course, the positions of the points A ′ and B ′ have not been determined at this point, but they can be easily obtained. That is, based on the distance between the points A and B and the point B, the angle θ1 from the horizontal axis to the point A can be easily detected (calculated).
it can. Further, since ∠ABA '(= θ2) is fixed, the angle θ3 from the horizontal line of the point A'is θ3 = θ1-θ2. That is, in this case, the image displayed on the screen can be erected by rotating the points A and P clockwise by θ3 with reference to the point B.
【００３７】この結果、点Ａ’、Ｂ’は単純に求めるこ
とができる。すなわち、点Ａ’及び点Ｂ’は、それぞれ
辺ＡＢの長さに、cosθ2、sinθ2を掛け合わせれば得ら
れる。より詳しく説明すると、回転処理後の点Ａ’のｘ
座標は、回転処理後の点Ａのｘ座標と同じであり、回転
処理後の点Ｂ’のｙ座標は、回転処理後の点Ａのｙ座標
と同じである。後は、点Ｐの座標ｘ，ｙと点Ａ、Ｂ、
Ａ’，Ｂ’の大小比較のみで点Ｐがスクリーン領域内に
入っているか否かを判定できる。As a result, the points A'and B'can be simply obtained. That is, the point A ′ and the point B ′ are obtained by multiplying the length of the side AB by cos θ2 and sin θ2, respectively. More specifically, x of the point A ′ after the rotation processing
The coordinates are the same as the x-coordinate of the point A after the rotation processing, and the y-coordinate of the point B ′ after the rotation processing is the same as the y-coordinate of the point A after the rotation processing. After that, the coordinates x and y of the point P and the points A and B,
Whether or not the point P is within the screen area can be determined only by comparing the magnitudes of A ′ and B ′.
【００３８】すなわち、回転後における各点の座標を点
Ｐの座標を（ＸP，ＹP）、点Ａの座標を（ＸA，ＹA），
点Ｂを（ＸB，ＹB）とした場合、以下の条件を満足する
とき、点Ｐはスクリーン領域内にあると判定できる。That is, the coordinates of each point after rotation are the coordinates of the point P (XP, YP), the coordinates of the point A (XA, YA),
When the point B is (XB, YB), the point P can be determined to be within the screen area when the following conditions are satisfied.
【００３９】ＸB≦ＸP≦ＸA ＹB≦ＹP≦ＹA 但し、ここでは、画面の左下を原点にし、右方向はＸ軸
の正を、上方向をＹ軸の正の方向とした。尚、軸の正の
方向はこれに限らないのは勿論である。XB.ltoreq.XP.ltoreq.XA YB.ltoreq.YP.ltoreq.YA However, here, the lower left of the screen is the origin, the right direction is the positive direction of the X axis, and the upward direction is the positive direction of the Y axis. Of course, the positive direction of the axis is not limited to this.
【００４０】また、情報処理装置内部で使用する座標空
間のスクリーン領域の水平方向の最大座標値ＸMAX，及
び垂直方向の最大座標ＹMAX（ドット数もしくはその情
報処理装置が採用する仮想的な絶対座標値）は固定であ
るので、点Ｐの情報処理が活用する座標Ｘ，Ｙは Ｘ＝ＸMAX・（XP-XB)/(XA-XB) Ｙ＝ＹMAX・（YP-YB）/(YA-YB) で求めることができる。The maximum coordinate value XMAX in the horizontal direction and the maximum coordinate value YMAX in the vertical direction of the screen area of the coordinate space used inside the information processing apparatus (the number of dots or the virtual absolute coordinate value adopted by the information processing apparatus). ) Is fixed, so the coordinates X and Y utilized by the information processing of point P are X = XMAX ・ (XP-XB) / (XA-XB) Y = YMAX ・ (YP-YB) / (YA-YB) Can be found at.
【００４１】さて、実施例の装置（システム）における
ＣＰＵ１は、ＯＳもしくはアプリケーションから座標位
置を獲得する指示を受けると、図５に示す手順で座標を
検出すれば良い。尚、同図の処理手順は、最初は外部記
憶装置４に記憶されていて、システムが稼動状態になっ
てＲＡＭ３に読み込まれ、適当な時間毎に呼び出される
ものである。Now, when the CPU 1 in the apparatus (system) of the embodiment receives an instruction to acquire the coordinate position from the OS or application, it may detect the coordinate by the procedure shown in FIG. The processing procedure shown in the figure is initially stored in the external storage device 4, is read into the RAM 3 when the system is in an operating state, and is called at appropriate intervals.
【００４２】先ず、ステップＳ１において、座標入力部
９から撮像映像を入力する。そして、ステップＳ２でも
って、その中に２つのマーカーが存在するか否かを判定
する。２つとも検出されない場合、座標入力部９は表示
画面方向に向かっていないことになるから、ステップＳ
５に進んで、エラー処理を行う。エラー処理としては、
例えばエラーである旨を呼び出し元に通知する、もしく
は、スクリーン領域内にあると判定された最新の座標デ
ータを検出結果として通知する等である。後者の場合に
は、カーソルはスクリーン領域に表示されたままにさせ
ることが可能になるので、操作者に自然な環境を提供で
きるであろう。First, in step S1, a picked-up image is input from the coordinate input section 9. Then, in step S2, it is determined whether or not two markers are present therein. If neither is detected, it means that the coordinate input unit 9 is not in the direction of the display screen.
Proceed to step 5 to perform error processing. For error handling,
For example, the caller may be notified of an error, or the latest coordinate data determined to be within the screen area may be notified as a detection result. In the latter case, the cursor could be left visible in the screen area, thus providing a natural environment for the operator.
【００４３】さて、２つのマーカーが検出されると、そ
れぞれのマーカーの位置と、予め設定されたスクリーン
領域のアスペクト比に基づいて、撮像画像全体の中心位
置が、撮像されたスクリーン領域内部に含まれるか否か
を判定する。スクリーン領域外であると判定された場合
には、ステップＳ５のエラー処理を行なう。When two markers are detected, the center position of the entire captured image is included in the captured screen area based on the position of each marker and the preset aspect ratio of the screen area. Is determined. If it is determined that it is outside the screen area, the error process of step S5 is performed.
【００４４】また、スクリーン領域内にあると判定され
た場合には、その撮像画像全体の中心位置の、スクリー
ン領域に対する座標を算出し、その算出結果と、ボタン
９ａの押下状態を示す情報を本処理の呼び出し元に返
す。When it is determined that the image is within the screen area, the coordinates of the center position of the entire captured image with respect to the screen area are calculated, and the calculation result and information indicating the pressed state of the button 9a are recorded. Return to the caller of the process.
【００４５】以上の結果、本実施例によれば、表示画像
の所望とする位置の指定を、遠隔から、しかも格別な表
示装置を用いずとも行なえるようになる。As a result of the above, according to the present embodiment, the desired position of the display image can be designated remotely and without using a special display device.
【００４６】尚、上記実施例では情報処理装置内の全体
の制御を司るＣＰＵ１が座標位置検出を行う例を示した
が、例えば座標検出するための回路を独立させても良
い。一般に、情報処理装置（例えばパーソナルコンピュ
ータ）には、各種機能を拡張するための拡張スロットと
呼ばれるインターフェースを備えているので、上記の座
標検出を行うカードもしくはボードを装着させれば良
い。このようにすると、汎用の装置でもって上記実施例
の機能を実現できるようになり、特別な情報処理装置で
ある必要性はなくなる。In the above embodiment, the example in which the CPU 1 which controls the whole of the information processing apparatus detects the coordinate position is shown. However, for example, a circuit for detecting the coordinate may be independent. In general, an information processing device (for example, a personal computer) is provided with an interface called an expansion slot for expanding various functions, so that a card or board for performing the above coordinate detection may be mounted. By doing so, the functions of the above-described embodiments can be realized by a general-purpose device, and there is no need for a special information processing device.
【００４７】＜第２の実施例の説明＞上記実施例では、
表示装置７の表示画面のアスペクト比が一定であるとし
て説明したが、その比を微調整できる装置もめずらしく
はない。また、同じプレゼンテーションデータを別な装
置の別な表示装置で行う場合、各々の表示装置間でアス
ペクト比が必ず一定であるとの保証もない。<Description of Second Embodiment> In the above embodiment,
Although it has been described that the aspect ratio of the display screen of the display device 7 is constant, it is not unusual for a device that can finely adjust the aspect ratio. Further, when the same presentation data is displayed on another display device of another device, there is no guarantee that the aspect ratio is always constant between the display devices.
【００４８】そこで、本第２の実施例では、実際に座標
入力部９でもって操作する前に、そのアスペクト比を決
定する処理を付加した。Therefore, in the second embodiment, a process for determining the aspect ratio is added before the actual operation with the coordinate input section 9.
【００４９】装置構成は図１と同じとし、以下では、座
標入力の微調整処理の開始指示（例えばキーボードから
該当するプログラムの起動指示）がなされた場合に起動
する処理を、図６を用いて説明する。なお、処理開始指
示をする以前に、操作者は、座標入力部９を表示画面方
向に適当にむけて固定しておくものとする（手で触れな
い）。The apparatus configuration is the same as that in FIG. 1, and in the following, the processing to be started when a start instruction for fine adjustment processing of coordinate input (for example, a start instruction of the corresponding program from the keyboard) is issued will be described using FIG. explain. Before issuing a processing start instruction, the operator should fix the coordinate input unit 9 so that it faces the display screen appropriately (not touch it).
【００５０】先ず、ステップＳ１１において、表示装置
７上の右上隅位置にマーカーを表示する。ステップＳ１
２では、このマーカーが座標入力部９の撮像範囲に入っ
ているか否かを判断する。入っていない場合には、座標
入力部９の方向を調整し、ステップＳ１２の判断がｙｅ
ｓになるまで調整する。尚、座標入力部９にズーム機能
が搭載されている場合には、その倍率を小さめにセット
しておきさえすれば、ステップＳ１２の判定結果がＮＯ
になるケースは希である。First, in step S11, a marker is displayed at the upper right corner position on the display device 7. Step S1
At 2, it is determined whether or not this marker is within the imaging range of the coordinate input unit 9. If not, the direction of the coordinate input unit 9 is adjusted and the determination in step S12 is yes.
Adjust until s. If the coordinate input unit 9 has a zoom function, the determination result of step S12 is NO if the magnification is set to a small value.
Is rare.
【００５１】さて、スクリーン領域の右上隅のマーカー
が検出されると、撮像画像全体におけるマーカー位置を
記憶保持しておく。次いで、ステップＳ１４に進んで、
今度はスクリーン領域の左上隅にマーカーを表示させ、
同様の処理を行う（ステップＳ１５、１６）。When the marker at the upper right corner of the screen area is detected, the marker position in the entire captured image is stored and held. Next, in step S14,
Now display the marker in the upper left corner of the screen area,
The same process is performed (steps S15 and S16).
【００５２】そして、スクリーン領域の右下隅にもマー
カーを表示させ、その検出を行う（ステップＳ１７、Ｓ
１８）。Then, a marker is also displayed in the lower right corner of the screen area to detect the marker (steps S17, S).
18).
【００５３】こうして、スクリーンの形状を特定する位
置のマーカー全て検出されると、それに従ってスクリー
ンのアスペクト比が決定されるので、この後は、この決
定されたアスペクト比に従って座標検出を行えば良い。In this way, when all the markers at the positions that specify the shape of the screen are detected, the aspect ratio of the screen is determined accordingly, and thereafter, the coordinate detection may be performed according to the determined aspect ratio.
【００５４】尚、一般に、表示画面のアスペクト比と、
表示画像の縦横のドット数の比は一致するこが望まれる
が、表示画面のアスペクト比は表示装置に設けられた調
整ツマミで自由に調整できるので、厳密には一致してい
ない可能性がむしろ高い。すなわち、情報処理装置内部
では、例えばドット位置もしくはそれに相当する座標空
間で処理している場合には、検出された撮像画像の中心
位置を補正する必要がある。Generally, the aspect ratio of the display screen
It is desirable that the ratio of the numbers of dots in the vertical and horizontal directions of the display image be the same, but the aspect ratio of the display screen can be adjusted freely with the adjustment knob provided on the display device, so there is a possibility that they do not exactly match. high. That is, inside the information processing apparatus, for example, when processing is performed in the dot position or the coordinate space corresponding thereto, it is necessary to correct the center position of the detected captured image.
【００５５】このためには、例えば右上隅マーカーと右
下隅マーカーの座標系における距離（装置が使用する絶
対座標値）、及び、右上隅と左上隅の座標系における距
離（同様）を入力し、それを補正パラメータとしてセッ
トしておけば良いであろう。For this purpose, for example, the distance in the coordinate system of the upper right corner marker and the lower right corner marker (absolute coordinate value used by the device) and the distance in the coordinate system of the upper right corner and the upper left corner (similar) are input, It may be better to set it as a correction parameter.
【００５６】以上説明したように本第２の実施例によれ
ば、座標入力部９の操作する以前に微調整処理を行える
ので、スクリーン領域のサイズや形状が多少異なる状況
になったとしても正しく座標の入力が行なえるようにな
る。As described above, according to the second embodiment, since the fine adjustment processing can be performed before the coordinate input section 9 is operated, even if the size or shape of the screen area is slightly different, it is correct. You will be able to enter coordinates.
【００５７】＜第３の実施例の説明＞上記第１、第２の
実施例では、情報処理装置自身が座標検出処理を兼ねる
ものとして説明したが、座標検出にかかる処理部分を情
報処理装置の外部に設ける例を第３の実施例として説明
する。<Description of Third Embodiment> In the first and second embodiments described above, the information processing apparatus itself has been described as also performing coordinate detection processing. However, the processing portion related to coordinate detection is performed by the information processing apparatus. An example provided externally will be described as a third embodiment.
【００５８】図７に、第３の実施例における利用形態の
模式図を示す。図中、１００は情報処理装置本体であ
り、２００は情報処理装置からの映像信号を取り込み、
スクリーン５００に投影するプロジェクタである。３０
０は座標検出装置、４００は座標入力部である。FIG. 7 shows a schematic diagram of the usage pattern in the third embodiment. In the figure, 100 is an information processing apparatus main body, 200 is a video signal from the information processing apparatus,
It is a projector that projects on a screen 500. 30
Reference numeral 0 is a coordinate detection device, and 400 is a coordinate input unit.
【００５９】本第３の実施例では、座標検出装置３００
と情報処理装置１００とをシリアルインターフェース
（例えばＲＳ−２３２Ｃ等）で接続した。パーソナルコ
ンピュータにおいてはこの種のインターフェースを備え
ているので、上記構成にすることで、接続する情報処理
装置は汎用のもので構わない。In the third embodiment, the coordinate detecting device 300 is used.
And the information processing apparatus 100 are connected via a serial interface (for example, RS-232C or the like). Since the personal computer is provided with this kind of interface, the information processing device to be connected may be a general-purpose one with the above configuration.
【００６０】図８に第３の実施例の座標検出装置３００
のブロック構成図を示す。FIG. 8 shows a coordinate detecting device 300 according to the third embodiment.
The block block diagram of is shown.
【００６１】図中、３０１は本装置伝帯の制御を司るＣ
ＰＵ、３０２はその動作処理手順を記憶しているＲＯ
Ｍ、３０３はワーク領域として使用するＲＡＭである。
３０４は情報処理装置と双方向通信するシリアルインタ
ーフェース、３０５は座標入力部４００からの映像信号
をデジタル信号に変換する変換器を内蔵したインターフ
ェースである。尚、このインターフェースには、座標入
力部４００のボタンの押下信号も供給されている。３０
６は本装置の環境を設定するための操作スイッチであっ
て、例えば情報処理装置と通信するときのボーレートや
パリティー等の設定するために使用する。In the figure, reference numeral 301 is C for controlling the conduction of the apparatus.
PU, 302 is an RO that stores the operation processing procedure
M and 303 are RAMs used as work areas.
Reference numeral 304 is a serial interface for bidirectional communication with the information processing apparatus, and 305 is an interface incorporating a converter for converting a video signal from the coordinate input unit 400 into a digital signal. A push-down signal of a button of the coordinate input section 400 is also supplied to this interface. 30
Reference numeral 6 denotes an operation switch for setting the environment of this apparatus, which is used for setting the baud rate, parity, etc. when communicating with the information processing apparatus, for example.
【００６２】上記構成において、ＣＰＵ３０１の座標検
出処理内容は第１の実施例と同様である。但し、検出さ
れた座標データはインターフェース３０４を介して情報
処理装置側に出力されることになる。また、第２の実施
例で説明した調整処理は、情報処理装置から、調整する
旨の指示コマンドを受信した際に実行すれば良い。もし
くは、インターフェースがレディー状態になったら送出
する。In the above structure, the coordinate detection processing contents of the CPU 301 are the same as those in the first embodiment. However, the detected coordinate data is output to the information processing device side via the interface 304. Further, the adjustment processing described in the second embodiment may be executed when an instruction command for adjustment is received from the information processing device. Or, send it when the interface becomes ready.
【００６３】以上の結果、既存の装置をそのまま活用
し、遠隔から座標入力を行うことが可能になる。As a result, the existing device can be used as it is, and the coordinates can be input remotely.
【００６４】＜第４の実施例の説明＞上記第１〜第３の
実施例では、いずれも表示可能領域上に特定のマーカー
を表示させるものであった。つまり、情報処理装置側で
表示画像の所定の位置にマーカーを表示させることが必
要であった。<Description of Fourth Embodiment> In each of the first to third embodiments, a specific marker is displayed on the displayable area. That is, it is necessary for the information processing apparatus to display the marker at a predetermined position on the display image.
【００６５】しかしながら、これによって本願発明が限
定されるものではない。例えば、図９に示すように、投
影面（もしくは表示領域）の外側に物理的なマーカーを
設置し（取り外しでき、マーカーのみを運搬するだけで
既存のスクリーンや表示装置に利用可）、そのマーカー
を検出することでもって実現できるからである。However, the present invention is not limited to this. For example, as shown in FIG. 9, a physical marker is set on the outside of the projection surface (or display area) (it can be detached and can be used for an existing screen or display device only by carrying the marker). This is because it can be realized by detecting
【００６６】このようにすることで、マーカーを設置す
る、もしくはマーカーの付いた表示装置やスクリーンが
必要にはなるものの、情報処理装置側では格別な処理は
不要になる。但し、マーカーを設置した場合には、最初
に微調整処理は必要にはなる。By doing so, although it is necessary to install a marker or a display device or a screen with a marker, no special processing is required on the side of the information processing device. However, when the marker is installed, the fine adjustment process is required first.
【００６７】＜第５の実施例の説明＞第１の実施例で
は、撮像画像の中心位置がスクリーン領域内にない場合
に、マーカーを検出できてもエラー処理を行った。この
場合に、スクリーン領域を特定でき、座標がスクリーン
領域外にある場合には、その座標を情報処理装置に出力
するようにしても良い。情報処理装置側では、得られた
座標が表示領域を越える場合には、図１０に示すように
どの方向に座標入力部９が向いているのか示すようにし
ても良い。<Description of Fifth Embodiment> In the first embodiment, when the center position of the picked-up image is not within the screen area, error processing is performed even if the marker can be detected. In this case, the screen area can be specified, and if the coordinates are outside the screen area, the coordinates may be output to the information processing device. When the obtained coordinates exceed the display area, the information processing device may indicate which direction the coordinate input unit 9 is facing, as shown in FIG.
【００６８】＜第６の実施例の説明＞第１の実施例で
は、マーカーを情報処理装置側の制御によって表示して
いたが、この部分を情報処理装置のＣＰＵの介在無しに
行うようにしても良い。<Explanation of Sixth Embodiment> In the first embodiment, the marker is displayed under the control of the information processing apparatus side. However, this portion is displayed without intervention of the CPU of the information processing apparatus. Is also good.
【００６９】図１１に第６の実施例の主要ブロック構成
を示す。図示の合成回路は、表示しようとする映像信号
を入力し、その入力した映像の右上隅と左下隅（これに
限らず右上隅と右下隅でも構わない）にマーカーイメー
ジを合成させ、表示装置（ＣＲＴ表示装置やプロジェク
タ、専用のＯＨＰ機器）に出力させるものである。ま
た。また、座標入力部からの座標データ及びボタンの押
下情報等を入力し、情報処理本体に出力する。FIG. 11 shows the main block configuration of the sixth embodiment. The synthesizing circuit shown in the figure inputs a video signal to be displayed, synthesizes a marker image at the upper right corner and the lower left corner (not limited to this but may be the upper right corner and the lower right corner) of the input video, and displays the image on the display device ( It is output to a CRT display device, a projector, a dedicated OHP device). Also. Further, the coordinate data and button press information from the coordinate input unit are input and output to the information processing body.
【００７０】このような構成にすることで情報処理装置
側のＣＰＵが格別なマーカー表示制御を行なわなくても
よくなり、そのＣＰＵの負担を軽減させることができ
る。With such a configuration, the CPU on the information processing device side does not need to perform special marker display control, and the load on the CPU can be reduced.
【００７１】＜第７の実施例の説明＞上記実施例では、
表示画面が矩形であることを前提として説明した。しか
しながら、表示画面の大きさに対して相対的に操作者の
距離が近い場合、その操作者が表示画面の正面にいるの
ではなく、偏った場所にいる場合、座標入力部９による
撮像画像中のスクリーン領域は矩形になるとは限らな
い。<Description of Seventh Embodiment> In the above embodiment,
The description has been given assuming that the display screen is rectangular. However, when the operator is relatively close to the size of the display screen and the operator is not in front of the display screen but in a biased position, the image captured by the coordinate input unit 9 The screen area of is not necessarily rectangular.
【００７２】そこで、座標入力部９に別途、微調整開始
指示ボタンを設け、そのボタンの押下を検出した場合
に、画面の四隅に順次マーカーを表示させることで、撮
像画像中のスクリーン領域として台形等の形状も許容で
きるようにしても良い。Therefore, the coordinate input section 9 is separately provided with a fine adjustment start instruction button, and when the depression of the button is detected, the markers are sequentially displayed at the four corners of the screen to form a trapezoidal trapezoid as a screen area in the captured image. Other shapes may be acceptable.
【００７３】また、実施例では、表示画面上のカーソル
を連動させるためのポインティングデバイスとして説明
した。つまり、座標入力をむける対象は表示画面もしく
はスクリーンとしたがこれに限るものではない。但し、
プレゼンテーション等を行う際には、遠隔から操作結果
が、表示画面に反映されることが望まれる。Further, in the embodiment, the pointing device for interlocking the cursor on the display screen has been described. That is, the target for coordinate input is the display screen or the screen, but the target is not limited to this. However,
When giving a presentation or the like, it is desired that the operation result be reflected remotely on the display screen.
【００７４】＜第８の実施例の説明＞また、座標入力部
９に、ＬＥＤを装着し、２つのマーカーを検出できたか
否かや、むけられた方向がスクリーン領域内にあるかで
あるかを、同ＬＥＤで操作者に知らしめるようにし、ユ
ーザフレンドリーにしても良い。<Explanation of Eighth Embodiment> Also, whether the coordinate input section 9 is equipped with an LED and two markers can be detected or not, and whether the facing direction is within the screen area or not. May be made user-friendly by notifying the operator with the same LED.
【００７５】また、本実施例では上記の如く、１つの装
置に適応しても、別々の装置として適応しても良い。ま
た、外部からプログラムを供給することによっても実現
しても良いのは勿論である。従って、本発明は上記実施
例に限定される、その思想の範囲に入る限りは、種々の
改良もしくは適用が可能である。Further, in the present embodiment, as described above, it may be applied to one device or separate devices. Further, of course, it may be realized by supplying a program from the outside. Therefore, the present invention is limited to the above-described embodiments, and various improvements or applications are possible within the scope of the idea.
【００７６】[0076]
【発明の効果】以上説明したように本発明によれば、簡
単な構成でもって、既存の資源を活用しつつ、遠隔から
表示スクリーン上の所望とする位置を指定することが可
能になる。As described above, according to the present invention, it is possible to specify a desired position on a display screen remotely while utilizing existing resources with a simple structure.
【００７７】[0077]
【図１】実施例における装置のブロック構成図である。FIG. 1 is a block configuration diagram of an apparatus according to an embodiment.
【図２】実施例の座標入力部の操作例を示す図である。FIG. 2 is a diagram illustrating an operation example of a coordinate input unit according to the embodiment.
【図３】実施例における座標検出の原理を説明するため
の図である。FIG. 3 is a diagram for explaining the principle of coordinate detection in the embodiment.
【図４】実施例における座標判定処理及び座標検出処理
を説明するための図である。FIG. 4 is a diagram for explaining coordinate determination processing and coordinate detection processing in the embodiment.
【図５】実施例における座標検出の処理手順を示すフロ
ーチャートである。FIG. 5 is a flowchart showing a processing procedure of coordinate detection in the embodiment.
【図６】第２の実施例における微調整処理手順を示すフ
ローチャートである。FIG. 6 is a flowchart showing a fine adjustment processing procedure in the second embodiment.
【図７】第３の実施例における操作例を示す図である。FIG. 7 is a diagram showing an operation example in the third embodiment.
【図８】第３の実施例の座標検出装置のブロック構成図
を示す図である。FIG. 8 is a block diagram of a coordinate detecting device according to a third embodiment.
【図９】第４の実施例におけるスクリーンを示す図であ
る。FIG. 9 is a diagram showing a screen according to a fourth embodiment.
【図１０】第５の実施例におけるスクリーンの表示例を
示す図である。FIG. 10 is a diagram showing a display example of a screen in the fifth embodiment.
【図１１】第６の実施例の構成を示す図である。FIG. 11 is a diagram showing a configuration of a sixth exemplary embodiment.
１ ＣＰＵ ２ ＲＯＭ ３ ＲＡＭ ４ 外部記憶装置 ５ キーボード ６ ＶＲＡＭ ７ 表示装置 ８ インターフェース ９ 座標入力部 1 CPU 2 ROM 3 RAM 4 External Storage Device 5 Keyboard 6 VRAM 7 Display Device 8 Interface 9 Coordinate Input Section
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14169395AJP3517482B2 (en) | 1995-06-08 | 1995-06-08 | Coordinate detection device and method |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14169395AJP3517482B2 (en) | 1995-06-08 | 1995-06-08 | Coordinate detection device and method |
| Publication Number | Publication Date |
|---|---|
| JPH08335136Atrue JPH08335136A (en) | 1996-12-17 |
| JP3517482B2 JP3517482B2 (en) | 2004-04-12 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP14169395AExpired - Fee RelatedJP3517482B2 (en) | 1995-06-08 | 1995-06-08 | Coordinate detection device and method |
| Country | Link |
|---|---|
| JP (1) | JP3517482B2 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10333834A (en)* | 1997-05-30 | 1998-12-18 | Namco Ltd | Information storage medium and image generation device |
| US6727885B1 (en) | 1999-09-07 | 2004-04-27 | Nikon Corporation | Graphical user interface and position or attitude detector |
| JP2007139918A (en)* | 2005-11-16 | 2007-06-07 | Pioneer Electronic Corp | Apparatus, method, system, and program for controlling display image |
| JP2007519989A (en)* | 2003-12-18 | 2007-07-19 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Method and system for device control |
| EP1832966A2 (en) | 2006-03-09 | 2007-09-12 | Nintendo Co., Limited | Coordinate calculating apparatus and coordinate calculating program |
| JP2007241735A (en)* | 2006-03-09 | 2007-09-20 | Nintendo Co Ltd | Coordinate calculation device and coordinate calculation program |
| JP2008510215A (en)* | 2004-08-12 | 2008-04-03 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Method and system for controlling a display |
| JP2008084002A (en)* | 2006-09-27 | 2008-04-10 | Casio Comput Co Ltd | Pointing device, pointing method and program |
| JP2008172817A (en)* | 2008-02-18 | 2008-07-24 | Seiko Epson Corp | Control system and controlled device adapted to this system |
| JP2008198111A (en)* | 2007-02-15 | 2008-08-28 | Namco Bandai Games Inc | Pointed position calculation system, pointer and game system |
| JP2008198112A (en)* | 2007-02-15 | 2008-08-28 | Namco Bandai Games Inc | Pointed position calculation system, pointer and game system |
| JP2008242512A (en)* | 2007-03-23 | 2008-10-09 | Saxa Inc | Setting device for detection area and setting method therefor |
| JP2009116701A (en)* | 2007-11-07 | 2009-05-28 | Sharp Corp | Display system and indication position detection method |
| JP2009116700A (en)* | 2007-11-07 | 2009-05-28 | Sharp Corp | Display system and indication position detection method |
| US7596466B2 (en) | 2006-03-28 | 2009-09-29 | Nintendo Co., Ltd. | Inclination calculation apparatus and inclination calculation program, and game apparatus and game program |
| US8154513B2 (en) | 2007-10-10 | 2012-04-10 | Sharp Kabushiki Kaisha | Display system and method for detecting pointed position |
| JP2012113494A (en)* | 2010-11-24 | 2012-06-14 | Sas Kk | Instruction position detection device and instruction position detection method |
| JP2012523630A (en)* | 2009-04-08 | 2012-10-04 | クゥアルコム・インコーポレイテッド | Improved handheld screen detection pointer |
| US8723803B2 (en) | 2004-05-28 | 2014-05-13 | Ultimatepointer, Llc | Easily deployable interactive direct-pointing system and presentation control system and calibration method therefor |
| US8834271B2 (en) | 2005-08-24 | 2014-09-16 | Nintendo Co., Ltd. | Game controller and game system |
| US8870655B2 (en) | 2005-08-24 | 2014-10-28 | Nintendo Co., Ltd. | Wireless game controllers |
| US8888576B2 (en) | 1999-02-26 | 2014-11-18 | Mq Gaming, Llc | Multi-media interactive play system |
| US8907889B2 (en) | 2005-01-12 | 2014-12-09 | Thinkoptics, Inc. | Handheld vision based absolute pointing system |
| US8913011B2 (en) | 2001-02-22 | 2014-12-16 | Creative Kingdoms, Llc | Wireless entertainment device, system, and method |
| US8913003B2 (en) | 2006-07-17 | 2014-12-16 | Thinkoptics, Inc. | Free-space multi-dimensional absolute pointer using a projection marker system |
| US8937594B2 (en) | 2004-04-30 | 2015-01-20 | Hillcrest Laboratories, Inc. | 3D pointing devices with orientation compensation and improved usability |
| US8961260B2 (en) | 2000-10-20 | 2015-02-24 | Mq Gaming, Llc | Toy incorporating RFID tracking device |
| US9039533B2 (en) | 2003-03-25 | 2015-05-26 | Creative Kingdoms, Llc | Wireless interactive game having both physical and virtual elements |
| US9149717B2 (en) | 2000-02-22 | 2015-10-06 | Mq Gaming, Llc | Dual-range wireless interactive entertainment device |
| US9176598B2 (en) | 2007-05-08 | 2015-11-03 | Thinkoptics, Inc. | Free-space multi-dimensional absolute pointer with improved performance |
| US9261978B2 (en) | 2004-04-30 | 2016-02-16 | Hillcrest Laboratories, Inc. | 3D pointing devices and methods |
| US9272206B2 (en) | 2002-04-05 | 2016-03-01 | Mq Gaming, Llc | System and method for playing an interactive game |
| US9285897B2 (en) | 2005-07-13 | 2016-03-15 | Ultimate Pointer, L.L.C. | Easily deployable interactive direct-pointing system and calibration method therefor |
| US9446319B2 (en) | 2003-03-25 | 2016-09-20 | Mq Gaming, Llc | Interactive gaming toy |
| US9498728B2 (en) | 2005-08-22 | 2016-11-22 | Nintendo Co., Ltd. | Game operating device |
| US9616334B2 (en) | 2002-04-05 | 2017-04-11 | Mq Gaming, Llc | Multi-platform gaming system using RFID-tagged toys |
| CN108052213A (en)* | 2017-11-21 | 2018-05-18 | 广州视源电子科技股份有限公司 | Position indication method, device and system |
| US10159897B2 (en) | 2004-11-23 | 2018-12-25 | Idhl Holdings, Inc. | Semantic gaming and application transformation |
| JP2023117853A (en)* | 2022-02-14 | 2023-08-24 | リンナイ株式会社 | heating cooker |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7927216B2 (en) | 2005-09-15 | 2011-04-19 | Nintendo Co., Ltd. | Video game system with wireless modular handheld controller |
| US7942745B2 (en) | 2005-08-22 | 2011-05-17 | Nintendo Co., Ltd. | Game operating device |
| US8313379B2 (en) | 2005-08-22 | 2012-11-20 | Nintendo Co., Ltd. | Video game system with wireless modular handheld controller |
| US8308563B2 (en) | 2005-08-30 | 2012-11-13 | Nintendo Co., Ltd. | Game system and storage medium having game program stored thereon |
| US8157651B2 (en) | 2005-09-12 | 2012-04-17 | Nintendo Co., Ltd. | Information processing program |
| JP4151982B2 (en) | 2006-03-10 | 2008-09-17 | 任天堂株式会社 | Motion discrimination device and motion discrimination program |
| JP5127242B2 (en) | 2007-01-19 | 2013-01-23 | 任天堂株式会社 | Acceleration data processing program and game program |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10333834A (en)* | 1997-05-30 | 1998-12-18 | Namco Ltd | Information storage medium and image generation device |
| US9731194B2 (en) | 1999-02-26 | 2017-08-15 | Mq Gaming, Llc | Multi-platform gaming systems and methods |
| US9186585B2 (en) | 1999-02-26 | 2015-11-17 | Mq Gaming, Llc | Multi-platform gaming systems and methods |
| US10300374B2 (en) | 1999-02-26 | 2019-05-28 | Mq Gaming, Llc | Multi-platform gaming systems and methods |
| US9468854B2 (en) | 1999-02-26 | 2016-10-18 | Mq Gaming, Llc | Multi-platform gaming systems and methods |
| US8888576B2 (en) | 1999-02-26 | 2014-11-18 | Mq Gaming, Llc | Multi-media interactive play system |
| US9861887B1 (en) | 1999-02-26 | 2018-01-09 | Mq Gaming, Llc | Multi-platform gaming systems and methods |
| US6727885B1 (en) | 1999-09-07 | 2004-04-27 | Nikon Corporation | Graphical user interface and position or attitude detector |
| US9713766B2 (en) | 2000-02-22 | 2017-07-25 | Mq Gaming, Llc | Dual-range wireless interactive entertainment device |
| US9814973B2 (en) | 2000-02-22 | 2017-11-14 | Mq Gaming, Llc | Interactive entertainment system |
| US9579568B2 (en) | 2000-02-22 | 2017-02-28 | Mq Gaming, Llc | Dual-range wireless interactive entertainment device |
| US9474962B2 (en) | 2000-02-22 | 2016-10-25 | Mq Gaming, Llc | Interactive entertainment system |
| US10188953B2 (en) | 2000-02-22 | 2019-01-29 | Mq Gaming, Llc | Dual-range wireless interactive entertainment device |
| US10307671B2 (en) | 2000-02-22 | 2019-06-04 | Mq Gaming, Llc | Interactive entertainment system |
| US9149717B2 (en) | 2000-02-22 | 2015-10-06 | Mq Gaming, Llc | Dual-range wireless interactive entertainment device |
| US8915785B2 (en) | 2000-02-22 | 2014-12-23 | Creative Kingdoms, Llc | Interactive entertainment system |
| US9931578B2 (en) | 2000-10-20 | 2018-04-03 | Mq Gaming, Llc | Toy incorporating RFID tag |
| US9480929B2 (en) | 2000-10-20 | 2016-11-01 | Mq Gaming, Llc | Toy incorporating RFID tag |
| US9320976B2 (en) | 2000-10-20 | 2016-04-26 | Mq Gaming, Llc | Wireless toy systems and methods for interactive entertainment |
| US8961260B2 (en) | 2000-10-20 | 2015-02-24 | Mq Gaming, Llc | Toy incorporating RFID tracking device |
| US10307683B2 (en) | 2000-10-20 | 2019-06-04 | Mq Gaming, Llc | Toy incorporating RFID tag |
| US8913011B2 (en) | 2001-02-22 | 2014-12-16 | Creative Kingdoms, Llc | Wireless entertainment device, system, and method |
| US10179283B2 (en) | 2001-02-22 | 2019-01-15 | Mq Gaming, Llc | Wireless entertainment device, system, and method |
| US9393491B2 (en) | 2001-02-22 | 2016-07-19 | Mq Gaming, Llc | Wireless entertainment device, system, and method |
| US10758818B2 (en) | 2001-02-22 | 2020-09-01 | Mq Gaming, Llc | Wireless entertainment device, system, and method |
| US9162148B2 (en) | 2001-02-22 | 2015-10-20 | Mq Gaming, Llc | Wireless entertainment device, system, and method |
| US9737797B2 (en) | 2001-02-22 | 2017-08-22 | Mq Gaming, Llc | Wireless entertainment device, system, and method |
| US9463380B2 (en) | 2002-04-05 | 2016-10-11 | Mq Gaming, Llc | System and method for playing an interactive game |
| US10478719B2 (en) | 2002-04-05 | 2019-11-19 | Mq Gaming, Llc | Methods and systems for providing personalized interactive entertainment |
| US9616334B2 (en) | 2002-04-05 | 2017-04-11 | Mq Gaming, Llc | Multi-platform gaming system using RFID-tagged toys |
| US11278796B2 (en) | 2002-04-05 | 2022-03-22 | Mq Gaming, Llc | Methods and systems for providing personalized interactive entertainment |
| US10010790B2 (en) | 2002-04-05 | 2018-07-03 | Mq Gaming, Llc | System and method for playing an interactive game |
| US9272206B2 (en) | 2002-04-05 | 2016-03-01 | Mq Gaming, Llc | System and method for playing an interactive game |
| US10507387B2 (en) | 2002-04-05 | 2019-12-17 | Mq Gaming, Llc | System and method for playing an interactive game |
| US8961312B2 (en) | 2003-03-25 | 2015-02-24 | Creative Kingdoms, Llc | Motion-sensitive controller and associated gaming applications |
| US9039533B2 (en) | 2003-03-25 | 2015-05-26 | Creative Kingdoms, Llc | Wireless interactive game having both physical and virtual elements |
| US10369463B2 (en) | 2003-03-25 | 2019-08-06 | Mq Gaming, Llc | Wireless interactive game having both physical and virtual elements |
| US9707478B2 (en) | 2003-03-25 | 2017-07-18 | Mq Gaming, Llc | Motion-sensitive controller and associated gaming applications |
| US9770652B2 (en) | 2003-03-25 | 2017-09-26 | Mq Gaming, Llc | Wireless interactive game having both physical and virtual elements |
| US11052309B2 (en) | 2003-03-25 | 2021-07-06 | Mq Gaming, Llc | Wireless interactive game having both physical and virtual elements |
| US9446319B2 (en) | 2003-03-25 | 2016-09-20 | Mq Gaming, Llc | Interactive gaming toy |
| US9393500B2 (en) | 2003-03-25 | 2016-07-19 | Mq Gaming, Llc | Wireless interactive game having both physical and virtual elements |
| US10022624B2 (en) | 2003-03-25 | 2018-07-17 | Mq Gaming, Llc | Wireless interactive game having both physical and virtual elements |
| US9993724B2 (en) | 2003-03-25 | 2018-06-12 | Mq Gaming, Llc | Interactive gaming toy |
| US10583357B2 (en) | 2003-03-25 | 2020-03-10 | Mq Gaming, Llc | Interactive gaming toy |
| JP2007519989A (en)* | 2003-12-18 | 2007-07-19 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Method and system for device control |
| US7869618B2 (en) | 2003-12-18 | 2011-01-11 | Koninklijke Philips Electronics N.V. | Method and system for control of a device |
| US11157091B2 (en) | 2004-04-30 | 2021-10-26 | Idhl Holdings, Inc. | 3D pointing devices and methods |
| US9298282B2 (en) | 2004-04-30 | 2016-03-29 | Hillcrest Laboratories, Inc. | 3D pointing devices with orientation compensation and improved usability |
| US9946356B2 (en) | 2004-04-30 | 2018-04-17 | Interdigital Patent Holdings, Inc. | 3D pointing devices with orientation compensation and improved usability |
| US9261978B2 (en) | 2004-04-30 | 2016-02-16 | Hillcrest Laboratories, Inc. | 3D pointing devices and methods |
| US10782792B2 (en) | 2004-04-30 | 2020-09-22 | Idhl Holdings, Inc. | 3D pointing devices with orientation compensation and improved usability |
| US8937594B2 (en) | 2004-04-30 | 2015-01-20 | Hillcrest Laboratories, Inc. | 3D pointing devices with orientation compensation and improved usability |
| US9575570B2 (en) | 2004-04-30 | 2017-02-21 | Hillcrest Laboratories, Inc. | 3D pointing devices and methods |
| US10514776B2 (en) | 2004-04-30 | 2019-12-24 | Idhl Holdings, Inc. | 3D pointing devices and methods |
| US11073919B2 (en) | 2004-05-28 | 2021-07-27 | UltimatePointer, L.L.C. | Multi-sensor device with an accelerometer for enabling user interaction through sound or image |
| US11409376B2 (en) | 2004-05-28 | 2022-08-09 | UltimatePointer, L.L.C. | Multi-sensor device with an accelerometer for enabling user interaction through sound or image |
| US8866742B2 (en) | 2004-05-28 | 2014-10-21 | Ultimatepointer, Llc | Easily deployable interactive direct-pointing system and presentation control system and calibration method therefor |
| US9785255B2 (en) | 2004-05-28 | 2017-10-10 | UltimatePointer, L.L.C. | Apparatus for controlling contents of a computer-generated image using three dimensional measurements |
| US11755127B2 (en) | 2004-05-28 | 2023-09-12 | UltimatePointer, L.L.C. | Multi-sensor device with an accelerometer for enabling user interaction through sound or image |
| US9411437B2 (en) | 2004-05-28 | 2016-08-09 | UltimatePointer, L.L.C. | Easily deployable interactive direct-pointing system and presentation control system and calibration method therefor |
| US11402927B2 (en) | 2004-05-28 | 2022-08-02 | UltimatePointer, L.L.C. | Pointing device |
| US11416084B2 (en) | 2004-05-28 | 2022-08-16 | UltimatePointer, L.L.C. | Multi-sensor device with an accelerometer for enabling user interaction through sound or image |
| US8723803B2 (en) | 2004-05-28 | 2014-05-13 | Ultimatepointer, Llc | Easily deployable interactive direct-pointing system and presentation control system and calibration method therefor |
| US9063586B2 (en) | 2004-05-28 | 2015-06-23 | Ultimatepointer, Llc | Easily deployable interactive direct-pointing system and presentation control system and calibration method therefor |
| JP2008510215A (en)* | 2004-08-12 | 2008-04-03 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Method and system for controlling a display |
| US9268411B2 (en) | 2004-08-12 | 2016-02-23 | Koninklijke Philips N.V | Method and system for controlling a display |
| US9675878B2 (en) | 2004-09-29 | 2017-06-13 | Mq Gaming, Llc | System and method for playing a virtual game by sensing physical movements |
| US10159897B2 (en) | 2004-11-23 | 2018-12-25 | Idhl Holdings, Inc. | Semantic gaming and application transformation |
| US11154776B2 (en) | 2004-11-23 | 2021-10-26 | Idhl Holdings, Inc. | Semantic gaming and application transformation |
| US8907889B2 (en) | 2005-01-12 | 2014-12-09 | Thinkoptics, Inc. | Handheld vision based absolute pointing system |
| US9285897B2 (en) | 2005-07-13 | 2016-03-15 | Ultimate Pointer, L.L.C. | Easily deployable interactive direct-pointing system and calibration method therefor |
| US10372237B2 (en) | 2005-07-13 | 2019-08-06 | UltimatePointer, L.L.C. | Apparatus for controlling contents of a computer-generated image using 3D measurements |
| US11841997B2 (en) | 2005-07-13 | 2023-12-12 | UltimatePointer, L.L.C. | Apparatus for controlling contents of a computer-generated image using 3D measurements |
| US9700806B2 (en) | 2005-08-22 | 2017-07-11 | Nintendo Co., Ltd. | Game operating device |
| US10155170B2 (en) | 2005-08-22 | 2018-12-18 | Nintendo Co., Ltd. | Game operating device with holding portion detachably holding an electronic device |
| US10661183B2 (en) | 2005-08-22 | 2020-05-26 | Nintendo Co., Ltd. | Game operating device |
| US10238978B2 (en) | 2005-08-22 | 2019-03-26 | Nintendo Co., Ltd. | Game operating device |
| US9498728B2 (en) | 2005-08-22 | 2016-11-22 | Nintendo Co., Ltd. | Game operating device |
| US11027190B2 (en) | 2005-08-24 | 2021-06-08 | Nintendo Co., Ltd. | Game controller and game system |
| US8834271B2 (en) | 2005-08-24 | 2014-09-16 | Nintendo Co., Ltd. | Game controller and game system |
| US10137365B2 (en) | 2005-08-24 | 2018-11-27 | Nintendo Co., Ltd. | Game controller and game system |
| US8870655B2 (en) | 2005-08-24 | 2014-10-28 | Nintendo Co., Ltd. | Wireless game controllers |
| US9044671B2 (en) | 2005-08-24 | 2015-06-02 | Nintendo Co., Ltd. | Game controller and game system |
| US9227138B2 (en) | 2005-08-24 | 2016-01-05 | Nintendo Co., Ltd. | Game controller and game system |
| US9498709B2 (en) | 2005-08-24 | 2016-11-22 | Nintendo Co., Ltd. | Game controller and game system |
| JP2007139918A (en)* | 2005-11-16 | 2007-06-07 | Pioneer Electronic Corp | Apparatus, method, system, and program for controlling display image |
| EP1832966A2 (en) | 2006-03-09 | 2007-09-12 | Nintendo Co., Limited | Coordinate calculating apparatus and coordinate calculating program |
| US7834848B2 (en) | 2006-03-09 | 2010-11-16 | Nintendo Co., Ltd | Coordinate calculating apparatus and coordinate calculating program |
| JP2007241735A (en)* | 2006-03-09 | 2007-09-20 | Nintendo Co Ltd | Coordinate calculation device and coordinate calculation program |
| US7596466B2 (en) | 2006-03-28 | 2009-09-29 | Nintendo Co., Ltd. | Inclination calculation apparatus and inclination calculation program, and game apparatus and game program |
| US8913003B2 (en) | 2006-07-17 | 2014-12-16 | Thinkoptics, Inc. | Free-space multi-dimensional absolute pointer using a projection marker system |
| JP2008084002A (en)* | 2006-09-27 | 2008-04-10 | Casio Comput Co Ltd | Pointing device, pointing method and program |
| JP2008198112A (en)* | 2007-02-15 | 2008-08-28 | Namco Bandai Games Inc | Pointed position calculation system, pointer and game system |
| JP2008198111A (en)* | 2007-02-15 | 2008-08-28 | Namco Bandai Games Inc | Pointed position calculation system, pointer and game system |
| JP2008242512A (en)* | 2007-03-23 | 2008-10-09 | Saxa Inc | Setting device for detection area and setting method therefor |
| US9176598B2 (en) | 2007-05-08 | 2015-11-03 | Thinkoptics, Inc. | Free-space multi-dimensional absolute pointer with improved performance |
| US8154513B2 (en) | 2007-10-10 | 2012-04-10 | Sharp Kabushiki Kaisha | Display system and method for detecting pointed position |
| JP2009116700A (en)* | 2007-11-07 | 2009-05-28 | Sharp Corp | Display system and indication position detection method |
| US8077146B2 (en) | 2007-11-07 | 2011-12-13 | Sharp Kabushiki Kaisha | Display system and method for detecting pointed position |
| CN101430626B (en) | 2007-11-07 | 2012-05-30 | 夏普株式会社 | Display system and method for detecting pointed position |
| JP2009116701A (en)* | 2007-11-07 | 2009-05-28 | Sharp Corp | Display system and indication position detection method |
| JP2008172817A (en)* | 2008-02-18 | 2008-07-24 | Seiko Epson Corp | Control system and controlled device adapted to this system |
| US9189082B2 (en) | 2009-04-08 | 2015-11-17 | Qualcomm Incorporated | Enhanced handheld screen-sensing pointer |
| JP2012523630A (en)* | 2009-04-08 | 2012-10-04 | クゥアルコム・インコーポレイテッド | Improved handheld screen detection pointer |
| US10146298B2 (en) | 2009-04-08 | 2018-12-04 | Qualcomm Incorporated | Enhanced handheld screen-sensing pointer |
| JP2012113494A (en)* | 2010-11-24 | 2012-06-14 | Sas Kk | Instruction position detection device and instruction position detection method |
| CN108052213A (en)* | 2017-11-21 | 2018-05-18 | 广州视源电子科技股份有限公司 | Position indication method, device and system |
| JP2023117853A (en)* | 2022-02-14 | 2023-08-24 | リンナイ株式会社 | heating cooker |
| Publication number | Publication date |
|---|---|
| JP3517482B2 (en) | 2004-04-12 |
| Publication | Publication Date | Title |
|---|---|---|
| JP3517482B2 (en) | Coordinate detection device and method | |
| JP5014848B2 (en) | Pointing input device, method, and system using video pattern | |
| EP3015961B1 (en) | Information processing device, control method, program, and storage medium | |
| RU2421776C2 (en) | Method of controllig position of control point in command region and device control method | |
| JP4278979B2 (en) | Single camera system for gesture-based input and target indication | |
| KR101453628B1 (en) | A user interface | |
| JP2004265450A (en) | Coordinates input device | |
| JP2010079834A (en) | Device for determination of mounting position of coordinate detection device and electronic board system | |
| EP0528422A2 (en) | Three-dimensional object image drawing apparatus and method | |
| JP4725383B2 (en) | Pointing device, external information processing device, pointing position specifying device, and pointing position specifying method | |
| JPH0588842A (en) | Icon display system | |
| JP2011081506A (en) | Video display device and method of controlling display thereof | |
| CN102314301A (en) | Virtual touch sensing system and method | |
| JPH08212005A (en) | 3D position recognition touch panel device | |
| JP7294350B2 (en) | Information processing device, information processing method, and program | |
| JPWO2017130504A1 (en) | Image projection device | |
| JPH11161415A (en) | Input method and input device | |
| JP2016122345A (en) | Image projection apparatus and interactive input / output system. | |
| JP6075971B2 (en) | Image display device | |
| JP2001125736A (en) | Image display device, presentation system, and information storage medium | |
| JP2001166881A (en) | Pointing device and method | |
| JP2000056916A (en) | Hand pointing device | |
| JP4871226B2 (en) | Recognition device and recognition method | |
| JP2015046094A (en) | Information processing apparatus and program | |
| JP2017009664A (en) | Image projection apparatus and interactive input / output system |
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20040116 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20040126 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20090130 Year of fee payment:5 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20090130 Year of fee payment:5 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20100130 Year of fee payment:6 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20110130 Year of fee payment:7 | |
| LAPS | Cancellation because of no payment of annual fees |