JP2006163886A - Information input method and information input device - Google Patents

Abstract

Translated fromJapanese

【課題】対象物の３次元空間における位置情報並びに物性情報を検出して、少なくとも１つのポイントの位置情報または変位情報を検出して、電子機器などの機器に対して、たとえ複数の高精度なデータであっても、その情報入力を行うことができる技術である。
【解決手段】電磁波を発信する電磁波発信手段１０からの電磁波に対して、一つ以上の対象物によって反射波が生成され、反射波が電磁波受信手段２０で受信される。信号処理手段３０で、受信した電磁波の信号に基づき、反射波を生成した対象物の３次元空間における位置情報を算出すると共に対象物をそれと同定する物性情報を検出し、こうして検出した複数の情報に基づき入力信号を一つ以上生成して、入力信号を機器に対して提供する。
【選択図】図１An object of the present invention is to detect position information and physical property information of a target object in a three-dimensional space, detect position information or displacement information of at least one point, and detect a plurality of high-precision objects for an electronic device or the like This is a technique that can input information even for data.
A reflected wave is generated by one or more objects with respect to an electromagnetic wave from an electromagnetic wave transmitting means for transmitting an electromagnetic wave, and the reflected wave is received by an electromagnetic wave receiving means. Based on the received electromagnetic wave signal, the signal processing unit 30 calculates position information in the three-dimensional space of the object that has generated the reflected wave, and detects physical property information that identifies the object, thereby detecting a plurality of pieces of information thus detected. One or more input signals are generated based on the above, and the input signals are provided to the device.
[Selection] Figure 1

Description

Translated fromJapanese

本発明は、マウス、キーボードまたはリモコンのように、コンピュータを含む機器などに対して所望の情報入力を行うユーザーインターフェース、特に身体の動作（ジェスチャ）を入力情報として機器の操作を行うジェスチャ入力インターフェースなどの情報入力方法、及び情報入力装置等に関する。The present invention relates to a user interface for inputting desired information to a device including a computer, such as a mouse, a keyboard, or a remote controller, in particular, a gesture input interface for operating a device using body movement (gesture) as input information. The present invention relates to an information input method and an information input device.

従来、身体の動作を検出して情報入力を行う技術として、グラフィック入力方法、グラフィックオブジェクト操作方法などが提案されている（特許文献１参照）。本提案のグラフィックス用入力装置は、半透明なスクリーンを備え、その後部にビデオカメラを配置していて、このカメラは、スクリーンに接触する指等のオブジェクトの複数の影（“接触点”）を検出するように設定されている。この手法では、画像処理を簡単にすると同時に、ユーザーは拘束されることなく、自由な入力動作環境が提供される。すなわち、カメラはスクリーン上の影を検出するのみで良いため、その画像処理は２次元でよい。さらに、その画像はコントラストが大きいため、その画像処理は暗部分と明部分を分離するのみであり、グラフィックス入力環境はユーザーにとって自然で拘束性を持たないものとなっている。この方法は複数のジェスチャによる入力コマンドの発生をも可能とする。こうして、この特質を生かして、ユーザーを拘束せずに、ユーザーの複数の指の位置やジェスチャを利用して、便利で、実用的で、しかも直感的な入力装置を実現できる。また、装置本体とスクリーンの間に力を感知するセンサを装着させ、スクリーンに加えられる力を感知することで、グラフィックス表示オブジェクトの操作において“Z”方向の入力コマンドの発生を選択的に付加することも可能である。Conventionally, graphic input methods, graphic object operation methods, and the like have been proposed as techniques for inputting information by detecting body movements (see Patent Document 1). The proposed graphics input device has a translucent screen with a video camera behind it, which has multiple shadows (“contact points”) of objects such as fingers that touch the screen. Is set to detect. This technique simplifies image processing and provides a free input operation environment without being restricted by the user. That is, since the camera only needs to detect the shadow on the screen, the image processing may be two-dimensional. Furthermore, since the image has a high contrast, the image processing only separates the dark part and the bright part, and the graphics input environment is natural and unconstrained for the user. This method also enables generation of input commands by a plurality of gestures. Thus, by utilizing this characteristic, a convenient, practical, and intuitive input device can be realized by using the positions and gestures of the user's fingers without restraining the user. In addition, by attaching a sensor that detects force between the device body and the screen, and detecting the force applied to the screen, the generation of input commands in the “Z” direction can be selectively added when operating graphics display objects. It is also possible to do.

また、ポインティング装置、ポインタの移動方法なども提案されている（特許文献２参照）。本提案においては、電波測位を用いてポインティング装置自身の空間的な位置を把握し、その位置情報或いは位置情報を変換した移動情報を、ポインタを動かすための情報として提供する。すなわち、本提案のポインティグ装置は、現在地を示す位置情報を取得するための電波信号を受信可能な位置情報取得手段と、コンピュータのユーザーインタフェース上のポインタを動かすための情報として上記位置情報などを供給可能なポインティング情報供給手段とを有する。
特開平７−１８２１０１号公報特開平１０−１７１５９１号公報A pointing device, a pointer moving method, and the like have also been proposed (see Patent Document 2). In this proposal, the spatial position of the pointing device itself is grasped using radio wave positioning, and the position information or movement information obtained by converting the position information is provided as information for moving the pointer. That is, the proposed pointing device supplies position information acquisition means capable of receiving a radio signal for acquiring position information indicating the current location, and the position information as information for moving a pointer on a user interface of the computer. Possible pointing information supply means.
JP-A-7-182101 Japanese Patent Laid-Open No. 10-171591

しかしながら、前記グラフィック入力方法、グラフィックオブジェクト操作方法などのように、カメラなどの撮像手段で身体の部位の位置情報またはその変位情報を検出する技術では、対象物の３次元空間における絶対位置の情報、または３次元的形状データの取得が困難である。また、画像内の対象物は画像処理に応じた何らかのパターンを有している必要があり、対象物体に制限があった。However, in the technique of detecting the position information of the body part or the displacement information thereof by an imaging means such as a camera, such as the graphic input method and the graphic object operation method, information on the absolute position of the object in the three-dimensional space, Or acquisition of three-dimensional shape data is difficult. In addition, the object in the image needs to have some pattern according to the image processing, and the object is limited.

また、前記ポインティング装置、ポインタの移動方法などのような電波測位の技術では、３次元空間における一つのポイントの位置情報または変位情報は検出できるが、対象となる複数のポイントの集合データ、すなわち形状的データを取得するためには構成が複雑になりがちであった。In addition, radio wave positioning techniques such as the pointing device and the pointer moving method can detect position information or displacement information of one point in a three-dimensional space, but collect data of a plurality of target points, that is, shape The configuration tends to be complicated to obtain the target data.

上記課題に鑑み、本発明の情報入力方法は、電磁波を発信する電磁波発信工程と、一つ以上の対象物（例えば、対象となる身体などの複数の部位）によって前記電磁波に対する反射波が生成される反射波生成工程と、前記反射波を受信する電磁波受信工程と、受信した電磁波の信号に基づき前記反射波を生成した対象物の３次元空間における位置情報を算出する第１情報検出工程と、受信した電磁波の信号に基づき前記反射波を生成した対象物をそれと同定する物性情報を検出する第２情報検出工程と、前記第１情報検出工程及び第２情報検出工程によって検出した複数の情報に基づき入力信号を一つ以上生成して電子機器などの機器に対して提供する入力信号生成工程を有することを特徴とする。In view of the above problems, in the information input method of the present invention, a reflected wave with respect to the electromagnetic wave is generated by the electromagnetic wave transmitting step for transmitting the electromagnetic wave and one or more objects (for example, a plurality of parts such as a target body). A reflected wave generating step, an electromagnetic wave receiving step for receiving the reflected wave, a first information detecting step for calculating position information in a three-dimensional space of an object that has generated the reflected wave based on a signal of the received electromagnetic wave, A second information detecting step for detecting physical property information for identifying the object that has generated the reflected wave based on the received electromagnetic wave signal; and a plurality of pieces of information detected by the first information detecting step and the second information detecting step. And an input signal generation step of generating one or more input signals based on the input signal and providing the generated signal to a device such as an electronic device.

また、上記課題に鑑み、本発明の情報入力装置は、電磁波を発信する電磁波発信手段と、一つ以上の対象物で生成される反射波を受信する電磁波受信手段と、受信した電磁波の信号に基づき前記反射波を生成した対象物の３次元空間における位置情報及び前記対象物をそれと同定する物性情報を検出し、それらの情報に基づき入力信号を生成して電子機器などの機器に提供する信号処理手段を有することを特徴とする。これにより、身体上の対象部位の形状的ジェスチャ（例えば、グー、チョキ、パーのような、身体の部位が静止した状態で何らかの意図を示すジェスチャ）、方向的ジェスチャ（例えば、手を振ったり首を回したりするような身体の部位の動きによって何らかの意図を示すジェスチャ）などを検出して、それに基づいて入力信号を生成する比較的簡単で精度の良い装置が提供される。In view of the above problems, the information input device according to the present invention includes an electromagnetic wave transmitting means for transmitting an electromagnetic wave, an electromagnetic wave receiving means for receiving a reflected wave generated by one or more objects, and a signal of the received electromagnetic wave. A signal for detecting position information in a three-dimensional space of an object that has generated the reflected wave and physical property information for identifying the object, generating an input signal based on the information, and providing the signal to a device such as an electronic device It has a processing means. This allows for geometric gestures of the target area on the body (for example, gestures that show some intention when the body area is stationary, such as goo, choki, par), directional gestures (for example, shaking hands or neck It is possible to provide a relatively simple and accurate device that detects a gesture indicating a certain intention by a movement of a body part such as turning the) and generates an input signal based on the detected gesture.

また、上記課題に鑑み、本発明の電子画像操作装置は、少なくとも表示手段を含む電子機器などの機器と、対象物である人間の身体上の一つ以上の部位の位置情報または変位情報によって入力信号を生成して前記機器に提供する上記の情報入力装置を有し、前記入力信号に基づいて前記表示手段に表示されている電子画像の操作を行うことを特徴とする。ここにおいて、前記機器は、機器の使用者の視覚に対して出力を行う表示手段の他に、聴覚に対して出力を行う音声発生手段などを含んでも良い。Further, in view of the above problems, the electronic image manipulation device according to the present invention is input based on the position information or displacement information of at least one part on the human body, which is the object, and at least an electronic device including a display unit. The information input device for generating a signal and providing the signal to the device is provided, and the electronic image displayed on the display unit is operated based on the input signal. In this case, the device may include a sound generating unit for outputting to the auditory sense in addition to the display unit for outputting to the visual sense of the user of the device.

また、上記課題に鑑み、本発明の電子楽音操作装置は、少なくとも音声発生手段を含む電子機器などの機器と、対象物である人間の身体上の一つ以上の部位の位置情報または変位情報によって入力信号を生成して前記機器に提供する上記の情報入力装置を有し、前記入力信号に基づいて前記音声発生手段により楽音の演奏の操作を行うことを特徴とする。ここにおいても、前記機器は、聴覚に対して出力を行う音声発生手段の他に、機器の使用者の視覚に対して出力を行う表示手段、触覚に対して出力を行う圧覚発生手段などを含んでも良い。Further, in view of the above problems, the electronic musical sound operating device according to the present invention is based on the position information or displacement information of one or more parts on the human body, which is the target object, and an apparatus such as an electronic apparatus including at least sound generation means. It has the above-mentioned information input device that generates an input signal and provides it to the device, and a musical tone performance operation is performed by the sound generation means based on the input signal. Also in this case, the device includes, in addition to sound generating means for outputting to the auditory sense, display means for outputting to the visual sense of the user of the device, pressure sensation generating means for outputting to the tactile sense, and the like. But it ’s okay.

また、上記課題に鑑み、本発明の動作音声変換装置、少なくとも音声発生手段を含む電子機器などの機器と、対象物である動物の身体上の一つ以上の部位の位置情報または変位情報によって入力信号を生成して前記機器に提供する上記の情報入力装置を有し、前記入力信号に基づいて前記音声発生手段により動物のしぐさを人間が用いる言語の音声に変換することを特徴とする。Further, in view of the above problems, the operation voice conversion device of the present invention, an electronic device including at least a voice generation unit, and input by position information or displacement information of one or more parts on the body of an animal that is a target object It has the above-mentioned information input device which generates a signal and provides it to the device, and converts the gesture of the animal into a speech of a language used by a human by the sound generation means based on the input signal.

本発明の情報入力方法等によれば、対象物の３次元空間における位置情報並びに物性情報を検出することによって、少なくとも１つ（典型的には複数であるが、１つでもよい）のポイントの位置情報または変位情報を検出して、電子機器などの機器に対して、たとえ複数の高精度なデータであっても、その情報入力を行うことができる技術を提供できる。According to the information input method and the like of the present invention, it is possible to detect at least one (typically a plurality, but one) point by detecting position information and physical property information of an object in a three-dimensional space. It is possible to provide a technique capable of detecting position information or displacement information and inputting information to a device such as an electronic device even if it is a plurality of highly accurate data.

本発明に関わる幾つかの実施の形態及び実施例を図面を参照しながら説明する。尚、各図面において実質的に同一の素子には同じ番号を付している。Several embodiments and examples relating to the present invention will be described with reference to the drawings. In the drawings, substantially the same elements are denoted by the same reference numerals.

（第１実施形態）
本発明に関わる第１の実施の形態として、人体の部位の３次元空間における位置情報及び変位情報を検出することで入力信号を生成して、表示装置に表示されている電子画像の制御を行う態様を説明する。始めに第１の実施形態における情報入力装置の構成について図１に基づいて説明する。(First embodiment)
As a first embodiment according to the present invention, an input signal is generated by detecting position information and displacement information of a part of a human body in a three-dimensional space, and an electronic image displayed on a display device is controlled. A mode is demonstrated. First, the configuration of the information input device in the first embodiment will be described with reference to FIG.

図１の情報入力装置は、人間の指や手、表情など何らかの意図を表現するのに用いられる身体の部位に対して電磁波を照射する電磁波発信手段１０と、対象の部位によって生成された反射波を受信する電磁波受信手段２０（この電磁波受信手段が対象部位までの距離のみを測定するものであれば、好適には、本装置を使用する空間における３次元的な絶対位置を算出する場合には、少なくとも３つ以上設置する）と、電磁波受信手段２０で検出した信号に基づき機器に対する入力信号を提供する信号処理手段３０と、機器のユーザーに対して視覚的な出力を行う表示手段４０とで構成される。The information input device of FIG. 1 includes an electromagnetic wave transmitting means 10 for irradiating an electromagnetic wave to a body part used to express some intention such as a human finger, hand, facial expression, and a reflected wave generated by the target part. Electromagnetic wave receiving means 20 (If this electromagnetic wave receiving means measures only the distance to the target part, preferably, when calculating the three-dimensional absolute position in the space where the apparatus is used. A signal processing unit 30 that provides an input signal to the device based on a signal detected by the electromagnetic wave receiving unit 20, and a display unit 40 that provides a visual output to the user of the device. Composed.

前記信号処理手段３０の構成についてより詳細に説明する。信号処理手段３０は、電磁波受信手段２０で受信した電磁波信号をデジタル信号に変換処理する信号変換手段３１と、デジタル信号に基づき対象物の位置情報及び物性情報を夫々算出する位置情報算出手段３２及び物性情報算出手段３３と、位置情報及び物性情報を夫々記憶する位置情報記憶手段３４及び物性情報記憶手段３５と、対象物の位置情報及び物性情報に関する時系列パターンデータが事前に格納された時系列パターン記憶手段３６と、逐次算出され位置情報記憶手段３４及び物性情報記憶手段３５に格納される対象物の位置情報及び物性情報の時系列データと時系列パターン記憶手段３６に格納されている位置情報及び物性情報の時系列パターンとを照合して、該当する時系列パターンが確認された場合に表示手段４０に対する所定の入力信号を生成する入力信号生成手段３７とで構成されている。The configuration of the signal processing means 30 will be described in more detail. The signal processing unit 30 includes a signal conversion unit 31 that converts the electromagnetic wave signal received by the electromagnetic wave reception unit 20 into a digital signal, a position information calculation unit 32 that calculates position information and physical property information of the object based on the digital signal, and Physical property information calculation means 33, position information storage means 34 and physical property information storage means 35 for storing position information and physical property information, respectively, and time series in which time series pattern data relating to the position information and physical property information of the object is stored in advance The position information of the object and the time information of the physical property information and the position information stored in the time series pattern storage means 36, the pattern storage means 36, the position information storage means 34 and the physical property information storage means 35 which are sequentially calculated And the time series pattern of the physical property information are compared, and when the corresponding time series pattern is confirmed, It is composed of an input signal generating means 37 for generating a constant input signal.

次に、上記構成で実行される第１の実施形態における情報入力方法の各工程について図２に基づいて説明する。この情報入力方法は、人体の対象部位に対して電磁波を照射する工程（Ｓ１）と、対象部位によって反射波が生成される工程（Ｓ２）と、この反射波を受信する工程（Ｓ３）と、反射波信号に基づいて対象部位の３次元空間における位置情報を算出する工程（Ｓ４ａ）と、位置情報をメモリに記憶する工程（Ｓ５ａ）と、反射波信号に基づいて対象物の物性情報を検出する工程（Ｓ４ｂ）と、この物性情報をメモリに記憶する工程（Ｓ５ｂ）と、逐次検出される前記位置情報及び物性情報を、事前に備えている位置情報及び物性情報の時系列パターンのデータベースと照合してユーザーからの制御指令を判定する工程（Ｓ６）と、もし検出した位置情報及び物性情報の時系列データがデータベースにおける時系列パターンと合致した場合には、ユーザーが機器を制御するために意図的に動作を行ったとして、所定の入力信号を生成して機器に提供する工程（Ｓ７）、検出した位置情報及び物性情報の時系列データがデータベースにおける時系列パターンと合致しない場合には、ユーザーからの制御指令は発生していないとして継続して同様の工程を繰り返す工程（Ｓ８）からなる。こうして、ユーザーの意図的な動作に基づいて機器への入力信号が生成され、それに関連した表示が表示手段４０で行われる。Next, each step of the information input method in the first embodiment executed with the above configuration will be described with reference to FIG. This information input method includes a step (S1) of irradiating an electromagnetic wave to a target part of a human body, a step (S2) in which a reflected wave is generated by the target part, a step (S3) of receiving the reflected wave, A step of calculating position information of the target part in the three-dimensional space based on the reflected wave signal (S4a), a step of storing the position information in a memory (S5a), and detecting physical property information of the target object based on the reflected wave signal A step (S4b) for storing, a step (S5b) for storing the physical property information in a memory, and a database of time series patterns of the positional information and the physical property information provided in advance for the position information and the physical property information that are sequentially detected; A step of collating and determining a control command from the user (S6), and if the time-series data of the detected position information and physical property information matches the time-series pattern in the database A step of generating a predetermined input signal and providing it to the device assuming that the user has intentionally performed the operation to control the device (S7), and the time series data of the detected position information and physical property information is a time series in the database. If it does not match the pattern, the process consists of a step (S8) in which the same process is continuously repeated on the assumption that a control command from the user is not generated. In this way, an input signal to the device is generated based on the user's intentional operation, and a display related thereto is performed on the display means 40.

（第２実施形態）
本発明に関わる第２の実施の形態について説明する。本実施形態は第１の実施形態とほぼ同じで、第１の実施形態の構成に加えて、聴覚に対して出力を行う音声発生手段と、触覚に対して出力を行う圧覚発生手段を備えている点が異なるのみである。(Second Embodiment)
A second embodiment relating to the present invention will be described. This embodiment is substantially the same as the first embodiment, and in addition to the configuration of the first embodiment, includes sound generating means for outputting to the auditory sense and pressure sense generating means for outputting to the tactile sense. The only difference is that

（第３実施形態）
本発明に関わる第３の実施の形態について説明する。本実施形態も第１実施形態とほぼ同じで、第１の実施形態の構成における表示手段４０に代えて、音声発生手段を導入する点で異なるのみである。身体の動作の検出の方法や機器に対する入力信号の生成などは前述の第１実施形態と同様である。(Third embodiment)
A third embodiment according to the present invention will be described. This embodiment is also substantially the same as the first embodiment, except that a sound generation means is introduced instead of the display means 40 in the configuration of the first embodiment. The method for detecting the movement of the body and the generation of an input signal for the device are the same as in the first embodiment.

以下、より具体的な実施例を説明する。
（第１実施例）
第１の実施例として、モニタ９などの表示装置に表示されているテキストなどの電子画像７の制御を行うジェスチャ入力について図３に基づいて説明する。本実施例の装置の構成は、上記第１の実施形態の構成と基本的に同じである。Hereinafter, more specific examples will be described.
(First embodiment)
As a first embodiment, a gesture input for controlling an electronic image 7 such as text displayed on a display device such as a monitor 9 will be described with reference to FIG. The configuration of the apparatus of this example is basically the same as the configuration of the first embodiment.

図３に示すように、本実施例では、モニタ９上に複数ページで構成されたテキストの電子画像７をモニタ９前のユーザー（ここでは、手３として示す）が操作を行う。始めに複数ページのテキストの電子画像７をめくる操作について説明する。図４に示すように、ユーザーはジェスチャを行う各指にサック５ａ〜５ｅ（以下簡単のためサック５とも記す）を装着する。サック５の特徴的な部位（各指先、はら、関節など）の任意の個所には、電磁波発信器から照射される電磁波に対して夫々反射特性の異なる物質６ａ〜６ｅ（以下簡単のため反射材６とも記す）が付着されている。本実施例では、反射材６として誘電体材料で作成された多層膜を用いていて、電磁波発信器から照射される電磁波に対する反射特性を変化させるため、例えば多層膜の層数を変えたり、誘電体材料の組成を変えたりして、夫々異なる部位に付着してある。これにより、各部位と反射電磁波が一対一に対応して、受信側で各部位が同定できることになる。また、対象が１つである場合にも、それと認識できることになる。As shown in FIG. 3, in this embodiment, a user in front of the monitor 9 (shown here as a hand 3) operates a text electronic image 7 composed of a plurality of pages on the monitor 9. First, an operation of turning the electronic image 7 of a plurality of pages of text will be described. As shown in FIG. 4, the user wears sacks 5a to 5e (hereinafter also referred to as sack 5 for simplicity) on each finger to perform a gesture. Substances 6a to 6e having different reflection characteristics with respect to the electromagnetic waves irradiated from the electromagnetic wave transmitters (hereinafter referred to as reflective materials for the sake of simplicity) are placed at arbitrary portions of the characteristic portions of the sack 5 (each fingertip, bar, joint, etc.) 6) is attached. In this embodiment, a multilayer film made of a dielectric material is used as the reflector 6 and the reflection characteristics for electromagnetic waves irradiated from the electromagnetic wave transmitter are changed. The composition of the body material is changed, so that it is attached to different parts. Thereby, each part and reflected electromagnetic waves correspond one-to-one, and each part can be identified on the receiving side. Further, even when there is one target, it can be recognized.

ここで、例えば複数ページで構成されたテキスト画像７を３ページ分めくる操作について説明する。まず、ユーザーは、テキスト画像７の端部が表示されている領域の方に手３を移動させる。図３に示す様に、例えばテキスト画像７の左下の方に右手３を移動させ、親指４ａのみを、めくるような払う動作で動かす。この時、各指の反射材６によって生成された反射波を電磁波受信手段の一つで検出した受信信号の概形の一例を図５に示す。電磁波受信器で受信される信号は、各反射材６が反射波を生成した３次元空間中の位置に応じて、検出される時刻が異なるため、それに基づいて反射材６の３次元空間における位置が算出される。図５では、受信信号は同じように描かれているが、実際は各指の反射材６によって異なるので、反射材６を識別することによって各指の３次元空間における位置が算出される。この算出方法としては、例えば、電磁波発信器から外に発信されたパルスとは別に、遅延器で電磁波発信器からのパルスのタイミングを遅延させ、遅延器によって遅延させられた電磁波パルスと受信パルス（これは、電磁波発生器からのパルス発生から各部位に応じた時間だけ遅延して受信される）をミキサでミキシングして受信パルスの遅延時間を検出し、演算器でこの遅延時間から人物の各部位までの３次元位置情報（例えば、３次元位置情報の距離と方向のうち、距離とは、反射してくる電磁波を検出する検出部に対する対象物との距離であり、また方向とは反射してくる電磁波を検出する検出部の傾きから算出された方向である）を算出する。Here, for example, an operation of turning a text image 7 composed of a plurality of pages for three pages will be described. First, the user moves thehand 3 toward the area where the end of the text image 7 is displayed. As shown in FIG. 3, for example, theright hand 3 is moved toward the lower left of the text image 7, and only the thumb 4 a is moved by a turning motion. At this time, FIG. 5 shows an example of the outline of the received signal obtained by detecting the reflected wave generated by the reflecting material 6 of each finger by one of the electromagnetic wave receiving means. The signal received by the electromagnetic wave receiver is detected at different times depending on the position in the three-dimensional space where each reflecting material 6 has generated the reflected wave. Based on this, the position of the reflecting material 6 in the three-dimensional space is determined. Is calculated. In FIG. 5, the received signal is drawn in the same manner, but actually differs depending on the reflective material 6 of each finger. Therefore, by identifying the reflective material 6, the position of each finger in the three-dimensional space is calculated. As this calculation method, for example, separately from the pulse transmitted outside from the electromagnetic wave transmitter, the timing of the pulse from the electromagnetic wave transmitter is delayed by a delay device, and the electromagnetic wave pulse and the received pulse delayed by the delay device ( This is received with a delay corresponding to each part from the pulse generation from the electromagnetic wave generator) by mixing with a mixer to detect the delay time of the received pulse, and the computing unit detects each delay time of each person. Three-dimensional position information to the part (for example, of the distance and direction of the three-dimensional position information, the distance is the distance from the object to the detection unit that detects the reflected electromagnetic wave, and the direction is reflected. The direction is calculated from the inclination of the detection unit that detects the incoming electromagnetic wave).

そこで、親指４ａのみが紙を払う動作を行った場合の図５の例では、親指４ａから小指４ｅの５本の指の反射材６による反射波信号の時系列パターンを示しており、親指４ａ以外の４本の指は変位が十分小さいため、反射波信号が検出されるタイミングは図のように変化が小さく一定時間間隔を保つが、親指４ａは人差し指４ｂ側から小指４ｅ側に変位するため時間を経るにつれて反射波信号が検出されるタイミングが小指４ｅによる反射波信号側にシフトする。このように動作に応じて指の相対位置関係の時間変化により生成される固有の信号パターンの検出によって、対象物の変位（すなわち動作）の情報を検出する。Therefore, in the example of FIG. 5 in which only the thumb 4a performs the operation of paying the paper, the time series pattern of the reflected wave signal by the reflecting material 6 of the five fingers from the thumb 4a to the little finger 4e is shown. Since the other four fingers are sufficiently small in displacement, the timing at which the reflected wave signal is detected has a small change as shown in the figure and maintains a constant time interval, but the thumb 4a is displaced from the index finger 4b side to the little finger 4e side. As time passes, the timing at which the reflected wave signal is detected shifts to the reflected wave signal side by the little finger 4e. In this manner, information on the displacement (that is, movement) of the object is detected by detecting the unique signal pattern generated by the temporal change in the relative positional relationship of the finger according to the movement.

また、上述した様に、各指毎に生成された反射波の信号は、反射材６である誘電体多層膜の構造（層数）、材料によって異なる。例えば、電磁波発信器が電磁波パルスを照射した場合には、図１０に示すように反射エコーパルスの数が誘電体１０１の積層数の増加に従って増加するため、反射エコーパルスの数を時間サンプリングによって計数すれば、反射波を生成した物質の構造的特徴（誘電体多層膜の積層数）、すなわち各対象物の物性情報を検出できる。Further, as described above, the reflected wave signal generated for each finger differs depending on the structure (number of layers) and material of the dielectric multilayer film that is the reflector 6. For example, when the electromagnetic wave transmitter emits an electromagnetic wave pulse, the number of reflected echo pulses increases as the number of laminated layers ofdielectrics 101 increases as shown in FIG. By doing so, it is possible to detect structural characteristics of the substance that has generated the reflected wave (the number of laminated multilayer dielectric films), that is, physical property information of each object.

従って、各指の部位毎に装着されている各反射材６の位置情報及び物性情報を検出できるため、どの指がどれくらい変位したのかを算出できて、例えば３次元空間における複数の指の位置及び変位を区別して独立に検出できる。Accordingly, since it is possible to detect the position information and physical property information of each reflector 6 mounted for each finger part, it is possible to calculate how much the finger is displaced, for example, the positions of a plurality of fingers in the three-dimensional space and Displacement can be distinguished and detected independently.

以上のようにして、ページをめくるための親指を払う動作が検出される。一回の親指を払う動作によって生成される各指からの反射波信号パターンは信号パターンデータベースに事前に格納されているので、該信号パターンの応じた入力信号が生成されてモニタ９へ提供される。ここでの例では、この入力信号に応じて、モニタ９上のテキスト画像７の左下角部６１が、図６に示す様に、めくられた状態の表示が行なわれる。同様にして、親指４ａを払う動作を行う毎に、テキスト画像７の左下角部６１がめくられた画像の表示を行う入力信号が生成されて、モニタ９に提供される。As described above, the operation of paying the thumb for turning the page is detected. Since the reflected wave signal pattern from each finger generated by the one-time thumb movement is stored in the signal pattern database in advance, an input signal corresponding to the signal pattern is generated and provided to the monitor 9. . In this example, in accordance with this input signal, the lower left corner 61 of the text image 7 on the monitor 9 is displayed as shown in FIG. Similarly, an input signal for displaying an image with the lower left corner 61 of the text image 7 turned is generated and provided to the monitor 9 every time the thumb 4 a is moved.

今回のように３ページをめくる場合には３回この操作を行い、テキスト画像７の左下角部６１が３枚めくられた状態の表示にする。When turning three pages as in this case, this operation is performed three times to display a state in which the lower left corner 61 of the text image 7 is turned up.

次に親指のみの動作ではなく、親指４ａ及び人差し指４ｂで紙をつまむ動作を行い、その状態でめくりたい方向へ所望の距離だけ手３を移動させることによって、テキスト画像７の表示を変える入力について説明する。この入力動作では、始めに親指４ａと人差し指４ｂの指先を接触させて紙をつまむような姿勢（すなわち形状的ジェスチャ）によって生成される各反射材からの反射波信号が検出される。続いて、手３を移動させる動作（すなわち方向的ジェスチャ）によって生成される各反射材からの反射波信号が検出される。信号パターンデータベースには上記のジェスチャに相当する信号パターンが格納されているため、反射波信号パターンと格納された信号パターンが対応することが確認される。格納されている当該信号パターンにはテキスト画像７が手３の移動に応じてめくられる状態になるような表示を行うための入力信号が対応つけられているため、信号パターンの対応が確認されるごとにモニタ９に入力信号が提供される。めくられた状態から元の状態に戻す場合には、上述の動作を逆にして、親指４ａ及び人差し指４ｂで紙をつまむジェスチャのままめくる時と逆の方向に手３を移動させれば良い。Next, with respect to the input for changing the display of the text image 7 by performing the operation of pinching the paper with the thumb 4a and the index finger 4b instead of the operation of only the thumb, and moving thehand 3 by a desired distance in the direction to be turned in that state. explain. In this input operation, a reflected wave signal from each reflecting material generated by a posture (namely, shape gesture) in which the fingertips of the thumb 4a and the index finger 4b are first brought into contact with each other is detected. Subsequently, a reflected wave signal from each reflecting material generated by an action of moving the hand 3 (that is, a directional gesture) is detected. Since the signal pattern database stores a signal pattern corresponding to the above-described gesture, it is confirmed that the reflected wave signal pattern corresponds to the stored signal pattern. Since the stored signal pattern is associated with an input signal for performing display so that the text image 7 is turned in response to the movement of thehand 3, the correspondence of the signal pattern is confirmed. Each time an input signal is provided to the monitor 9. When returning from the flipped state to the original state, the above-described operation is reversed, and thehand 3 may be moved in the direction opposite to that when turning the paper with the thumb 4a and the index finger 4b.

上記動作例ではテキスト画像７の左下角部６１からめくる操作について説明したが、テキスト画像７の端部であれば、いずれの部分から動作を行っても良い。また、上記動作例では親指４ａで紙をめくるような払う動作とテキスト画像７の左下角部６１の表示の切り換え表示が対応していたが、これに限ったものではなく、ユーザーの利便性に応じて、入力信号生成のための動作を割り当てても良い。In the above operation example, the operation of turning from the lower left corner portion 61 of the text image 7 has been described, but the operation may be performed from any portion as long as it is an end portion of the text image 7. In the above operation example, the operation of turning the paper with the thumb 4a corresponds to the display switching display of the lower left corner portion 61 of the text image 7, but this is not limited to this and is convenient for the user. Accordingly, an operation for generating an input signal may be assigned.

（第２実施例）
上記第２の実施形態を採用した第２実施例として、電子ピアノの演奏について図７、図８を用いて説明する。身体の姿勢・動作を検出し、入力信号を生成する点は第１実施例と全く同様であるので、ここでの説明は省略する。(Second embodiment)
As a second example employing the second embodiment, the performance of an electronic piano will be described with reference to FIGS. The point of detecting the posture / motion of the body and generating the input signal is exactly the same as in the first embodiment, and thus the description thereof is omitted here.

本実施例において、ユーザーは図７に示すようなグローブ７１を手に装着する。グローブ７１の一部または全部に反射材６が付着されている。本実施例における反射材６には、プラスチックに周期的な空洞を形成したフォトニック結晶を用いる。グローブ７１の各指４ａから４ｅの一部または全部に付着している反射材６には、夫々異なる構造のフォトニック結晶を採用し、構造的特徴から各反射材６の反射特性を生成する。図１１に、異なる構造を有する二つのプラスチック材料を反射材６に採用した場合に検出される照射電磁波パルスに対する反射波信号の時間波形の一例を示す。図のように空洞を異なる周期で作製した場合、その空洞の周期のピッチ、空洞のサイズ、形状などによって反射波信号の振動周期、及びピーク電力が異なって検出される。従って、夫々の構造を制御することで反射特性も制御できるため、反射波信号の特徴（すなわち反射材６の物性情報）を検出することによって反射材６を独立に区別できる。こうして、反射材６を装着している指を特定して、どの指がどれくらい変位したのかという情報を検出できる。また、前記グローブ７１には、例えば圧電素子などを含む圧覚センサ付圧覚発生手段（不図示）が各指先近くの部分に備えられており、無線で入力信号がここに提供されて、指先に圧覚を与える。In this embodiment, the user wears a glove 71 as shown in FIG. The reflector 6 is attached to part or all of the globe 71. As the reflector 6 in this embodiment, a photonic crystal in which a periodic cavity is formed in plastic is used. The reflective material 6 adhering to some or all of the fingers 4a to 4e of the globe 71 employs photonic crystals having different structures, and the reflection characteristics of the reflective materials 6 are generated from the structural features. FIG. 11 shows an example of a time waveform of a reflected wave signal with respect to an irradiation electromagnetic wave pulse detected when two plastic materials having different structures are adopted for the reflector 6. When the cavities are manufactured with different periods as shown in the figure, the oscillation period of the reflected wave signal and the peak power are detected differently depending on the pitch of the cavities, the size and shape of the cavities, and the like. Therefore, since the reflection characteristics can be controlled by controlling each structure, the reflection material 6 can be independently distinguished by detecting the characteristic of the reflected wave signal (that is, the physical property information of the reflection material 6). In this way, it is possible to identify the finger wearing the reflective material 6 and to detect information about how much the finger is displaced. In addition, the glove 71 is provided with pressure-sensing means (not shown) with a pressure sensor including, for example, a piezoelectric element in a portion near each fingertip, and an input signal is provided here wirelessly to the fingertip. give.

図８に電子ピアノの概観を示す。モニタ９にピアノの鍵盤が表示されており、ユーザーは、モニタ９が見える位置で、グローブ７１を装着した状態で左右どちらかまたは両方の手３を前方に伸ばし、横長の長方形を描く動作を行う。この時の動作が上述した様に電磁波によって検出され、ユーザーが操作する意図を示したとしてモニタ９への入力信号が生成される。該入力信号によってモニタ９の画面上に手の画像が表示される。同時に、前記の動作で、横長の長方形を描いた位置にピアノの鍵盤が仮想的に存在するように空間座標が設定される。そして、それに応じてユーザーの手３の実空間における位置と、モニタ９における仮想空間における手の位置が対応する様にモニタ９への入力信号が提供される。FIG. 8 shows an overview of the electronic piano. A piano keyboard is displayed on the monitor 9, and the user draws a horizontally long rectangle by extending either the left orright hand 3 forward while wearing the glove 71 at a position where the monitor 9 can be seen. . The operation at this time is detected by the electromagnetic wave as described above, and an input signal to the monitor 9 is generated on the assumption that the user intends to operate. An image of a hand is displayed on the screen of the monitor 9 by the input signal. At the same time, the spatial coordinates are set by the above operation so that the piano keyboard virtually exists at the position where the horizontally long rectangle is drawn. Accordingly, an input signal to the monitor 9 is provided so that the position of the user'shand 3 in the real space and the position of the hand in the virtual space of the monitor 9 correspond to each other.

例えば、ユーザーがモニタ９に表示された鍵盤を見ながら中指４ｃで任意の鍵盤を押す動作を行った場合には、設定されている空間座標内での中指４ｃの変位情報及び中指４ｃに装着している反射材６固有の物性情報を電磁波によって検出して、反射波を生成した物体が中指４ｃであるという情報と、その変位によって生じた反射電磁波による信号の時系列パターンが計測される。第１実施例の入力信号の生成の場合と同様にして、中指４ｃを下方に移動したときに生成される信号の時系列パターンと同じ信号パターンを事前に信号パターンデータベースに格納しておき、その信号パターンが照合された時に、入力信号を生成するように割り当てておく。この場合には、モニタ９に対して、画面内の手が鍵盤を中指で押すような表示に切り換える信号と、画面内の鍵盤に対応した音声を発生するようにスピーカ１２に対して提供する信号と、中指４ｃが鍵盤を押したときに感じるような感覚を提供する圧覚センサ付圧覚発生手段に対する信号が生成されて、提供される。For example, when the user performs an operation of pressing an arbitrary key with the middle finger 4c while looking at the keyboard displayed on the monitor 9, the displacement information of the middle finger 4c within the set space coordinates and the middle finger 4c are attached. The physical property information unique to the reflecting material 6 is detected by electromagnetic waves, and information that the object that generated the reflected wave is the middle finger 4c and a time-series pattern of signals by the reflected electromagnetic waves generated by the displacement are measured. Similarly to the case of generating the input signal of the first embodiment, the same signal pattern as the time series pattern of the signal generated when the middle finger 4c is moved downward is stored in the signal pattern database in advance. When the signal pattern is verified, the input signal is assigned so as to be generated. In this case, the monitor 9 is switched to a display in which the hand in the screen presses the keyboard with the middle finger, and the signal provided to thespeaker 12 so as to generate sound corresponding to the keyboard in the screen. Then, a signal is generated and provided to the pressure sensor generating means with pressure sensor that provides a feeling that the middle finger 4c feels when pressing the keyboard.

上記の例と同様に、左右の各指４ａから４ｅの演奏の動作夫々に入力信号が割り当てられているので、実物のピアノを演奏するのと同じ感覚で電子ピアノの演奏を行うことができる。Similarly to the above example, since input signals are assigned to the performance operations of the left and right fingers 4a to 4e, it is possible to perform an electronic piano with the same feeling as playing a real piano.

本実施例で導入したスピーカ１２のような音声発生手段及び／または圧覚センサ付圧覚発生手段を第１実施例に示した電子画像のページめくり装置にも適用できることは言うまでもない。すなわち、ページをめくる動作に応じて「ピラッ」といったような音声を発生させたり、紙をめくる時に感じるような感覚を指に発生させたりすることで、一層自然な感覚で情報入力を行うことが期待される。Needless to say, the sound generating means such as thespeaker 12 and / or the pressure generating means with pressure sensor introduced in this embodiment can be applied to the electronic image page turning apparatus shown in the first embodiment. In other words, it is possible to input information with a more natural sense by generating a sound such as “pipe” according to the turning operation of the page, or generating a sensation that feels when turning the paper. Be expected.

また、モニタ９内の任意の場所に演奏対象となる楽曲の楽譜の電子画像を表示させて、演奏の補助に用いると共に、前記楽譜のページめくりを第１実施例と同様な操作で実行することも可能である。Also, an electronic image of the musical score of the music to be played is displayed at an arbitrary location in the monitor 9 and used for assisting the performance, and the page turning of the musical score is executed by the same operation as in the first embodiment. Is also possible.

尚、本実施例では圧覚センサ付圧覚発生手段に対する信号入力を無線通信で行っているが、有線による信号伝送でも構わない。In this embodiment, the signal input to the pressure sensor generating means with pressure sensor is performed by wireless communication, but signal transmission by wire may be used.

（第３実施例）
上記第３の実施形態を採用した第３実施例として、動作・音声変換装置について説明する。より詳細には、犬や猫のような人間が飼育する動物のしぐさを電磁波によって検出して、この動物が表現したい意図、感情を推量して人間の言葉による音声で出力するための装置である。(Third embodiment)
An operation / speech conversion apparatus will be described as a third example employing the third embodiment. More specifically, it is a device for detecting the gestures of animals bred by humans such as dogs and cats by electromagnetic waves, and inferring the intentions and emotions that the animals want to express and outputting them in human speech. .

図９に、本装置を犬２５に適用した場合の概観を示す。犬２５の身体の手足、首、耳、口などの各部位に反射材６が付着した粘着シール１３を貼り付ける。犬２５は首輪９２に結ばれたロープ９１によって繋がれ、人間はロープ９１の一端に装着されたハンドル９３を保持する。例えば、前記電磁波発信器、電磁波受信器、スピーカなどの少なくとも１つをハンドル９３に設けることも可能である。FIG. 9 shows an overview when the present apparatus is applied to a dog 25. An adhesive seal 13 with a reflective material 6 attached is attached to each part such as a limb, neck, ear, and mouth of the body of the dog 25. The dog 25 is connected by a rope 91 connected to a collar 92, and a human holds a handle 93 attached to one end of the rope 91. For example, at least one of the electromagnetic wave transmitter, the electromagnetic wave receiver, the speaker and the like can be provided on the handle 93.

本実施例の動作を説明する。例えば、犬２５が図９のように座る姿勢を取り、しっぽ９４を左右に振る動作を行った場合、電磁波によって座った姿勢における手足、首、耳などの粘着シール１３に付着している反射材６の空間内の位置が検出されると共に、しっぽ９４が左右に振れる動きも検出される。各部位の反射材６による反射波信号の時系列パターンから犬２５の姿勢・動作を検出して、それに基づき例えばスピーカに対する入力信号を生成する。例えば、図９の犬２５の姿勢、動作が疲労している場合の典型的な姿勢、動作であると見なして、「あ〜あ、疲れた。」のような音声を発生する入力信号を生成するように、事前に信号パターンデータベースに格納する信号パターンと、生成する入力信号を対応付けておく。この他にも、犬２５が示す多様な姿勢、動作に対応する音声信号を備えることで、動物と人間のコミュニケーションが一層深められることが期待できる。The operation of this embodiment will be described. For example, when the dog 25 is in a sitting posture as shown in FIG. 9 and the tail 94 is swung left and right, the reflective material attached to the adhesive seals 13 such as limbs, neck and ears in the sitting posture by electromagnetic waves. 6 is detected, and the movement of the tail 94 to the left and right is also detected. The posture / motion of the dog 25 is detected from the time-series pattern of the reflected wave signal from the reflecting material 6 at each part, and an input signal to a speaker, for example, is generated based on the detected posture / motion. For example, assuming that the posture and movement of the dog 25 in FIG. 9 are typical postures and movements when the movement is fatigued, an input signal that generates a sound such as “Oh, I'm tired.” Is generated. As described above, the signal pattern stored in the signal pattern database is associated with the input signal to be generated in advance. In addition to this, it is expected that communication between animals and humans can be further deepened by providing audio signals corresponding to various postures and movements shown by the dog 25.

以上の第１実施例から第３実施例で用いる電磁波発信器から発信される電磁波としては、指の細かい動きなどを検出するのに十分な位置分解能(1cm〜10μm)を得るために、ミリ波からテラヘルツ波（30GHz〜30THz）の領域の電磁波が好ましいが、それ以外の領域の電磁波を用いることも可能である。The electromagnetic waves transmitted from the electromagnetic wave transmitters used in the first to third embodiments described above are millimeter waves in order to obtain a sufficient position resolution (1 cm to 10 μm) for detecting fine movements of fingers. To terahertz waves (30 GHz to 30 THz) are preferable, but electromagnetic waves in other regions can be used.

上記の第１実施例から第３実施例において、位置情報の検出対象物の装着の態様としてサック５及びグローブ７１及び粘着シール１３などを用いたが、これらの形態にとらわれるものではなく、検出すべき対象物に応じて最適な形態を選択するのが好ましい。In the first to third embodiments described above, the sac 5, the glove 71, the adhesive seal 13 and the like are used as the manner in which the position information detection target is mounted. However, the present invention is not limited to these forms. It is preferable to select an optimum form according to the object to be processed.

また、上記の第１実施例から第３実施例において用いたモニタ９として、例えば液晶ディスプレイや、ＣＲＴディスプレイ、プラズマディスプレイ、SED（表面電界ディスプレイ）、有機ELディスプレイ、電子ペーパーなど、任意の表示手段を用いることが可能である。As the monitor 9 used in the first to third embodiments, any display means such as a liquid crystal display, CRT display, plasma display, SED (surface electric field display), organic EL display, electronic paper, etc. Can be used.

さらに、上記の実施例では反射材６として誘電体多層膜やフォトニック結晶という照射電磁波に対して反射特性の異なる材料を採用したが、これらに限定されるものではなく、照射される電磁波に対する反射特性を検出できる材料であれば任意に選択して採用することができる。Further, in the above embodiment, the reflective material 6 is made of a material having different reflection characteristics with respect to the irradiated electromagnetic wave, such as a dielectric multilayer film or a photonic crystal. Any material that can detect the characteristics can be selected and adopted.

本発明に関わる情報入力装置の構成を示すブロック図である。It is a block diagram which shows the structure of the information input device concerning this invention.本発明に関わる情報入力方法のフローを示す流れ図である。It is a flowchart which shows the flow of the information input method concerning this invention.第１実施例における情報入力装置を操作している状況を説明する図である。It is a figure explaining the condition which is operating the information input device in 1st Example.第１実施例においてユ−ザーが反射材の付着したサックを装着した概観図である。It is a general-view figure with which the user mounted | wore the sack which the reflecting material adhered in 1st Example.ページめくりの動作によって各指で生成される反射波信号の時系列パターンの一例を示す図である。It is a figure which shows an example of the time series pattern of the reflected wave signal produced | generated with each finger | toe by the operation | movement of a page turning.第１実施例の情報入力装置におけるページめくり操作の説明図である。It is explanatory drawing of page turning operation in the information input device of 1st Example.第２実施例においてユーザーが反射材の付着したグローブを装着した概観図である。It is a general-view figure with which the user mounted | wore with the glove which the reflecting material adhered in 2nd Example.第２実施例における電子ピアノの概観図である。It is a general-view figure of the electronic piano in 2nd Example.第３実施例における情報入力装置の概観図である。It is a general-view figure of the information input device in 3rd Example.反射材としての誘電体多層膜を説明する図である。It is a figure explaining the dielectric multilayer film as a reflecting material.反射材としてのフォトニック結晶を説明する図である。It is a figure explaining the photonic crystal as a reflecting material.

符号の説明Explanation of symbols

３・・・手（対象物）
５ａ〜５ｅ・・・サック（装着物）
６ａ〜６ｅ・・・反射材（装着物）
７・・・テキスト画像（電子画像）
９、４０・・・モニタ（表示手段）
１０・・・電磁波発信器（電磁波発信手段）
１２・・・スピーカ（音声発生手段）
１３・・・粘着シール（装着物）
２０・・・電磁波受信器（電磁波受信手段）
２５・・・犬（対象物）
３０・・・信号処理手段
７１・・・グローブ（装着物）3 ... Hand (object)
5a-5e ... Sack (wearing thing)
6a-6e ... Reflective material (attachment)
7 ... Text image (electronic image)
9, 40 ... monitor (display means)
10 ... Electromagnetic wave transmitter (electromagnetic wave transmission means)
12 ... Speaker (sound generation means)
13 ... Adhesive seal (attachment)
20 ... Electromagnetic wave receiver (electromagnetic wave receiving means)
25 ... Dog (object)
30 ... Signal processing means 71 ... Glove (attachment)

Claims (10)

Translated fromJapanese

電磁波を発信する電磁波発信工程と、一つ以上の対象物によって前記電磁波に対する反射波が生成される反射波生成工程と、前記反射波を受信する電磁波受信工程と、受信した電磁波の信号に基づき前記反射波を生成した対象物の３次元空間における位置情報を算出する第１情報検出工程と、受信した電磁波の信号に基づき前記反射波を生成した対象物をそれと同定する物性情報を検出する第２情報検出工程と、前記第１情報検出工程及び第２情報検出工程によって検出した複数の情報に基づき入力信号を一つ以上生成して機器に対して提供する入力信号生成工程を有することを特徴とする情報入力方法。Based on an electromagnetic wave transmitting step of transmitting an electromagnetic wave, a reflected wave generating step of generating a reflected wave with respect to the electromagnetic wave by one or more objects, an electromagnetic wave receiving step of receiving the reflected wave, and the received electromagnetic wave signal A first information detecting step for calculating position information of the object that has generated the reflected wave in a three-dimensional space; and a second property for detecting physical property information that identifies the object that has generated the reflected wave based on the received electromagnetic wave signal. An information detection step, and an input signal generation step of generating one or more input signals based on the plurality of pieces of information detected by the first information detection step and the second information detection step and providing them to the device. Information input method.複数の前記対象物は、照射された電磁波に対して特有の反射波を生成する装着物を着している請求項１記載の情報入力方法。The information input method according to claim 1, wherein the plurality of objects are wearing attachments that generate specific reflected waves with respect to the irradiated electromagnetic waves.前記装着物は、誘電体多層膜またはフォトニック結晶を含む物である請求項２記載の情報入力方法。The information input method according to claim 2, wherein the wearing object includes a dielectric multilayer film or a photonic crystal.前記入力信号は、機器の使用者の視覚に対して出力を行う表示手段、聴覚に対して出力を行う音声発生手段、触覚に対して出力を行う圧覚発生手段の少なくとも一つに提供される請求項１乃至３のいずれかに記載の情報入力方法。The input signal is provided to at least one of display means for outputting to the visual sense of the user of the device, sound generating means for outputting to the auditory sense, and pressure sense generating means for outputting to the tactile sense. Item 4. The information input method according to any one of Items 1 to 3.前記発信される電磁波はミリ波からテラヘルツ波（30GHz〜30THz）の領域の電磁波である請求項１乃至４のいずれかに記載の情報入力方法。The information input method according to any one of claims 1 to 4, wherein the electromagnetic wave to be transmitted is an electromagnetic wave in a region from millimeter waves to terahertz waves (30 GHz to 30 THz).電磁波を発信する電磁波発信手段と、一つ以上の対象物で生成される反射波を受信する電磁波受信手段と、受信した電磁波の信号に基づき前記反射波を生成した対象物の３次元空間における位置情報及び前記対象物をそれと同定する物性情報を検出し、それらの情報に基づき入力信号を生成して機器に提供する信号処理手段を有することを特徴とする情報入力装置。An electromagnetic wave transmitting means for transmitting an electromagnetic wave, an electromagnetic wave receiving means for receiving a reflected wave generated by one or more objects, and a position in the three-dimensional space of the object that generated the reflected waves based on the received electromagnetic wave signal An information input device comprising signal processing means for detecting information and physical property information for identifying the object, generating an input signal based on the information, and providing the signal to a device.前記電磁波発信手段から発信される電磁波はミリ波からテラヘルツ波（30GHz〜30THz）の領域の電磁波である請求項６記載の情報入力装置。The information input device according to claim 6, wherein the electromagnetic wave transmitted from the electromagnetic wave transmitting means is an electromagnetic wave in a region from millimeter waves to terahertz waves (30 GHz to 30 THz).少なくとも表示手段を含む機器と、対象物である人間の身体上の一つ以上の部位の位置情報または変位情報によって入力信号を生成して前記機器に提供する請求項６または７記載の情報入力装置を有し、前記入力信号に基づいて前記表示手段に表示されている電子画像の操作を行うことを特徴とする電子画像操作装置。The information input device according to claim 6 or 7, wherein an input signal is generated and provided to the device by at least a device including a display unit and position information or displacement information of one or more parts on a human body as a target object. And an electronic image manipulation device that manipulates an electronic image displayed on the display unit based on the input signal.少なくとも音声発生手段を含む機器と、対象物である人間の身体上の一つ以上の部位の位置情報または変位情報によって入力信号を生成して前記機器に提供する請求項６または７記載の情報入力装置を有し、前記入力信号に基づいて前記音声発生手段により楽音の演奏の操作を行うことを特徴とする電子楽音操作装置。The information input according to claim 6 or 7, wherein an input signal is generated and provided to the device based on position information or displacement information of at least one part on a human body as a target object and at least a sound generating means. An electronic musical sound operating device comprising a device, wherein a musical performance is operated by the sound generating means based on the input signal.少なくとも音声発生手段を含む機器と、対象物である動物の身体上の一つ以上の部位の位置情報または変位情報によって入力信号を生成して前記機器に提供する請求項６または７記載の情報入力装置を有し、前記入力信号に基づいて前記音声発生手段により動物のしぐさを人間が用いる言語の音声に変換することを特徴とする動作音声変換装置。The information input according to claim 6 or 7, wherein an input signal is generated and provided to the device based on position information or displacement information of at least one part on the body of an animal, which is an object, and at least a sound generating means. An operation speech conversion device comprising: a device, wherein the speech generating means converts an animal gesture into speech of a language used by a human based on the input signal.

Images