本発明は、ウェアラブルコンピュータに用いるハンドジェスチャの入力インタフェース装置およびインタフェース方法の技術に関するものである。 The present invention relates to a technique for an input interface device and an interface method for a hand gesture used in a wearable computer.
近年、いつでも、どこでも利用者に対して情報提供，行動記録，健康管理などのサービスが可能なウェアラブルコンピュータの研究開発が盛んに行われている。ウェアラブルコンピュータを使用するうえで最も重要な役割を果たすのが、様々なコンテンツやアプリケーションを操作するための入力インタフェースである。ウェアラブルコンピュータの入力インタフェースの条件としては、直感的な操作性，屋内外での使用，様々なコンテンツやアプリケーションに利用できる汎用性など、ユーザに受け入れやすいインタフェースであることが必須である。入力インタフェースの開発においては、これらの諸条件を考慮し、簡単に直感的操作ができるハンドジェスチャを用いて、ジェスチャ入力の安定性を向上させるための技術が要求されている。 2. Description of the Related Art In recent years, research and development of wearable computers that can provide services such as information provision, action recording, and health management to users anytime and anywhere have been actively conducted. An input interface for operating various contents and applications plays the most important role in using a wearable computer. As an input interface condition of the wearable computer, it is essential that the interface be easy for the user to accept such as intuitive operability, indoor / outdoor use, and versatility that can be used for various contents and applications. In the development of an input interface, a technique for improving the stability of gesture input using a hand gesture that can be easily operated intuitively in consideration of these various conditions is required.
従来から、ハンドジェスチャ入力の技術として、グローブ型デバイスを利用した入力インタフェース（例えば、非特許文献１を参照）や、手画像の画像認識を用いてジェスチャ認識を行う入力インタフェースが知られている。グローブ型デバイスを利用した入力インタフェースは、検出精度が高く、外的環境の変化に対して頑健であるが、特別な装備や機器が必要なため手軽さや外見，導入コストなどに問題がある。一方、手画像の画像認識による入力インタフェースでは、グローブ型デバイスのような特別な装備を必要としないためユーザにとって煩わしさがないが、光源環境などの影響を受けやすいといった問題がある。 Conventionally, as a hand gesture input technique, an input interface using a glove-type device (see, for example, Non-Patent Document 1) and an input interface for performing gesture recognition using image recognition of a hand image are known. An input interface using a glove-type device has high detection accuracy and is robust against changes in the external environment. However, since special equipment and equipment are required, there are problems with ease, appearance, and installation cost. On the other hand, an input interface based on image recognition of hand images does not require special equipment such as a glove-type device, so that there is no problem for the user, but there is a problem that it is easily affected by the light source environment.
手画像の画像認識による入力インタフェースは、小型カメラを用いて手指画像を入力し、非接触で、リアルタイムに手指のジェスチャを認識する技術であり、例えば、テレビ又はパーソナルコンピュータ（ＰＣ）などの情報処理装置を、ユーザの手指のジェスチャによって操作する方法が提案されている。このような方法によれば、マウス、キーボードなどの入力装置を使用することなく、自然に情報処理装置を操作することができる。
手指画像を用いた入力インタフェースとしては、手に何もつけずにそのままの画像から手の領域を抽出するものや、手に手袋を装着するものが研究されている。また、指示棒のようなものを手に持って、その指示棒を検出することにより、手の動作のジェスチャを認識するような研究もある。An input interface based on hand image recognition is a technology for inputting a finger image using a small camera and recognizing a finger gesture in real time without contact, and for example, information processing such as a television or a personal computer (PC). Methods have been proposed for operating the device with gestures of the user's fingers. According to such a method, the information processing apparatus can be naturally operated without using an input device such as a mouse or a keyboard.
As an input interface using a finger image, researches have been made to extract a hand region from an image as it is without putting anything on the hand or to wear a glove on a hand. There is also research that recognizes hand movement gestures by holding a pointer-like object in the hand and detecting the pointer.
例えば、メニュー選択肢を人間の手の各指に割り当て、開手によってメニューを呼び出し、他方の手で目的選択肢が割り当てられている指に触れる、或いは目的選択肢が割り当てられている指を折ることによって選択動作を実行するという直感的動作を利用することで、操作性に極めて優れたメニュー型入力インタフェースが知られている（特許文献１）。 For example, a menu option is assigned to each finger of a human hand, the menu is invoked by opening, and the other hand is touched by the finger to which the target option is assigned or selected by folding the finger to which the target option is assigned A menu type input interface that is extremely excellent in operability by using an intuitive operation of executing an operation is known (Patent Document 1).
上述した従来の入力インタフェースにおいて、手に何も装着しない方法や何も持たない方法では、手指の肌色のために、照明環境に依存してしまい、照明環境の変化により肌色の検出が困難・認識精度が悪くなるという問題がある。
また、手袋の装着や器具の把持はユーザに拘束感を与えてしまうという問題がある。
上記状況に鑑みて、本発明は、ハンドジェスチャ入力の安定性を向上させ、ユーザに拘束感を与えず装着を気軽に行うことが可能なインタフェース装置およびインタフェース方法を提供することを目的とする。In the conventional input interface described above, the method of wearing nothing or having nothing on the hand depends on the lighting environment due to the skin color of the fingers, and it is difficult to recognize and recognize the skin color due to changes in the lighting environment There is a problem that accuracy is deteriorated.
In addition, wearing gloves or holding a device has a problem of giving a sense of restraint to the user.
In view of the above situation, an object of the present invention is to provide an interface device and an interface method that can improve the stability of hand gesture input and can be easily mounted without giving a sense of restraint to the user.
上記目的を達成すべく、本発明は、画像認識におけるハンドジェスチャ入力の安定性を向上させるために、色情報や形状情報など認識精度を向上させる要素を持つリングを指に装着して、ユーザ視点のカメラ画像を用いて取得したリングの画像解析によって、手の位置姿勢の推定を行う。
ファッションとして気軽に装着できるリングを使用することにより、ユーザに拘束感を与えずに、照明環境に依存しない高精度な検出・認識を実現する。
また、基本的に、リングには能動的な機能（振動子ユニット、発光ユニット、加速度センサや計測ユニット）を組み込まないこととしており、そのため能動的な機能の駆動用の電池や機械類が不要となり、特に制約を設けることなくリングを気軽に利用できる。In order to achieve the above object, in order to improve the stability of hand gesture input in image recognition, the present invention attaches a ring having an element that improves recognition accuracy, such as color information and shape information, to a user's viewpoint. The position and orientation of the hand are estimated by analyzing the image of the ring acquired using the camera image of the hand.
By using a ring that can be easily worn as a fashion, high-precision detection / recognition that does not depend on the lighting environment is realized without giving the user a sense of restraint.
Basically, no active function (vibrator unit, light-emitting unit, acceleration sensor, or measurement unit) is incorporated in the ring, which eliminates the need for batteries or machinery for driving the active function. The ring can be easily used without any particular restrictions.
すなわち、本発明のリング型インタフェースは、カメラ画像を入力し、ハンドジェスチャを認識するために用いられるインタフェースであって、少なくとも１本の指に装着され、手指の位置姿勢推定マーカーとして用いられることを特徴とする。
ハンドジェスチャを認識するためのインタフェースをリング型にするメリットは、リング自体の色や形状などを工夫することで検出精度の向上が期待できるといった点とリングの装着が手軽であるという点である。また、従来の入力インタフェースでは、あまり考慮されていない「デザイン性・ファッション性」をリングに付加することにより、より多くのユーザに受け入れやすくなると考えられる点である。That is, the ring type interface of the present invention is an interface used for inputting a camera image and recognizing a hand gesture, and is attached to at least one finger and used as a finger position / posture estimation marker. Features.
The merit of making the interface for recognizing hand gestures into a ring type is that improvement in detection accuracy can be expected by devising the color and shape of the ring itself, and the mounting of the ring is easy. In addition, in the conventional input interface, it is considered that it becomes easier for more users to accept by adding “designability / fashionability”, which is not considered much, to the ring.
リングを手指の位置姿勢推定マーカーとして用いる方法は、一例として挙げれば、カメラ画像からＲＧＢ入力された画像をＨＳＶ表色系に変換し、色情報をもとにリングの各色の領域を抽出した後に、膨張収縮による欠損補間およびラベリング処理を施し、得られた閉領域より各色の重心を計算した各重心座標により、各重心座標の平均からリングの画像中の座標位置を、各重心座標を結ぶ直線から画像平面内での推定角度を求めることで位置姿勢を推定する方法である。
他の方法例としては、色情報をもとに抽出したリング領域に楕円を当てはめ、その楕円の中心をリングの位置，推定した楕円の長軸短軸の長さ及び傾きより姿勢を推定する。As an example of a method of using the ring as a finger position / posture estimation marker, an RGB input image from a camera image is converted into an HSV color system, and after extracting each color region of the ring based on color information A straight line that connects each barycentric coordinate to the coordinate position in the ring image from the average of each barycentric coordinate by each barycentric coordinate obtained by performing defect interpolation and labeling processing by expansion and contraction, and calculating the barycenter of each color from the obtained closed region Is a method for estimating the position and orientation by obtaining an estimated angle in the image plane.
As another example of the method, an ellipse is applied to the ring region extracted based on the color information, and the posture is estimated from the center of the ellipse based on the position of the ring and the length and inclination of the major axis and minor axis of the estimated ellipse.
かかるリング型インタフェースにおいて、指に装着されるリングが軸方向に少なくとも２色に色分けされることが好ましい態様である。リングが輪の中心軸方向に２色に色分けされることにより、手首に近い側の判別を容易できる。リングが輪の中心軸方向に２色に色分けされる状態とは、ドーナツ状の異なる２色の輪が重なった状態である。 In such a ring-type interface, it is preferable that the ring attached to the finger is color-coded in at least two colors in the axial direction. By distinguishing the ring into two colors in the direction of the center axis of the ring, it is possible to easily distinguish the side closer to the wrist. The state in which the ring is color-coded in two colors in the direction of the central axis of the ring is a state in which rings of two colors having different donut shapes overlap.
また、かかるリング型インタフェースにおいて、リングエッジの色が肌色の補色であることが好ましい態様である。リングエッジの色が肌色の補色とすることにより、指とリングの境界部を明瞭に認識できる。 In such a ring-type interface, it is preferable that the color of the ring edge is a complementary color of the skin color. By making the ring edge color complementary to the skin color, the boundary between the finger and the ring can be clearly recognized.
また、かかるリング型インタフェースにおいて、リングの外側形状が、正多角柱または真円柱の形状を呈することが好ましい態様である。正多角柱または真円柱の形状を呈することにより、リングの位置姿勢の認識率が向上する。ここで、正多角柱の形状は、具体的には、正六角柱、正八角柱以上が好ましく、正三角柱、正四角柱の形状でも構わない。 In the ring interface, it is preferable that the outer shape of the ring has a regular polygonal column shape or a true cylinder shape. By presenting the shape of a regular polygonal cylinder or a true cylinder, the recognition rate of the position and orientation of the ring is improved. Here, the shape of the regular polygonal column is specifically preferably a regular hexagonal column or a regular octagonal column, and may be a regular triangular prism or a regular quadrangular prism.
また、かかるリング型インタフェースにおいて、リングに振動手段、骨伝導手段、発光手段などのユーザ告知手段および無線信号受信手段が内蔵されていることが好ましい態様である。
上述したように、基本的に、リングには能動的な機能（振動子ユニット、発光ユニットなど）を組み込まないこととし、能動的な機能の駆動用の電池や機械類を不要としている。しかしながら、リング型インタフェースを用いて情報処理装置にジェスチャを送った場合の応答のフィードバック手段として、リング自体に、振動手段などのユーザ告知手段および無線信号受信手段が内蔵されていることで、ユーザの操作感を向上させることができる。In addition, in such a ring-type interface, it is preferable that a user notification means such as a vibration means, a bone conduction means, and a light emission means and a radio signal receiving means are incorporated in the ring.
As described above, basically, an active function (a vibrator unit, a light emitting unit, etc.) is not incorporated in the ring, and a battery or machinery for driving the active function is not necessary. However, as feedback means for response when a gesture is sent to the information processing apparatus using the ring type interface, the ring itself incorporates user notification means such as vibration means and wireless signal reception means, so that the user's The operational feeling can be improved.
また、かかるリング型インタフェースにおいて、リングの外側表面に夜間発光材料がコーティングされていることが好ましい態様である。リングの外側表面に夜間発光材料がコーティングされていることにより、照明環境が悪い状況下においても、リングの位置姿勢の認識率が向上する。 Further, in such a ring type interface, it is a preferable aspect that the night light emitting material is coated on the outer surface of the ring. Since the night light-emitting material is coated on the outer surface of the ring, the recognition rate of the position and orientation of the ring is improved even in a poor lighting environment.
次に、本発明のインタフェース装置は、カメラ画像を用いてハンドジェスチャを認識するインタフェース装置であって、
１）カメラ手段と、
２）カメラ手段を用いて、少なくとも１本の指にリングを装着した手指の画像を撮影する画像入力手段と、
３）入力された画像からリングの形状を抽出するリング抽出手段と、
４）リングの形状に基づきリングの位置姿勢を推定する位置姿勢推定手段と、
５）リングの位置姿勢に基づきハンドジェスチャを認識するジェスチャ認識手段と、を備えた構成とされる。Next, the interface device of the present invention is an interface device that recognizes a hand gesture using a camera image,
1) camera means;
2) Image input means for taking an image of a finger with a ring attached to at least one finger using camera means;
3) Ring extraction means for extracting the shape of the ring from the input image;
4) position and orientation estimation means for estimating the position and orientation of the ring based on the shape of the ring;
5) Gesture recognition means for recognizing a hand gesture based on the position and orientation of the ring.
かかる構成によれば、リングを装着した手指のカメラ画像認識におけるリングの位置姿勢推定結果から、ハンドジェスチャを認識できる。リングは上述したようなリング型インタフェースと同様、色情報や形状情報など認識精度を向上させる要素を持たせることにより、ハンドジェスチャ入力の安定性を向上させることができる。 According to this configuration, the hand gesture can be recognized from the position / orientation estimation result of the ring in the camera image recognition of the finger wearing the ring. The ring can improve the stability of hand gesture input by providing elements that improve recognition accuracy, such as color information and shape information, like the ring-type interface described above.
ここで、上記の位置姿勢推定手段は、具体的には、リングのリングエッジの楕円推定を用いて位置姿勢推定を行うものである。 Here, the position and orientation estimation means specifically performs position and orientation estimation using ellipse estimation of the ring edge of the ring.
また、上記のジェスチャ認識手段において、認識が正常に行えた場合に、リングに対して無線信号を出力する認識フィードバック手段を備えることが好ましい態様である。リング自体に振動手段などのユーザ告知手段および無線信号受信手段が内蔵されている場合に、かかるリングを指に装着したユーザが、ジェスチャを送った場合のユーザへの応答、すなわち、リングへのフィードバックを行うことにより、ユーザの操作感を向上させることができる。 In the above-described gesture recognition unit, it is preferable that the gesture recognition unit includes a recognition feedback unit that outputs a radio signal to the ring when the recognition is normally performed. When the ring itself incorporates user notification means such as vibration means and wireless signal receiving means, a response to the user when the user wearing the ring sends a gesture, that is, feedback to the ring By performing the above, it is possible to improve the user's operational feeling.
次に、本発明のウェアラブルコンピュータは、上記のインタフェース装置を備えたコンピュータであって、上記のカメラ手段は、ユーザ視点のカメラ視野となる位置に配置され、上記のジェスチャ認識手段から認識したジェスチェアに対応するコマンドを出力するコマンド出力手段と、当該コマンドに対応した情報を出力する情報用表示手段と、を備えた構成とされる。 Next, a wearable computer according to the present invention is a computer including the above-described interface device, wherein the camera unit is a gesture chair that is arranged at a position that is a camera field of view of a user and is recognized from the gesture recognition unit. A command output means for outputting a command corresponding to the information, and an information display means for outputting information corresponding to the command.
将来的には、様々な家電製品はネットワーク結合された情報家電機器となることが予想されており、ユビキタスコンピューティング環境が浸透する。かかる環境下においては、物理的なインタフェースがなくなり、より簡潔性のあるユーザインタフェースが求められており、例えば、小型カメラと情報出力装置にＨＭＤ（Head Mounted Display）が使用されるウェアラブルコンピュータの活用が期待されている。上述した本発明のインタフェース装置は、かかるウェアラブルコンピュータに備えられ、手指を用いた簡単なジェスチャで対象機器を直感的に操作できるのである。 In the future, various home appliances are expected to become networked information home appliances, and the ubiquitous computing environment will permeate. In such an environment, there is a need for a simpler user interface without a physical interface. For example, use of a wearable computer in which an HMD (Head Mounted Display) is used for a small camera and an information output device is required. Expected. The interface device of the present invention described above is provided in such a wearable computer, and can intuitively operate the target device with a simple gesture using fingers.
次に、本発明の第１の観点のインタフェース方法は、カメラ画像を用いてハンドジェスチャを認識するインタフェース方法であって、
Ａ−１）少なくとも１本の指にリングを装着した手指の画像を撮影する画像入力ステップと、
Ａ−２）入力された画像からリングの形状を抽出するリング抽出ステップと、
Ａ−３）リングの形状に基づきリングの位置姿勢を推定する位置姿勢推定ステップと、
Ａ−４）リングの位置姿勢に基づきハンドジェスチャを認識するジェスチャ認識ステップと、を備えた構成とされる。Next, an interface method according to a first aspect of the present invention is an interface method for recognizing a hand gesture using a camera image,
A-1) An image input step for capturing an image of a finger with a ring attached to at least one finger;
A-2) a ring extraction step for extracting the shape of the ring from the input image;
A-3) a position and orientation estimation step for estimating the position and orientation of the ring based on the shape of the ring;
A-4) A gesture recognition step for recognizing a hand gesture based on the position and orientation of the ring.
かかる構成によれば、リングを装着した手指のカメラ画像認識におけるリングの位置姿勢推定ステップの結果から、ハンドジェスチャを認識できる。リングは上述したようなリング型インタフェースと同様、色情報や形状情報など認識精度を向上させる要素を持たせることにより、ハンドジェスチャ入力の安定性を向上させることができる。 According to this configuration, the hand gesture can be recognized from the result of the ring position and orientation estimation step in the camera image recognition of the finger wearing the ring. The ring can improve the stability of hand gesture input by providing elements that improve recognition accuracy, such as color information and shape information, like the ring-type interface described above.
また、本発明の第２の観点のインタフェース方法は、カメラ画像を用いてハンドジェスチャを認識するインタフェース方法であって、
Ｂ−１）２本の指に第１リングと第２リングをそれぞれ装着した手指の画像を撮影する画像入力ステップと、
Ｂ−２）入力された画像から第１リングと第２リングの形状を抽出するリング抽出ステップと、
Ｂ−３）第１リングと第２リングの形状に基づきリングの位置姿勢を推定する位置姿勢推定ステップと、
Ｂ−４）第１リングと第２リングの位置姿勢に基づきハンドジェスチャを認識するジェスチャ認識ステップと、を備えた構成とされる。An interface method according to a second aspect of the present invention is an interface method for recognizing a hand gesture using a camera image,
B-1) An image input step for capturing images of fingers with the first ring and the second ring respectively attached to two fingers;
B-2) a ring extraction step for extracting the shapes of the first ring and the second ring from the input image;
B-3) a position and orientation estimation step for estimating the position and orientation of the ring based on the shapes of the first ring and the second ring;
B-4) A gesture recognition step for recognizing a hand gesture based on the position and orientation of the first ring and the second ring.
かかる構成によれば、例えば、人差し指と親指のように２箇所にリングを装着することで、リングの位置関係より指の動作の推定も可能となる。具体的には、人差し指と親指の２箇所にリングを装着することで、人差し指と親指で物をつまんだり、人差し指と親指の間で物の長さを測ったりすることができる。 According to such a configuration, for example, by attaching a ring at two locations such as the index finger and the thumb, it is possible to estimate the finger movement from the positional relationship of the ring. Specifically, by attaching rings at two positions of the index finger and the thumb, it is possible to pinch an object with the index finger and the thumb, or measure the length of the object between the index finger and the thumb.
ここで、上記Ｂ−４）のジェスチャ認識ステップにおいて、第１リングと第２リングの相対位置から、長さ、角度、回転角のいずれかを求める計測ステップが含まれることが好ましい態様である。
かかる態様によれば、ＯＮ／ＯＦＦ操作、選択する／しない、といった操作だけでなく、ボリューム調整などアナログ的な多様な機器操作を行うことができる。Here, in the gesture recognition step of B-4), it is preferable that a measurement step for obtaining any one of the length, the angle, and the rotation angle from the relative positions of the first ring and the second ring is included.
According to such an aspect, not only operations such as ON / OFF operation and selection / non-operation, but also various analog device operations such as volume adjustment can be performed.
また、本発明のインタフェースプログラムは、上記のインタフェース方法を、コンピュータに実行させるためのプログラムである。The interface program of the present invention is a program for causing a computer to execute the above interface method.
本発明によれば、カメラ，処理コンピュータ，ＨＭＤと、リングのみの比較的シンプルな構成での実現が可能であり、ウェアラブルコンピュータやユビキタスコンピューティングなどの携帯型・装着型の計算機環境においてユーザが手軽に利用できるといった効果がある。 According to the present invention, a camera, a processing computer, and an HMD can be realized with a relatively simple configuration including only a ring. There is an effect that can be used.
また、手袋などを装着したり、指示棒を把持したりといったインタフェースの場合、日常生活での使用においては、不自然であり煩わしさがあったが、本発明のリング型インタフェースの場合は、ユーザにとって自然な使用が可能であるといった効果がある。
また、医療現場において、医師や歯科医師等が透光性ある半透明の手袋を装着して診断や治療を行う場合に、本発明を用いることで、診断機器や治療用機器を操作するために手袋を外すという手間を不要とでき、診断作業行為や治療行為の効率化を図ることができるといった効果もある。In addition, in the case of an interface such as wearing gloves or gripping a pointing rod, it is unnatural and troublesome for daily use, but in the case of the ring type interface of the present invention, the user It has an effect that it can be used naturally.
Also, in the medical field, when a doctor or dentist wears translucent gloves to perform diagnosis or treatment, the present invention can be used to operate a diagnostic device or a treatment device. There is an effect that the labor of removing gloves can be eliminated, and the efficiency of diagnostic work and treatment can be improved.
さらに、リングのデザインにより、照明条件の変化に対して安定した検出と認識が可能となり、様々な手指の動作のジェスチャを用いた入力インタフェースが実現できる。 Furthermore, the ring design enables stable detection and recognition with respect to changes in illumination conditions, and an input interface using various gesture gestures can be realized.
以下、本発明の実施形態について、図面を参照しながら詳細に説明していく。なお、本発明の範囲は、以下の実施例や図示例に限定されるものではなく、幾多の変更及び変形が可能である。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. The scope of the present invention is not limited to the following examples and illustrated examples, and various changes and modifications can be made.
図１は実施例１のリング型インタフェースの外観図を示している。
実施例１のリング型インタフェースは、リングの外側が青、緑の２色の色に分けられている。インタフェースをリング型にする利点は、リング自体の色や形状などを工夫することで検出精度の向上が期待できるという点と、装着も手軽になる点である。また、インタフェース用のデバイスにおける従来研究では、あまり考慮されていないデザイン性やファッション性を付加できる点であり、かかるデザイン性を付加することにより、多くのユーザに受け入れやすくなる。FIG. 1 is an external view of a ring interface according to the first embodiment.
In the ring type interface of the first embodiment, the outer side of the ring is divided into two colors of blue and green. The advantage of making the interface a ring type is that improvement in detection accuracy can be expected by devising the color and shape of the ring itself, and the mounting is also easy. Further, in the conventional research on interface devices, it is possible to add design and fashion that are not considered much, and by adding such design, it becomes easy for many users to accept.
次に、このリング型インタフェースを人差し指と親指の２箇所に装着した様子を図２に示す。なお、本実施例では、２つのリング型インタフェースを２本の指に装着しているが、２つのリング型インタフェースを１本の指に装着してもよいし、１つのリング型インタフェースを任意の１本の指に装着してもかまわない。２つのリング型インタフェースを１本の指に装着する場合は、例えば、１つは指の付け根に装着し、他の１つは第１関節と第２関節の間に装着する。 Next, FIG. 2 shows a state in which this ring-type interface is mounted at two positions of the index finger and the thumb. In this embodiment, two ring-type interfaces are attached to two fingers, but two ring-type interfaces may be attached to one finger, and one ring-type interface is arbitrarily connected. You can wear it on one finger. When two ring interfaces are attached to one finger, for example, one is attached to the base of the finger, and the other is attached between the first joint and the second joint.
次に、人差し指と親指の２箇所に装着したリング型インタフェースを用いたジェスチャ例を３つ説明する。図３は、人差し指と親指の２箇所に装着したリング型インタフェースを用いたジェスチャ例を３つ示している。
日常生活の延長でのウェアラブルコンピュータの利用を考え、ジェスチャは図３（１）〜（３）に示すような、普段行っている動作あるいは簡単に行えるものとしている。図３（１）のジェスチャは、指差すというジェスチャで、ウェアラブルコンピュータのインタフェースでは、仮想空間の操作対象を指し示したり、操作の中で指示する方向を指し示したりといった意味となる。図３（１）のジェスチャを行った場合、それをリング型インタフェースのみで検知することができる。これについては、後述する。
また、図３（２）のジェスチャは、つまむというジェスチャで、ウェアラブルコンピュータのインタフェースでは、仮想空間の操作対象をつかんだりするといった意味となる。
また、図３（３）のジェスチャは、測るというジェスチャで、ウェアラブルコンピュータのインタフェースでは、仮想空間の対象物の長さを計ったり、実空間の対象物の長さを計ったりといった意味となる。Next, three examples of gestures using a ring-type interface attached to the index finger and the thumb are described. FIG. 3 shows three examples of gestures using ring-type interfaces attached to the index finger and the thumb.
Considering the use of a wearable computer for the extension of daily life, gestures are assumed to be performed normally or simply as shown in FIGS. 3 (1) to (3). The gesture shown in FIG. 3A is a gesture of pointing, which means that the wearable computer interface indicates the operation target in the virtual space or the direction indicated in the operation. When the gesture shown in FIG. 3A is performed, it can be detected only by the ring interface. This will be described later.
Also, the gesture in FIG. 3B is a gesture of pinching, which means that the wearable computer interface grabs the operation target in the virtual space.
The gesture of FIG. 3 (3) is a gesture of measuring, and means the length of the object in the virtual space or the length of the object in the real space at the wearable computer interface.
次に、インタフェース装置のハードウェア構成について、図４を参照しながら説明する。インタフェース装置は、具体的には、ディジタルカメラがユーザ視点のカメラ視野となる位置に配置され、カメラの画像からジェスチャを認識して、ジェスチェアに対応するコマンドを出力するプロセッサと、コマンドに対応した情報を出力する情報用表示器のヘッドマウントディスプレイから成る。 Next, the hardware configuration of the interface device will be described with reference to FIG. Specifically, the interface device is disposed at a position where the digital camera is a camera field of view of the user, recognizes a gesture from the camera image, and outputs a command corresponding to the gesture chair, and corresponds to the command It consists of an information display head-mounted display that outputs information.
また、図５はインタフェース装置の機能ブロック図を示している。図５に示すように、インタフェース装置の機能ブロックは、カメラ手段５１と、カメラ手段５１を用いて少なくとも１本の指にリングを装着した手指の画像を撮影する画像入力手段５２と、入力された画像からリングの形状を抽出するリング抽出手段５３と、リングの形状に基づきリングの位置姿勢を推定する位置姿勢推定手段５４と、リングの位置姿勢に基づきハンドジェスチャを認識するジェスチャ認識手段５５とから成る。 FIG. 5 is a functional block diagram of the interface device. As shown in FIG. 5, the functional blocks of the interface device are input to the camera unit 51, the image input unit 52 that takes an image of a finger with a ring attached to at least one finger using the camera unit 51, From ring extracting means 53 for extracting the shape of the ring from the image, position and orientation estimating means 54 for estimating the position and orientation of the ring based on the shape of the ring, and gesture recognition means 55 for recognizing a hand gesture based on the position and orientation of the ring Become.
次に、インタフェース方法の処理フローについて、図６を参照しながら説明する。図６に示すように、先ず、２本の指に第１リングと第２リングをそれぞれ装着した手指の画像を撮影して画像入力する（Ｓ６０１）。次に、入力された画像から第１リングと第２リングの形状を抽出する（Ｓ６０３）。そして、第１リングと第２リングの形状に基づきリングの位置姿勢を推定する（Ｓ６０５）。最後に、第１リングと第２リングの位置姿勢に基づきハンドジェスチャを認識する（Ｓ６０７）。
図７は、ノート型コンピュータの操作を片手や両手のジャスチャを用いて、操作を行う様子を、ユーザ視点のカメラから撮影した画像の一例を示している。Next, the processing flow of the interface method will be described with reference to FIG. As shown in FIG. 6, first, images of fingers with the first ring and the second ring mounted on two fingers are photographed and input (S601). Next, the shapes of the first ring and the second ring are extracted from the input image (S603). Then, the position and orientation of the ring are estimated based on the shapes of the first ring and the second ring (S605). Finally, a hand gesture is recognized based on the position and orientation of the first ring and the second ring (S607).
FIG. 7 shows an example of an image taken from a camera from the viewpoint of the user, in which a notebook computer is operated using a gesture of one hand or both hands.
また、図８はリングを手指の位置姿勢推定マーカーとして用いる際の位置姿勢推定の処理フローを示している。リングを手指の位置姿勢推定マーカーとして用いる場合は、図７に示すように、カメラ画像からＲＧＢ入力された画像をＨＳＶ表色系に変換し（Ｓ７０１）、色情報をもとにリングの各色の領域を抽出（Ｓ７０３）した後に、膨張収縮による欠損補間およびラベリング処理を施し(Ｓ７０５)、得られた閉領域より各色の重心座標を計算する（Ｓ７０７）。
そして、各重心座標の平均からリングの画像中の座標位置を算出（Ｓ７０９）し、各重心座標を結ぶ直線から画像平面内での推定角度を算出する（Ｓ７１１）。得られたリングの座標位置および推定角度から、リングの位置姿勢を推定する（Ｓ７１３）。
図９は、親指に装着したリング型インタフェースの色毎のリングの各重心座標を結ぶ直線から画像平面内での推定角度を算出する様子を示したものである。
また、図１０は、親指、人差し指、中指の３つの指に装着したリング型インタフェースの位置姿勢を推定する様子を示したものである。
このように、本リング型インタフェースの利用により、多種のジェスチャを認識することが可能であり、ウェアラブルコンピュータに用いるハンドジェスチャの入力インタフェースとして有用に機能できることがわかる。FIG. 8 shows a processing flow of position and orientation estimation when the ring is used as a finger position and orientation estimation marker. When the ring is used as a finger position and orientation estimation marker, as shown in FIG. 7, an RGB input image from the camera image is converted into the HSV color system (S701), and each color of the ring is based on the color information. After extracting the region (S703), defect interpolation and labeling are performed by expansion and contraction (S705), and the barycentric coordinates of each color are calculated from the obtained closed region (S707).
Then, the coordinate position in the ring image is calculated from the average of the barycentric coordinates (S709), and the estimated angle in the image plane is calculated from the straight line connecting the barycentric coordinates (S711). The position and orientation of the ring are estimated from the obtained coordinate position and estimated angle of the ring (S713).
FIG. 9 shows a state in which the estimated angle in the image plane is calculated from a straight line connecting the barycentric coordinates of the rings for each color of the ring interface worn on the thumb.
FIG. 10 shows a state in which the position and orientation of the ring interface attached to the three fingers, the thumb, the index finger, and the middle finger, are estimated.
Thus, it can be seen that by using this ring type interface, various gestures can be recognized, and it can function usefully as an input interface for hand gestures used in wearable computers.
また、リングの位置姿勢を推定する他の方法例としては、色情報をもとに抽出したリング領域に楕円を当てはめ、その楕円の中心をリングの位置，推定した楕円の長軸短軸の長さ及び傾きより姿勢を推定する方法でもかまわない。 As another example of estimating the position and orientation of the ring, an ellipse is applied to the ring area extracted based on the color information, the center of the ellipse is set to the position of the ring, and the long axis and the long axis of the estimated ellipse are plotted. A method of estimating the posture from the height and the inclination may be used.
図１１は、本インタフェース装置の実験結果を示す表示画面である。
実験は、画像認識でカメラ座標におけるリング型インタフェースの位置姿勢の推定を行った。リング型インタフェースは、図１のような青，緑の色を持つリングを用いた。実験では、Ｗｅｂカメラを使用し、右手人差し指に付けたリング型インタフェースを左方向(＝１８０度)に向け、位置姿勢の推定を行った。
図１１(ａ)は入力画像であり、図１１(ｂ)はリング型インタフェースの位置姿勢推定結果（座標値，角度）である。また、図１１(ｃ)(ｄ)は、それぞれ、リング型インタフェースの青色および緑色の抽出結果である。図１１(ｂ)における十字線の交点は、リング型インタフェースの緑色抽出領域の重心である。このように、２色のそれぞれの重心（すなわち、青色および緑色の抽出領域の重心）を求め、その２つの重心を通る直線を求めることで、リング型インタフェースの推定角度を求めることができる。FIG. 11 is a display screen showing an experimental result of the interface apparatus.
In the experiment, we estimated the position and orientation of the ring interface in camera coordinates by image recognition. As the ring type interface, a ring having blue and green colors as shown in FIG. 1 was used. In the experiment, a web camera was used to estimate the position and orientation with the ring interface attached to the right index finger pointing in the left direction (= 180 degrees).
FIG. 11A shows an input image, and FIG. 11B shows a position / orientation estimation result (coordinate value, angle) of the ring interface. FIGS. 11C and 11D show the blue and green extraction results of the ring interface, respectively. The intersection of the cross lines in FIG. 11B is the center of gravity of the green extraction region of the ring interface. Thus, the estimated angle of the ring interface can be obtained by obtaining the centroids of the two colors (that is, the centroids of the blue and green extraction regions) and obtaining a straight line passing through the two centroids.
リング型インタフェースの緑色部分が、手首に近い方とすれば（そのようなルールでリング型インタフェースを使用すれば）、指差す方向をリング型インタフェースのみで認識できることになる。
図１１ (ｃ)(ｄ)の画像抽出結果から、各色の領域が正しく抽出できていることがわかる。その結果、出力結果の図１１(ｄ)として、リング型インタフェースの座標値と推定角度(＝１７８度)が求められ、位置姿勢が推定できることが示された。If the green part of the ring interface is closer to the wrist (if the ring interface is used in such a rule), the pointing direction can be recognized only by the ring interface.
From the image extraction results of FIGS. 11 (c) and 11 (d), it can be seen that the regions of each color have been correctly extracted. As a result, the coordinate value and the estimated angle (= 178 degrees) of the ring type interface were obtained as FIG. 11D of the output result, and it was shown that the position and orientation can be estimated.
なお、位置姿勢推定を各色の重心座標より行っているため、画像のフレームサイズに対してリング型インタフェースの領域が小さい場合には、各色の重心座標の間隔が狭くなり推定が困難となる。従って、安定した推定を行うためには、解像度や画角などの入力画像の考慮や、リング型インタフェースの色の配置や形状を変えるなどの工夫を行っていく。 Since the position and orientation are estimated from the barycentric coordinates of each color, if the area of the ring interface is small with respect to the frame size of the image, the interval between the barycentric coordinates of each color becomes narrow and estimation becomes difficult. Therefore, in order to perform stable estimation, contrivances such as consideration of input images such as resolution and angle of view, and changing the color arrangement and shape of the ring-type interface are performed.
リング型インタフェースのデザイン例を図１２に示す。図１２に示されるリング型インタフェースは、その外側表面に、柄または色が異なる２種類のデザインを格子状に配置したものである。リング型インタフェースのデザインは、様々なものが考えられる。リングエッジの抽出が安定的に行え、楕円推定の精度が高いデザインが要求される。 A design example of the ring interface is shown in FIG. The ring type interface shown in FIG. 12 has two types of designs with different patterns or colors arranged in a lattice pattern on the outer surface thereof. There are various ring interface designs. A design that can stably extract ring edges and has high accuracy of ellipse estimation is required.
本発明は、ウェアラブルコンピュータにおける手指のジェスチャ入力インタフェースとして有用である。 The present invention is useful as a hand gesture input interface in a wearable computer.
１ リング型インタフェース
２ ディジタルカメラ
３ ＨＭＤ
1 Ring interface 2 Digital camera 3 HMD
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009120152AJP5263833B2 (en) | 2009-05-18 | 2009-05-18 | Ring-type interface, interface device, and interface method used for wearable computer |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009120152AJP5263833B2 (en) | 2009-05-18 | 2009-05-18 | Ring-type interface, interface device, and interface method used for wearable computer |
| Publication Number | Publication Date |
|---|---|
| JP2010267220Atrue JP2010267220A (en) | 2010-11-25 |
| JP5263833B2 JP5263833B2 (en) | 2013-08-14 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009120152AExpired - Fee RelatedJP5263833B2 (en) | 2009-05-18 | 2009-05-18 | Ring-type interface, interface device, and interface method used for wearable computer |
| Country | Link |
|---|---|
| JP (1) | JP5263833B2 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012221370A (en)* | 2011-04-12 | 2012-11-12 | Sharp Corp | Display device, operation input method, operation input program and recording medium |
| JP2013020311A (en)* | 2011-07-07 | 2013-01-31 | Fujitsu Ltd | Image processing system, image processing method and image processing program |
| JP5174978B1 (en)* | 2012-04-26 | 2013-04-03 | 株式会社三菱東京Ｕｆｊ銀行 | Information processing apparatus, electronic device, and program |
| KR101386100B1 (en) | 2011-12-27 | 2014-04-17 | 삼성메디슨 주식회사 | Input apparatus and user apparatus including input apparatus |
| JP2014102840A (en)* | 2012-11-20 | 2014-06-05 | Samsung Electronics Co Ltd | User gesture input to wearable electronic device involving movement of device |
| KR101502085B1 (en)* | 2013-10-04 | 2015-03-12 | 주식회사 매크론 | A gesture recognition input method for glass type display device |
| JP2015507803A (en)* | 2012-01-09 | 2015-03-12 | ソフトキネティック ソフトウェア | System and method for enhanced gesture-based dialogue |
| KR101524162B1 (en)* | 2014-07-21 | 2015-05-29 | 주동균 | Apparatus for inputting data using finger movement, system applying the same and method thereof |
| WO2015113503A1 (en)* | 2014-01-29 | 2015-08-06 | 白桂雨 | Ring-type wireless finger controller, control method and control system |
| JP2016033777A (en)* | 2014-07-31 | 2016-03-10 | 富士通株式会社 | Medical record input support program, medical record input support method, and medical record input support device |
| CN105700673A (en)* | 2014-12-15 | 2016-06-22 | 现代自动车株式会社 | Gesture recognition method in vehicle using wearable device and vehicle for carrying out the same |
| JP2016533577A (en)* | 2013-08-23 | 2016-10-27 | 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． | Remote control device, information processing method and system |
| CN106991398A (en)* | 2017-04-01 | 2017-07-28 | 北京工业大学 | A kind of gesture identification method based on image recognition cooperation figure gloves |
| WO2018011892A1 (en)* | 2016-07-12 | 2018-01-18 | 三菱電機株式会社 | Apparatus control system |
| JP2018136950A (en)* | 2014-03-14 | 2018-08-30 | 株式会社ソニー・インタラクティブエンタテインメント | Gaming device with freely rotatable camera |
| US10185416B2 (en) | 2012-11-20 | 2019-01-22 | Samsung Electronics Co., Ltd. | User gesture input to wearable electronic device involving movement of device |
| US10194060B2 (en) | 2012-11-20 | 2019-01-29 | Samsung Electronics Company, Ltd. | Wearable electronic device |
| CN109499018A (en)* | 2019-01-10 | 2019-03-22 | 陈名虹 | A kind of radiotherapy safety guard based on gesture identification |
| US10423214B2 (en) | 2012-11-20 | 2019-09-24 | Samsung Electronics Company, Ltd | Delegating processing from wearable electronic device |
| US10551928B2 (en) | 2012-11-20 | 2020-02-04 | Samsung Electronics Company, Ltd. | GUI transitions on wearable electronic device |
| US10691332B2 (en) | 2014-02-28 | 2020-06-23 | Samsung Electronics Company, Ltd. | Text input on an interactive display |
| JPWO2019093105A1 (en)* | 2017-11-07 | 2020-12-17 | 株式会社 資生堂 | Client devices, servers, programs |
| CN112214100A (en)* | 2019-07-12 | 2021-01-12 | 广东虚拟现实科技有限公司 | Marker, interaction device and identification tracking method |
| US11157436B2 (en) | 2012-11-20 | 2021-10-26 | Samsung Electronics Company, Ltd. | Services associated with wearable electronic device |
| CN113741699A (en)* | 2021-09-15 | 2021-12-03 | 刘志超 | Gesture input device based on intelligent ring and system and method thereof |
| US11237719B2 (en) | 2012-11-20 | 2022-02-01 | Samsung Electronics Company, Ltd. | Controlling remote electronic device with wearable electronic device |
| US11372536B2 (en) | 2012-11-20 | 2022-06-28 | Samsung Electronics Company, Ltd. | Transition and interaction model for wearable electronic device |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH098878A (en)* | 1995-06-21 | 1997-01-10 | Takeshi Inoue | Portable telephone set where reception reporting function is separated from mainbody |
| JP2000112651A (en)* | 1998-10-06 | 2000-04-21 | Olympus Optical Co Ltd | Pointing mechanism |
| JP2007286696A (en)* | 2006-04-12 | 2007-11-01 | Toyota Motor Corp | Input device |
| US20080231926A1 (en)* | 2007-03-19 | 2008-09-25 | Klug Michael A | Systems and Methods for Updating Dynamic Three-Dimensional Displays with User Input |
| JP2012507101A (en)* | 2008-10-27 | 2012-03-22 | 株式会社ソニー・コンピュータエンタテインメント | Determining the position and movement of the controller attached to the ball |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH098878A (en)* | 1995-06-21 | 1997-01-10 | Takeshi Inoue | Portable telephone set where reception reporting function is separated from mainbody |
| JP2000112651A (en)* | 1998-10-06 | 2000-04-21 | Olympus Optical Co Ltd | Pointing mechanism |
| JP2007286696A (en)* | 2006-04-12 | 2007-11-01 | Toyota Motor Corp | Input device |
| US20080231926A1 (en)* | 2007-03-19 | 2008-09-25 | Klug Michael A | Systems and Methods for Updating Dynamic Three-Dimensional Displays with User Input |
| JP2012507101A (en)* | 2008-10-27 | 2012-03-22 | 株式会社ソニー・コンピュータエンタテインメント | Determining the position and movement of the controller attached to the ball |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012221370A (en)* | 2011-04-12 | 2012-11-12 | Sharp Corp | Display device, operation input method, operation input program and recording medium |
| JP2013020311A (en)* | 2011-07-07 | 2013-01-31 | Fujitsu Ltd | Image processing system, image processing method and image processing program |
| KR101386100B1 (en) | 2011-12-27 | 2014-04-17 | 삼성메디슨 주식회사 | Input apparatus and user apparatus including input apparatus |
| JP2015507803A (en)* | 2012-01-09 | 2015-03-12 | ソフトキネティック ソフトウェア | System and method for enhanced gesture-based dialogue |
| JP5174978B1 (en)* | 2012-04-26 | 2013-04-03 | 株式会社三菱東京Ｕｆｊ銀行 | Information processing apparatus, electronic device, and program |
| JP2014102840A (en)* | 2012-11-20 | 2014-06-05 | Samsung Electronics Co Ltd | User gesture input to wearable electronic device involving movement of device |
| US10423214B2 (en) | 2012-11-20 | 2019-09-24 | Samsung Electronics Company, Ltd | Delegating processing from wearable electronic device |
| US10551928B2 (en) | 2012-11-20 | 2020-02-04 | Samsung Electronics Company, Ltd. | GUI transitions on wearable electronic device |
| US10194060B2 (en) | 2012-11-20 | 2019-01-29 | Samsung Electronics Company, Ltd. | Wearable electronic device |
| US11372536B2 (en) | 2012-11-20 | 2022-06-28 | Samsung Electronics Company, Ltd. | Transition and interaction model for wearable electronic device |
| US11237719B2 (en) | 2012-11-20 | 2022-02-01 | Samsung Electronics Company, Ltd. | Controlling remote electronic device with wearable electronic device |
| US9477313B2 (en) | 2012-11-20 | 2016-10-25 | Samsung Electronics Co., Ltd. | User gesture input to wearable electronic device involving outward-facing sensor of device |
| US11157436B2 (en) | 2012-11-20 | 2021-10-26 | Samsung Electronics Company, Ltd. | Services associated with wearable electronic device |
| US10185416B2 (en) | 2012-11-20 | 2019-01-22 | Samsung Electronics Co., Ltd. | User gesture input to wearable electronic device involving movement of device |
| US9978261B2 (en) | 2013-08-23 | 2018-05-22 | Huawei Technologies Co., Ltd. | Remote controller and information processing method and system |
| JP2016533577A (en)* | 2013-08-23 | 2016-10-27 | 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． | Remote control device, information processing method and system |
| KR101502085B1 (en)* | 2013-10-04 | 2015-03-12 | 주식회사 매크론 | A gesture recognition input method for glass type display device |
| WO2015050322A1 (en)* | 2013-10-04 | 2015-04-09 | 주식회사 매크론 | Method by which eyeglass-type display device recognizes and inputs movement |
| WO2015113503A1 (en)* | 2014-01-29 | 2015-08-06 | 白桂雨 | Ring-type wireless finger controller, control method and control system |
| US10691332B2 (en) | 2014-02-28 | 2020-06-23 | Samsung Electronics Company, Ltd. | Text input on an interactive display |
| JP2018136950A (en)* | 2014-03-14 | 2018-08-30 | 株式会社ソニー・インタラクティブエンタテインメント | Gaming device with freely rotatable camera |
| US10620711B2 (en) | 2014-03-14 | 2020-04-14 | Sony Interactive Entertainment Inc. | Gaming device with rotatably placed cameras |
| KR101524162B1 (en)* | 2014-07-21 | 2015-05-29 | 주동균 | Apparatus for inputting data using finger movement, system applying the same and method thereof |
| JP2016033777A (en)* | 2014-07-31 | 2016-03-10 | 富士通株式会社 | Medical record input support program, medical record input support method, and medical record input support device |
| CN105700673A (en)* | 2014-12-15 | 2016-06-22 | 现代自动车株式会社 | Gesture recognition method in vehicle using wearable device and vehicle for carrying out the same |
| JPWO2018011892A1 (en)* | 2016-07-12 | 2018-09-06 | 三菱電機株式会社 | Equipment control system |
| WO2018011892A1 (en)* | 2016-07-12 | 2018-01-18 | 三菱電機株式会社 | Apparatus control system |
| CN106991398B (en)* | 2017-04-01 | 2020-03-27 | 北京工业大学 | Gesture recognition method based on image recognition and matched with graphical gloves |
| CN106991398A (en)* | 2017-04-01 | 2017-07-28 | 北京工业大学 | A kind of gesture identification method based on image recognition cooperation figure gloves |
| JPWO2019093105A1 (en)* | 2017-11-07 | 2020-12-17 | 株式会社 資生堂 | Client devices, servers, programs |
| JP7390891B2 (en) | 2017-11-07 | 2023-12-04 | 株式会社 資生堂 | Client device, server, program, and information processing method |
| CN109499018A (en)* | 2019-01-10 | 2019-03-22 | 陈名虹 | A kind of radiotherapy safety guard based on gesture identification |
| CN112214100A (en)* | 2019-07-12 | 2021-01-12 | 广东虚拟现实科技有限公司 | Marker, interaction device and identification tracking method |
| CN113741699A (en)* | 2021-09-15 | 2021-12-03 | 刘志超 | Gesture input device based on intelligent ring and system and method thereof |
| CN113741699B (en)* | 2021-09-15 | 2024-11-05 | 刘志超 | A gesture input device based on a smart ring and its system and method |
| Publication number | Publication date |
|---|---|
| JP5263833B2 (en) | 2013-08-14 |
| Publication | Publication Date | Title |
|---|---|---|
| JP5263833B2 (en) | Ring-type interface, interface device, and interface method used for wearable computer | |
| US12175053B2 (en) | Method and apparatus for ego-centric 3D human computer interface | |
| JP6545258B2 (en) | Smart ring | |
| CN105159539B (en) | Touch-control response method, device and the wearable device of wearable device | |
| JP5782431B2 (en) | Spatial multi-mode control device for use with spatial motion systems | |
| JP2012515966A (en) | Device and method for monitoring the behavior of an object | |
| US11237632B2 (en) | Ring device having an antenna, a touch pad, and/or a charging pad to control a computing device based on user motions | |
| JP2010108500A (en) | User interface device for wearable computing environmental base, and method therefor | |
| KR20140068855A (en) | Adaptive tracking system for spatial input devices | |
| NO339941B1 (en) | System and method for a gesture-based management system | |
| JP2010033158A (en) | Information processing apparatus and information processing method | |
| CN104254816A (en) | data entry device | |
| KR20110040165A (en) | Contactless input interfacing device and contactless input interfacing method using same | |
| WO2016026365A1 (en) | Man-machine interaction method and system for achieving contactless mouse control | |
| JP7213396B1 (en) | Electronics and programs | |
| Nguyen et al. | 3DTouch: A wearable 3D input device for 3D applications | |
| KR20050047329A (en) | Input information device and method using finger motion | |
| Yamagishi et al. | A system for controlling personal computers by hand gestures using a wireless sensor device | |
| JP5776919B1 (en) | Finger-controlled pointing device | |
| KR20170091959A (en) | Smart glove which is connected with smart device by bluetooth wireless communication | |
| JP2010086367A (en) | Positional information inputting device, positional information inputting method, program, information processing system, and electronic equipment | |
| KR101588021B1 (en) | An input device using head movement | |
| WO2009093027A1 (en) | Wrist-mounted computer periferal | |
| JP5196427B2 (en) | Operation input device and operation input method | |
| JP5733056B2 (en) | Data input method with virtual mouse |
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20120508 | |
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20121211 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20121213 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20130212 | |
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20130419 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20130424 | |
| R150 | Certificate of patent or registration of utility model | Free format text:JAPANESE INTERMEDIATE CODE: R150 Ref document number:5263833 Country of ref document:JP Free format text:JAPANESE INTERMEDIATE CODE: R150 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| LAPS | Cancellation because of no payment of annual fees |