JP2012073830A - Interface device - Google Patents

Abstract

PROBLEM TO BE SOLVED: To provide an interface device by which the motion of operator's fingers can be detected excellently.SOLUTION: An interface device (1) is fitted to the hand of an operator. The interface device comprises: a member (10) which is in contact with at least a part of one palm of the operator; a camera (20) which is disposed on a surface of opposite side to the surface, facing one palm, of the member; and detection means (11) which detects the motion of one hand based on an image captured by the camera.

Description

Translated fromJapanese

本発明は、例えば電子機器等に対して、操作者の指示を入力するためのインターフェース装置に関し、特に、カメラにより操作者の指の動き等を検出するインターフェース装置の技術分野に関する。  The present invention relates to an interface device for inputting an operator's instruction to, for example, an electronic device, and more particularly to a technical field of an interface device that detects a movement of an operator's finger by a camera.

この種の装置として、例えば、操作者の手指を撮像して、撮像された画像データから操作者の手指の動きを検出し、その軌跡を抽出する装置が提案されている（特許文献１参照）。或いは、測定対象物の周囲の画像を魚眼レンズにより撮像し、第１のタイミングで撮像された画像と第２のタイミングで撮像された画像とを比較することによって、測定対象物の位置及び姿勢を検出する装置が提案されている（特許文献２参照）。  As this type of device, for example, a device that images an operator's finger, detects the movement of the operator's finger from the captured image data, and extracts the trajectory has been proposed (see Patent Document 1). . Alternatively, the position and orientation of the measurement object are detected by capturing an image around the measurement object with a fish-eye lens and comparing the image captured at the first timing with the image captured at the second timing. An apparatus has been proposed (see Patent Document 2).

或いは、ユーザの手首に取り付けられた傾斜センサによってユーザの手の位置を検出すると共に、ユーザの手首に取り付けられたカメラによって撮像された画像からユーザの指先の位置をフレーム毎に検出して、打鍵動作を検知する装置が提案されている（特許文献３参照）。  Alternatively, the position of the user's hand is detected by an inclination sensor attached to the user's wrist, and the position of the user's fingertip is detected for each frame from the image captured by the camera attached to the user's wrist, and the key is pressed. An apparatus for detecting an operation has been proposed (see Patent Document 3).

尚、カメラを備えていない装置として、例えば、操作者の指を伝播してきた衝撃或いは加速度を検出した検出信号に含まれる特定の周波数成分を検出して、操作者の指の打鍵動作の有無を判定してトリガ信号を出力し、該出力されたトリガ信号に対応するコマンド群を出力する装置が提案されている（特許文献４及び５参照）。  As an apparatus that does not include a camera, for example, a specific frequency component included in a detection signal that detects an impact or acceleration that has propagated through the operator's finger is detected to determine whether or not the operator's finger has been pressed. There has been proposed an apparatus for determining and outputting a trigger signal and outputting a command group corresponding to the output trigger signal (see Patent Documents 4 and 5).

特開２００２−４９４５５号公報JP 2002-49455 A特許第４００７８９９号公報Japanese Patent No. 4007899特開２００５−３０１５８３号公報JP-A-2005-301583特開２０００−３２２１８６号公報JP 2000-322186 A特許第３２９８５７８号公報Japanese Patent No. 3298578

特許文献１に記載の技術では、操作者から離れた（即ち、操作者に装着されていない）カメラにより操作者の手指を撮像している。このため、特許文献１に記載の技術を、操作者に装着して用いる装置に適用することは極めて困難であるという技術的問題点がある。  In the technique described inPatent Literature 1, an operator's fingers are imaged by a camera that is distant from the operator (that is, not attached to the operator). For this reason, there is a technical problem that it is extremely difficult to apply the technique described inPatent Document 1 to a device that is used while being worn by an operator.

特許文献２に記載の技術では、測定対象物の周囲の画像を撮像しなければならない。このため、例えば指を測定対象物とする場合は、各指に魚眼レンズを装着しなければならない。すると、例えば装置の着脱に比較的時間がかかるという技術的問題点がある。  In the technique described inPatent Document 2, an image around the measurement object must be taken. For this reason, when using a finger as a measurement object, for example, a fisheye lens must be attached to each finger. Then, for example, there is a technical problem that it takes a relatively long time to attach and detach the device.

特許文献３に記載の技術では、カメラ等を操作者の手首に取り付けるためのリング状の部材に手首を通す必要があり、着脱に比較的時間がかかるという技術的問題点がある。加えて、操作者の手の傾きによっては、カメラの視野から手が外れてしまう可能性があるという技術的問題点がある。  In the technique described in Patent Document 3, it is necessary to pass the wrist through a ring-shaped member for attaching a camera or the like to the operator's wrist, and there is a technical problem that it takes a relatively long time to attach and detach. In addition, there is a technical problem that the hand may be out of the field of view of the camera depending on the tilt of the operator's hand.

特許文献４及び５に記載の技術では、例えば指の形状に対してコマンドを割り当てることが困難になるという技術的問題点に加え、各指にセンサを装着しなければどの指が打鍵動作を行ったか判別できないという技術的問題点がある。  In the techniques described in Patent Documents 4 and 5, for example, in addition to the technical problem that it becomes difficult to assign a command to a finger shape, which finger performs a keystroke operation unless a sensor is attached to each finger. There is a technical problem that it cannot be determined.

本発明は、例えば上記問題点に鑑みてなされたものであり、比較的容易に着脱でき、且つ操作者の指の動作を良好に検出することができるインターフェース装置を提案することを課題とする。  The present invention has been made in view of the above problems, for example, and an object of the present invention is to propose an interface device that can be attached and detached relatively easily and can detect the operation of an operator's finger well.

本発明のインターフェース装置は、上記課題を解決するために、操作者の手に装着されるインターフェース装置であって、当該インターフェース装置の装着時に、前記操作者の一方の手の平の少なくとも一部に接触する部材と、前記部材の前記一方の手の平に対向する面とは反対側の面上に配置されたカメラと、前記カメラにより撮像された画像に基づいて、前記一方の手の動作を検出する検出手段とを備える。  In order to solve the above problems, an interface device according to the present invention is an interface device that is worn on an operator's hand, and contacts at least a part of the palm of one hand of the operator when the interface device is worn. A member, a camera disposed on a surface of the member opposite to the surface facing the palm of the one hand, and detection means for detecting an operation of the one hand based on an image captured by the camera With.

本発明のインターフェース装置によれば、当該インターフェース装置は、操作者の手に装着される。つまり、操作者は、当該インターフェース装置を使用する際に、該操作者の一方の手に当該インターフェース装置を装着する。  According to the interface apparatus of the present invention, the interface apparatus is worn on the operator's hand. That is, the operator wears the interface device in one hand of the operator when using the interface device.

尚、当該インターフェース装置の形状を、操作者の指先側から見て、例えば「逆Ｕ字型」とすれば、操作者が比較的容易にして当該インターフェース装置の着脱を行うことができ、実用上非常に有利である。  If the shape of the interface device is viewed from the fingertip side of the operator, for example, “inverted U-shaped”, the interface device can be attached and detached relatively easily by the operator. Very advantageous.

当該インターフェース装置は、装着された際に、操作者の一方の手の平の少なくとも一部に接触する部材を備えており、該部材の操作者の一方の手の平に対向する面とは反対側の面上には、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラ等のカメラが配置されている。  The interface device includes a member that comes into contact with at least a part of one palm of the operator when the interface device is mounted, and is on a surface opposite to the surface of the member facing the palm of the operator. For example, a camera such as a CCD (Charge Coupled Device) camera is disposed.

例えばメモリ、プロセッサ等を備えてなる検出手段は、カメラにより撮像された画像に基づいて、操作者の一方の手の動作を検出する。具体的には例えば、検出手段は、撮像された画像に対して画像解析処理を施すことによって、操作者の一方の手の動作を検出する。尚、画像解析処理には、公知の各種画像解析処理を適用可能である。  For example, a detection unit including a memory, a processor, and the like detects an operation of one hand of the operator based on an image captured by the camera. Specifically, for example, the detection unit detects an operation of one hand of the operator by performing an image analysis process on the captured image. Various known image analysis processes can be applied to the image analysis process.

本発明では特に、当該インターフェース装置を操作者が装着した際に、カメラが操作者の手の平上に配置される。すると、カメラにより撮像された画像における操作者の指等が占める面積が比較的大きくなる。このため、比較的低解像度のカメラであっても、撮像された画像から操作者の指等を特定（又は抽出）することができ、例えば製造コストを抑制することができる。  Particularly in the present invention, when the operator wears the interface device, the camera is arranged on the palm of the operator's hand. Then, the area occupied by the operator's finger or the like in the image captured by the camera becomes relatively large. For this reason, even with a relatively low-resolution camera, the operator's finger or the like can be specified (or extracted) from the captured image, and the manufacturing cost can be suppressed, for example.

加えて、カメラにより撮像される操作者の指等の形状は、主に、各指の関節の角度により決定される。このため、例えばテンプレートマッチング等により、比較的容易にして、撮像された画像から操作者の指等の形状を特定することができる。また、撮像される操作者の指等の形状が、各指の関節の角度以外に起因して大きく変化することがないので、操作者の指等の形状が誤認識される可能性を低減することができる。  In addition, the shape of the operator's finger or the like imaged by the camera is mainly determined by the angle of the joint of each finger. For this reason, the shape of the operator's finger or the like can be specified from the captured image relatively easily by, for example, template matching. In addition, since the shape of the operator's finger or the like to be imaged does not change greatly due to other than the joint angle of each finger, the possibility that the shape of the operator's finger or the like is erroneously recognized is reduced. be able to.

仮に、例えば操作者の手首にカメラが取り付けられると、該カメラにより撮像される指等の形状は、各指の関節の角度に加えて、手首の角度によっても大きく変化する。このため、例えば撮像された画像から操作者の指等を特定するための画像解析処理が比較的複雑になる可能性がある。そして、該画像解析処理の処理時間を実用可能な範囲内にするためには、比較的高性能のプロセッサ等が必要となり、例えば製造コストが増加する可能性がある。  For example, when a camera is attached to the wrist of an operator, for example, the shape of a finger or the like imaged by the camera varies greatly depending on the angle of the wrist in addition to the angle of the joint of each finger. For this reason, for example, the image analysis processing for specifying the operator's finger or the like from the captured image may be relatively complicated. In order to keep the processing time of the image analysis processing within a practical range, a relatively high-performance processor or the like is required, and for example, the manufacturing cost may increase.

しかるに本発明では、上述の如く、当該インターフェース装置を操作者が装着した際に、カメラが操作者の手の平上に配置されるので、操作者の指等の形状を、比較的容易に且つ精度良く、特定することができる。また、当該インターフェース装置は、例えば操作者の手首に装着する装置に比べて、容易に着脱することができる。更に、当該インターフェース装置は、例えば各指に装着する装置比べて、快適な装着感を操作者に与えることができる。  However, in the present invention, as described above, when the operator wears the interface device, the camera is arranged on the palm of the operator's hand, so that the shape of the operator's finger or the like can be made relatively easily and accurately. Can be identified. Further, the interface device can be easily attached and detached as compared with a device that is worn on the wrist of an operator, for example. Furthermore, the interface device can give the operator a comfortable wearing feeling compared to a device worn on each finger, for example.

本発明のインターフェース装置の一態様では、前記一方の手に生じる慣性を検出する慣性センサを更に備え、前記検出手段は、前記撮像された画像及び前記検出された慣性に基づいて、前記一方の手の動作を検出する。  In one aspect of the interface device of the present invention, the interface device further includes an inertial sensor that detects inertia generated in the one hand, and the detection unit is configured to detect the one hand based on the captured image and the detected inertia. Detecting the movement of

この態様によれば、当該インターフェース装置は、更に、操作者の一方の手に生じる慣性を検出する慣性センサを備えて構成されている。そして、検出手段は、カメラにより撮像された画像、及び慣性センサにより検出された慣性に基づいて、操作者の一方の手の動作を検出する。  According to this aspect, the interface device further includes an inertial sensor that detects inertia generated in one hand of the operator. The detecting means detects the operation of one hand of the operator based on the image captured by the camera and the inertia detected by the inertia sensor.

このため、当該インターフェース装置を介して実行可能なコマンドの数を増加させることができる。加えて、例えば、操作者の指同士が接触している場合と、操作者の指同士が交差している場合と、のように、撮像された画像からだけでは判別が困難な形状を適切に特定することができる。  For this reason, the number of commands that can be executed via the interface device can be increased. In addition, for example, when the operator's fingers are in contact with each other, and when the operator's fingers are crossing each other, a shape that is difficult to discriminate only from the captured image is appropriately selected. Can be identified.

慣性センサを備える態様では、当該インターフェース装置が前記一方の手に装着された際に、前記部材上で平面的に見て、前記カメラは、前記一方の手の掌底部上に配置されていてよい。  In an aspect including an inertial sensor, the camera may be disposed on a palm bottom portion of the one hand when the interface device is mounted on the one hand and viewed in plan on the member. .

このように構成すれば、カメラのレンズから操作者の指までの距離が比較的長くなるので、レンズの視野角が比較的小さい場合であっても、操作者の一方の手の全ての指を好適に撮像することができる。加えて、例えば操作者の指がカメラのレンズに触れることによって、レンズに汚れが付着することを抑制することができる。  With this configuration, since the distance from the camera lens to the operator's finger is relatively long, even if the viewing angle of the lens is relatively small, all the fingers of one hand of the operator are Imaging can be suitably performed. In addition, for example, when the operator's finger touches the lens of the camera, it is possible to prevent the lens from being contaminated.

慣性センサを備える態様では、前記カメラは、広角レンズを有していてよい。  In an aspect including an inertial sensor, the camera may have a wide-angle lens.

このように構成すれば、操作者の一方の手の全ての指を好適に撮像することができる。  If comprised in this way, all the fingers of one hand of an operator can be imaged suitably.

慣性センサを備える態様では、前記カメラは、発光部を有していてよい。  In an aspect including an inertial sensor, the camera may include a light emitting unit.

このように構成すれば、周囲が比較的暗い場合であっても、操作者の指等の動作を比較的容易に検出することができる。尚、発光部は、例えばＬＥＤ（Ｌｉｇｉｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ライト等により構成すればよい。  If comprised in this way, even if the circumference | surroundings are comparatively dark, operation | movement of an operator's finger | toe etc. can be detected comparatively easily. In addition, what is necessary is just to comprise a light emission part by LED (Light Emitting Diode) light etc., for example.

慣性センサを備える態様では、前記慣性センサは、加速度センサ又はジャイロセンサであってよい。  In an aspect including an inertial sensor, the inertial sensor may be an acceleration sensor or a gyro sensor.

このように構成すれば、比較的容易にして、操作者の一方の手に生じる慣性を検出することができる。  If comprised in this way, the inertia which arises in one hand of an operator can be detected comparatively easily.

慣性センサを備える態様によれば、前記慣性センサは、前記一方の手の指が対象物に接触したことを検出してよい。  According to the aspect including the inertial sensor, the inertial sensor may detect that the finger of the one hand has contacted the object.

このように構成すれば、操作者が、何らかの対象物に指で触れたことを検出することができる。  If comprised in this way, it can detect that the operator touched a certain target object with the finger.

この態様では、前記慣性センサは、前記一方の手の複数の指が互いに接触したことを検出してよい。  In this aspect, the inertial sensor may detect that a plurality of fingers of the one hand are in contact with each other.

このように構成すれば、慣性センサは、本発明に係る「対象物」としての「指」に接触したことを検出することができる。  If comprised in this way, the inertial sensor can detect having contacted the "finger" as a "target" concerning the present invention.

本発明の作用及び他の利得は次に説明する実施するための形態から明らかにされる。  The effect | action and other gain of this invention are clarified from the form for implementing demonstrated below.

本発明の実施形態に係るインターフェース装置の具体的な構成を示す図である。It is a figure which shows the specific structure of the interface apparatus which concerns on embodiment of this invention.本発明の実施形態に係るインターフェース装置の構成を示すブロック図である。It is a block diagram which shows the structure of the interface apparatus which concerns on embodiment of this invention.本発明の実施形態に係るインターフェース装置が備えるカメラにより撮像された画像の一例である。It is an example of the image imaged with the camera with which the interface apparatus which concerns on embodiment of this invention is provided.本発明の実施形態の変形例に係るインターフェース装置の具体的な構成を示す図である。It is a figure which shows the specific structure of the interface apparatus which concerns on the modification of embodiment of this invention.操作者の手の動作に起因してインターフェース装置が検出する信号と、文字と、の対応関係の一例を示す表である。It is a table | surface which shows an example of the correspondence of the signal which an interface apparatus detects resulting from operation | movement of an operator's hand, and a character.

本発明のインターフェース装置の実施形態を、図面に基づいて説明する。  An embodiment of an interface device of the present invention will be described based on the drawings.

本発明の実施形態に係るインターフェース装置の構成について、図１及び図２を参照して説明する。図１は、本実施形態に係るインターフェース装置の具体的な構成を示す図である。尚、図１（ａ）は、操作者の手の平側から見たインターフェース装置であり、図１（ｂ）は、操作者の手の甲側から見たインターフェース装置である。図２は、本実施形態に係るインターフェース装置の構成を示すブロック図である。  The configuration of the interface device according to the embodiment of the present invention will be described with reference to FIGS. 1 and 2. FIG. 1 is a diagram illustrating a specific configuration of the interface apparatus according to the present embodiment. 1A is an interface device viewed from the palm side of the operator's hand, and FIG. 1B is an interface device viewed from the back side of the operator's hand. FIG. 2 is a block diagram illustrating a configuration of the interface apparatus according to the present embodiment.

インターフェース装置１は、例えばメモリ、プロセッサ等を備えてなる制御回路１１と、例えば液晶モニタ等であるディスプレイ１２と、当該インターフェース装置１が対象とする電子機器等に対して所定の信号を送信可能な無線通信モジュール１３と、例えばリチウムイオン電池等の充電式のバッテリ１４と、スピーカ１５と、例えば当該インターフェース装置１の電源ボタン等である押ボタン１６と、カメラモジュール２０と、歪センサ３１と、電極パッド３２と、加速度センサ３３と、ジャイロセンサ３４と、を備えて構成されている。  Theinterface device 1 can transmit a predetermined signal to acontrol circuit 11 including, for example, a memory, a processor, adisplay 12 such as a liquid crystal monitor, and an electronic device or the like targeted by the interface device 1 Awireless communication module 13, arechargeable battery 14 such as a lithium ion battery, aspeaker 15, apush button 16 such as a power button of theinterface device 1, acamera module 20, astrain sensor 31, and anelectrode A pad 32, anacceleration sensor 33, and agyro sensor 34 are provided.

図１（ａ）において、インターフェース装置１は、操作者の一方の手の平（ここでは、右手の手の平）の少なくとも一部に接触する部材１０を備えている。該部材１０の操作者の手の平に対向する面とは反対側の面上には、広角レンズ２１及びライト２２を備えるカメラモジュール２０が配置されている。  In FIG. 1A, theinterface device 1 includes amember 10 that contacts at least a part of one palm of the operator (here, the palm of the right hand). Acamera module 20 including a wide-angle lens 21 and a light 22 is disposed on a surface of themember 10 opposite to the surface facing the palm of the operator's palm.

また、部材１０の内部には、加速度センサ３３及びジャイロセンサ３４が搭載されている。加速度センサ３３及びジャイロセンサ３４により、例えば、操作者の手首の回転や、手の上下左右への振れ等を検出することができる。尚、図１（ａ）では、説明の便宜上、加速度センサ３３及びジャイロセンサ３４を、部材１０上に記載している。  Anacceleration sensor 33 and agyro sensor 34 are mounted inside themember 10. Theacceleration sensor 33 and thegyro sensor 34 can detect, for example, the rotation of the wrist of the operator, the shaking of the hand up and down, left and right, and the like. In FIG. 1A, theacceleration sensor 33 and thegyro sensor 34 are shown on themember 10 for convenience of explanation.

本実施形態では特に、図１（ａ）に示すように、操作者がインターフェース装置１を装着した際に、カメラモジュール２０の位置が操作者の手の掌底部に該当するように、該カメラモジュール２０が配置されている。  Particularly in the present embodiment, as shown in FIG. 1A, when the operator wears theinterface device 1, thecamera module 20 is positioned so that the position of thecamera module 20 corresponds to the palm of the hand of the operator. 20 is arranged.

このように構成することにより、カメラモジュール２０のレンズ２１から操作者の指までの距離を比較的長くすることができる。すると、レンズ２１の視野角が比較的小さい場合であっても、操作者の一方の手の指を好適に撮像することができる。  With this configuration, the distance from thelens 21 of thecamera module 20 to the operator's finger can be made relatively long. Then, even if the viewing angle of thelens 21 is relatively small, the finger of one hand of the operator can be suitably imaged.

具体的には例えば図３に示すように、操作者の一方の手の指を、指の付け根から撮像することができるので、撮像された画像を解析する際に、インターフェース装置１が指を誤認識する可能性を抑制することができる。図３は、本実施形態に係るインターフェース装置が備えるカメラにより撮像された画像の一例である。  Specifically, for example, as shown in FIG. 3, since the finger of one hand of the operator can be imaged from the base of the finger, theinterface device 1 erroneously operates the finger when analyzing the captured image. The possibility of recognition can be suppressed. FIG. 3 is an example of an image captured by a camera included in the interface apparatus according to the present embodiment.

加えて、例えば操作者の指がカメラモジュール２０のレンズ２１に触れることによって、レンズ２１に汚れが付着することを抑制することができる。  In addition, for example, when the operator's finger touches thelens 21 of thecamera module 20, it is possible to prevent dirt from adhering to thelens 21.

また、カメラモジュール２０は、本発明に係る「発光部」の一例としての、ライト２２を備えている。このため、周囲が比較的暗い場合であっても、操作者の指をカメラモジュール２０により好適に撮像することができる。従って、インターフェース装置１を、例えばカーナビゲーション装置のリモートコントローラとして用いた場合に、夜間の車内においても、好適にカーナビゲーション装置を操作することができる。  Thecamera module 20 includes a light 22 as an example of the “light emitting unit” according to the present invention. For this reason, even when the surroundings are relatively dark, the operator's finger can be suitably imaged by thecamera module 20. Therefore, when theinterface device 1 is used as, for example, a remote controller of a car navigation device, the car navigation device can be suitably operated even in a night vehicle.

歪センサ３１は、操作者の各指の付け根部に接触するパッドと、該パッドとインターフェース装置１本体とを接続するバネ状構造とを備えて構成されている。歪センサ３１は、歪抵抗効果や圧電性を利用して、操作者の指の付け根部の変位を示す信号を出力する。尚、歪センサ３１は、比較的柔らかい樹脂フィルム等で覆われていることが好ましい。  Thestrain sensor 31 includes a pad that contacts the base of each finger of the operator, and a spring-like structure that connects the pad and theinterface device 1 main body. Thestrain sensor 31 outputs a signal indicating the displacement of the base of the operator's finger using a strain resistance effect or piezoelectricity. Thestrain sensor 31 is preferably covered with a relatively soft resin film or the like.

電極バッド３２は、操作者の指の付け根部に接触するように、インターフェース装置１本体に接続されている。電極パッド３２の操作者の指の付け根部に接触する面には、操作者の手の筋電位を測定する電極部（図示せず）が設けられている。  Theelectrode pad 32 is connected to the main body of theinterface device 1 so as to contact the base of the operator's finger. An electrode portion (not shown) for measuring the myoelectric potential of the operator's hand is provided on the surface of theelectrode pad 32 that contacts the base of the operator's finger.

図１（ｂ）において、インターフェース装置１の、操作者の手の甲側の部材には、制御回路１１、無線通信モジュール１３、バッテリ１４及びスピーカ１５が内蔵さえており、ディスプレイ１２がカバーとして、手の甲側の部材の表面の一部を覆っている。  In FIG. 1B, thecontrol device 11, thewireless communication module 13, thebattery 14, and thespeaker 15 are incorporated in the member on the back side of the operator's hand of theinterface device 1, and thedisplay 12 serves as a cover and the back side of the hand. A part of the surface of the member is covered.

図２に示すように、制御回路１１、ディスプレイ１２、無線通信モジュール１３、バッテリ１４、スピーカ１５、押ボタン１６、カメラモジュール２０、歪センサ３１、電極パッド３２、加速センサ３３及びジャイロセンサ３４は、相互に電気的に接続されている。  As shown in FIG. 2, thecontrol circuit 11, thedisplay 12, thewireless communication module 13, thebattery 14, thespeaker 15, thepush button 16, thecamera module 20, thestrain sensor 31, theelectrode pad 32, theacceleration sensor 33, and thegyro sensor 34 are They are electrically connected to each other.

制御回路１１は、カメラモジュール２０により撮像された画像に対して画像解析処理を施して、撮像された画像から操作者の指を抽出すると共に、指の形状を判別する。制御回路１１は、更に、複数枚の連続して撮像された画像から、操作者の指の動き（例えば、軌跡、速度等）を検出する。  Thecontrol circuit 11 performs image analysis processing on the image captured by thecamera module 20, extracts the operator's finger from the captured image, and determines the shape of the finger. Thecontrol circuit 11 further detects the movement of the operator's finger (for example, a trajectory, a speed, etc.) from a plurality of continuously captured images.

制御回路１１は、歪センサ３１から出力される、操作者の指の付け根部の動きを示す信号に基づいて、例えば、操作者の指が何らかの対象物に接触したか否かを判定する。また、制御回路１１は、電極パッド３２から出力される、筋電位を示す信号、電極パッド３２の電極と周辺部材との間に生じる静電容量（即ち、浮遊容量）を示す信号、及び電極間の抵抗値を示す信号に基づいて、例えば、操作者の指が何らかの対象物に接触したか否かを判定する。  Thecontrol circuit 11 determines, for example, whether or not the operator's finger has touched any object based on the signal output from thestrain sensor 31 and indicating the movement of the base of the operator's finger. Further, thecontrol circuit 11 outputs a signal indicating myoelectric potential output from theelectrode pad 32, a signal indicating electrostatic capacitance (that is, stray capacitance) generated between the electrode of theelectrode pad 32 and the peripheral member, and between the electrodes. For example, it is determined whether or not the operator's finger has touched any object based on a signal indicating the resistance value of the operator.

このように構成すれば、撮像された画像から得られた操作者の指が動いていない場合であっても、歪センサ３１及び電極パッド３２各々から出力される信号に基づいて、操作者の指が何らかの対象物に接触していることを検出することができる。  According to this configuration, even when the operator's finger obtained from the captured image is not moving, the operator's finger is based on the signals output from thestrain sensor 31 and theelectrode pad 32. Can be detected as being in contact with some object.

尚、制御回路１１は、歪センサ３１から出力される信号、及び電極パッド３２から出力される信号のうち一方の信号のみに基づいて、操作者の指が何らかの対象物に接触したか否かを判定してよい。  Note that thecontrol circuit 11 determines whether or not the operator's finger has touched any object based on only one of the signal output from thestrain sensor 31 and the signal output from theelectrode pad 32. You may judge.

制御回路１１は、撮像された画像に基づく操作者の指の形状及び動作と、歪センサ３１、電極パッド３２、加速度センサ３３及びジャイロセンサ３４各々から出力された信号と、に基づいて、操作者の手の動作（例えば、ジェスチャ）を検出する。  Based on the shape and movement of the operator's finger based on the captured image and the signals output from thestrain sensor 31, theelectrode pad 32, theacceleration sensor 33, and thegyro sensor 34, thecontrol circuit 11 Detecting hand movement (eg, gesture).

制御回路１１は、予め格納されているデータベースから、検出された手の動作に対応するコマンドを特定する。続いて、制御回路１１は、（ｉ）該特定されたコマンドを示す信号を無線通信モジュール１３を介して、インターフェース装置１が対象とする電子機器等に送信する、（ｉｉ）該特定されたコマンドに対応する情報をディスプレイ１２に表示する、及び（ｉｉｉ）該特定されたコマンドに対応する音声をスピーカ１５から出力する、の少なくとも一つを実行する。  Thecontrol circuit 11 specifies a command corresponding to the detected hand movement from a database stored in advance. Subsequently, the control circuit 11 (i) transmits a signal indicating the specified command to the electronic device or the like targeted by theinterface device 1 via thewireless communication module 13, (ii) the specified command Information on thedisplay 12 is displayed on thedisplay 12, and (iii) audio corresponding to the specified command is output from thespeaker 15.

尚、インターフェース装置１は、電極パッド３２に代えて、例えば加速度センサ又は圧電体からなる片持ち梁構造等の振動センサを備えていてもよい。  Note that theinterface device 1 may include a vibration sensor such as an acceleration sensor or a cantilever structure made of a piezoelectric material instead of theelectrode pad 32.

本実施形態に係る「制御回路１１」は、本発明に係る「検出手段」の一例である。本実施形態に係る「歪センサ３１」、「電極パッド３２」、「加速度センサ３３」及び「ジャイロセンサ３４」は、本発明に係る「慣性センサ」の一例である。  The “control circuit 11” according to the present embodiment is an example of the “detection unit” according to the present invention. The “strain sensor 31”, “electrode pad 32”, “acceleration sensor 33”, and “gyro sensor 34” according to the present embodiment are examples of the “inertia sensor” according to the present invention.

＜変形例＞
本実施形態に係るインターフェース装置の変形例について、図４を参照して説明する。図４は、図１（ａ）と同趣旨の、本実施形態の変形例に係るインターフェース装置の具体的な構成を示す図である。尚、図４では、図１（ａ）に示した部材を適宜省略して示している。<Modification>
A modification of the interface device according to the present embodiment will be described with reference to FIG. FIG. 4 is a diagram showing a specific configuration of an interface device according to a modification of the present embodiment having the same meaning as in FIG. In FIG. 4, the members shown in FIG. 1A are omitted as appropriate.

図４に示すように、インターフェース装置２が備える歪センサ３１は、そのパッドが、操作者の指の中手指節間間接と近位指節間間接との間に接触するように構成されている。  As shown in FIG. 4, thestrain sensor 31 included in theinterface device 2 is configured such that the pad is in contact between the middle interphalangeal indirect and the proximal interphalangeal indirect of the operator's finger. .

以下、本実施形態に係るインターフェース装置の実施例について説明する。  Hereinafter, examples of the interface device according to the present embodiment will be described.

＜第１実施例＞
インターフェース装置１を、例えばターンテーブル、ミキサー等の音響機器のコントローラとして使用する場合、例えば、演奏されている楽曲に対するエフェクトの変更、演奏されている楽曲の再生位置の変更、楽曲の選択等が、操作者の手の動作に対応するコマンドとしてデータベースに格納されている。<First embodiment>
When theinterface device 1 is used as a controller of an audio device such as a turntable or a mixer, for example, the effect on the music being played is changed, the playback position of the music being played is changed, the music is selected, etc. It is stored in the database as a command corresponding to the movement of the operator's hand.

このように構成すれば、例えばＤＪ（Ｄｉｓｃ Ｊｏｃｋｅｙ）が、音響機器（この場合は、ＤＪ機器）から比較的離れた位置で、スクラッチするようなジェスチャをすることにより、スクラッチ音を発生させることができる。この結果、ＤＪが大げさなジェスチャでオーディエンスにアピールしながら、ＤＪプレイを行うことができる。  With this configuration, for example, a DJ (Disc Jockey) can generate a scratch sound by making a gesture of scratching at a position relatively distant from the acoustic device (in this case, the DJ device). it can. As a result, DJ play can be performed while appealing to the audience with exaggerated gestures.

尚、インターフェース装置１を、ＤＪ機器のコントローラとして使用する場合、該ＤＪ機器が設置される施設内の照明のコントローラとして使用されてもよい。このように構成すれば、ＤＪが、ＤＪ機器と照明とのコントロールをインターフェース装置１のみにより行うことができるので、実用上非常に有利である。  In addition, when using theinterface apparatus 1 as a controller of DJ equipment, you may use it as a controller of the illumination in the plant | facility in which this DJ equipment is installed. With such a configuration, the DJ can control the DJ device and the illumination only by theinterface device 1, which is very advantageous in practice.

＜第２実施例＞
インターフェース装置１を、コミュニケーション支援装置として使用する場合、例えば文字コードが、操作者の手の動作に対応するコマンドとしてデータベースに格納されている。具体的には例えば、図５（ａ）に示すように、操作者が親指と人差し指又は中指とを接触させるという動作のパターン毎に、図５（ｂ）に示すような文字が割り当てられる。図５は、操作者の手の動作に起因してインターフェース装置が検出する信号と、文字と、の対応関係の一例を示す表である。<Second embodiment>
When theinterface device 1 is used as a communication support device, for example, a character code is stored in the database as a command corresponding to the operation of the operator's hand. Specifically, for example, as shown in FIG. 5A, a character as shown in FIG. 5B is assigned to each operation pattern in which the operator touches the thumb and index finger or middle finger. FIG. 5 is a table showing an example of a correspondence relationship between a signal detected by the interface device due to the motion of the operator's hand and a character.

例えば、親指と人差し指とが一瞬接触した際の信号を「・」とし、親指と人差し指とが０．５秒程度接触した際の信号を「−」とする。そして、操作者が手首を回転させた際に、一文字の入力が終了するものとする。  For example, a signal when the thumb and the index finger are in contact for a moment is “·”, and a signal when the thumb and the index finger are in contact for about 0.5 seconds is “−”. Then, when the operator rotates the wrist, the input of one character is completed.

この場合、操作者が、親指と人差し指とを一瞬接触した後に、親指と人差し指とを０．５秒程度接触し、その後手首を回転すると、インターフェース装置１の制御回路１１は、入力された信号を「・−」と認識する。続いて、制御回路１１は、文字「Ａ」を示す信号を、例えば無線通信モジュール１３を介して、外部のモニタに送信する。この結果、外部のモニタに「Ａ」という文字が表示される。  In this case, when the operator touches the thumb and forefinger for a moment, then touches the thumb and forefinger for about 0.5 seconds, and then rotates the wrist, thecontrol circuit 11 of theinterface device 1 receives the input signal. Recognize as "-". Subsequently, thecontrol circuit 11 transmits a signal indicating the character “A” to an external monitor via thewireless communication module 13, for example. As a result, the letter “A” is displayed on the external monitor.

このように構成すれば、操作者が、例えば親指と人差し指との接触を時系列的に繰り返すことにより、他者とコミュニケーションを図ることができる。この結果、例えば、病気や作業環境により会話が困難な人が、自分の意思を適切に他者に伝えることができる。  If comprised in this way, an operator can aim at communication with others by repeating contact with a thumb and an index finger in time series, for example. As a result, for example, a person whose conversation is difficult due to illness or working environment can appropriately convey his intention to others.

＜第３実施例＞
インターフェース装置１を、コンピュータのインターフェースとして使用する場合、例えば、コンピュータの画面上に表示されるカーソルの移動、アイコンやテキストボックスの選択、文字コード等が、操作者の手の動作に対応するコマンドとしてデータベースに格納されている。<Third embodiment>
When theinterface device 1 is used as a computer interface, for example, movement of a cursor displayed on the computer screen, selection of an icon or text box, character code, and the like are commands corresponding to the operation of the operator's hand. Stored in the database.

インターフェース装置１は、図１に示すように、操作者の指先には何らの部材も接触していない。このため、操作者がインターフェース装置１を装着したまま、例えばペンやカップ等を、ほとんど支障なく、使用したり持ったりすることができる。  As shown in FIG. 1, theinterface device 1 has no member in contact with the fingertip of the operator. For this reason, an operator can use and hold a pen, a cup, and the like with almost no trouble while wearing theinterface device 1.

特に、ユーザの体に装着するコンピュータ（所謂、ウェアラブルコンピュータ）やユーザの頭部に装着するディスプレイ（所謂、ウェアラブルディスプレイ）のインターフェースとして、インターフェース装置１を使用すれば、ユーザが例えばマウスやキーボード等を持ち歩く必要がなくなるので、ユーザの利便性を向上させることができる。  In particular, when theinterface device 1 is used as an interface of a computer (so-called wearable computer) worn on the user's body or a display (so-called wearable display) worn on the user's head, the user can use, for example, a mouse or a keyboard. Since it is not necessary to carry around, user convenience can be improved.

＜第４実施例＞
インターフェース装置１を、例えば産業用ロボット等のロボットのコントローラとして使用する場合、対象とするロボットの動作に対応するコマンドが、操作者の手の動作に対応するコマンドとしてデータベースに格納されている。<Fourth embodiment>
When theinterface device 1 is used as a controller for a robot such as an industrial robot, commands corresponding to the motion of the target robot are stored in the database as commands corresponding to the motion of the operator's hand.

このように構成すれば、危険な空間（例えば、災害現場等）や遠隔地等で作業させるロボットを、操作者が適切に制御することができる。  If comprised in this way, the operator can control appropriately the robot operated in dangerous space (for example, disaster spot etc.) or a remote place.

ところで、操作者の手の複数の部位に慣性運動センサを装着して、例えばロボットアームを制御するコントローラは既に存在する。しかしながら、インターフェース装置１では、カメラモジュール２０により撮像された画像も利用しているので、より精度良く操作者の手の動作を検出することができる。  By the way, a controller that controls the robot arm by attaching inertial motion sensors to a plurality of parts of the operator's hand already exists. However, since theinterface device 1 also uses an image picked up by thecamera module 20, it is possible to detect the movement of the operator's hand with higher accuracy.

＜第５実施例＞
インターフェース装置１を、例えば照明器具、テレビ、オーディオ機器、ゲーム機等の家電のコントローラとして使用する場合、例えば機器のＯＮ／ＯＦＦ、音量の変更、選局、明るさの変更等が、操作者の手の動作に対応するコマンドとしてデータベースに格納されている。<Fifth embodiment>
When theinterface device 1 is used as a controller for home appliances such as lighting equipment, a television, an audio device, and a game machine, for example, ON / OFF of the device, volume change, channel selection, brightness change, etc. It is stored in the database as commands corresponding to hand movements.

このように構成すれば、家電のリモートコントローラの小型化を図ることができる。更に、インターフェース装置１により複数の家電を制御可能なように構成すれば、例えばリモートコントローラの持ち替え動作を無くすことができ、ユーザの利便性を向上させることができる。  If comprised in this way, size reduction of the remote controller of household appliances can be achieved. Further, if theinterface device 1 is configured to be able to control a plurality of home appliances, for example, the operation of changing the remote controller can be eliminated, and the convenience for the user can be improved.

特に、３次元映像のゲーム機のコントローラとして、インターフェース装置１を使用すれば、例えばユーザが表示された物体を押す等の動作を、反映させることができる。  In particular, if theinterface device 1 is used as a controller of a three-dimensional video game machine, an operation such as a user pressing a displayed object can be reflected.

本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴うインターフェース装置もまた本発明の技術的範囲に含まれるものである。  The present invention is not limited to the above-described embodiment, and can be appropriately changed without departing from the gist or concept of the invention that can be read from the claims and the entire specification, and an interface device with such a change is also possible. Moreover, it is included in the technical scope of the present invention.

１、２…インターフェース装置、１１…制御回路、１２…ディスプレイ、１３…無線通信モジュール、１４…バッテリ、１５…スピーカ、２０…カメラモジュール、２１…広角レンズ、２２…ライト、３１…歪センサ、３２…電極パッド、３３…加速度センサ、３４…ジャイロセンサ  DESCRIPTION OFSYMBOLS 1, 2 ... Interface apparatus, 11 ... Control circuit, 12 ... Display, 13 ... Wireless communication module, 14 ... Battery, 15 ... Speaker, 20 ... Camera module, 21 ... Wide angle lens, 22 ... Light, 31 ... Strain sensor, 32 ... Electrode pad, 33 ... Acceleration sensor, 34 ... Gyro sensor

Claims (8)

Translated fromJapanese

操作者の手に装着されるインターフェース装置であって、
当該インターフェース装置の装着時に、前記操作者の一方の手の平の少なくとも一部に接触する部材と、
前記部材の前記一方の手の平に対向する面とは反対側の面上に配置されたカメラと、
前記カメラにより撮像された画像に基づいて、前記一方の手の動作を検出する検出手段と
を備えることを特徴とするインターフェース装置。An interface device that is attached to an operator's hand,
A member that contacts at least a part of one palm of the operator when the interface device is mounted;
A camera disposed on a surface of the member opposite to the surface facing the one palm;
An interface device comprising: detecting means for detecting an operation of the one hand based on an image picked up by the camera. 前記一方の手に生じる慣性を検出する慣性センサを更に備え、
前記検出手段は、前記撮像された画像及び前記検出された慣性に基づいて、前記一方の手の動作を検出する
ことを特徴とする請求項１に記載のインターフェース装置。An inertial sensor for detecting inertia generated in the one hand;
The interface device according to claim 1, wherein the detection unit detects the movement of the one hand based on the captured image and the detected inertia. 当該インターフェース装置が前記一方の手に装着された際に、前記部材上で平面的に見て、前記カメラは、前記一方の手の掌底部上に配置されていることを特徴とする請求項２に記載のインターフェース装置。  3. The camera is disposed on a palm bottom portion of the one hand as viewed in plan on the member when the interface device is attached to the one hand. The interface device according to 1. 前記カメラは、広角レンズを有していることを特徴とする請求項２に記載のインターフェース装置。  The interface device according to claim 2, wherein the camera has a wide-angle lens. 前記カメラは、発光部を有していることを特徴とする請求項２に記載のインターフェース装置。  The interface device according to claim 2, wherein the camera includes a light emitting unit. 前記慣性センサは、加速度センサ又はジャイロセンサであることを特徴とする請求項２に記載のインターフェース装置。  The interface device according to claim 2, wherein the inertial sensor is an acceleration sensor or a gyro sensor. 前記慣性センサは、前記一方の手の指が対象物に接触したことを検出することを特徴とする請求項２に記載のインターフェース装置。  The interface device according to claim 2, wherein the inertial sensor detects that a finger of the one hand has contacted an object. 前記慣性センサは、前記一方の手の複数の指が互いに接触したことを検出することを特徴とする請求項７に記載のインターフェース装置。  The interface device according to claim 7, wherein the inertial sensor detects that a plurality of fingers of the one hand are in contact with each other.

Images