本開示は、意思表示者が表示部に触れることなく選択入力を可能とする非接触入力装置に関するものである。This disclosure relates to a non-contact input device that allows a person to make a selection without touching a display unit.
指を使って意思疎通を行う従来の入力装置としては、主に下のような構造のものがある。
・指をスイッチに接触させて、電気的な接点のオンオフ操作を行うことで、所望の入力操作を行うもの。
・光学センサを用いたタッチパネルなどで、指による接触箇所を検出することで、所望の入力操作を行うもの。
・非接触タイプの光学センサ、タッチパネルを用いて、所望の入力操作を行うもの。 Conventional input devices for communicating using fingers mainly have the following structure.
A switch allows you to perform the desired input operation by touching the switch with your finger to turn the electrical contact on and off.
- A touch panel that uses an optical sensor to detect the location of contact by a finger and perform the desired input operation.
- A device that uses a non-contact optical sensor or touch panel to perform the desired input operations.
具体例として、指を動かすことが可能な指入力空間に挿入された指先の位置を逐次検出する従来技術がある（例えば、特許文献１参照）。As a specific example, there is a conventional technique for sequentially detecting the position of a fingertip inserted into a finger input space in which the finger can be moved (see, for example, Patent Document 1).
しかしながら、従来技術には以下のような課題がある。
指などを使って意思疎通を行う従来の入力装置は、上述したようなスイッチあるいはタッチパネルなどがあるが、操作入力者と入力装置との距離が限定される。 However, the conventional techniques have the following problems.
Conventional input devices that use a finger or the like to communicate include the above-mentioned switches and touch panels, but the distance between the operator and the input device is limited.
例えば、自動販売機を利用して、非接触で意思疎通の入力を行いたい状況を考えると、所望の釦まで指を移動させることが困難な状況も考えられる。また、ベッドに横たわっている要介護者が、非接触で意思疎通の入力を行いたい場合を考えると、特定の領域に指を移動させることが困難な状況が考えられる。従って，意思表示者である操作入力者による簡便な動作に基づいて非接触での入力操作を可能とする非接触入力装置が望まれている。For example, when using a vending machine, if one wishes to communicate without contact, it may be difficult to move one's finger to the desired button. Similarly, when a person in need of care is lying in bed and wishes to communicate without contact, it may be difficult to move one's finger to a specific area. Therefore, there is a demand for a non-contact input device that enables non-contact input based on simple actions by the operator, who is the person expressing his or her intentions.
本開示は、このような課題を解決するためになされたものであり、意思表示者による簡便な動作に基づいて非接触での入力操作を可能とする非接触入力装置を得ることを目的とする。This disclosure has been made to solve these problems, and aims to provide a non-contact input device that enables non-contact input operations based on simple actions by the person expressing their intention.
本開示に係る非接触入力装置は、意思表示者の動きを動画像として撮像する撮像装置と、意思表示者による意思表示内容を特定するために、複数の表示画面のいずれかを切り替え表示する表示部と、切り替え表示される表示内容を視認している意思表示者の動画像を画像処理することで意思表示者によるあらかじめ決められた動作を抽出し、抽出結果に応じて表示部に表示させる表示画面の表示内容を切り替える表示切り替え処理、および現在の表示内容を選択する意思表示を確定する確定処理を実行し、意思表示者が伝達したい意思表示内容を特定する制御部とを備え、撮像装置と表示部とは、分離して配置され、撮像装置は、意思表示者の動きを撮像可能な位置に設置されており、表示部は、意思表示者が視認可能な位置に設置されており、制御部は、あらかじめ決められた動作として、意思表示者による手あるいは指の動作に加え、目の動きあるいは足の動きを利用することが可能であるものである。 The non-contact input device of the present disclosure comprises an imaging device that captures the movements of the person expressing his/her intention as a moving image, a display unit that switches between one of a plurality of display screens in order to identify the content of the person's expression of intention, and a control unit that performs a display switching process that extracts a predetermined action by the person expressing his/her intention by image processing the moving image of the person viewing the switched display content,and switches the display content of the display screen to be displayed on the display unit in accordance with the extraction result, and a confirmation process that confirms the expression of intention to select the current display content, thereby identifying the content of the person expressing his/her intention to convey, wherein the imaging device and the display unit are disposed separately, the imaging device is installed in a position where it can capture the movements of the person expressing his/her intention, the display unit is installed in a position where it can be viewed by the person expressing his/her intention, and the control unit is capable of using eye movements or foot movements in addition to hand or finger movements by the person expressing his/her intention as the predetermined actions .
本開示によれば、意思表示者による簡便な動作に基づいて非接触での入力操作を可能とする非接触入力装置を得ることができる。According to the present disclosure, it is possible to obtain a non-contact input device that enables non-contact input operations based on simple actions by the person expressing their intention.
以下、本開示に係る非接触入力装置の実施の形態につき、図を用いて説明する。本開示に係る非接触入力装置は、撮像装置により撮像した動画像から特定した意思表示者の特定の動作に基づいて、非接触での入力操作を可能とすることを技術的特徴とするものである。The following describes an embodiment of a non-contact input device according to the present disclosure with reference to the drawings. The non-contact input device according to the present disclosure has a technical feature of enabling non-contact input operations based on a specific action of a person expressing an intention that is identified from a video image captured by an imaging device.
実施の形態１．
本実施の形態１では、本開示に係る非接触入力装置を自動販売機に適用し、非接触による所望の商品選択を可能とする場合について説明する。図１は、本開示の実施の形態１に係る非接触入力装置を自動販売機に適用した場合の全体構成図である。 Embodiment 1.
In the first embodiment, a non-contact input device according to the present disclosure is applied to a vending machine to enable a user to select a desired product without contact. Fig. 1 is a diagram showing the overall configuration of a vending machine to which the non-contact input device according to the first embodiment of the present disclosure is applied.
図１に示した本実施の形態１に係る非接触入力装置は、意思表示者１を撮像するカメラ１０、カメラ１０で取得した動画像を記憶する動画像メモリ２０、画像処理および表示制御を実行する制御部３０、および制御部３０による表示制御に基づいて表示画面を切り替えて表示する表示部４０を備えて構成されている。The non-contact input device according to the present embodiment 1 shown in FIG. 1 is configured to include a camera 10 that captures an image of a person expressing his/her intention 1, a video memory 20 that stores video images acquired by the camera 10, a control unit 30 that performs image processing and display control, and a display unit 40 that switches and displays a display screen based on the display control by the control unit 30.
本開示による非接触入力装置では、撮像装置に相当するカメラ１０を利用する点に１つの特徴があり、カメラ１０を用いるメリットについて、まず説明する。従来技術で説明したように、非接触タイプのタッチパネル、光学センサ等を入力装置に用いた場合には、入力装置の近傍で特定の動作を行う必要があり、特定の動作を認識する位置が極端に制限される。また、誤って装置に接触してしまうおそれも考えられる。One of the features of the non-contact input device according to the present disclosure is the use of a camera 10 equivalent to an imaging device, and the advantages of using the camera 10 will be explained first. As explained in the prior art, when a non-contact type touch panel, optical sensor, or the like is used as an input device, it is necessary to perform a specific action in the vicinity of the input device, and the position at which the specific action is recognized is extremely limited. There is also a risk of accidentally touching the device.
これに対して、カメラ１０を用いて非接触化を実現する場合には、広範囲で特定の動作を捕捉できるため、入力装置と意思表示者１との距離を十分に確保した上での選択入力が可能となる。In contrast, when non-contact is achieved using the camera 10, specific actions can be captured over a wide range, making it possible to make selections and inputs while ensuring a sufficient distance between the input device and the person expressing intention 1.
また、非接触での選択入力を可能にする構成としては、音声認識技術を採用することも考えられる。しかしながら、音声認識技術を採用する場合には、不特定多数の人が存在する屋外では、声を出すことが恥ずかしいなどの心理的な問題がある。また、音声認識技術を採用する場合には、意思表示者以外の雑音を除去する必要がある。As a configuration that allows for non-contact selection input, it is also possible to adopt voice recognition technology. However, when using voice recognition technology, there are psychological issues, such as the embarrassment of speaking out loud when outdoors where there are an unspecified number of people. In addition, when using voice recognition technology, it is necessary to eliminate noise other than that of the person expressing their intention.
これに対して、カメラ１０を用いて非接触化を実現する場合には、声を出す必要はなく、また、カメラ１０の前に存在する利用者を意思表示者１としているため、利用者以外のことを考慮する必要もない。In contrast, when using the camera 10 to achieve non-contact, there is no need to speak, and since the user standing in front of the camera 10 is considered the person expressing their intention 1, there is no need to consider anyone other than the user.
次に、各構成について説明する。表示部４０は、自動販売機の前面に設けられており、意思表示者１が商品を購入する際に視認する表示画面が表示部４０に表示される。図１においては、商品Ａ～商品Ｆの６種の商品が選択可能であり、現在の表示画面では、商品Ｅが選択されている状態を示している。Next, each component will be described. The display unit 40 is provided on the front of the vending machine, and the display screen that the intention expresser 1 views when purchasing a product is displayed on the display unit 40. In FIG. 1, six products, products A to F, can be selected, and the current display screen shows that product E has been selected.
従来の自動販売機では、いずれかの商品を選択するためのスイッチが設けられていた。これに対して、本実施の形態１に係る自動販売機では、スイッチはなく、どの商品が選択されている状態かを識別するための識別表示部４１が設けられている。図１においては、６つの識別表示部４１のうち、商品Ｅに対応する識別表示部４１が●で表示され、他の５つの識別表示部４１が○で表示されることで、商品Ｅが選択された状態が識別表示されている場合を例示している。Conventional vending machines are provided with a switch for selecting one of the products. In contrast, the vending machine according to the first embodiment does not have a switch, but is provided with an identification display unit 41 for identifying which product has been selected. In FIG. 1, of the six identification display units 41, the identification display unit 41 corresponding to product E is displayed with a ●, and the other five identification display units 41 are displayed with a ○, showing an example in which product E is identified as being selected.
このような表示部４０は、全体を表示パネルとして構成することもでき、また、６つの識別表示部４１の部分をランプとして構成することもできる。Such a display unit 40 can be configured as a display panel as a whole, or the six identification display units 41 can be configured as lamps.
自動販売機の利用者である意思表示者１は、自動販売機に設置されたカメラ１０の前に立ち、カメラ１０に向かって現在、選択されている商品の場所にある識別表示部４１の位置を、希望の商品の場所に移動させるように、あらかじめ決められた移動指示動作を行う。あらかじめ決められた移動指示動作の一例としては、指を上下左右の４方向のいずれかに動かす動作が挙げられる。すなわち、意思表示者１は、自動販売機に触れる必要はなく、表示部４０に表示される表示内容を識別できる位置であり、かつ、カメラ１０で指が撮像可能な位置にいればよい。The person expressing their intention 1, who is a user of the vending machine, stands in front of the camera 10 installed on the vending machine and performs a predetermined movement instruction action to face the camera 10 and move the position of the identification display unit 41, which is located at the location of the currently selected product, to the location of the desired product. One example of a predetermined movement instruction action is the action of moving a finger in one of four directions: up, down, left, right. In other words, the person expressing their intention 1 does not need to touch the vending machine, but simply needs to be in a position where the display content displayed on the display unit 40 can be identified and where their finger can be imaged by the camera 10.
入力情報検出部３１は、カメラ１０で撮像された動画像に対して画像処理を施すことで、意思表示者１が指を上下左右の４方向のいずれかに動かす動作が検出できた場合には、あらかじめ決められた移動指示動作として抽出する。そして、表示制御部３２は、入力情報検出部３１による抽出結果に応じて、●の表示位置を上下左右のいずれかに移動させ、現在、選択表示されている商品を変更する。The input information detection unit 31 performs image processing on the video captured by the camera 10, and when it detects the intention expresser 1 moving his/her finger in any of the four directions (up, down, left, right), it extracts this as a predetermined movement instruction action. Then, the display control unit 32 moves the display position of the ● to either up, down, left, or right depending on the extraction result by the input information detection unit 31, and changes the currently selected and displayed product.
すなわち、入力情報検出部３１は、動画像を画像処理することで意思表示者１によるあらかじめ決められた移動指示動作を抽出する。さらに、表示制御部３２は、入力情報検出部３１による抽出結果に応じて表示部４０に表示させる表示画面の表示内容を切り替える表示切り替え処理を実行する。That is, the input information detection unit 31 extracts a predetermined movement instruction action by the intention expressing person 1 by performing image processing on the moving image. Furthermore, the display control unit 32 executes a display switching process that switches the display content of the display screen to be displayed on the display unit 40 according to the extraction result by the input information detection unit 31.
希望の商品が●で表示された状態になると、自動販売機を利用する意思表示者１は、現在、選択表示されている商品を確定するために、あらかじめ決められた確定指示動作を行う。あらかじめ決められた確定指示動作の一例としては、手の形状をチョキ、グーなどの形状にする動作が挙げられる。When the desired product is displayed with a ●, the person 1 expressing their intention to use the vending machine performs a predetermined confirmation instruction action to confirm the currently selected product. One example of a predetermined confirmation instruction action is the action of making a hand shape such as scissors or rock.
入力情報検出部３１は、カメラ１０で撮像された動画像に対して画像処理を施すことで、意思表示者１が手の形状をチョキ、グー等の形状にする動作が検出できた場合には、あらかじめ決められた確定指示動作として抽出する。そして、入力情報検出部３１は、抽出結果に応じて、現在、選択表示されている商品を確定する。The input information detection unit 31 performs image processing on the video captured by the camera 10, and when it detects the intention expresser 1 making a hand shape such as scissors or rock, it extracts this as a predetermined confirmation instruction action. Then, the input information detection unit 31 confirms the currently selected product according to the extraction result.
すなわち、入力情報検出部３１は、動画像を画像処理することで意思表示者１によるあらかじめ決められた確定指示動作を抽出し、抽出結果に応じて表示部４０における現在の表示内容を選択する意思表示を確定する確定処理を実行する。In other words, the input information detection unit 31 performs image processing on the moving image to extract a predetermined confirmation instruction action by the intention expressing person 1, and executes a confirmation process to confirm the intention to select the currently displayed content on the display unit 40 according to the extraction result.
このようにして、制御部３０は、画像処理、表示切り替え処理、および確定処理を実行することで、意思表示者１が伝達したい意思表示内容を特定することができる。すなわち、自動販売機を利用する意思表示者１は、自動販売機に接触することなく、自動販売機とある程度の距離を保った上で、あらかじめ決められた特定の動作を行うことで、所望の商品を選択することができる。In this way, the control unit 30 can identify the content of the intention expression that the intention expression person 1 wants to convey by executing image processing, display switching processing, and confirmation processing. In other words, the intention expression person 1 who uses the vending machine can select the desired product by performing a predetermined specific action without touching the vending machine and while maintaining a certain distance from the vending machine.
実施の形態２．
本実施の形態２では、本開示に係る非接触入力装置を要介護者等の意思表示に適用する場合について説明する。人工呼吸器、点滴などの医療機器が身体に取り付けられている患者、あるいは身体障がい者が意思表示者１である場合には、体の一部分しか動かすことができない状況、あるいは音声を発することができない状況が考えられる。 Embodiment 2.
In the second embodiment, a case will be described in which the non-contact input device according to the present disclosure is applied to the expression of will of a person requiring care, etc. When the person expressing his/her will 1 is a patient with medical equipment such as an artificial respirator or an IV attached to his/her body, or a physically disabled person, it is possible that he/she is in a situation in which he/she can only move a part of his/her body or cannot make a sound.
このため、非接触タイプのタッチパネル、光学センサ、音声認識等を入力手段として使用することは、困難である。これに対して、本開示のように、カメラ１０を活用する場合には、意思表示者１が動かすことが可能な部分の、わずかな動きを利用して選択入力が可能となる。従って、上述したような患者あるいは身体障がい者が意思表示者１である場合にも、本開示に係る非接触入力装置を容易に適用することができる。For this reason, it is difficult to use non-contact touch panels, optical sensors, voice recognition, etc. as input means. In contrast, when using a camera 10 as in the present disclosure, selective input is possible using slight movements of parts of the body that the person expressing their intention 1 can move. Therefore, the non-contact input device according to the present disclosure can be easily applied even when the person expressing their intention 1 is a patient or a physically disabled person as described above.
図２は、本開示の実施の形態２に係る非接触入力装置を要介護者の意思表示に適用した場合の全体構成図である。Figure 2 is an overall configuration diagram of a non-contact input device according to embodiment 2 of the present disclosure when applied to the expression of intent of a person requiring care.
図２に示した本実施の形態２に係る非接触入力装置は、ベッド２上に寝ている意思表示者１を撮像するカメラ１０、カメラ１０で取得した動画像を記憶する動画像メモリ２０、画像処理および表示制御を実行する制御部３０、および制御部３０による表示制御に基づいて表示画面を切り替えて表示する表示部４０を備えて構成されている。The non-contact input device according to the second embodiment shown in FIG. 2 is configured with a camera 10 that captures an image of a person expressing his/her intention 1 lying on a bed 2, a video memory 20 that stores video images acquired by the camera 10, a control unit 30 that performs image processing and display control, and a display unit 40 that switches and displays the display screen based on the display control by the control unit 30.
表示部４０は、ベッド２上に寝ている患者である意思表示者１が視認可能な位置に設けられており、意思表示者１が意思を伝達したいメッセージを選択する際に視認する表示画面が表示部４０に表示される。図１においては、「苦しい」というメッセージが表示された表示画面１と、「水がほしい」というメッセージが表示された表示画面２のいずれか一方が表示されている状態を示している。The display unit 40 is provided in a position where it can be seen by the will expresser 1, who is a patient lying on the bed 2, and a display screen that the will expresser 1 can see when selecting a message to convey is displayed on the display unit 40. Figure 1 shows a state in which either the display screen 1, which displays the message "I'm in pain," or the display screen 2, which displays the message "I want some water."
すなわち、本実施の形態２に係る非接触入力装置では、「苦しい」あるいは「水がほしい」といった、あらかじめ決められた意思疎通文章４２を切り替え表示できる構成を有している。なお、図２においては、「苦しい」というメッセージが表示された表示画面１と、「水がほしい」というメッセージが表示された表示画面２の２つの表示画面を選択できる構成を例示しているが、異なるメッセージによる表示画面をさらに設けることも可能である。That is, the non-contact input device according to the second embodiment has a configuration that allows the display of predetermined communication sentences 42, such as "painful" or "I want water," to be switched. Note that FIG. 2 illustrates a configuration that allows the selection of two display screens, display screen 1 displaying the message "painful" and display screen 2 displaying the message "I want water," but it is also possible to provide further display screens with different messages.
また、１画面内に複数の意思疎通文章４２を表示させた上で、先の実施の形態１で示したように、識別表示部４１を用いて識別表示させることも可能である。It is also possible to display multiple communication sentences 42 on one screen and then use the distinguishable display unit 41 to distinguish them, as shown in the first embodiment above.
このような表示部４０は、複数の表示画面を備えた表示パネルとして構成することもでき、また、識別表示部４１をランプとして構成することもできる。Such a display unit 40 can be configured as a display panel with multiple display screens, and the identification display unit 41 can be configured as a lamp.
ベッド２上の意思表示者１は、ベッド２上からカメラ１０に向かって現在選択表示されている表示画面を、希望の表示画面に変更させるように、あらかじめ決められた移動指示動作を行う。あらかじめ決められた移動指示動作の一例としては、指を上下の２方向のいずれかに動かす動作が挙げられる。The person expressing their intention 1 on the bed 2 performs a predetermined movement instruction action so as to change the currently selected and displayed display screen from the bed 2 toward the camera 10 to a desired display screen. One example of a predetermined movement instruction action is the action of moving a finger in either of two directions, up or down.
入力情報検出部３１は、カメラ１０で撮像された動画像に対して画像処理を施すことで、意思表示者１が指を上下の２方向のいずれかに動かす動作が検出できた場合には、あらかじめ決められた移動指示動作として抽出する。そして、表示制御部３２は、入力情報検出部３１による抽出結果に応じて、表示画面１と表示画面２との切り替え表示を行う。The input information detection unit 31 performs image processing on the video captured by the camera 10, and when it detects the intention expresser 1 moving his/her finger in either of the two directions, up or down, it extracts this as a predetermined movement instruction motion. Then, the display control unit 32 switches the display between the display screen 1 and the display screen 2 according to the extraction result by the input information detection unit 31.
すなわち、入力情報検出部３１は、動画像を画像処理することで意思表示者１によるあらかじめ決められた移動指示動作を抽出する。さらに、表示制御部３２は、入力情報検出部３１による抽出結果に応じて表示部４０に表示させる表示画面の表示内容を切り替える表示切り替え処理を実行する。That is, the input information detection unit 31 extracts a predetermined movement instruction action by the intention expressing person 1 by performing image processing on the moving image. Furthermore, the display control unit 32 executes a display switching process that switches the display content of the display screen to be displayed on the display unit 40 according to the extraction result by the input information detection unit 31.
希望の意思疎通文章４２が表示された状態になると、患者である意思表示者１は、現在、希望の意思疎通文章４２が表示されている表示画面を確定するために、あらかじめ決められた確定指示動作を行う。あらかじめ決められた確定指示動作の一例としては、手の形状をチョキ、グーなどの形状にする動作が挙げられる。When the desired communication sentence 42 is displayed, the patient 1 performs a predetermined confirmation instruction action to confirm the display screen on which the desired communication sentence 42 is currently displayed. One example of a predetermined confirmation instruction action is the action of making a hand shape such as scissors or rock.
入力情報検出部３１は、カメラ１０で撮像された動画像に対して画像処理を施すことで、意思表示者１が手の形状をチョキ、グー等の形状にする動作が検出できた場合には、あらかじめ決められた確定指示動作として抽出する。そして、入力情報検出部３１は、抽出結果に応じて、現在、選択表示されている意思疎通文章４２を確定する。The input information detection unit 31 performs image processing on the video captured by the camera 10, and when it detects the intention expresser 1 making a hand shape such as scissors or rock, it extracts this as a predetermined confirmation instruction action. Then, the input information detection unit 31 confirms the currently selected and displayed communication sentence 42 according to the extraction result.
すなわち、入力情報検出部３１は、動画像を画像処理することで意思表示者１によるあらかじめ決められた確定指示動作を抽出し、抽出結果に応じて表示部４０における現在の表示内容を選択する意思表示を確定する確定処理を実行する。In other words, the input information detection unit 31 performs image processing on the moving image to extract a predetermined confirmation instruction action by the intention expressing person 1, and executes a confirmation process to confirm the intention to select the currently displayed content on the display unit 40 according to the extraction result.
このようにして、制御部３０は、画像処理、表示切り替え処理、および確定処理を実行することで、意思表示者１が伝達したい意思表示内容を所望の意思疎通文章４２として特定することができる。すなわち、意思表示者１は、入力装置に接触することなく、入力装置とある程度の距離を保った上で、あらかじめ決められた特定の動作を行うことで、所望の意思疎通文章４２を選択することができる。In this way, the control unit 30 executes image processing, display switching processing, and confirmation processing to identify the content of the intention expression that the intention expression person 1 wishes to convey as the desired communication sentence 42. In other words, the intention expression person 1 can select the desired communication sentence 42 by performing a predetermined specific action without touching the input device and while maintaining a certain distance from the input device.
換言すると、本実施の形態２に係る非接触入力装置では、ディスプレイとしての表示部４０が付いた本体と、カメラ１０の部分が分離できるようになっている。そして、表示部４０が付いた本体は、患者である意思表示者１の視野に入る位置に設置され、カメラ１０は、患者である意思表示者１の手が映る位置に設置される。In other words, in the non-contact input device according to the second embodiment, the main body with the display unit 40 as a display and the camera 10 can be separated. The main body with the display unit 40 is placed in a position within the field of view of the patient who expresses his/her intention 1, and the camera 10 is placed in a position where the hand of the patient who expresses his/her intention 1 is captured.
さらに、あらかじめ複数の意思疎通文章４２を用意しておき、利用者のわずかな動作だけで所望の意思疎通文章４２の選択を可能としている。この結果、直接文字を入力する場合よりも簡単かつ迅速に意思疎通でき、緊急時等にも有効となる。Furthermore, multiple communication sentences 42 are prepared in advance, allowing the user to select the desired communication sentence 42 with just a few movements. As a result, communication can be made easier and faster than when directly inputting characters, and is also useful in emergencies.
実施の形態３．
先の実施の形態２では、本開示における非接触入力装置を要介護者等の意思表示に適用する際に、図２に示したように、あらかじめ決められた意思疎通文章４２を用いていた。これに対して、本実施の形態３では、意思表示者１によって、任意の文字列による意思表示を可能とする構成を備えた非接触入力装置について説明する。 Embodiment 3.
In the above-described second embodiment, when the non-contact input device of the present disclosure is applied to the expression of intention of a person requiring care or the like, a predetermined communication sentence 42 is used as shown in Fig. 2. In contrast, in the third embodiment, a non-contact input device having a configuration that enables an intention expressing person 1 to express an intention using any character string will be described.
図３は、本開示の実施の形態３に係る非接触入力装置を要介護者の意思表示に適用した場合の全体構成図である。先の実施の形態２における図２の構成と比較すると、本実施の形態３における図３の構成は、表示部４０の表示内容が異なっているとともに、制御部による制御内容が異なっている。そこで、これらの相違点を中心に、以下に説明する。Figure 3 is an overall configuration diagram of a non-contact input device according to embodiment 3 of the present disclosure, when applied to the expression of intent by a person requiring care. Compared to the configuration of Figure 2 in embodiment 2 above, the configuration of Figure 3 in embodiment 3 differs in the display content of the display unit 40 and in the control content by the control unit. Therefore, the following explanation will focus on these differences.
図３に例示した表示部４０には、五十音の一覧表４３とともに、五十音のうちの１つを選択するための選択表示部４４が表示されている。このような表示内容に対して、意思表示者１は、カメラ１０に向かって現在表示されている選択表示部４４の位置を、希望の一音の位置に移動させるように、あらかじめ決められた移動指示動作を行う。あらかじめ決められた移動指示動作の一例としては、指を上下左右の４方向のいずれかに動かす動作が挙げられる。The display unit 40 shown in FIG. 3 displays a list 43 of the Japanese syllabary, along with a selection display section 44 for selecting one of the Japanese syllabary. In response to such display content, the person expressing their intention 1 performs a predetermined movement instruction action to move the position of the selection display section 44 currently displayed toward the camera 10 to the position of the desired sound. One example of the predetermined movement instruction action is the action of moving a finger in one of the four directions: up, down, left, and right.
入力情報検出部３１は、カメラ１０で撮像された動画像に対して画像処理を施すことで、意思表示者１が指を上下左右の４方向のいずれかに動かす動作が検出できた場合には、あらかじめ決められた移動指示動作として抽出する。そして、表示制御部３２は、入力情報検出部３１による抽出結果に応じて、選択表示部４４の表示位置を上下左右のいずれかに移動させ、現在、選択表示部４４によって囲まれている一音を変更する。The input information detection unit 31 performs image processing on the video captured by the camera 10, and when it detects the intention expresser 1 moving his/her finger in any of the four directions (up, down, left, right), it extracts this as a predetermined movement instruction motion. Then, the display control unit 32 moves the display position of the selection display unit 44 to either up, down, left, or right depending on the extraction result by the input information detection unit 31, and changes the sound currently surrounded by the selection display unit 44.
選択表示部４４の表示位置が希望の一音を選択できた状態になると、意思表示者１は、現在の選択表示部４４の表示位置にある一音を選択するために、あらかじめ決められた選択指示動作を行う。あらかじめ決められた選択指示動作の一例としては、手の形状をチョキの形状にする動作が挙げられる。When the display position of the selection display unit 44 reaches a state where the desired sound can be selected, the intention expresser 1 performs a predetermined selection instruction action to select the sound currently displayed in the selection display unit 44. One example of a predetermined selection instruction action is the action of making a scissors shape with one's hand.
入力情報検出部３１は、カメラ１０で撮像された動画像に対して画像処理を施すことで、意思表示者１が手の形状をチョキの形状にする動作が検出できた場合には、あらかじめ決められた選択指示動作として抽出する。そして、入力情報検出部３１は、抽出結果に応じて、現在、選択表示部４４によって囲まれている一音を確定する。The input information detection unit 31 performs image processing on the video captured by the camera 10, and when it detects the intention expresser 1 making a scissors shape with his or her hand, it extracts this as a predetermined selection instruction motion. Then, the input information detection unit 31 confirms the sound currently surrounded by the selection display unit 44 according to the extraction result.
そして、意思表示者は、移動指示動作および選択指示動作を繰り返し、一音を順次選択することで、複数の一音が並んだ時系列データに相当する文字列を選択することができる。Then, the person expressing their intention can select a character string that corresponds to time-series data in which multiple single sounds are lined up by repeating the movement instruction action and the selection instruction action to select one sound in turn.
所望の文字列の選択が完了すると、意思表示者１は、カメラ１０に向かって、あらかじめ決められた確定指示動作を行う。あらかじめ決められた確定指示動作の一例としては、手の形状をグーの形状にする動作が挙げられる。When the desired character string has been selected, the intention expresser 1 performs a predetermined confirmation instruction action toward the camera 10. One example of a predetermined confirmation instruction action is making a fist shape with the hand.
入力情報検出部３１は、カメラ１０で撮像された動画像に対して画像処理を施すことで、意思表示者１が手の形状をグーの形状にする動作が検出できた場合には、あらかじめ決められた確定指示動作として抽出する。そして、入力情報検出部３１は、抽出結果に応じて、意思表示者１によって最終的に確定された文字列を特定することができる。The input information detection unit 31 performs image processing on the video captured by the camera 10, and when it detects the intention expresser 1 making a fist shape with his/her hand, it extracts this as a predetermined confirmation instruction motion. Then, the input information detection unit 31 can identify the character string that is finally confirmed by the intention expresser 1 according to the extraction result.
換言すると、本実施の形態３における表示制御部３２は、動画像を画像処理することで、あらかじめ決められた動作として移動指示動作を抽出した場合には、抽出した移動指示動作に応じて表示部に表示させる選択表示部４４の表示位置を変更することで、表示画面の表示内容を切り替え、表示切り替え処理を実行する。In other words, when the display control unit 32 in the third embodiment extracts a movement instruction action as a predetermined action by image processing the moving image, the display control unit 32 changes the display position of the selection display unit 44 to be displayed on the display unit according to the extracted movement instruction action, thereby switching the display content on the display screen and executing the display switching process.
一方、入力情報検出部３１は、動画像を画像処理することで、あらかじめ決められた動作として選択指示動作を抽出した場合には、選択指示動作が行われたタイミングにおいて表示部に表示された選択表示部４４の表示位置の一音を選択データとして検出する。On the other hand, when the input information detection unit 31 extracts a selection instruction action as a predetermined action by image processing the moving image, it detects as selection data a single sound at the display position of the selection display section 44 displayed on the display unit at the time when the selection instruction action is performed.
そして、入力情報検出部３１は、あらかじめ決められた動作として確定指示動作を抽出できるまで、表示制御部３２による表示切り替え処理と連動して、選択指示動作による検出処理を順次繰り返すことで、所望の文字列を選択する。Then, the input information detection unit 31 selects the desired character string by sequentially repeating the detection process based on the selection instruction action in conjunction with the display switching process by the display control unit 32 until it can extract a confirmation instruction action as a predetermined action.
さらに、入力情報検出部３１は、確定指示動作を行ったタイミングが特定できた場合には、順次検出された前記選択データによる時系列データからなる文字列を、意思表示として確定することで確定処理を実行する。従って、図３のような表示画面を活用することで、意思表示者１は、五十音からなる任意の文字列を用いて意思疎通することが可能となる。Furthermore, when the input information detection unit 31 is able to identify the timing at which the confirmation instruction action was made, it executes a confirmation process by confirming the character string consisting of the time-series data of the sequentially detected selection data as an expression of intention. Therefore, by utilizing a display screen such as that shown in FIG. 3, the intention expresser 1 can communicate using any character string consisting of the Japanese syllabary.
また、本実施の形態３に係る非接触入力装置では、ディスプレイとしての表示部４０が付いた本体と、カメラ１０の部分が分離できるようになっている。そして、表示部４０が付いた本体は、患者である意思表示者１の視野に入る位置に設置され、カメラ１０は、患者である意思表示者１の手が映る位置に設置される。In addition, in the non-contact input device according to the third embodiment, the main body with the display unit 40 as a display and the camera 10 can be separated. The main body with the display unit 40 is placed in a position within the field of view of the patient who expresses his/her intention 1, and the camera 10 is placed in a position where the hand of the patient who expresses his/her intention 1 can be seen.
このように配置されたカメラ１０を使用することにより、手足などを動かすことができる程度の病人、要介護者が、非接触で意思疎通を容易に行うことが可能となる。By using the camera 10 positioned in this way, sick people and people requiring care who can move their arms and legs can easily communicate without contact.
なお、図３で示した五十音の一覧表の代わりに、アルファベット、絵文字などを用いることも可能である。In addition, instead of the list of the Japanese syllabary shown in Figure 3, it is also possible to use the alphabet, pictograms, etc.
また、上述した実施の形態１では、移動指示動作、選択指示動作、確定指示動作のそれぞれを手あるいは指の動作で行う場合について説明したが、本開示は、これに限定されない。意思表示者の制約等に応じて、例えば、目の動き、足の動きなどを利用することも可能である。In addition, in the above-mentioned first embodiment, the case where the movement instruction action, the selection instruction action, and the confirmation instruction action are each performed by hand or finger movements has been described, but the present disclosure is not limited to this. Depending on the constraints of the person expressing their intention, it is also possible to use, for example, eye movements, foot movements, etc.
１０ カメラ、２０ 動画像メモリ、３０ 制御部、３１ 入力情報検出部、３２ 表示制御部、４０ 表示部、４１ 識別表示部、４２ 意思疎通文章、４３ 五十音の一覧表、４４ 選択表示部。10 camera, 20 video memory, 30 control unit, 31 input information detection unit, 32 display control unit, 40 display unit, 41 identification display unit, 42 communication text, 43 hiragana list, 44 selection display unit.
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021105837AJP7595532B2 (en) | 2021-06-25 | 2021-06-25 | Non-contact input device |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021105837AJP7595532B2 (en) | 2021-06-25 | 2021-06-25 | Non-contact input device |
| Publication Number | Publication Date |
|---|---|
| JP2023004254A JP2023004254A (en) | 2023-01-17 |
| JP7595532B2true JP7595532B2 (en) | 2024-12-06 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021105837AActiveJP7595532B2 (en) | 2021-06-25 | 2021-06-25 | Non-contact input device |
| Country | Link |
|---|---|
| JP (1) | JP7595532B2 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006209563A (en) | 2005-01-31 | 2006-08-10 | Victor Co Of Japan Ltd | Interface device |
| JP2008052590A (en) | 2006-08-25 | 2008-03-06 | Toshiba Corp | Interface device and method thereof |
| JP2010534895A (en) | 2007-07-27 | 2010-11-11 | ジェスチャー テック，インコーポレイテッド | Advanced camera-based input |
| WO2015015843A1 (en) | 2013-08-02 | 2015-02-05 | 三菱電機株式会社 | Gesture determination device and method, gesture-operated device, program, and recording medium |
| JP2015202133A (en) | 2014-04-11 | 2015-11-16 | 学校法人 名古屋電気学園 | Communication system and blink determination method |
| JP2017058818A (en) | 2015-09-15 | 2017-03-23 | オムロン株式会社 | Character input method, character input program, and information processing apparatus |
| JP2018032055A (en) | 2015-01-13 | 2018-03-01 | 三菱電機株式会社 | Gesture recognition apparatus and method, program, and recording medium |
| JP2021005220A (en) | 2019-06-26 | 2021-01-14 | 株式会社Ｎｔｔドコモ | Information processing device |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006209563A (en) | 2005-01-31 | 2006-08-10 | Victor Co Of Japan Ltd | Interface device |
| JP2008052590A (en) | 2006-08-25 | 2008-03-06 | Toshiba Corp | Interface device and method thereof |
| JP2010534895A (en) | 2007-07-27 | 2010-11-11 | ジェスチャー テック，インコーポレイテッド | Advanced camera-based input |
| WO2015015843A1 (en) | 2013-08-02 | 2015-02-05 | 三菱電機株式会社 | Gesture determination device and method, gesture-operated device, program, and recording medium |
| JP2015202133A (en) | 2014-04-11 | 2015-11-16 | 学校法人 名古屋電気学園 | Communication system and blink determination method |
| JP2018032055A (en) | 2015-01-13 | 2018-03-01 | 三菱電機株式会社 | Gesture recognition apparatus and method, program, and recording medium |
| JP2017058818A (en) | 2015-09-15 | 2017-03-23 | オムロン株式会社 | Character input method, character input program, and information processing apparatus |
| JP2021005220A (en) | 2019-06-26 | 2021-01-14 | 株式会社Ｎｔｔドコモ | Information processing device |
| Publication number | Publication date |
|---|---|
| JP2023004254A (en) | 2023-01-17 |
| Publication | Publication Date | Title |
|---|---|---|
| CN108351701B (en) | Assistive technology control system and related method | |
| Cannan et al. | Human-machine interaction (HMI): A survey | |
| US12346554B2 (en) | Method and system for gesture and displaying sideline operation | |
| CN114207558B (en) | Hand-worn data input device | |
| KR101597701B1 (en) | Medical technology controller | |
| CN111542800A (en) | Brain-computer interface with adaptation for high speed, accurate and intuitive user interaction | |
| JP2018180840A (en) | Control device for head mounted display, operation method and operation program thereof, and image display system | |
| CN104246661A (en) | Interacting with a device using gestures | |
| JP2024012497A (en) | Communication methods and systems | |
| CN107621777A (en) | Electronic equipment and collection control method | |
| US20140351770A1 (en) | Method and apparatus for immersive system interfacing | |
| JP2016177658A (en) | Virtual input device, input method, and program | |
| US9811170B2 (en) | Wearable input device | |
| JP2000020196A (en) | Eye-gaze input device | |
| US20130227477A1 (en) | Semaphore gesture for human-machine interface | |
| JP7595532B2 (en) | Non-contact input device | |
| KR100859379B1 (en) | Speech support system for the disabled | |
| JP2004301869A (en) | Voice output device and pointing device | |
| Jiang et al. | Integrated gesture recognition based interface for people with upper extremity mobility impairments | |
| JP6393435B1 (en) | Character string input system and method | |
| Nowosielski et al. | Touchless input interface for disabled | |
| Shi et al. | A new gaze-based interface for environmental control | |
| KR20090104147A (en) | Hangul input device and method by means of touch input | |
| Mollenbach | Selection strategies in gaze interaction | |
| Su et al. | An image-based mouth switch for people with severe disabilities |
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20240126 | |
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20240807 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20240820 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20240930 | |
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20241112 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20241126 | |
| R150 | Certificate of patent or registration of utility model | Ref document number:7595532 Country of ref document:JP Free format text:JAPANESE INTERMEDIATE CODE: R150 |