【０００１】[0001]
【産業上の利用分野】本発明は、利用者との対話手段を
複数有し、複雑な操作をより簡単に利用可能とするマル
チモーダル装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a multi-modal device which has a plurality of means for interacting with a user and enables complicated operations to be used more easily.
【０００２】[0002]
【従来の技術】近年、操作性の向上、或いは操作の自由
度の拡大のために、音声入力（音声認識）手段及びタッ
チ入力手段などの複数の入力手段を備えたマルチモーダ
ル装置が各種開発されている。2. Description of the Related Art In recent years, various multimodal devices having a plurality of input means such as a voice input (voice recognition) means and a touch input means have been developed in order to improve operability or increase the degree of freedom of operation. ing.
【０００３】この種のマルチモーダル装置では、選択入
力の対象となる項目の一覧（メニュー）を画面表示し
て、その中から音声入力またはタッチ入力により任意の
項目を入力させるのが一般的である。ここで、項目数が
多い場合には、隣接項目（の表示領域）間の間隔が小さ
くなる。このような場合、タッチ入力では、視差の影響
と指の太さの影響で正確なタッチが不可能となり、利用
者の意図した項目の入力が行い難い。In this type of multi-modal device, it is general that a list (menu) of items to be selected and input is displayed on the screen, and an arbitrary item is input by voice input or touch input. . Here, when the number of items is large, the interval between (the display areas of) the adjacent items is small. In such a case, in touch input, an accurate touch is impossible due to the influence of parallax and the thickness of the finger, and it is difficult to input the item intended by the user.
【０００４】そこで従来のマルチモーダル装置では、画
面表示する項目数が多い場合には、多項目からの項目選
択に適していないタッチ入力手段からの入力を受け付け
ないなどの制限を加えるとか、１回に画面表示する項目
数を少なくして、その項目については、音声入力及びタ
ッチ入力の両入力を可能とするなどの方式が採られてい
た。Therefore, in the conventional multi-modal device, when the number of items to be displayed on the screen is large, a limitation such as not accepting an input from the touch input means which is not suitable for selecting items from a large number of items, or once A method has been adopted in which the number of items displayed on the screen is reduced, and both voice input and touch input are possible for that item.
【０００５】しかし、前者の方式では、タッチ入力手段
による項目入力は受け付けられないいことから、利用者
の操作の自由度に乏しく、また項目が画面表示されてい
るために利用者が誤ってタッチ入力操作を行う可能性が
あり、しかもその操作は無駄になるという問題があっ
た。一方、後者の方式では、対象となる項目数に影響さ
れずに項目入力が行えるという音声入力手段の特長を十
分に生かせないという問題があった。However, in the former method, since it is difficult to accept the item input by the touch input means, the degree of freedom of the user's operation is poor, and since the item is displayed on the screen, the user accidentally touches it. There is a problem that the input operation may be performed and the operation is useless. On the other hand, the latter method has a problem in that the feature of the voice input means that the item can be input without being influenced by the number of target items cannot be fully utilized.
【０００６】また、音声入力では、利用者によっては音
声認識でのリジェクトや認識誤りが発生し易く、このよ
うな利用者は、その後どうしたらよいか迷ってしまう
が、従来のマルチモーダル装置では、そのような利用者
に対する配慮はなされていなかった。[0006] Further, in voice input, a reject or a recognition error in voice recognition is likely to occur depending on a user, and such a user wonders what to do after that, but in the conventional multi-modal device, No consideration was given to such users.
【０００７】[0007]
【発明が解決しようとする課題】上記したように、従来
のマルチモーダル装置では、複数の入力手段の連携が必
ずしもうまくとれる構成となっておらず、有効に機能し
ていなかった。即ち従来のマルチモーダル装置では、複
数の入力手段が存在するがために、利用者にとっては、
どの入力手段を用いて、どのように操作してよいのか分
かり難かったり、利用者に対する操作説明に時間がかか
ったり、異なる入力手段で同様の項目を入力させるため
に互いに入力機能の制限を加える結果となることも多
く、必ずしも使い易いものではなかった。As described above, in the conventional multi-modal device, the plurality of input means are not necessarily arranged to work well together and do not function effectively. That is, in the conventional multi-modal device, since there are a plurality of input means, for the user,
It is difficult to understand which input method should be used and how to operate it, it takes time to explain the operation to the user, and the result of adding mutual input function restrictions in order to input similar items with different input means In many cases, it was not always easy to use.
【０００８】本発明は上記事情を考慮してなされたもの
でその目的は、異なる入力手段である音声入力手段とタ
ッチ入力手段との連携を各入力手段の特長を生かすよう
にとることができ、もって利用者の入力操作が容易且つ
確実に行える使い勝手の良いマルチモーダル装置を提供
することにある。The present invention has been made in consideration of the above circumstances, and an object thereof is to make it possible to take advantage of the features of each input means by coordinating voice input means and touch input means which are different input means, Therefore, it is an object of the present invention to provide a multi-modal device which is easy to use and can be reliably operated by a user and is easy to use.
【０００９】[0009]
【課題を解決するための手段及び作用】本発明のマルチ
モーダル装置は、表示手段に表示した複数の選択項目か
らなメニューが所定のメニュー（予め定められた特定の
メニュー）の場合には、当該メニューの中で前記タッチ
入力手段により指定入力可能な項目を限定し、タッチ入
力手段により指定入力可能な項目の数を音声入力手段に
より入力可能な項目よりも少なく設定することを特徴と
するものである。In the multimodal device of the present invention, when the menu consisting of a plurality of selection items displayed on the display means is a predetermined menu (predetermined specific menu), In the menu, the items that can be designated and input by the touch input means are limited, and the number of items that can be designated and input by the touch input means is set to be smaller than the number of items that can be input by the voice input means. is there.
【００１０】このような構成においては、所定メニュー
上に多数の項目が含まれていても、視差の影響と指の太
さの影響で正確なタッチ入力が不可能となるような表示
領域の小さい項目についてのみ、タッチ入力手段による
指定入力の対象外として扱うことにより、他の表示領域
の大きい項目についてはタッチ入力手段により正しく指
定入力することが可能となる。また、音声入力手段は、
タッチ入力手段に対してなされた入力可能項目の制限の
影響を受けず、したがって多項目からの項目選択に適し
ているという音声入力手段の特長も生かせる。In such a structure, even if a large number of items are included in the predetermined menu, the display area is small so that accurate touch input is impossible due to the influence of parallax and the thickness of the finger. By treating only the items as the target of the designation input by the touch input unit, it becomes possible to correctly designate and input by the touch input unit other items having a large display area. Also, the voice input means is
The feature of the voice input means that the touch input means is not affected by the limitation of the inputtable items and is suitable for item selection from multiple items can also be used.
【００１１】また本発明は、上記所定メニュー中の項目
を分類して表示し、各分類を代表する項目については、
音声入力手段及びタッチ入力手段のいずれからも入力可
能として扱い、各分類に属する項目については、音声入
力手段からのみ入力可能として扱うことも特徴とし、更
に分類を代表する項目が、音声入力手段またはタッチ入
力手段から入力された場合には、当該分類に属する項目
が上記所定メニュー中の同じ項目より大きいサイズに設
定された下位層のメニューを表示して、この表示された
下位層のメニュー中の項目をタッチ入力手段から入力可
能として扱うことも特徴とする。Further, according to the present invention, the items in the above-mentioned predetermined menu are classified and displayed.
It is characterized that it is possible to input from both the voice input means and the touch input means, and the items belonging to each category are treated as input only from the voice input means. When input from the touch input means, a lower-layer menu in which items belonging to the category are set to a size larger than the same item in the predetermined menu is displayed, and the menu in the displayed lower-layer menu is displayed. It is also characterized in that the item is treated as being inputtable from the touch input means.
【００１２】このようにすることにより、分類を代表す
る項目については、初めからタッチ入力手段による入力
も行え、また、その代表項目が音声入力またはタッチ入
力されたならば、対応する分類に属する項目をタッチ入
力手段から入力することも可能となる。By doing so, the items representative of the classification can be input by the touch input means from the beginning, and if the representative item is voice-inputted or touch-inputted, the item belonging to the corresponding classification is selected. It is also possible to input from the touch input means.
【００１３】また本発明は、上記所定メニュー中に、分
類に属する項目が１つだけで、それが当該分類を代表す
る項目となっているものを含め、この項目については、
タッチ入力手段からも入力可能として扱うことも特徴と
する。Further, according to the present invention, in the above-mentioned predetermined menu, there is only one item belonging to a category, which is an item representative of the category.
It is also characterized in that it is possible to input from the touch input means.
【００１４】このような構成においては、選択される頻
度の高い項目を、上記所定メニュー上で分類に属する唯
一の項目として扱うことにより、当該項目をタッチ入力
によっても１回で選択することが可能となる。In such a configuration, by treating the item that is frequently selected as the only item belonging to the category on the predetermined menu, it is possible to select the item once by touch input. Becomes
【００１５】また本発明は、音声入力手段によって入力
可能な項目を表示せずに、或いは一部のみを表示して、
音声入力手段からの項目入力の受け付けを行い、入力音
声に対して音声認識処理でリジェクトが発生もしくは所
定回数続いた場合、認識結果に対する訂正要求が入力さ
れた場合、或いは所定時間内に入力がなされない場合の
いずれかに該当する場合には、タッチ入力手段による指
定入力の対象となる項目を総て表示して、タッチ入力手
段からの項目入力の受け付けに切り換えることもを特徴
とする。In the present invention, the items that can be input by the voice input means are not displayed, or only a part of them is displayed,
When an item input from the voice input means is accepted, a voice recognition process rejects the input voice or continues for a predetermined number of times, a correction request for the recognition result is input, or no input is made within a predetermined time. If either of the cases is not satisfied, all the items to be designated and input by the touch input means are displayed, and it is switched to acceptance of item input from the touch input means.
【００１６】このような構成によれば、入力音声が正し
く音声認識され難い傾向にある利用者、或いは音声の入
力操作に迷って音声入力動作を起こさない利用者にとっ
ては、自動的にタッチ入力が可能な状態に切り換えられ
るため、直ちにタッチ入力操作を行うことが可能とな
る。また、音声入力手段による入力が可能な項目の総て
が表示されるのではないため、本発明が駅の券売機に適
用される場合のように、入力すべき項目（駅名）を利用
者が予め分かっているような場合には、その利用者に対
し、総ての項目を表示する場合に比べて煩雑な印象を与
えることが防止できる。With such a configuration, touch input is automatically performed for a user who tends to have difficulty in correctly recognizing an input voice, or for a user who does not make a voice input operation due to a voice input operation. Since the state is switched to the possible state, it is possible to immediately perform the touch input operation. Moreover, since not all the items that can be input by the voice input means are displayed, the user can input the item (station name) to be input as in the case where the present invention is applied to a ticket vending machine at a station. In the case where it is known in advance, it is possible to prevent the user from feeling more complicated than when displaying all items.
【００１７】また、入力可能な項目を総て表示した場合
に、上記のようにタッチ入力手段からの項目入力の受け
付けに切り換えないで、音声入力手段からの項目入力の
受け付けを継続するようにしても良い。このような構成
では、入力すべき項目を利用者が確実に把握していない
ような場合に、利用者の音声入力の手助けとすることが
できる。When all the inputtable items are displayed, the item input from the voice input means is continued to be accepted instead of switching to the item input from the touch input means as described above. Is also good. With such a configuration, when the user does not surely understand the item to be input, the user can assist the voice input.
【００１８】[0018]
［第１実施例］以下、本発明の第１実施例を、ハンバー
ガショップの注文機に用いるマルチモーダル装置に適用
した場合を例に、図面を参照して説明する。[First Embodiment] A first embodiment of the present invention will be described below with reference to the drawings, taking as an example a case where the present invention is applied to a multimodal device used in a hamburger shop ordering machine.
【００１９】図１は同実施例に係るマルチモーダル装置
の概略構成を示すブロック図である。図１に示すマルチ
モーダル装置は、音声入力部１１、表示部１２、制御部
１３、音声認識部１４、タッチ入力部１５、音声出力部
１６及び接近検知部１７から構成される。FIG. 1 is a block diagram showing a schematic configuration of the multimodal device according to the embodiment. The multimodal device shown in FIG. 1 includes a voice input unit 11, a display unit 12, a control unit 13, a voice recognition unit 14, a touch input unit 15, a voice output unit 16, and an approach detection unit 17.
【００２０】音声入力部１１は、利用者が発声した音声
を入力するために用いられるもので、例えばマイクロホ
ンが内蔵されたハンドセット型音声入力装置などであ
る。表示部１２は、各種選択項目（入力項目）からなる
メニュー及び各種メッセージ等の表示に用いられるもの
で、例えばＣＲＴディスプレイ、或いは液晶ディスプレ
イなどである。The voice input unit 11 is used to input a voice uttered by the user, and is, for example, a handset type voice input device having a built-in microphone. The display unit 12 is used to display a menu including various selection items (input items) and various messages, and is, for example, a CRT display or a liquid crystal display.
【００２１】制御部１３は、表示部１２及び音声出力部
１６を通して利用者との対話を管理・制御するものであ
る。制御部１３は、接近検知部１７の検知結果に従う表
示部１２への初期画面の表示、音声認識部１４の音声認
識による入力並びにタッチ入力部１５からのタッチ入力
の受付け制御、受付けた入力内容（と現在の状態）に従
う表示画面の切り換え、及び表示部１２並びに音声出力
部１６へのメッセージ出力等を司る。The control unit 13 manages and controls the dialogue with the user through the display unit 12 and the voice output unit 16. The control unit 13 displays the initial screen on the display unit 12 according to the detection result of the approach detection unit 17, controls the reception of the voice recognition of the voice recognition unit 14 and the touch input from the touch input unit 15, and the received input contents ( And switching of display screens according to the current state), message output to the display unit 12 and the voice output unit 16, and the like.
【００２２】音声認識部１４は、音声入力部１１から入
力された音声の認識処理を司る。タッチ入力部１５は、
例えば表示部１２の表示面に重ねて用いられるタッチパ
ネルを有している。タッチ入力部１５は、利用者が表示
部１２上の表示画面を見て所望の項目の表示位置を表示
面に重ねられたタッチパネル上でタッチする（指等で触
れる）ことにより、そのタッチ位置を静電容量の変化、
赤外線の遮蔽、重力の変化などを利用して検知して入力
するものである。このタッチ入力部１５により入力され
た位置情報に相当する項目が何であるかは、即ち利用者
により選択（入力）された項目が何であるかは、その位
置情報と表示中の画面の構成情報をもとに、制御部１３
により認識されるものであるが、ここでは説明を簡単に
するために、タッチ入力部１５により項目が指定入力さ
れるものとする。The voice recognition unit 14 controls the recognition process of the voice input from the voice input unit 11. The touch input unit 15 is
For example, it has a touch panel that is used by being superimposed on the display surface of the display unit 12. The touch input unit 15 allows the user to look at the display screen on the display unit 12 and touch the display position of a desired item on the touch panel overlaid on the display surface (touch it with a finger or the like) to determine the touch position. Change in capacitance,
It is used to detect and input by utilizing the shielding of infrared rays and changes in gravity. What is the item corresponding to the position information input by the touch input unit 15, that is, what is the item selected (input) by the user is based on the position information and the configuration information of the screen being displayed. Based on the control unit 13
However, in order to simplify the description, it is assumed here that items are designated and input by the touch input unit 15.
【００２３】音声出力部１６は、音声によるメッセージ
等の出力に用いられるもので、例えばスピーカである。
接近検知部１７は、利用者が本装置に接近したことを検
出するものであり、例えば光学的なセンサである。The voice output unit 16 is used for outputting a message or the like by voice and is, for example, a speaker.
The approach detector 17 detects that the user approaches the apparatus, and is, for example, an optical sensor.
【００２４】次に図１の構成のマルチモーダル装置の利
用手順の一例を、図２及び図３のフローチャートと図４
乃至図６の表示画面例を参照して説明する。まず、利用
者が本装置に近づくと（ステップ２０１）、その旨が接
近検知部１７により検知されて（ステップ２０２）、制
御部１３に通知される。Next, an example of a procedure for using the multimodal device having the configuration of FIG. 1 will be described with reference to the flowcharts of FIGS. 2 and 3 and FIG.
It will be described with reference to the display screen example of FIG. First, when the user approaches the apparatus (step 201), the fact is detected by the approach detection unit 17 (step 202), and the control unit 13 is notified.
【００２５】すると制御部１３は、図４に示すような注
文用の表示画面（初期品名表）を表示部１２に表示する
（ステップ２０３）。この図４に示す表示画面は、多数
の注文項目を符号４０１〜４０６に示す６つの分類に分
けて表示するための画面構造を有している。図４の表示
画面例では、分類４０１〜４０６を代表する項目（分類
項目）として、「ハンバーガ」、「ジュース」、「スナ
ック」、「クールドリンク」、「カツカレー」、「ホッ
トドリンク」が用いられている。画面下方には、利用者
の注文内容（に対する認識結果）を表示するための領域
（＜ご注文＞欄）が確保されている。図では、注文内容
として「チーズバーガ １個」が示されているが、実際
には、利用者が注文をし、その内容が認識された際に表
示されるものである。また、この領域の右端には、注文
の終了をタッチ入力により指示するための「確認」ボタ
ン４０７が表示されている。なお、品名（項目）を示す
文字列の他に、対応する品物の特徴を表した絵（マー
ク）を添えて、その品物の内容を分かり易くすること可
能である。Then, the control unit 13 causes the display unit 12 to display an order display screen (initial item name table) as shown in FIG. 4 (step 203). The display screen shown in FIG. 4 has a screen structure for displaying a large number of order items divided into six categories indicated by reference numerals 401 to 406. In the display screen example of FIG. 4, “hamburger”, “juice”, “snack”, “cool drink”, “cutlet curry”, and “hot drink” are used as items (classification items) representative of the categories 401 to 406. ing. In the lower part of the screen, an area (<Order> column) for ensuring (a recognition result for) the order contents of the user is secured. In the figure, "one cheeseburger" is shown as the order content, but in reality, it is displayed when the user places an order and the content is recognized. Further, at the right end of this area, a "confirm" button 407 for instructing the end of the order by touch input is displayed. In addition to the character string indicating the item name (item), a picture (mark) showing the characteristic of the corresponding item can be attached to make the content of the item easy to understand.
【００２６】図４に示した表示画面では、利用者は音声
入力部１１を用いて音声による項目入力で注文すること
も、画面中の所望の項目の表示領域に相当するタッチ入
力部１５（のタッチパネル上）の位置（以下、単に項目
の領域と呼ぶ）を指で触れて（タッチして）注文するこ
とも可能である。On the display screen shown in FIG. 4, the user can place an order by voice-based item input using the voice input unit 11, or the touch input unit 15 (of the touch input unit 15 corresponding to the display region of the desired item on the screen). It is also possible to place an order by touching (touching) a position (on the touch panel) (hereinafter, simply referred to as an item area) with a finger.
【００２７】但し、音声による項目入力であれば、分類
４０１〜４０６に属する項目（品名）を１回の発声で特
定できるものの、タッチ入力部１５を用いた場合には、
最初は分類項目しか指定入力できず、１回のタッチ入力
では、所望の項目（品名）を特定できないようになって
いる。However, in the case of inputting items by voice, although the items (article names) belonging to the classifications 401 to 406 can be specified with one utterance, when the touch input unit 15 is used,
Initially, only classification items can be designated and input, and a single touch input cannot specify a desired item (product name).
【００２８】このように、１回のタッチ入力で目的の項
目を特定できない理由は、表示部１２として通常の小画
面のディスプレイを用いた場合には、図４の例のように
項目数が多いと、項目（の表示領域）のサイズ及び隣接
項目（の表示領域）間の間隔が小さくなり、視差の影響
と指の太さの影響で正確なタッチが不可能となることに
よる。このため本実施例では、分類項目をタッチした場
合には（後述するような特別の分類項目の場合を除
き）、その分類のみを大きく画面表示して、その分類に
属する項目（品名）をタッチ入力できるようにしてい
る。As described above, the reason why the target item cannot be specified by one touch input is that the number of items is large when an ordinary small screen display is used as the display unit 12, as in the example of FIG. The size of the item (display area of the item) and the interval between (display areas of) the adjacent items become small, and accurate touch is impossible due to the influence of parallax and the thickness of the finger. Therefore, in this embodiment, when a category item is touched (except for a special category item as described later), only that category is displayed on a large screen and an item (article name) belonging to that category is touched. I am able to enter.
【００２９】具体的には、利用者は、音声入力部１１に
内蔵のマイクロホンに例えば「チーズバーガ」「１個」
と発声して（ステップ２０４）注文しても良いし、タッ
チ入力部１５上で「チーズバーガ」等を代表する分類項
目である「ハンバーガ」の領域（分類４０１の領域）を
触れる（ステップ２０９）ようにしても良い。Specifically, the user uses, for example, "cheeseburger""one" in the microphone built in the voice input unit 11.
You may make an order by saying (step 204) or touch the area of “hamburger” (classification 401 area), which is a classification item representing “cheeseburger” etc., on the touch input unit 15 (step 209). You can
【００３０】利用者が発声した音声は音声入力部１１に
より入力される。音声認識部１４は、音声入力部１１に
より入力された音声の認識処理を行い、その認識結果を
制御部１３に渡す。The voice uttered by the user is input by the voice input unit 11. The voice recognition unit 14 performs a recognition process of the voice input by the voice input unit 11, and passes the recognition result to the control unit 13.
【００３１】一方、利用者がタッチした項目の位置情報
はタッチ入力部１５により入力されて、制御部１３に渡
される。制御部１３は、この位置情報と表示中の画面の
構成情報をもとに、利用者が入力指定（選択）した項目
を認識する。On the other hand, the position information of the item touched by the user is input by the touch input unit 15 and passed to the control unit 13. The control unit 13 recognizes the item input (selected) by the user based on the position information and the configuration information of the screen being displayed.
【００３２】さて上記の例において、音声による注文で
は、それが音声認識部１４にて正しく認識されるなら
ば、「チーズバーガ」を１回の発声で特定できる。これ
に対して、タッチ入力による注文では、前記した理由で
１回のタッチでは特定できない。そこで制御部１３は、
上記の例のように「ハンバーガ」という分類４０１の領
域がタッチされた場合には、図５に示すような「ハンバ
ーガ」の分類に属する項目がタッチ入力可能なように拡
大された表示画面を、表示部１２に表示する（ステップ
２１０）。In the above example, in the case of voice order, if it is correctly recognized by the voice recognition section 14, "cheeseburger" can be specified by one utterance. On the other hand, in the case of an order by touch input, it cannot be specified by one touch for the above-mentioned reason. Therefore, the control unit 13
When the area of the category 401 of “hamburger” is touched as in the above example, the display screen enlarged so that items belonging to the category of “hamburger” as shown in FIG. It is displayed on the display unit 12 (step 210).
【００３３】この図５に示す表示画面は、符号５０１に
示すように、「ハンバーガ」の分類を大きく表示するた
めの画面構造を有している。また当該画面には、注文品
の個数をタッチ入力により指定するための個数入力領域
５０２が確保されている。この個数入力領域５０２に
は、注文の取消を指示するための「取消」ボタン５０３
が設けられている。また、画面下方には、利用者の注文
内容の表示領域が確保されている。図では、注文内容と
して「チーズバーガ １個」が示されているが、実際に
は、利用者が注文をし、その内容が認識された際に表示
されるものである。また、この領域の右端には、注文の
追加をタッチ入力により指示するための「追加」ボタン
５０４と、注文の終了をタッチ入力により指示するため
の「確認」ボタン５０５が表示されている。As shown by reference numeral 501, the display screen shown in FIG. 5 has a screen structure for displaying a large classification of "hamburgers". In addition, a quantity input area 502 for designating the number of ordered items by touch input is secured on the screen. In the quantity input area 502, a “Cancel” button 503 for instructing to cancel the order.
Is provided. Further, a display area for the user's order contents is secured at the bottom of the screen. In the figure, "one cheeseburger" is shown as the order content, but in reality, it is displayed when the user places an order and the content is recognized. At the right end of this area, an "add" button 504 for instructing addition of an order by touch input and a "confirm" button 505 for instructing the end of order by touch input are displayed.
【００３４】利用者は、図５に示す表示画面が表示され
ると、「ハンバーガ」の分類５０１中の所望の項目（品
名）、例えば「チーズバーガ」をタッチし、続いて個数
入力領域５０２上で、例えば「１」「個」とタッチする
ことによって（ステップ２１１）、タッチ入力部１５か
ら注文を行うことができる。When the display screen shown in FIG. 5 is displayed, the user touches a desired item (article name) in the category 501 of “hamburger”, for example, “cheeseburger”, and then on the number input area 502. For example, by touching "1" or "piece" (step 211), an order can be placed from the touch input unit 15.
【００３５】制御部１３は、このタッチ入力結果から、
利用者の注文した品と個数を認識する。ここで、例えば
ジュースを追加注文したい場合には、利用者はまず、
「追加」ボタン５０４をタッチする（ステップＳ３０
１）。すると制御部１３は、再び図４に示した表示画面
を表示する（ステップ３０２）。The control unit 13 determines from the touch input result that
Recognize the items ordered by the user and the quantity. Here, for example, if you want to order additional juice, the user first
Touch the “Add” button 504 (step S30
1). Then, the control unit 13 displays the display screen shown in FIG. 4 again (step 302).
【００３６】次にこの状態で、利用者が、「オレンジジ
ュース」等を代表する分類項目である「ジュース」の領
域（分類４０２の領域）をタッチすると（ステップ３０
３）、制御部１３は、「ジュース」の分類に属する項目
がタッチ入力可能なように拡大された（図５と同様の構
造の）表示画面を表示部１２に表示する（ステップ３０
４）。Next, in this state, the user touches the area of "juice" (area of classification 402) which is a classification item representing "orange juice" and the like (step 30).
3) The control unit 13 displays on the display unit 12 a display screen (having the same structure as that in FIG. 5) in which items belonging to the “juice” category are enlarged so that they can be touch-input (step 30).
4).
【００３７】ここで利用者が、希望の品名と個数とを、
例えば「オレンジジュース」「１」「個」の各領域をタ
ッチすることによって指定入力すると（ステップ３０
５）、制御部１３は、「オレンジジュース １個」が追
加注文されたことを認識する。Here, the user specifies the desired product name and quantity,
For example, when designation is input by touching each area of "orange juice", "1", and "piece" (step 30).
5) The control unit 13 recognizes that "one orange juice" has been additionally ordered.
【００３８】また、「オレンジジュース １個」を追加
した状態で、先に注文した「チーズバーガ」を「取消」
したい場合は、利用者はまず、図５の画面上の「追加」
ボタン５０４をタッチした場合（ステップ３０１）と同
様に、「ジュース」の分類の表示画面上の「追加」ボタ
ンをタッチする（ステップ３０６）。すると、制御部１
３により、図４の表示画面が再表示される（ステップ３
０７）。[Cancel] the "cheeseburger" ordered earlier with "1 orange juice" added.
In order to do so, the user first needs to "Add" on the screen shown in FIG.
Similarly to the case where the button 504 is touched (step 301), the “add” button on the display screen of the “juice” classification is touched (step 306). Then, the control unit 1
3, the display screen of FIG. 4 is displayed again (step 3
07).
【００３９】ここで利用者が、「ハンバーガ」という分
類４０１の領域をタッチすると（ステップ３０８）、図
５の表示画面が再表示される（ステップ３０９）。利用
者が、この状態で「チーズバーガ」「取消」とタッチす
ると（ステップ３１０）、制御部１３は、先に受け付け
た「チーズバーガ １個」の注文の取消を行う。When the user touches the area of the category 401 called "hamburger" (step 308), the display screen of FIG. 5 is displayed again (step 309). When the user touches "cheeseburger" and "cancel" in this state (step 310), the control unit 13 cancels the order of "one cheeseburger" received earlier.
【００４０】そして、利用者が注文をし終えたと判断し
たならば、「確認」ボタン５０５をタッチする（ステッ
プ３１１）。これにより制御部１３は、利用者からの注
文受け付けを終了する。If the user determines that the order has been completed, he touches the "confirm" button 505 (step 311). As a result, the control unit 13 finishes accepting the order from the user.
【００４１】なお、図５中の＜ご注文＞欄の注文内容
「チーズバーガ １個」を１つの入力項目として扱える
ようにし、この「チーズバーガ １個」の領域と、「取
消」ボタン５０３とを連続してタッチすることにより、
注文済みの「チーズバーガ」の取消を行うようにしても
良い。この場合、利用者による取消の操作手順が簡略化
される。The order content "1 piece of cheeseburger" in the <Order> column in FIG. 5 can be handled as one input item, and the area of "1 piece of cheeseburger" and the "Cancel" button 503 are connected in succession. And touch
It is also possible to cancel the ordered “cheeseburger”. In this case, the operation procedure of cancellation by the user is simplified.
【００４２】一方、音声入力の場合の「オレンジジュー
ス」の追加注文であれば、（タッチ入力による追加注文
と異なって）利用者は単に「オレンジジュース」「１
個」と発声する（ステップ２０５）だけで良い。また、
先に注文した「チーズバーガ」を取消する場合は、例え
ば「チーズバーガ」「取消」と発声する（ステップ２０
６）だけで良い。ここで注文の終了指示は、「確認」と
発声しても（ステップ２０７）、「確認」ボタンをタッ
チしても（ステップ２０８）行える。On the other hand, in the case of an additional order for “orange juice” in the case of voice input, the user simply (“unlike the additional order by touch input”) simply “orange juice” “1.
All you have to do is say "individual" (step 205). Also,
To cancel the previously ordered "cheeseburger", say, for example, "cheeseburger" or "cancel" (step 20).
6) is enough. Here, the order end instruction can be issued either by saying "confirm" (step 207) or by touching the "confirm" button (step 208).
【００４３】なお、図４の例では、多数の注文項目を６
つの分類４０１〜４０６に分けて表示しているが、「カ
ツカレー」のように、１つの品名（項目）をそのまま分
類項目（分類を代表する項目）とした場合には、他の
「ハンバーガ」などの分類項目と異なり、その分類項目
「カツカレー」（の領域）をタッチするだけで、１つに
特定することが可能となる。In the example of FIG. 4, a large number of order items are 6
Although it is divided and displayed in one of the categories 401 to 406, if one item name (item) is directly used as a category item (item representative of the category) such as "Katsu curry", other "hamburger" etc. Different from the category item, the category item "cutting curry" (area of) can be specified as one item only by touching it.
【００４４】また、図４に示した画面の表示状態におい
て、分類項目のいずれか１つ、例えば「ジュース」を発
声した場合に、ジュースの分類に属する項目だけを、図
６に示すように大きく表示させるようにすることもでき
る。この図６に示す画面の表示状態で、例えば「オレン
ジジュース １個」を注文するには、「オレンジジュー
ス」「１個」と発声しても、「オレンジジュース」
「１」「個」とタッチしても良い。 ［第２実施例］次に、本発明の第２実施例を、駅の券売
機に用いるマルチモーダル装置に適用した場合を例に、
図７のフローチャートと図８乃至図１２の表示画面例を
参照して説明する。ここで、本装置の概略構成は、図１
に示した前記第１実施例に係る装置と同様であるため、
第２実施例の説明においては、便宜上図１も併用する。Further, in the display state of the screen shown in FIG. 4, when one of the classification items, for example, "juice" is uttered, only the items belonging to the juice classification are enlarged as shown in FIG. It can also be displayed. For example, to order "1 orange juice" in the display state of the screen shown in Fig. 6, even if you say "1 orange juice", "1 orange juice"
You may touch "1" and "individual". [Second Embodiment] Next, a second embodiment of the present invention is applied to a multi-modal device used for a ticket vending machine at a station, as an example.
This will be described with reference to the flowchart of FIG. 7 and the display screen examples of FIGS. Here, the schematic configuration of the present apparatus is shown in FIG.
Since it is the same as the device according to the first embodiment shown in FIG.
In the description of the second embodiment, FIG. 1 is also used for convenience.
【００４５】まず、利用者が本装置に近づき（ステップ
７０１）、その旨が接近検知部１７により検知されると
（ステップ７０２）、制御部１３により表示部１２に図
８に示すような表示画面（案内画面）が表示される（ス
テップ７０３）。この図８に示す画面では、個々の駅名
が表示されていない。その理由は、第１実施例で述べた
ようなハンバーガショップの注文機と違って、利用者
は、一般に自分の行きたい駅の駅名を知っているからで
あり、表示の必要がないためである。また、逆に個々の
駅名を表示したのでは、かえって利用者に煩雑な印象を
与えることが多いためである。First, when the user approaches the apparatus (step 701) and the fact is detected by the approach detector 17 (step 702), the controller 13 causes the display 12 to display a display screen as shown in FIG. A (guidance screen) is displayed (step 703). On the screen shown in FIG. 8, individual station names are not displayed. The reason is that, unlike the hamburger shop ordering machine described in the first embodiment, the user generally knows the station name of the station he / she wants to go to, and there is no need to display it. . In addition, on the contrary, displaying individual station names often gives the user a complicated impression.
【００４６】利用者は、図５に示す案内画面が表示され
ると、その案内「どちらまででしょうか。」に従って、
音声入力部１１に内蔵のマイクロホンに、例えば「浅草
橋」「１枚」（利用者が子供の場合には、「浅草橋」
「子供」「１枚」）というように発声する（ステップ７
０４）。When the guidance screen shown in FIG. 5 is displayed, the user follows the guidance "Which one?"
For example, "Asakusabashi""1" in the microphone built in the voice input unit 11 (If the user is a child, "Asakusabashi"
Say "Child", "1") (step 7)
04).
【００４７】利用者が発声した音声は音声入力部１１に
より入力される。音声認識部１４は、音声入力部１１に
より入力された音声「浅草橋」「１枚」の認識処理を行
い（ステップ７０５）、その認識結果を制御部１３に渡
す。すると制御部１３は、その音声認識結果を受けて、
例えば図９に示すように「浅草橋 大人 １枚」を含む
認識結果メッセージを画面表示する（ステップ７０
６）。The voice uttered by the user is input by the voice input unit 11. The voice recognition unit 14 performs the recognition process of the voice “Asakusabashi” and “one sheet” input by the voice input unit 11 (step 705), and passes the recognition result to the control unit 13. Then, the control unit 13 receives the voice recognition result,
For example, as shown in FIG. 9, a recognition result message including "1 adult Asakusabashi" is displayed on the screen (step 70).
6).
【００４８】利用者は、図９に示す画面を参照し、行先
（及び枚数）が正しく認識されたと判断できたなら、画
面中に設けられた「確認」ボタン９０２をタッチする
（ステップ７０７）。すると制御部１３は、料金を計算
し、利用者に対してその料金の支払いを促すメッセージ
を表示する。If the user can refer to the screen shown in FIG. 9 and determine that the destination (and the number of sheets) is correctly recognized, the user touches the "confirm" button 902 provided in the screen (step 707). Then, the control unit 13 calculates the fee and displays a message prompting the user to pay the fee.
【００４９】一方、正しい認識結果が表示されていなか
った場合には、利用者は、図９の画面中に設けられた
「訂正」ボタン９０１をタッチする（ステップ７０
８）。すると制御部１３は、図８に示した案内画面を再
表示する（ステップ７０９）。但し、「いらっしゃいま
せ。」のメッセージ部分は消す。On the other hand, if the correct recognition result is not displayed, the user touches the "correction" button 901 provided in the screen of FIG. 9 (step 70).
8). Then, the control unit 13 redisplays the guide screen shown in FIG. 8 (step 709). However, the message part "Welcome." Is erased.
【００５０】ここで、利用者が、再び「浅草橋」「１
枚」と発声しても、即ち再度音声入力を行っても、図９
に示したような正しい認識結果が表示されなかった場合
には、利用者は、再び「訂正」ボタン９０１をタッチす
る（ステップ７１０）。Here, the user again selects "Asakusabashi" and "1".
9 ”, that is, even if the voice is input again,
When the correct recognition result as shown in (3) is not displayed, the user touches the "correction" button 901 again (step 710).
【００５１】制御部１３は、訂正回数をカウントしてお
り、所定回数、例えば本実施例のように２回「訂正」が
タッチ入力されると、現在の利用者では、これ以上音声
による項目入力（ここでは、行先、枚数などの入力）を
繰り返しても、正しく認識できないものと判断し、図１
０に示すような表示画面に切り換えて、タッチでの項目
入力の受け付けに切り換える（ステップ７１１）。この
図１０の表示画面は、駅名の頭文字により、駅名のタッ
チ入力が可能な画面構造となっている。The control unit 13 counts the number of corrections, and when a predetermined number of times, for example, "correction" is touch-input twice as in the present embodiment, the current user further inputs an item by voice. Even if (here, inputting the destination, the number of sheets, etc.) is repeated, it is determined that the recognition cannot be correctly performed, and
The display screen is switched to the display screen as shown in 0, and it is switched to the acceptance of the item input by touch (step 711). The display screen of FIG. 10 has a screen structure in which the station name can be touch-input by the initials of the station name.
【００５２】なお、利用者が所定回数音声入力しても、
音声認識部１４にてリジェクトされる場合（即ち音声認
識結果を出せない場合）、或いは１つに決められない場
合にも、上記した「訂正」回数が所定回数（２回）とな
った場合と同様の扱いをしてタッチ入力に切り換えるよ
うにしても良い。Even if the user inputs a voice a predetermined number of times,
When the voice recognition unit 14 rejects (that is, when the voice recognition result cannot be output), or when it is not determined as one, the case where the above-mentioned “correction” number is a predetermined number (two times) You may make it handle similarly and switch to touch input.
【００５３】また、図８の案内画面を表示した後、或る
一定時間を経過しても、（利用者が行先の駅名をはっき
りと覚えていないとか、音声入力の仕方が分からないな
どの理由で）音声入力がなかった場合に、上記した「訂
正」回数が所定回数となった場合と同様の扱いをしてタ
ッチ入力に切り換えるようにしても良い。勿論、１度目
は再度案内画面を表示して、利用者に注意を喚起した
後、タッチ入力に切り換えるようにしても良い。Even after a certain period of time elapses after displaying the guide screen of FIG. 8, (the reason why the user does not clearly remember the destination station name or does not know how to input voice) In the case where there is no voice input, touch input may be switched in the same manner as in the case where the number of "corrections" reaches a predetermined number. Of course, the guide screen may be displayed again for the first time to call the user's attention, and then the touch input may be switched to.
【００５４】さて利用者は、図１０に示す画面が表示さ
れると、希望する駅名「浅草橋」の頭文字「あ」をタッ
チ入力する（ステップ７１２）。すると制御部１３は、
図１１に示すような、頭文字が「あ」の駅名を入力項目
とするタッチ入力用の一覧を表示する（ステップ７１
３）。When the screen shown in FIG. 10 is displayed, the user touch-inputs the initial "a" of the desired station name "Asakusabashi" (step 712). Then, the control unit 13
As shown in FIG. 11, a list for touch input having the station name with the initial "A" as an input item is displayed (step 71).
3).
【００５５】そこで利用者は、「浅草橋」をタッチ入力
する（ステップ７１４）。図１１の一覧画面には、図５
中の個数入力領域５０２と同様な枚数入力領域（図では
省略）が確保されており、この領域上で、切符の枚数、
更には「子供（或いは大人／子供）のタッチ入力が可能
なようになっている。Then, the user touch-inputs "Asakusa Bridge" (step 714). The list screen of FIG.
A number input area (not shown in the figure) similar to the number input area 502 is secured, and in this area, the number of tickets,
Furthermore, "touch input for children (or adults / children) is possible.
【００５６】利用者によるタッチ入力結果は、図９と同
様の画面に表示され、利用者の希望通りの結果であるな
らば、利用者は「確認」ボタンをタッチする。この「確
認」ボタンのタッチにより、「訂正」回数のカウント結
果がクリアされる。また、この「訂正」回数のカウント
結果は、上記したタッチ入力への切り換えによりクリア
されるようにしても良い。The touch input result by the user is displayed on the same screen as in FIG. 9, and if the result is as the user desires, the user touches the "confirm" button. By touching the "confirm" button, the count result of the "correction" number is cleared. Further, the count result of the number of "corrections" may be cleared by switching to the touch input described above.
【００５７】なお、上記のようにタッチ入力に切り換え
る代わりに、図１２に示すような、総ての駅名の一覧を
画面表示（一度に表示し切れない場合には、次ページ指
定により画面を切り換えて表示）し、利用者が音声で入
力する手助とするようにしても良い。この方式は、利用
者が行先の駅名をはっきりと覚えていないような場合に
適する。Instead of switching to touch input as described above, a list of all station names as shown in FIG. 12 is displayed on the screen (if all the station names cannot be displayed at one time, the screen is switched by designating the next page). May be displayed) to assist the user in inputting by voice. This method is suitable when the user does not clearly remember the destination station name.
【００５８】[0058]
【発明の効果】以上詳述したようにこの発明によれば、
多数の項目の中から所望の項目を選択して入力するには
適しているが、利用者によっては入力内容が正しく認識
され難い音声入力手段と、多数の項目の中からの項目の
選択入力には適していないが、少数の項目の中から選択
する際には利用者によらずに、簡単かつ確実に入力でき
るタッチ入力手段の特長を生かすように、これら両入力
手段の連携をとることができるため、利用者の入力操作
が容易且つ確実に行え、使い勝手を向上することができ
る。As described above in detail, according to the present invention,
It is suitable for selecting and inputting a desired item from a large number of items, but it is not easy for some users to recognize the input content correctly. It is not suitable, but when selecting from a small number of items, it is necessary to cooperate with both of these input means so as to take advantage of the touch input means that can be input easily and reliably regardless of the user. Therefore, the input operation by the user can be performed easily and surely, and the usability can be improved.
【図１】本発明の第１実施例に係るマルチモーダル装置
の概略構成を示すブロック図。FIG. 1 is a block diagram showing a schematic configuration of a multi-modal device according to a first embodiment of the present invention.
【図２】同実施例における利用手順の一例を説明するた
めのフローチャートの一部を示す図。FIG. 2 is a diagram showing a part of a flowchart for explaining an example of a use procedure in the embodiment.
【図３】同実施例における利用手順の一例を説明するた
めのフローチャートの残りを示す図。FIG. 3 is a view showing the rest of the flowchart for explaining an example of a use procedure in the embodiment.
【図４】同実施例において多数の項目を分類して表示す
る際の画面表示例を示す図。FIG. 4 is a view showing a screen display example when a large number of items are classified and displayed in the embodiment.
【図５】同実施例においてタッチ入力により選択された
１つの分類に属する項目を大きく表示する際の表示画面
例を示す図。FIG. 5 is a diagram showing an example of a display screen when an item belonging to one classification selected by touch input is displayed in a large size in the embodiment.
【図６】同実施例において音声入力により選択された１
つの分類に属する項目を大きく表示する際の表示画面例
を示す図。FIG. 6 is a diagram showing a case where 1 is selected by voice input in the embodiment.
The figure which shows the example of a display screen when displaying the item which belongs to one classification large.
【図７】本発明の第２実施例における利用手順の一例を
説明するためのフローチャート。FIG. 7 is a flowchart for explaining an example of a usage procedure in the second embodiment of the present invention.
【図８】同実施例における案内画面の一例を示す図。FIG. 8 is a diagram showing an example of a guide screen in the embodiment.
【図９】同実施例における認識結果表示画面の一例を示
す図。FIG. 9 is a diagram showing an example of a recognition result display screen in the embodiment.
【図１０】同実施例におけるタッチ入力用画面の一例を
示す図。FIG. 10 is a diagram showing an example of a touch input screen in the embodiment.
【図１１】図１０の画面の下位層をなすタッチ入力用画
面の一例を示す図。11 is a diagram showing an example of a touch input screen which is a lower layer of the screen of FIG.
【図１２】同実施例における音声入力用画面の一例を示
す図。FIG. 12 is a diagram showing an example of a voice input screen in the embodiment.
１１…音声入力部、１２…表示部、１３…制御部、１４
…音声認識部、１５…タッチ入力部、１６…音声出力
部、１７…接近検知部。11 ... Voice input unit, 12 ... Display unit, 13 ... Control unit, 14
... voice recognition unit, 15 ... touch input unit, 16 ... voice output unit, 17 ... approach detection unit.
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5254218AJPH07110751A (en) | 1993-10-12 | 1993-10-12 | Multimodal device |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5254218AJPH07110751A (en) | 1993-10-12 | 1993-10-12 | Multimodal device |
| Publication Number | Publication Date |
|---|---|
| JPH07110751Atrue JPH07110751A (en) | 1995-04-25 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5254218APendingJPH07110751A (en) | 1993-10-12 | 1993-10-12 | Multimodal device |
| Country | Link |
|---|---|
| JP (1) | JPH07110751A (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001042892A (en)* | 1999-07-08 | 2001-02-16 | Microsoft Corp | Graphical user interface for voice input and processing method thereof, and recording medium |
| JP2006031206A (en)* | 2004-07-14 | 2006-02-02 | Sony Corp | Information processor and information processing method, and program |
| KR100777569B1 (en)* | 2006-09-20 | 2007-11-20 | 주식회사 케이티 | Speech recognition method using multi modal and device therefor |
| US7406420B2 (en) | 2002-07-23 | 2008-07-29 | Omron Corporation | Data input method and data input device for inputting text and voice data |
| US7421655B2 (en) | 2003-07-10 | 2008-09-02 | Canon Kabushiki Kaisha | Presenting information indicating input modalities |
| JP2013061858A (en)* | 2011-09-14 | 2013-04-04 | Denso Corp | Interface device |
| JP2014056418A (en)* | 2012-09-12 | 2014-03-27 | Ishida Co Ltd | Label printing device |
| JP2014219812A (en)* | 2013-05-07 | 2014-11-20 | 富士通株式会社 | Input device and input program |
| JP2017016683A (en)* | 2011-09-30 | 2017-01-19 | アップル インコーポレイテッド | Automatically adapting user interfaces for hands-free interaction |
| US10496753B2 (en) | 2010-01-18 | 2019-12-03 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| US10553209B2 (en) | 2010-01-18 | 2020-02-04 | Apple Inc. | Systems and methods for hands-free notification summaries |
| US10679605B2 (en) | 2010-01-18 | 2020-06-09 | Apple Inc. | Hands-free list-reading by intelligent automated assistant |
| US10705794B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| JP2022121970A (en)* | 2021-02-09 | 2022-08-22 | 株式会社寺岡精工 | Order system and program |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001042892A (en)* | 1999-07-08 | 2001-02-16 | Microsoft Corp | Graphical user interface for voice input and processing method thereof, and recording medium |
| US7406420B2 (en) | 2002-07-23 | 2008-07-29 | Omron Corporation | Data input method and data input device for inputting text and voice data |
| US7421655B2 (en) | 2003-07-10 | 2008-09-02 | Canon Kabushiki Kaisha | Presenting information indicating input modalities |
| JP2006031206A (en)* | 2004-07-14 | 2006-02-02 | Sony Corp | Information processor and information processing method, and program |
| KR100777569B1 (en)* | 2006-09-20 | 2007-11-20 | 주식회사 케이티 | Speech recognition method using multi modal and device therefor |
| US10496753B2 (en) | 2010-01-18 | 2019-12-03 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| US10553209B2 (en) | 2010-01-18 | 2020-02-04 | Apple Inc. | Systems and methods for hands-free notification summaries |
| US10679605B2 (en) | 2010-01-18 | 2020-06-09 | Apple Inc. | Hands-free list-reading by intelligent automated assistant |
| US10705794B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| JP2013061858A (en)* | 2011-09-14 | 2013-04-04 | Denso Corp | Interface device |
| JP2017016683A (en)* | 2011-09-30 | 2017-01-19 | アップル インコーポレイテッド | Automatically adapting user interfaces for hands-free interaction |
| JP2014056418A (en)* | 2012-09-12 | 2014-03-27 | Ishida Co Ltd | Label printing device |
| JP2014219812A (en)* | 2013-05-07 | 2014-11-20 | 富士通株式会社 | Input device and input program |
| JP2022121970A (en)* | 2021-02-09 | 2022-08-22 | 株式会社寺岡精工 | Order system and program |
| Publication | Publication Date | Title |
|---|---|---|
| US7187394B2 (en) | User friendly selection apparatus based on touch screens for visually impaired people | |
| US7461356B2 (en) | Function control unit and method thereof | |
| US6049328A (en) | Flexible access system for touch screen devices | |
| US8498406B2 (en) | Integrated keypad system | |
| JPH07110751A (en) | Multimodal device | |
| US10782874B2 (en) | User interface and method for operating a system | |
| US7046235B2 (en) | Input device and touch area registration method | |
| US20090002342A1 (en) | Information Processing Device | |
| JPH0844520A (en) | Interactive device and operation guidance output method applied to the device | |
| US20150025876A1 (en) | Integrated keypad system | |
| JP2995719B2 (en) | Pen input / menu display device | |
| JPH07104962A (en) | Dialogue system | |
| JP4045271B2 (en) | Automatic transaction device and input device | |
| JP4500414B2 (en) | Consultation terminal, display method of consultation system using the same, and server system | |
| JP5021926B2 (en) | Automatic machine | |
| JP2003233465A (en) | Input device and processing program for detecting button-operation | |
| KR102379599B1 (en) | Additional input apparatus for controlling touch screen and method thereof | |
| JP2005122450A (en) | Apparatus provided with display input part | |
| JPH06242866A (en) | Inputting device with multiple input canceling function | |
| JPH08194856A (en) | Input device | |
| JP2002007726A (en) | Window-calling device | |
| JP5957041B2 (en) | Information processing apparatus, information processing apparatus control method, control program, and computer-readable recording medium | |
| US11416102B2 (en) | Content input method, touch input device and storage medium | |
| JP4876532B2 (en) | Ticket issuing device and computer program | |
| JP5554648B2 (en) | Guidance information display system |