




本発明は、視線の位置を検出して文字などの情報を入力する視線入力装置に関する。 The present invention relates to a line-of-sight input device that detects the position of a line of sight and inputs information such as characters.
コンピュータなどに平仮名やアルファベットや数字などの文字を入力する場合には、指でキーボードやマウスやタッチパネルなどを操作する入力装置が使用されるが、これらの指で操作する必要のない入力装置として、視線検出器を使用して文字などを入力する視線入力装置が知られている。このような視線入力装置は、ディスプレイに50音の平仮名や、26文字のアルファベットなどの文字を一覧表示して、操作者が表示された複数の文字のうちの一つを注視すると、視線検出器が操作者の視線を検出し、視線の位置に対応する文字を操作者の注視文字として決定し、この決定した文字を入力するものである(例えば、特許文献1参照)。この視線入力装置では、視線検出器が検出した視線の位置に相当する文字を他の文字に対して強調表示して、この強調表示によって、操作者が注視している文字と視線検出器が検出した視線の位置とが一致しているか否かを操作者が判断できるようにして誤入力を防止している。 When inputting characters such as hiragana and alphabets and numbers to a computer, etc., input devices that operate a keyboard, mouse, touch panel, etc. with fingers are used, but as input devices that do not need to be operated with these fingers, There is known a line-of-sight input device for inputting characters and the like using a line-of-sight detector. Such a line-of-sight input device displays a list of characters such as 50 hiragana characters and 26 alphabets on the display and gazes at one of a plurality of characters displayed by the operator. Detects the line of sight of the operator, determines a character corresponding to the position of the line of sight as the gaze character of the operator, and inputs the determined character (for example, see Patent Document 1). In this line-of-sight input device, a character corresponding to the position of the line of sight detected by the line-of-sight detector is highlighted with respect to other characters, and this highlighting detects the character being watched by the operator and the line-of-sight detector. Thus, the operator can determine whether or not the position of the line of sight is the same, thereby preventing erroneous input.
ところが、ディスプレイに多数の文字を表示すると、各文字が小さく表示されるため、視線検出誤差や視線のブレなどにより、操作者が注視している文字と視線検出器で検出される視線の位置とが一致しない確率が高くなり、入力に多くの時間を要するといった問題がある。 However, when a large number of characters are displayed on the display, each character is displayed in a small size.Therefore, due to line-of-sight detection error, line-of-sight blur, etc. There is a problem that there is a high probability that they do not match, and a long time is required for input.
請求項1の発明による視線入力装置は、表示手段と、入力候補としての複数の単位情報を前記表示手段に一覧表示させる第1の表示制御手段と、前記表示手段における操作者の視線の位置を検出する視線検出手段と、前記視線検出手段によって検出された操作者の視線の位置に基づいて、前記表示手段上の複数の単位情報から一つの単位情報を第1の決定単位情報として決定する第1の決定手段と、前記第1の決定手段によって決定された第1の決定単位情報と、その第1の決定単位情報の周囲の複数の単位情報とを第1の大きさに拡大表示させる第2の表示制御手段と、前記視線検出手段によって検出された操作者の視線の位置に基づいて、前記第1の大きさに拡大表示された複数の単位情報から一つの単位情報を第2の決定単位情報として決定する第2の決定手段と、前記第2の決定手段によって決定された第2の決定単位情報を前記第1の大きさよりも大きい第2の大きさに拡大表示させる第3の表示制御手段と、前記第2の大きさに拡大表示された前記第2の決定単位情報を入力する情報入力手段と、を備えることを特徴とする。 According to a first aspect of the present invention, there is provided a line-of-sight input device comprising: display means; first display control means for displaying a plurality of unit information as input candidates on the display means; and a position of the operator's line of sight on the display means. First unit information is determined as first determination unit information from a plurality of unit information on the display unit based on a gaze detection unit to be detected and a position of the operator's gaze detected by the gaze detection unit. A first determination unit, a first determination unit information determined by the first determination unit, and a plurality of unit information surrounding the first determination unit information are enlarged and displayed in a first size. A second unit for determining one unit information from a plurality of unit information enlarged and displayed in the first size based on the position of the line of sight of the operator detected by the display control unit and the line of sight detecting unit. As unit information Second determining means for determining; and third display control means for enlarging and displaying the second determination unit information determined by the second determining means in a second size larger than the first size; And an information input means for inputting the second determination unit information enlarged and displayed in the second size.
本発明の視線入力装置によれば、入力候補としての複数の単位情報から所望の単位情報を容易に選択して入力することができる。 According to the line-of-sight input device of the present invention, it is possible to easily select and input desired unit information from a plurality of unit information as input candidates.
以下、本発明の実施の形態による視線入力装置の構成について、図面を参照しながら説明する。
図1を参照すると、視線入力装置100は、ディスプレイ1と、ディスプレイ1が取り付けられた筐体2とを有し、ディスプレイ1は、一覧表示部10と入力情報表示部20とを有する。一覧表示部10は、入力候補としての複数の単位情報、例えば平仮名を50音順に一覧表示する画面である。平仮名の一文字が単位情報に相当する。入力情報表示部20は、入力候補としての複数の単位情報の中から選択され、入力決定された単位情報を表示する画面である。Hereinafter, the configuration of a line-of-sight input device according to an embodiment of the present invention will be described with reference to the drawings.
Referring to FIG. 1, the line-of-
筐体2には、ディスプレイ1の他に、視線検出用のカメラ30及び操作部材40が取り付けられている。
視線検出用カメラ30は、筐体2の上側に配設されており、一覧表示部10を見つめて入力動作を行う操作者の眼を撮影する。なお、視線検出用カメラ30の配設位置は、筐体2の上側に限らず、筐体2の右側、左側又は下側でもよいし、視線検出用カメラ30の台数は複数でもよい。In addition to the
The line-of-
操作部材40は、筐体2の右下に配設されており、視線入力装置100へ各種の情報を入力するために操作者によって操作される部材である。具体的には、一覧表示部10の表示内容を選択/決定し、一覧表示部10や入力情報表示部20の表示態様を設定/変更する。 The
図2のブロック図を参照しながら、各ブロックの機能を説明する。視線入力装置100は、前述した一覧表示部10、入力情報表示部20、視線検出用カメラ30及び操作部材40に加えて、記録部50及び制御部60を備える。一覧表示部10、入力情報表示部20、視線検出用カメラ30、操作部材40及び記録部50はそれぞれ、制御部60と電気的に接続されている。 The function of each block will be described with reference to the block diagram of FIG. The line-of-
記録部50は、不図示のRAMに一時的に記憶された各種の情報を、例えばメモリカードに記憶させる。
制御部60は、表示制御部61、視線検出部62、選択決定部63、及び情報入力部64を有し、一覧表示部10、入力情報表示部20、視線検出用カメラ30、操作部材40、記録部50の各ブロックとの間で電気信号或いはデータの授受を行うことにより、各種の演算や、不図示のROMに記憶されているプログラムを実行する。The
The
表示制御部61は、ディスプレイ1の一覧表示部10に入力対象の平仮名文字を一覧表示する。勿論、入力対象の単位情報は、平仮名文字の他に、アルファベットでも、数字でも、記号などでも良い。 The
図3(a)は、平仮名文字が一覧表示部10に一覧表示された状態を示したものである。なお、一覧表示部10には50音の平仮名の全てが表示されているが、図3(a)では、その内の「さ」行の文字と「た」行の文字と「な」行の文字との計15文字のみが示され、その他の文字は、図示が省略されている。勿論、一覧表示部10の表示面積が小さい場合には、図3(a)のように、50音の平仮名の内の一部のみを表示し、その他の文字は、例えば一覧表示部10のスクロール操作によって表示するようにしても良い。 FIG. 3A shows a state in which hiragana characters are listed on the
図3(a)において、入力対象の各平仮名文字は、縦及び横の長さがdの比較的小さな正方形の表示枠Rによって取り囲まれている。各表示枠Rは、互いに横方向及び縦方向にほぼ長さdだけ、離間している。即ち、隣接する表示枠Rの縦方向及び横方向の間隔は、ほぼdに定められている。 In FIG. 3A, each Hiragana character to be input is surrounded by a relatively small square display frame R having vertical and horizontal lengths d. The display frames R are separated from each other by a length d in the horizontal and vertical directions. That is, the interval between the adjacent display frames R in the vertical direction and the horizontal direction is set to approximately d.
視線検出部62は、視線検出用カメラ30が撮影した操作者の眼の画像データを解析して、一覧表示部10上の操作者の視線位置、即ち、操作者が注視している文字の位置を検出して、注視文字に関する検出信号を選択決定部63に出力する。なお、視線検出部62は、操作者の視線位置が表示枠Rの内部に位置していることを検出した時に、その表示枠R内の文字に関する検出信号を出力する。 The line-of-
選択決定部63は、視線検出部62が同一の注視文字に関する検出信号を所定の時間、出力し続けた時に、操作者が入力を意図した文字であると判定し、その入力対象文字に関するデータを表示制御部61へ出力する。このように、選択決定部63は、操作者が一覧表示された多数の入力対象文字の中から、自身が入力を意図した文字を探してそれを前記所定の時間、連続して注視した場合に、その文字を操作者の意図した入力対象文字として決定する。 When the line-of-
表示制御部61は、選択決定部63が決定した入力対象文字に関する情報に応じて、入力対象文字とその周囲の8文字とを一覧表示部10上に第1の倍率で拡大表示させる。図3(b)は、文字「つ」が入力対象候補の文字として決定され、その入力対象文字「つ」とその周囲の8文字とが拡大表示された状態を示している。操作者がこの拡大表示された計9文字のうちのいずれかを再度注視すると、視線検出部62は、注視した文字を視線検出によって検出して検出信号を出力する。選択決定部63は、同一の注視文字に関する視線検出部62の検出信号が所定の時間継続したことを検出して、その注視文字を操作者の意図した入力対象文字として決定する。 The
表示制御部61は、拡大表示されている9文字のうち、選択決定部63の決定した入力対象文字のみを更に第2の倍率で拡大表示させる。図3(c)は、文字「つ」が入力対象文字として決定されて、文字「つ」のみが更に拡大表示された状態を示している。この表示状態で、操作者が第2の倍率で拡大表示された文字を所定の時間、注視したことを視線検出部62が検出すると、選択決定部63は、視線検出部62の検出信号に応じて、この注視文字「つ」を操作者の意図する入力対象文字として最終的に決定する。
情報入力部64は、選択決定部63からの最終決定情報に応じて、選択決定された文字情報をRAMに一時的に入力すると共に、その文字情報を入力情報表示部20上に表示させる。記録部50は、RAMに一時的に記憶された単位情報を、例えばメモリカードに記憶させる。The
The
<入力動作>
図3を参照して、視線入力動作に伴う一覧表示部10の画面表示の変化を説明する。視線入力装置100が起動されると、表示制御部61が図3(a)に示されるように、50音の平仮名を一覧表示部10に表示する。この初期の一覧表示状態では、表示枠Rに取り囲まれた平仮名文字が、縦及び横方向に互いに間隔を隔てて、所定のピッチで配列される。操作者が入力したい文字、例えば文字「つ」を連続して第1の所定時間、注視すると、視線検出用カメラ30と視線検出部62が操作者の視線の位置を検出し、一覧表示部10上の視線の位置に対応する文字「つ」に関する文字情報を検出信号として出力する。選択決定部63は、文字「つ」に関する検出信号が第1の所定時間、連続して継続すると、操作者の入力したい入力対象候補として文字「つ」を決定し、その決定情報を表示制御部61へ出力する。<Input operation>
With reference to FIG. 3, changes in the screen display of the
表示制御部61は、図3(b)の「第1の拡大表示段階」に示されるように、文字「つ」と、その周囲に上下左右斜めに隣接する8文字「し」、「ち」、「に」、「す」、「ぬ」、「せ」、「て」、「ね」とを、それぞれ第1の倍率、即ち第1の大きさに拡大表示させると同時に、中央の拡大文字「つ」をその周囲の拡大文字よりも目立たせるように、周囲の文字よりも鮮やかに、又は濃い色や周囲の文字とは異なった色や太い線を用いて、いわゆるハイライト表示する。これによって、操作者は、視線入力装置100が操作者の意図する入力対象文字を「つ」と認識したことを知ることができる。 As shown in the “first enlarged display stage” of FIG. 3B, the
また、制御部60は、中央の拡大文字「つ」とその周囲の拡大された8文字とを拡大表示するのに対応して、これら計9文字の各表示枠Rも拡大させる。なお、拡大した9文字の各表示枠Rは、これらに隣接する非拡大の文字「さ」、「た」、「な」、「そ」、「と」、「の」などの表示枠に重なり合わない程度に拡大される。従って、操作者は、図3(b)の「第1の拡大表示段階」であっても、非拡大表示の文字「さ」、「た」、「な」、「そ」、「と」、「の」などを十分に視認することができる。 The
図3(b)において、操作者が第1の大きさに拡大された文字「つ」を第2の所定時間、連続して注視すると、視線検出部62は、視線検出用カメラ30によって撮影された眼の画像を解析して操作者の視線位置が拡大文字「つ」の表示枠R内にあることを検出し、文字「つ」に関する検出信号を出力する。選択決定部63は、この検出信号に基づき、文字「つ」を選択決定し、その決定情報を表示制御部61へ出力する。 In FIG. 3B, when the operator gazes at the character “T” enlarged to the first size for a second predetermined time, the line-of-
表示制御部61は、選択決定部63の決定情報に基づき、図3(c)の「第2の拡大表示段階」に示されるように、文字「つ」のみを第2の倍率に、即ち、第1の大きさよりも大きい第2の大きさに、更に拡大表示させる。この時に、文字「つ」をその周囲の文字よりも目立たせるように、ハイライト表示する。制御部60は、「つ」の文字が第2の大きさに拡大表示されるのに対応して、文字「つ」の表示枠Rも更に拡大させる。 Based on the determination information of the
第2の大きさに拡大表示された文字「つ」の表示枠Rは、この周囲に隣接する8文字「し」、「ち」、「に」、「す」、「ぬ」、「せ」、「て」、「ね」の各表示枠Rの一部分を覆っているが、この拡大表示の文字「つ」の表示枠Rの大きさは、第1の拡大表示段階で拡大された周囲の8つの文字自体を覆わないように定められている。このように、第2の大きさに拡大表示された表示枠Rは、操作者が第1の大きさの周囲文字を視認することができる程度に、その大きさが拡大される。 The display frame R of the character “T” enlarged to the second size is displayed with eight adjacent characters “SHI”, “CHI”, “NI”, “SU”, “N”, “SE”. , “Te” and “Ne” are partially covered, and the size of the display frame R of the enlarged character “T” is the size of the surrounding area enlarged in the first enlarged display stage. It is determined not to cover the eight characters themselves. Thus, the display frame R enlarged and displayed in the second size is enlarged to such an extent that the operator can visually recognize the surrounding characters of the first size.
図3(c)において、操作者が、「第2の拡大表示段階」の第2の大きさの文字「つ」を第3の所定時間、連続して注視すると、視線検出部62は、視線検出用カメラ30によって撮影された眼の画像を解析して操作者の視線位置が第2の大きさの拡大文字「つ」の表示枠R内にあることを検出し、文字「つ」に関する検出信号を出力する。選択決定部63は、この検出信号に基づき、文字「つ」を選択決定し、その決定情報を表示制御部61と情報入力部64とへ出力する。
なお、視線検出部62は、操作者の視線位置が第2の大きさの拡大文字「つ」の表示枠R内にあるときに操作者の眼の瞬きを検出したときに、文字「つ」に関する検出信号を出力し、選択決定部63は、この検出信号に基づき、文字「つ」を選択決定するようにしてもよい。In FIG. 3C, when the operator gazes at the character “T” having the second size in the “second enlarged display stage” for a third predetermined time, the line-of-
The line-of-
表示制御部61は、入力情報表示部20上に、決定された入力対象文字「つ」を表示させ、情報入力部64は、「つ」のデータを不図示のRAMに一時的に記憶させ、1つの文字、即ち単位情報の入力動作が完了する。この入力動作を繰り返し行うことで複数の単位情報からなる一連の情報の入力操作が完了する。
RAMに一時的に記憶された入力情報は、記録部50、例えばメモリカードに記憶される。The
The input information temporarily stored in the RAM is stored in the
なお、文字の選択決定に要する時間である第1〜第3の所定時間の長さについては、これら3つの所定時間の長さをほぼ等しくしてもよいし、3つの所定時間に長短をつけてもよい。第1の所定時間<第2の所定時間<第3の所定時間とした場合は、最終決定に多くの時間をかけることにより確実な文字決定を行うことができ、第1の所定時間>第2の所定時間>第3の所定時間とした場合は、多数の入力候補文字が一覧表示される最初の段階に多くの時間をかけることにより後の段階に要する時間を短縮することができる。 As for the lengths of the first to third predetermined times that are the time required for the selection of characters, the lengths of these three predetermined times may be substantially equal, and the three predetermined times may be lengthened. May be. When the first predetermined time <the second predetermined time <the third predetermined time, it is possible to perform reliable character determination by taking a lot of time for the final determination, and the first predetermined time> second If the predetermined time is greater than the third predetermined time, the time required for the subsequent stage can be shortened by taking a lot of time for the first stage where a large number of input candidate characters are displayed in a list.
以上の説明にあっては、図3(a)の「初期の一覧表示状態」において、操作者が文字「つ」を注視した時に、視線検出部62が、操作者の視線位置が注視文字「つ」の表示枠R内にあると検出し、かつ、図3(b)の「第1の拡大表示段階」においても、操作者が第1の大きさに拡大された文字「つ」を注視した時に、視線検出部62が、操作者の視線位置が注視文字「つ」の表示枠R内にあると検出し、更に、図3(c)の「第2の拡大表示段階」においても、操作者が第2の大きさに拡大された文字「つ」を注視した時に、視線検出部62が、操作者の視線位置が注視文字「つ」の表示枠R内にあると検出した。
次に、操作者が或る文字、例えば文字「に」を注視した時に、視線検出部62が、操作者の視線位置が他の文字、例えば文字「つ」の表示枠R内にあると誤検出した場合について、説明する。In the above description, in the “initial list display state” of FIG. 3A, when the operator gazes at the character “one”, the
Next, when the operator gazes at a certain character, for example, the character “ni”, the line-of-
<視線誤検出時の入力動作>
図3(a)において、操作者が文字「に」を第1の所定の時間、注視している時に、視線検出部62が、操作者の視線位置が文字「つ」の表示枠R内にあると誤検出すると、表示制御部61は、図3(b)に示すように、文字「つ」とその周囲の8文字とを第1の大きさに拡大表示させる。操作者が、拡大表示された文字「に」を再度、第2の所定の時間、注視すると、視線検出部62は、操作者の視線位置が注視文字「に」の表示枠R内にあると、正しく検出する。選択決定部63は、入力対象文字が「に」であると決定し、これによって、表示制御部61は、図4(a)に示したように、文字「に」と、この文字「に」の周囲の8文字「た」、「な」、「は」、「ち」、「ひ」、「つ」、「ぬ」、「ふ」とを第1の大きさに拡大表示する。<Input operation when an eye-gaze is detected>
In FIG. 3A, when the operator is gazing at the character “ni” for a first predetermined time, the line-of-
操作者が、第1の大きさに拡大された9文字の中央の文字「に」を第2の所定時間、注視すると、視線検出部62は、操作者の視線位置が拡大された注視文字「に」の表示枠R内にあると正しく検出する。この検出に応じて、表示制御部61は、図4(b)に示すように、注視文字「に」を更に第2の大きさに拡大表示すると同時に、拡大表示された「に」を一覧表示部10の中央位置に移動し、この移動に伴い、第1の大きさに拡大された8文字「た」、「な」、「は」、「ち」、「ひ」、「つ」、「ぬ」、「ふ」も、注視文字「に」の周囲に位置するように移動し、更に、これらの8文字の更に周囲に位置する文字も同様に移動させる。 When the operator gazes at the central character “ni” of the nine characters enlarged to the first size for the second predetermined time, the
操作者が一覧表示部10の中央位置に表示された第2の大きさの注視文字「に」を第3の所定時間、注視すると、視線検出部62は、操作者の視線位置が拡大された注視文字「に」の表示枠R内にあると検出し、これに応じて、選択決定部63が入力対象文字が「に」であると最終的に決定する。 When the operator gazes at the second size gaze character “ni” displayed at the center position of the
なお、上述の説明では、図3(b)において、操作者が、第1の大きさに拡大表示された9文字のうち、中央の文字「つ」ではなく、その周囲の文字「に」を第2の所定時間、注視し続けた場合に、図4(a)に示したように、注視文字「に」とその周囲の8文字とを第1の大きさに拡大表示したが、その代わりに、図3(b)において、操作者が、周囲の文字「に」を第2の所定時間、注視し続けた場合に、選択決定部63が視線検出部62の検出信号に応じて文字「に」を選択決定すると、表示制御部61は、図4(a)の表示を行うことなく、直ちに図4(b)に示したように、文字「に」を第2の大きさに拡大表示してもよい。 In the above description, in FIG. 3B, the operator selects not only the central character “one” but the surrounding character “ni” among the nine characters enlarged and displayed in the first size. When the user keeps gazing for the second predetermined time, as shown in FIG. 4A, the gazing character “ni” and the surrounding eight characters are enlarged and displayed in the first size. 3B, when the operator continues to gaze at the surrounding character “ni” for a second predetermined time, the
上述の説明では、図3(a)において、操作者が文字「に」を第1の所定の時間、注視していたにもかかわらず、視線検出部62が、操作者の視線位置が文字「つ」の表示枠R内にあると誤検出した場合であったが、このような視線の誤検出の場合に限らず、操作者は、図3(a)の一覧表示状態では、文字「つ」を入力対象として、その文字を注視し続けたが、図3(b)の第1の拡大表示段階では、入力対象文字を変更して、文字「に」などを入力対象とする場合にも、前述の説明と全く同様の動作により、新たな入力対象文字を入力することができる。 In the above description, in FIG. 3A, the line-of-
<キャンセル動作1>
当初、図3(a)の「初期の一覧表示状態」では、例えば文字「つ」を入力対象候補として、その文字を注視して、図3(b)の「第1の拡大表示段階」に移ったが、この「第1の拡大表示段階」において、入力対象候補を拡大表示された9文字ではなく、この拡大表示の9文字以外の文字、例えば、文字「た」を入力対象候補に選定した場合の動作を以下に説明する。<Cancel
Initially, in the “initial list display state” in FIG. 3A, for example, the character “T” is selected as an input target candidate, and the character is closely watched to enter the “first enlarged display stage” in FIG. However, in this “first enlarged display stage”, the input target candidate is selected as an input target candidate, instead of the nine characters that are enlarged and displayed, for example, the character “ta” other than the nine characters that are enlarged and displayed. The operation in this case will be described below.
図3(b)において、操作者が第1の大きさに拡大表示されている文字「つ」の選択を中止して、非拡大表示の文字「た」を入力対象候補として選択したい場合は、図3(b)の一覧表示部10の画面において、第1の大きさに拡大表示された9文字「つ」、「し」、「ち」、「に」、「す」、「ぬ」、「せ」、「て」、「ね」の表示枠Rのいずれからも、所定の時間、視線の位置を外せばよい。例えば、視線を所定の時間、一覧表示部10の外に移動する。 In FIG. 3B, when the operator wants to cancel the selection of the character “T” that is enlarged and displayed in the first size and select the character “T” that is not enlarged and displayed as an input target candidate, On the screen of the
視線検出部62が視線の位置が所定の時間、拡大表示された9文字のいずれの表示枠R内にも存在しないことを検出すると、表示制御部61は、図3(b)の「第1の拡大表示段階」の表示をキャンセルして、一覧表示部10を図3(a)に示す「初期の一覧表示状態」に戻す。この図3(a)の「初期の一覧表示状態」において、操作者は、新たな入力対象候補として文字「た」を第1の所定時間、注視し続けると、これを検出した視線検出部62の検出信号に応じて、選択決定部63は文字「た」を選択決定し、表示制御部61は、入力対象候補文字「た」とその周囲の8文字とを第1の大きさに拡大表示して「第1の拡大表示段階」とする。 When the line-of-
<キャンセル動作2>
次に、図3(b)の「第1の拡大表示段階」で入力対象候補として選択した文字を図3(c)の「第2の拡大表示段階」で、キャンセルする方法について、説明する。図3(c)に示した「第2の拡大表示段階」で、操作者が第2の大きさに拡大表示されている文字「つ」の選択をキャンセルして、文字「つ」の周囲の8文字「し」、「ち」、「に」、「す」、「ぬ」、「せ」、「て」、「ね」のいずれかを選択したい場合と、これらの周囲8文字以外の文字を選択したい場合とに分けて、以下に説明する。<Cancel
Next, a method for canceling the character selected as the input target candidate in the “first enlarged display stage” in FIG. 3B in the “second enlarged display stage” in FIG. 3C will be described. In the “second enlarged display stage” shown in FIG. 3C, the operator cancels the selection of the character “one” enlarged and displayed in the second size, and the area around the character “one” is displayed. If you want to select any of the eight characters “shi”, “chi”, “ni”, “su”, “nu”, “se”, “te”, “ne”, and any characters other than these eight characters This will be described below separately for the case where the user wants to select.
操作者が、図3(c)に示した「第2の拡大表示段階」で、拡大表示の文字「つ」の選択をキャンセルして、その周囲の8文字「し」、「ち」、「に」、「す」、「ぬ」、「せ」、「て」、「ね」のいずれかを選択したい場合には、操作者は、視線の位置を文字「つ」の表示枠R内から、これに隣接する第1の大きさに拡大表示されている周囲の8文字「し」、「ち」、「に」、「す」、「ぬ」、「せ」、「て」、「ね」のいずれかへ動かし、そのまま所定の時間、その8文字のいずれかを注視する。操作者の視線位置を検出した視線検出部62の検出信号に応じて、表示制御部61は、文字「つ」をその周囲8文字と同一の第1の大きさに戻し、図3(b)に示した「第1の拡大表示段階」に戻る。 In the “second enlarged display stage” shown in FIG. 3C, the operator cancels the selection of the character “one” for the enlarged display, and the eight characters “shi”, “chi”, “ When the operator wants to select any one of “N”, “SU”, “NU”, “SE”, “TE”, “NE”, the operator selects the line-of-sight position from the display frame R of the character “T”. , The surrounding eight characters enlarged and displayed in the first size adjacent to this “shi”, “chi”, “ni”, “su”, “nu”, “se”, “te”, “ne "And move to any of the eight characters as it is for a predetermined time. In response to the detection signal of the line-of-
操作者は、図3(b)の第1の大きさに拡大表示されている8文字「し」、「ち」、「に」、「す」、「ぬ」、「せ」、「て」、「ね」のうち、入力対象としたい文字、例えば文字「に」を第2の所定時間、注視すると、上述の動作と同様に、表示制御部61が図4(a)のように文字「に」とその周囲の8文字とを第1の大きさに拡大表示する。この状態で、操作者が更に、文字「に」を第2の所定時間、注視すると、図4(b)のように文字「に」が第2の大きさに拡大され、引き続き、この第2の大きさの文字「に」を第3の所定時間、注視すると、文字「に」が入力対象文字として最終的に選択決定される。この場合も、図3(b)の表示状態に戻った状態で、操作者が第1の拡大表示の文字「に」を第2の所定時間、注視した時に、図4(a)の状態を経由することなしに、直接に図4(b)の第2の拡大表示段階を表示してもよい。 The operator displays eight characters “shi”, “chi”, “ni”, “su”, “nu”, “se”, “te” which are enlarged and displayed in the first size of FIG. , When the character to be input, for example, the character “ni” is watched for a second predetermined time, the
次に、図3(c)の「第2の拡大表示段階」で、拡大表示された「つ」の選択をキャンセルして、文字「つ」の周囲の8文字以外の文字を入力対象文字として選択したい場合を説明する。操作者は、図3(c)の「第2の拡大表示段階」において、視線の位置を、拡大表示の8文字「し」、「ち」、「に」、「す」、「ぬ」、「せ」、「て」、「ね」以外の位置に移動して、この移動した状態を所定時間、維持する。これを検出した視線検出部62の検出信号に応じて、表示制御部61は、一覧表示部10の表示を図3(a)に示す「初期の一覧表示状態」に戻す。操作者は、この初期の一覧表示状態から新たに入力対象文字を選択する。 Next, in the “second enlarged display stage” of FIG. 3C, the selection of the enlarged “one” is canceled, and characters other than the eight characters around the character “one” are set as input target characters. The case where it wants to select is demonstrated. In the “second enlarged display stage” of FIG. 3C, the operator changes the line-of-sight position to 8 characters “shi”, “chi”, “ni”, “su”, “nu”, Move to a position other than “se”, “te”, “ne”, and maintain this moved state for a predetermined time. In response to the detection signal of the line-of-
本実施の形態の視線入力装置100は、次の作用効果を奏する。
(1)操作者は、多数の文字が一覧表示された初期の一覧表示状態において、入力したい文字またはその近傍の文字を注視することによって、入力したい文字とその周囲の文字とが第1の大きさに拡大表示されるので、操作者は、この拡大表示された文字の中から、入力したい文字を容易に選択し、その文字を注視することができる。たとえ、操作者の視線が多少、揺らいでも、文字が拡大表示されているので、視線検出部62は、その揺らぎの影響をあまり受けることなく、視線の位置を検出することができる。The line-of-
(1) In an initial list display state in which a large number of characters are displayed in a list, the operator pays attention to a character to be input or a character in the vicinity thereof so that the character to be input and its surrounding characters are the first size. Since the enlarged display is performed, the operator can easily select a character desired to be input from the enlarged displayed characters and gaze at the character. For example, even if the operator's line of sight fluctuates somewhat, the characters are displayed in an enlarged manner, so that the line-of-
(2)拡大表示の「第1の拡大表示段階」で、選択決定された文字「つ」を第1の大きさに拡大し、「第2の拡大表示段階」で、選択決定された文字「つ」を第1の大きさよりも大きい第2の大きさに拡大するので、視線の揺らぎなどに起因する視線位置の誤差があっても、所望の単位情報を確実に入力することができる。(2) The character “one” selected and determined in the “first enlarged display stage” of the enlarged display is enlarged to the first size, and the character “ Since "" is enlarged to a second size larger than the first size, even if there is an error in the line-of-sight position caused by a line-of-sight fluctuation or the like, desired unit information can be reliably input.
(3)拡大表示の「第1段階」で第2の所定時間の注視、「第2段階」で第3の所定時間の注視により、選択決定部63は、単位情報「つ」を選択決定し、情報入力部64は、「つ」に関するデータを入力するので、簡単に入力操作を行うことができると共に、入力対象文字でない文字に誤って瞬時、視線を移してもその文字を入力対象候補とすることはない。(3) The
(4)図3(b)の「第1の拡大表示段階」で、入力対象候補を中央位置の文字「つ」から、それの左上の文字「に」に変更した場合は、文字「に」を図4(b)のように「第2の拡大表示段階」で第2の大きさに拡大し、さらに、文字「に」と、それに隣接する周囲の8文字とを画面の中央へ移動させるので、「第2の拡大表示段階」で選択しようとしている単位情報を認識しやすい。(4) In the case of “first enlarged display stage” in FIG. 3B, when the input target candidate is changed from the character “one” at the center position to the character “ni” at the upper left, the character “ni” Is enlarged to the second size in the “second enlarged display stage” as shown in FIG. 4B, and the character “ni” and the adjacent eight characters are moved to the center of the screen. Therefore, it is easy to recognize unit information to be selected in the “second enlarged display stage”.
(5)図3(b)に示した「第1の拡大表示段階」で、第1の大きさに拡大表示されている文字「つ」の選択を中止して「つ」の周囲に隣接する8文字以外の文字を選択したい場合は、文字「つ」とその周囲の8文字とのいずれからも視線の位置を外すことで、容易に「初期の一覧表示状態」の一覧表示に戻すことができる。(5) In the “first enlarged display stage” shown in FIG. 3B, the selection of the character “one” enlarged and displayed in the first size is stopped and the area around “one” is adjacent. If you want to select a character other than eight characters, you can easily return to the list display in the “initial list display state” by removing the line of sight from both the character “tsu” and the surrounding eight characters. it can.
(6)図3(c)に示した「第2の拡大表示段階」で、第2の大きさに拡大表示されている文字「つ」の選択を中止して別の文字を選択したい場合は、視線の位置を移動することによって、容易に「第1の拡大表示段階」にも、「初期の一覧表示状態」にも戻すことができる。
(7)第1の大きさ、または第2の大きさに拡大表示されている中央の文字「つ」をハイライト表示するので、操作者は、自分が一覧表示部10上に入力対象候補として、どの文字を選択したのかを明瞭に確認することができる。(6) When it is desired to cancel the selection of the character “T” enlarged in the second size and select another character in the “second enlarged display stage” shown in FIG. By moving the position of the line of sight, it is possible to easily return to the “first enlarged display stage” and to the “initial list display state”.
(7) Since the center character “one” enlarged and displayed in the first size or the second size is highlighted, the operator himself / herself as an input target candidate on the
以下、本実施の形態の変形例を説明する。
(1)本実施の形態では、「第1の拡大表示段階」で文字注視の第2の所定時間、「第2の拡大表示段階」で文字注視の第3の所定時間の経過により、選択決定部63は、単位情報「つ」を選択決定したが、それの代わりに、文字注視中に操作部材40を操作することによって「第1の拡大表示段階」から「第2の拡大表示段階」、「第2の拡大表示段階」から選択決定まで行うこともできる。この場合は、短時間での視線入力が可能となる。また、一覧表示部10の画面上に、図1に示す選択決定領域10aを設け、視線の位置を入力対象文字から直ちに選択決定領域10aに移すことによってその入力対象文字の選択決定を行ってもよい。Hereinafter, modifications of the present embodiment will be described.
(1) In the present embodiment, selection is determined by elapse of a second predetermined time for character gaze at the “first enlarged display stage” and a third predetermined time for gaze at the “second enlarged display stage”. The
(2)本実施の形態では、「第1の拡大表示段階」または「第2の拡大表示段階」で、選択した文字をキャンセルして別の文字を選択したい場合は、所定時間、視線の位置を外すことにより行ったが、キャンセルスイッチを設けてその操作によって「第1の拡大表示段階」から「初期の一覧表示状態」への移行、「第2の拡大表示段階」から「第1の拡大表示段階」または「初期の一覧表示状態」への移行を行ってもよい。(2) In the present embodiment, when it is desired to cancel the selected character and select another character in the “first enlarged display stage” or the “second enlarged display stage”, the position of the line of sight for a predetermined time. However, a cancel switch is provided, and the operation shifts from the “first enlarged display stage” to the “initial list display state” and from the “second enlarged display stage” to the “first enlarged display stage”. A transition to “display stage” or “initial list display state” may be performed.
(3)本実施の形態では、ディスプレイ1の画面を分割して一覧表示部10と入力情報表示部20とを設けていたが、一覧表示部10と入力情報表示部20を別個の2つのディスプレイに分けて設けてもよい。(3) In the present embodiment, the screen of the
(4)一覧表示部10は、入力候補としての複数の単位情報を表示するが、これらの複数の単位情報をすべて画面上に表示してもよいし、スクロールさせて表示してもよい。一覧表示の態様、例えば平仮名を一覧表示部10の画面にどの位の大きさで何文字表示するかは、予め設定されているが、操作者による操作部材40の入力操作により変更することも可能である。
(5)入力情報表示部20は、入力候補としての複数の単位情報の中から入力決定された単位情報を表示するが、この表示の態様も、予め設定されているが、操作者による操作部材40の入力操作により変更することも可能である。(4) The
(5) The input
(6)図5(a)、(b)に示すように、「第1の拡大表示段階」または「第2の拡大表示段階」の一覧表示部10上で入力対象候補の文字である「つ」を強調するために、文字「つ」に重ねて文字を視認できるような半透明の指Fを表示してもよい。(6) As shown in FIG. 5A and FIG. 5B, “Two” characters that are candidates for input on the
視線入力装置100は、単独でも使用できるが、携帯端末やデジタルカメラなどに搭載することもできる。
本発明は、その特徴を損なわない限り、以上説明した実施の形態に何ら限定されるものではない。The line-of-
The present invention is not limited to the embodiment described above as long as the characteristics are not impaired.
1:ディスプレイ 10:一覧表示部
20:入力情報表示部 30:視線検出用カメラ
40:操作部材 50:記録部
60:制御部 61:表示制御部
62:視線検出部 63:選択決定部
64:情報入力部 100:視線入力装置
DESCRIPTION OF SYMBOLS 1: Display 10: List display part 20: Input information display part 30: Camera for line-of-sight detection 40: Operation member 50: Recording part 60: Control part 61: Display control part 62: Line-of-sight detection part 63: Selection determination part 64: Information Input unit 100: line-of-sight input device
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013012147AJP2014142882A (en) | 2013-01-25 | 2013-01-25 | Line of sight input device |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013012147AJP2014142882A (en) | 2013-01-25 | 2013-01-25 | Line of sight input device |
| Publication Number | Publication Date |
|---|---|
| JP2014142882Atrue JP2014142882A (en) | 2014-08-07 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013012147APendingJP2014142882A (en) | 2013-01-25 | 2013-01-25 | Line of sight input device |
| Country | Link |
|---|---|
| JP (1) | JP2014142882A (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016132884A1 (en)* | 2015-02-16 | 2016-08-25 | ソニー株式会社 | Information processing device, method, and program |
| JP2017084220A (en)* | 2015-10-30 | 2017-05-18 | パイオニア株式会社 | Operation device, control method, program, and storage medium |
| JP2017182217A (en)* | 2016-03-28 | 2017-10-05 | 株式会社バンダイナムコエンターテインメント | Simulation control apparatus and simulation control program |
| JP2018088268A (en)* | 2017-10-06 | 2018-06-07 | 株式会社コナミデジタルエンタテインメント | Terminal device and program |
| JPWO2017169158A1 (en)* | 2016-03-29 | 2019-02-07 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
| JPWO2017187708A1 (en)* | 2016-04-26 | 2019-02-28 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
| JP2020057441A (en)* | 2020-01-14 | 2020-04-09 | パイオニア株式会社 | Operation device, control method, program, and storage medium |
| CN112015266A (en)* | 2019-05-29 | 2020-12-01 | 佳能株式会社 | Electronic device, control method of electronic device, and computer-readable storage medium |
| US20200387294A1 (en)* | 2019-06-04 | 2020-12-10 | Canon Kabushiki Kaisha | Electronic apparatus for enlarging or reducing display object, method of controlling electronic apparatus, and non-transitory computer readable medium |
| JP2022098714A (en)* | 2020-12-22 | 2022-07-04 | 株式会社Jvcケンウッド | Image processing device and image processing method |
| JP2023087307A (en)* | 2021-12-13 | 2023-06-23 | 株式会社コロプラ | Program, information processing method, and portable terminal |
| WO2025197481A1 (en)* | 2024-03-18 | 2025-09-25 | パナソニックIpマネジメント株式会社 | Information processing method, information processing device, and program |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016132884A1 (en)* | 2015-02-16 | 2016-08-25 | ソニー株式会社 | Information processing device, method, and program |
| JP2017084220A (en)* | 2015-10-30 | 2017-05-18 | パイオニア株式会社 | Operation device, control method, program, and storage medium |
| JP2017182217A (en)* | 2016-03-28 | 2017-10-05 | 株式会社バンダイナムコエンターテインメント | Simulation control apparatus and simulation control program |
| JPWO2017169158A1 (en)* | 2016-03-29 | 2019-02-07 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
| JPWO2017187708A1 (en)* | 2016-04-26 | 2019-02-28 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
| JP7092028B2 (en) | 2016-04-26 | 2022-06-28 | ソニーグループ株式会社 | Information processing equipment, information processing methods, and programs |
| US11017257B2 (en) | 2016-04-26 | 2021-05-25 | Sony Corporation | Information processing device, information processing method, and program |
| JP2018088268A (en)* | 2017-10-06 | 2018-06-07 | 株式会社コナミデジタルエンタテインメント | Terminal device and program |
| JP2020194103A (en)* | 2019-05-29 | 2020-12-03 | キヤノン株式会社 | Electronic devices, control methods for electronic devices, programs, storage media |
| CN112015266A (en)* | 2019-05-29 | 2020-12-01 | 佳能株式会社 | Electronic device, control method of electronic device, and computer-readable storage medium |
| JP7341729B2 (en) | 2019-05-29 | 2023-09-11 | キヤノン株式会社 | Electronic devices, control methods for electronic devices, programs, storage media |
| US20200387294A1 (en)* | 2019-06-04 | 2020-12-10 | Canon Kabushiki Kaisha | Electronic apparatus for enlarging or reducing display object, method of controlling electronic apparatus, and non-transitory computer readable medium |
| US11526264B2 (en)* | 2019-06-04 | 2022-12-13 | Canon Kabushiki Kaisha | Electronic apparatus for enlarging or reducing display object, method of controlling electronic apparatus, and non-transitory computer readable medium |
| JP2020057441A (en)* | 2020-01-14 | 2020-04-09 | パイオニア株式会社 | Operation device, control method, program, and storage medium |
| JP2022098714A (en)* | 2020-12-22 | 2022-07-04 | 株式会社Jvcケンウッド | Image processing device and image processing method |
| JP2023087307A (en)* | 2021-12-13 | 2023-06-23 | 株式会社コロプラ | Program, information processing method, and portable terminal |
| WO2025197481A1 (en)* | 2024-03-18 | 2025-09-25 | パナソニックIpマネジメント株式会社 | Information processing method, information processing device, and program |
| Publication | Publication Date | Title |
|---|---|---|
| JP2014142882A (en) | Line of sight input device | |
| EP2525271B1 (en) | Method and apparatus for processing input in mobile terminal | |
| EP2960752B1 (en) | Character entry for an electronic device using a position sensing keyboard | |
| US9946338B2 (en) | Information processing to vary screen display based on a gaze point of the user | |
| JP5962403B2 (en) | Information processing apparatus, display control method, and program | |
| KR101695174B1 (en) | Ergonomic motion detection for receiving character input to electronic devices | |
| JP4849412B2 (en) | Information input display device | |
| JP6131540B2 (en) | Tablet terminal, operation reception method and operation reception program | |
| EP2372517A2 (en) | Touch screen apparatus and method for processing input of touch screen apparatus | |
| JP5925024B2 (en) | Display control apparatus, display control method, and program | |
| WO2011125352A1 (en) | Information processing system, operation input device, information processing device, information processing method, program and information storage medium | |
| JP2016529635A (en) | Gaze control interface method and system | |
| JP5556398B2 (en) | Information processing apparatus, information processing method, and program | |
| US20110057956A1 (en) | Method of improving the accuracy of selecting a soft button displayed on a touch-sensitive screen and related portable electronic device | |
| JP2009514119A (en) | Terminal having a button having a display function and display method therefor | |
| JP2013003801A (en) | Character input device, control method for character input device, control program and recording medium | |
| JPH07248872A (en) | Input device and arithmetic input / output device | |
| JP2013003802A (en) | Character input device, control method for character input device, control program and recording medium | |
| EP3454180A1 (en) | Electronic device and method for displaying contents | |
| KR20100088508A (en) | Character input apparatus and method for a device had a touch screen | |
| CN117083584A (en) | Multi-layer text input method for augmented reality device | |
| JP7465666B2 (en) | Visual target presentation device | |
| US20200142528A1 (en) | Display control apparatus and control method for the display control apparatus | |
| JP6818959B1 (en) | display | |
| KR101654710B1 (en) | Character input apparatus based on hand gesture and method thereof |