Movatterモバイル変換


[0]ホーム

URL:


JP2014142882A - Line of sight input device - Google Patents

Line of sight input device
Download PDF

Info

Publication number
JP2014142882A
JP2014142882AJP2013012147AJP2013012147AJP2014142882AJP 2014142882 AJP2014142882 AJP 2014142882AJP 2013012147 AJP2013012147 AJP 2013012147AJP 2013012147 AJP2013012147 AJP 2013012147AJP 2014142882 AJP2014142882 AJP 2014142882A
Authority
JP
Japan
Prior art keywords
unit information
line
sight
size
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013012147A
Other languages
Japanese (ja)
Inventor
Hideya Inoue
英也 井上
Masanaga Nakamura
正永 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon CorpfiledCriticalNikon Corp
Priority to JP2013012147ApriorityCriticalpatent/JP2014142882A/en
Publication of JP2014142882ApublicationCriticalpatent/JP2014142882A/en
Pendinglegal-statusCriticalCurrent

Links

Images

Landscapes

Abstract

Translated fromJapanese

【課題】視線方向が多少ぶれても所望の単位情報を確実に選択して入力すること。
【解決手段】一覧表示部10に入力候補としての複数の単位情報を一覧表示させ、視線検出部62は、操作者の視線の位置を検出し、選択決定部63は、視線の位置に基づいて複数の単位情報から一つの単位情報を第1の決定単位情報として決定し、表示制御部61は、第1の決定単位情報と、その第1の決定単位情報の周囲の複数の単位情報とを第1の大きさに拡大表示させ、選択決定部63は、第1の大きさに拡大表示された複数の単位情報から一つの単位情報を第2の決定単位情報として決定し、表示制御部61は、第2の決定単位情報を第1の大きさよりも大きい第2の大きさに拡大表示させ、情報入力部64は、第2の決定単位情報を入力する。
【選択図】図2
To reliably select and input desired unit information even if the viewing direction is slightly deviated.
A list display unit displays a plurality of unit information as input candidates, a line-of-sight detection unit detects a line-of-sight position of an operator, and a selection determination unit 63 based on the line-of-sight position. One unit information is determined as the first determination unit information from the plurality of unit information, and the display control unit 61 obtains the first determination unit information and the plurality of unit information around the first determination unit information. The selection determining unit 63 displays one unit information as the second determination unit information from the plurality of unit information enlarged and displayed in the first size, and displays the first size. Displays the second determination unit information in a second size larger than the first size, and the information input unit 64 inputs the second determination unit information.
[Selection] Figure 2

Description

Translated fromJapanese

本発明は、視線の位置を検出して文字などの情報を入力する視線入力装置に関する。  The present invention relates to a line-of-sight input device that detects the position of a line of sight and inputs information such as characters.

コンピュータなどに平仮名やアルファベットや数字などの文字を入力する場合には、指でキーボードやマウスやタッチパネルなどを操作する入力装置が使用されるが、これらの指で操作する必要のない入力装置として、視線検出器を使用して文字などを入力する視線入力装置が知られている。このような視線入力装置は、ディスプレイに50音の平仮名や、26文字のアルファベットなどの文字を一覧表示して、操作者が表示された複数の文字のうちの一つを注視すると、視線検出器が操作者の視線を検出し、視線の位置に対応する文字を操作者の注視文字として決定し、この決定した文字を入力するものである(例えば、特許文献1参照)。この視線入力装置では、視線検出器が検出した視線の位置に相当する文字を他の文字に対して強調表示して、この強調表示によって、操作者が注視している文字と視線検出器が検出した視線の位置とが一致しているか否かを操作者が判断できるようにして誤入力を防止している。  When inputting characters such as hiragana and alphabets and numbers to a computer, etc., input devices that operate a keyboard, mouse, touch panel, etc. with fingers are used, but as input devices that do not need to be operated with these fingers, There is known a line-of-sight input device for inputting characters and the like using a line-of-sight detector. Such a line-of-sight input device displays a list of characters such as 50 hiragana characters and 26 alphabets on the display and gazes at one of a plurality of characters displayed by the operator. Detects the line of sight of the operator, determines a character corresponding to the position of the line of sight as the gaze character of the operator, and inputs the determined character (for example, see Patent Document 1). In this line-of-sight input device, a character corresponding to the position of the line of sight detected by the line-of-sight detector is highlighted with respect to other characters, and this highlighting detects the character being watched by the operator and the line-of-sight detector. Thus, the operator can determine whether or not the position of the line of sight is the same, thereby preventing erroneous input.

特開2010−267071号公報JP 2010-267071 A

ところが、ディスプレイに多数の文字を表示すると、各文字が小さく表示されるため、視線検出誤差や視線のブレなどにより、操作者が注視している文字と視線検出器で検出される視線の位置とが一致しない確率が高くなり、入力に多くの時間を要するといった問題がある。  However, when a large number of characters are displayed on the display, each character is displayed in a small size.Therefore, due to line-of-sight detection error, line-of-sight blur, etc. There is a problem that there is a high probability that they do not match, and a long time is required for input.

請求項1の発明による視線入力装置は、表示手段と、入力候補としての複数の単位情報を前記表示手段に一覧表示させる第1の表示制御手段と、前記表示手段における操作者の視線の位置を検出する視線検出手段と、前記視線検出手段によって検出された操作者の視線の位置に基づいて、前記表示手段上の複数の単位情報から一つの単位情報を第1の決定単位情報として決定する第1の決定手段と、前記第1の決定手段によって決定された第1の決定単位情報と、その第1の決定単位情報の周囲の複数の単位情報とを第1の大きさに拡大表示させる第2の表示制御手段と、前記視線検出手段によって検出された操作者の視線の位置に基づいて、前記第1の大きさに拡大表示された複数の単位情報から一つの単位情報を第2の決定単位情報として決定する第2の決定手段と、前記第2の決定手段によって決定された第2の決定単位情報を前記第1の大きさよりも大きい第2の大きさに拡大表示させる第3の表示制御手段と、前記第2の大きさに拡大表示された前記第2の決定単位情報を入力する情報入力手段と、を備えることを特徴とする。  According to a first aspect of the present invention, there is provided a line-of-sight input device comprising: display means; first display control means for displaying a plurality of unit information as input candidates on the display means; and a position of the operator's line of sight on the display means. First unit information is determined as first determination unit information from a plurality of unit information on the display unit based on a gaze detection unit to be detected and a position of the operator's gaze detected by the gaze detection unit. A first determination unit, a first determination unit information determined by the first determination unit, and a plurality of unit information surrounding the first determination unit information are enlarged and displayed in a first size. A second unit for determining one unit information from a plurality of unit information enlarged and displayed in the first size based on the position of the line of sight of the operator detected by the display control unit and the line of sight detecting unit. As unit information Second determining means for determining; and third display control means for enlarging and displaying the second determination unit information determined by the second determining means in a second size larger than the first size; And an information input means for inputting the second determination unit information enlarged and displayed in the second size.

本発明の視線入力装置によれば、入力候補としての複数の単位情報から所望の単位情報を容易に選択して入力することができる。  According to the line-of-sight input device of the present invention, it is possible to easily select and input desired unit information from a plurality of unit information as input candidates.

本発明の実施の形態に係る視線入力装置の外観を模式的に示す図である。It is a figure which shows typically the external appearance of the visual line input device which concerns on embodiment of this invention.本発明の実施の形態に係る視線入力装置の主要部の構成を示すブロック図である。It is a block diagram which shows the structure of the principal part of the visual line input device which concerns on embodiment of this invention.視線入力を行うための一覧表示部の画面表示の一例であり、図3(a)は初期の一覧表示状態、図3(b)は第1の拡大表示段階、図3(c)は第2の拡大表示段階を表す。FIG. 3A is an example of a screen display of a list display unit for performing line-of-sight input. FIG. 3A is an initial list display state, FIG. 3B is a first enlarged display stage, and FIG. Represents the enlarged display stage.視線入力を行うための一覧表示部の画面表示の別例であり、図4(a)は第1の拡大表示段階、図4(b)は第2の拡大表示段階を表す。It is another example of the screen display of the list display part for performing a line-of-sight input, Fig.4 (a) represents a 1st enlarged display stage, FIG.4 (b) represents a 2nd enlarged display stage.視線入力を行うための一覧表示部の画面表示の変形例であり、図5(a)は第1の拡大表示段階、図5(b)は第2の拡大表示段階を表す。FIGS. 5A and 5B show a modification example of the screen display of the list display unit for performing line-of-sight input. FIG. 5A shows a first enlarged display stage, and FIG. 5B shows a second enlarged display stage.

以下、本発明の実施の形態による視線入力装置の構成について、図面を参照しながら説明する。
図1を参照すると、視線入力装置100は、ディスプレイ1と、ディスプレイ1が取り付けられた筐体2とを有し、ディスプレイ1は、一覧表示部10と入力情報表示部20とを有する。一覧表示部10は、入力候補としての複数の単位情報、例えば平仮名を50音順に一覧表示する画面である。平仮名の一文字が単位情報に相当する。入力情報表示部20は、入力候補としての複数の単位情報の中から選択され、入力決定された単位情報を表示する画面である。
Hereinafter, the configuration of a line-of-sight input device according to an embodiment of the present invention will be described with reference to the drawings.
Referring to FIG. 1, the line-of-sight input device 100 includes adisplay 1 and ahousing 2 to which thedisplay 1 is attached. Thedisplay 1 includes alist display unit 10 and an inputinformation display unit 20. Thelist display unit 10 is a screen for displaying a list of a plurality of unit information as input candidates, for example, hiragana in the order of 50 sounds. One character of hiragana corresponds to unit information. The inputinformation display unit 20 is a screen that displays unit information selected and input from a plurality of unit information as input candidates.

筐体2には、ディスプレイ1の他に、視線検出用のカメラ30及び操作部材40が取り付けられている。
視線検出用カメラ30は、筐体2の上側に配設されており、一覧表示部10を見つめて入力動作を行う操作者の眼を撮影する。なお、視線検出用カメラ30の配設位置は、筐体2の上側に限らず、筐体2の右側、左側又は下側でもよいし、視線検出用カメラ30の台数は複数でもよい。
In addition to thedisplay 1, acamera 30 for detecting a line of sight and anoperation member 40 are attached to thehousing 2.
The line-of-sight detection camera 30 is arranged on the upper side of thehousing 2 and images the eyes of an operator who performs an input operation by staring at thelist display unit 10. The arrangement position of the line-of-sight detection camera 30 is not limited to the upper side of thecasing 2, and may be on the right side, the left side, or the lower side of thecasing 2, and the number of the line-of-sight detection cameras 30 may be plural.

操作部材40は、筐体2の右下に配設されており、視線入力装置100へ各種の情報を入力するために操作者によって操作される部材である。具体的には、一覧表示部10の表示内容を選択/決定し、一覧表示部10や入力情報表示部20の表示態様を設定/変更する。  Theoperation member 40 is disposed on the lower right side of thehousing 2 and is a member that is operated by an operator to input various types of information to the line-of-sight input device 100. Specifically, the display content of thelist display unit 10 is selected / determined, and the display mode of thelist display unit 10 and the inputinformation display unit 20 is set / changed.

図2のブロック図を参照しながら、各ブロックの機能を説明する。視線入力装置100は、前述した一覧表示部10、入力情報表示部20、視線検出用カメラ30及び操作部材40に加えて、記録部50及び制御部60を備える。一覧表示部10、入力情報表示部20、視線検出用カメラ30、操作部材40及び記録部50はそれぞれ、制御部60と電気的に接続されている。  The function of each block will be described with reference to the block diagram of FIG. The line-of-sight input device 100 includes arecording unit 50 and acontrol unit 60 in addition to thelist display unit 10, the inputinformation display unit 20, the line-of-sight detection camera 30, and theoperation member 40 described above. Thelist display unit 10, the inputinformation display unit 20, the line-of-sight detection camera 30, theoperation member 40, and therecording unit 50 are each electrically connected to thecontrol unit 60.

記録部50は、不図示のRAMに一時的に記憶された各種の情報を、例えばメモリカードに記憶させる。
制御部60は、表示制御部61、視線検出部62、選択決定部63、及び情報入力部64を有し、一覧表示部10、入力情報表示部20、視線検出用カメラ30、操作部材40、記録部50の各ブロックとの間で電気信号或いはデータの授受を行うことにより、各種の演算や、不図示のROMに記憶されているプログラムを実行する。
Therecording unit 50 stores various information temporarily stored in a RAM (not shown) in, for example, a memory card.
Thecontrol unit 60 includes adisplay control unit 61, a line-of-sight detection unit 62, aselection determination unit 63, and aninformation input unit 64. Thelist display unit 10, the inputinformation display unit 20, the line-of-sight detection camera 30, theoperation member 40, By exchanging electric signals or data with each block of therecording unit 50, various calculations and programs stored in a ROM (not shown) are executed.

表示制御部61は、ディスプレイ1の一覧表示部10に入力対象の平仮名文字を一覧表示する。勿論、入力対象の単位情報は、平仮名文字の他に、アルファベットでも、数字でも、記号などでも良い。  Thedisplay control unit 61 displays a list of input hiragana characters on thelist display unit 10 of thedisplay 1. Of course, the unit information to be input may be alphabets, numbers, symbols or the like in addition to hiragana characters.

図3(a)は、平仮名文字が一覧表示部10に一覧表示された状態を示したものである。なお、一覧表示部10には50音の平仮名の全てが表示されているが、図3(a)では、その内の「さ」行の文字と「た」行の文字と「な」行の文字との計15文字のみが示され、その他の文字は、図示が省略されている。勿論、一覧表示部10の表示面積が小さい場合には、図3(a)のように、50音の平仮名の内の一部のみを表示し、その他の文字は、例えば一覧表示部10のスクロール操作によって表示するようにしても良い。  FIG. 3A shows a state in which hiragana characters are listed on thelist display unit 10. Note that all 50 hiragana characters are displayed in thelist display unit 10, but in FIG. 3A, the characters in the “sa” line, the characters in the “ta” line, and the “na” line are included. Only a total of 15 characters are shown, and the other characters are not shown. Of course, when the display area of thelist display unit 10 is small, only a part of the hiragana of 50 sounds is displayed as shown in FIG. 3A, and other characters are scrolled on thelist display unit 10, for example. You may make it display by operation.

図3(a)において、入力対象の各平仮名文字は、縦及び横の長さがdの比較的小さな正方形の表示枠Rによって取り囲まれている。各表示枠Rは、互いに横方向及び縦方向にほぼ長さdだけ、離間している。即ち、隣接する表示枠Rの縦方向及び横方向の間隔は、ほぼdに定められている。  In FIG. 3A, each Hiragana character to be input is surrounded by a relatively small square display frame R having vertical and horizontal lengths d. The display frames R are separated from each other by a length d in the horizontal and vertical directions. That is, the interval between the adjacent display frames R in the vertical direction and the horizontal direction is set to approximately d.

視線検出部62は、視線検出用カメラ30が撮影した操作者の眼の画像データを解析して、一覧表示部10上の操作者の視線位置、即ち、操作者が注視している文字の位置を検出して、注視文字に関する検出信号を選択決定部63に出力する。なお、視線検出部62は、操作者の視線位置が表示枠Rの内部に位置していることを検出した時に、その表示枠R内の文字に関する検出信号を出力する。  The line-of-sight detection unit 62 analyzes the image data of the operator's eyes captured by the line-of-sight detection camera 30, and the line-of-sight position of the operator on thelist display unit 10, that is, the position of the character being watched by the operator And a detection signal related to the gaze character is output to theselection determining unit 63. When the line-of-sight detection unit 62 detects that the operator's line-of-sight position is located inside the display frame R, the line-of-sight detection unit 62 outputs a detection signal related to characters in the display frame R.

選択決定部63は、視線検出部62が同一の注視文字に関する検出信号を所定の時間、出力し続けた時に、操作者が入力を意図した文字であると判定し、その入力対象文字に関するデータを表示制御部61へ出力する。このように、選択決定部63は、操作者が一覧表示された多数の入力対象文字の中から、自身が入力を意図した文字を探してそれを前記所定の時間、連続して注視した場合に、その文字を操作者の意図した入力対象文字として決定する。  When the line-of-sight detection unit 62 continues to output a detection signal related to the same gaze character for a predetermined time, theselection determination unit 63 determines that the character is intended for input by the operator, and stores data related to the input target character. Output to thedisplay control unit 61. As described above, theselection determination unit 63 searches for a character that the operator intends to input from among a large number of input target characters displayed in a list, and continuously watches the character for the predetermined time. The character is determined as the input target character intended by the operator.

表示制御部61は、選択決定部63が決定した入力対象文字に関する情報に応じて、入力対象文字とその周囲の8文字とを一覧表示部10上に第1の倍率で拡大表示させる。図3(b)は、文字「つ」が入力対象候補の文字として決定され、その入力対象文字「つ」とその周囲の8文字とが拡大表示された状態を示している。操作者がこの拡大表示された計9文字のうちのいずれかを再度注視すると、視線検出部62は、注視した文字を視線検出によって検出して検出信号を出力する。選択決定部63は、同一の注視文字に関する視線検出部62の検出信号が所定の時間継続したことを検出して、その注視文字を操作者の意図した入力対象文字として決定する。  Thedisplay control unit 61 enlarges and displays the input target character and the surrounding eight characters on thelist display unit 10 at the first magnification according to the information regarding the input target character determined by theselection determination unit 63. FIG. 3B shows a state in which the character “T” is determined as the input target candidate character, and the input target character “T” and the surrounding eight characters are enlarged and displayed. When the operator gazes again at any of the nine characters displayed in an enlarged manner, thegaze detection unit 62 detects the gazed character by gaze detection and outputs a detection signal. Theselection determination unit 63 detects that the detection signal of the line-of-sight detection unit 62 relating to the same gaze character has continued for a predetermined time, and determines the gaze character as an input target character intended by the operator.

表示制御部61は、拡大表示されている9文字のうち、選択決定部63の決定した入力対象文字のみを更に第2の倍率で拡大表示させる。図3(c)は、文字「つ」が入力対象文字として決定されて、文字「つ」のみが更に拡大表示された状態を示している。この表示状態で、操作者が第2の倍率で拡大表示された文字を所定の時間、注視したことを視線検出部62が検出すると、選択決定部63は、視線検出部62の検出信号に応じて、この注視文字「つ」を操作者の意図する入力対象文字として最終的に決定する。
情報入力部64は、選択決定部63からの最終決定情報に応じて、選択決定された文字情報をRAMに一時的に入力すると共に、その文字情報を入力情報表示部20上に表示させる。記録部50は、RAMに一時的に記憶された単位情報を、例えばメモリカードに記憶させる。
Thedisplay control unit 61 further enlarges and displays only the input target character determined by theselection determination unit 63 among the nine characters displayed in an enlarged manner at the second magnification. FIG. 3C shows a state in which the character “T” is determined as the input target character, and only the character “T” is further enlarged and displayed. In this display state, when the line-of-sight detection unit 62 detects that the operator gazes at the character enlarged and displayed at the second magnification for a predetermined time, theselection determination unit 63 responds to the detection signal of the line-of-sight detection unit 62. The gaze character “tsu” is finally determined as the input target character intended by the operator.
Theinformation input unit 64 temporarily inputs the character information selected and determined in the RAM in accordance with the final determination information from theselection determination unit 63 and causes the character information to be displayed on the inputinformation display unit 20. Therecording unit 50 stores unit information temporarily stored in the RAM, for example, in a memory card.

<入力動作>
図3を参照して、視線入力動作に伴う一覧表示部10の画面表示の変化を説明する。視線入力装置100が起動されると、表示制御部61が図3(a)に示されるように、50音の平仮名を一覧表示部10に表示する。この初期の一覧表示状態では、表示枠Rに取り囲まれた平仮名文字が、縦及び横方向に互いに間隔を隔てて、所定のピッチで配列される。操作者が入力したい文字、例えば文字「つ」を連続して第1の所定時間、注視すると、視線検出用カメラ30と視線検出部62が操作者の視線の位置を検出し、一覧表示部10上の視線の位置に対応する文字「つ」に関する文字情報を検出信号として出力する。選択決定部63は、文字「つ」に関する検出信号が第1の所定時間、連続して継続すると、操作者の入力したい入力対象候補として文字「つ」を決定し、その決定情報を表示制御部61へ出力する。
<Input operation>
With reference to FIG. 3, changes in the screen display of thelist display unit 10 accompanying the line-of-sight input operation will be described. When the line-of-sight input device 100 is activated, thedisplay control unit 61 displays hiragana with 50 sounds on thelist display unit 10 as shown in FIG. In this initial list display state, hiragana characters surrounded by the display frame R are arranged at a predetermined pitch, spaced apart from each other in the vertical and horizontal directions. When a character, for example, the character “T”, which the operator wants to input is continuously watched for a first predetermined time, the line-of-sight detection camera 30 and the line-of-sight detection unit 62 detect the position of the line of sight of the operator, and thelist display unit 10 Character information related to the character “T” corresponding to the position of the upper line of sight is output as a detection signal. When the detection signal related to the character “T” continues continuously for the first predetermined time, theselection determination unit 63 determines the character “T” as an input target candidate to be input by the operator, and displays the determination information as a display control unit. To 61.

表示制御部61は、図3(b)の「第1の拡大表示段階」に示されるように、文字「つ」と、その周囲に上下左右斜めに隣接する8文字「し」、「ち」、「に」、「す」、「ぬ」、「せ」、「て」、「ね」とを、それぞれ第1の倍率、即ち第1の大きさに拡大表示させると同時に、中央の拡大文字「つ」をその周囲の拡大文字よりも目立たせるように、周囲の文字よりも鮮やかに、又は濃い色や周囲の文字とは異なった色や太い線を用いて、いわゆるハイライト表示する。これによって、操作者は、視線入力装置100が操作者の意図する入力対象文字を「つ」と認識したことを知ることができる。  As shown in the “first enlarged display stage” of FIG. 3B, thedisplay control unit 61 has eight characters “Shi”, “Chi” adjacent to the character “T” and its surroundings diagonally up, down, left and right. , “Ni”, “su”, “nu”, “se”, “te”, “ne” are enlarged and displayed at the first magnification, that is, the first size, respectively, and at the same time, the enlarged characters at the center In order to make “tsu” stand out from the enlarged characters around it, so-called highlighting is performed using a brighter color than the surrounding characters, or a dark color or a color different from the surrounding characters or a thick line. Thus, the operator can know that the line-of-sight input device 100 has recognized the input target character intended by the operator as “one”.

また、制御部60は、中央の拡大文字「つ」とその周囲の拡大された8文字とを拡大表示するのに対応して、これら計9文字の各表示枠Rも拡大させる。なお、拡大した9文字の各表示枠Rは、これらに隣接する非拡大の文字「さ」、「た」、「な」、「そ」、「と」、「の」などの表示枠に重なり合わない程度に拡大される。従って、操作者は、図3(b)の「第1の拡大表示段階」であっても、非拡大表示の文字「さ」、「た」、「な」、「そ」、「と」、「の」などを十分に視認することができる。  Thecontrol unit 60 also enlarges each display frame R of these nine characters in response to the enlarged display of the central enlarged character “T” and the eight enlarged characters around it. Each of the enlarged nine character display frames R overlaps with the adjacent non-expanded characters “sa”, “ta”, “na”, “so”, “to”, “no”, etc. Enlarged to a degree that does not fit. Therefore, even in the “first enlarged display stage” of FIG. 3B, the operator can display the characters “sa”, “ta”, “na”, “so”, “to” “No” etc. can be sufficiently visually recognized.

図3(b)において、操作者が第1の大きさに拡大された文字「つ」を第2の所定時間、連続して注視すると、視線検出部62は、視線検出用カメラ30によって撮影された眼の画像を解析して操作者の視線位置が拡大文字「つ」の表示枠R内にあることを検出し、文字「つ」に関する検出信号を出力する。選択決定部63は、この検出信号に基づき、文字「つ」を選択決定し、その決定情報を表示制御部61へ出力する。  In FIG. 3B, when the operator gazes at the character “T” enlarged to the first size for a second predetermined time, the line-of-sight detection unit 62 is photographed by the line-of-sight detection camera 30. The eye image is analyzed to detect that the operator's line-of-sight position is within the display frame R of the enlarged character “T”, and a detection signal relating to the character “T” is output. Theselection determination unit 63 selects and determines the character “T” based on this detection signal, and outputs the determination information to thedisplay control unit 61.

表示制御部61は、選択決定部63の決定情報に基づき、図3(c)の「第2の拡大表示段階」に示されるように、文字「つ」のみを第2の倍率に、即ち、第1の大きさよりも大きい第2の大きさに、更に拡大表示させる。この時に、文字「つ」をその周囲の文字よりも目立たせるように、ハイライト表示する。制御部60は、「つ」の文字が第2の大きさに拡大表示されるのに対応して、文字「つ」の表示枠Rも更に拡大させる。  Based on the determination information of theselection determination unit 63, thedisplay control unit 61 sets only the character “one” to the second magnification, that is, as shown in the “second enlarged display stage” of FIG. The image is further enlarged and displayed in a second size larger than the first size. At this time, the character “tsu” is highlighted so as to stand out from the surrounding characters. Thecontrol unit 60 further enlarges the display frame R of the character “T” in response to the character “T” being enlarged and displayed in the second size.

第2の大きさに拡大表示された文字「つ」の表示枠Rは、この周囲に隣接する8文字「し」、「ち」、「に」、「す」、「ぬ」、「せ」、「て」、「ね」の各表示枠Rの一部分を覆っているが、この拡大表示の文字「つ」の表示枠Rの大きさは、第1の拡大表示段階で拡大された周囲の8つの文字自体を覆わないように定められている。このように、第2の大きさに拡大表示された表示枠Rは、操作者が第1の大きさの周囲文字を視認することができる程度に、その大きさが拡大される。  The display frame R of the character “T” enlarged to the second size is displayed with eight adjacent characters “SHI”, “CHI”, “NI”, “SU”, “N”, “SE”. , “Te” and “Ne” are partially covered, and the size of the display frame R of the enlarged character “T” is the size of the surrounding area enlarged in the first enlarged display stage. It is determined not to cover the eight characters themselves. Thus, the display frame R enlarged and displayed in the second size is enlarged to such an extent that the operator can visually recognize the surrounding characters of the first size.

図3(c)において、操作者が、「第2の拡大表示段階」の第2の大きさの文字「つ」を第3の所定時間、連続して注視すると、視線検出部62は、視線検出用カメラ30によって撮影された眼の画像を解析して操作者の視線位置が第2の大きさの拡大文字「つ」の表示枠R内にあることを検出し、文字「つ」に関する検出信号を出力する。選択決定部63は、この検出信号に基づき、文字「つ」を選択決定し、その決定情報を表示制御部61と情報入力部64とへ出力する。
なお、視線検出部62は、操作者の視線位置が第2の大きさの拡大文字「つ」の表示枠R内にあるときに操作者の眼の瞬きを検出したときに、文字「つ」に関する検出信号を出力し、選択決定部63は、この検出信号に基づき、文字「つ」を選択決定するようにしてもよい。
In FIG. 3C, when the operator gazes at the character “T” having the second size in the “second enlarged display stage” for a third predetermined time, the line-of-sight detection unit 62 The eye image taken by thedetection camera 30 is analyzed to detect that the operator's line-of-sight position is within the display frame R of the enlarged character “T” having the second size, and detection relating to the character “T”. Output a signal. Theselection determination unit 63 selects and determines the character “tsu” based on the detection signal, and outputs the determination information to thedisplay control unit 61 and theinformation input unit 64.
The line-of-sight detection unit 62 detects the blink of the operator's eyes when the operator's line-of-sight position is within the display frame R of the enlarged character “two” having the second size. Theselection determination unit 63 may select and determine the character “T” based on the detection signal.

表示制御部61は、入力情報表示部20上に、決定された入力対象文字「つ」を表示させ、情報入力部64は、「つ」のデータを不図示のRAMに一時的に記憶させ、1つの文字、即ち単位情報の入力動作が完了する。この入力動作を繰り返し行うことで複数の単位情報からなる一連の情報の入力操作が完了する。
RAMに一時的に記憶された入力情報は、記録部50、例えばメモリカードに記憶される。
Thedisplay control unit 61 displays the determined input target character “tsu” on the inputinformation display unit 20, and theinformation input unit 64 temporarily stores the data of “tsu” in a RAM (not shown). The input operation of one character, that is, unit information is completed. By repeating this input operation, a series of information input operations including a plurality of unit information is completed.
The input information temporarily stored in the RAM is stored in therecording unit 50, for example, a memory card.

なお、文字の選択決定に要する時間である第1〜第3の所定時間の長さについては、これら3つの所定時間の長さをほぼ等しくしてもよいし、3つの所定時間に長短をつけてもよい。第1の所定時間<第2の所定時間<第3の所定時間とした場合は、最終決定に多くの時間をかけることにより確実な文字決定を行うことができ、第1の所定時間>第2の所定時間>第3の所定時間とした場合は、多数の入力候補文字が一覧表示される最初の段階に多くの時間をかけることにより後の段階に要する時間を短縮することができる。  As for the lengths of the first to third predetermined times that are the time required for the selection of characters, the lengths of these three predetermined times may be substantially equal, and the three predetermined times may be lengthened. May be. When the first predetermined time <the second predetermined time <the third predetermined time, it is possible to perform reliable character determination by taking a lot of time for the final determination, and the first predetermined time> second If the predetermined time is greater than the third predetermined time, the time required for the subsequent stage can be shortened by taking a lot of time for the first stage where a large number of input candidate characters are displayed in a list.

以上の説明にあっては、図3(a)の「初期の一覧表示状態」において、操作者が文字「つ」を注視した時に、視線検出部62が、操作者の視線位置が注視文字「つ」の表示枠R内にあると検出し、かつ、図3(b)の「第1の拡大表示段階」においても、操作者が第1の大きさに拡大された文字「つ」を注視した時に、視線検出部62が、操作者の視線位置が注視文字「つ」の表示枠R内にあると検出し、更に、図3(c)の「第2の拡大表示段階」においても、操作者が第2の大きさに拡大された文字「つ」を注視した時に、視線検出部62が、操作者の視線位置が注視文字「つ」の表示枠R内にあると検出した。
次に、操作者が或る文字、例えば文字「に」を注視した時に、視線検出部62が、操作者の視線位置が他の文字、例えば文字「つ」の表示枠R内にあると誤検出した場合について、説明する。
In the above description, in the “initial list display state” of FIG. 3A, when the operator gazes at the character “one”, thegaze detection unit 62 indicates that the gaze position of the operator is the gaze character “ ”In the display frame R, and in the“ first enlarged display stage ”of FIG. 3B, the operator pays attention to the character“ one ”enlarged to the first size. Then, the line-of-sight detection unit 62 detects that the operator's line-of-sight position is within the display frame R of the gaze character “one”, and also in the “second enlarged display stage” of FIG. When the operator gazes at the character “T” enlarged to the second size, thegaze detection unit 62 detects that the operator's gaze position is within the display frame R of the gaze character “T”.
Next, when the operator gazes at a certain character, for example, the character “ni”, the line-of-sight detection unit 62 erroneously determines that the line-of-sight position of the operator is within the display frame R of another character, for example, the character “one”. The case where it is detected will be described.

<視線誤検出時の入力動作>
図3(a)において、操作者が文字「に」を第1の所定の時間、注視している時に、視線検出部62が、操作者の視線位置が文字「つ」の表示枠R内にあると誤検出すると、表示制御部61は、図3(b)に示すように、文字「つ」とその周囲の8文字とを第1の大きさに拡大表示させる。操作者が、拡大表示された文字「に」を再度、第2の所定の時間、注視すると、視線検出部62は、操作者の視線位置が注視文字「に」の表示枠R内にあると、正しく検出する。選択決定部63は、入力対象文字が「に」であると決定し、これによって、表示制御部61は、図4(a)に示したように、文字「に」と、この文字「に」の周囲の8文字「た」、「な」、「は」、「ち」、「ひ」、「つ」、「ぬ」、「ふ」とを第1の大きさに拡大表示する。
<Input operation when an eye-gaze is detected>
In FIG. 3A, when the operator is gazing at the character “ni” for a first predetermined time, the line-of-sight detection unit 62 puts the line-of-sight position of the operator in the display frame R of the character “one”. If it is erroneously detected, thedisplay control unit 61 enlarges and displays the character “one” and the surrounding eight characters to the first size as shown in FIG. When the operator gazes at the enlarged character “ni” again for the second predetermined time, the line-of-sight detection unit 62 indicates that the operator's line-of-sight position is within the display frame R of the gaze character “ni”. Detect correctly. Theselection determining unit 63 determines that the input target character is “ni”, whereby thedisplay control unit 61 causes the character “ni” and the character “ni” to be displayed as illustrated in FIG. The eight characters “ta”, “na”, “ha”, “chi”, “hi”, “tsu”, “nu”, and “fu” around are enlarged and displayed in the first size.

操作者が、第1の大きさに拡大された9文字の中央の文字「に」を第2の所定時間、注視すると、視線検出部62は、操作者の視線位置が拡大された注視文字「に」の表示枠R内にあると正しく検出する。この検出に応じて、表示制御部61は、図4(b)に示すように、注視文字「に」を更に第2の大きさに拡大表示すると同時に、拡大表示された「に」を一覧表示部10の中央位置に移動し、この移動に伴い、第1の大きさに拡大された8文字「た」、「な」、「は」、「ち」、「ひ」、「つ」、「ぬ」、「ふ」も、注視文字「に」の周囲に位置するように移動し、更に、これらの8文字の更に周囲に位置する文字も同様に移動させる。  When the operator gazes at the central character “ni” of the nine characters enlarged to the first size for the second predetermined time, thegaze detection unit 62 increases the gaze character “ It is correctly detected that it is in the display frame R. In response to this detection, as shown in FIG. 4B, thedisplay control unit 61 further displays the gaze character “ni” in a second size, and simultaneously displays the enlarged “ni” in a list. It moves to the center position of thesection 10, and with this movement, the eight characters “ta”, “na”, “ha”, “chi”, “hi”, “tsu”, “tsu”, “ "Nu" and "Fu" are moved so as to be positioned around the gaze character "Ni", and the characters positioned further around these eight characters are also moved in the same manner.

操作者が一覧表示部10の中央位置に表示された第2の大きさの注視文字「に」を第3の所定時間、注視すると、視線検出部62は、操作者の視線位置が拡大された注視文字「に」の表示枠R内にあると検出し、これに応じて、選択決定部63が入力対象文字が「に」であると最終的に決定する。  When the operator gazes at the second size gaze character “ni” displayed at the center position of thelist display unit 10 for a third predetermined time, thegaze detection unit 62 expands the gaze position of the operator. It detects that it is in the display frame R of the gaze character "ni", and according to this, theselection determination part 63 finally determines that an input object character is "ni".

なお、上述の説明では、図3(b)において、操作者が、第1の大きさに拡大表示された9文字のうち、中央の文字「つ」ではなく、その周囲の文字「に」を第2の所定時間、注視し続けた場合に、図4(a)に示したように、注視文字「に」とその周囲の8文字とを第1の大きさに拡大表示したが、その代わりに、図3(b)において、操作者が、周囲の文字「に」を第2の所定時間、注視し続けた場合に、選択決定部63が視線検出部62の検出信号に応じて文字「に」を選択決定すると、表示制御部61は、図4(a)の表示を行うことなく、直ちに図4(b)に示したように、文字「に」を第2の大きさに拡大表示してもよい。  In the above description, in FIG. 3B, the operator selects not only the central character “one” but the surrounding character “ni” among the nine characters enlarged and displayed in the first size. When the user keeps gazing for the second predetermined time, as shown in FIG. 4A, the gazing character “ni” and the surrounding eight characters are enlarged and displayed in the first size. 3B, when the operator continues to gaze at the surrounding character “ni” for a second predetermined time, theselection determination unit 63 responds to the character “ When “ni” is selected and determined, thedisplay control unit 61 immediately displays the character “ni” in the second size as shown in FIG. 4B without performing the display of FIG. May be.

上述の説明では、図3(a)において、操作者が文字「に」を第1の所定の時間、注視していたにもかかわらず、視線検出部62が、操作者の視線位置が文字「つ」の表示枠R内にあると誤検出した場合であったが、このような視線の誤検出の場合に限らず、操作者は、図3(a)の一覧表示状態では、文字「つ」を入力対象として、その文字を注視し続けたが、図3(b)の第1の拡大表示段階では、入力対象文字を変更して、文字「に」などを入力対象とする場合にも、前述の説明と全く同様の動作により、新たな入力対象文字を入力することができる。  In the above description, in FIG. 3A, the line-of-sight detection unit 62 determines that the line-of-sight position of the operator is the character “”, even though the operator has been gazing at the character “ni” for the first predetermined time. In the list display state of FIG. 3A, the operator does not limit to the case of erroneous detection of the line of sight. ”As an input target, and the character is kept being watched. However, in the first enlarged display stage of FIG. 3B, the input target character may be changed so that the character“ ni ”or the like is the input target. A new input target character can be input by the same operation as described above.

<キャンセル動作1>
当初、図3(a)の「初期の一覧表示状態」では、例えば文字「つ」を入力対象候補として、その文字を注視して、図3(b)の「第1の拡大表示段階」に移ったが、この「第1の拡大表示段階」において、入力対象候補を拡大表示された9文字ではなく、この拡大表示の9文字以外の文字、例えば、文字「た」を入力対象候補に選定した場合の動作を以下に説明する。
<Canceloperation 1>
Initially, in the “initial list display state” in FIG. 3A, for example, the character “T” is selected as an input target candidate, and the character is closely watched to enter the “first enlarged display stage” in FIG. However, in this “first enlarged display stage”, the input target candidate is selected as an input target candidate, instead of the nine characters that are enlarged and displayed, for example, the character “ta” other than the nine characters that are enlarged and displayed. The operation in this case will be described below.

図3(b)において、操作者が第1の大きさに拡大表示されている文字「つ」の選択を中止して、非拡大表示の文字「た」を入力対象候補として選択したい場合は、図3(b)の一覧表示部10の画面において、第1の大きさに拡大表示された9文字「つ」、「し」、「ち」、「に」、「す」、「ぬ」、「せ」、「て」、「ね」の表示枠Rのいずれからも、所定の時間、視線の位置を外せばよい。例えば、視線を所定の時間、一覧表示部10の外に移動する。  In FIG. 3B, when the operator wants to cancel the selection of the character “T” that is enlarged and displayed in the first size and select the character “T” that is not enlarged and displayed as an input target candidate, On the screen of thelist display unit 10 in FIG. 3B, nine characters “T”, “Shi”, “Chi”, “Ni”, “S”, “N”, The position of the line of sight may be removed from the display frames R of “se”, “te”, and “ne” for a predetermined time. For example, the line of sight is moved out of thelist display unit 10 for a predetermined time.

視線検出部62が視線の位置が所定の時間、拡大表示された9文字のいずれの表示枠R内にも存在しないことを検出すると、表示制御部61は、図3(b)の「第1の拡大表示段階」の表示をキャンセルして、一覧表示部10を図3(a)に示す「初期の一覧表示状態」に戻す。この図3(a)の「初期の一覧表示状態」において、操作者は、新たな入力対象候補として文字「た」を第1の所定時間、注視し続けると、これを検出した視線検出部62の検出信号に応じて、選択決定部63は文字「た」を選択決定し、表示制御部61は、入力対象候補文字「た」とその周囲の8文字とを第1の大きさに拡大表示して「第1の拡大表示段階」とする。  When the line-of-sight detection unit 62 detects that the position of the line of sight does not exist in any of the display frames R of the nine characters enlarged and displayed for a predetermined time, thedisplay control unit 61 displays “first” in FIG. The display of “enlarged display stage” is canceled and thelist display unit 10 is returned to the “initial list display state” shown in FIG. In the “initial list display state” in FIG. 3A, when the operator keeps gazing at the character “TA” as a new input target candidate for the first predetermined time, the line-of-sight detection unit 62 that has detected this is detected. In response to the detection signal, theselection determination unit 63 selects and determines the character “ta”, and thedisplay control unit 61 displays the input target candidate character “ta” and the surrounding eight characters enlarged to the first size. Thus, the first enlarged display stage is set.

<キャンセル動作2>
次に、図3(b)の「第1の拡大表示段階」で入力対象候補として選択した文字を図3(c)の「第2の拡大表示段階」で、キャンセルする方法について、説明する。図3(c)に示した「第2の拡大表示段階」で、操作者が第2の大きさに拡大表示されている文字「つ」の選択をキャンセルして、文字「つ」の周囲の8文字「し」、「ち」、「に」、「す」、「ぬ」、「せ」、「て」、「ね」のいずれかを選択したい場合と、これらの周囲8文字以外の文字を選択したい場合とに分けて、以下に説明する。
<Canceloperation 2>
Next, a method for canceling the character selected as the input target candidate in the “first enlarged display stage” in FIG. 3B in the “second enlarged display stage” in FIG. 3C will be described. In the “second enlarged display stage” shown in FIG. 3C, the operator cancels the selection of the character “one” enlarged and displayed in the second size, and the area around the character “one” is displayed. If you want to select any of the eight characters “shi”, “chi”, “ni”, “su”, “nu”, “se”, “te”, “ne”, and any characters other than these eight characters This will be described below separately for the case where the user wants to select.

操作者が、図3(c)に示した「第2の拡大表示段階」で、拡大表示の文字「つ」の選択をキャンセルして、その周囲の8文字「し」、「ち」、「に」、「す」、「ぬ」、「せ」、「て」、「ね」のいずれかを選択したい場合には、操作者は、視線の位置を文字「つ」の表示枠R内から、これに隣接する第1の大きさに拡大表示されている周囲の8文字「し」、「ち」、「に」、「す」、「ぬ」、「せ」、「て」、「ね」のいずれかへ動かし、そのまま所定の時間、その8文字のいずれかを注視する。操作者の視線位置を検出した視線検出部62の検出信号に応じて、表示制御部61は、文字「つ」をその周囲8文字と同一の第1の大きさに戻し、図3(b)に示した「第1の拡大表示段階」に戻る。  In the “second enlarged display stage” shown in FIG. 3C, the operator cancels the selection of the character “one” for the enlarged display, and the eight characters “shi”, “chi”, “ When the operator wants to select any one of “N”, “SU”, “NU”, “SE”, “TE”, “NE”, the operator selects the line-of-sight position from the display frame R of the character “T”. , The surrounding eight characters enlarged and displayed in the first size adjacent to this “shi”, “chi”, “ni”, “su”, “nu”, “se”, “te”, “ne "And move to any of the eight characters as it is for a predetermined time. In response to the detection signal of the line-of-sight detection unit 62 that has detected the operator's line-of-sight position, thedisplay control unit 61 returns the character “T” to the same first size as the surrounding eight characters, and FIG. The process returns to the “first enlarged display stage” shown in FIG.

操作者は、図3(b)の第1の大きさに拡大表示されている8文字「し」、「ち」、「に」、「す」、「ぬ」、「せ」、「て」、「ね」のうち、入力対象としたい文字、例えば文字「に」を第2の所定時間、注視すると、上述の動作と同様に、表示制御部61が図4(a)のように文字「に」とその周囲の8文字とを第1の大きさに拡大表示する。この状態で、操作者が更に、文字「に」を第2の所定時間、注視すると、図4(b)のように文字「に」が第2の大きさに拡大され、引き続き、この第2の大きさの文字「に」を第3の所定時間、注視すると、文字「に」が入力対象文字として最終的に選択決定される。この場合も、図3(b)の表示状態に戻った状態で、操作者が第1の拡大表示の文字「に」を第2の所定時間、注視した時に、図4(a)の状態を経由することなしに、直接に図4(b)の第2の拡大表示段階を表示してもよい。  The operator displays eight characters “shi”, “chi”, “ni”, “su”, “nu”, “se”, “te” which are enlarged and displayed in the first size of FIG. , When the character to be input, for example, the character “ni” is watched for a second predetermined time, thedisplay control unit 61, as shown in FIG. "And the surrounding 8 characters are enlarged and displayed in the first size. In this state, when the operator further gazes at the character “ni” for a second predetermined time, the character “ni” is enlarged to the second size as shown in FIG. When the character “ni” having a size of is closely watched for a third predetermined time, the character “ni” is finally selected and determined as the input target character. Also in this case, when the operator gazes at the first enlarged display character “ni” for a second predetermined time in the state returned to the display state of FIG. 3B, the state of FIG. You may display the 2nd expansion display step of FIG.4 (b) directly, without going through.

次に、図3(c)の「第2の拡大表示段階」で、拡大表示された「つ」の選択をキャンセルして、文字「つ」の周囲の8文字以外の文字を入力対象文字として選択したい場合を説明する。操作者は、図3(c)の「第2の拡大表示段階」において、視線の位置を、拡大表示の8文字「し」、「ち」、「に」、「す」、「ぬ」、「せ」、「て」、「ね」以外の位置に移動して、この移動した状態を所定時間、維持する。これを検出した視線検出部62の検出信号に応じて、表示制御部61は、一覧表示部10の表示を図3(a)に示す「初期の一覧表示状態」に戻す。操作者は、この初期の一覧表示状態から新たに入力対象文字を選択する。  Next, in the “second enlarged display stage” of FIG. 3C, the selection of the enlarged “one” is canceled, and characters other than the eight characters around the character “one” are set as input target characters. The case where it wants to select is demonstrated. In the “second enlarged display stage” of FIG. 3C, the operator changes the line-of-sight position to 8 characters “shi”, “chi”, “ni”, “su”, “nu”, Move to a position other than “se”, “te”, “ne”, and maintain this moved state for a predetermined time. In response to the detection signal of the line-of-sight detection unit 62 that detects this, thedisplay control unit 61 returns the display of thelist display unit 10 to the “initial list display state” shown in FIG. The operator selects a new input target character from this initial list display state.

本実施の形態の視線入力装置100は、次の作用効果を奏する。
(1)操作者は、多数の文字が一覧表示された初期の一覧表示状態において、入力したい文字またはその近傍の文字を注視することによって、入力したい文字とその周囲の文字とが第1の大きさに拡大表示されるので、操作者は、この拡大表示された文字の中から、入力したい文字を容易に選択し、その文字を注視することができる。たとえ、操作者の視線が多少、揺らいでも、文字が拡大表示されているので、視線検出部62は、その揺らぎの影響をあまり受けることなく、視線の位置を検出することができる。
The line-of-sight input device 100 of the present embodiment has the following operational effects.
(1) In an initial list display state in which a large number of characters are displayed in a list, the operator pays attention to a character to be input or a character in the vicinity thereof so that the character to be input and its surrounding characters are the first size. Since the enlarged display is performed, the operator can easily select a character desired to be input from the enlarged displayed characters and gaze at the character. For example, even if the operator's line of sight fluctuates somewhat, the characters are displayed in an enlarged manner, so that the line-of-sight detection unit 62 can detect the position of the line of sight without being significantly affected by the fluctuation.

(2)拡大表示の「第1の拡大表示段階」で、選択決定された文字「つ」を第1の大きさに拡大し、「第2の拡大表示段階」で、選択決定された文字「つ」を第1の大きさよりも大きい第2の大きさに拡大するので、視線の揺らぎなどに起因する視線位置の誤差があっても、所望の単位情報を確実に入力することができる。(2) The character “one” selected and determined in the “first enlarged display stage” of the enlarged display is enlarged to the first size, and the character “ Since "" is enlarged to a second size larger than the first size, even if there is an error in the line-of-sight position caused by a line-of-sight fluctuation or the like, desired unit information can be reliably input.

(3)拡大表示の「第1段階」で第2の所定時間の注視、「第2段階」で第3の所定時間の注視により、選択決定部63は、単位情報「つ」を選択決定し、情報入力部64は、「つ」に関するデータを入力するので、簡単に入力操作を行うことができると共に、入力対象文字でない文字に誤って瞬時、視線を移してもその文字を入力対象候補とすることはない。(3) Theselection determining unit 63 selects and determines the unit information “one” by gazing for the second predetermined time in the “first stage” of the enlarged display and gazing for the third predetermined time in the “second stage”. Since theinformation input unit 64 inputs data related to “tsu”, an input operation can be easily performed, and even if the line of sight is mistakenly and instantaneously moved to a character that is not an input target character, the character is set as an input target candidate. Never do.

(4)図3(b)の「第1の拡大表示段階」で、入力対象候補を中央位置の文字「つ」から、それの左上の文字「に」に変更した場合は、文字「に」を図4(b)のように「第2の拡大表示段階」で第2の大きさに拡大し、さらに、文字「に」と、それに隣接する周囲の8文字とを画面の中央へ移動させるので、「第2の拡大表示段階」で選択しようとしている単位情報を認識しやすい。(4) In the case of “first enlarged display stage” in FIG. 3B, when the input target candidate is changed from the character “one” at the center position to the character “ni” at the upper left, the character “ni” Is enlarged to the second size in the “second enlarged display stage” as shown in FIG. 4B, and the character “ni” and the adjacent eight characters are moved to the center of the screen. Therefore, it is easy to recognize unit information to be selected in the “second enlarged display stage”.

(5)図3(b)に示した「第1の拡大表示段階」で、第1の大きさに拡大表示されている文字「つ」の選択を中止して「つ」の周囲に隣接する8文字以外の文字を選択したい場合は、文字「つ」とその周囲の8文字とのいずれからも視線の位置を外すことで、容易に「初期の一覧表示状態」の一覧表示に戻すことができる。(5) In the “first enlarged display stage” shown in FIG. 3B, the selection of the character “one” enlarged and displayed in the first size is stopped and the area around “one” is adjacent. If you want to select a character other than eight characters, you can easily return to the list display in the “initial list display state” by removing the line of sight from both the character “tsu” and the surrounding eight characters. it can.

(6)図3(c)に示した「第2の拡大表示段階」で、第2の大きさに拡大表示されている文字「つ」の選択を中止して別の文字を選択したい場合は、視線の位置を移動することによって、容易に「第1の拡大表示段階」にも、「初期の一覧表示状態」にも戻すことができる。
(7)第1の大きさ、または第2の大きさに拡大表示されている中央の文字「つ」をハイライト表示するので、操作者は、自分が一覧表示部10上に入力対象候補として、どの文字を選択したのかを明瞭に確認することができる。
(6) When it is desired to cancel the selection of the character “T” enlarged in the second size and select another character in the “second enlarged display stage” shown in FIG. By moving the position of the line of sight, it is possible to easily return to the “first enlarged display stage” and to the “initial list display state”.
(7) Since the center character “one” enlarged and displayed in the first size or the second size is highlighted, the operator himself / herself as an input target candidate on thelist display unit 10. , Which character is selected can be clearly confirmed.

以下、本実施の形態の変形例を説明する。
(1)本実施の形態では、「第1の拡大表示段階」で文字注視の第2の所定時間、「第2の拡大表示段階」で文字注視の第3の所定時間の経過により、選択決定部63は、単位情報「つ」を選択決定したが、それの代わりに、文字注視中に操作部材40を操作することによって「第1の拡大表示段階」から「第2の拡大表示段階」、「第2の拡大表示段階」から選択決定まで行うこともできる。この場合は、短時間での視線入力が可能となる。また、一覧表示部10の画面上に、図1に示す選択決定領域10aを設け、視線の位置を入力対象文字から直ちに選択決定領域10aに移すことによってその入力対象文字の選択決定を行ってもよい。
Hereinafter, modifications of the present embodiment will be described.
(1) In the present embodiment, selection is determined by elapse of a second predetermined time for character gaze at the “first enlarged display stage” and a third predetermined time for gaze at the “second enlarged display stage”. Theunit 63 selects and decides the unit information “tsu”, but instead, operates theoperation member 40 during the character gaze to change the “first enlarged display stage” to the “second enlarged display stage”, It is also possible to perform from “second enlarged display stage” to selection decision. In this case, it is possible to input a line of sight in a short time. Further, theselection determination area 10a shown in FIG. 1 is provided on the screen of thelist display unit 10, and the selection of the input target character is performed by moving the line of sight immediately from the input target character to theselection determination area 10a. Good.

(2)本実施の形態では、「第1の拡大表示段階」または「第2の拡大表示段階」で、選択した文字をキャンセルして別の文字を選択したい場合は、所定時間、視線の位置を外すことにより行ったが、キャンセルスイッチを設けてその操作によって「第1の拡大表示段階」から「初期の一覧表示状態」への移行、「第2の拡大表示段階」から「第1の拡大表示段階」または「初期の一覧表示状態」への移行を行ってもよい。(2) In the present embodiment, when it is desired to cancel the selected character and select another character in the “first enlarged display stage” or the “second enlarged display stage”, the position of the line of sight for a predetermined time. However, a cancel switch is provided, and the operation shifts from the “first enlarged display stage” to the “initial list display state” and from the “second enlarged display stage” to the “first enlarged display stage”. A transition to “display stage” or “initial list display state” may be performed.

(3)本実施の形態では、ディスプレイ1の画面を分割して一覧表示部10と入力情報表示部20とを設けていたが、一覧表示部10と入力情報表示部20を別個の2つのディスプレイに分けて設けてもよい。(3) In the present embodiment, the screen of thedisplay 1 is divided and thelist display unit 10 and the inputinformation display unit 20 are provided. However, thelist display unit 10 and the inputinformation display unit 20 are provided as two separate displays. It may be provided separately.

(4)一覧表示部10は、入力候補としての複数の単位情報を表示するが、これらの複数の単位情報をすべて画面上に表示してもよいし、スクロールさせて表示してもよい。一覧表示の態様、例えば平仮名を一覧表示部10の画面にどの位の大きさで何文字表示するかは、予め設定されているが、操作者による操作部材40の入力操作により変更することも可能である。
(5)入力情報表示部20は、入力候補としての複数の単位情報の中から入力決定された単位情報を表示するが、この表示の態様も、予め設定されているが、操作者による操作部材40の入力操作により変更することも可能である。
(4) Thelist display unit 10 displays a plurality of unit information as input candidates. However, all of the plurality of unit information may be displayed on the screen, or may be displayed by scrolling. The display mode of the list, for example, how many characters and how many characters of hiragana are displayed on the screen of thelist display unit 10 is set in advance, but can be changed by an input operation of theoperation member 40 by the operator. It is.
(5) The inputinformation display unit 20 displays unit information determined to be input from among a plurality of unit information as input candidates. Although this display mode is also preset, an operation member by the operator It is also possible to change by 40 input operations.

(6)図5(a)、(b)に示すように、「第1の拡大表示段階」または「第2の拡大表示段階」の一覧表示部10上で入力対象候補の文字である「つ」を強調するために、文字「つ」に重ねて文字を視認できるような半透明の指Fを表示してもよい。(6) As shown in FIG. 5A and FIG. 5B, “Two” characters that are candidates for input on thelist display section 10 in the “first enlarged display stage” or the “second enlarged display stage”. ”May be displayed with a translucent finger F that allows the character to be visually recognized over the character“ T ”.

視線入力装置100は、単独でも使用できるが、携帯端末やデジタルカメラなどに搭載することもできる。
本発明は、その特徴を損なわない限り、以上説明した実施の形態に何ら限定されるものではない。
The line-of-sight input device 100 can be used alone, but can also be mounted on a portable terminal, a digital camera, or the like.
The present invention is not limited to the embodiment described above as long as the characteristics are not impaired.

1:ディスプレイ 10:一覧表示部
20:入力情報表示部 30:視線検出用カメラ
40:操作部材 50:記録部
60:制御部 61:表示制御部
62:視線検出部 63:選択決定部
64:情報入力部 100:視線入力装置

DESCRIPTION OF SYMBOLS 1: Display 10: List display part 20: Input information display part 30: Camera for line-of-sight detection 40: Operation member 50: Recording part 60: Control part 61: Display control part 62: Line-of-sight detection part 63: Selection determination part 64: Information Input unit 100: line-of-sight input device

Claims (9)

Translated fromJapanese
表示手段と、
入力候補としての複数の単位情報を前記表示手段に一覧表示させる第1の表示制御手段と、
前記表示手段における操作者の視線の位置を検出する視線検出手段と、
前記視線検出手段によって検出された操作者の視線の位置に基づいて、前記表示手段上の複数の単位情報から一つの単位情報を第1の決定単位情報として決定する第1の決定手段と、
前記第1の決定手段によって決定された第1の決定単位情報と、その第1の決定単位情報の周囲の複数の単位情報とを第1の大きさに拡大表示させる第2の表示制御手段と、
前記視線検出手段によって検出された操作者の視線の位置に基づいて、前記第1の大きさに拡大表示された複数の単位情報から一つの単位情報を第2の決定単位情報として決定する第2の決定手段と、
前記第2の決定手段によって決定された第2の決定単位情報を前記第1の大きさよりも大きい第2の大きさに拡大表示させる第3の表示制御手段と、
前記第2の大きさに拡大表示された前記第2の決定単位情報を入力する情報入力手段と、を備えることを特徴とする視線入力装置。
Display means;
A first display control means for displaying a plurality of unit information as input candidates on the display means;
Line-of-sight detection means for detecting the position of the operator's line of sight in the display means;
First determination means for determining one unit information as first determination unit information from a plurality of unit information on the display means based on the position of the line of sight of the operator detected by the line-of-sight detection means;
Second display control means for enlarging and displaying the first determination unit information determined by the first determination means and a plurality of unit information around the first determination unit information in a first size; ,
Second unit for determining one unit information as second determination unit information from a plurality of unit information enlarged and displayed in the first size based on the position of the operator's line of sight detected by the line of sight detection means. And means for determining
Third display control means for enlarging and displaying the second determination unit information determined by the second determination means in a second size larger than the first size;
And an information input means for inputting the second determination unit information enlarged and displayed in the second size.
請求項1に記載の視線入力装置において、
前記第2の決定手段が、操作者の視線の位置に基づいて、前記第1の大きさに拡大表示された複数の単位情報から前記第1の決定単位情報を前記第2の決定単位情報として決定した場合に、前記第3の表示制御手段は、前記第2の決定単位情報を第2の大きさに拡大表示させ、
前記第2の決定手段が、操作者の視線の位置に基づいて、前記第1の大きさに拡大表示された複数の単位情報から前記第1の決定単位情報の周囲の一つの単位情報を第2の決定単位情報として決定した場合に、前記第2の表示制御手段は、前記第2の決定単位情報と、その第2の決定単位情報の周囲の複数の単位情報とを第1の大きさに拡大表示させ、引き続き、前記第2の決定手段が、操作者の視線の位置に基づいて、前記第2の決定単位情報を決定した場合に、前記第3の表示制御手段は、前記第2の決定単位情報を第2の大きさに拡大表示させることを特徴とする視線入力装置。
The line-of-sight input device according to claim 1,
The second determination means uses the first determination unit information as the second determination unit information from a plurality of unit information enlarged and displayed in the first size based on the position of the line of sight of the operator. When determined, the third display control means enlarges and displays the second determination unit information to the second size,
The second determining means obtains one unit information around the first determined unit information from a plurality of unit information enlarged and displayed in the first size based on the position of the line of sight of the operator. When the second determination unit information is determined as the second determination unit information, the second display control unit sets the second determination unit information and a plurality of unit information around the second determination unit information to a first size. When the second determination unit determines the second determination unit information based on the position of the line of sight of the operator, the third display control unit The line-of-sight input device, wherein the determined unit information is enlarged and displayed in the second size.
請求項2に記載の視線入力装置において、
前記第1の決定手段は、第1の所定時間の間、操作者の視線の位置が前記一覧表示された複数の単位情報中の一つの単位情報の表示領域内に存在していたときには、その一つの単位情報を前記第1の決定単位情報として決定し、
前記第2の決定手段は、第2の所定時間の間、操作者の視線の位置が前記第1の大きさに拡大表示された複数の単位情報中の一つの単位情報の表示領域内に存在していたときには、その一つの単位情報を前記第2の決定単位情報として決定し、
前記情報入力手段は、第3の所定時間の間、操作者の視線の位置が前記第2の大きさに拡大表示された前記第2の決定単位情報の表示領域内に存在していたときには、前記第2の決定単位情報を入力することを特徴とする視線入力装置。
The line-of-sight input device according to claim 2.
The first determining means, when the position of the line of sight of the operator exists within the display area of one unit information among the plurality of unit information displayed in the list during the first predetermined time, One unit information is determined as the first determination unit information,
The second determination means exists in a display area of one unit information in the plurality of unit information in which the position of the line of sight of the operator is enlarged and displayed to the first size for a second predetermined time. If so, that one unit information is determined as the second determination unit information,
The information input means, when the position of the operator's line of sight exists in the display area of the second determination unit information enlarged and displayed in the second size for a third predetermined time, A line-of-sight input device for inputting the second determination unit information.
請求項1〜3のいずれか1項に記載の視線入力装置において、
前記第1の表示制御手段は、入力候補としての複数の単位情報をマトリックス状に配置させて一覧表示させ、
前記第2の表示制御手段は、前記マトリックス状に配置された一覧表示において、前記第1の大きさとして、前記第1の大きさに拡大された単位情報が、第1の大きさに拡大表示されない周囲の単位情報に重ならない大きさを限度として拡大表示させ、
前記第3の表示制御手段は、前記マトリックス状に配置された一覧表示において、前記第2の大きさとして、前記第2の大きさに拡大された単位情報が、第1の大きさに拡大表示されている周囲の単位情報を一部露出させる大きさを限度として拡大表示させることを特徴とする視線入力装置。
The line-of-sight input device according to any one of claims 1 to 3,
The first display control means arranges a plurality of unit information as input candidates in a matrix and displays a list,
In the list display arranged in a matrix, the second display control means displays the unit information expanded to the first size as the first size in an enlarged manner to the first size. Display the maximum size that does not overlap the surrounding unit information,
In the list display arranged in the matrix form, the third display control means displays the unit information expanded to the second size as the second size, enlarged to the first size. A line-of-sight input device that displays an enlarged image with a size that allows a portion of the surrounding unit information to be exposed.
請求項1〜4のいずれか1項に記載の視線入力装置において、
前記第2の表示制御手段は、所定時間の間、操作者の視線の位置が前記第1の大きさに拡大表示された複数の単位情報の表示領域のいずれからも外れた場合に、前記第1の大きさに拡大表示された複数の単位情報を一覧表示された拡大前の大きさに戻すことを特徴とする視線入力装置。
The line-of-sight input device according to any one of claims 1 to 4,
The second display control means, when the operator's line-of-sight position deviates from any of the plurality of unit information display areas enlarged to the first size for a predetermined time. A line-of-sight input device that returns a plurality of unit information enlarged and displayed to a size of 1 to a size before enlargement displayed in a list.
請求項1〜5のいずれか1項に記載の視線入力装置において、
前記第3の表示制御手段は、所定時間の間、操作者の視線の位置が前記第2の大きさに拡大表示された前記第2の決定単位情報の表示領域から外れた場合に、前記第2の決定単位情報を前記第1の大きさに戻すか、または、前記第2の大きさに拡大表示された前記第2の決定単位情報及びその第2の決定単位情報の周囲の第1の大きさに拡大表示された複数の単位情報を一覧表示された拡大前の大きさに戻すことを特徴とする視線入力装置。
The line-of-sight input device according to any one of claims 1 to 5,
The third display control means, when the position of the operator's line of sight deviates from the display area of the second determination unit information enlarged and displayed in the second size for a predetermined time. 2 decision unit information is returned to the first size, or the second decision unit information enlarged and displayed to the second size and the first decision unit information around the second decision unit information A line-of-sight input device, wherein a plurality of unit information enlarged and displayed in size is returned to a size before enlargement displayed in a list.
請求項1〜6のいずれか1項に記載の視線入力装置において、
前記第2の表示制御手段は、前記第1の決定手段によって決定された前記第1の決定単位情報をハイライト表示させ、
前記第3の表示制御手段は、前記第2の決定手段によって決定された前記第2の決定単位情報をハイライト表示させることを特徴とする視線入力装置。
The line-of-sight input device according to any one of claims 1 to 6,
The second display control means highlights the first determination unit information determined by the first determination means,
The line of sight input device, wherein the third display control means highlights the second determination unit information determined by the second determination means.
請求項1に記載の視線入力装置において、
前記表示手段は、第1の表示部と第2の表示部とを有し、
前記第1の表示制御手段は、前記第1の表示部に前記入力候補としての複数の単位情報を一覧表示させ、
前記情報入力手段は、前記第2の表示部に前記第2の決定単位情報を表示させることを特徴とする視線入力装置。
The line-of-sight input device according to claim 1,
The display means includes a first display unit and a second display unit,
The first display control means displays a list of a plurality of unit information as the input candidates on the first display unit,
The information input means displays the second determination unit information on the second display unit.
請求項1または2に記載の視線入力装置において、
前記情報入力手段は、操作者の視線の位置が前記第2の大きさに拡大表示された前記第2の決定単位情報の表示領域内に存在していたときに操作者の眼の瞬きが検出された場合は、前記第2の決定単位情報を入力することを特徴とする視線入力装置。
The line-of-sight input device according to claim 1 or 2,
The information input means detects an eye blink of the operator when the position of the operator's line of sight is present in the display area of the second determination unit information enlarged and displayed in the second size. If it is, the line-of-sight input device inputs the second determination unit information.
JP2013012147A2013-01-252013-01-25Line of sight input devicePendingJP2014142882A (en)

Priority Applications (1)

Application NumberPriority DateFiling DateTitle
JP2013012147AJP2014142882A (en)2013-01-252013-01-25Line of sight input device

Applications Claiming Priority (1)

Application NumberPriority DateFiling DateTitle
JP2013012147AJP2014142882A (en)2013-01-252013-01-25Line of sight input device

Publications (1)

Publication NumberPublication Date
JP2014142882Atrue JP2014142882A (en)2014-08-07

Family

ID=51424095

Family Applications (1)

Application NumberTitlePriority DateFiling Date
JP2013012147APendingJP2014142882A (en)2013-01-252013-01-25Line of sight input device

Country Status (1)

CountryLink
JP (1)JP2014142882A (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication numberPriority datePublication dateAssigneeTitle
WO2016132884A1 (en)*2015-02-162016-08-25ソニー株式会社Information processing device, method, and program
JP2017084220A (en)*2015-10-302017-05-18パイオニア株式会社Operation device, control method, program, and storage medium
JP2017182217A (en)*2016-03-282017-10-05株式会社バンダイナムコエンターテインメント Simulation control apparatus and simulation control program
JP2018088268A (en)*2017-10-062018-06-07株式会社コナミデジタルエンタテインメント Terminal device and program
JPWO2017169158A1 (en)*2016-03-292019-02-07ソニー株式会社 Information processing apparatus, information processing method, and program
JPWO2017187708A1 (en)*2016-04-262019-02-28ソニー株式会社 Information processing apparatus, information processing method, and program
JP2020057441A (en)*2020-01-142020-04-09パイオニア株式会社Operation device, control method, program, and storage medium
CN112015266A (en)*2019-05-292020-12-01佳能株式会社Electronic device, control method of electronic device, and computer-readable storage medium
US20200387294A1 (en)*2019-06-042020-12-10Canon Kabushiki KaishaElectronic apparatus for enlarging or reducing display object, method of controlling electronic apparatus, and non-transitory computer readable medium
JP2022098714A (en)*2020-12-222022-07-04株式会社JvcケンウッドImage processing device and image processing method
JP2023087307A (en)*2021-12-132023-06-23株式会社コロプラ Program, information processing method, and portable terminal
WO2025197481A1 (en)*2024-03-182025-09-25パナソニックIpマネジメント株式会社Information processing method, information processing device, and program

Cited By (17)

* Cited by examiner, † Cited by third party
Publication numberPriority datePublication dateAssigneeTitle
WO2016132884A1 (en)*2015-02-162016-08-25ソニー株式会社Information processing device, method, and program
JP2017084220A (en)*2015-10-302017-05-18パイオニア株式会社Operation device, control method, program, and storage medium
JP2017182217A (en)*2016-03-282017-10-05株式会社バンダイナムコエンターテインメント Simulation control apparatus and simulation control program
JPWO2017169158A1 (en)*2016-03-292019-02-07ソニー株式会社 Information processing apparatus, information processing method, and program
JPWO2017187708A1 (en)*2016-04-262019-02-28ソニー株式会社 Information processing apparatus, information processing method, and program
JP7092028B2 (en)2016-04-262022-06-28ソニーグループ株式会社 Information processing equipment, information processing methods, and programs
US11017257B2 (en)2016-04-262021-05-25Sony CorporationInformation processing device, information processing method, and program
JP2018088268A (en)*2017-10-062018-06-07株式会社コナミデジタルエンタテインメント Terminal device and program
JP2020194103A (en)*2019-05-292020-12-03キヤノン株式会社 Electronic devices, control methods for electronic devices, programs, storage media
CN112015266A (en)*2019-05-292020-12-01佳能株式会社Electronic device, control method of electronic device, and computer-readable storage medium
JP7341729B2 (en)2019-05-292023-09-11キヤノン株式会社 Electronic devices, control methods for electronic devices, programs, storage media
US20200387294A1 (en)*2019-06-042020-12-10Canon Kabushiki KaishaElectronic apparatus for enlarging or reducing display object, method of controlling electronic apparatus, and non-transitory computer readable medium
US11526264B2 (en)*2019-06-042022-12-13Canon Kabushiki KaishaElectronic apparatus for enlarging or reducing display object, method of controlling electronic apparatus, and non-transitory computer readable medium
JP2020057441A (en)*2020-01-142020-04-09パイオニア株式会社Operation device, control method, program, and storage medium
JP2022098714A (en)*2020-12-222022-07-04株式会社JvcケンウッドImage processing device and image processing method
JP2023087307A (en)*2021-12-132023-06-23株式会社コロプラ Program, information processing method, and portable terminal
WO2025197481A1 (en)*2024-03-182025-09-25パナソニックIpマネジメント株式会社Information processing method, information processing device, and program

Similar Documents

PublicationPublication DateTitle
JP2014142882A (en)Line of sight input device
EP2525271B1 (en)Method and apparatus for processing input in mobile terminal
EP2960752B1 (en)Character entry for an electronic device using a position sensing keyboard
US9946338B2 (en)Information processing to vary screen display based on a gaze point of the user
JP5962403B2 (en) Information processing apparatus, display control method, and program
KR101695174B1 (en)Ergonomic motion detection for receiving character input to electronic devices
JP4849412B2 (en) Information input display device
JP6131540B2 (en) Tablet terminal, operation reception method and operation reception program
EP2372517A2 (en)Touch screen apparatus and method for processing input of touch screen apparatus
JP5925024B2 (en) Display control apparatus, display control method, and program
WO2011125352A1 (en)Information processing system, operation input device, information processing device, information processing method, program and information storage medium
JP2016529635A (en) Gaze control interface method and system
JP5556398B2 (en) Information processing apparatus, information processing method, and program
US20110057956A1 (en)Method of improving the accuracy of selecting a soft button displayed on a touch-sensitive screen and related portable electronic device
JP2009514119A (en) Terminal having a button having a display function and display method therefor
JP2013003801A (en)Character input device, control method for character input device, control program and recording medium
JPH07248872A (en) Input device and arithmetic input / output device
JP2013003802A (en)Character input device, control method for character input device, control program and recording medium
EP3454180A1 (en)Electronic device and method for displaying contents
KR20100088508A (en)Character input apparatus and method for a device had a touch screen
CN117083584A (en)Multi-layer text input method for augmented reality device
JP7465666B2 (en) Visual target presentation device
US20200142528A1 (en)Display control apparatus and control method for the display control apparatus
JP6818959B1 (en) display
KR101654710B1 (en)Character input apparatus based on hand gesture and method thereof

[8]ページ先頭

©2009-2025 Movatter.jp