以下、本発明の実施の形態による視線入力装置の構成について、図面を参照しながら説明する。
  図1を参照すると、視線入力装置100は、ディスプレイ1と、ディスプレイ1が取り付けられた筐体2とを有し、ディスプレイ1は、一覧表示部10と入力情報表示部20とを有する。一覧表示部10は、入力候補としての複数の単位情報、例えば平仮名を50音順に一覧表示する画面である。平仮名の一文字が単位情報に相当する。入力情報表示部20は、入力候補としての複数の単位情報の中から選択され、入力決定された単位情報を表示する画面である。
  筐体2には、ディスプレイ1の他に、視線検出用のカメラ30及び操作部材40が取り付けられている。
  視線検出用カメラ30は、筐体2の上側に配設されており、一覧表示部10を見つめて入力動作を行う操作者の眼を撮影する。なお、視線検出用カメラ30の配設位置は、筐体2の上側に限らず、筐体2の右側、左側又は下側でもよいし、視線検出用カメラ30の台数は複数でもよい。
  操作部材40は、筐体2の右下に配設されており、視線入力装置100へ各種の情報を入力するために操作者によって操作される部材である。具体的には、一覧表示部10の表示内容を選択/決定し、一覧表示部10や入力情報表示部20の表示態様を設定/変更する。
  図2のブロック図を参照しながら、各ブロックの機能を説明する。視線入力装置100は、前述した一覧表示部10、入力情報表示部20、視線検出用カメラ30及び操作部材40に加えて、記録部50及び制御部60を備える。一覧表示部10、入力情報表示部20、視線検出用カメラ30、操作部材40及び記録部50はそれぞれ、制御部60と電気的に接続されている。
  記録部50は、不図示のRAMに一時的に記憶された各種の情報を、例えばメモリカードに記憶させる。
  制御部60は、表示制御部61、視線検出部62、選択決定部63、及び情報入力部64を有し、一覧表示部10、入力情報表示部20、視線検出用カメラ30、操作部材40、記録部50の各ブロックとの間で電気信号或いはデータの授受を行うことにより、各種の演算や、不図示のROMに記憶されているプログラムを実行する。
  表示制御部61は、ディスプレイ1の一覧表示部10に入力対象の平仮名文字を一覧表示する。勿論、入力対象の単位情報は、平仮名文字の他に、アルファベットでも、数字でも、記号などでも良い。
  図3(a)は、平仮名文字が一覧表示部10に一覧表示された状態を示したものである。なお、一覧表示部10には50音の平仮名の全てが表示されているが、図3(a)では、その内の「さ」行の文字と「た」行の文字と「な」行の文字との計15文字のみが示され、その他の文字は、図示が省略されている。勿論、一覧表示部10の表示面積が小さい場合には、図3(a)のように、50音の平仮名の内の一部のみを表示し、その他の文字は、例えば一覧表示部10のスクロール操作によって表示するようにしても良い。
  図3(a)において、入力対象の各平仮名文字は、縦及び横の長さがdの比較的小さな正方形の表示枠Rによって取り囲まれている。各表示枠Rは、互いに横方向及び縦方向にほぼ長さdだけ、離間している。即ち、隣接する表示枠Rの縦方向及び横方向の間隔は、ほぼdに定められている。
  視線検出部62は、視線検出用カメラ30が撮影した操作者の眼の画像データを解析して、一覧表示部10上の操作者の視線位置、即ち、操作者が注視している文字の位置を検出して、注視文字に関する検出信号を選択決定部63に出力する。なお、視線検出部62は、操作者の視線位置が表示枠Rの内部に位置していることを検出した時に、その表示枠R内の文字に関する検出信号を出力する。
  選択決定部63は、視線検出部62が同一の注視文字に関する検出信号を所定の時間、出力し続けた時に、操作者が入力を意図した文字であると判定し、その入力対象文字に関するデータを表示制御部61へ出力する。このように、選択決定部63は、操作者が一覧表示された多数の入力対象文字の中から、自身が入力を意図した文字を探してそれを前記所定の時間、連続して注視した場合に、その文字を操作者の意図した入力対象文字として決定する。
  表示制御部61は、選択決定部63が決定した入力対象文字に関する情報に応じて、入力対象文字とその周囲の8文字とを一覧表示部10上に第1の倍率で拡大表示させる。図3(b)は、文字「つ」が入力対象候補の文字として決定され、その入力対象文字「つ」とその周囲の8文字とが拡大表示された状態を示している。操作者がこの拡大表示された計9文字のうちのいずれかを再度注視すると、視線検出部62は、注視した文字を視線検出によって検出して検出信号を出力する。選択決定部63は、同一の注視文字に関する視線検出部62の検出信号が所定の時間継続したことを検出して、その注視文字を操作者の意図した入力対象文字として決定する。
  表示制御部61は、拡大表示されている9文字のうち、選択決定部63の決定した入力対象文字のみを更に第2の倍率で拡大表示させる。図3(c)は、文字「つ」が入力対象文字として決定されて、文字「つ」のみが更に拡大表示された状態を示している。この表示状態で、操作者が第2の倍率で拡大表示された文字を所定の時間、注視したことを視線検出部62が検出すると、選択決定部63は、視線検出部62の検出信号に応じて、この注視文字「つ」を操作者の意図する入力対象文字として最終的に決定する。
  情報入力部64は、選択決定部63からの最終決定情報に応じて、選択決定された文字情報をRAMに一時的に入力すると共に、その文字情報を入力情報表示部20上に表示させる。記録部50は、RAMに一時的に記憶された単位情報を、例えばメモリカードに記憶させる。
  <入力動作>
  図3を参照して、視線入力動作に伴う一覧表示部10の画面表示の変化を説明する。視線入力装置100が起動されると、表示制御部61が図3(a)に示されるように、50音の平仮名を一覧表示部10に表示する。この初期の一覧表示状態では、表示枠Rに取り囲まれた平仮名文字が、縦及び横方向に互いに間隔を隔てて、所定のピッチで配列される。操作者が入力したい文字、例えば文字「つ」を連続して第1の所定時間、注視すると、視線検出用カメラ30と視線検出部62が操作者の視線の位置を検出し、一覧表示部10上の視線の位置に対応する文字「つ」に関する文字情報を検出信号として出力する。選択決定部63は、文字「つ」に関する検出信号が第1の所定時間、連続して継続すると、操作者の入力したい入力対象候補として文字「つ」を決定し、その決定情報を表示制御部61へ出力する。
  表示制御部61は、図3(b)の「第1の拡大表示段階」に示されるように、文字「つ」と、その周囲に上下左右斜めに隣接する8文字「し」、「ち」、「に」、「す」、「ぬ」、「せ」、「て」、「ね」とを、それぞれ第1の倍率、即ち第1の大きさに拡大表示させると同時に、中央の拡大文字「つ」をその周囲の拡大文字よりも目立たせるように、周囲の文字よりも鮮やかに、又は濃い色や周囲の文字とは異なった色や太い線を用いて、いわゆるハイライト表示する。これによって、操作者は、視線入力装置100が操作者の意図する入力対象文字を「つ」と認識したことを知ることができる。
  また、制御部60は、中央の拡大文字「つ」とその周囲の拡大された8文字とを拡大表示するのに対応して、これら計9文字の各表示枠Rも拡大させる。なお、拡大した9文字の各表示枠Rは、これらに隣接する非拡大の文字「さ」、「た」、「な」、「そ」、「と」、「の」などの表示枠に重なり合わない程度に拡大される。従って、操作者は、図3(b)の「第1の拡大表示段階」であっても、非拡大表示の文字「さ」、「た」、「な」、「そ」、「と」、「の」などを十分に視認することができる。
  図3(b)において、操作者が第1の大きさに拡大された文字「つ」を第2の所定時間、連続して注視すると、視線検出部62は、視線検出用カメラ30によって撮影された眼の画像を解析して操作者の視線位置が拡大文字「つ」の表示枠R内にあることを検出し、文字「つ」に関する検出信号を出力する。選択決定部63は、この検出信号に基づき、文字「つ」を選択決定し、その決定情報を表示制御部61へ出力する。
  表示制御部61は、選択決定部63の決定情報に基づき、図3(c)の「第2の拡大表示段階」に示されるように、文字「つ」のみを第2の倍率に、即ち、第1の大きさよりも大きい第2の大きさに、更に拡大表示させる。この時に、文字「つ」をその周囲の文字よりも目立たせるように、ハイライト表示する。制御部60は、「つ」の文字が第2の大きさに拡大表示されるのに対応して、文字「つ」の表示枠Rも更に拡大させる。
  第2の大きさに拡大表示された文字「つ」の表示枠Rは、この周囲に隣接する8文字「し」、「ち」、「に」、「す」、「ぬ」、「せ」、「て」、「ね」の各表示枠Rの一部分を覆っているが、この拡大表示の文字「つ」の表示枠Rの大きさは、第1の拡大表示段階で拡大された周囲の8つの文字自体を覆わないように定められている。このように、第2の大きさに拡大表示された表示枠Rは、操作者が第1の大きさの周囲文字を視認することができる程度に、その大きさが拡大される。
  図3(c)において、操作者が、「第2の拡大表示段階」の第2の大きさの文字「つ」を第3の所定時間、連続して注視すると、視線検出部62は、視線検出用カメラ30によって撮影された眼の画像を解析して操作者の視線位置が第2の大きさの拡大文字「つ」の表示枠R内にあることを検出し、文字「つ」に関する検出信号を出力する。選択決定部63は、この検出信号に基づき、文字「つ」を選択決定し、その決定情報を表示制御部61と情報入力部64とへ出力する。
  なお、視線検出部62は、操作者の視線位置が第2の大きさの拡大文字「つ」の表示枠R内にあるときに操作者の眼の瞬きを検出したときに、文字「つ」に関する検出信号を出力し、選択決定部63は、この検出信号に基づき、文字「つ」を選択決定するようにしてもよい。
  表示制御部61は、入力情報表示部20上に、決定された入力対象文字「つ」を表示させ、情報入力部64は、「つ」のデータを不図示のRAMに一時的に記憶させ、1つの文字、即ち単位情報の入力動作が完了する。この入力動作を繰り返し行うことで複数の単位情報からなる一連の情報の入力操作が完了する。
  RAMに一時的に記憶された入力情報は、記録部50、例えばメモリカードに記憶される。
  なお、文字の選択決定に要する時間である第1〜第3の所定時間の長さについては、これら3つの所定時間の長さをほぼ等しくしてもよいし、3つの所定時間に長短をつけてもよい。第1の所定時間<第2の所定時間<第3の所定時間とした場合は、最終決定に多くの時間をかけることにより確実な文字決定を行うことができ、第1の所定時間>第2の所定時間>第3の所定時間とした場合は、多数の入力候補文字が一覧表示される最初の段階に多くの時間をかけることにより後の段階に要する時間を短縮することができる。
  以上の説明にあっては、図3(a)の「初期の一覧表示状態」において、操作者が文字「つ」を注視した時に、視線検出部62が、操作者の視線位置が注視文字「つ」の表示枠R内にあると検出し、かつ、図3(b)の「第1の拡大表示段階」においても、操作者が第1の大きさに拡大された文字「つ」を注視した時に、視線検出部62が、操作者の視線位置が注視文字「つ」の表示枠R内にあると検出し、更に、図3(c)の「第2の拡大表示段階」においても、操作者が第2の大きさに拡大された文字「つ」を注視した時に、視線検出部62が、操作者の視線位置が注視文字「つ」の表示枠R内にあると検出した。
  次に、操作者が或る文字、例えば文字「に」を注視した時に、視線検出部62が、操作者の視線位置が他の文字、例えば文字「つ」の表示枠R内にあると誤検出した場合について、説明する。
  <視線誤検出時の入力動作>
  図3(a)において、操作者が文字「に」を第1の所定の時間、注視している時に、視線検出部62が、操作者の視線位置が文字「つ」の表示枠R内にあると誤検出すると、表示制御部61は、図3(b)に示すように、文字「つ」とその周囲の8文字とを第1の大きさに拡大表示させる。操作者が、拡大表示された文字「に」を再度、第2の所定の時間、注視すると、視線検出部62は、操作者の視線位置が注視文字「に」の表示枠R内にあると、正しく検出する。選択決定部63は、入力対象文字が「に」であると決定し、これによって、表示制御部61は、図4(a)に示したように、文字「に」と、この文字「に」の周囲の8文字「た」、「な」、「は」、「ち」、「ひ」、「つ」、「ぬ」、「ふ」とを第1の大きさに拡大表示する。
  操作者が、第1の大きさに拡大された9文字の中央の文字「に」を第2の所定時間、注視すると、視線検出部62は、操作者の視線位置が拡大された注視文字「に」の表示枠R内にあると正しく検出する。この検出に応じて、表示制御部61は、図4(b)に示すように、注視文字「に」を更に第2の大きさに拡大表示すると同時に、拡大表示された「に」を一覧表示部10の中央位置に移動し、この移動に伴い、第1の大きさに拡大された8文字「た」、「な」、「は」、「ち」、「ひ」、「つ」、「ぬ」、「ふ」も、注視文字「に」の周囲に位置するように移動し、更に、これらの8文字の更に周囲に位置する文字も同様に移動させる。
  操作者が一覧表示部10の中央位置に表示された第2の大きさの注視文字「に」を第3の所定時間、注視すると、視線検出部62は、操作者の視線位置が拡大された注視文字「に」の表示枠R内にあると検出し、これに応じて、選択決定部63が入力対象文字が「に」であると最終的に決定する。
  なお、上述の説明では、図3(b)において、操作者が、第1の大きさに拡大表示された9文字のうち、中央の文字「つ」ではなく、その周囲の文字「に」を第2の所定時間、注視し続けた場合に、図4(a)に示したように、注視文字「に」とその周囲の8文字とを第1の大きさに拡大表示したが、その代わりに、図3(b)において、操作者が、周囲の文字「に」を第2の所定時間、注視し続けた場合に、選択決定部63が視線検出部62の検出信号に応じて文字「に」を選択決定すると、表示制御部61は、図4(a)の表示を行うことなく、直ちに図4(b)に示したように、文字「に」を第2の大きさに拡大表示してもよい。
  上述の説明では、図3(a)において、操作者が文字「に」を第1の所定の時間、注視していたにもかかわらず、視線検出部62が、操作者の視線位置が文字「つ」の表示枠R内にあると誤検出した場合であったが、このような視線の誤検出の場合に限らず、操作者は、図3(a)の一覧表示状態では、文字「つ」を入力対象として、その文字を注視し続けたが、図3(b)の第1の拡大表示段階では、入力対象文字を変更して、文字「に」などを入力対象とする場合にも、前述の説明と全く同様の動作により、新たな入力対象文字を入力することができる。
  <キャンセル動作1>
  当初、図3(a)の「初期の一覧表示状態」では、例えば文字「つ」を入力対象候補として、その文字を注視して、図3(b)の「第1の拡大表示段階」に移ったが、この「第1の拡大表示段階」において、入力対象候補を拡大表示された9文字ではなく、この拡大表示の9文字以外の文字、例えば、文字「た」を入力対象候補に選定した場合の動作を以下に説明する。
  図3(b)において、操作者が第1の大きさに拡大表示されている文字「つ」の選択を中止して、非拡大表示の文字「た」を入力対象候補として選択したい場合は、図3(b)の一覧表示部10の画面において、第1の大きさに拡大表示された9文字「つ」、「し」、「ち」、「に」、「す」、「ぬ」、「せ」、「て」、「ね」の表示枠Rのいずれからも、所定の時間、視線の位置を外せばよい。例えば、視線を所定の時間、一覧表示部10の外に移動する。
  視線検出部62が視線の位置が所定の時間、拡大表示された9文字のいずれの表示枠R内にも存在しないことを検出すると、表示制御部61は、図3(b)の「第1の拡大表示段階」の表示をキャンセルして、一覧表示部10を図3(a)に示す「初期の一覧表示状態」に戻す。この図3(a)の「初期の一覧表示状態」において、操作者は、新たな入力対象候補として文字「た」を第1の所定時間、注視し続けると、これを検出した視線検出部62の検出信号に応じて、選択決定部63は文字「た」を選択決定し、表示制御部61は、入力対象候補文字「た」とその周囲の8文字とを第1の大きさに拡大表示して「第1の拡大表示段階」とする。
<キャンセル動作2>
  次に、図3(b)の「第1の拡大表示段階」で入力対象候補として選択した文字を図3(c)の「第2の拡大表示段階」で、キャンセルする方法について、説明する。図3(c)に示した「第2の拡大表示段階」で、操作者が第2の大きさに拡大表示されている文字「つ」の選択をキャンセルして、文字「つ」の周囲の8文字「し」、「ち」、「に」、「す」、「ぬ」、「せ」、「て」、「ね」のいずれかを選択したい場合と、これらの周囲8文字以外の文字を選択したい場合とに分けて、以下に説明する。
  操作者が、図3(c)に示した「第2の拡大表示段階」で、拡大表示の文字「つ」の選択をキャンセルして、その周囲の8文字「し」、「ち」、「に」、「す」、「ぬ」、「せ」、「て」、「ね」のいずれかを選択したい場合には、操作者は、視線の位置を文字「つ」の表示枠R内から、これに隣接する第1の大きさに拡大表示されている周囲の8文字「し」、「ち」、「に」、「す」、「ぬ」、「せ」、「て」、「ね」のいずれかへ動かし、そのまま所定の時間、その8文字のいずれかを注視する。操作者の視線位置を検出した視線検出部62の検出信号に応じて、表示制御部61は、文字「つ」をその周囲8文字と同一の第1の大きさに戻し、図3(b)に示した「第1の拡大表示段階」に戻る。
  操作者は、図3(b)の第1の大きさに拡大表示されている8文字「し」、「ち」、「に」、「す」、「ぬ」、「せ」、「て」、「ね」のうち、入力対象としたい文字、例えば文字「に」を第2の所定時間、注視すると、上述の動作と同様に、表示制御部61が図4(a)のように文字「に」とその周囲の8文字とを第1の大きさに拡大表示する。この状態で、操作者が更に、文字「に」を第2の所定時間、注視すると、図4(b)のように文字「に」が第2の大きさに拡大され、引き続き、この第2の大きさの文字「に」を第3の所定時間、注視すると、文字「に」が入力対象文字として最終的に選択決定される。この場合も、図3(b)の表示状態に戻った状態で、操作者が第1の拡大表示の文字「に」を第2の所定時間、注視した時に、図4(a)の状態を経由することなしに、直接に図4(b)の第2の拡大表示段階を表示してもよい。
  次に、図3(c)の「第2の拡大表示段階」で、拡大表示された「つ」の選択をキャンセルして、文字「つ」の周囲の8文字以外の文字を入力対象文字として選択したい場合を説明する。操作者は、図3(c)の「第2の拡大表示段階」において、視線の位置を、拡大表示の8文字「し」、「ち」、「に」、「す」、「ぬ」、「せ」、「て」、「ね」以外の位置に移動して、この移動した状態を所定時間、維持する。これを検出した視線検出部62の検出信号に応じて、表示制御部61は、一覧表示部10の表示を図3(a)に示す「初期の一覧表示状態」に戻す。操作者は、この初期の一覧表示状態から新たに入力対象文字を選択する。
  本実施の形態の視線入力装置100は、次の作用効果を奏する。
(1)操作者は、多数の文字が一覧表示された初期の一覧表示状態において、入力したい文字またはその近傍の文字を注視することによって、入力したい文字とその周囲の文字とが第1の大きさに拡大表示されるので、操作者は、この拡大表示された文字の中から、入力したい文字を容易に選択し、その文字を注視することができる。たとえ、操作者の視線が多少、揺らいでも、文字が拡大表示されているので、視線検出部62は、その揺らぎの影響をあまり受けることなく、視線の位置を検出することができる。
(2)拡大表示の「第1の拡大表示段階」で、選択決定された文字「つ」を第1の大きさに拡大し、「第2の拡大表示段階」で、選択決定された文字「つ」を第1の大きさよりも大きい第2の大きさに拡大するので、視線の揺らぎなどに起因する視線位置の誤差があっても、所望の単位情報を確実に入力することができる。
(3)拡大表示の「第1段階」で第2の所定時間の注視、「第2段階」で第3の所定時間の注視により、選択決定部63は、単位情報「つ」を選択決定し、情報入力部64は、「つ」に関するデータを入力するので、簡単に入力操作を行うことができると共に、入力対象文字でない文字に誤って瞬時、視線を移してもその文字を入力対象候補とすることはない。
(4)図3(b)の「第1の拡大表示段階」で、入力対象候補を中央位置の文字「つ」から、それの左上の文字「に」に変更した場合は、文字「に」を図4(b)のように「第2の拡大表示段階」で第2の大きさに拡大し、さらに、文字「に」と、それに隣接する周囲の8文字とを画面の中央へ移動させるので、「第2の拡大表示段階」で選択しようとしている単位情報を認識しやすい。
(5)図3(b)に示した「第1の拡大表示段階」で、第1の大きさに拡大表示されている文字「つ」の選択を中止して「つ」の周囲に隣接する8文字以外の文字を選択したい場合は、文字「つ」とその周囲の8文字とのいずれからも視線の位置を外すことで、容易に「初期の一覧表示状態」の一覧表示に戻すことができる。
(6)図3(c)に示した「第2の拡大表示段階」で、第2の大きさに拡大表示されている文字「つ」の選択を中止して別の文字を選択したい場合は、視線の位置を移動することによって、容易に「第1の拡大表示段階」にも、「初期の一覧表示状態」にも戻すことができる。
(7)第1の大きさ、または第2の大きさに拡大表示されている中央の文字「つ」をハイライト表示するので、操作者は、自分が一覧表示部10上に入力対象候補として、どの文字を選択したのかを明瞭に確認することができる。
  以下、本実施の形態の変形例を説明する。
(1)本実施の形態では、「第1の拡大表示段階」で文字注視の第2の所定時間、「第2の拡大表示段階」で文字注視の第3の所定時間の経過により、選択決定部63は、単位情報「つ」を選択決定したが、それの代わりに、文字注視中に操作部材40を操作することによって「第1の拡大表示段階」から「第2の拡大表示段階」、「第2の拡大表示段階」から選択決定まで行うこともできる。この場合は、短時間での視線入力が可能となる。また、一覧表示部10の画面上に、図1に示す選択決定領域10aを設け、視線の位置を入力対象文字から直ちに選択決定領域10aに移すことによってその入力対象文字の選択決定を行ってもよい。
(2)本実施の形態では、「第1の拡大表示段階」または「第2の拡大表示段階」で、選択した文字をキャンセルして別の文字を選択したい場合は、所定時間、視線の位置を外すことにより行ったが、キャンセルスイッチを設けてその操作によって「第1の拡大表示段階」から「初期の一覧表示状態」への移行、「第2の拡大表示段階」から「第1の拡大表示段階」または「初期の一覧表示状態」への移行を行ってもよい。
(3)本実施の形態では、ディスプレイ1の画面を分割して一覧表示部10と入力情報表示部20とを設けていたが、一覧表示部10と入力情報表示部20を別個の2つのディスプレイに分けて設けてもよい。
(4)一覧表示部10は、入力候補としての複数の単位情報を表示するが、これらの複数の単位情報をすべて画面上に表示してもよいし、スクロールさせて表示してもよい。一覧表示の態様、例えば平仮名を一覧表示部10の画面にどの位の大きさで何文字表示するかは、予め設定されているが、操作者による操作部材40の入力操作により変更することも可能である。
(5)入力情報表示部20は、入力候補としての複数の単位情報の中から入力決定された単位情報を表示するが、この表示の態様も、予め設定されているが、操作者による操作部材40の入力操作により変更することも可能である。
(6)図5(a)、(b)に示すように、「第1の拡大表示段階」または「第2の拡大表示段階」の一覧表示部10上で入力対象候補の文字である「つ」を強調するために、文字「つ」に重ねて文字を視認できるような半透明の指Fを表示してもよい。
  視線入力装置100は、単独でも使用できるが、携帯端末やデジタルカメラなどに搭載することもできる。
  本発明は、その特徴を損なわない限り、以上説明した実施の形態に何ら限定されるものではない。