JP2006107048A - Gaze correspondence control apparatus and gaze correspondence control method - Google Patents

Abstract

Translated fromJapanese

【課題】視線の移動と表示内容の対応をとることにより画面表示の適切な制御を行う装置を提供する。
【解決手段】視線対応制御装置は、予定参照順序を有する複数のパーツからなるコンテンツを記憶するコンテンツＤＢと、コンテンツを表示する表示部と、表示部に表示されたパーツの位置を記憶するパーツ表示位置ＤＢと、ユーザの視線を検出する視線検出部と、パーツ表示位置ＤＢから読み出したパーツの表示位置と、視線検出部にて検出された視線とに基づいて、ユーザが参照しているパーツをユーザ参照パーツとして求めるユーザ参照パーツ算出部と、ユーザがパーツを参照した順序と予定参照順序とが一致しているか否かを判定する参照順序判定部と、一致しているとの参照順序判定部による判定結果に応じて、視線検出部にて検出された視線に対応した制御を行う視線対応制御部とを備える。
【選択図】 図１An apparatus for appropriately controlling screen display by taking correspondence between the movement of the line of sight and display content is provided.
A line-of-sight control device stores a content DB that stores content composed of a plurality of parts having a scheduled reference order, a display unit that displays content, and a part display that stores the position of a part displayed on the display unit. Based on the position DB, the line-of-sight detection unit that detects the user's line of sight, the display position of the part read from the parts display position DB, and the line of sight detected by the line-of-sight detection unit, the part that the user refers to A user reference part calculation unit obtained as a user reference part, a reference order determination unit that determines whether or not the order in which the user refers to the part and the scheduled reference order match, and a reference order determination unit that matches And a line-of-sight correspondence control unit that performs control corresponding to the line of sight detected by the line-of-sight detection unit according to the determination result.
[Selection] Figure 1

Description

Translated fromJapanese

本発明は、ユーザによるコンテンツの参照内容をユーザの視線から判別し、それに応じて表示や音声等の制御を行う装置および方法に関する。  The present invention relates to an apparatus and a method for discriminating content reference content by a user from the user's line of sight and controlling display, sound, and the like accordingly.

パソコンや携帯電話などの情報処理装置において、ユーザへの情報伝達手段として表示画面が利用されている。画面の大きさには各種の理由により制約があり、一画面ですべての情報を表示できない場合は、画面の切替えやスクロールを用いて表示を行っている。画面切替えやスクロールを行うにはユーザの何らかの操作が必要となるが、視線入力を用いてユーザの画面切替えやスクロールの操作を省き、ユーザの操作の負荷を軽減する視線対応表示装置が提案されている。  In information processing apparatuses such as personal computers and mobile phones, display screens are used as means for transmitting information to users. There are restrictions on the size of the screen for various reasons, and when all information cannot be displayed on one screen, the screen is switched or scrolled. Some operations of the user are required to perform screen switching and scrolling, but a line-of-sight display device has been proposed that reduces the user's operation load by omitting the user's screen switching and scrolling operations using line-of-sight input. Yes.

例えば、特許文献１では、視線の移動速度、位置、注視時間により画面をスクロールまたは切り替える視線対応表示装置が提案されている。この装置によれば、ユーザは視線を移動させることで画面を切り替えるまたはスクロールさせることができ、画面切替えやスクロールのたびに操作を行う必要がないという利点を得られる。
特開平８−２２３８５号公報For example, Patent Document 1 proposes a line-of-sight display device that scrolls or switches the screen according to the line-of-sight movement speed, position, and gaze time. According to this apparatus, the user can switch or scroll the screen by moving the line of sight, and there is an advantage that there is no need to perform an operation each time the screen is switched or scrolled.
JP-A-8-22385

しかしながら、特許文献１の視線対応表示装置は、画面に対する視線の位置を利用して画面の制御を行っており、視線の動きと視線の位置に表示されている内容との関連は考慮されていない。このため、不適切な部分への画面切替えもしくはスクロールをしてしまうことがある。例えば、特許文献１の視線対応表示装置では文書の改行を考慮し、行の最終文字付近から次行の先頭文字方向に大きく視線が移動した場合に文書の左端を表示するが、表示内容が単純な構成であることを前提としており、段組や画像挿入がなされた複雑な表示構成であった場合、画面切替えやスクロールを行った先で適切な内容が表示されないことがある。また、このように表示構成が複雑な場合、表示されている画面だけではユーザが次行の先頭文字方向を適切に判別できないことがある。このとき、ユーザは自分で適切な部分を探さなければならない。  However, the line-of-sight display device of Patent Literature 1 controls the screen using the position of the line of sight with respect to the screen, and does not consider the relationship between the movement of the line of sight and the content displayed at the position of the line of sight. . For this reason, the screen may be switched or scrolled to an inappropriate part. For example, the line-of-sight display device of Patent Document 1 considers line breaks in a document, and displays the left edge of the document when the line of sight moves greatly from the vicinity of the last character of the line toward the first character of the next line. In the case of a complicated display configuration in which columns and images are inserted, appropriate contents may not be displayed after screen switching or scrolling. In addition, when the display configuration is complicated as described above, the user may not be able to properly determine the first character direction of the next line only by the displayed screen. At this time, the user must search for an appropriate part by himself.

また、ユーザが内容を参照していないような場合であっても、ユーザの意図しない画面切替えやスクロールが発生することがあるという問題がある。  In addition, even when the user does not refer to the content, there is a problem that screen switching or scrolling unintended by the user may occur.

本発明は、上記課題を鑑みなされたものであり、視線の移動と表示内容の対応をとることにより画面表示の適切な制御を行う装置を提供することを目的とする。また、画面表示の制御だけでなく、視線の移動と表示内容の対応を用いて音声等を制御することにより、有用な視線対応制御装置を提供することを目的とする。  The present invention has been made in view of the above problems, and an object of the present invention is to provide an apparatus that performs appropriate control of screen display by taking correspondence between movement of line of sight and display content. It is another object of the present invention to provide a useful line-of-sight control device by controlling not only the screen display but also the voice and the like using the correspondence between line-of-sight movement and display content.

本発明の視線対応制御装置は、あらかじめ定められた参照順序を有する複数のパーツからなるコンテンツを記憶するコンテンツ記憶手段と、前記コンテンツを表示する表示手段と、前記表示手段に表示された前記パーツの位置を記憶するパーツ表示位置記憶手段と、前記表示手段に表示されたコンテンツを見るユーザの視線を検出する視線検出手段と、前記パーツ表示位置記憶手段から読み出した前記パーツの表示位置と、前記視線検出手段にて検出された視線とに基づいて、ユーザが参照しているパーツをユーザ参照パーツとして求めるユーザ参照パーツ算出手段と、前記ユーザ参照パーツ算出手段にて算出されたユーザ参照パーツに基づいて、ユーザがパーツを参照した順序とあらかじめ定められた参照順序とが一致しているか否かを判定する参照順序判定手段と、ユーザがパーツを参照した順序とあらかじめ定められた参照順序とが一致しているとの前記参照順序判定手段による判定結果に応じて、前記視線検出手段にて検出された視線に対応した制御を行う視線対応制御手段とを備えた構成を有する。  The line-of-sight control device according to the present invention includes a content storage unit that stores content composed of a plurality of parts having a predetermined reference order, a display unit that displays the content, and a part that is displayed on the display unit. Parts display position storage means for storing the position, line-of-sight detection means for detecting the line of sight of the user viewing the content displayed on the display means, the display position of the part read from the parts display position storage means, and the line of sight Based on the line of sight detected by the detection means, based on the user reference parts calculated by the user reference parts calculation means and user reference parts calculation means for obtaining a user reference part as a user reference part , It is determined whether the order in which the user refers to the parts matches the predetermined reference order. Detected by the line-of-sight detection means according to a determination result by the reference order determination means that the reference order determination means and the order in which the user referred to the parts match the predetermined reference order A line-of-sight control unit that performs control corresponding to the line of sight.

この構成により、ユーザの視線からユーザが参照しているコンテンツのパーツを求め、パーツを参照した順序があらかじめ定められたパーツの参照順序と一致しているか否かを判定するので、ユーザの視線がコンテンツを参照することによって動いたものか否かを判断できる。そして、あらかじめ定められた参照順序とユーザの視線の動きが一致する場合、すなわちユーザがコンテンツを参照していると判定される場合には、視線に対応した制御を行うので、ユーザが意図しない制御を抑制し、ユーザの視線に対応した適切な制御を行える。  With this configuration, the parts of the content that the user is referring to are obtained from the user's line of sight, and it is determined whether or not the order in which the parts are referenced matches the predetermined part reference order. It can be determined whether or not it has moved by referring to the content. Then, when the predetermined reference order matches the movement of the user's line of sight, that is, when it is determined that the user is referring to the content, the control corresponding to the line of sight is performed. And appropriate control corresponding to the user's line of sight can be performed.

上記視線対応制御装置の視線対応制御手段は、前記ユーザ参照パーツ算出手段にて算出されたユーザ参照パーツに基づいて、前記コンテンツのパーツを前記コンテンツ記憶手段から読み出して前記表示手段に表示してもよい。  The line-of-sight control unit of the line-of-sight control device may read the content part from the content storage unit and display it on the display unit based on the user reference part calculated by the user reference part calculation unit. Good.

この構成により、コンテンツの適切なパーツを表示することができる。例えば、ユーザの視線とコンテンツのパーツとの対応をとることで画面の切替えやスクロール時に適切な表示内容を特定でき、複雑な表示構成の場合でも適切なタイミングで適切な画面制御を行うことができる。また、注目している内容に応じて強調表示や注釈等のポップアップ表示を行うことで、ユーザに対して効率的な情報提示を行える。  With this configuration, it is possible to display appropriate parts of the content. For example, by matching the user's line of sight with the parts of the content, it is possible to specify appropriate display contents at the time of screen switching and scrolling, and appropriate screen control can be performed at an appropriate timing even in the case of a complicated display configuration . In addition, efficient information presentation can be performed to the user by performing popup display such as highlighting or annotation according to the content of interest.

上記視線対応制御装置の視線対応制御手段は、前記ユーザ参照パーツ算出手段にて算出されたユーザ参照パーツに対応する音声を出力してもよい。  The line-of-sight correspondence control means of the line-of-sight correspondence control apparatus may output a sound corresponding to the user reference part calculated by the user reference part calculation means.

この構成により、ユーザが参照しているパーツに合った音声を出力することができる。例えば、高い臨場感を演出する等のユーザに対する効果的な情報提示を行える。  With this configuration, it is possible to output sound that matches the part that the user is referring to. For example, it is possible to present effective information to the user such as producing a high sense of reality.

上記視線対応制御装置は、前記ユーザ参照パーツ算出手段にて算出されたユーザ参照パーツを記憶する参照履歴記憶手段を備え、前記視線対応制御手段は、前記参照履歴記憶手段からユーザが参照したパーツの履歴を読み出し、前記履歴に応じた制御を行ってもよい。  The line-of-sight correspondence control apparatus includes a reference history storage unit that stores a user reference part calculated by the user reference part calculation unit, and the line-of-sight correspondence control unit is configured to store a part referenced by the user from the reference history storage unit. The history may be read and control according to the history may be performed.

この構成により、ユーザが過去に参照したパーツに基づいて適切な制御を行える。例えば、ユーザがまだ見ていないパーツを見るように注意を喚起することができる。  With this configuration, appropriate control can be performed based on parts that the user has referred to in the past. For example, attention can be drawn to see parts that the user has not yet seen.

本発明の視線対応制御方法は、あらかじめ定められた参照順序を有する複数のパーツからなるコンテンツを記憶したコンテンツ記憶手段からコンテンツを読み出して表示する表示ステップと、前記表示ステップにおいて表示された前記パーツの位置をパーツ表示位置記憶手段に記憶するパーツ表示位置記憶ステップと、前記表示ステップにおいて表示されたコンテンツを見るユーザの視線を検出する視線検出ステップと、前記パーツ表示位置記憶手段から読み出した前記パーツの表示位置と、前記視線検出手段にて検出された視線とに基づいて、ユーザが参照しているパーツをユーザ参照パーツとして求めるユーザ参照パーツ算出ステップと、前記ユーザ参照パーツ算出ステップにて算出されたユーザ参照パーツに基づいて、ユーザがパーツを参照した順序とあらかじめ定められた参照順序とが一致しているか否かを判定する参照順序判定ステップと、ユーザがパーツを参照した順序とあらかじめ定められた参照順序とが一致しているとの前記参照順序判定ステップにおける判定結果に応じて、前記視線検出ステップにおいて検出された視線に対応した制御を行う視線対応制御ステップとを備える。  The line-of-sight correspondence control method of the present invention includes a display step of reading and displaying content from a content storage unit that stores content composed of a plurality of parts having a predetermined reference order, and the display of the parts displayed in the display step. A parts display position storage step for storing the position in the parts display position storage means; a line-of-sight detection step for detecting the line of sight of the user viewing the content displayed in the display step; and the parts read out from the parts display position storage means Based on the display position and the line of sight detected by the line-of-sight detection means, the user reference part calculation step for obtaining a user reference part as a user reference part and the user reference part calculation step are calculated. User based on user reference part The reference order determining step for determining whether or not the referred order matches a predetermined reference order, and the order in which the user refers to the parts and the predetermined reference order match. A line-of-sight correspondence control step of performing control corresponding to the line of sight detected in the line-of-sight detection step according to the determination result in the reference order determination step.

この構成により、本発明の視線対応制御装置と同様に、ユーザの視線に対応した適切な制御を行える。また、本発明の視線対応制御装置の各種の構成を本発明の視線対応制御方法に適用することも可能である。  With this configuration, it is possible to perform appropriate control corresponding to the user's line of sight, similarly to the line-of-sight control device of the present invention. Various configurations of the line-of-sight control device of the present invention can also be applied to the line-of-sight control method of the present invention.

本発明のプログラムは、ユーザの視線に応じた制御を行うためのプログラムであって、コンピュータに、あらかじめ定められた参照順序を有する複数のパーツからなるコンテンツを記憶したコンテンツ記憶手段からコンテンツを読み出して表示する表示ステップと、前記表示ステップにおいて表示された前記パーツの位置をパーツ表示位置記憶手段に記憶するパーツ表示位置記憶ステップと、前記表示ステップにおいて表示されたコンテンツを見るユーザの視線を検出する視線検出ステップと、前記パーツ表示位置記憶手段から読み出した前記パーツの表示位置と、前記視線検出手段にて検出された視線とに基づいて、ユーザが参照しているパーツをユーザ参照パーツとして求めるユーザ参照パーツ算出ステップと、前記ユーザ参照パーツ算出ステップにて算出されたユーザ参照パーツに基づいて、ユーザがパーツを参照した順序とあらかじめ定められた参照順序とが一致しているか否かを判定する参照順序判定ステップと、ユーザがパーツを参照した順序とあらかじめ定められた参照順序とが一致しているとの前記参照順序判定ステップにおける判定結果に応じて、前記視線検出ステップにおいて検出された視線に対応した制御を行う視線対応制御ステップとを実行させる。  The program of the present invention is a program for performing control according to the user's line of sight, and reads out content from a content storage means that stores content composed of a plurality of parts having a predetermined reference order in a computer. A display step for displaying, a part display position storage step for storing the position of the part displayed in the display step in a part display position storage means, and a line of sight for detecting the line of sight of a user who views the content displayed in the display step Based on the detection step, the display position of the part read from the part display position storage means, and the line of sight detected by the line-of-sight detection means, the user reference that obtains the part referred to by the user as the user reference part A part calculating step and the user reference part calculating Based on the user reference parts calculated in the step, a reference order determination step for determining whether or not the order in which the user referred to the parts matches a predetermined reference order, and the user referred to the parts A line-of-sight control step for performing control corresponding to the line of sight detected in the line-of-sight detection step in accordance with the determination result in the reference order determination step that the order matches the predetermined reference order Let

この構成により、本発明の視線対応制御装置と同様に、ユーザの視線に対応した適切な制御を行える。また、本発明の視線対応制御装置の各種の構成を本発明のプログラムに適用することも可能である。  With this configuration, it is possible to perform appropriate control corresponding to the user's line of sight, similarly to the line-of-sight control device of the present invention. Various configurations of the line-of-sight control device of the present invention can be applied to the program of the present invention.

本発明は、ユーザがパーツを参照した順序をユーザの視線から求め、求めた順序とあらかじめ定められたパーツの参照順序とが一致している場合に視線に対応した制御を行うことにより、ユーザが意図しない制御を抑制し、ユーザの視線に対応した適切な制御を行えるというすぐれた効果を有する。  The present invention obtains the order in which the user refers to the parts from the user's line of sight, and performs control corresponding to the line of sight when the obtained order matches the predetermined part reference order. It has an excellent effect of suppressing unintended control and performing appropriate control corresponding to the user's line of sight.

以下、本発明の実施の形態について、図面を参照しながら説明する。  Hereinafter, embodiments of the present invention will be described with reference to the drawings.

（第１の実施の形態）
図１は、本発明の第１の実施の形態の視線対応制御装置１０を示す図である。視線対応制御装置１０は、ユーザの視線移動とあらかじめ定められたパーツの参照順序とが一致した場合にユーザの視線に対応した視線対応制御を行う装置である。(First embodiment)
FIG. 1 is a diagram showing a line-of-sight control device 10 according to the first embodiment of the present invention. The line-of-sight control device 10 is a device that performs line-of-sight control corresponding to the user's line of sight when the user's line of sight movement matches a predetermined part reference order.

視線対応制御装置１０は、表示部１２と、視線検出部１４と、コンテンツデータベース（以下、「コンテンツＤＢ」という）１６と、制御部２０とを備えている。  The line-of-sightcorrespondence control apparatus 10 includes adisplay unit 12, a line-of-sight detection unit 14, a content database (hereinafter referred to as “content DB”) 16, and acontrol unit 20.

表示部１２は、ＬＣＤなどにより構成され、表示メモリに書き込まれた画像を表示する機能を有する。  Thedisplay unit 12 is configured by an LCD or the like, and has a function of displaying an image written in the display memory.

視線検出部１４は、カメラと画像処理などの各種データ処理を行うコンピュータ等から構成される。カメラによってユーザを撮影し、撮影して得られた画像から、表示部１２に表示されたコンテンツを見るユーザの視線を検出する。表示部１２への視線を検出するために必要な表示部１２とカメラとの位置関係は、あらかじめ設定されている。  The line-of-sight detection unit 14 includes a camera and a computer that performs various data processing such as image processing. The user is photographed by the camera, and the line of sight of the user who views the content displayed on thedisplay unit 12 is detected from the image obtained by photographing. The positional relationship between thedisplay unit 12 and the camera necessary for detecting the line of sight to thedisplay unit 12 is set in advance.

コンテンツＤＢ１６には、ＨＴＭＬなどにより記述されたコンテンツ表示のためのソースコードと、その表示に必要な文字や絵、写真などのデータが記憶されている。図２（ａ）は、コンテンツＤＢ１６に記憶されたデータを示す図である。コンテンツＤＢ１６には、パーツＡ〜Ｚと画像のパーツからなるコンテンツが記憶されている。パーツＡ〜Ｚのそれぞれは文字であってもよいし、文章でもよい。パーツＡ〜Ｚは、「Ａ」「Ｂ」「Ｃ」・・・「Ｚ」の順で参照されることがあらかじめ定められている。以下、この順序を「予定参照順序」という。  The content DB 16 stores source code for content display described in HTML or the like, and data such as characters, pictures, and photographs necessary for the display. FIG. 2A is a diagram showing data stored in thecontent DB 16. Thecontent DB 16 stores content including parts A to Z and image parts. Each of the parts A to Z may be a character or a sentence. It is predetermined that the parts A to Z are referred to in the order of “A”, “B”, “C”... “Z”. Hereinafter, this order is referred to as “scheduled reference order”.

制御部２０は、視線に応じた制御を行う。制御部２０は、ユーザ参照パーツ算出部２２と、参照順序判定部２４と、視線対応制御部２６とを備えている。制御部２０の機能は、コンピュータのＣＰＵが所定のプログラムを読み出して実行することにより実現される。、また、図１には記載されていないが、制御部２０は、表示用画像作成、表示メモリへの書込み等を行う機能も有している。  Thecontrol unit 20 performs control according to the line of sight. Thecontrol unit 20 includes a user reference part calculation unit 22, a referenceorder determination unit 24, and a line-of-sight control unit 26. The function of thecontrol unit 20 is realized by the CPU of the computer reading and executing a predetermined program. Although not shown in FIG. 1, thecontrol unit 20 also has a function of creating a display image, writing to a display memory, and the like.

制御部２０において、ユーザ参照パーツ算出部２２は、視線検出部１４にて検出されたユーザの視線と、パーツ表示位置データベース（以下、「パーツ表示位置ＤＢ」という）１８に記憶された画面内におけるパーツの表示位置とに基づいてユーザが参照したパーツを求める機能を有する。ここで、パーツ表示位置ＤＢ１８は、表示部１２にコンテンツを表示するときに取得した画面内におけるパーツの位置を記憶する。  In thecontrol unit 20, the user reference part calculation unit 22 includes a user's line of sight detected by the line-of-sight detection unit 14 and a screen stored in a parts display position database (hereinafter referred to as “part display position DB”) 18. It has a function of obtaining a part referenced by the user based on the display position of the part. Here, the partsdisplay position DB 18 stores the positions of the parts in the screen acquired when the content is displayed on thedisplay unit 12.

図３は、パーツ表示位置ＤＢ１８に記憶されたデータの例を示す図である。図３に示すように、パーツ表示位置ＤＢ１８には、表示画像内におけるパーツの表示位置の座標のデータが記憶されている。パーツ表示位置ＤＢ１８の座標のデータは、表示部１２にてコンテンツを表示する際に取得される。  FIG. 3 is a diagram illustrating an example of data stored in the partsdisplay position DB 18. As shown in FIG. 3, the partsdisplay position DB 18 stores coordinate data of the display positions of the parts in the display image. The coordinate data of the partsdisplay position DB 18 is acquired when thedisplay unit 12 displays content.

参照順序判定部２４は、ユーザがパーツを参照した順序と、予定参照順序とが一致しているか否かを判定する機能を有する。予定参照順序とユーザがパーツを参照した順序とが一致している場合には、ユーザがコンテンツを理解しながら参照していると判断できる。逆に一致しない場合には、予定参照順序とは関係なく視線が移動するので、ユーザがコンテンツを参照していないと判断できる。  The referenceorder determination unit 24 has a function of determining whether or not the order in which the user refers to the parts matches the planned reference order. If the scheduled reference order matches the order in which the user refers to the parts, it can be determined that the user is referring to the content while understanding the content. Conversely, if they do not match, the line of sight moves regardless of the schedule reference order, so it can be determined that the user is not referring to the content.

視線対応制御部２６は、ユーザがパーツを参照した順序と、コンテンツの予定参照順序とが一致している場合に、ユーザの視線に対応した制御を行う機能を有する。  The line-of-sightcorrespondence control unit 26 has a function of performing control corresponding to the line of sight of the user when the order in which the user refers to the parts matches the planned reference order of the contents.

図４は、視線対応制御装置１０の動作を示すフローチャートである。図４を参照して、視線対応制御装置１０の動作について説明する。  FIG. 4 is a flowchart showing the operation of the line-of-sight control device 10. The operation of the line-of-sight control device 10 will be described with reference to FIG.

まず、視線対応制御装置１０の制御部２０は、表示文字サイズや表示領域サイズ、縦書き、横書き等の情報を反映したコンテンツの表示画像を生成し、表示部１２に表示する（Ｓ１０）。このとき、制御部２０は、表示画像におけるパーツの表示位置を求め、パーツ表示位置ＤＢ１８に記憶する。  First, thecontrol unit 20 of the line-of-sight control device 10 generates a display image of content reflecting information such as a display character size, a display area size, vertical writing, horizontal writing, and displays it on the display unit 12 (S10). At this time, thecontrol unit 20 obtains the display position of the part in the display image and stores it in the partdisplay position DB 18.

次に、視線検出部１４は、ユーザの視線を検出する（ステップＳ１２）。具体的には、視線検出部１４は、カメラで撮像した画像から、画像認識によって目の部分を抽出するとともに、その中の瞳の位置、視線の方向を検出する。さらに、カメラと表示部１２との位置関係、カメラの撮影方向および検出した視線方向から、ユーザの視線が表示部１２のどの位置に向いているかを検出する。本実施の形態では、視線検出部１４は、カメラの撮影画像から視線を検出する構成を採用したが、視線を検出する構成は、本実施の形態の構成に限られず、別の構成を採用してもよい。  Next, the line-of-sight detection unit 14 detects the user's line of sight (step S12). Specifically, the line-of-sight detection unit 14 extracts an eye part from the image captured by the camera by image recognition, and detects the position of the pupil and the direction of the line of sight therein. Further, the position of the user's line of sight on thedisplay unit 12 is detected from the positional relationship between the camera and thedisplay unit 12, the shooting direction of the camera, and the detected line-of-sight direction. In the present embodiment, the line-of-sight detection unit 14 employs a configuration for detecting the line of sight from a captured image of the camera, but the configuration for detecting the line of sight is not limited to the configuration of the present embodiment, and another configuration is employed. May be.

次に、制御部２０のユーザ参照パーツ算出部２４により、視線検出部１４において検出された視線情報とパーツ表示位置ＤＢ１８に記憶されたパーツの表示位置から、ユーザが参照しているパーツを求める（ステップＳ１４）。続いて、参照順序判定部２４が、ユーザが画面内のパーツを参照した順序と予定参照順序とが一致するか否かを判定する（ステップＳ１６）。具体的には、制御部２０の参照順序判定部２４は、ユーザによって参照された所定数のパーツの順序が予定参照順序と連続して一致する場合に一致と判定する。  Next, the part referred to by the user is obtained from the line-of-sight information detected by the line-of-sight detection unit 14 and the part display position stored in the partdisplay position DB 18 by the user referencepart calculation unit 24 of the control unit 20 ( Step S14). Subsequently, the referenceorder determination unit 24 determines whether or not the order in which the user refers to the parts in the screen matches the planned reference order (step S16). Specifically, the referenceorder determination unit 24 of thecontrol unit 20 determines a match when the order of a predetermined number of parts referred to by the user continuously matches the planned reference order.

図２（ｂ）は、図２（ａ）に示すコンテンツＤＢ１６のデータに基づいて、コンテンツを表示した例を示す図である。図２（ａ）、図２（ｂ）および図３を参照して、ユーザの視線と参照パーツとの関係および参照順序判定について説明する。図３に示すように、パーツ表示位置ＤＢ１８は、各パーツの表示位置情報を記憶している。視線検出部１４にて検出された視線の方向から、ユーザが見ている表示部１２上の位置を特定する。例えば、ユーザの視線が図２（ｂ）に示す位置４０（表示画像内の座標（１０，６０））を向いているとすると、ユーザ参照パーツ算出部２２は、その座標から対応するパーツ「Ｐ」をパーツ表示位置ＤＢ１８から読み出し、ユーザが参照しているパーツとして特定する。このように、視線検出部１４にて検出された視線とパーツ表示位置ＤＢ１８とによってユーザが参照しているパーツを求めることができる。ユーザの視線が位置４０から位置４２へ移動し、さらに位置４４、位置４６へ順次移動したとすると、ユーザが参照しているパーツは、「Ｐ」「Ｒ」「Ｓ」「Ｕ」の順に変化していることが分かる。ここで、コンテンツ記憶部に記憶されたコンテンツの参照順序と比較すると、「Ｐ」「Ｒ」「Ｓ」「Ｕ」は、予定参照順序と一致しているので、ユーザが予定参照順序に従って、コンテンツを参照していると判定される。  FIG. 2B is a diagram showing an example in which content is displayed based on the data in thecontent DB 16 shown in FIG. With reference to FIG. 2A, FIG. 2B, and FIG. 3, the relationship between the user's line of sight and the reference parts and the reference order determination will be described. As shown in FIG. 3, the partsdisplay position DB 18 stores display position information of each part. From the line-of-sight direction detected by the line-of-sight detection unit 14, the position on thedisplay unit 12 that the user is looking at is specified. For example, assuming that the user's line of sight is directed to a position 40 (coordinates (10, 60) in the display image) shown in FIG. 2B, the user reference part calculation unit 22 calculates the corresponding part “P” from the coordinates. "Is read out from the partsdisplay position DB 18 and specified as a part referred to by the user. In this way, the part referenced by the user can be obtained from the line of sight detected by the line-of-sight detection unit 14 and the partdisplay position DB 18. Assuming that the user's line of sight has moved fromposition 40 to position 42 and further moved sequentially to position 44 and position 46, the parts referred to by the user change in the order of “P”, “R”, “S”, and “U”. You can see that Here, when compared with the reference order of the contents stored in the content storage unit, “P”, “R”, “S”, and “U” match the scheduled reference order. Is determined to be referenced.

視線対応制御装置１０は、ユーザがパーツを参照した順序と予定参照順序とが一致していると判定された場合は視線に応じた制御を行い（ステップＳ１８）、一致すると判定されない場合は視線の対応内容に応じた制御を行わない。なお、視線移動４８のように段組表示を追う場合などで、どのパーツとも対応しない位置を視線が移動している場合は、次のパーツが検出されるまで待機する。ただし、次のパーツが検出されるまでに、所定時間以上経過した場合には視線に応じた制御を行わない。  The line-of-sight control device 10 performs control in accordance with the line of sight when it is determined that the order in which the user refers to the parts matches the planned reference order (step S18). Do not perform control according to the corresponding contents. If the line of sight is moving in a position that does not correspond to any part, such as when following a column display like the line of sight movement 48, the system waits until the next part is detected. However, if a predetermined time or more elapses before the next part is detected, control according to the line of sight is not performed.

なお、人間の視覚の特性には、視線が高速移動し視覚特性が低下するサッカード状態と、視線が停留し高い視覚特性を示す状態があり、これを繰り返して内容を読んでいるので、この特性の違いを利用して判定を行うことが好適である。例えば、ユーザが内容を読んでいる場合は視線の停留が起こるので、サッカード後に視線停留があった場合に、視線移動によってなぞられた部分と参照部分を読んだと判定する。  Human visual characteristics include a saccade state where the line of sight moves at a high speed and the visual characteristic deteriorates, and a state where the line of sight stops and shows a high visual characteristic. It is preferable to make a determination using the difference in characteristics. For example, when the user is reading the contents, the line of sight is stopped. Therefore, when the line of sight is stopped after saccade, it is determined that the part traced by the line of sight movement and the reference part are read.

また、人間の視線移動には個人差があり、場合によっては順序が正しく判別されないこともあると考えられるので、順序の識別に幅を持たせ、軽度の戻り読みなど誤差を吸収するようにすることが好適である。以上、第１の実施の形態の視線対応制御装置１０について説明した。  In addition, there are individual differences in human eye movements, and in some cases the order may not be determined correctly. Therefore, it is necessary to provide a wide range for order identification and absorb errors such as minor return readings. Is preferred. Heretofore, the line-of-sight control device 10 according to the first embodiment has been described.

第１の実施の形態の視線対応制御装置１０は、ユーザの視線からユーザが参照しているパーツを検出し、ユーザがパーツを参照した順序と予定参照順序とが一致するか判定することにより、ユーザがコンテンツを読んでいるか否かを判定できる。  The line-of-sight control device 10 according to the first embodiment detects a part that the user is referring to from the user's line of sight, and determines whether the order in which the user refers to the part matches the planned reference order, It can be determined whether or not the user is reading the content.

また、ユーザがパーツを参照した順序と予定参照順序とが一致する場合に、視線に対応する制御を行うことにより、ユーザがコンテンツを参照していない場合に、視線に対応して誤った制御を行うことを防ぐことができる。  In addition, when the order in which the user refers to the parts and the scheduled reference order match, the control corresponding to the line of sight is performed, so that when the user does not refer to the content, the erroneous control corresponding to the line of sight is performed. Can be prevented.

また、本実施の形態では、表示部１２にてコンテンツを表示する際に、表示される各パーツの表示画像内の座標を求めてパーツ表示位置ＤＢ１８に記憶するので、表示部１２の仕様によって異なる表示態様の相違によらず、適切に視線位置からパーツを特定できる。  Further, in the present embodiment, when content is displayed on thedisplay unit 12, coordinates in the display image of each displayed part are obtained and stored in the partdisplay position DB 18, and thus vary depending on the specifications of thedisplay unit 12. Regardless of the difference in display mode, it is possible to appropriately specify a part from the line-of-sight position.

（第２の実施の形態）
図５は、本発明の第２の実施の形態の視線対応制御装置１０を示す図である。第２の実施の形態の視線対応制御装置１０は、第１の実施の形態と基本的な構成は同じであるが、視線対応制御を行う表示画像生成部２８を備える。(Second Embodiment)
FIG. 5 is a diagram illustrating the line-of-sight control device 10 according to the second embodiment of the present invention. The line-of-sight control device 10 according to the second embodiment has the same basic configuration as that of the first embodiment, but includes a displayimage generation unit 28 that performs line-of-sight control.

表示画像生成部２８は、ユーザ参照パーツ算出部２２にて求めたユーザが参照しているパーツに基づいて、次にユーザが参照する表示画像を生成する機能を有する。  The displayimage generation unit 28 has a function of generating a display image to be referred to next by the user based on the parts referred to by the user obtained by the user reference part calculation unit 22.

次に、第２の実施の形態の視線対応制御装置１０の動作について説明する。第２の実施の形態の視線対応制御装置１０の基本的な動作は、図４に示す第１の実施の形態の視線対応制御装置１０の動作と同じであるが、視線対応制御（Ｓ１８）として視線に対応した表示画像を生成し、表示部１２に表示する。  Next, the operation of the line-of-sight control device 10 according to the second embodiment will be described. The basic operation of the line-of-sight control device 10 according to the second embodiment is the same as the operation of the line-of-sight control device 10 according to the first embodiment shown in FIG. 4, but as line-of-sight control (S18). A display image corresponding to the line of sight is generated and displayed on thedisplay unit 12.

図６は、第２の実施の形態において表示部１２に表示されるコンテンツの全体を示す図である。コンテンツはパーツＡ〜Ｚと画像のパーツを含んでいる。表示部１２は、コンテンツを部分的に表示し、表示画像を切り替えることによってコンテンツを表示する。現在、表示部１２には、「Ｎ」、「Ｏ」、「Ｑ」、「Ｒ」のパーツを含む表示画像５０が表示され、ユーザの視線からユーザが「Ｒ」のパーツを参照していることを検出しているとする。このとき、表示画像生成部２８は、図２（ａ）に示すコンテンツＤＢ１６を参照して、パーツ「Ｒ」の次に参照されるパーツが「Ｓ」であることを検出する。そして、表示画像生成部２８は、パーツ「Ｓ」が現在の表示画像５０に含まれているか否かを判定し、含まれていない場合にはパーツ「Ｓ」を含む表示画像５２を生成する。このとき、表示画像生成部２８により続き部分が適切な位置に表示されるように表示画像を生成する。そして、表示画像生成部２８は、生成した画像を適切なタイミングで表示メモリに書き込むことにより、表示画像を切り替える。なお、ここでは、画像切替えの例について説明したが、画像を連続的に生成し、表示メモリに書き込むことで表示画像をスクロールさせてもよい。  FIG. 6 is a diagram illustrating an entire content displayed on thedisplay unit 12 in the second embodiment. The content includes parts A to Z and image parts. Thedisplay unit 12 displays the content by partially displaying the content and switching the display image. Currently, adisplay image 50 including parts “N”, “O”, “Q”, and “R” is displayed on thedisplay unit 12, and the user refers to the part “R” from the user's line of sight. Is detected. At this time, the displayimage generation unit 28 refers to thecontent DB 16 shown in FIG. 2A and detects that the part referred to next to the part “R” is “S”. Then, the displayimage generation unit 28 determines whether or not the part “S” is included in thecurrent display image 50, and if not, generates thedisplay image 52 including the part “S”. At this time, a display image is generated by the displayimage generation unit 28 so that the subsequent portion is displayed at an appropriate position. Then, the displayimage generation unit 28 switches the display image by writing the generated image to the display memory at an appropriate timing. Although an example of image switching has been described here, the display image may be scrolled by generating images continuously and writing them to the display memory.

また、表示画像生成部２８は、図６の続きのパーツ「Ｓ」のように、ユーザが参照している内容の続き部分５４の書体をイタリックに変更し、ユーザが続き部分を見つけやすいように強調してもよい。また、書体を変更する代わりに、表示色を変更してもよい。  In addition, the displayimage generation unit 28 changes the typeface of the continuedportion 54 of the content referred to by the user to italic as in the continued part “S” in FIG. 6 so that the user can easily find the continued portion. It may be emphasized. Further, instead of changing the typeface, the display color may be changed.

また、図６の矢印５６のように続き部分の方向への矢印を表示することで、ユーザに続き部分を見つけ易くすると共に、視線がその方向に動いた場合にスクロールしてもよい。  Further, by displaying an arrow in the direction of the continued portion as indicated by anarrow 56 in FIG. 6, it is easy for the user to find the continued portion, and scrolling may be performed when the line of sight moves in that direction.

また、表示画像生成部２８は、コンテンツに文字情報と図や注釈等との対応が埋め込まれている場合、ユーザが注目している内容に対応する図や注釈等の付加情報の強調表示やポップアップ表示を行ってもよい。  Further, when the correspondence between the character information and the figure, the annotation, or the like is embedded in the content, the displayimage generation unit 28 highlights or pops up the additional information such as the figure, the annotation, or the like corresponding to the content that the user is interested in. Display may be performed.

また、ＨＴＭＬのようなコンテンツである場合、リンクが貼られた内容を見た場合にリンク先を表示するようにしてもよい。  Further, in the case of content such as HTML, the link destination may be displayed when the content with the link attached is viewed.

なお、コンテンツに文字情報と図や注釈等との対応が埋め込まれている場合にユーザの注目内容に対応した付加情報を表示するとしたが、テキスト情報を解析することによって、コンテンツとは別に用意した絵や写真のデータベースから注目内容に対応する絵や写真の情報を検索し、表示するようにしてもよい。  Note that additional information corresponding to the user's attention is displayed when the correspondence between character information and figures, annotations, etc. is embedded in the content, but prepared separately from the content by analyzing the text information Information of a picture or photo corresponding to the attention content may be retrieved from a picture or photo database and displayed.

このような本発明の第２の実施の形態によれば、ユーザが参照しているパーツに対応した表示画像を生成することにより、適切な画面切替えやスクロールを行える。これにより、ユーザに対して効率的、効果的な情報提示が可能となる。  According to the second embodiment of the present invention, appropriate screen switching and scrolling can be performed by generating a display image corresponding to the part referred to by the user. This makes it possible to present information efficiently and effectively to the user.

（第３の実施の形態）
図７は、本発明の第３の実施の形態の視線対応制御装置１０を示す図である。第２の実施の形態の視線対応制御装置１０は、第１の実施の形態と基本的な構成は同じであるが、視線対応制御を行う音声制御部３０を備える。(Third embodiment)
FIG. 7 is a diagram showing a line-of-sight control device 10 according to the third embodiment of the present invention. The line-of-sight control device 10 of the second embodiment has the same basic configuration as the first embodiment, but includes avoice control unit 30 that performs line-of-sight control.

音声制御部３０は、ユーザが参照しているパーツに合った音声を出力する機能を有する。音声制御部３０にて出力する音声のデータは、コンテンツを構成する各パーツに関連付けてコンテンツＤＢ１６に記憶しておく。そして、音声制御部３０は、ユーザ参照パーツ算出部２２にて求めたユーザの参照パーツに対応する音声データをコンテンツＤＢ１６から読み出して出力する。  Thevoice control unit 30 has a function of outputting a voice that matches a part that the user is referring to. The audio data output by theaudio control unit 30 is stored in thecontent DB 16 in association with each part constituting the content. Then, theaudio control unit 30 reads out and outputs audio data corresponding to the user reference part obtained by the user reference part calculation unit 22 from thecontent DB 16.

次に、第３の実施の形態の視線対応制御装置１０の動作について説明する。第３の実施の形態の視線対応制御装置１０の基本的な動作は、図４に示す第１の実施の形態の視線対応制御装置１０と同じであるが、ユーザがパーツを参照する順序が予定参照順序と一致すると判定された場合に、視線対応制御（Ｓ１８）として、音声制御部３０にて参照パーツに対応する音声を出力する点が異なる。  Next, the operation of the line-of-sight control device 10 according to the third embodiment will be described. The basic operation of the line-of-sight control apparatus 10 according to the third embodiment is the same as that of the line-of-sight control apparatus 10 according to the first embodiment shown in FIG. 4, but the order in which the user refers to the parts is scheduled. When it is determined that the reference order matches, thesound control unit 30 outputs sound corresponding to the reference part as the line-of-sight correspondence control (S18).

第３の実施の形態の視線対応制御装置１０によれば、ユーザが参照するコンテンツの内容に応じて音声を出力して、臨場感を高めることができる。例えば、雷に関する記述をユーザが参照したタイミングで雷の効果音を出力する。これにより、ユーザに対する効率的かつ効果的な情報提示を行える。  According to the line-of-sight control device 10 according to the third embodiment, it is possible to output a sound according to the content of the content referred to by the user and enhance the sense of reality. For example, the sound effect of lightning is output at the timing when the user refers to the description about lightning. Thereby, efficient and effective information presentation to a user can be performed.

なお、本実施の形態では、出力する音声と参照パーツとの対応は予めコンテンツに記憶させておくとしたが、別の構成によってコンテンツに対応する音声を出力することとしてもよい。例えば、コンテンツＤＢ１６とは別の音声データベースを設けておく。そして、音声制御部３０は、ユーザが参照しているパーツの内容を解析し、その解析結果に対応する音声を音声データベースから読み出す構成としてもよい。  In the present embodiment, the correspondence between the sound to be output and the reference part is stored in the content in advance, but the sound corresponding to the content may be output by another configuration. For example, an audio database different from thecontent DB 16 is provided. And the audio |voice control part 30 is good also as a structure which analyzes the content of the parts which the user is referring, and reads the audio | voice corresponding to the analysis result from an audio | voice database.

また、効果的な情報提示を行うために、音声制御部３０はユーザが注目している内容に対応した効果音だけでなく、音声案内等を出力してもよい。  In addition, in order to effectively present information, thevoice control unit 30 may output not only the sound effect corresponding to the content that the user is paying attention to but also voice guidance and the like.

（第４の実施の形態）
本発明の第４の実施の形態を図８に示す。第４の実施の形態の視線対応制御装置１０は、第１の実施の形態と基本的な構成は同じであるが、視線から得られたユーザの参照履歴を用いた制御を行う履歴対応制御部３２を備える。(Fourth embodiment)
A fourth embodiment of the present invention is shown in FIG. The line-of-sight control device 10 of the fourth embodiment has the same basic configuration as that of the first embodiment, but a history-corresponding control unit that performs control using a user's reference history obtained from the line of sight. 32.

履歴対応制御部３２は、ユーザの見たパーツの履歴に応じて制御を行う。履歴対応制御部３２は、例えば、ユーザが別のコンテンツに移動しようとしたときに、表示中のコンテンツの中でユーザが見ていない部分を、ユーザが参照したパーツの履歴から求め、その部分を見るようにユーザに促す。  The historycorrespondence control unit 32 performs control according to the history of parts viewed by the user. For example, when the user tries to move to another content, the historycorrespondence control unit 32 obtains a part of the displayed content that the user has not seen from the history of the parts referred to by the user, and determines the part. Prompt the user to see.

次に、第４の実施の形態の視線対応制御装置１０の動作について説明する。第４の実施の形態の視線対応制御装置１０の基本的な動作は、図４に示す第１の実施の形態の視線対応制御装置１０と同じであるが、ユーザがパーツを参照する順序が予定参照順序と一致すると判定された場合に、視線対応制御（Ｓ１８）として、履歴制御部２０にて履歴に対応した制御を行う点が異なる。  Next, the operation of the line-of-sight control device 10 according to the fourth embodiment will be described. The basic operation of the line-of-sight control device 10 according to the fourth embodiment is the same as that of the line-of-sight control device 10 according to the first embodiment shown in FIG. 4, but the order in which the user refers to the parts is scheduled. When it is determined that the reference order is matched, thehistory control unit 20 performs control corresponding to the history as the line-of-sight control (S18).

例えば、ユーザに対してライセンス契約の内容に目を通してもらいたい場合、ユーザの視線と表示されたパーツとの対応を取り、ユーザが参照したパーツを記憶する。ユーザがすべてのパーツに参照したら、同意の確認画面への切替えを行う。また、ユーザがすべての内容を参照していない状態で次の操作ステップに進もうとした場合に、読んでいない部分を強調表示し、音声等により通読を促す。  For example, when the user wants the user to read the contents of the license agreement, the user's line of sight is associated with the displayed part, and the part referred to by the user is stored. When the user refers to all the parts, switching to the confirmation screen for consent is performed. Further, when the user tries to proceed to the next operation step without referring to all the contents, the part that has not been read is highlighted and voice reading or the like is prompted.

第４の実施の形態の視線対応制御装置１０は、ユーザの注目している内容の履歴に応じた履歴対応制御部３２を設けたことにより、ユーザに対して所定の情報の提示を確実に行うことができる。  The line-of-sight control device 10 of the fourth embodiment reliably presents predetermined information to the user by providing the historycorrespondence control unit 32 according to the history of the content that the user is paying attention to. be able to.

以上、本発明の視線対応制御装置について実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。  The line-of-sight control device of the present invention has been described in detail with reference to the embodiment, but the present invention is not limited to the above-described embodiment.

上記した実施の形態において、視線対応制御として画面表示と音声出力等について説明したが、その他の視線対応制御を行うことも可能である。例えば、ユーザの視線に応じて、機器のスイッチのオンまたはオフ、使用ユーザの録画などの記録処理、メールの送信などの通信処理等を行うこともできる。  In the above-described embodiment, screen display and audio output have been described as the line-of-sight control, but other line-of-sight control can also be performed. For example, depending on the user's line of sight, device switching can be turned on or off, recording processing such as recording by the user in use, communication processing such as mail transmission, and the like can be performed.

本発明にかかる視線対応制御装置は、視線によりユーザの注目しているコンテンツに応じた制御を適切なタイミングで行い、ユーザに効果的で効率的な情報提示を行うことができるため、電子書籍やカメラ付携帯電話等の情報表示を行う機器の制御装置として有用である。  The line-of-sight control device according to the present invention can perform control according to the content that the user is paying attention to at the appropriate timing and can effectively and efficiently present information to the user. It is useful as a control device for devices that display information such as camera-equipped mobile phones.

第１の実施の形態の視線対応制御装置１０の構成を示す図The figure which shows the structure of the visual axis corresponding |compatible control apparatus 10 of 1st Embodiment.（ａ）はコンテンツＤＢ１６に記憶されたデータの例を示す図、（ｂ）はコンテンツの表示例を示す図(A) is a figure which shows the example of the data memorize | stored in content DB16, (b) is a figure which shows the example of a display of a contentパーツ表示位置ＤＢ１８に記憶されたデータの例を示す図The figure which shows the example of the data memorize | stored in parts display position DB18第１の実施の形態の視線対応制御装置１０の動作を示す図The figure which shows operation | movement of the gaze corresponding |compatible control apparatus 10 of 1st Embodiment.第２の実施の形態の視線対応制御装置１０の構成を示す図The figure which shows the structure of the visual axis corresponding |compatible control apparatus 10 of 2nd Embodiment.視線先の内容に応じた表示画像生成を説明するため図Diagram for explaining generation of display image according to contents of line of sight第３の実施の形態の視線対応制御装置１０の構成を示す図The figure which shows the structure of the eyes | visual_axis corresponding |compatible control apparatus 10 of 3rd Embodiment.第４の実施の形態の視線対応制御装置１０の構成を示す図The figure which shows the structure of the gaze corresponding |compatible control apparatus 10 of 4th Embodiment.

符号の説明Explanation of symbols

１０ 視線対応制御装置
１２ 表示部
１４ 視線検出部
１６ コンテンツＤＢ
１８ パーツ表示位置ＤＢ
２０ 制御部
２２ ユーザ参照パーツ算出部
２４ 参照順序判定部
２６ 視線対応制御部
２８ 表示画像生成部
３０ 音声制御部
３２ 履歴対応制御部
４０ 表示画像
４２ 表示画像
４４ 矢印

DESCRIPTION OFSYMBOLS 10 Eye-gaze corresponding |compatible control apparatus 12Display part 14 Eye-gaze detection part 16 Content DB
18 Parts display position DB
DESCRIPTION OFSYMBOLS 20 Control part 22 User referencepart calculation part 24 Referenceorder determination part 26 Gaze corresponding |compatible control part 28 Displayimage generation part 30 Audio |voice control part 32 History corresponding |compatible control part 40Display image 42 Display image 44 Arrow

Claims (6)

Translated fromJapanese

あらかじめ定められた参照順序を有する複数のパーツからなるコンテンツを記憶するコンテンツ記憶手段と、
前記コンテンツを表示する表示手段と、
前記表示手段に表示された前記パーツの位置を記憶するパーツ表示位置記憶手段と、
前記表示手段に表示されたコンテンツを見るユーザの視線を検出する視線検出手段と、
前記パーツ表示位置記憶手段から読み出した前記パーツの表示位置と、前記視線検出手段にて検出された視線とに基づいて、ユーザが参照しているパーツをユーザ参照パーツとして求めるユーザ参照パーツ算出手段と、
前記ユーザ参照パーツ算出手段にて算出されたユーザ参照パーツに基づいて、ユーザがパーツを参照した順序とあらかじめ定められた参照順序とが一致しているか否かを判定する参照順序判定手段と、
ユーザがパーツを参照した順序とあらかじめ定められた参照順序とが一致しているとの前記参照順序判定手段による判定結果に応じて、前記視線検出手段にて検出された視線に対応した制御を行う視線対応制御手段と、
を備えたことを特徴とする視線対応制御装置。Content storage means for storing content composed of a plurality of parts having a predetermined reference order;
Display means for displaying the content;
Parts display position storage means for storing the positions of the parts displayed on the display means;
A line-of-sight detection means for detecting a line of sight of a user who views the content displayed on the display means;
A user reference part calculation unit that obtains a user reference part as a user reference part based on the display position of the part read from the part display position storage unit and the line of sight detected by the line of sight detection unit; ,
Based on the user reference parts calculated by the user reference parts calculation means, a reference order determination means for determining whether or not the order in which the user refers to the parts matches a predetermined reference order;
Control corresponding to the line of sight detected by the line-of-sight detection means is performed in accordance with the determination result by the reference order determination means that the order in which the user referred to the parts matches the predetermined reference order. Eye-gaze correspondence control means;
A line-of-sight control device comprising: 前記視線対応制御手段は、前記ユーザ参照パーツ算出手段にて算出されたユーザ参照パーツに基づいて、前記コンテンツのパーツを前記コンテンツ記憶手段から読み出して前記表示手段に表示することを特徴とする請求項１に記載の視線対応制御装置。  The line-of-sight control unit reads out the content part from the content storage unit based on the user reference part calculated by the user reference part calculation unit, and displays the content part on the display unit. The line-of-sight control device according to 1. 前記視線対応制御手段は、前記ユーザ参照パーツ算出手段にて算出されたユーザ参照パーツに対応する音声を出力することを特徴とする請求項１に記載の視線対応制御装置。  The line-of-sight correspondence control apparatus according to claim 1, wherein the line-of-sight correspondence control unit outputs a voice corresponding to the user reference part calculated by the user reference part calculation unit. 前記ユーザ参照パーツ算出手段にて算出されたユーザ参照パーツを記憶する参照履歴記憶手段を備え、
前記視線対応制御手段は、前記参照履歴記憶手段からユーザが参照したパーツの履歴を読み出し、前記履歴に応じた制御を行うことを特徴とする請求項１に記載の視線対応制御装置。Reference history storage means for storing the user reference parts calculated by the user reference parts calculation means,
The line-of-sight correspondence control apparatus according to claim 1, wherein the line-of-sight correspondence control unit reads a history of parts referred to by a user from the reference history storage unit, and performs control according to the history. あらかじめ定められた参照順序を有する複数のパーツからなるコンテンツを記憶したコンテンツ記憶手段からコンテンツを読み出して表示する表示ステップと、
前記表示ステップにおいて表示された前記パーツの位置をパーツ表示位置記憶手段に記憶するパーツ表示位置記憶ステップと、
前記表示ステップにおいて表示されたコンテンツを見るユーザの視線を検出する視線検出ステップと、
前記パーツ表示位置記憶手段から読み出した前記パーツの表示位置と、前記視線検出手段にて検出された視線とに基づいて、ユーザが参照しているパーツをユーザ参照パーツとして求めるユーザ参照パーツ算出ステップと、
前記ユーザ参照パーツ算出ステップにて算出されたユーザ参照パーツに基づいて、ユーザがパーツを参照した順序とあらかじめ定められた参照順序とが一致しているか否かを判定する参照順序判定ステップと、
ユーザがパーツを参照した順序とあらかじめ定められた参照順序とが一致しているとの前記参照順序判定ステップにおける判定結果に応じて、前記視線検出ステップにおいて検出された視線に対応した制御を行う視線対応制御ステップと、
を備えたことを特徴とする視線対応制御方法。A display step of reading and displaying the content from the content storage means storing the content made up of a plurality of parts having a predetermined reference order;
A part display position storage step for storing the position of the part displayed in the display step in a part display position storage means;
A line-of-sight detection step of detecting a line of sight of a user who views the content displayed in the display step;
A user reference part calculation step for obtaining a user reference part as a user reference part based on the display position of the part read from the part display position storage unit and the line of sight detected by the line of sight detection unit; ,
Based on the user reference parts calculated in the user reference parts calculation step, a reference order determination step for determining whether or not the order in which the user refers to the parts matches a predetermined reference order;
A line of sight that performs control corresponding to the line of sight detected in the line of sight detection step in accordance with the determination result in the reference order determination step that the order in which the user referred to the parts matches the predetermined reference order Corresponding control steps;
A line-of-sight control method comprising: ユーザの視線に応じた制御を行うためのプログラムであって、コンピュータに、
あらかじめ定められた参照順序を有する複数のパーツからなるコンテンツを記憶したコンテンツ記憶手段からコンテンツを読み出して表示する表示ステップと、
前記表示ステップにおいて表示された前記パーツの位置をパーツ表示位置記憶手段に記憶するパーツ表示位置記憶ステップと、
前記表示ステップにおいて表示されたコンテンツを見るユーザの視線を検出する視線検出ステップと、
前記パーツ表示位置記憶手段から読み出した前記パーツの表示位置と、前記視線検出手段にて検出された視線とに基づいて、ユーザが参照しているパーツをユーザ参照パーツとして求めるユーザ参照パーツ算出ステップと、
前記ユーザ参照パーツ算出ステップにて算出されたユーザ参照パーツに基づいて、ユーザがパーツを参照した順序とあらかじめ定められた参照順序とが一致しているか否かを判定する参照順序判定ステップと、
ユーザがパーツを参照した順序とあらかじめ定められた参照順序とが一致しているとの前記参照順序判定ステップにおける判定結果に応じて、前記視線検出ステップにおいて検出された視線に対応した制御を行う視線対応制御ステップと、
を実行させることを特徴とするプログラム。

A program for performing control according to the user's line of sight,
A display step of reading and displaying the content from the content storage means storing the content made up of a plurality of parts having a predetermined reference order;
A part display position storage step for storing the position of the part displayed in the display step in a part display position storage means;
A line-of-sight detection step of detecting a line of sight of a user who views the content displayed in the display step;
A user reference part calculation step for obtaining a user reference part as a user reference part based on the display position of the part read from the part display position storage unit and the line of sight detected by the line of sight detection unit; ,
Based on the user reference parts calculated in the user reference parts calculation step, a reference order determination step for determining whether or not the order in which the user refers to the parts matches a predetermined reference order;
A line of sight that performs control corresponding to the line of sight detected in the line of sight detection step in accordance with the determination result in the reference order determination step that the order in which the user referred to the parts matches the predetermined reference order Corresponding control steps;
A program characterized by having executed.

Images