JP5968926B2 - Information processing apparatus and information processing program - Google Patents

Description

Translated fromJapanese

本発明は、情報処理装置及び情報処理プログラムに係り、特にタッチ入力の誤動作を補正する情報処理装置及び情報処理プログラムに関する。  The present invention relates to an information processing apparatus and an information processing program, and more particularly to an information processing apparatus and an information processing program that correct a malfunction of touch input.

従来から、文書や画像を印刷可能な複合機（Multifunctional Peripheral, MFP）等の画像形成装置が存在する。  Conventionally, there are image forming apparatuses such as multifunction peripherals (MFPs) capable of printing documents and images.

このような画像形成装置では、表示部のＧＵＩに対する指示をタッチ入力で行うタッチパネルを備えるものが存在する。しかしながら、このようなタッチパネルにおいては、ユーザーが意図しているのとは異なる箇所へタッチ入力してしまうという誤操作が発生することがある。誤操作が発生した場合、指示を取り消し、再度正しいタッチ入力を行うことが必要となり、ユーザーの負担となる。
誤操作は、ユーザーがタッチ入力を正確に行うことで、ある程度防止することが可能である。しかし、例えば、表示部に表示されたキーの画像をタッチ入力することで文字入力を行うソフトウェアキーボード等では、キーの画像が密集して配置される。このような場合、ユーザーが誤操作をしないように正しく操作することは困難である。Some of such image forming apparatuses include a touch panel that performs an instruction to the GUI of the display unit by touch input. However, in such a touch panel, an erroneous operation may occur in which touch input is performed at a location different from the user's intention. When an erroneous operation occurs, it is necessary to cancel the instruction and perform correct touch input again, which is a burden on the user.
An erroneous operation can be prevented to some extent by the user performing accurate touch input. However, for example, in a software keyboard that inputs characters by touch-inputting the key images displayed on the display unit, the key images are densely arranged. In such a case, it is difficult for the user to operate correctly so as not to make an erroneous operation.

ここで、ソフトウェアキーボードの入力について、特許文献１を参照すると、情報を表示する表示部と、表示部の近傍を撮影する撮影部と、撮影部により撮影された画像情報を解析する画像解析部と、画像解析部の解析結果に基づいて、表示部に表示されている情報を拡大表示する拡大処理部とを備える画像表示装置が開示されている。
特許文献１の技術によれば、表示画面の視認性を向上させつつ、誤操作の発生を抑えることができる。Here, referring toPatent Literature 1 regarding input of a software keyboard, a display unit that displays information, a shooting unit that captures the vicinity of the display unit, an image analysis unit that analyzes image information captured by the shooting unit, and An image display device including an enlargement processing unit that enlarges and displays information displayed on the display unit based on the analysis result of the image analysis unit is disclosed.
According to the technique ofPatent Document 1, it is possible to suppress the occurrence of erroneous operations while improving the visibility of the display screen.

特開２０１０−１６０２７４号公報JP 2010-160274 A

しかしながら、特許文献１の技術は、視線により表示される箇所を拡大することで、表示される情報が少なくなるという問題があった。  However, the technique ofPatent Document 1 has a problem that the information displayed is reduced by enlarging the portion displayed by the line of sight.

本発明は、このような状況に鑑みてなされたものであって、上述の問題点を解消することを課題とする。  This invention is made | formed in view of such a situation, Comprising: Let it be a subject to eliminate the above-mentioned problem.

本発明の情報処理装置は、ユーザーによるタッチ入力の操作点の座標を検出するタッチパネルと、前記ユーザーによる前記タッチパネルのタッチ入力の時点から特定の時間の範囲で、前記ユーザーの視線が向けられた前記タッチパネル上の注視点の座標を算出する視線検出手段と、該視線検出手段により算出された前記タッチパネル上の前記注視点の座標から特定の範囲の視線補正領域を算出する視線補正領域算出手段と、前記操作点の座標が、前記視線補正領域算出手段により算出された前記視線補正領域内にあった場合には前記操作点の座標を前記注視点の座標に変更し、前記視線補正領域内になかった場合には前記操作点の座標を変更しない操作座標視線補正手段と、前記操作座標視線補正手段により変更された又は変更されなかった前記操作点の座標に対応する表示を行う表示部とを備え、前記操作座標視線補正手段は、前記操作座標視線補正手段による前記操作点の座標の変更後に、前記ユーザーが前記表示の修正を行うとき、前記表示の修正に対応するタッチ入力の操作点の座標を変更しないことを特徴とする。
本発明の情報処理装置は、前記操作座標視線補正手段による前記操作点の座標の変更後に、前記ユーザーが前記表示の修正を行った場合に、前記時間の範囲と前記視線補正領域の範囲とを修正する視線補正時間領域修正手段を備えることを特徴とする。
本発明の情報処理プログラムは、情報処理装置により実行される情報処理プログラムにおいて、ユーザーによるタッチ入力の操作点の座標を検出し、前記ユーザーによるタッチ入力の時点から特定の時間の範囲で、前記ユーザーの視線が向けられたタッチパネル上の注視点の座標を算出し、算出された前記タッチパネル上の前記注視点の座標から特定の範囲の視線補正領域を算出し、前記操作点の座標が、算出された前記視線補正領域内にあった場合には前記操作点の座標を前記注視点の座標に変更し、前記視線補正領域内になかった場合には前記操作点の座標を変更せず、前記操作点の座標の変更後に、前記ユーザーが表示の修正を行うとき、前記表示の修正に対応するタッチ入力の操作点の座標を変更せず、変更された又は変更されなかった前記操作点の座標に対応する表示を行うことを特徴とする。
本発明の情報処理プログラムは、前記操作点の座標の変更後に、前記ユーザーが前記表示の修正を行った場合に、前記時間の範囲と前記視線補正領域の範囲とを修正することを特徴とする。The information processing apparatus according to the present invention includes a touch panel that detects coordinates of an operation point of a touch input by a user, and the user's line of sight is directed within a specific time range from the time of the touch input of the touch panel by the user. Gaze detection means for calculating the coordinates of the gaze point on the touch panel, and gaze correction area calculation means for calculating a gaze correction area in a specific range from the coordinates of the gaze point on the touch panel calculated by the gaze detection means, If the coordinates of the operation point are within the line-of-sight correction area calculated by the line-of-sight correction area calculation means, the coordinates of the operation point are changed to the coordinates of the gazing point, and are not within the line-of-sight correction area. wherein the operation coordinate sight correcting means does not change the coordinates of the operatingpoint, has not been altered or changed by the operation coordinate sight correcting means when theA display unit that performs display corresponding to the coordinates of the operation point, and the operation coordinate line-of-sight correction unit corrects the display after the operation coordinate line-of-sight correction unit changes the coordinates of the operation point. In this case, the coordinates of the operation point of the touch input corresponding to the correction of the display are not changed .
In the information processing apparatus according to the present invention, when the user corrects the display after changing the coordinates of the operation point by the operation coordinate line-of-sight correction means, the time range and the range of the line-of-sight correction region are obtained. It comprises eye gaze correction time area correction means for correction.
An information processing program of the present invention is an information processing program executed by an information processing apparatus, which detects coordinates of an operation point of a touch input by a user, and the user within a specific time range from the time of the touch input by the user. line of sight and calculates the coordinates of the gaze point on themotor touch paneldirected is, line of sight correction region of the specified range from the coordinates of the gaze point on the calculated the touch panel is calculated, the coordinates of the operation point, calculates The coordinates of the operation point are changed to the coordinates of the gazing point if the coordinates are within the line-of-sight correction area, and the coordinates of the operation points arenot changed when the coordinates are not within the line-of-sight correction area.When the user corrects the display after changing the coordinates of the operating point, the coordinates of the operating point of the touch input corresponding to the correction of the display are not changed, but are changed or not changed. It was andperforming display corresponding to the coordinates of the operation point.
The information processing program according to the present invention corrects the range of time and the range of the line-of-sight correction area when the user corrects the display after changing the coordinates of the operation point. .

本発明によれば、タッチ入力の操作点が視線補正領域内にあった場合は、操作点の座標をユーザーの注視点の座標に変更し、なかった場合には操作点の座標を変更しないことにより、拡大表示を行わなくて誤操作を防止でき、表示できる情報を減少させない情報処理装置を提供することができる。  According to the present invention, when the operation point of the touch input is within the line-of-sight correction region, the coordinate of the operation point is changed to the coordinate of the user's point of interest, and when there is not, the coordinate of the operation point is not changed. Accordingly, it is possible to provide an information processing apparatus that can prevent an erroneous operation without performing enlarged display and does not reduce the information that can be displayed.

本発明の実施の形態に係る画像形成装置の全体構成を示すブロック図である。1 is a block diagram illustrating an overall configuration of an image forming apparatus according to an embodiment of the present invention.図１に示す操作パネル部及び視線検出部の概略図である。FIG. 2 is a schematic diagram of an operation panel unit and a line-of-sight detection unit illustrated in FIG. 1.図１に示す画像形成装置の制御構成を示すブロック図である。FIG. 2 is a block diagram illustrating a control configuration of the image forming apparatus illustrated in FIG. 1.本発明の実施の形態に係る操作座標視線補正処理のフローチャートである。It is a flowchart of the operation coordinate gaze correction process which concerns on embodiment of this invention.図４に示す操作座標視線補正処理の概念図である。It is a conceptual diagram of the operation coordinate gaze correction process shown in FIG.

＜実施の形態＞
〔画像形成装置１の全体構成〕
まず、図１及び図２を参照して、画像形成装置１（情報処理装置）の全体の構成について説明する。<Embodiment>
[Overall Configuration of Image Forming Apparatus 1]
First, the overall configuration of the image forming apparatus 1 (information processing apparatus) will be described with reference to FIGS. 1 and 2.

画像形成装置１は、画像処理部１１、原稿読取部１２、原稿給送部１３、搬送部１４、ネットワーク送受信部１５、操作パネル部１６、画像形成部１７（画像形成手段）、タイマー部１８、記憶部１９、及び視線検出部２０（視線検出手段）が、制御部１０に接続されている。各部は、制御部１０によって動作制御される。  Theimage forming apparatus 1 includes animage processing unit 11, adocument reading unit 12, adocument feeding unit 13, atransport unit 14, a network transmission /reception unit 15, anoperation panel unit 16, an image forming unit 17 (image forming unit), atimer unit 18,A storage unit 19 and a line-of-sight detection unit 20 (line-of-sight detection means) are connected to thecontrol unit 10. The operation of each unit is controlled by thecontrol unit 10.

制御部１０は、ＧＰＰ（General Purpose Processor）、ＣＰＵ（Central Processing Unit、中央処理装置）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Processor、特定用途向けプロセッサー）等の情報処理手段である。
制御部１０は、記憶部１９のＲＯＭやＨＤＤに記憶されている制御プログラムを読み出して、この制御プログラムをＲＡＭに展開させて実行することで、後述する機能ブロックの各手段として動作させられる。また、制御部１０は、図示しない外部の端末や操作パネル部１６から入力された指示情報に応じて、装置全体を制御する。Thecontrol unit 10 includes a general purpose processor (GPP), a central processing unit (CPU), a micro processing unit (MPU), a digital signal processor (DSP), a graphics processing unit (GPU), and an application specific processor (ASIC). Information processing means such as a processor for a specific application)
Thecontrol unit 10 reads out a control program stored in the ROM or HDD of thestorage unit 19, develops the control program in the RAM, and executes it to operate as each unit of a functional block described later. Thecontrol unit 10 controls the entire apparatus according to instruction information input from an external terminal (not shown) or theoperation panel unit 16.

画像処理部１１は、ＤＳＰ（Digital Signal Processor）やＧＰＵ（Graphics Processing Unit）等の制御演算手段である。画像処理部１１は、画像データに対して画像処理を行う手段であり、例えば、拡大縮小、濃度調整、階調調整、画像改善等の各種画像処理を行う。
画像処理部１１は、原稿読取部１２で読み取られた画像を、記憶部１９に印刷データとして記憶する。この際、画像処理部１１は、印刷データをＰＤＦやＴＩＦＦ等のフォーマットのファイル単位に変換することも可能である。Theimage processing unit 11 is control arithmetic means such as a DSP (Digital Signal Processor) or a GPU (Graphics Processing Unit). Theimage processing unit 11 is a unit that performs image processing on image data, and performs various types of image processing such as enlargement / reduction, density adjustment, gradation adjustment, and image improvement.
Theimage processing unit 11 stores the image read by thedocument reading unit 12 in thestorage unit 19 as print data. At this time, theimage processing unit 11 can also convert the print data into a file unit in a format such as PDF or TIFF.

原稿読取部１２は、セットされた原稿を読み取る（スキャン）手段である。
原稿給送部１３は、原稿読取部１２で読み取られる原稿を搬送する手段である。
搬送部１４は、給紙カセットから記録紙を搬送し、画像形成部１７で画像形成させ、その後にスタックトレイへ搬送する。Thedocument reading unit 12 is a (scan) unit that reads a set document.
Thedocument feeding unit 13 is a unit that transports a document read by thedocument reading unit 12.
Thetransport unit 14 transports the recording paper from the paper feed cassette, causes theimage forming unit 17 to form an image, and then transports the recording paper to the stack tray.

ネットワーク送受信部１５は、ＬＡＮ、無線ＬＡＮ、ＷＡＮ、携帯電話網等の外部ネットワークに接続するためのＬＡＮボードや無線送受信機等を含むネットワーク接続手段である。
ネットワーク送受信部１５は、データ通信用の回線ではデータを送受信し、音声電話回線では音声信号を送受信する。The network transmission /reception unit 15 is a network connection unit including a LAN board, a wireless transceiver, and the like for connecting to an external network such as a LAN, a wireless LAN, a WAN, and a mobile phone network.
The network transmission /reception unit 15 transmits / receives data on a data communication line and transmits / receives voice signals on a voice telephone line.

操作パネル部１６は、タッチパネル６０（入力手段）、ボタン部６１（入力手段）、及び表示部６２（表示手段）とを備えている。  Theoperation panel unit 16 includes a touch panel 60 (input unit), a button unit 61 (input unit), and a display unit 62 (display unit).

タッチパネル６０は、ユーザーが指の押下による操作（以下、「タッチ入力」という。）をした座標等の指示を取得するための静電容量方式、抵抗膜方式、超音波検出方式等のタッチ入力手段である。また、タッチパネル６０は、表示部６２と一体的に構成されていてもよい。
タッチパネル６０は、ＧＵＩ（Graphical User Interface）等によりユーザーの各種指示を取得する。具体的には、タッチパネル６０は、ユーザーがタッチ入力した座標を、操作点２００（図３）として検出する。タッチパネル６０は、この際、操作点２００を、表示部６２上の座標と対応する座標として検出してもよい。
なお、タッチパネル６０がマルチタッチ対応の場合は、複数の座標を検出してもよい。また、タッチパネル６０は、専用のペン等のペン先で入力された座標を検出してもよい。また、タッチパネル６０は、ユーザーが押下した押圧を検出してもよい。また、タッチパネル６０は、静電容量式や超音波式等の場合、ユーザーの指が非接触でも、表示部６２上の座標を操作点２００として検出してもよい。この場合、表示部６２からの距離を検出してもよい。Thetouch panel 60 is a touch input means such as a capacitance method, a resistance film method, and an ultrasonic detection method for acquiring an instruction such as coordinates when a user performs an operation by pressing a finger (hereinafter referred to as “touch input”). It is. Thetouch panel 60 may be configured integrally with thedisplay unit 62.
Thetouch panel 60 acquires various instructions from the user through a GUI (Graphical User Interface) or the like. Specifically, thetouch panel 60 detects the coordinates touched by the user as the operation point 200 (FIG. 3). At this time, thetouch panel 60 may detect theoperation point 200 as coordinates corresponding to the coordinates on thedisplay unit 62.
Note that when thetouch panel 60 is multi-touch capable, a plurality of coordinates may be detected. Thetouch panel 60 may detect coordinates input with a pen tip such as a dedicated pen. Thetouch panel 60 may detect a press pressed by the user. In the case of a capacitance type, an ultrasonic type, or the like, thetouch panel 60 may detect the coordinates on thedisplay unit 62 as theoperation point 200 even when the user's finger is not in contact. In this case, the distance from thedisplay unit 62 may be detected.

ボタン部６１は、機械式のスイッチや静電容量式のスイッチ等を含む入力手段である。ボタン部６１は、スタートキー、テンキー、コピーやスキャナーやファクシミリ送受信等の動作モードの切り換え、選択された文書の印刷／送信／受信等に係る指示を取得するためのボタン等を含んでいる。  Thebutton unit 61 is input means including a mechanical switch, a capacitive switch, and the like. Thebutton unit 61 includes a start key, a numeric keypad, a button for acquiring an instruction related to operation mode switching such as copying, scanning, facsimile transmission / reception, and printing / transmission / reception of a selected document.

表示部６２は、ＬＣＤ（Liquid Crystal Display）、ＯＥＬ（Organic Electro-Luminescence）、ＦＥＤ（Field Emission Display）等の平面ディスプレイパネル、プロジェクタ、ステータス表示用ＬＥＤ等の表示手段である。表示部６２は、各種操作画面を表示する。
表示部６２は、ＧＵＩの各種画像を表示させることが可能である。また、表示部６２には、タッチパネル６０上でユーザーに文字等の入力をさせるためのソフトウェアキーボード（Software keyboard）を表示させることも可能である。表示部６２は、この際に、操作座標視線補正部１１０（図３）により変更された又は変更されなかった操作点２００の座標に対応する表示を行うことも可能である。なお、表示部６２は、記憶部１９に記憶された、プレビュー（preview）の画像等も表示可能である。Thedisplay unit 62 is a display unit such as a flat display panel such as an LCD (Liquid Crystal Display), an OEL (Organic Electro-Luminescence), and an FED (Field Emission Display), a projector, and a status display LED. Thedisplay unit 62 displays various operation screens.
Thedisplay unit 62 can display various GUI images. Thedisplay unit 62 can also display a software keyboard for allowing the user to input characters and the like on thetouch panel 60. At this time, thedisplay unit 62 can perform display corresponding to the coordinates of theoperation point 200 changed or not changed by the operation coordinate line-of-sight correction unit 110 (FIG. 3). Thedisplay unit 62 can also display a preview image or the like stored in thestorage unit 19.

タイマー部１８は、ＣＰＵ内蔵クロック、リアルタイムクロック、ＧＰＳ（Global Positioning System）受信機、ＮＴＰクライアント等の時刻取得手段である。タイマー部１８は、誤差の少ない実時間の時刻情報を取得することが可能である。
また、タイマー部１８は、設定された時間の経過後、割り込み等を発生させるタイマーを設定可能である。Thetimer unit 18 is time acquisition means such as a CPU built-in clock, a real time clock, a GPS (Global Positioning System) receiver, an NTP client, and the like. Thetimer unit 18 can acquire real-time time information with little error.
Thetimer unit 18 can set a timer that generates an interrupt or the like after the set time has elapsed.

画像形成部１７は、ユーザーの出力指示により、記憶部１９に記憶され、原稿読取部１２で読み取られ、又は外部の端末から取得されたデータから記録紙への画像形成を行わせる。  Theimage forming unit 17 causes an image to be formed on recording paper from data stored in thestorage unit 19 and read by thedocument reading unit 12 or acquired from an external terminal according to a user output instruction.

記憶部１９は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の半導体メモリーやＨＤＤ（Hard Disk Drive）等の記録媒体を用いた記憶手段である。
記憶部１９のＲＯＭやＨＤＤには画像形成装置１の動作制御を行うための制御プログラムが記憶されている。これに加えて、記憶部１９は、ユーザーのアカウント設定も記憶している。また、記憶部１９には、ユーザー毎の文書ボックス等の領域が含まれていてもよい。Thestorage unit 19 is a storage unit that uses a semiconductor memory such as a ROM (Read Only Memory) or a RAM (Random Access Memory) or a recording medium such as an HDD (Hard Disk Drive).
A control program for controlling the operation of theimage forming apparatus 1 is stored in the ROM and HDD of thestorage unit 19. In addition to this, thestorage unit 19 also stores user account settings. Further, thestorage unit 19 may include an area such as a document box for each user.

視線検出部２０は、例えば、複数のカメラとＤＳＰ等とを備えた視線検出手段である。図２に、画像形成装置１の操作パネル部１６と視線検出部２０の外観の例を示す。
視線検出部２０は、例えば、撮像した画像データから、ユーザーの顔と目とを検出し、更に視線を三次元のベクトル形式等で算出する。視線検出部２０は、ユーザーの視線とタッチパネル６０との交点の座標（以下、「注視座標」という。）を算出し、注視点２２０（図３）に設定する。視線検出部２０は、この際、ユーザーによるタッチパネル６０のタッチ入力の時点の前後の時間範囲２１０において、注視座標の平均値や、最も注視した時間が長かった座標を、注視点２２０の座標として算出する。また、視線検出部２０は、各注視座標を注視した時間、注視座標の移動のベクトル、注視座標の分散等から、注視点２２０の算出の確からしさの注視確率等の値を算出してもよい。
なお、時間範囲２１０は、対象のタッチ入力の前後のタッチ入力の間の時間よりも短い値に設定される。タッチ入力の間隔には個人差があるので、ユーザーが操作パネル部１６を使用したときのタッチ入力の間隔の平均値を測定しておき、この実測値に基づいてユーザー毎の時間範囲２１０を定めてもよい。たとえば、時間範囲２１０は、タッチ入力の間隔の平均値としてもよいし、この平均値を一定数で割った値としてもよい。
また、視線検出部２０は、操作パネル部１６に設置することができる。図２に示す例では、視線検出部２０が操作パネル部１６の端部に設置されているが、操作パネル部１６の面上に設置されていてもよく、操作パネル部１６に内蔵されていてもよい。また、視線検出部２０は、操作パネル部１６から離れた位置に設置されていてもよい。また、視線検出部２０は、ユーザーを照らす照明部等も備えていてもよい。The line-of-sight detection unit 20 is line-of-sight detection means including, for example, a plurality of cameras and a DSP. FIG. 2 shows an example of the appearance of theoperation panel unit 16 and the line-of-sight detection unit 20 of theimage forming apparatus 1.
For example, the line-of-sight detection unit 20 detects the user's face and eyes from the captured image data, and further calculates the line of sight in a three-dimensional vector format or the like. The line-of-sight detection unit 20 calculates the coordinates of the intersection between the user's line of sight and the touch panel 60 (hereinafter referred to as “gaze coordinates”), and sets the point of sight 220 (FIG. 3). At this time, the line-of-sight detection unit 20 calculates the average value of the gaze coordinates and the coordinate with the longest gaze time as the coordinates of thegaze point 220 in thetime range 210 before and after the touch input of thetouch panel 60 by the user. To do. The line-of-sight detection unit 20 may calculate a value such as a gaze probability of the probability of calculating thegaze point 220 from the time when each gaze coordinate is gazeed, the gaze coordinate movement vector, the gaze coordinate variance, and the like. .
Thetime range 210 is set to a value shorter than the time between touch inputs before and after the target touch input. Since there are individual differences in the touch input interval, the average value of the touch input interval when the user uses theoperation panel unit 16 is measured, and thetime range 210 for each user is determined based on the actual measurement value. May be. For example, thetime range 210 may be an average value of the touch input intervals, or may be a value obtained by dividing the average value by a certain number.
Further, the line-of-sight detection unit 20 can be installed on theoperation panel unit 16. In the example shown in FIG. 2, the line-of-sight detection unit 20 is installed at the end of theoperation panel unit 16, but it may be installed on the surface of theoperation panel unit 16 or built in theoperation panel unit 16. Also good. Further, the line-of-sight detection unit 20 may be installed at a position away from theoperation panel unit 16. The line-of-sight detection unit 20 may also include an illumination unit that illuminates the user.

なお、画像形成装置１において、制御部１０及び画像処理部１１は、ＧＰＵ内蔵ＣＰＵ等やチップ・オン・モジュールパッケージのように、一体的に形成されていてもよい。
また、制御部１０及び画像処理部１１は、ＲＡＭやＲＯＭやフラッシュメモリー等を内蔵していてもよい。
また、画像形成装置１は、ファクシミリの送受信を行うＦＡＸ送受信部を備えていてもよい。In theimage forming apparatus 1, thecontrol unit 10 and theimage processing unit 11 may be integrally formed, such as a CPU with a built-in GPU or a chip-on-module package.
Thecontrol unit 10 and theimage processing unit 11 may include a RAM, a ROM, a flash memory, and the like.
Further, theimage forming apparatus 1 may include a FAX transmission / reception unit that performs facsimile transmission / reception.

〔画像形成装置１の制御構成〕
次に、図３により、画像形成装置１の制御構成について説明する。
画像形成装置１の制御部１０は、視線補正領域算出部１００（視線補正領域算出手段）、操作座標視線補正部１１０（操作座標視線補正手段）、及び視線補正時間領域修正部１２０（視線補正時間領域修正手段）を備えている。
記憶部１９は、操作点２００、時間範囲２１０、注視点２２０、視線補正領域２３０、視線補正範囲２４０を記憶している。[Control Configuration of Image Forming Apparatus 1]
Next, the control configuration of theimage forming apparatus 1 will be described with reference to FIG.
Thecontrol unit 10 of theimage forming apparatus 1 includes a line-of-sight correction area calculation unit 100 (line-of-sight correction area calculation unit), an operation coordinate line-of-sight correction unit 110 (operation coordinate line-of-sight correction unit), and a line-of-sight correction time region correction unit 120 (line-of-sight correction time). Area correction means).
Thestorage unit 19 stores anoperation point 200, atime range 210, agazing point 220, a line-of-sight correction region 230, and a line-of-sight correction range 240.

視線補正領域算出部１００は、視線検出部２０により算出されたタッチパネル６０上の注視点２２０の座標と視線補正範囲２４０とから視線補正領域２３０の座標を算出し、記憶部１９に記憶する。視線補正領域算出部１００は、例えば、注視点２２０を中心の座標として、視線補正範囲２４０内の座標を視線補正領域２３０として算出する。  The line-of-sight correctionarea calculation unit 100 calculates the coordinates of the line-of-sight correction area 230 from the coordinates of thegazing point 220 on thetouch panel 60 and the line-of-sight correction range 240 calculated by the line-of-sight detection unit 20 and stores them in thestorage unit 19. The line-of-sight correctionarea calculation unit 100 calculates, for example, the coordinates within the line-of-sight correction range 240 as the line-of-sight correction area 230 with thegazing point 220 as the center coordinate.

操作座標視線補正部１１０は、操作点２００の座標を、視線補正領域算出部１００により算出された視線補正領域２３０に対応して変更する。操作座標視線補正部１１０は、操作点２００が視線補正領域２３０内にあった場合には、操作点２００の座標を注視点２２０の座標に変更する。また、操作座標視線補正部１１０は、操作点２００が視線補正領域２３０内になかった場合には、操作点２００の座標を変更しない。
また、操作座標視線補正部１１０は、これら座標補正後に、ＧＵＩの各処理を呼び出す。
また、操作座標視線補正部１１０は、操作座標視線補正部１１０による操作点２００の座標の変更後に、ユーザーが操作点２００の座標に対応するタッチ入力の表示の修正を行うとき、表示の修正に対応するタッチ入力の操作点２００の座標を変更しないような処理を行ってもよい。The operation coordinate line-of-sight correction unit 110 changes the coordinates of theoperation point 200 corresponding to the line-of-sight correction region 230 calculated by the line-of-sight correctionregion calculation unit 100. The operation coordinate line-of-sight correction unit 110 changes the coordinate of theoperation point 200 to the coordinate of thegazing point 220 when theoperation point 200 is within the line-of-sight correction region 230. Further, the operation coordinate line-of-sight correction unit 110 does not change the coordinates of theoperation point 200 when theoperation point 200 is not in the line-of-sight correction region 230.
Further, the operation coordinate line-of-sight correction unit 110 calls each process of the GUI after the coordinate correction.
The operation coordinate line-of-sight correction unit 110 corrects the display when the user corrects the display of the touch input corresponding to the coordinates of theoperation point 200 after the operation coordinate line-of-sight correction unit 110 changes the coordinates of theoperation point 200. You may perform the process which does not change the coordinate of theoperation point 200 of a corresponding touch input.

視線補正時間領域修正部１２０は、時間範囲２１０と視線補正領域２３０の設定された範囲とを修正する。視線補正時間領域修正部１２０は、操作座標視線補正部１１０による操作点２００の座標の変更後に、ユーザーがＧＵＩの入力された指示を修正した場合に、これを検出して修正を行う。視線補正時間領域修正部１２０は、この際、時間範囲２１０を設定値から変更し、又は、視線補正領域２３０の広さ若しくは形状を変更する。  The line-of-sight correction timeregion correction unit 120 corrects thetime range 210 and the range in which the line-of-sight correction region 230 is set. The line-of-sight correction timeregion correction unit 120 detects and corrects when the user corrects the input instruction of the GUI after the change of the coordinates of theoperation point 200 by the operation coordinate line-of-sight correction unit 110. At this time, the line-of-sight correction timeregion correction unit 120 changes thetime range 210 from the set value, or changes the width or shape of the line-of-sight correction region 230.

操作点２００は、タッチパネル６０により検出された、ユーザーによるタッチ入力の操作点の座標のデータである。操作点２００には、表示部６２の画面上の表示座標が設定されていてもよい。また、操作点２００は、押圧やマルチタッチのタッチ順、移動の向きや加速度等のデータを含んでいてもよい。  Theoperation point 200 is data of the coordinates of the operation point of the touch input by the user detected by thetouch panel 60. Display coordinates on the screen of thedisplay unit 62 may be set at theoperation point 200. In addition, theoperation point 200 may include data such as a pressing order, a multi-touch touch order, a moving direction, and an acceleration.

時間範囲２１０は、視線検出部２０により注視点２２０の座標を算出する時間（期間）の範囲を指定するデータである。時間範囲２１０は、ソフトウェアキーボードの場合、タッチパネル６０のタッチ入力の時点の前後で、数μ秒〜数秒程度の算出開始時点と算出終了時点との間の範囲を設定可能である。  Thetime range 210 is data that specifies a time (period) range in which thegaze detection unit 20 calculates the coordinates of thegazing point 220. In the case of a software keyboard, thetime range 210 can set a range between a calculation start time and a calculation end time of about several microseconds to several seconds before and after the touch input time of thetouch panel 60.

注視点２２０は、視線検出部２０により算出されたユーザーの視線が向けられたタッチパネル６０上の注視点の座標のデータである。注視点２２０には、表示部６２の画面上の表示座標等、操作点２００と比較可能な座標が設定される。また、注視点２２０は、各注視座標を注視した時間、注視座標の移動のベクトル、注視座標の分散の値、注視確率等の値等も含まれていてもよい。  Thegaze point 220 is coordinate point data on thetouch panel 60 to which the user's gaze calculated by thegaze detection unit 20 is directed. In thegazing point 220, coordinates that can be compared with theoperation point 200 such as display coordinates on the screen of thedisplay unit 62 are set. Thegaze point 220 may also include a time when each gaze coordinate is gazeed, a gaze coordinate movement vector, a gaze coordinate variance value, a gaze probability value, and the like.

視線補正領域２３０は、操作座標視線補正部１１０により操作点２００の座標が変更される領域の座標のデータである。視線補正領域２３０は、注視点２２０の座標と、視線補正範囲２４０とにより、視線補正領域算出部１００により算出される。  The line-of-sight correction area 230 is coordinate data of an area in which the coordinates of theoperation point 200 are changed by the operation coordinate line-of-sight correction unit 110. The line-of-sight correction area 230 is calculated by the line-of-sight correctionarea calculation unit 100 based on the coordinates of thegazing point 220 and the line-of-sight correction range 240.

視線補正範囲２４０は、視線補正領域算出部１００により視線補正領域２３０を算出するための特定の範囲の座標群や数式等のデータである。視線補正範囲２４０の座標群等の初期値としては、例えば、注視点２２０からソフトウェアキーボードの隣接する数個のキーの領域が含まれるような距離の範囲の値であってもよい。また、この範囲の大きさや広さは、視線補正時間領域修正部１２０により修正されてもよい。
なお、視線補正範囲２４０は、注視点２２０を中心とする円形、楕円形、又は任意の範囲の形状を特定するためのデータであってもよい。また、この範囲の形状が楕円形の場合、ソフトウェアキーボードのキーを縦横に含ませる数に応じた長軸と短軸の範囲を設定してもよい。また、この範囲の形状として、ソフトウェアキーボードのキーを複数個含むような領域の形状そのものを指定してもよい。The line-of-sight correction range 240 is data such as a coordinate group or a mathematical expression of a specific range for the line-of-sight correctionarea calculation unit 100 to calculate the line-of-sight correction area 230. The initial value of the coordinate group or the like of the line-of-sight correction range 240 may be, for example, a distance range value that includes several key areas adjacent to the software keyboard from thegazing point 220. Further, the size and width of this range may be corrected by the line-of-sight correction timeregion correction unit 120.
Note that the line-of-sight correction range 240 may be data for specifying a circle, an ellipse, or an arbitrary range of shapes with thegazing point 220 as the center. When the shape of this range is an ellipse, the range of the major axis and the minor axis may be set according to the number of keys of the software keyboard included vertically and horizontally. Further, as the shape of this range, the shape of the region itself including a plurality of keys of the software keyboard may be designated.

ここで、画像形成装置１の制御部１０は、記憶部１９に記憶された制御プログラムを実行することで、視線補正領域算出部１００、操作座標視線補正部１１０、及び視線補正時間領域修正部１２０として機能させられる。
また、上述の画像形成装置１の各部は、本発明の画像形成方法を実行するハードウェア資源となる。Here, thecontrol unit 10 of theimage forming apparatus 1 executes the control program stored in thestorage unit 19, so that the line-of-sight correctionregion calculation unit 100, the operation coordinate line-of-sight correction unit 110, and the line-of-sight correction timeregion correction unit 120. Is made to function as.
Each unit of theimage forming apparatus 1 is a hardware resource for executing the image forming method of the present invention.

〔画像形成装置１による操作座標視線補正処理〕
次に、図４〜図５を参照して、本発明の実施の形態に係る画像形成装置１による操作座標視線補正処理の説明を行う。
本実施形態の操作座標視線補正処理では、視線の先にある注視点２２０を中心とした視線補正範囲２４０を、視線補正領域２３０として算出する。その後、タッチ入力が行われた操作点２００が視線補正領域２３０の内部であった場合、注視点２２０がタッチされたものとして操作点２００の座標を変更する（以下、このように視線により操作点２００の座標を特定の条件で補正することを「視線補正する」と呼ぶ。）。操作点２００が視線補正領域２３０の外部であった場合、操作点２００の座標を変更せず、そのまま操作箇所がタッチされたものと判断する。
本実施形態の操作座標視線補正処理は、主に制御部１０が、記憶部１９に記憶されたプログラムを、各部と協働し、ハードウェア資源を用いて実行する。
以下で、図４のフローチャートを参照して、操作座標視線補正処理の詳細をステップ毎に説明する。[Operation Coordinate Gaze Correction Processing by Image Forming Apparatus 1]
Next, the operation coordinate line-of-sight correction processing by theimage forming apparatus 1 according to the embodiment of the present invention will be described with reference to FIGS.
In the operation coordinate line-of-sight correction process of the present embodiment, a line-of-sight correction range 240 centered on the point ofgaze 220 ahead of the line of sight is calculated as the line-of-sight correction region 230. Thereafter, when theoperation point 200 on which the touch input has been performed is inside the line-of-sight correction region 230, the coordinates of theoperation point 200 are changed assuming that thegazing point 220 is touched (hereinafter, the operation point is determined by the line of sight). Correcting the 200 coordinates under a specific condition is referred to as “line-of-sight correction”). If theoperation point 200 is outside the line-of-sight correction region 230, it is determined that the operation point has been touched without changing the coordinates of theoperation point 200.
In the operation coordinate line-of-sight correction processing of the present embodiment, thecontrol unit 10 mainly executes a program stored in thestorage unit 19 using hardware resources in cooperation with each unit.
Hereinafter, details of the operation coordinate line-of-sight correction processing will be described step by step with reference to the flowchart of FIG.

（ステップＳ１０１）
まず、制御部１０が、視線補正領域算出部１００として、視線検出開始処理を行う。
制御部１０は、ＧＵＩによりソフトウェアキーボード等、タッチパネル６０によりユーザーの指示を取得する画面が表示された場合、視線検出部２０による視線検出を開始させる。これにより、視線検出部２０は、視線検出を開始し、注視点２２０の算出を開始する。(Step S101)
First, thecontrol unit 10 performs a gaze detection start process as the gaze correctionregion calculation unit 100.
When the screen for acquiring a user instruction is displayed on thetouch panel 60 such as a software keyboard using the GUI, thecontrol unit 10 starts the gaze detection by thegaze detection unit 20. Thereby, thegaze detection unit 20 starts gaze detection and starts calculating thegaze point 220.

（ステップＳ１０２）
次に、タッチパネル６０が、操作点検出処理を行う。
タッチパネル６０は、ユーザーによる指の押下によるタッチ入力を検出すると、タッチ入力された操作点２００に座標を設定して記憶部１９に記憶する。また、タッチパネル６０は、このタッチ入力の時点を視線検出部２０に通知する。(Step S102)
Next, thetouch panel 60 performs an operation point detection process.
When thetouch panel 60 detects a touch input by pressing a finger by the user, thetouch panel 60 sets coordinates to theoperation point 200 input by touch and stores the coordinates in thestorage unit 19. Further, thetouch panel 60 notifies the line-of-sight detection unit 20 of the touch input time.

（ステップＳ１０３）
次に、視線検出部２０が、注視点算出処理を行う。
視線検出部２０は、タッチ入力の時点の前後の時間範囲２１０において、ユーザーの視線が向けられたタッチパネル６０上の注視座標のデータを算出する。視線検出部２０は、算出した注視座標のデータから、注視点２２０の座標を算出し、記憶部１９に記憶する。視線検出部２０は、注視点２２０の座標を算出したことを、制御部１０に通知する。(Step S103)
Next, thegaze detection unit 20 performs a gaze point calculation process.
The line-of-sight detection unit 20 calculates gaze coordinate data on thetouch panel 60 to which the user's line of sight is directed in atime range 210 before and after the touch input time. The line-of-sight detection unit 20 calculates the coordinates of thegaze point 220 from the calculated gaze coordinate data and stores the coordinates in thestorage unit 19. The line-of-sight detection unit 20 notifies thecontrol unit 10 that the coordinates of thegazing point 220 have been calculated.

（ステップＳ１０４）
次に、制御部１０が、視線補正領域算出部１００として、視線補正領域算出処理を行う。
制御部１０は、視線検出部２０からの通知により、注視点２２０を中心とした視線補正範囲２４０の座標群等を、視線補正領域２３０として算出する。
図５（ａ）の画面例５００、及び図５（ｂ）の画面例５０１には、注視点２２０を中心としてソフトウェアキーボードのキーの画像を１個〜３個程度含むような距離の円形に算出された視線補正領域２３０として算出される例が示されている。図５（ａ）（ｂ）においては、文字の入力欄である表示欄６００と、この表示欄６００に文字を入力するためのソフトウェアキーボード６１０とが描画されている。また、ボタン７００は、入力を完了したことを示すボタンである。(Step S104)
Next, thecontrol unit 10 performs a gaze correction area calculation process as the gaze correctionarea calculation unit 100.
Thecontrol unit 10 calculates, as the line-of-sight correction region 230, the coordinate group of the line-of-sight correction range 240 centered on thegazing point 220 based on the notification from the line-of-sight detection unit 20.
In the screen example 500 in FIG. 5A and the screen example 501 in FIG. 5B, the distance is calculated so as to include one to three key images of the software keyboard with thegazing point 220 as the center. An example is shown in which the calculated line-of-sight correction region 230 is calculated. 5A and 5B, adisplay field 600 that is a character input field and asoftware keyboard 610 for inputting characters in thedisplay field 600 are drawn. Abutton 700 is a button indicating that input has been completed.

（ステップＳ１０５）
次に、制御部１０が、操作座標視線補正部１１０として、操作点２００が視線補正領域２３０内か否かを判断する。制御部１０は、図５（ａ）の画面例５００のように、操作点２００が視線補正領域２３０の内側であった場合には、Ｙｅｓと判断する。制御部１０は、逆に、図５（ｂ）の画面例５０１のように、操作点２００が視線補正領域２３０の外側であった場合には、Ｎｏと判定する。なお、制御部１０は、操作点２００が補正領域の内部であっても、注視確率等の値が閾値以下であった場合には、Ｎｏと判定してもよい。
Ｙｅｓの場合、制御部１０は、処理をステップＳ１０６に進める。
Ｎｏの場合、制御部１０は、処理をステップＳ１０７に進める。(Step S105)
Next, thecontrol unit 10 determines whether theoperation point 200 is within the line-of-sight correction region 230 as the operation coordinate line-of-sight correction unit 110. Thecontrol unit 10 determines Yes when theoperation point 200 is inside the line-of-sight correction region 230 as in the screen example 500 of FIG. Conversely, thecontrol unit 10 determines No when theoperation point 200 is outside the line-of-sight correction region 230 as in the screen example 501 of FIG. Note that thecontrol unit 10 may determine No when the value of the gaze probability or the like is equal to or less than the threshold even if theoperation point 200 is inside the correction region.
In the case of Yes, thecontrol part 10 advances a process to step S106.
In No, thecontrol part 10 advances a process to step S107.

（ステップＳ１０６）
操作点２００が視線補正領域２３０の内側であった場合、制御部１０は、操作座標視線補正部１１０として、操作点座標変更処理を行う。
制御部１０は、操作点の座標を注視点２２０の座標に変更する。制御部１０は、この際、操作点の座標を単純に注視点２２０の座標に変更するのではなく、特定の座標に変更してもよい。この特定の座標は、例えば、注視点２２０が含まれるソフトウェアキーボードのキーの中心等であってもよい。(Step S106)
When theoperation point 200 is inside the line-of-sight correction region 230, thecontrol unit 10 performs an operation point coordinate change process as the operation coordinate line-of-sight correction unit 110.
Thecontrol unit 10 changes the coordinates of the operation point to the coordinates of thegazing point 220. At this time, thecontrol unit 10 may change the coordinates of the operation point to specific coordinates instead of simply changing the coordinates of thegazing point 220. This specific coordinate may be, for example, the center of the key of the software keyboard including thegazing point 220.

（ステップＳ１０７）
ここで、制御部１０は、操作座標視線補正部１１０として、操作点指示操作実行処理を行う。
制御部１０は、操作点２００（ステップＳ１０６の操作点座標変更処理を行った場合、注視点２２０に変更された操作点２００である。また、ステップＳ１０６の操作点座標変更処理を行わなかった場合、タッチ入力された操作点２００である。）の座標について、ユーザーのタッチ入力に対応する処理を実行させるようＧＵＩに通知する。これにより、例えば、ＧＵＩがソフトウェアキーボードの場合、制御部１０は、通知された操作点２００の箇所のキーに対応する文字等を、ＧＵＩにより入力し、表示部６２の入力欄等に表示させる。(Step S107)
Here, thecontrol unit 10 performs an operation point instruction operation execution process as the operation coordinate line-of-sight correction unit 110.
Thecontrol unit 10 is the operation point 200 (when the operation point coordinate change process of step S106 is performed, theoperation point 200 is changed to thegazing point 220. When the operation point coordinate change process of step S106 is not performed) , The coordinates of theoperation point 200 input by touching are notified to the GUI to execute processing corresponding to the touch input of the user. Thereby, for example, when the GUI is a software keyboard, thecontrol unit 10 inputs characters and the like corresponding to the key at the notifiedoperation point 200 by the GUI and displays them on the input field of thedisplay unit 62.

（ステップＳ１０８）
次に、制御部１０が、視線補正時間領域修正部１２０として、ユーザー修正ありか否かを判定する。制御部１０は、ステップＳ１０７において入力され表示された文字等について、ユーザーによる修正があった場合に、Ｙｅｓと判定する。具体的に説明すると、制御部１０は、ソフトウェアキーボードの場合、ユーザーが入力された文字を「修正」のキーを押下する等して、別の文字をタッチ入力した場合には、修正があったため、Ｙｅｓと判定する。制御部１０は、それ以外の場合、例えば、修正せずに他の文字を入力し、又は完了のボタン７００を押下した場合には、Ｎｏと判定する。
Ｙｅｓの場合、制御部１０は、処理をステップＳ１０９に進める。
Ｎｏの場合、制御部１０は、操作座標視線補正処理を終了する。(Step S108)
Next, thecontrol unit 10 determines whether there is a user correction as the line-of-sight correction timeregion correction unit 120. Thecontrol unit 10 determines Yes when the user corrects the character or the like input and displayed in step S107. Specifically, in the case of a software keyboard, thecontrol unit 10 is corrected when the user inputs a character by touching another character by pressing a “correct” key or the like. , Yes. In other cases, for example, when another character is input without correction or thecompletion button 700 is pressed, thecontrol unit 10 determines No.
In the case of Yes, thecontrol part 10 advances a process to step S109.
In No, thecontrol part 10 complete | finishes an operation coordinate gaze correction process.

（ステップＳ１０９）
上述のステップＳ１０８において、ユーザーによる修正があった場合、制御部１０が、視線補正時間領域修正部１２０として、操作点座標変更抑制処理を行う。
上述の別の文字のタッチ入力は、ユーザー修正時のタッチ入力の操作点の座標に対応するキーに基づいて行われる。
このとき、制御部１０は、別の文字のタッチ入力の操作点に対して、操作座標視線補正部１１０による、操作点座標変更処理を行わないように制御する。つまり、制御部１０は、表示の修正に対応するタッチ入力の操作点２００の座標を変更しない。
なお、記憶部１９に記憶された設定によっては、この処理の際、操作点２００の座標の変更の範囲を小さくしたり、そもそも変更しないように構成してもよい。(Step S109)
In step S108 described above, when there is a correction by the user, thecontrol unit 10 performs an operation point coordinate change suppression process as the line-of-sight correction timeregion correction unit 120.
The touch input of another character described above is performed based on a key corresponding to the coordinates of the operation point of the touch input at the time of user correction.
At this time, thecontrol unit 10 performs control so as not to perform the operation point coordinate changing process by the operation coordinate line-of-sight correction unit 110 for the operation point of touch input of another character. That is, thecontrol unit 10 does not change the coordinates of the touchinput operation point 200 corresponding to the display correction.
Depending on the settings stored in thestorage unit 19, the range of change of the coordinates of theoperation point 200 may be reduced or may not be changed in the first place.

（ステップＳ１１０）
次に、制御部１０が、視線補正時間領域修正部１２０として、視線補正時間領域修正処理を行う。
制御部１０は、例えば、ソフトウェアキーボードの場合、時間範囲２１０を設定値から変更することができる。
また、制御部１０は、例えば、変更される前の操作点２００の座標が修正されたキーの座標であった場合には、変更される前の操作点２００の座標が視線補正範囲２４０に含まれなくなるよう、視線補正範囲２４０が狭くなるよう修正する。また、制御部１０は、逆に、注視点２２０の座標が、修正されたキーの座標であった場合には、操作点２００の座標が視線補正範囲２４０に含まれるよう視線補正範囲２４０が広くなるよう修正する。
以上により、本発明の実施の形態に係る操作座標視線補正処理を終了する。(Step S110)
Next, thecontrol unit 10 performs a line-of-sight correction time region correction process as the line-of-sight correction timeregion correction unit 120.
For example, in the case of a software keyboard, thecontrol unit 10 can change thetime range 210 from the set value.
In addition, for example, when the coordinates of theoperation point 200 before the change are the coordinates of the corrected key, thecontrol unit 10 includes the coordinates of theoperation point 200 before the change in the line-of-sight correction range 240. Correction is made so that the line-of-sight correction range 240 becomes narrow so as not to occur. Conversely, when the coordinates of thegazing point 220 are the coordinates of the corrected key, thecontrol unit 10 increases the line-of-sight correction range 240 so that the coordinates of theoperation point 200 are included in the line-of-sight correction range 240. Modify to be.
Thus, the operation coordinate line-of-sight correction processing according to the embodiment of the present invention is completed.

以上のように構成することで、以下のような効果を得ることができる。
従来、特許文献１の技術では、視線の先の画像を拡大表示することで、表示できる情報が少なくなっていた。
これに対して、本発明の実施の形態に係る画像形成装置１は、ユーザーによるタッチ入力の操作点２００の座標を検出するタッチパネル６０と、ユーザーによるタッチパネル６０のタッチ入力の時点からの時間範囲２１０で、ユーザーの視線が向けられたタッチパネル６０上の注視点２２０の座標を算出する視線検出部２０と、視線検出部２０により算出されたタッチパネル６０上の注視点２２０の座標から視線補正範囲２４０の視線補正領域２３０を算出する視線補正領域算出部１００と、操作点２００の座標が、視線補正領域算出部１００により算出された視線補正領域２３０内にあった場合には注視点２２０の座標に変更し、視線補正領域２３０内になかった場合には操作点２００の座標を変更しない操作座標視線補正部１１０とを備えることを特徴とする。
このように構成することで、表示内容が拡大され表示文字数等が変更されることなく、誤操作を防止したタッチ入力を行うことが可能となる。これにより、表示できる情報が減少することがなくなり、ユーザーの使い勝手を向上させることができる。
また、特許文献１の技術では、視線検出により表示内容が変化することで、ユーザーを混乱させ、ユーザーによる表示内容の読み取り等が困難になり、操作性が悪くなることがあった。
これに対して、本実施形態の画像形成装置１は、視線補正の際、表示部６２に表示される表示内容が拡大されないため、ユーザーを混乱させることがなくなり、操作性を向上させることができる。With the configuration described above, the following effects can be obtained.
Conventionally, in the technique ofPatent Document 1, information that can be displayed has been reduced by enlarging and displaying an image ahead of the line of sight.
In contrast, theimage forming apparatus 1 according to the embodiment of the present invention includes atouch panel 60 that detects the coordinates of theoperation point 200 of the touch input by the user, and atime range 210 from the time of the touch input of thetouch panel 60 by the user. Thus, thegaze detection unit 20 that calculates the coordinates of thegaze point 220 on thetouch panel 60 to which the user's gaze is directed, and thegaze correction range 240 of thegaze correction range 240 from the coordinates of thegaze point 220 on thetouch panel 60 calculated by thegaze detection unit 20. The line-of-sight correctionarea calculation unit 100 for calculating the line-of-sight correction area 230 and the coordinates of theoperation point 200 are changed to the coordinates of thegaze point 220 when the coordinates of theoperation point 200 are within the line-of-sight correction area 230 calculated by the line-of-sight correctionarea calculation unit 100. And an operation coordinate line-of-sight correction unit 110 that does not change the coordinates of theoperation point 200 when it is not within the line-of-sight correction region 230. And wherein the Rukoto.
With this configuration, it is possible to perform touch input that prevents an erroneous operation without expanding the display contents and changing the number of display characters. As a result, the information that can be displayed does not decrease, and the user-friendliness can be improved.
Further, in the technique ofPatent Document 1, the display content changes due to line-of-sight detection, which confuses the user and makes it difficult for the user to read the display content, resulting in poor operability.
On the other hand, in theimage forming apparatus 1 of the present embodiment, the display content displayed on thedisplay unit 62 is not enlarged during line-of-sight correction, so that the user is not confused and the operability can be improved. .

また、本実施形態の画像形成装置１は、操作座標視線補正部１１０による操作点２００の座標の変更後に、ユーザーが修正を行った場合に、時間範囲２１０と視線補正範囲２４０とを修正する視線補正時間領域修正部１２０を備えることを特徴とする。
このように構成することで、ユーザーの視線補正の精度を向上させ、ユーザーの意図する箇所のキー等を指示できるようになり、操作性を向上させることができる。Further, theimage forming apparatus 1 according to the present embodiment corrects the line of sight to correct thetime range 210 and the line-of-sight correction range 240 when the user makes corrections after changing the coordinates of theoperation point 200 by the operation coordinate line-of-sight correction unit 110. A correction timeregion correction unit 120 is provided.
With this configuration, it is possible to improve the accuracy of the user's line-of-sight correction, and to designate a key or the like at a location intended by the user, thereby improving operability.

以上をまとめると、本実施形態の画像形成装置１は、タッチパネルの操作に対して、視線検出の結果に基づいた操作点２００を補正することで、誤操作を防止する。つまり、誤操作による修正を防止し、ユーザーが効率的なタッチ入力を行うことが可能となる。これにより：

・ユーザーの意図と異なる箇所へのタッチ入力による誤操作の発生を防止することができる。
・視線検出を利用した操作であっても、ユーザーが混乱することがない。
・視線検出を利用した操作であっても、操作の精度が高い。
・表示部に表示される情報を変更しない。
・視線の先にある範囲内で発生する誤操作を防止する。
・視線の先にある範囲外で意図的に操作することが可能となる。In summary, theimage forming apparatus 1 of the present embodiment prevents an erroneous operation by correcting theoperation point 200 based on the result of line-of-sight detection with respect to the operation of the touch panel. That is, correction due to an erroneous operation is prevented, and the user can efficiently perform touch input. With this:

-It is possible to prevent the occurrence of erroneous operations due to touch input at locations different from the user's intention.
・ Users will not be confused by operations using eye gaze detection.
・ Even if the operation uses gaze detection, the accuracy of the operation is high.
・ Do not change the information displayed on the display.
-Prevent misoperations that occur within the line of sight.
-It is possible to operate intentionally outside the range that is beyond the line of sight.

なお、本実施形態においては、ソフトウェアキーボードのキーのタッチ入力を視線補正する例について説明した。しかしながら、本実施形態の操作座標視線補正処理は、ソフトウェアキーボード以外にも、タッチパネル６０上でタッチ入力してＧＵＩ上の画像等を選択するような処理に全て適用可能である。つまり、制御部１０は、例えば、プレビュー画像やサムネイル画像の選択、ファイルの選択といった、選択する画像や文字等が近接している場合に、本実施形態の操作座標視線補正処理を適用するよう制御することが可能である。また、制御部１０は、誤操作が少ないＧＵＩ上の画面については、本実施形態の操作座標視線補正処理を適用しないように制御することも可能である。
このような構成により、ユーザーの使い勝手をよくすることができる。In the present embodiment, an example in which line-of-sight correction is performed on a touch input of a key on a software keyboard has been described. However, the operation coordinate line-of-sight correction processing according to the present embodiment can be applied to all processing other than the software keyboard, such as touch input on thetouch panel 60 to select an image on the GUI. That is, thecontrol unit 10 performs control so that the operation coordinate line-of-sight correction processing according to the present embodiment is applied when images to be selected, characters, or the like such as selection of a preview image or thumbnail image or file selection are close to each other. Is possible. Further, thecontrol unit 10 can also perform control so that the operation coordinate line-of-sight correction processing of the present embodiment is not applied to a screen on a GUI with few erroneous operations.
With such a configuration, user convenience can be improved.

また、本実施形態においては、表示部６２の画面と一体となったタッチパネル６０の入力について説明した。しかしながら、表示部６２とタッチパネル６０とが分離されているような構成であってもよい。この場合にも、視線検出部２０は、分離されたタッチパネル６０へのユーザーの視線を検知することができる。
これにより、タッチパネル６０のコストを削減することができる。Moreover, in this embodiment, the input of thetouch panel 60 united with the screen of thedisplay part 62 was demonstrated. However, thedisplay unit 62 and thetouch panel 60 may be separated from each other. Also in this case, the line-of-sight detection unit 20 can detect the line of sight of the user with respect to the separatedtouch panel 60.
Thereby, the cost of thetouch panel 60 can be reduced.

また、本実施形態においては、画像形成装置１のタッチパネルでの誤操作の防止について説明した。
しかしながら、本発明は、画像形成装置以外の情報処理装置にも適用できる。たとえばタッチパネルを備えるスマートフォン、携帯電話、ＰＣ（Personal Computer）、ＰＤＡ（Personal Data Assistant）、テレビジョン等にも適法可能である。In the present embodiment, the prevention of erroneous operation on the touch panel of theimage forming apparatus 1 has been described.
However, the present invention can also be applied to an information processing apparatus other than the image forming apparatus. For example, it can be legally applied to a smart phone equipped with a touch panel, a mobile phone, a PC (Personal Computer), a PDA (Personal Data Assistant), a television, and the like.

また、上記実施の形態の構成及び動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更して実行することができることは言うまでもない。  Further, the configuration and operation of the above-described embodiment are examples, and it goes without saying that they can be appropriately modified and executed without departing from the gist of the present invention.

１ 画像形成装置
１０ 制御部
１１ 画像処理部
１２ 原稿読取部
１３ 原稿給送部
１４ 搬送部
１５ ネットワーク送受信部
１６ 操作パネル部
１７ 画像形成部
１８ タイマー部
１９ 記憶部
２０ 視線検出部
６０ タッチパネル
６１ ボタン部
６２ 表示部
１００ 視線補正領域算出部
１１０ 操作座標視線補正部
１２０ 視線補正時間領域修正部
２００ 操作点
２１０ 時間範囲
２２０ 注視点
２３０ 視線補正領域
２４０ 視線補正範囲
５００、５０１ 画面例
６００ 表示欄
６１０ ソフトウェアキーボード
７００ ボタンDESCRIPTION OFSYMBOLS 1Image forming apparatus 10Control part 11Image processing part 12Original reading part 13Original feeding part 14 Conveyingpart 15 Network transmission /reception part 16Operation panel part 17Image forming part 18Timer part 19Storage part 20 Eyegaze detection part 60Touch panel 61Button part 62display unit 100 gaze correctionarea calculation unit 110 operation coordinategaze correction unit 120 gaze correction timearea correction unit 200operation point 210time range 220gaze point 230gaze correction area 240gaze correction range 500, 501 screen example 600display field 610software keyboard 700 button

Claims (4)

Translated fromJapanese

ユーザーによるタッチ入力の操作点の座標を検出するタッチパネルと、
前記ユーザーによる前記タッチパネルのタッチ入力の時点から特定の時間の範囲で、前記ユーザーの視線が向けられた前記タッチパネル上の注視点の座標を算出する視線検出手段と、
該視線検出手段により算出された前記タッチパネル上の前記注視点の座標から特定の範囲の視線補正領域を算出する視線補正領域算出手段と、
前記操作点の座標が、前記視線補正領域算出手段により算出された前記視線補正領域内にあった場合には前記操作点の座標を前記注視点の座標に変更し、前記視線補正領域内になかった場合には前記操作点の座標を変更しない操作座標視線補正手段と、
前記操作座標視線補正手段により変更された又は変更されなかった前記操作点の座標に対応する表示を行う表示部とを備え、
前記操作座標視線補正手段は、前記操作座標視線補正手段による前記操作点の座標の変更後に、前記ユーザーが前記表示の修正を行うとき、前記表示の修正に対応するタッチ入力の操作点の座標を変更しない
ことを特徴とする情報処理装置。A touch panel that detects the coordinates of the operation point of the touch input by the user;
Gaze detection means for calculating coordinates of a point of gaze on the touch panel to which the user's gaze is directed in a specific time range from the time of touch input of the touch panel by the user;
Gaze correction area calculation means for calculating a gaze correction area of a specific range from the coordinates of the gazing point on the touch panel calculated by the gaze detection means;
If the coordinates of the operation point are within the line-of-sight correction area calculated by the line-of-sight correction area calculation means, the coordinates of the operation point are changed to the coordinates of the gazing point, and are not within the line-of-sight correction area. Operation coordinate line-of-sight correction means that does not change the coordinates of the operation point in the case of,
A display unit that performs display corresponding to the coordinates of the operation point changed or not changed by the operation coordinate line-of-sight correction means,
The operation coordinate line-of-sight correction means, when the user corrects the display after the change of the coordinates of the operation point by the operation coordinate line-of-sight correction means, displays the coordinates of the operation point of the touch input corresponding to the correction of the display. An information processing apparatus that isnot changed . 前記操作座標視線補正手段による前記操作点の座標の変更後に、前記ユーザーが前記表示の修正を行った場合に、前記時間の範囲と前記視線補正領域の範囲とを修正する視線補正時間領域修正手段を備える
ことを特徴とする請求項１に記載の情報処理装置。Line-of-sight correction time region correction means for correcting the time range and the range of the line-of-sight correction region when the user corrects the display after changing the coordinates of the operation point by the operation coordinate line-of-sight correction unit. The information processing apparatus according to claim 1, further comprising: 情報処理装置により実行される情報処理プログラムにおいて、
ユーザーによるタッチ入力の操作点の座標を検出し、
前記ユーザーによるタッチ入力の時点から特定の時間の範囲で、前記ユーザーの視線が向けられたタッチパネル上の注視点の座標を算出し、
算出された前記タッチパネル上の前記注視点の座標から特定の範囲の視線補正領域を算出し、
前記操作点の座標が、算出された前記視線補正領域内にあった場合には前記操作点の座標を前記注視点の座標に変更し、前記視線補正領域内になかった場合には前記操作点の座標を変更せず、
前記操作点の座標の変更後に、前記ユーザーが表示の修正を行うとき、前記表示の修正に対応するタッチ入力の操作点の座標を変更せず、
変更された又は変更されなかった前記操作点の座標に対応する表示を行う
ことを特徴とする情報処理プログラム。In an information processing program executed by an information processing device,
Detects the coordinates of the touch input operation point by the user,
Wherein a range of a certain time from the time of the user by the touch input, and calculates the coordinates of the gaze point on themotor touch panel that the user's line of sightdirected,
Calculate a gaze correction area of a specific range from the calculated coordinates of the gazing point on the touch panel,
When the coordinates of the operation point are within the calculated gaze correction area, the coordinates of the operation point are changed to the coordinates of the gazing point, and when the coordinate is not within the gaze correction area, the operation point is changed.Without changing the coordinates of
After the change of the coordinates of the operation point, when the user corrects the display, without changing the coordinates of the operation point of the touch input corresponding to the correction of the display,
An information processing programfor performing display corresponding to the coordinates of the operation point which has been changed or not changed .前記操作点の座標の変更後に、前記ユーザーが前記表示の修正を行った場合に、前記時間の範囲と前記視線補正領域の範囲とを修正するIf the user corrects the display after changing the coordinates of the operation point, the time range and the range of the line-of-sight correction area are corrected.
ことを特徴とする請求項３に記載の情報処理プログラム。The information processing program according to claim 3.

Images