



本発明は、マルチタッチスクリーン付き携帯端末およびその動作方法に関するものである。 The present invention relates to a mobile terminal with a multi-touch screen and an operation method thereof.
近年では、スマートフォンのようなマルチタッチスクリーンを備えた携帯端末が開発されている。携帯端末は、例えば、マルチタッチスクリーン上のタッチによるジェスチャーによる操作が可能である。このような携帯端末は、例えば、ユーザが行った操作を音声で出力でき、視覚障がい者は、この音声で操作方法を習得する(非特許文献1、特許文献1参照)。 In recent years, mobile terminals equipped with a multi-touch screen such as a smartphone have been developed. The portable terminal can be operated by a gesture by touch on a multi-touch screen, for example. Such a portable terminal can output, for example, an operation performed by the user by voice, and a visually impaired person learns the operation method using this voice (see Non-Patent Document 1 and Patent Document 1).
しかし、音声による操作方法習得は難しいので、支援者のアドバイスが望まれる。例えば、実行すべきジェスチャーなどを示す支援者用情報をマルチタッチスクリーンに表示すれば、これによりアドバイスができる。 However, since it is difficult to learn the operation method by voice, advice from a supporter is desired. For example, if supporter information indicating a gesture to be executed is displayed on a multi-touch screen, advice can be provided.
しかし、マルチタッチスクリーンの一部領域は視覚障がい者の手で覆われるので、この領域に表示しても支援者には見えない。 However, since a part of the multi-touch screen is covered with a handicapped person's hand, even if it is displayed in this area, it cannot be seen by the supporter.
本発明は、上記の課題に鑑みてなされたものであり、その目的とするところは、マルチタッチスクリーン付き携帯端末においてマルチタッチスクリーンでのジェスチャーに使用されるジェスチャー領域以外の空き領域であり且つユーザの手に覆われない領域に支援者用情報を表示する技術を提供することにある。 The present invention has been made in view of the above problems, and an object of the present invention is an empty area other than a gesture area used for a gesture on a multi-touch screen in a mobile terminal with a multi-touch screen and a user. It is to provide a technology for displaying information for a supporter in an area that is not covered with a hand.
上記の課題を解決するために、本発明のマルチタッチスクリーン付き携帯端末は、マルチタッチスクリーンを有するマルチタッチスクリーン付き携帯端末であって、前記マルチタッチスクリーンにおいてジェスチャーを行おうとするユーザの手が前記マルチタッチスクリーンに触れたことを契機に、前記ジェスチャーに使用されるジェスチャー領域およびユーザの手に覆われる手形状領域を含む表示禁止領域を除く領域に対し前記ユーザの支援者に見せるための支援者用情報を表示し、予め前記ユーザの利き手を示す利き手情報が記憶され、前記利き手情報を読み出し、前記利き手情報に対応する利き手が右手なら、予め定められた右手の形状を有する手形状領域を前記表示禁止領域に含める一方、前記利き手情報に対応する利き手が左手なら、予め定められた左手の形状を有する手形状領域を前記表示禁止領域に含めることを特徴とする。In order to solve the above problems, a mobile terminal with a multi-touch screen according to the present invention is a mobile terminal with a multi-touch screen having a multi-touch screen, and a user's hand trying to perform a gesture on the multi-touch screen A supporter for showing the user's supporter the area excluding the display prohibition area including the gesture area used for the gesture and the hand shape area covered by the user's hand when the multi-touch screen is touchedIf the dominant hand corresponding to the dominant hand information is a right hand, the hand shape area having a predetermined right hand shape is defined as the dominant hand information indicating the user's dominant hand is stored in advance. While included in the prohibited display area, the dominant hand corresponding to the dominant hand information is left-handed. Characterized by Rukotoincluding hand-shaped region having a left hand shape predetermined for the display prohibition region.
本発明のマルチタッチスクリーン付き携帯端末の動作方法は、マルチタッチスクリーンを有するマルチタッチスクリーン付き携帯端末の動作方法であって、前記マルチタッチスクリーン付き携帯端末が、前記マルチタッチスクリーンにおいてジェスチャーを行おうとするユーザの手が前記マルチタッチスクリーンに触れたことを契機に、前記ジェスチャーに使用されるジェスチャー領域およびユーザの手に覆われる手形状領域を含む表示禁止領域を除く領域に対し前記ユーザの支援者に見せるための支援者用情報を表示し、予め前記ユーザの利き手を示す利き手情報が記憶され、前記利き手情報を読み出し、前記利き手情報に対応する利き手が右手なら、予め定められた右手の形状を有する手形状領域を前記表示禁止領域に含める一方、前記利き手情報に対応する利き手が左手なら、予め定められた左手の形状を有する手形状領域を前記表示禁止領域に含めることを特徴とする。An operation method of a mobile terminal with a multi-touch screen according to the present invention is an operation method of a mobile terminal with a multi-touch screen having a multi-touch screen, wherein the mobile terminal with a multi-touch screen attempts to perform a gesture on the multi-touch screen. When the user's hand touches the multi-touch screen, the user's support for the area excluding the display area including the gesture area used for the gesture and the hand-shaped area covered by the user's hand If thedominant hand information indicating the dominant hand of the user is stored in advance, the dominant hand information is read, and the dominant hand corresponding to the dominant hand information is the right hand, a predetermined right hand shape is displayed.While including the hand-shaped area having the display prohibition area, If the dominant hand corresponding to come hand information left, and wherein Rukotoincluding hand-shaped region having a left hand shape predetermined for the display prohibition region.
本発明によれば、マルチタッチスクリーン付き携帯端末においてマルチタッチスクリーンでのジェスチャーに使用されるジェスチャー領域以外の空き領域であり且つユーザの手に覆われない領域に支援者用情報を表示することができる。 According to the present invention, it is possible to display information for the supporter in an area that is an empty area other than the gesture area used for the gesture on the multi-touch screen and is not covered by the user's hand in the mobile terminal with the multi-touch screen. it can.
以下、本発明の実施の形態について図面を参照して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図1は、本実施の形態に係るマルチタッチスクリーン付き携帯端末を示す図である。 FIG. 1 is a diagram showing a mobile terminal with a multi-touch screen according to the present embodiment.
マルチタッチスクリーン付き携帯端末1は、マルチタッチスクリーン2を有する携帯端末である。マルチタッチスクリーン2には、例えば、マルチタッチスクリーン2に触れることを促す図柄21(円形領域に手が触れている図柄)や操作指示の文字が表示される。 A mobile terminal 1 with a multi-touch screen is a mobile terminal having a
図2は、マルチタッチスクリーン2に支援者用情報を表示する処理のフローチャートであり、図3は、支援者用情報の表示例を示す図である。支援者情報とは、視覚障がい者であるマルチタッチスクリーン付き携帯端末1のユーザを支援する支援者に見せるための情報である。ここでは、ユーザの利き手を示す利き手情報が予めマルチタッチスクリーン付き携帯端末1に記憶されていることとする。 FIG. 2 is a flowchart of processing for displaying supporter information on the
S1:まず、マルチタッチスクリーン付き携帯端末1は、利き手情報を読み込む。 S1: First, the mobile terminal 1 with a multi-touch screen reads dominant hand information.
マルチタッチスクリーン2においてジェスチャーを行おうとするユーザが視覚障がい者でない場合、ユーザは図柄21に促され、マルチタッチスクリーン2に触れる。図柄21が見えない視覚障がい者は、例えば、予めなされた操作指導に従い、マルチタッチスクリーン2に触れる。 When the user who wants to perform a gesture on the
S3:マルチタッチスクリーン付き携帯端末1は、ユーザがマルチタッチスクリーン2に触れたなら、マルチタッチスクリーン2に支援者情報の表示禁止領域を設定する。 S <b> 3: If the user touches the
図3に示すように、マルチタッチスクリーン付き携帯端末1は、予めユーザの手に隠れる領域として定められた手の形状を有する手形状領域3を、触れた点Aが手形状領域3に含まれるように、マルチタッチスクリーン2に設定する。 As shown in FIG. 3, the mobile terminal 1 with a multi-touch screen includes a hand-shaped region 3 having a hand shape previously defined as a region hidden in the user's hand, and the touched point A is included in the hand-shaped region 3. As described above, the
例えば、マルチタッチスクリーン付き携帯端末1は、利き手情報に対応する利き手が右手なら、予め定められた右手の形状を有する手形状領域3を設定する。マルチタッチスクリーン付き携帯端末1は、例えば、点Aの左側の指1本分離れた位置に線BCを設定し、線BCとマルチタッチスクリーン2の下端との交点を点Cとし、点Aから左下45°の線と線BCとの交点を点Bとする。また、マルチタッチスクリーン付き携帯端末1は、例えば、点Aの右側の指4本分離れた位置に線DEを設定し、線DEとマルチタッチスクリーン2の下端との交点を点Eとし、点Aから右下45°の線と線DEとの交点を点Dとする。そして、マルチタッチスクリーン付き携帯端末1は、点A…Eを頂点とする手形状領域3をマルチタッチスクリーン2に設定する。 For example, if the dominant hand corresponding to the dominant hand information is the right hand, the mobile terminal 1 with a multi-touch screen sets the hand shape region 3 having a predetermined right hand shape. For example, the mobile terminal 1 with a multi-touch screen sets a line BC at a position where one finger on the left side of the point A is separated, sets the intersection of the line BC and the lower end of the
なお、マルチタッチスクリーン付き携帯端末1は、利き手情報に対応する利き手が左手なら、予め定められた左手の形状を有する手形状領域を設定する。 In addition, if the dominant hand corresponding to the dominant hand information is the left hand, the mobile terminal 1 with a multi-touch screen sets a hand shape area having a predetermined left hand shape.
また、ユーザの手がマルチタッチスクリーン2に触れた際にジェスチャーに使用されるジェスチャー領域4を、点Aが含まれるように、マルチタッチスクリーン2に設定する。 In addition, the gesture area 4 used for the gesture when the user's hand touches the
手形状領域3とジェスチャー領域4は重複していてもよい。 The hand shape area 3 and the gesture area 4 may overlap.
次に、マルチタッチスクリーン付き携帯端末1は、手形状領域3とジェスチャー領域4を含む表示禁止領域をマルチタッチスクリーン2に設定する。 Next, the mobile terminal 1 with a multi-touch screen sets a display prohibition area including the hand shape area 3 and the gesture area 4 in the
S5:次に、マルチタッチスクリーン付き携帯端末1は、マルチタッチスクリーン2における表示禁止領域を除く領域に支援者用情報5を表示する。支援者用情報5は、例えば、次に行うべき操作方法を示すものである。表示禁止領域のうちの手形状領域3はユーザの手に隠れて見えない可能性が高いが、支援者用情報は表示禁止領域を除く領域に表示されるので支援者は支援者用情報を見ることができる。よって、支援者は、支援者用情報に基づいてユーザに操作方法を教え、操作を支援することができる。 S5: Next, the mobile terminal 1 with a multi-touch screen displays
マルチタッチスクリーン付き携帯端末1は、例えば、点Aの位置が変わったなら、ステップS3に戻る。これにより、場合によっては、支援者用情報は位置を変えるが、支援者用情報は表示禁止領域を除く領域に表示されるので、支援者は支援者用情報を見ることができ、操作を支援することができる。 For example, if the position of the point A changes, the mobile terminal 1 with a multi-touch screen returns to step S3. As a result, in some cases, the position of the supporter information is changed, but the supporter information is displayed in an area other than the display prohibition area, so the supporter can view the supporter information and assist the operation. can do.
例えば、図4に示すように、点Aが右に移動したなら、マルチタッチスクリーン付き携帯端末1は、点Aの移動に応じ、ジェスチャー領域4の位置ならびに例えば表示内容を変える。マルチタッチスクリーン付き携帯端末1は、ジェスチャー領域4の移動に応じ、支援者用情報5の位置ならびに例えば表示内容を変える。よって、支援者用情報は手に隠れず、支援者は支援者用情報を見ることができる。例えば、マルチタッチスクリーン付き携帯端末1は、ユーザが指を「さ」の位置に移動させたなら、文字「さ」を検索文字入力エリア22に表示する。 For example, as shown in FIG. 4, if the point A moves to the right, the mobile terminal 1 with a multi-touch screen changes the position of the gesture region 4 and, for example, the display content according to the movement of the point A. The mobile terminal 1 with a multi-touch screen changes the position of the
したがって、本実施の形態のマルチタッチスクリーン付き携帯端末1によれば、マルチタッチスクリーン2においてジェスチャーを行おうとするユーザの手がマルチタッチスクリーン2に触れたに触れたことを契機に、ジェスチャーに使用されるジェスチャー領域4およびユーザの手に覆われる手形状領域3を含む表示禁止領域を除く領域に対しユーザの支援者に見せるための支援者用情報5を表示するので、ジェスチャー領域2以外の空き領域であり且つユーザの手に覆われない領域に支援者用情報を表示することができる。 Therefore, according to the mobile terminal 1 with a multi-touch screen according to the present embodiment, the user's hand who is going to perform a gesture on the
また、予めユーザの利き手を示す利き手情報が記憶され、利き手情報を読み出し、利き手情報に対応する利き手が右手なら、予め定められた右手の形状を有する手形状領域を表示禁止領域に含める一方、利き手情報に対応する利き手が左手なら、予め定められた左手の形状を有する手形状領域を表示禁止領域に含めるので、ユーザの利き手によらず、支援者用情報をユーザの手に隠れないように表示することができる。 If the dominant hand information indicating the user's dominant hand is stored in advance and the dominant hand corresponding to the dominant hand information is the right hand, a hand shape area having a predetermined right hand shape is included in the display prohibited area, while the dominant hand is included. If the dominant hand corresponding to the information is the left hand, the hand-shaped area with the predetermined left hand shape is included in the display prohibited area, so that the information for the supporter is hidden from the user's hand regardless of the user's dominant hand can do.
また、ユーザの手の移動に追従するように表示禁止領域を設定するので、ジェスチャーでユーザの手が動き、位置が変わっても、支援者用情報をユーザの手に隠れないように表示することができる。 In addition, since the display prohibition area is set so as to follow the movement of the user's hand, even if the user's hand moves and changes its position by the gesture, the supporter information is displayed so as not to be hidden by the user's hand. Can do.
なお、本実施の形態のマルチタッチスクリーン付き携帯端末1としてコンピュータを機能させるためのコンピュータプログラムは、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスク、磁気テープなどのコンピュータ読み取り可能な記録媒体に記録でき、また、インターネットなどの通信網を介して伝送させて、広く流通させることができる。 The computer program for causing the computer to function as the portable terminal 1 with the multi-touch screen according to the present embodiment can be recorded on a computer-readable recording medium such as a semiconductor memory, a magnetic disk, an optical disk, a magneto-optical disk, or a magnetic tape. Further, it can be widely distributed by being transmitted through a communication network such as the Internet.
1…マルチタッチスクリーン付き携帯端末
2…マルチタッチスクリーン
3…手形状領域
4…ジェスチャー領域
5…支援者用情報
22…検索文字入力エリア
DESCRIPTION OF SYMBOLS 1 ... Mobile terminal with a
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014148799AJP5969551B2 (en) | 2014-07-22 | 2014-07-22 | Mobile terminal with multi-touch screen and operation method thereof |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014148799AJP5969551B2 (en) | 2014-07-22 | 2014-07-22 | Mobile terminal with multi-touch screen and operation method thereof |
| Publication Number | Publication Date |
|---|---|
| JP2016024657A JP2016024657A (en) | 2016-02-08 |
| JP5969551B2true JP5969551B2 (en) | 2016-08-17 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014148799AActiveJP5969551B2 (en) | 2014-07-22 | 2014-07-22 | Mobile terminal with multi-touch screen and operation method thereof |
| Country | Link |
|---|---|
| JP (1) | JP5969551B2 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017154119A1 (en)* | 2016-03-08 | 2017-09-14 | 富士通株式会社 | Display control device, display control method, and display control program |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4351599B2 (en)* | 2004-09-03 | 2009-10-28 | パナソニック株式会社 | Input device |
| JP4549212B2 (en)* | 2005-03-23 | 2010-09-22 | 日立ソフトウエアエンジニアリング株式会社 | Electronic board system |
| JP2010287032A (en)* | 2009-06-11 | 2010-12-24 | Mitsubishi Electric Corp | Input device |
| JP5434997B2 (en)* | 2010-10-07 | 2014-03-05 | 株式会社ニコン | Image display device |
| US20130215060A1 (en)* | 2010-10-13 | 2013-08-22 | Nec Casio Mobile Communications Ltd. | Mobile terminal apparatus and display method for touch panel in mobile terminal apparatus |
| EP2711818A1 (en)* | 2011-05-16 | 2014-03-26 | Panasonic Corporation | Display device, display control method and display control program, and input device, input assistance method and program |
| JP2013041348A (en)* | 2011-08-12 | 2013-02-28 | Kyocera Corp | Portable terminal, auxiliary information display program, and auxiliary information display method |
| JPWO2013080444A1 (en)* | 2011-11-29 | 2015-04-27 | パナソニックIpマネジメント株式会社 | Display control apparatus, display control method, and display control program |
| JP5836105B2 (en)* | 2011-12-20 | 2015-12-24 | シャープ株式会社 | Information processing apparatus, information processing apparatus control method, information processing apparatus control program, and computer-readable recording medium storing the program |
| JP5414920B2 (en)* | 2013-02-22 | 2014-02-12 | パナソニック株式会社 | Display control apparatus, display control method, and program |
| JP5773003B2 (en)* | 2014-02-18 | 2015-09-02 | 沖電気工業株式会社 | Display control apparatus, display control method, and program |
| Publication number | Publication date |
|---|---|
| JP2016024657A (en) | 2016-02-08 |
| Publication | Publication Date | Title |
|---|---|---|
| JP7629969B2 (en) | Systems, devices and methods for dynamically providing user interface controls on a touch-sensitive secondary display - Patents.com | |
| US11429274B2 (en) | Handwriting entry on an electronic device | |
| US10841265B2 (en) | Apparatus and method for providing information | |
| US11010027B2 (en) | Device, method, and graphical user interface for manipulating framed graphical objects | |
| JP6613270B2 (en) | Touch input cursor operation | |
| US11914419B2 (en) | Systems and methods for prompting a log-in to an electronic device based on biometric information received from a user | |
| US20170010771A1 (en) | Systems, Devices, and Methods for Dynamically Providing User Interface Controls at a Touch-Sensitive Secondary Display | |
| US10007406B1 (en) | Adaptive writing interface | |
| US20140304655A1 (en) | Information processing apparatus, information processing method, and program | |
| JP6057441B2 (en) | Portable device and input method thereof | |
| WO2013047023A1 (en) | Display apparatus, display method, and program | |
| JP5969551B2 (en) | Mobile terminal with multi-touch screen and operation method thereof | |
| JP2015141688A (en) | Information processing device | |
| US20150347004A1 (en) | Indic language keyboard interface | |
| JP2015185144A (en) | Input control device, input control method, and program | |
| JP5969552B2 (en) | Mobile terminal with multi-touch screen and operation method thereof |
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20160413 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20160421 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20160530 | |
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20160705 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20160707 | |
| R150 | Certificate of patent or registration of utility model | Ref document number:5969551 Country of ref document:JP Free format text:JAPANESE INTERMEDIATE CODE: R150 | |
| S533 | Written request for registration of change of name | Free format text:JAPANESE INTERMEDIATE CODE: R313533 | |
| R350 | Written notification of registration of transfer | Free format text:JAPANESE INTERMEDIATE CODE: R350 |