









本発明は、例えば携帯電話機,PHS電話機(PHS:Personal Handyphone System),PDA装置(PDA:Personal Digital Assistant),ノート型のパーソナルコンピュータ装置等に設けて好適な入力処理プログラム、携帯端末装置、及び入力処理方法に関し、特に指やスタイラスペン等の入力支持手段が近接したアイコンを拡大表示し、及び(又は)複数のアイコンに分割表示することで直感的な入力操作を可能とすると共に、入力に必要な操作数の削減等を図った入力処理プログラム、携帯端末装置、及び入力処理方法に関する。 INDUSTRIAL APPLICABILITY The present invention provides an input processing program, a portable terminal device, and an input suitable for use in, for example, a mobile phone, a PHS phone (PHS: Personal Handyphone System), a PDA device (PDA: Personal Digital Assistant), a notebook personal computer device, etc. Regarding the processing method, in particular, the input support means such as a finger or a stylus pen enlarges and displays icons close to each other, and / or displays them divided into multiple icons, enabling intuitive input operations and necessary for input The present invention relates to an input processing program, a portable terminal device, and an input processing method for reducing the number of operations.
近年、携帯電話機には多くの機能が実装されている。ユーザはそれらの機能を使用するために、携帯電話機のメニューから所望の機能を選択して使用する。このメニューはアイコンの形になっていることも多く、ユーザは十字キー等を操作して所望のアイコンを選択する。 In recent years, many functions have been implemented in mobile phones. In order to use these functions, the user selects and uses a desired function from the menu of the mobile phone. This menu is often in the form of an icon, and the user operates a cross key or the like to select a desired icon.
このアイコンの選択に関する背景技術としては、特開2000−242383号の公開特許公報(特許文献1)において、表示部の画面上にて、カーソルがアイコンに合わされたときに、ユーザに対して違和感を与えることなくカーソルの拡大表示を行うことを目的とした画面表示拡大制御装置が開示されている。 As background art regarding the selection of this icon, in Japanese Patent Laid-Open No. 2000-242383 (Patent Document 1), when the cursor is placed on the icon on the screen of the display unit, the user feels uncomfortable. A screen display enlargement control device for the purpose of performing an enlarged display of a cursor without giving is disclosed.
  この特許文献1に開示されている技術の場合、カーソルが合わされたときに拡大表示を行うアイコンを予め選択して登録しておくと共に、拡大表示を行うアイコンの拡大率を予め設定して登録しておく。  In the case of the technique disclosed in
拡大表示制御部は、カーソルがアイコンに合わされたことを検出すると、拡大表示設定部に登録されている、そのアイコンの拡大表示のON/OFFを示す拡大表示ON/OFF情報に基づいて、そのアイコンの拡大表示のON/OFFを検出する。そして、カーソルが合わされているアイコンの拡大表示が「ON」として登録されていた場合に、拡大表示設定部に登録されている、ユーザにより指定されたそのアイコンの拡大率を示す拡大率情報に基づいて、該拡大率でそのアイコンを拡大表示する。 When the enlarged display control unit detects that the cursor is positioned on the icon, the icon is displayed based on the enlarged display ON / OFF information indicating ON / OFF of the enlarged display of the icon registered in the enlarged display setting unit. ON / OFF of the enlarged display is detected. Then, when the enlarged display of the icon on which the cursor is placed is registered as “ON”, based on the enlargement factor information registered in the enlargement display setting unit and indicating the enlargement factor of the icon specified by the user. The icon is enlarged and displayed at the enlargement ratio.
これにより、ユーザが希望するアイコンのみ、ユーザが希望する拡大率で拡大表示することができるため、ユーザに違和感を与えることなくアイコンの拡大表示を行うことが可能となる。 As a result, only the icon desired by the user can be enlarged and displayed at an enlargement rate desired by the user, so that the icon can be enlarged and displayed without giving the user a feeling of strangeness.
しかし、年々、携帯電話機に実装される機能は多くなっているのであるが、これに対して実装される十字キーやテンキーの数は変わらない。これは、携帯電話機に実装される機能が増える毎に、一つのキーに対して割り当てられる機能が増えていることを示している。このため、十字キーやテンキーを使用して所望の機能を選択する方法では、一つのキーに対して割り当てられている機能が多くなっている今日においては、直感的な操作がしづらくなってきている。 However, more and more functions are mounted on mobile phones year by year, but the number of cross keys and numeric keys that are mounted on these functions does not change. This indicates that the number of functions assigned to one key increases as the number of functions mounted on the mobile phone increases. For this reason, with the method of selecting a desired function using the cross key or numeric keypad, it is difficult to perform intuitive operations in the present day when functions assigned to one key are increasing. Yes.
同様に、携帯電話機で文字入力を行う場合、テンキーにそれぞれ割り当てられた複数の文字の中から所望の文字を選択操作して該文字入力を行うのが一般的である。具体的には、例えば「1」のテンキーに「あ」、「い」、「う」、「え」、「お」、「ぁ」、「ぃ」、「ぅ」、「ぇ」、「ぉ」の文字が割り当てられていた場合、この「1」のテンキーを1回押圧操作すると「あ」の文字が入力され、「1」のテンキーを4回押圧操作すると「え」の文字が入力されるようになっている。また、「1」のテンキーを7回押圧操作すると「ぃ」の文字が入力され、「1」のテンキーを10回押圧操作すると「ぉ」の文字が入力されるようになっている。 Similarly, when inputting characters with a mobile phone, it is common to select a desired character from among a plurality of characters assigned to a numeric keypad and input the character. Specifically, for example, “a”, “i”, “u”, “e”, “o”, “a”, “i”, “ぅ”, “e”, “ぉ” When the “1” numeric keypad is pressed once, the “A” character is input. When the “1” numeric keypad is pressed four times, the “E” character is input. It has become so. Further, when the “1” numeric keypad is pressed seven times, the character “I” is input, and when the “1” numeric keypad is pressed ten times, the character “ぉ” is input.
すなわち、所望の文字を入力する場合、この入力する所望の文字に対応する数分、テンキーを押圧操作する必要がある。例えば、上述の例において「ぉ」の文字を入力する場合、「1」のテンキーの10回もの押圧操作を必要とする。 That is, when inputting a desired character, it is necessary to press the numeric keypad for the number corresponding to the desired character to be input. For example, when the character “ぉ” is input in the above-described example, it is necessary to press the ten-key “1” ten times.
このように一つのキーに対して割り当てられる文字(及び機能)が多くなると、所望の文字(或いは機能)を選択するために、対応する数分の入力操作数を必要とする問題がある。 When the number of characters (and functions) assigned to one key increases in this way, there is a problem that the number of input operations corresponding to the corresponding number is required to select a desired character (or function).
本発明は、上述の課題に鑑みてなされたものであり、一つのキーに対して複数の機能や文字等が割り当てられている場合でも、直感的、かつ、少ない操作数で所望の機能や文字等を選択可能な入力処理プログラム、携帯端末装置、及び入力処理方法の提供を目的とする。 The present invention has been made in view of the above-described problems. Even when a plurality of functions and characters are assigned to one key, the desired function and characters can be intuitively and operated with a small number of operations. It is an object of the present invention to provide an input processing program, a portable terminal device, and an input processing method.
  本発明に係る入力処理プログラムは、上述の課題を解決するために、
  アイコンの表示情報に基づいて、表示手段に対して一つ或いは複数のアイコンを配置して表示するアイコン表示手段と、
  上記表示手段に表示されているアイコンに触れることで、該アイコンを選択するための選択手段と上記表示手段の表示面との間の距離を検出する距離検出手段からの検出出力に基づいて、上記選択手段と上記表示手段の表示面との間の距離が所定の距離以下となったか否かを判別する近接判別手段と、
  コンピュータを上記近接判別手段として機能させることで、上記選択手段と上記表示手段の表示面との間の距離が所定の距離以下になったものと判別された際に、上記選択手段が近接している上記表示手段の表示面上の位置を検出する位置検出手段からの検出出力と、上記アイコン表示手段により上記表示手段に表示されているアイコンの表示情報とに基づいて、上記選択手段が近接している上記表示面上の位置に表示されているアイコンを検出する近接アイコン検出手段と、
  コンピュータを上記近接アイコン検出手段として機能させることで検出された上記選択手段が近接しているアイコンに対して複数の機能、或いは複数の文字や記号が割り当てられていた場合、上記選択手段が近接しているアイコンを、このアイコンに割り当てられている各機能、或いは割り当てられている文字や記号にそれぞれ対応するアイコンに分割すると共に、該分割した各アイコンをそれぞれ拡大して上記表示手段に表示するアイコン表示変更手段
  としてコンピュータを機能させる。In order to solve the above-described problem, an input processing program according to the present invention provides
 Icon display means for arranging and displaying one or a plurality of icons on the display means based on icon display information;
 Based on the detection output from the distance detection means for detecting the distance between the selection means for selecting the icon and the display surface of the display means by touching the icon displayed on the display means, Proximity determination means for determining whether or not the distance between the selection means and the display surface of the display means is equal to or less than a predetermined distance;
 By causing the computer to function as the proximity determination means, the selection means approaches when the distance between the selection means and the display surface of the display means is determined to be equal to or less than a predetermined distance. The selection means approaches based on the detection output from the position detection means for detecting the position of the display means on the display surface and the display information of the icon displayed on the display means by the icon display means. Proximity icon detecting means for detecting an icon displayed at a position on the display surface,
 Whena plurality of functions, or a plurality of characters or symbols are assigned to an iconthat is close to the selection means detected by causing the computer to function as the proximity icon detection means, the selection means approaches. The icon is divided into icons corresponding to the respective functions assigned to the icon or the assigned characters and symbols, and the divided icons are enlarged and displayed on the display means. The computer is caused to function asdisplay change means .
  また、本発明に係る携帯端末装置は、上述の課題を解決するための手段として、
  アイコンの表示情報に基づいて、表示手段に対して一つ或いは複数のアイコンを配置して表示するアイコン表示手段と、
  上記表示手段に表示されているアイコンに触れることで、該アイコンを選択するための選択手段と上記表示手段の表示面との間の距離を検出する距離検出手段と、
  上記距離検出手段からの検出出力に基づいて、上記選択手段と上記表示手段の表示面との間の距離が所定の距離以下となったか否かを判別する近接判別手段と、
  上記近接判別手段により、上記選択手段と上記表示手段の表示面との間の距離が所定の距離以下になったものと判別された際に、上記選択手段が近接している上記表示手段の表示面上の位置を検出する位置検出手段と、
  上記位置検出手段からの検出出力と、上記アイコン表示手段により上記表示手段に表示されているアイコンの表示情報とに基づいて、上記選択手段が近接している上記表示面上の位置に表示されているアイコンを検出する近接アイコン検出手段と、
  上記近接アイコン検出手段で検出された上記選択手段が近接しているアイコンに対して複数の機能、或いは複数の文字や記号が割り当てられていた場合、上記選択手段が近接しているアイコンを、このアイコンに割り当てられている各機能、或いは割り当てられている文字や記号にそれぞれ対応するアイコンに分割すると共に、該分割した各アイコンをそれぞれ拡大して上記表示手段に表示するアイコン表示変更手段と
  を有する。Moreover, the portable terminal device according to the present invention is a means for solving the above-described problems.
 Icon display means for arranging and displaying one or a plurality of icons on the display means based on icon display information;
 A distance detection means for detecting a distance between a selection means for selecting the icon and a display surface of the display means by touching an icon displayed on the display means;
 Proximity determination means for determining whether or not the distance between the selection means and the display surface of the display means is equal to or less than a predetermined distance based on the detection output from the distance detection means;
 When the proximity determining means determines that the distance between the selecting means and the display surface of the display means is equal to or less than a predetermined distance, the display of the display means that is close to the selecting means Position detecting means for detecting a position on the surface;
 Based on the detection output from the position detection means and the display information of the icon displayed on the display means by the icon display means, the selection means is displayed at a position on the display surface close to the selection means. Proximity icon detection means for detecting the icon
 Whena plurality of functions, or a plurality of characters or symbols are assigned to the iconsthat are close to the selection means detected by the proximity icon detection means, the iconsthat are close to the selection means are It has icon display changing means for dividing each divided icon into an icon corresponding to each function assigned to the icon or assigned character or symbol and displaying the divided icon on the display means. .
  アイコン表示手段が、アイコンの表示情報に基づいて、表示手段に対して一つ或いは複数のアイコンを配置して表示するステップと、
  上記表示手段に表示されているアイコンに触れることで該アイコンを選択するための選択手段と上記表示手段の表示面との間の距離を検出する距離検出手段からの検出出力に基づいて、近接判別手段が、上記選択手段と上記表示手段の表示面との間の距離が所定の距離以下となったか否かを判別するステップと、
  上記近接判別手段により、上記選択手段と上記表示手段の表示面との間の距離が所定の距離以下になったものと判別された際に、近接アイコン検出手段が、上記選択手段が近接している上記表示手段の表示面上の位置を検出する位置検出手段からの検出出力と、上記アイコン表示手段により上記表示手段に表示されているアイコンの表示情報とに基づいて、上記選択手段が近接している上記表示面上の位置に表示されているアイコンを検出するステップと、
上記ステップで上記近接アイコン検出手段により検出された上記選択手段が近接しているアイコンに対して複数の機能、或いは複数の文字や記号が割り当てられていた場合、アイコン表示変更手段が、上記選択手段が近接しているアイコンを、このアイコンに割り当てられている各機能、或いは割り当てられている文字や記号にそれぞれ対応するアイコンに分割すると共に、該分割した各アイコンをそれぞれ拡大して上記表示手段に表示するステップと
  を有する。A step in which the icon display means arranges and displays one or more icons on the display means based on the display information of the icon;
 Proximity discrimination based on the detection output from the distance detection means for detecting the distance between the selection means for selecting the icon by touching the icon displayed on the display means and the display surface of the display means A means for determining whether a distance between the selection means and the display surface of the display means is equal to or less than a predetermined distance;
 When the proximity determining means determines that the distance between the selection means and the display surface of the display means is equal to or less than a predetermined distance, the proximity icon detection means The selection means approaches based on the detection output from the position detection means for detecting the position of the display means on the display surface and the display information of the icon displayed on the display means by the icon display means. Detecting an icon displayed at a position on the display surface,
Whena plurality of functions, or a plurality of characters and symbols are assigned to the iconthat is close to the selection means detected by the proximity icon detection means in thestep, the icon display change means is the selection means. Is divided into icons corresponding to the functions assigned to the icons or the letters and symbols assigned to the icons, and the divided icons are enlarged to be used as the display means. And displaying.
このような本発明は、複数の機能、或いは複数の文字や記号がそれぞれ割り当てられた複数のアイコンを表示手段に表示し、選択手段が近接した際に、そのアイコンに割り当てられている各機能、文字或いは記号に対応するアイコンを形成し、これら各アイコンを拡大して分割的に表示することで、表示手段の表示面のサイズが小さい場合でも、この小さな表示面を有効に利用して、ユーザに所望の機能、文字或いは記号を選択させ易くする。また、各機能、文字或いは記号に対応するアイコンを拡大表示することで、誤入力を防止する。In the present invention, a plurality of functions or a plurality of icons each assigned a plurality of characters and symbols are displayed on the display means, and when the selection means comes close, each function assigned to the icon, By forming icons corresponding to characters or symbols and enlarging and displaying these icons in a divided manner, even if the display surface size of the display means is small, the user can effectively use this small display surface. Makes it easy to select a desired function, character or symbol. In addition, an erroneous input is prevented by enlarging the icon corresponding to each function, character, or symbol.
本発明は、選択手段と表示手段の表示面との間の距離が所定の距離以下となった際に、この選択手段が近接している表示手段上の位置に表示されているアイコンを拡大表示することができる。 In the present invention, when the distance between the selection means and the display surface of the display means becomes a predetermined distance or less, the icon displayed at the position on the display means close to the selection means is enlarged and displayed. can do.
表示手段の画面サイズの小さな機器の場合、ユーザは、この小さな画面の中に複数表示されたアイコンの中から、所望のアイコンを選択する必要がある。この選択の際に、表示手段に表示されているアイコンを選択手段で触れて選択しようとすると、選択手段自体の大きさで所望のアイコン以外のアイコンに誤って触れてしまい選択されてしまう不都合を生ずる。 In the case of a device with a small screen size of the display means, the user needs to select a desired icon from among a plurality of icons displayed on the small screen. At the time of this selection, if an icon displayed on the display means is touched and selected by the selection means, the size of the selection means itself may accidentally touch an icon other than the desired icon and be selected. Arise.
しかし、本発明の場合、選択手段が近づいたアイコンが拡大表示されるため、ユーザは、この選択手段を近づけたアイコンに略々確実にタッチすることができる。このため、サイズの小さな表示部に多数のアイコンが表示されている場合でも、ユーザが希望するアイコンを確実に選択可能とすることができる。 However, in the case of the present invention, since the icon approaching the selection means is displayed in an enlarged manner, the user can almost certainly touch the icon close to the selection means. For this reason, even when a large number of icons are displayed on the display unit having a small size, it is possible to reliably select the icon desired by the user.
また、各アイコンの表示位置は、毎回、同じ表示位置であるため、ユーザがこれら各アイコンの表示位置を体感的に憶えてしまうようになる。そして、所望のアイコンの選択は、ユーザが所望のアイコンの表示位置をタッチすることで行うため、所望のアイコンを、直感的に選択可能とすることができる。 Further, since the display position of each icon is the same display position every time, the user can feel the display position of each icon. Since the user selects the desired icon by touching the display position of the desired icon, the desired icon can be selected intuitively.
また、本発明は、複数の機能、或いは複数の文字や記号がそれぞれ割り当てられた複数のアイコンを表示手段に表示し、選択手段が近接した際に、そのアイコンに割り当てられている各機能、文字或いは記号に対応するアイコンを形成し、これら各アイコンを拡大して分割的に表示することができる。 Further, the present invention displays a plurality of icons assigned to a plurality of functions or a plurality of characters and symbols on the display means, and each function or character assigned to the icon when the selection means approaches. Alternatively, icons corresponding to symbols can be formed, and each of these icons can be enlarged and displayed in a divided manner.
これにより、表示手段の表示面のサイズが小さい場合でも、この小さな表示面を有効に利用して、ユーザに所望の機能、文字或いは記号を選択させ易くすることができる。また、各機能、文字或いは記号に対応するアイコンが拡大表示されるため、誤入力を防止することができる。 Thereby, even when the size of the display surface of the display means is small, it is possible to make it easier for the user to select a desired function, character or symbol by effectively using this small display surface. In addition, since an icon corresponding to each function, character, or symbol is enlarged and displayed, erroneous input can be prevented.
また、選択手段で表示手段の表示面がタッチされる前に、選択手段の接触が予想されるアイコンを分割して、このアイコンに割り当てられている各機能、文字或いは記号の各アイコンを一覧的に表示し、この一覧的に表示された各アイコンの中から、選択手段のタッチにより、実際に実行が指定された機能、或いは実際に入力が指定された文字や記号の入力を受け付けるようになっている。このため、所望の文字や記号の入力操作を、1回のタッチ操作のみで終了させることができる。従って、所望の機能の選択操作、或いは所望の文字や記号の入力操作を大幅に削減することができる。 Also, before the display surface of the display means is touched by the selection means, the icons that are expected to be touched by the selection means are divided, and each function, character or symbol icon assigned to this icon is listed. From among the icons displayed in a list, the input of a function that is actually designated for execution or a character or symbol that is actually designated for input is accepted by touching the selection means. ing. For this reason, the input operation of a desired character or symbol can be completed with only one touch operation. Therefore, the operation for selecting a desired function or the operation for inputting a desired character or symbol can be greatly reduced.
本発明は、携帯電話機に適用することができる。 The present invention can be applied to a mobile phone.
[携帯電話機の外観構成]
  図1(a)に、この本発明の第1の実施の形態となる携帯電話機を正面側から見た場合の斜視図を、また、図1(b)に、この第1の実施の形態となる携帯電話機を背面側から見た場合の斜視図を示す。[Appearance structure of mobile phone]
 FIG. 1 (a) is a perspective view of the mobile phone according to the first embodiment of the present invention when viewed from the front side, and FIG. 1 (b) is the same as the first embodiment. The perspective view at the time of seeing the portable telephone which becomes from the back side is shown.
  この図1(a),(b)に示すように、この携帯電話機は、いわゆる折り畳み式の携帯電話機となっており、上部筐体1と、下部筐体2とがヒンジ部3を介して回動自在に連結されている。  As shown in FIGS. 1A and 1B, this mobile phone is a so-called foldable mobile phone, and an
  下部筐体2には、当該携帯電話機を折り畳んだ際に内側となる面側に、電話番号入力や発信操作等、所定の操作を行うためのキー入力部4が設けられている。このキー入力部4に設けられているキーとしては、「0」〜「9」の数字キー、*キー、#キー等の記号キー、発信操作を行うキー、各種機能を設定するキー、当該携帯電話機の背面側に設けられているカメラ部5を用いた撮影操作を行う撮影キー6等が設けられている。  The
  また、下部筐体2の一方の側面部には、回転操作と押圧操作が可能となっており、携帯メールの編集や各種入力操作を行うための回転操作部7が設けられている。  In addition, a rotation operation and a pressing operation can be performed on one side surface portion of the
  また、下部筐体2の下端部近傍(ヒンジ部3が設けられている端部に対して反対側となる端部の近傍)には、ユーザの通話音声等を電気信号に変換するマイクロホン部8が設けられている。  Further, in the vicinity of the lower end of the lower housing 2 (in the vicinity of the end opposite to the end provided with the hinge 3), a
  一方、上部筐体1には、当該携帯電話機を折り畳んだ際に内側と面側のヒンジ部3近傍に設けられ、入力された電話番号や携帯メール編集時における文字のクリア(削除)に用いられるクリアキー9と、メール編集時やアドレス帳編集時に入力する文字の種類を変更するための文字種変更キー10とが設けられている。この文字種変更キー10を操作することで、例えばかな文字→数字→英文字・・・等のように入力する文字の種類が切り替わるようになっている。  On the other hand, the
  また、この上部筐体1には、ヒシジ部3が設けられた端部に対して反対側となる端部にホイップアンテナ11が設けられており、また、この端部近傍には、通話音声や着信音等の音響出力を得るためのスピーカ部12が設けられている。  Further, the
  また、この上部筐体1には、各種情報やカメラ部5によって撮影された画像、通話相手から送られてきた画像等を表示するためのメイン表示部13が設けられている。このメイン表示部13の表面には、いわゆるタッチパネル20が設けられており、ユーザの指などが触れた場合には、当該携帯電話機の制御部側で(図2に示す制御部)、表示部13のどの位置に指が触れたかを検出可能となっている。  The
  また、この上部筐体1には、メイン表示部13に指等が近づいたことを検出するための二つの近接検出用カメラ部14,15が設けられている。後に説明するが、当該実施の形態の携帯電話機の場合、この近接検出用カメラ部14,15で撮像される画像に基づいて、メイン表示部13のどの位置にユーザの指等が近づいたかを検出しており、このユーザの指が近づいたことを検出したタイミングで、該ユーザの指が近づいたメイン表示部13上の位置に対応するアイコンや文字等の拡大表示(及び分割表示)を行うようになっている。  The
  また、この上部筐体1の背面には、当該携帯電話機のユーザが周りの風景や人物等の所望の被写体を撮影する際に用いるカメラ部5が設けられている。また、この上部筐体1の背面には、当該携帯電話機を折畳んだ際に外側の面側の略々中央に、各種情報やカメラ部5によって撮影された画像、通話相手から送られてきた画像等を表示する、上記メイン表示部13よりも小さめのサブ表示部16が設けられている。  In addition, a
  また、この上部筐体1の、上記回転操作部7が設けられている側面部と同じ側面部には、イヤホンジャック17が設けられており、このイヤホンジャック17にイヤホン装置を装着することで、上記スピーカ部12から音響出力を得る代わりに、このイヤホン装置を介して音響出力を得ることができるようになっている。
Further, an earphone jack 17 is provided on the same side surface portion of the
[携帯電話機の電気構成]
  図2に、この実施の形態の携帯電話機のブロック図を示す。この図2に示すように、この携帯電話機は、電話や携帯メール等の通信制御を行うための通信処理プログラム(コミュニケーションプログラム)や、タッチパネル20に対してユーザの指が近接したことが検出された際に、ユーザの指の位置に対応するアイコンや文字等の拡大表示や分割表示等を行うための入力処理プログラムの他、当該携帯電話機の機器ID等が記憶されたROM31(ROM:Read Only Memory)と、このROM31に記憶されているプログラムに基づいて、当該携帯電話機の通信処理,表示処理及び入力処理等を制御する制御部32とを有している。[Electric configuration of mobile phone]
 FIG. 2 is a block diagram of the mobile phone according to this embodiment. As shown in FIG. 2, this mobile phone detects a communication processing program (communication program) for performing communication control such as telephone and mobile mail, and that the user's finger is close to the
  また、この携帯電話機は、アンテナ11を介して送受信する画像データ、音声データ、携帯メールのデータ等を基地局との間で無線で送受信する通信回路33と、上記メイン表示部13及びサブ表示部16に相当する表示部34とを有している。なお、この表示部34のうち、メイン表示部13には、上述のようにその表面側にタッチパネル20が設けられている。  In addition, the cellular phone includes a communication circuit 33 that wirelessly transmits and receives image data, audio data, cellular mail data, and the like transmitted and received via the antenna 11, and the
  また、この携帯電話機は、上記「0」〜「9」の数字キー、*キー、#キー等の記号キー、発信操作を行うキー、各種機能を設定するキー、撮影キー6、回転操作部7、クリアキー9と、及び文字種変更キー10等の各キーが設けられた操作部35と、電話帳データや、画像、メールデータ、応答メッセージなど種々のデータを記憶する、読出し及び書込み可能なメモリ36とを有している。  Also, this cellular phone has the above numeric keys “0” to “9”, symbol keys such as * key and # key, keys for performing outgoing operation, keys for setting various functions, photographing key 6,
  また、この携帯電話機は、通話音声や着信音等の音響出力を得るためのスピーカ部12と、当該携帯電話機のユーザの送話音声を電気信号に変換するためのマイクロホン部8と、当該携帯電話機の背面側に設けられているカメラ部5の撮像制御を行うカメラ制御部37とを有している。  In addition, the mobile phone includes a
  また、この携帯電話機は、例えば二つの近接検出用カメラ部14,15で撮像された画像に基づいて、ユーザの指が上記メイン表示部13にどれぐらい、どの位置に近づいたかを検出する位置検出部38と、メイン表示部13の表面に設けられているタッチパネル20を制御するタッチパネル制御部39とを有している。  In addition, the mobile phone detects, for example, how much the user's finger approaches the
  これらの各ブロックは、制御部32からの制御データを伝送する制御ライン40、及び画像データや音声データ、携帯メールのデータ等のデータを伝送するデータライン41により相互に接続されており、また、各ブロックは、全て図示しない電源回路から供給される電源によって動作するようになっている。
Each of these blocks is connected to each other by a
[アイコンの拡大処理]
  この実施の形態の携帯電話機は、二つの近接検出用カメラ部14,15で撮像されたメイン表示部13の撮像画像に基づいて、ユーザの指がどれぐらいメイン表示部13に近づいているか、及びユーザの指が近づいたメイン表示部13上の位置を検出することで、メイン表示部13に表示しているアイコンのうち、どのアイコンがユーザによって選択されようとしているかを検出する。[Icon enlargement processing]
 The cellular phone according to this embodiment is based on the captured image of the
  ユーザの指がメイン表示部13に近接したことを検出するまでは、例えば同じ大きさのアイコンを等間隔でメイン表示部13に表示するのであるが、ユーザの指がメイン表示部13に近接したことを検出したタイミングで、その指が近づいた位置に対応するアイコンを拡大表示し、どのアイコンが選択されようとしているかをユーザに認識させる。  Until it is detected that the user's finger is close to the
  ユーザは、この拡大表示されたアイコンが、自分で選択を希望するアイコンであった場合、そのアイコンの表示領域をタッチする。制御部32は、タッチパネル20を介して、拡大表示しているアイコンがユーザによりタッチされたことを検出すると、このアイコンに対応するアプリケーション機能を実行制御する。  When the enlarged icon is an icon that the user desires to select, the user touches the display area of the icon. When detecting that an enlarged icon is touched by the user via the
  図3のフローチャートに、このようなアイコンの拡大処理の流れを示す。このフローチャートに示す処理は、制御部32により、図2に示すROM31に記憶されている入力処理プログラムに基づいて実行される。制御部32は、ROM31に記憶されている各アイコンの表示位置,表示形態、表示サイズ等を示す各アイコンの表示情報に基づいて、例えば図4(a)に示すようにメイン表示部13に対して当該携帯電話機に設けられているアプリケーション機能に対応するアイコンを表示することで、この入力処理プログラムに基づく図3のフローチャートをスタートとさせる。  The flowchart of FIG. 3 shows the flow of such icon enlargement processing. The processing shown in this flowchart is executed by the
  なお、この図4(a)は、カメラ機能の起動を指定するための「カメラ」のアイコン、携帯メールの作成や読み出し等を指定するための「メール」のアイコン、当該携帯電話機の携帯事業者のコミュニケーションネットワークやインターネット等の所定のネットワーク上に設けられているWebサイトへのネットワーク接続を指定するための「Web」のアイコン等がメイン表示部13に表示されている例である。  FIG. 4A shows a “camera” icon for designating activation of the camera function, a “mail” icon for designating creation and reading of a mobile mail, and a mobile carrier of the mobile phone. This is an example in which a “Web” icon or the like for designating a network connection to a Web site provided on a predetermined network such as a communication network or the Internet is displayed on the
  制御部32は、このようにメイン表示部13に対して各アイコンを表示すると、各近接検出用カメラ部14,15を起動制御し、この近接検出用カメラ部14,15からの各撮像画像に基づいて位置検出部38で検出される「ユーザの指とメイン表示部13との間の距離」及び「ユーザの指が近づいているメイン表示部13上の位置」の各検出出力の取り込みを開始する。  When the
  図3のフローチャートのステップS1は、この位置検出部38からの検出出力に基づく、制御部32の、ユーザの指がメイン表示部13に近接したか否かの監視処理を示している。制御部32は、ユーザの指がメイン表示部13に近接したものと判別するまでの間は、このステップS1を繰り返し実行することで、該近接したか否かの監視を継続して行い、ユーザの指がメイン表示部13に近接したことを示す、上記位置検出部38からの検出出力を取り込んだタイミングで処理をステップS2に進める。  Step S1 in the flowchart of FIG. 3 shows a monitoring process of whether or not the user's finger has approached the
  ステップS2では、制御部32が、位置検出部38で検出される「ユーザの指とメイン表示部13との間の距離」の検出出力に基づいて、ユーザの指とメイン表示部13との相対的な位置関係の監視を開始し、処理をステップS3に進める。  In step S <b> 2, the
  ステップS3では、制御部32が、位置検出部38で検出された「ユーザの指とメイン表示部13との間の距離」の検出出力と、予め記憶されている閾値とを比較することで、ユーザの指とメイン表示部13との間の距離が所定の距離α(=上記閾値)以下となったか否かを判別する。そして、ユーザの指とメイン表示部13との間の距離が所定の距離α以下となったことを検出するまでの間は、処理をステップS2に戻し、ユーザの指とメイン表示部13との間の距離が所定の距離α以下となったか否かの判別を継続して行い、ユーザの指とメイン表示部13との間の距離が所定の距離α以下となったことを検出したタイミングで処理をステップS4に進める。  In step S3, the
  ステップS4では、ユーザの指とメイン表示部13との間の距離が所定の距離α以下となったため、制御部32が、位置検出部38で検出される「ユーザの指が近づいているメイン表示部13上の位置」の検出出力に基づいて、現在、メイン表示部13上に表示している各アイコンのうち、どのアイコンにユーザの指が近づいているかを検出する。そして、このユーザの指が近づいているアイコンを図4(b)に示すように拡大表示制御する。なお、この図4(b)は、携帯メールの作成や読み出し等を指定するための「メール」のアイコンが拡大表示された例を示している。  In step S4, since the distance between the user's finger and the
  このようなステップS1〜ステップS4の処理をさらに詳細に説明すると、各近接検出用カメラ部14,15は、人間の左右の目を意識して、図1に示したようにメイン表示部13の右上隅及び左上隅に近接して設けられている。この二つの近接検出用カメラ部14,15は、図5に示すようにメイン表示部13の右上隅及び左上隅からそれぞれ撮像を行うのであるが、位置検出部38は、この各カメラ部14,15が設けられている位置を示すカメラ位置情報、及び各カメラ部14,15で撮像された各撮像画像に写っているユーザの指の位置から、メイン表示部13を上面側から見た場合の指の位置と、図6に示すようにメイン表示部13とユーザの指との間の距離をを算出する。  The processing in steps S1 to S4 will be described in more detail. The proximity
  そして、位置検出部38は、この算出結果から、ユーザの指がどのアイコンに接近しているか(どのアイコンが選択されようとしているか)を判断すると共に、そのアイコンに対してユーザの指がどの程度接近しているかを判断する。  Then, the
  制御部32は、位置検出部38から供給される「ユーザの指とメイン表示部13との間の距離」と、上記距離αに設定されている閾値とを比較することで、ユーザの指とメイン表示部13との間の距離が距離α以下に縮まったかを判別する。すなわち、ユーザの指とメイン表示部13との間の距離が距離αよりも離れている場合は、ユーザにアイコンの選択意志は薄いものと判断することができ、ユーザの指とメイン表示部13との間の距離が距離αよりも縮まった場合は、ユーザに、そのアイコンの選択意志があるものと判断することができる。  The
  このため、制御部32は、ユーザの指とメイン表示部13との間の距離が距離α以下に縮まったことを検出したタイミングで、位置検出部38から供給される「ユーザの指が近づいているメイン表示部13上の位置」の検出出力に基づいて、現在、メイン表示部13上に表示している各アイコンのうち、どのアイコンにユーザの指が近づいているかを検出する。そして、このユーザの指が近づいているアイコンを図4(b)に示すように拡大表示制御する。これにより、この拡大表示したアイコンを通じて、ユーザが選択しようとしているアプリケーション機能を該ユーザに認識させることができる。  For this reason, the
次に、このように拡大表示したアイコンが、ユーザが実行を希望するアプリケーション機能に対応するアイコンであった場合、ユーザは、この拡大表示されたアイコンにタッチするはずである。 Next, when the icon displayed in an enlarged manner is an icon corresponding to an application function that the user desires to execute, the user should touch the icon displayed in an enlarged manner.
  図2に示すタッチパネル制御部39は、ユーザがタッチパネル20にタッチしたか否かを検出しており、この検出出力を制御部32に供給している。制御部32は、図3のフローチャートのステップS5において、タッチパネル制御部39から、ユーザがタッチパネル20にタッチしたことを示す検出出力が供給されたか否かを判別することで、ユーザがタッチパネル20にタッチしたか否かを判別する。そして、ユーザがタッチパネル20にタッチしたことを示す検出出力が、タッチパネル制御部39から供給されたタイミングで処理をステップS6に進める。  The touch
  なお、上記ステップS4において拡大表示されたアイコンが、必ずしもユーザが選択を希望するアイコンであるとは限らない。そして、拡大表示されたアイコンが、ユーザが選択を希望するアイコンではない場合、ユーザはメイン表示部13における、拡大表示されたアイコンの表示位置には指を触れることなく、メイン表示部13の表示画面から上記距離αよりも指を大きく離すか、或いは指の位置を大きく変更するはずである。  Note that the icon displayed in an enlarged manner in step S4 is not necessarily the icon that the user desires to select. If the enlarged icon is not the icon that the user desires to select, the user can display the
  このため、ステップS5において、タッチパネル制御部39から、ユーザがタッチパネル20にタッチしたことを示す検出出力が供給されない場合、制御部32は、処理をステップS2に戻し、ユーザの指とメイン表示部13との相対的な位置関係を引き続き監視する。  For this reason, when the detection output which shows that the user touched the
  次に、ユーザがタッチパネル20にタッチしたことを示す検出出力が、タッチパネル制御部39から供給されると、制御部32は、ステップS6において、例えば図4(c)に示すように、ユーザによりタッチされたアイコンの表示色を変更制御し、及び(又は)ユーザによりタッチされたアイコンを高輝度で点灯(点滅)表示し、及び(又は)スピーカ部12を介して所定の音声を発音制御する等、そのアイコンがユーザにより選択されたことを示す表示制御、及び(又は)音声出力制御を行う。そして、この表示制御及び(又は)音声出力制御を、例えば1秒等の一定時間行った後、ユーザによりタッチされたアイコンに対応するアプリケーション機能を実行制御して、この図3のフローチャートに示すルーチンの実行を終了する。
Next, when a detection output indicating that the user touches the
[第1の実施の形態の効果]
  以上の説明から明らかなように、この第1の実施の形態の携帯電話機は、メイン表示部13に表示されている各アイコンのうち、ユーザの指が近づいたアイコンが拡大表示し、タッチパネル20にユーザの指がタッチした際に、その拡大表示したアイコンに対応するアプリケーション機能を実行する。[Effect of the first embodiment]
 As is clear from the above description, in the mobile phone according to the first embodiment, among the icons displayed on the
  携帯電話機の場合、メイン表示部13のサイズが小さく、また、ユーザは、この小さな画面の中に複数表示されたアイコンの中から、所望のアプリケーション機能に対応するアイコンを選択する必要がある。この選択の際に、メイン表示部13上のアイコンを指でタッチして選択しようとすると、指の大きさで他のアイコンが誤って選択される不都合も生ずる。  In the case of a mobile phone, the size of the
また、スタイラスペン等を用いてアイコンにタッチするようにすれば、所望のアイコンを略々確実に選択することが可能となるが、この場合、携帯電話機と共にスタイラスペンを常備しておく必要があり、また、スタイラスペンを紛失するおそれもある。 In addition, if the icon is touched using a stylus pen or the like, it becomes possible to select a desired icon almost certainly. In this case, it is necessary to have a stylus pen along with the mobile phone. There is also a risk of losing the stylus pen.
しかし、当該実施の形態の携帯電話機の場合、スタイラスペン等の特別な手段を用いることなく、指で所望のアイコンを選択することができる。また、指が近づいたアイコンが拡大表示されるため、ユーザは、この指を近づけた所望のアイコンを確実にタッチすることができる。このため、サイズの小さな表示部に多数のアイコンが表示されている場合でも、ユーザが希望するアプリケーション機能に対応するアイコンを確実に選択可能とすることができる。 However, in the case of the mobile phone of the embodiment, a desired icon can be selected with a finger without using a special means such as a stylus pen. In addition, since the icon approaching the finger is enlarged and displayed, the user can surely touch the desired icon with the finger approaching. For this reason, even when a large number of icons are displayed on the display unit having a small size, it is possible to reliably select an icon corresponding to the application function desired by the user.
また、各アイコンの表示位置は、毎回、同じ位置であるため、ユーザが当該携帯電話機を使用しているうちに各アイコンの表示位置を憶えてしまうようになる。そして、所望のアイコンの選択は、ユーザが所望のアイコンの表示位置をタッチすることで行う。このため、所望のアプリケーション機能に対応するアイコンを、直感的に選択可能とすることができる。 In addition, since the display position of each icon is the same every time, the display position of each icon is remembered while the user is using the mobile phone. The desired icon is selected by the user touching the display position of the desired icon. For this reason, the icon corresponding to a desired application function can be selected intuitively.
  なお、この第1の実施の形態の説明では、メイン表示部13の表面に設けられているタッチパネル20により、ユーザの指がメイン表示部13に触れたか否かを検出することとしたが、二つの近接検出用カメラ部14,15で撮像された撮像画像に基づいて、ユーザの指がメイン表示部13に触れたか否かを検出するようにしてもよい。この場合、二つの近接検出用カメラ部14,15で撮像された撮像画像に基づいて、ユーザの指とメイン表示部13との間の距離、及びユーザの指がメイン表示部13に触れたか否かが判別されることとなるため、タッチパネル20を不要とすることができる。
In the description of the first embodiment, the
[第2の実施の形態]
  次に、本発明の第2の実施の形態の携帯電話機の説明をする。この第2の実施の形態の携帯電話機は、ユーザの指がアイコンに近づいた際に、このアイコンを拡大表示すると共に、このアイコンに割り当てられている複数の機能や文字を分割して表示するようにしたものである。[Second Embodiment]
 Next, a mobile phone according to a second embodiment of the present invention will be described. When the user's finger approaches the icon, the mobile phone according to the second embodiment enlarges the icon and displays a plurality of functions and characters assigned to the icon in a divided manner. It is a thing.
なお、この第2の実施の形態と上述の第1の実施の形態とでは、この点のみが異なる。このため、以下、両者の差異の説明のみ行い、重複説明は省略することとする。 The second embodiment is different from the first embodiment only in this point. For this reason, only the difference between the two will be described below, and redundant description will be omitted.
  図7のフローチャートに、このようなアイコンの拡大分割処理の流れを示す。このフローチャートに示す処理は、制御部32により、図2に示すROM31に記憶されている入力処理プログラムに基づいて実行される。制御部32は、例えば図8(a)に示すようにそれぞれ複数の文字や記号が割り当てられているアイコンをメイン表示部13に表示することで、この入力処理プログラムに基づく図7のフローチャートをスタートとさせる。  The flowchart of FIG. 7 shows the flow of such an icon enlargement / division process. The processing shown in this flowchart is executed by the
なお、図8(a)に示す例は、上段、中段、下段にそれぞれ3つのアイコンを表示した例であり、上段右端のアイコンには「,@.」の各記号が割り当てられており、上段中央のアイコンには「ABC」の各文字が割り当てられており、上段右端のアイコンには「DEF」の各文字が割り当てられている例である。 The example shown in FIG. 8A is an example in which three icons are displayed in the upper, middle, and lower stages, and each symbol of “, @.” Is assigned to the icon on the upper right side. In this example, each character “ABC” is assigned to the central icon, and each character “DEF” is assigned to the icon at the upper right end of the upper row.
  制御部32は、このようにメイン表示部13に対して各アイコンを表示すると、各近接検出用カメラ部14,15を起動制御し、ステップS11において、この近接検出用カメラ部14,15からの各撮像画像に基づいて位置検出部38で検出される「ユーザの指とメイン表示部13との間の距離」及び「ユーザの指が近づいているメイン表示部13上の位置」の各検出出力の取り込みを開始する。そして、ユーザの指がメイン表示部13に近接したことを示す、上記位置検出部38からの検出出力を取り込んだタイミングで処理をステップS12に進める。  When the
  ステップS12では、制御部32が、位置検出部38で検出される「ユーザの指とメイン表示部13との間の距離」の検出出力に基づいて、ユーザの指とメイン表示部13との相対的な位置関係の監視を開始し、処理をステップS13に進める。  In step S <b> 12, the
  ステップS13では、制御部32が、位置検出部38で検出された「ユーザの指とメイン表示部13との間の距離」の検出出力と、予め記憶されている閾値とを比較することで、ユーザの指とメイン表示部13との間の距離が所定の距離α(=上記閾値)以下となったか否かを判別する。そして、ユーザの指とメイン表示部13との間の距離が所定の距離α以下となったことを検出するまでの間は、処理をステップS12に戻し、ユーザの指とメイン表示部13との間の距離が所定の距離α以下となったか否かの判別を継続して行い、ユーザの指とメイン表示部13との間の距離が所定の距離α以下となったことを検出したタイミングで処理をステップS14に進める。  In step S13, the
  ステップS14では、ユーザの指とメイン表示部13との間の距離が所定の距離α以下となったため、制御部32が、位置検出部38で検出される「ユーザの指が近づいているメイン表示部13上の位置」の検出出力に基づいて、現在、メイン表示部13上に表示している各アイコンのうち、どのアイコンにユーザの指が近づいているかを検出する。そして、このユーザの指が近づいているアイコンに割り当てられている文字或いは記号を、図8(b)に示すように拡大分割表示する。  In step S14, since the distance between the user's finger and the
  この図8(b)は、制御部32が、上段中央のアイコンにユーザの指が近づいたことを検出した例である。この場合、制御部32は、この上段中央のアイコンに割り当てられている「ABC」の各文字をアイコン化して、大きめに拡大すると共に、各文字のアイコンを分割して表示制御する。これにより、この拡大分割表示したアイコンを通じて、ユーザに対して所望の文字や記号を選択させ易くすることができる。  FIG. 8B shows an example in which the
  ユーザは、このように拡大分割表示されたアイコンの中に、入力を希望する文字に対応するアイコンが存在する場合、この入力を希望する文字に対応するアイコンにタッチする。制御部32は、ステップS15において、タッチパネル制御部39から、ユーザがタッチパネル20にタッチしたことを示す検出出力が供給されたか否かを判別することで、ユーザがタッチパネル20にタッチしたか否かを判別する。そして、ユーザがタッチパネル20にタッチしたことを示す検出出力が、タッチパネル制御部39から供給されたタイミングで処理をステップS16に進める。  When an icon corresponding to a character desired to be input exists among the icons displayed in an enlarged and divided manner as described above, the user touches the icon corresponding to the character desired to be input. In step S <b> 15, the
  なお、このように拡大分割表示されたアイコンの中に、入力を希望する文字が存在しない場合、ユーザは、他のアイコンの表示位置に指を移動させ、或いはメイン表示部13の表示面から大きく指を離間させるはずである。このため、制御部32は、ステップS15において、「ユーザの指が近づいているメイン表示部13上の位置」の検出出力に基づいて、ユーザの指の位置が、上記アイコンの表示位置から大きく移動し、或いはメイン表示部13と指との間の距離が上記距離α以上となったか否かを判別する。  In addition, when there is no character desired to be input in the icons displayed in an enlarged and divided manner in this way, the user moves his / her finger to the display position of another icon, or greatly increases from the display surface of the
  そして、ユーザの指の位置が、上記アイコンの表示位置から大きく移動し、或いはメイン表示部13の表示面から大きく離れたものと判別した場合は、処理をステップS12に戻し、ユーザの指とメイン表示部13との相対的な位置関係を引き続き監視する。これにより、ユーザの指が各アイコンの表示位置を移動する毎に、この移動先となるアイコンに割り当てられている各文字や記号が、上述のように拡大分割表示されることとなる。  When it is determined that the position of the user's finger is greatly moved from the display position of the icon or is largely separated from the display surface of the
  次に、ステップS16では、制御部32が、例えば図8(c)に示すように、ユーザによりタッチされたアイコンの表示色を変更制御し、及び(又は)ユーザによりタッチされたアイコンを高輝度で点灯(点滅)表示し、及び(又は)スピーカ部12を介して所定の音声を発音制御する等、そのアイコンに対応する文字や記号がユーザにより選択されたことを示す表示制御、及び(又は)音声出力制御を行い、処理をステップS17に進める。なお、図8(c)は、拡大分割表示された「ABC」の各文字のうち、ユーザが「A」の文字に対応するアイコンをタッチした例を示している。  Next, in step S16, the
  ステップS17では、制御部32が、このステップS16の表示制御及び(又は)音声出力制御を、例えば1秒等の一定時間行った後、ユーザによりタッチされたアイコンに対応する文字を、例えばメイン表示部13に表示している携帯メールの入力画面等に表示制御して、この図7のフローチャートに示すルーチンの実行を終了する。
In step S17, the
[第2の実施の形態の効果]
  以上の説明から明らかなように、この第2の実施の形態の携帯電話機は、複数の文字や記号がそれぞれ割り当てられた複数のアイコンをメイン表示部13に表示し、ユーザの指が近接した際に、そのユーザの指が近接したアイコンに割り当てられている各文字や記号を拡大分割表示する。これにより、上述の第1の実施の形態と同様の効果を得ることができる他、以下の効果を得ることができる。[Effect of the second embodiment]
 As is apparent from the above description, the mobile phone according to the second embodiment displays a plurality of icons, each assigned a plurality of characters and symbols, on the
すなわち、各文字や記号に対応するアイコンを拡大表示することで、携帯電話機の小さな表示領域を有効に利用して、ユーザに所望の文字や記号を選択させ易くすることができる。また、各文字や記号に対応するアイコンが拡大表示されるため、誤入力を防止することができる。 That is, by enlarging and displaying icons corresponding to each character and symbol, it is possible to make it easier for the user to select a desired character and symbol by effectively using a small display area of the mobile phone. In addition, since the icons corresponding to the respective characters and symbols are displayed in an enlarged manner, erroneous input can be prevented.
  また、ユーザが指でメイン表示部13をタッチする前に、ユーザにより入力が予想される文字や記号の一覧を表示し、この一覧の中から、タッチにより、実際に入力が指定された文字や記号の入力を受け付けるようになっている。このため、所望の文字や記号の入力操作を、1回のタッチ操作のみで終了させることができる。従って、所望の文字や記号の入力操作を大幅に削減することができる。  In addition, before the user touches the
  なお、この第2の実施の形態の説明では、各アイコンには複数の文字や記号が割り当てられており、ユーザの指が近接した際に、そのアイコンに割り当てられている各文字や記号を拡大分割表示することとしたが、これは、各アイコンには複数の機能が割り当てられており、ユーザの指が近接した際に、そのアイコンに割り当てられている各機能を示す文字やアイコンを拡大分割表示するようにしてもよい。
In the description of the second embodiment, a plurality of characters and symbols are assigned to each icon, and each character and symbol assigned to the icon is enlarged when the user's finger approaches. Although it was decided to display in a divided manner, each icon is assigned multiple functions, and when a user's finger approaches, the characters and icons indicating the functions assigned to that icon are enlarged and divided. You may make it display.
[変形例1]
  上述の各実施の形態の説明では、メイン表示部13とユーザの指の相対的な位置関係を二つの近接検出用カメラ部14,15により撮像された撮像画像に基づいて検出することとしたが、この二つの近接検出用カメラ部14,15の代わりに、上記タッチパネル20として静電容量方式のタッチパネルを設け、この静電容量方式のタッチパネルで検出される電流値に基づいて、メイン表示部13とユーザの指の相対的な位置関係を検出するようにしてもよい。[Modification 1]
 In the description of each embodiment described above, the relative positional relationship between the
  静電容量方式のタッチパネルの場合、図9に示すように当該タッチパネルにユーザの指が近づくにつれ、検出される電流値が大きくなる。このため、制御部32は、図9に示すようにユーザの指と当該タッチパネルとの間の距離が上述の一定距離αとなった際に検出される電流値を閾値Sとして保持すると共に、ユーザの指が当該タッチパネルに触れた際に検出される電流値を閾値Lとして保持する。  In the case of a capacitive touch panel, as shown in FIG. 9, the detected current value increases as the user's finger approaches the touch panel. For this reason, the
  そして、当該タッチパネルから閾値Sの電流値が検出された際に、ユーザの指と当該タッチパネルとの間の距離が一定距離αとなったものと判断して、上述のアイコンの拡大処理、或いはアイコンの拡大分割処理を行い、当該タッチパネルから閾値Lの電流値が検出された際に、ユーザの指が当該タッチパネルに触れたものと判断して、ユーザが触れたアイコンに対応するアプリケーション機能を実行し、或いはユーザが触れたアイコンに対応する文字や記号の入力処理を行う。これにより、各実施の形態と同様の効果を得ることができる。
Then, when the current value of the threshold value S is detected from the touch panel, it is determined that the distance between the user's finger and the touch panel has become a certain distance α, and the above-described icon enlargement process or icon When the current value of threshold L is detected from the touch panel, it is determined that the user's finger has touched the touch panel, and the application function corresponding to the icon touched by the user is executed. Alternatively, input processing of characters and symbols corresponding to the icon touched by the user is performed. Thereby, the effect similar to each embodiment can be acquired.
[変形例2]
  また、上記各近接検出用カメラ部14,15の代わりに、メイン表示部13に対して光学式のセンサを設け、この光学式のセンサで検出される光の遮断位置に基づいて、メイン表示部13とユーザの指の相対的な位置関係を検出するようにしてもよい。[Modification 2]
 Further, instead of the proximity
  すなわち、この例の場合、図10に示すようにメイン表示部13の枠に、該メイン表示部13の表示面から例えば5mmの位置に、ユーザの指が当該メイン表示部13に近接したことを検出するための第1の赤外線センサが設けられており、メイン表示部13の表示面から例えば1mmの位置に、ユーザの指が当該メイン表示部13に触れたことを検出するための第2の赤外線センサが設けられている。  That is, in the case of this example, as shown in FIG. 10, the fact that the user's finger is close to the
  そして、ユーザの指がメイン表示部13の表示面から例えば5mmの位置まで近接すると、第1の赤外線センサからの赤外線出力が遮断されたことを示す検出出力が得られ、ユーザの指がメイン表示部13の表示面から例えば1mmの位置まで近接すると、第2の赤外線センサからの赤外線出力が遮断されたことを示す検出出力が得られるようになっている。  When the user's finger approaches the display surface of the
  制御部32は、第1の赤外線センサからの赤外線出力が遮断されたことを示す検出出力が得られた場合、ユーザの指とメイン表示部13との間の距離が一定距離αとなったものと判断して、上述のアイコンの拡大処理、或いはアイコンの拡大分割処理を行い、第2の赤外線センサからの赤外線出力が遮断されたことを示す検出出力が得られた場合、ユーザの指がメイン表示部13の表示面に触れたものと判断して、ユーザが触れたアイコンに対応するアプリケーション機能を実行し、或いはユーザが触れたアイコンに対応する文字や記号の入力処理を行う。これにより、図2に示すタッチパネル20及びタッチパネル制御部39を省略することができる他、上述の各実施の形態と同様の効果を得ることができる。  When the detection output indicating that the infrared output from the first infrared sensor is interrupted is obtained, the
  なお、この例では、ユーザの指がメイン表示部13の表示面に近接したこと、及びユーザの指がメイン表示部13の表示面に触れたことを、それぞれ赤外線センサで検出することとしたが、ユーザの指がメイン表示部13の表示面に近接したことのみ赤外線センサで検出し、メイン表示部13の表示面にユーザの指が触れたか否かは、該メイン表示部13の表示面にタッチパネルを設け、このタッチパネルに触れたか否かで判別するようにしてもよい。
In this example, the infrared sensor detects that the user's finger has come close to the display surface of the
最後に、上述の各実施の形態の説明では、本発明を携帯電話機に適用することとしたが、これは、PHS電話機(PHS:Personal Handyphone System)やPDA装置(PDA:Personal Digital Assistant)等の他の携帯端末装置に適用してもよい。 Lastly, in the description of each of the above-described embodiments, the present invention is applied to a mobile phone. This is applicable to PHS phones (PHS: Personal Handyphone System), PDA devices (PDA: Personal Digital Assistant), etc. You may apply to another portable terminal device.
また、上述の各実施の形態は、あくまでも本発明の一例として開示したに過ぎない。このため、本発明は、上述の各実施の形態に限定されることはなく、上述の各実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論であることを付け加えておく。 Moreover, each above-mentioned embodiment is only disclosed as an example of this invention to the last. For this reason, the present invention is not limited to the above-described embodiments, and the design and the like are within the scope of the technical idea according to the present invention, even if other than the above-described embodiments. It should be added that various changes can be made according to the above.
  1  上部筐体、2  下部筐体、3  ヒンジ部、4  キー入力部、5  カメラ部、6  撮影キー、7  回転操作部、8  マイクロホン部、9  クリアキー、10  文字種変更キー、11  ホイップアンテナ、12  スピーカ部、13  メイン表示部、14  近接検出用カメラ部、15  近接検出用カメラ部、16  サブ表示部、17  イヤホンジャック、20  タッチパネル、31  ROM、  32  制御部、33  通信回路、34  表示部、35  操作部、36  メモリ、37  カメラ制御部、38  位置検出部、39  タッチパネル制御部、40  制御ライン、41  データライン  DESCRIPTION OF
| Application Number | Priority Date | Filing Date | Title | 
|---|---|---|---|
| JP2005051876AJP4479962B2 (en) | 2005-02-25 | 2005-02-25 | Input processing program, portable terminal device, and input processing method | 
| Application Number | Priority Date | Filing Date | Title | 
|---|---|---|---|
| JP2005051876AJP4479962B2 (en) | 2005-02-25 | 2005-02-25 | Input processing program, portable terminal device, and input processing method | 
| Publication Number | Publication Date | 
|---|---|
| JP2006236143A JP2006236143A (en) | 2006-09-07 | 
| JP2006236143A5 JP2006236143A5 (en) | 2008-03-27 | 
| JP4479962B2true JP4479962B2 (en) | 2010-06-09 | 
| Application Number | Title | Priority Date | Filing Date | 
|---|---|---|---|
| JP2005051876AExpired - LifetimeJP4479962B2 (en) | 2005-02-25 | 2005-02-25 | Input processing program, portable terminal device, and input processing method | 
| Country | Link | 
|---|---|
| JP (1) | JP4479962B2 (en) | 
| Publication number | Priority date | Publication date | Assignee | Title | 
|---|---|---|---|---|
| CN101770335B (en)* | 2008-12-26 | 2012-08-08 | 兄弟工业株式会社 | Inputting apparatus | 
| CN105814530A (en)* | 2013-12-05 | 2016-07-27 | 三菱电机株式会社 | Display control device and display control method | 
| Publication number | Priority date | Publication date | Assignee | Title | 
|---|---|---|---|---|
| JP4900824B2 (en)* | 2007-09-18 | 2012-03-21 | トヨタ自動車株式会社 | Input display device | 
| JP4979570B2 (en) | 2007-12-28 | 2012-07-18 | パナソニック株式会社 | Electronic device input device, input operation processing method, and input control program | 
| JP4990753B2 (en) | 2007-12-28 | 2012-08-01 | パナソニック株式会社 | Electronic device input device, input operation processing method, and input control program | 
| JP5127547B2 (en)* | 2008-04-18 | 2013-01-23 | 株式会社東芝 | Display object control device, display object control program, and display device | 
| KR101502002B1 (en)* | 2008-05-21 | 2015-03-12 | 엘지전자 주식회사 | Mobile terminal using proximity touch and control method thereof | 
| KR101498039B1 (en)* | 2008-06-02 | 2015-03-03 | 엘지전자 주식회사 | Mobile communication terminal and character display method using the same | 
| KR101495350B1 (en) | 2008-06-24 | 2015-02-24 | 엘지전자 주식회사 | Portable terminal capable of sensing proximity touch | 
| KR101493089B1 (en) | 2008-07-10 | 2015-02-12 | 주식회사 케이티 | Method For Providing User Interface In Touch Input Recognizing Apparatus And Touch Input Recognizing Device Performing The Same | 
| US9658765B2 (en)* | 2008-07-31 | 2017-05-23 | Northrop Grumman Systems Corporation | Image magnification system for computer interface | 
| US10983665B2 (en) | 2008-08-01 | 2021-04-20 | Samsung Electronics Co., Ltd. | Electronic apparatus and method for implementing user interface | 
| JP4752887B2 (en) | 2008-09-12 | 2011-08-17 | ソニー株式会社 | Information processing apparatus, information processing method, and computer program | 
| WO2010069271A1 (en)* | 2008-12-19 | 2010-06-24 | 华为终端有限公司 | Touch screen input method, device and communication terminal | 
| JP5287403B2 (en)* | 2009-03-19 | 2013-09-11 | ソニー株式会社 | Information processing apparatus, information processing method, and program | 
| US8111247B2 (en)* | 2009-03-27 | 2012-02-07 | Sony Ericsson Mobile Communications Ab | System and method for changing touch screen functionality | 
| KR100929306B1 (en) | 2009-05-27 | 2009-11-27 | 박창규 | Input device and input method | 
| JP5843762B2 (en)* | 2009-06-05 | 2016-01-13 | ダッソー システムズ ソリッドワークス コーポレイション | Method and system for expanding predictive targets | 
| JP5532300B2 (en)* | 2009-12-24 | 2014-06-25 | ソニー株式会社 | Touch panel device, touch panel control method, program, and recording medium | 
| EP2544079A4 (en)* | 2010-03-05 | 2016-07-13 | Nec Corp | Portable terminal device | 
| JP5492627B2 (en)* | 2010-03-25 | 2014-05-14 | 株式会社ジャパンディスプレイ | Information display device and information display method | 
| JP5625599B2 (en) | 2010-08-04 | 2014-11-19 | ソニー株式会社 | Information processing apparatus, information processing method, and program | 
| US20120050007A1 (en)* | 2010-08-24 | 2012-03-01 | Babak Forutanpour | Methods and apparatus for interacting with an electronic device application by moving an object in the air over an electronic device display | 
| JP2013061680A (en)* | 2010-10-14 | 2013-04-04 | Nikon Corp | Display device | 
| JP5304848B2 (en) | 2010-10-14 | 2013-10-02 | 株式会社ニコン | projector | 
| KR101646616B1 (en) | 2010-11-30 | 2016-08-12 | 삼성전자주식회사 | Apparatus and Method for Controlling Object | 
| CN102043584A (en)* | 2010-12-07 | 2011-05-04 | 中兴通讯股份有限公司 | Input method and device applied to digital terminal | 
| JP5617603B2 (en) | 2010-12-21 | 2014-11-05 | ソニー株式会社 | Display control apparatus, display control method, and program | 
| US9354804B2 (en)* | 2010-12-29 | 2016-05-31 | Microsoft Technology Licensing, Llc | Touch event anticipation in a computing device | 
| JP5776964B2 (en)* | 2011-03-04 | 2015-09-09 | 日本電気株式会社 | Information display device, display control method, and program | 
| JP2012190184A (en)* | 2011-03-09 | 2012-10-04 | Sony Corp | Image processing device, method, and program | 
| JP2012190183A (en) | 2011-03-09 | 2012-10-04 | Sony Corp | Image processing device, method, and program | 
| JP5654118B2 (en)* | 2011-03-28 | 2015-01-14 | 富士フイルム株式会社 | Touch panel device, display method thereof, and display program | 
| JP2012226691A (en)* | 2011-04-22 | 2012-11-15 | Ntt Docomo Inc | Display control device and display control method | 
| JP2012248066A (en) | 2011-05-30 | 2012-12-13 | Canon Inc | Image processing device, control method of the same, control program and imaging apparatus | 
| JP5155427B2 (en)* | 2011-06-08 | 2013-03-06 | 株式会社コナミデジタルエンタテインメント | GAME DEVICE, GAME DEVICE CONTROL METHOD, AND PROGRAM | 
| EP2720120A4 (en)* | 2011-06-10 | 2014-12-17 | Nec Casio Mobile Comm Ltd | Input device and method for controlling touch panel | 
| JP5810874B2 (en)* | 2011-12-06 | 2015-11-11 | 株式会社日本自動車部品総合研究所 | Display control system | 
| DE112012005561T5 (en)* | 2012-01-03 | 2014-11-06 | Intel Corporation | Touch screen interaction methods and devices | 
| JP2015084124A (en)* | 2012-02-06 | 2015-04-30 | パナソニック株式会社 | Information processing device | 
| US20140208957A1 (en)* | 2012-02-14 | 2014-07-31 | Panasonic Corporation | Electronic device | 
| JP5828800B2 (en) | 2012-04-23 | 2015-12-09 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | Display device, display control method, and program | 
| US9904457B2 (en)* | 2012-04-25 | 2018-02-27 | Nokia Technologies Oy | Causing display of a three dimensional graphical user interface with dynamic selectability of items | 
| JP5972692B2 (en)* | 2012-07-11 | 2016-08-17 | 株式会社Nttドコモ | User interface device, user interface method and program | 
| JP5620440B2 (en) | 2012-08-09 | 2014-11-05 | パナソニックインテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | Display control apparatus, display control method, and program | 
| JP5798532B2 (en)* | 2012-08-23 | 2015-10-21 | 株式会社Nttドコモ | User interface device, user interface method and program | 
| CN102937866B (en)* | 2012-11-12 | 2015-05-13 | 小米科技有限责任公司 | Screen control method and terminal | 
| JP6024466B2 (en) | 2013-01-16 | 2016-11-16 | 富士通株式会社 | Information processing apparatus, information processing method, and information processing program | 
| JP5666641B2 (en) | 2013-03-13 | 2015-02-12 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | Information terminal | 
| KR102118084B1 (en)* | 2013-03-22 | 2020-06-02 | 삼성전자주식회사 | Method and apparatus for displaying screen in device comprising a touch screen | 
| US9407779B2 (en) | 2013-05-28 | 2016-08-02 | Kyocera Document Solutions Inc. | Display apparatus and image forming apparatus | 
| JP6244712B2 (en)* | 2013-07-23 | 2017-12-13 | 富士通株式会社 | Image processing apparatus, image processing method, and image processing program | 
| CN107071092A (en)* | 2016-07-16 | 2017-08-18 | 叶大可 | A kind of smart mobile phone | 
| JP2019124979A (en)* | 2018-01-11 | 2019-07-25 | 株式会社エースプロ | Position detection apparatus, position detection method, shooting game apparatus, and shooting game method | 
| JP7365429B2 (en)* | 2019-12-13 | 2023-10-19 | アルプスアルパイン株式会社 | input device | 
| Publication number | Priority date | Publication date | Assignee | Title | 
|---|---|---|---|---|
| JPH02153415A (en)* | 1988-12-06 | 1990-06-13 | Hitachi Ltd | keyboard device | 
| JP2002358162A (en)* | 2001-06-01 | 2002-12-13 | Sony Corp | Picture display device | 
| JP2004302958A (en)* | 2003-03-31 | 2004-10-28 | Kyocera Mita Corp | Information input device and image forming device | 
| Publication number | Priority date | Publication date | Assignee | Title | 
|---|---|---|---|---|
| CN101770335B (en)* | 2008-12-26 | 2012-08-08 | 兄弟工业株式会社 | Inputting apparatus | 
| US8271900B2 (en) | 2008-12-26 | 2012-09-18 | Brother Kogyo Kabushiki Kaisha | Inputting apparatus | 
| CN105814530A (en)* | 2013-12-05 | 2016-07-27 | 三菱电机株式会社 | Display control device and display control method | 
| CN105814530B (en)* | 2013-12-05 | 2018-11-13 | 三菱电机株式会社 | Display control device and display control method | 
| Publication number | Publication date | 
|---|---|
| JP2006236143A (en) | 2006-09-07 | 
| Publication | Publication Date | Title | 
|---|---|---|
| JP4479962B2 (en) | Input processing program, portable terminal device, and input processing method | |
| US11762547B2 (en) | Portable electronic device for instant messaging | |
| US10999442B2 (en) | Portable multifunction device, method, and graphical user interface for conference calling | |
| US8082523B2 (en) | Portable electronic device with graphical user interface supporting application switching | |
| US20080098331A1 (en) | Portable Multifunction Device with Soft Keyboards | |
| US9137353B2 (en) | Electronic device and display method employed in electronic device | |
| JP5160337B2 (en) | INPUT PROCESSING DEVICE, INPUT PROCESSING METHOD, INPUT PROCESSING PROGRAM, AND PORTABLE TERMINAL DEVICE | |
| JP6088356B2 (en) | Mobile terminal, display control program, and display control method | |
| JP5030564B2 (en) | Mobile phone and control method thereof | |
| JP2006072489A (en) | Information processing apparatus and display control program | |
| KR101354820B1 (en) | Electronic device and mode controlling method the same and mobile communication terminal | |
| JP5793054B2 (en) | Portable terminal device, program, and execution suppression method | |
| JP2020017218A (en) | Electronic device, control program, and display control method | |
| JP2016181291A (en) | Device, control method, and control program | |
| HK1189964A (en) | Portable electronic device for instant messaging | 
| Date | Code | Title | Description | 
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney | Free format text:JAPANESE INTERMEDIATE CODE: A7422 Effective date:20071009 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20080212 | |
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20080212 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20090930 | |
| A711 | Notification of change in applicant | Free format text:JAPANESE INTERMEDIATE CODE: A711 Effective date:20091002 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20091027 | |
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20100310 | |
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20100310 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20130326 Year of fee payment:3 | |
| R150 | Certificate of patent or registration of utility model | Free format text:JAPANESE INTERMEDIATE CODE: R150 |