【０００１】[0001]
【産業上の利用分野】本発明は、画面上でペン等による
手書きでの編集を行えるようにした情報処理装置に関
し、詳しくはジェスチャー処理装置に関するものであ
る。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an information processing apparatus capable of editing by handwriting on a screen with a pen or the like, and more particularly to a gesture processing apparatus.
【０００２】[0002]
【従来の技術】従来、ワードプロセッサやコンピュータ
等の情報処理装置においては、キーボードにより入力を
行うのが一般的であった。このような情報処理装置で
は、文書等の編集を行う場合、カーソル移動のキー操作
によりカーソルを移動させて編集箇所や編集領域の指定
を行い、編集用のキー操作により所望の編集処理を実行
させていた。上記の情報処理装置に対し、近年では、座
標入力用のペンを用いて、画面を直接指し示すことによ
り座標入力を行ったり、画面上で文字等の入力を行える
ようにした装置がある。2. Description of the Related Art Conventionally, in an information processing apparatus such as a word processor or a computer, input is generally performed by a keyboard. In such an information processing apparatus, when editing a document or the like, a cursor is moved by a key operation of a cursor movement to specify an editing location or an editing area, and a desired editing process is executed by an editing key operation. I was In recent years, there has been an apparatus for inputting coordinates by directly pointing the screen using a pen for inputting coordinates, or inputting characters or the like on the screen.
【０００３】上記のような手書き入力を可能にした情報
処理装置で、画面上に手書きにより文字を入力する例に
ついて説明する。[0003] An example in which a character is input by handwriting on a screen in an information processing apparatus capable of inputting handwriting as described above will be described.
【０００４】例えば、図１３に示すように「本日は良い
天気です。」という文章の「良い」の前に「大変」を加
える場合、まず、同図の（ａ）に示す画面５１において
文末にあるカーソル５２を、同図の（ｂ）に示すように
キーまたはペン等により「良」の位置に移動させる。そ
して、画面５１の下部に設けられたガイダンス領域５３
内の手書きボタン５４が押されると、同図の（ｃ）に示
すように、ガイダンス領域５３の上側に手書き認識用入
力ボード５５が現れる。したがって、その手書き認識用
入力ボード５５内に設けられたウインド５６に「大変」
と手書きを行うと、文章中の「良い」の前に「大変」が
加えられる。For example, as shown in FIG. 13, when adding “very” before “good” in the sentence “Today is good weather.” First, in the screen 51 shown in FIG. A certain cursor 52 is moved to a “good” position by a key or a pen as shown in FIG. The guidance area 53 provided at the lower part of the screen 51
When the handwriting button 54 is pressed, a handwriting recognition input board 55 appears above the guidance area 53 as shown in FIG. Therefore, the window 56 provided in the handwriting recognition input board 55 has a "very"
And "handwriting", "very" is added before "good" in the text.
【０００５】また、このような手書きによる入力を可能
にした情報処理装置では、手書きにより文書等の編集を
行ういわゆるジェスチャー機能を備えたものがある。こ
の種の情報処理装置は、各種の編集処理を実行させるた
めの複数のコマンドをそれぞれ特有の形状の線画に対応
させて記憶しており、ペン等により画面上に線画が描か
れると、その線画の形状に応じたコマンドを認識して編
集処理を行うようになっている。[0005] Some of such information processing apparatuses that enable input by handwriting have a so-called gesture function of editing a document or the like by handwriting. This type of information processing apparatus stores a plurality of commands for executing various types of editing processing in association with line drawings having a specific shape. When a line drawing is drawn on a screen with a pen or the like, the line drawing is performed. The editing process is performed by recognizing a command corresponding to the shape of the.
【０００６】[0006]
【発明が解決しようとする課題】ところが、上記のよう
に手書きで文字を入力する場合、カーソル５２の位置指
定のための操作と手書き認識用入力ボード５５を表示さ
せるための手書きボタン５４の操作とが必要になってい
た。この場合、カーソル５２の位置指定を行う領域と手
書きボタン５４の操作を行うガイダンス領域５３とが離
れているため、操作性があまり良くなかった。However, when characters are input by handwriting as described above, the operation for specifying the position of the cursor 52 and the operation of the handwriting button 54 for displaying the input board 55 for handwriting recognition are performed. Was needed. In this case, since the guidance region 53 for operating the handwriting button 54 and area for locating the cursor 52 is away, the operability was Tsuor a so good.
【０００７】そして、このジェスチャー機能はペン等の
座標入力手段を用いて手書きによって行われるため、キ
ーボードを用いて編集コマンドを直接入力する方法に比
べて、誤動作や誤認識を引き起こし易く、信頼性や操作
性が低く編集効率が悪いものとなっていた。具体的に
は、データ入力用のキーボードとペン等の座標入力手段
とが備えられている場合、座標入力手段によってジェス
チャー入力している途中にキーボードが操作されると強
制割り込みが働きジェスチャー認識処理が中断してしま
うという問題点があった。また、認識処理が中断しない
場合であっても誤操作されたキーがカーソル移動キーで
あった場合には編集対象位置が変化するなどの問題点も
あった。[0007]This gesture function is used for a pen or the like.
Since this is done by handwriting using the coordinate input means,
Compared with the method of directly inputting edit commands using the keyboard.
In general, it is easy to cause malfunctions and misrecognition, reliability and operation
The editing efficiency was poor due to low efficiency. Specifically
Is a keyboard for data input and coordinate input means such as a pen
Is provided, the gesture is input by the coordinate input means.
If the keyboard is operated during char input,
The gesture recognition process was interrupted
There was a problem that. Also, the recognition process is not interrupted
Even if the wrong key is
If there is, there are also problems such as the position of the edit target changes
there were.
【０００８】本発明は、上記の事情に鑑みてなされたも
のであって、手書きによる文字等の入力における操作性
の改善を図るとともに、手書き編集における上記のよう
な問題点を解決して手書き編集の実用性をより高めるこ
とを目的としている。The present invention has been made in view of the above circumstances, and aims to improve operability in inputting characters and the like by handwriting and to solve the above-described problems in handwriting editing by handwriting editing. The aim is to further enhance the practicality of.
【０００９】[0009]
【課題を解決するための手段】請求項１のジェスチャー
処理装置は、上記の課題を解決するために、キー入力手
段と、座標入力手段と、座標入力手段から入力される連
続する座標のストロークを抽出し、予め記憶された基本
ストロークと照合して最も近似する基本ストロークに対
応するコマンドを認識するジェスチャー認識手段と、ジ
ェスチャー認識手段によって認識されたコマンドおよび
キー入力手段から入力されるデータやコマンドに従って
表示画面に表示されている文字等の画像情報を編集する
編集手段と、ジェスチャー認識手段による認識処理中に
おけるキー入力手段からの入力を監視して、認識処理中
にキー入力手段からのデータやコマンドの入力を無効に
するキー入力無効手段とを備えていることを特徴として
いる。According to a first aspect of the present invention, there is provided a gesture processing apparatus, comprising: a key input unit; a coordinate input unit; and a stroke of continuous coordinates input from the coordinate input unit. A gesture recognition unit that extracts and matches a command corresponding to the closest basic stroke by comparing with a previously stored basic stroke, and a command recognized by the gesture recognition unit and data or a command input from the key input unit. An editing unit for editing image information such as characters displayed on the display screen, and an input from the key input unit during recognition processing by the gesture recognition unit is monitored, and data and commands from the key input unit during recognition processing are monitored. And key input invalidating means for invalidating the input of the key.
【００１０】請求項２のジェスチャー処理方法は、上記
の課題を解決するために、キー入力手段と、座標入力手
段と、座標入力手段から入力される連続する座標のスト
ロークを抽出し、予め記憶された基本ストロークと照合
して最も近似する基本ストロークに対応するコマンドを
認識するジェスチャー認識手段と、ジェスチャー認識手
段によって認識されたコマンドおよびキー入力手段から
入力されるデータやコマンドに従って表示画面に表示さ
れている文字等の画像情報を編集する編集手段とを備え
るジェスチャー処理装置のジェスチャー処理方法であっ
て、ジェスチャー認識手段による認識処理中におけるキ
ー入力手段からの入力を監視して、認識処理中にキー入
力手段からのデータやコマンドの入力を無効にすること
を特徴としている。According to asecond aspect of the present invention, in order to solve the above-mentioned problem, a key input unit, a coordinate input unit, and a continuous coordinate stroke input from the coordinate input unit are extracted and stored in advance. A gesture recognition means for recognizing a command corresponding to the closest basic stroke by comparing with the basic stroke, and a command recognized by the gesture recognition means and displayed on the display screen in accordance with data and commands input from the key input means. A gesture processing method of a gesture processing device comprising editing means for editing image information such as a character being input, wherein the input from the key input means during recognition processing by the gesture recognition means is monitored, and key input is performed during the recognition processing. It is characterized in that input of data and commands from means is invalidated
【００１１】[0011]
【作用】請求項１のジェスチャー処理装置では、認識処
理が行われている間は、キー入力無効手段により、キー
ボードのキー入力が無効になる。それゆえ、認識処理実
行中にキー入力による誤動作が生じることがなくなる。According to the first aspect of the present invention, while the recognition processing is being performed, the key input of the keyboard is invalidated by the key input invalidating means. Therefore, a malfunction due to a key input during the execution of the recognition process does not occur.
【００１２】請求項２のジェスチャー処理方法では、認
識処理が行われている間は、キーボードのキー入力が無
効になる。それゆえ、認識処理実行中にキー入力による
誤動作が生じることがなくなる。In the gesture processing method according to thesecond aspect, while the recognition process is being performed, the key input of the keyboard is invalidated. Therefore, a malfunction due to a key input during the execution of the recognition process does not occur.
【００１３】[0013]
【実施例】本発明の一実施例について図１ないし図１２
に基づいて説明すれば、以下の通りである。1 to 12 show an embodiment of the present invention.
This will be described below.
【００１４】本実施例に係る情報処理装置（ジェスチャ
ー処理装置）は、図２に示すように、制御部として、Ｃ
ＰＵ（Central Processing Unit)（編集手段、表示制御
手段）１と、ＲＯＭ（Read Only Memory) ２と、ＲＡＭ
（Random Access Memory）３と、プリンタコントローラ
４と、表示コントローラ５と、ＦＤコントローラ６と、
ＩＣカードインタフェース７と、キーインタフェース８
と、ペンインタフェース９と、手書き編集インタフェー
ス１０とを備えている。本情報処理装置は、キーインタ
フェース８に接続されるキーボード（キー入力手段）１
５により、カーソル移動、文字の入力、編集等を行う
他、ペンインタフェース９に接続される入力ペン（座標
入力手段、領域指定手段）１６により同様の操作を行う
ことができるように構成されている。As shown in FIG. 2, the information processing apparatus (gesture processing apparatus) according to the present embodiment
PU (Central Processing Unit) (editing means, display control means) 1, ROM (Read Only Memory) 2, RAM
(Random Access Memory) 3, a printer controller 4, a display controller 5, an FD controller 6,
IC card interface 7 and key interface 8
, A pen interface 9, and a handwriting editing interface 10. The information processing apparatus includes a keyboard (key input means) 1 connected to a key interface 8.
5 allows the user to perform cursor movement, character input, editing, and the like, and to perform the same operation using an input pen (coordinate input means, area designating means) 16 connected to the pen interface 9. .
【００１５】ＣＰＵ１は、本情報処理装置の動作を制御
する中央制御部であり、メインバスを介して上記の各部
と接続されている。このＣＰＵ１は、キーボード１５お
よび入力ペン１６による入力操作に基づいてカーソル移
動、文字等の入力、編集等を実行するようになってい
る。The CPU 1 is a central control unit for controlling the operation of the information processing apparatus, and is connected to each of the above units via a main bus. The CPU 1 executes cursor movement, input of characters and the like, editing, and the like based on input operations with the keyboard 15 and the input pen 16.
【００１６】ＣＰＵ１は、上記の基本的な機能に加え、
手書き編集による手書き入力用の領域を表示する機能を
有している。より具体的には、ＣＰＵ１は、入力ペン１
６により入力された線画に対応するジェスチャーコマン
ドすなわち編集命令が手書き入力を行うものである場
合、ジェスチャーコマンドが後述する手書き編集インタ
フェース１０により認識されると、図３に示すように、
画面２１に手書き入力領域としてのウインド２２を表示
させるようになっており、手書き入力領域表示手段とし
ての機能を有している。The CPU 1 has, in addition to the above basic functions,
It has a function of displaying an area for handwriting input by handwriting editing. More specifically, the CPU 1
In the case where the gesture command corresponding to the line drawing input by Step 6, that is, the editing command is to perform handwriting input, when the gesture command is recognized by the handwriting editing interface 10 described later, as shown in FIG.
A window 22 is displayed on the screen 21 as a handwriting input area, and has a function as a handwriting input area display unit.
【００１７】また、ＣＰＵ１は、ジェスチャーを行う際
に、キーボード１５のキー入力があった場合にキー入力
を無効にするようになっており、キー入力無効手段とし
ての機能を有している。Further, CPU 1 is closed when performing gesture is adapted to disable the keyinput <br/> when the key input on the keyboard 15, the function of a key input invalid means are doing.
【００１８】さらに、ＣＰＵ１は、ジェスチャーを実行
する際、ジェスチャーコマンドが認識されると、図示し
ない低音ブザーを鳴らす一方、ジェスチャーコマンドが
認識されないと、図示しない高音ブザーを鳴らすように
なっており、告知手段としての機能を有している。Further, when executing a gesture, the CPU 1 sounds a low-pitched buzzer (not shown) when a gesture command is recognized, and sounds a high-pitched buzzer (not shown) when the gesture command is not recognized. It has a function as a means.
【００１９】これに加えて、ＣＰＵ１は、ジェスチャー
コマンドが認識されると、図５に示すように、画面２１
の下端部に表示されるコマンド名表示領域２７に、認識
されたジェスチャーコマンドのコマンド名を表示させる
とともに、編集文字表示領域２８に、ジェスチャーの対
象となる文字を少なくとも１文字表示させるようになっ
ており、編集命令表示手段および編集対象表示手段とし
ての機能を有している。In addition, when the gesture command is recognized, the CPU 1 displays a screen 21 as shown in FIG.
The command name of the recognized gesture command is displayed in the command name display area 27 displayed at the lower end of the character, and at least one character to be gestured is displayed in the edit character display area 28. It has a function as an edit command display means and an edit target display means.
【００２０】ここで、上記の機能をさらに詳しく説明す
る。Here, the above functions will be described in more detail.
【００２１】この機能においては、認識可能なジェスチ
ャーコマンドのコマンド名がＪＴＹＰＥに０以上の整数
により関連付けられており、表示するコマンド名の文字
数が、そのＪＴＹＰＥに対応してカウントテーブル（CO
UNTTABLE) に格納されている。また、後述のジェスチャ
ーコマンドテーブル３７の各ジェスチャーコマンドが格
納されているアドレスの先頭を示すポインタが、ＪＴＹ
ＰＥに対応してポインタテーブル（MOJIPTR)に格納され
ている。上記の関係をまとめると、例えば次の表１のよ
うになる。なお、ジェスチャーコマンドと認識できなか
った場合は、ＪＴＹＰＥを−１とする。In this function, the command name of a recognizable gesture command is associated with JTYPE by an integer of 0 or more, and the number of characters of the command name to be displayed is determined by a count table (CO) corresponding to the JTYPE.
UNTTABLE). In addition, a pointer indicating the head of an address where each gesture command in the gesture command table 37 described later is stored is indicated by JTY.
It is stored in the pointer table (MOJIPTR) corresponding to the PE. The above relationships are summarized, for example, in Table 1 below. If the gesture command cannot be recognized, JTYPE is set to -1.
【００２２】[0022]
【表１】[Table 1]
【００２３】カウントテーブルの値は作業用カウンタに
カウントされ、ポインタテーブルの値は作業用ポインタ
に収容されるようになっており、作業用ポインタの値で
示されるコマンド名の文字列を作業用カウンタのカウン
ト値だけ上記のようにして表示するようになっている。The value of the count table is counted by the work counter, and the value of the pointer table is stored in the work pointer. The character string of the command name indicated by the value of the work pointer is stored in the work counter. Only the count value is displayed as described above.
【００２４】また、編集対象となる文字または文字列が
存在するか否かをＰＣＯＵＮＴの値“１”か“０”に対
応させている。ＰＣＯＵＮＴの値が“１”であるときに
は、後述するテキストメモリ３９内の編集対象となる１
文字または文字列の先頭を示すポインタ（POINTMOJIPT
R) に基づいて、その１文字または文字列の先頭の少な
くとも１文字を上記のように表示するようになってい
る。一方、ＰＣＯＵＮＴの値が“０”であるときには、
編集文字表示領域２８に空白を１文字分だけ表示するよ
うになっている。なお、編集対象となる文字列と他の文
字列との判別を容易にするため、編集文字表示領域２８
に表示する文字数を文字列の先頭から数文字としてもよ
い。Whether or not a character or character string to be edited exists is associated with the value of PCOUNT "1" or "0". When the value of PCOUNT is “1”, 1 to be edited in the text memory 39 described later
Pointer to the beginning of the character or string (POINTMOJIPT
R), at least one character or the first character of the character string is displayed as described above. On the other hand, when the value of PCOUNT is “0”,
A blank is displayed in the edit character display area 28 for one character. In addition, in order to easily distinguish a character string to be edited from another character string, an edited character display area 28
The number of characters to be displayed may be a few characters from the beginning of the character string.
【００２５】引き続いて、本情報処理装置のシステム構
成について説明する。Subsequently, the system configuration of the information processing apparatus will be described.
【００２６】ＲＡＭ２は、入力データやＣＰＵ１の演算
結果等を一時的に格納する機能を有する随時書込み／読
出し可能なメモリであり、複数のワークエリアが割り当
てられている。ＲＯＭ３は、本情報処理装置を動作させ
るためのプログラムやデータ等を予め格納している読出
し専用のメモリである。The RAM 2 is a writable / readable memory having a function of temporarily storing input data, the result of operation of the CPU 1, and the like, and is assigned a plurality of work areas. The ROM 3 is a read-only memory in which programs, data, and the like for operating the information processing apparatus are stored in advance.
【００２７】プリンタコントローラ４は、プリンタ１１
が接続されており、ＣＰＵ１の指令に基づいてプリンタ
１１の印字動作を制御するようになっている。表示コン
トローラ５は、ＣＰＵ１からの表示データをビデオ信号
に変換して表示装置１２に送出するとともに、ＣＰＵ１
の指令により表示装置１２の表示動作を制御するように
なっている。表示装置１２は、後述するディスプレイ３
１およびタブレット（座標入力手段、領域指定手段）３
２（図１参照）を備えている。The printer controller 4 includes a printer 11
Is connected, and controls the printing operation of the printer 11 based on a command from the CPU 1. The display controller 5 converts the display data from the CPU 1 into a video signal and sends it to the display device 12.
The display operation of the display device 12 is controlled in accordance with the instruction. The display device 12 includes a display 3 described later.
1 and tablet (coordinate input means, area designation means) 3
2 (see FIG. 1).
【００２８】ＦＤコントローラ６は、ＣＰＵ１との交信
によってフロッピディスク装置１３を制御するようにな
っている。ＩＣカードインタフェース７は、ＩＣカード
用スロットを含んでおり、ＩＣカード１４内のＣＰＵや
メモリとＣＰＵ１との交信を中継するようになってい
る。The FD controller 6 controls the floppy disk drive 13 by communicating with the CPU 1. The IC card interface 7 includes an IC card slot, and relays communication between the CPU 1 and a memory in the IC card 14 and the CPU 1.
【００２９】キーインタフェース８は、キーボード１５
が接続されており、キーボード１５からのキーデータを
取込むようになっている。ペンインタフェース９は、ス
タイラスペン等の入力手段となる入力ペン１６が接続さ
れており、入力ペン１６により発生したペンデータを取
込むようになっている。The key interface 8 includes a keyboard 15
Are connected, and key data from the keyboard 15 is taken in. The pen interface 9 is connected to an input pen 16 serving as an input means such as a stylus pen or the like, and takes in pen data generated by the input pen 16.
【００３０】手書き編集インタフェース１０は、手書き
認識辞書１７が接続されており、手書き認識辞書１７内
に格納されているジェスチャーコマンドを読出し、ペン
インタフェース９により取込まれたペンデータに基づい
て、入力ペン１６により描かれた線画の形状に対応する
ジェスチャーコマンドを認識して特定するようになって
いる。また、手書き編集インタフェース１０は、複数の
文字に対し指定された編集領域の文字列に１つのジェス
チャーコマンドで編集処理を行う領域指定モードが設定
される場合に、１つの文字に対し１つのジェスチャーコ
マンドで編集処理を行う通常モードの場合とで手書き認
識辞書１７のジェスチャーコマンドの読出しを異ならせ
ている。A handwriting editing interface 10 is connected to a handwriting recognition dictionary 17, reads out a gesture command stored in the handwriting recognition dictionary 17, and inputs an input pen based on pen data captured by the pen interface 9. The gesture command corresponding to the shape of the line drawing drawn by No. 16 is recognized and specified. In addition, the handwriting editing interface 10 performs one gesture command for one character when the area designation mode in which the editing process is performed by one gesture command on the character string of the editing area designated for a plurality of characters. The reading of the gesture command from the handwriting recognition dictionary 17 is different from that in the normal mode in which the editing process is performed.
【００３１】具体的には、手書き認識辞書１７は、例え
ば３種類用意されており、領域指定モードの場合、辞書
１７−１・１７−２から読出しが行われる一方、通常指
定モードの場合、辞書１７−１・１７−３から読出しが
行われ、領域指定モードが設定されたときに扱える編集
機能が限定されるようになっている。これにより、例え
ば、キー入力で領域指定を行う際に禁止している文字挿
入等の機能が認識対象から外される。このように、手書
き編集インタフェース１０は、編集命令限定手段として
の機能を有している。Specifically, for example, three types of handwriting recognition dictionaries 17 are prepared. In the case of the area designation mode, reading is performed from the dictionaries 17-1 and 17-2. Reading is performed from 17-1 and 17-3, and editing functions that can be handled when the area designation mode is set are limited. Thereby, for example, a function such as a character insertion which is prohibited when the area is designated by key input is excluded from the recognition target. Thus, the handwriting editing interface 10 has a function as an editing command limiting unit.
【００３２】続いて、ジェスチャーおよび手書き入力を
実行するための基本構成について図１に基づいて説明す
る。Next, a basic configuration for executing a gesture and a handwriting input will be described with reference to FIG.
【００３３】この基本構成は、入力ペン１６、ディスプ
レイ３１、タブレット３２、軌跡座標抽出部（ストロー
ク抽出手段）３３、軌跡描画部３４、ビットマップメモ
リ３５、ジェスチャーコマンド判定部（ジェスチャー認
識手段）３６、ジェスチャーコマンドテーブル（テーブ
ル手段）３７、テキスト編集部（ジェスチャー編集処理
手段）３８、テキストメモリ３９、手書文字認識部４０
および手書文字テーブル４１を備えている。The basic configuration includes an input pen 16, a display 31, a tablet 32, a trajectory coordinate extraction unit (stroke extraction unit) 33, a trajectory drawing unit 34, a bitmap memory 35, a gesture command determination unit (gesture recognition unit) 36, Gesture command table (table means) 37, text editing unit (gesture editing processing means) 38, text memory 39, handwritten character recognition unit 40
And a handwritten character table 41.
【００３４】入力手段としての透明のタブレット３２
は、ディスプレイ３１に重ねられており、入力ペン１６
のペン先が接触すると、接触した位置に応じた電位の変
化等を軌跡座標として発生するような構造になってい
る。軌跡座標抽出部３３は、ペンインタフェース９に含
まれており、タブレット３２からの軌跡座標を順次抽出
するようになっている。Transparent tablet 32 as input means
Is superimposed on the display 31, and the input pen 16
When the pen tip makes contact, a change in potential or the like according to the contact position is generated as locus coordinates. The trajectory coordinate extraction unit 33 is included in the pen interface 9 and sequentially extracts trajectory coordinates from the tablet 32.
【００３５】軌跡描画部３４は、テキスト編集部３８と
同様にＣＰＵ１内に設けられ、軌跡座標抽出部３３によ
り抽出された軌跡座標をつないだ軌跡イメージを生成す
るようになっている。その軌跡イメージは、ＲＡＭ２内
に設けられるビットマップメモリ３５に供給され、ビッ
トマップメモリ３５でディスプレイ３１に表示されてい
るイメージと合成され、ディスプレイ３１に送出され
る。The locus drawing unit 34 is provided in the CPU 1 similarly to the text editing unit 38, and generates a locus image connecting the locus coordinates extracted by the locus coordinate extracting unit 33. The trajectory image is supplied to a bitmap memory 35 provided in the RAM 2, combined with the image displayed on the display 31 by the bitmap memory 35, and sent to the display 31.
【００３６】ジェスチャーコマンド判定部３６は、前記
の手書き編集インタフェース１０内に設けられており、
抽出された軌跡座標をジェスチャーコマンドテーブル３
７に格納されているジェスチャーコマンドの基本ストロ
ークのデータと照合して、軌跡座標が描く線画に最も近
似する基本ストロークに対応するジェスチャーコマンド
を認識するようになっている。ジェスチャーコマンド判
定部３６は、上記のコマンド認識の後、認識したジェス
チャーコマンドと、軌跡座標に基づいて認識した編集の
対象となる文字または文字列の位置情報とをテキスト編
集部３８に与えるようになっている。The gesture command determination unit 36 is provided in the handwriting editing interface 10 described above.
Gesture command table 3 for extracted trajectory coordinates
The gesture command corresponding to the basic stroke closest to the line drawing drawn by the trajectory coordinates is recognized by collating with the data of the basic stroke of the gesture command stored in 7. After the command recognition described above, the gesture command determination unit 36 provides the text editing unit 38 with the recognized gesture command and the position information of the character or character string to be edited recognized based on the trajectory coordinates. ing.
【００３７】ジェスチャーコマンドテーブル３７は、線
画で表される基本ストロークのデータをジェスチャーコ
マンドと対応付けて格納しており、前記の手書き認識辞
書１７内に設けられている。ジェスチャーコマンドとし
ては、例えば、表２に示すようなものが用意されてい
る。The gesture command table 37 stores basic stroke data represented by line drawings in association with gesture commands, and is provided in the handwriting recognition dictionary 17. As the gesture commands, for example, commands shown in Table 2 are prepared.
【００３８】[0038]
【表２】[Table 2]
【００３９】具体的には、一字抹消を行うジェスチャー
コマンドの場合、Ｖの字に似た形状で左から右に描かれ
る線画が基本ストロークとして対応し、この基本ストロ
ークにおけるペンダウン座標に位置する文字が削除され
るようになっている。複数の文字を消去する部分消去
も、一字抹消と同様にＶの字に似た形状の基本ストロー
クであり、消去する領域が指定された後に描かれると部
分消去として認識されるようになっている。また、アン
ダーラインを行うジェスチャーコマンドの場合、アンダ
ーラインを施す文字または文字列上に水平方向に左から
右に描かれる直線が基本ストロークとして対応してい
る。Specifically, in the case of a gesture command for deleting one character, a line drawing drawn from left to right in a shape similar to a V-shape corresponds to a basic stroke, and a character positioned at the pen-down coordinate in this basic stroke. Is to be deleted. The partial erasure for erasing a plurality of characters is also a basic stroke having a shape similar to the V-shape, similar to the one-character erasure. When a region to be erased is drawn after being specified, it is recognized as a partial erasure. I have. In the case of a gesture command for underlining, a straight line drawn horizontally from left to right on the character or character string to be underlined corresponds to the basic stroke.
【００４０】テキスト編集部３８は、ＣＰＵ１内に設け
られ、ジェスチャーコマンド判定部３６で認識されたジ
ェスチャーコマンドに基づいて、ジェスチャーコマンド
と同時に供給された位置情報に相当するテキストメモリ
３９内の文字または文字列に対し編集処理を行うように
なっている。また、テキスト編集部３８は、ジェスチャ
ーコマンド判定部３６からのジェスチャーコマンドを受
け付けるだけでなく、キーボード１５からのコマンドも
受け付けて、キー操作による編集処理を行うようにも構
成されている。The text editing unit 38 is provided in the CPU 1 and, based on the gesture command recognized by the gesture command determination unit 36, a character or a character in the text memory 39 corresponding to the position information supplied simultaneously with the gesture command. Edit processing is performed on the column. Further, the text editing unit 38 is configured not only to accept a gesture command from the gesture command determination unit 36 but also to accept a command from the keyboard 15 and to perform editing processing by key operation.
【００４１】上記のテキスト編集部３８は、複数文字に
わたる編集領域が指定されてＣＰＵ１により領域指定モ
ードが設定されると、その編集領域の文字列に、１文字
に対して編集を行う通常モードの場合と同じジェスチャ
ーコマンドの編集処理を行うようになっている。When the editing area extending over a plurality of characters is specified and the area specifying mode is set by the CPU 1, the text editing unit 38 operates in the normal mode for editing one character in the character string of the editing area. The same gesture command editing processing as in the case is performed.
【００４２】テキストメモリ３９は、ディスプレイ３１
に表示される文字または文字列を格納するメモリであ
り、ビットマップメモリ３５と同様ＲＡＭ２内に設けら
れている。テキストメモリ３９の文字データは、ビット
マップメモリ３５内のイメージと合成されて、ディスプ
レイ３１に表示されるようになっている。The text memory 39 has a display 31
Is stored in the RAM 2 like the bit map memory 35. The character data in the text memory 39 is combined with the image in the bitmap memory 35 and displayed on the display 31.
【００４３】手書文字認識部４０は、前記のジェスチャ
ーコマンド判定部３６と処理上の同等位置すなわち手書
き編集インタフェース１０に設けられている。また、手
書文字テーブル４１は、ジェスチャーコマンドテーブル
３７と同様に手書き認識辞書１７内に設けられている。The handwritten character recognizing section 40 is provided at a position equivalent to the above-mentioned gesture command judging section 36 in processing, that is, the handwritten editing interface 10. The handwritten character table 41 is provided in the handwriting recognition dictionary 17 in the same manner as the gesture command table 37.
【００４４】手書文字認識部４０は、軌跡座標抽出部３
３により抽出された軌跡座標と手書文字テーブル４１に
格納された複数の基本文字ストロークとを照合し、軌跡
座標が描く線画に最も近似する基本文字ストロークに対
応する文字コードを認識してテキスト編集部３８に与え
るようになっている。このように、手書文字認識部４０
は、ジェスチャーコマンド判定部３６が軌跡座標に基づ
いてジェスチャーコマンドを認識する処理と同様な処理
を行うようになっているが、文字入力の場合は編集箇所
を必要としないので、テキスト編集部３８に位置情報を
供給しない点がジェスチャーコマンド判定部３６と異な
っている。The handwritten character recognizing unit 40 includes the locus coordinate extracting unit 3
3 is compared with the plurality of basic character strokes stored in the handwritten character table 41, and the character code corresponding to the basic character stroke closest to the line drawing drawn by the locus coordinate is recognized to edit the text. The unit 38 is provided. Thus, the handwritten character recognition unit 40
Is configured to perform the same processing as the processing in which the gesture command determination unit 36 recognizes a gesture command based on the trajectory coordinates. However, in the case of character input, the text editing unit 38 The point that the position information is not supplied is different from the gesture command determination unit 36.
【００４５】上記のように構成される情報処理装置によ
る手書き入力の具体例について説明する。A specific example of handwriting input by the information processing apparatus configured as described above will be described.
【００４６】本情報処理装置で文字入力を行う場合、例
えば、図３の（ａ）に示すように、画面２１に表示され
る「本日は良い天気です。」という文章中の「良い」の
前に「大変」を入力しようとするときの手順について説
明する。まず、同図の（ｂ）に示すように、表１にもあ
る「△」に似た形状の線画を「良」のほぼ中心を基点
（ペンダウンの点）として描いて手書き文字入力の線画
を入力することにより、ジェスチャーから手書き入力に
移行する。これにより、カーソル２３が図３の（ａ）に
示す「す」の位置から「良」の位置に移動し、ガイダン
ス領域２５の上段に手書き認識用入力ボード２４が現れ
る。When character input is performed by the information processing apparatus, for example, as shown in FIG. 3A, before "good" in the sentence "Today is fine weather" displayed on the screen 21. The following describes the procedure for inputting "very" in "". First, as shown in (b) of the figure, a line drawing having a shape similar to “△” in Table 1 is drawn using the center of “good” as a base point (point of pen down) to draw a line drawing of handwritten character input. By inputting, a transition is made from gesture to handwriting input. As a result, the cursor 23 moves from the position of “su” to the position of “good” shown in FIG. 3A, and the input board 24 for handwriting recognition appears in the upper part of the guidance area 25.
【００４７】手書き認識用入力ボード２４は、手書き入
力領域としてのウインド２２を有している。このウイン
ド２２は、３文字分の入力スペースを有しており、テキ
スト編集部３８で生成される。例えば、同図の（ｃ）に
示すように、ウインド２２の第１入力エリアに「大」が
書かれると、軌跡座標抽出部３３からの「大」の軌跡座
標が抽出される。すると、その軌跡座標に基づいて軌跡
描画部３４により描かれたイメージが、ビットマップメ
モリ３６で現在ディスプレイ３１に表示されているイメ
ージと合成される。したがって、上記のようにして入力
ペン１６により書かれる文字は、同時にディスプレイ３
１に表示される。The input board 24 for handwriting recognition has a window 22 as a handwriting input area. The window 22 has an input space for three characters, and is generated by the text editing unit 38. For example, when “large” is written in the first input area of the window 22 as shown in FIG. 3C, the “large” trajectory coordinates from the trajectory coordinate extraction unit 33 are extracted. Then, the image drawn by the trajectory drawing unit 34 based on the trajectory coordinates is combined with the image currently displayed on the display 31 in the bitmap memory 36. Therefore, the characters written by the input pen 16 as described above are simultaneously displayed on the display 3.
1 is displayed.
【００４８】次いで、入力ペン１６がタブレット３２か
ら離されると、手書文字認識部４０で、座標軌跡と手書
文字テーブル４１の基本文字ストロークとの照合により
最適の文字コードが得られる。そして、この文字コード
に基づいてテキスト編集部３８の処理により、テキスト
メモリ３９内に「大」が加えられ、「良」の前に「大」
が表示される。上記の第１入力エリアの文字認識は、ウ
インド２２の第２入力エリアに入力ペン１６が置かれる
と同時に実行される。Next, when the input pen 16 is released from the tablet 32, the handwritten character recognition unit 40 obtains an optimum character code by collating the coordinate locus with the basic character stroke of the handwritten character table 41. Then, “large” is added to the text memory 39 by the processing of the text editing unit 38 based on this character code, and “large” is added before “good”.
Is displayed. The above-described character recognition in the first input area is executed at the same time when the input pen 16 is placed in the second input area of the window 22.
【００４９】さらに、ウインド２２の第２入力エリアに
「変」が書かれると、上記と同様にして入力ペン１６の
操作と同時にディスプレイ３１に表示され、画面２１の
文章中には「大」の次に「変」が加えられる。Further, when “change” is written in the second input area of the window 22, it is displayed on the display 31 simultaneously with the operation of the input pen 16 in the same manner as described above. Next, a "weird" is added.
【００５０】なお、本情報処理装置は、上記のように入
力ペン１６による手書き文字入力のジェスチャーにより
ウインド２２を表示させるようになっているが、従来通
り、画面２１の下部に設けられたガイダンス領域２５に
表示される手書きボタン２６を押すことによりウインド
２２を表示させるようにもなっている。Although the information processing apparatus displays the window 22 by the gesture of handwritten character input by the input pen 16 as described above, the guidance area provided at the lower portion of the screen 21 is conventionally provided. By pressing a handwriting button 26 displayed on the window 25, the window 22 is displayed.
【００５１】次に、本情報処理装置によるジェスチャー
の具体例について説明する。Next, a specific example of a gesture performed by the information processing apparatus will be described.
【００５２】図４の（ａ）に示す文字列から例えば
「え」を一字抹消する場合、入力ペン１６にて「え」の
上を基点としてほぼ「Ｖ」のように線画が描かれると、
その軌跡座標が軌跡座標抽出部３３により抽出される。
すると、その軌跡座標に基づいて軌跡描画部３４により
描かれたイメージが、ビットマップメモリ３６で現在デ
ィスプレイ３１に表示されているイメージと合成され
る。したがって、上記のようにして入力ペン１６により
描かれる線画は、同時に画面２１に現れる。In the case where one character, for example, "e" is deleted from the character string shown in FIG. 4A, when a line drawing is drawn by the input pen 16 from "e" as a base point, substantially like "V". ,
The locus coordinates are extracted by the locus coordinate extracting unit 33.
Then, the image drawn by the trajectory drawing unit 34 based on the trajectory coordinates is combined with the image currently displayed on the display 31 in the bitmap memory 36. Therefore, the line drawing drawn by the input pen 16 as described above appears on the screen 21 at the same time.
【００５３】次いで、入力ペン１６がタブレット３２か
ら離されると、ジェスチャーコマンド判定部３６で、座
標軌跡とジェスチャーコマンドテーブル３７内のジェス
チャーコマンドとの照合により得られた一字抹消のジェ
スチャーコマンドが得られ、このジェスチャーコマンド
とともに位置情報がテキスト編集部３８に送出される。
そして、テキスト編集部３８の処理により、同図の
（ｂ）に示すように、カーソル２３が現在の位置から位
置情報に基づいた位置に移動し、テキストメモリ３９内
の「え」がジェスチャーコマンドに基づいて抹消され、
軌跡座標抽出部３３等は次のジェスチャー操作に備えて
待機状態となる。Next, when the input pen 16 is released from the tablet 32, the gesture command determination unit 36 obtains a gesture command for deleting one character obtained by comparing the coordinate locus with the gesture command in the gesture command table 37. The position information is sent to the text editing unit 38 together with the gesture command.
Then, by the processing of the text editing unit 38, the cursor 23 is moved from the current position to a position based on the position information, as shown in FIG. Based on
The trajectory coordinate extraction unit 33 and the like enter a standby state in preparation for the next gesture operation.
【００５４】また、ジェスチャーが行われる際には、図
５の（ａ）に示すように、画面２１の下端部にコマンド
名表示領域２７と編集文字表示領域２８とが並んで表示
される。例えば、一字抹消の場合、ジェスチャーコマン
ド判定部３６により一字抹消のジェスチャーコマンドが
認識されると、ＲＡＭ２に取り込まれたジェスチャーコ
マンドのコードがテキスト編集部３８により文字化され
る。また、消去される「あ」の文字コードも一旦ＲＡＭ
２に取り込まれてテキスト編集部３８により文字化され
る。When a gesture is made, a command name display area 27 and an edit character display area 28 are displayed side by side at the lower end of the screen 21 as shown in FIG. For example, in the case of deleting one character, when the gesture command determining unit 36 recognizes the gesture command of deleting one character, the code of the gesture command taken into the RAM 2 is converted into a character by the text editing unit 38. Also, the character code of "A" to be deleted is temporarily stored in RAM.
2 and converted into a character by the text editing unit 38.
【００５５】そして、ジェスチャーコマンドの種別すな
わち「一字抹消」がコマンド名表示領域２７に表示さ
れ、抹消される文字すなわち「あ」が編集文字表示領域
２８に表示される。ジェスチャーコマンドが認識された
ときは、上記の表示とともに低音ブザーが鳴らされる。Then, the type of the gesture command, that is, “delete one character” is displayed in the command name display area 27, and the character to be deleted, that is, “a” is displayed in the edit character display area 28. When a gesture command is recognized, a low tone buzzer sounds along with the above display.
【００５６】さらに、ジェスチャー処理において、１文
字を抹消する場合と複数文字を抹消する場合の違いにつ
いて説明する。Further, the difference between the case where one character is deleted and the case where a plurality of characters are deleted in the gesture processing will be described.
【００５７】図６の（ａ）に示すような「手書き編集…
説明します。」の文章中で、例えば最初から４文字目の
「編」を抹消する場合、前述したような手順で「編」の
上からほぼ「Ｖ」のように線画を描くことにより、
「編」が抹消される。As shown in FIG.
I will explain. For example, in the case of erasing the fourth character "hen" from the beginning, by drawing a line drawing almost like "V" from above the "hen" in the procedure described above,
"Edition" is deleted.
【００５８】一方、複数の文字を抹消する場合、図６の
（ｂ）に示すように、例えば、抹消する「つ」から
「を」までの領域が前記の入力ペン１６による入力でカ
ーソル２３にて示されると、その位置データがＲＡＭ２
に取り込まれる。ジェスチャーコマンドが認識される
と、ＲＡＭ２内の位置データに基づいて上記の領域の文
字が抹消される。On the other hand, when a plurality of characters are to be erased, as shown in FIG. 6B, for example, an area from “tsu” to “wo” to be erased is input to the cursor 23 by the input with the input pen 16. The position data is stored in the RAM 2
It is taken in. When the gesture command is recognized, the characters in the above area are deleted based on the position data in the RAM 2.
【００５９】ところで、上記のように領域を指定する場
合、入力ペン１６によるポインティング操作を利用する
が、例えば、図７の（ａ）に示すように、「う」と
「ふ」を入力ペン１６によりポインティングすれば、同
図の（ｂ）に示すように、「う」と「ふ」とを結ぶ直線
が対角線となる長方形の領域が指定される。ポインティ
ングを行う場合、ジェスチャーコマンド判定部３６によ
り軌跡座標とジェスチャーコマンドとの照合は行われず
位置情報のみ出力される。When the area is designated as described above, the pointing operation by the input pen 16 is used. For example, as shown in FIG. When the pointing is performed, a rectangular area in which a straight line connecting “U” and “F” is a diagonal line is designated as shown in FIG. When performing pointing, the gesture command determination unit 36 does not collate the trajectory coordinates with the gesture command, and outputs only the position information.
【００６０】ここで、本情報処理装置において手書き入
力を実行する処理手順について説明する。Here, a processing procedure for executing handwriting input in the information processing apparatus will be described.
【００６１】図８のフローチャートに示すように、入力
ペン１６による線画の入力が行われて、その線画に対応
するジェスチャーコマンドが手書き入力に移行するため
のものであるか、すなわち手書き認識用入力ボード２４
の表示用のコマンドであるか否かを判断する（Ｓ１）。
ここで、そのコマンドでない場合、他のコマンド判断に
移行する。As shown in the flow chart of FIG. 8, whether a gesture command corresponding to the line drawing is input by the input pen 16 to shift to handwriting input, that is, an input board for handwriting recognition, 24
It is determined whether or not this is a display command (S1).
Here, if the command is not the command, the process proceeds to another command determination.
【００６２】Ｓ１で上記のコマンドであると判断した場
合、入力ペン１６により座標入力された位置へカーソル
２３を移動させる（Ｓ２）。次いで、手書き認識用入力
ボード２４が表示されたときにカーソル２３が隠れない
ように、画面２１をスクロールし（Ｓ３）、手書き認識
用入力ボード２４を表示する（Ｓ４）。If it is determined in S1 that the command is the above command, the cursor 23 is moved to the position where the coordinates are input by the input pen 16 (S2). Next, the screen 21 is scrolled so that the cursor 23 is not hidden when the handwriting recognition input board 24 is displayed (S3), and the handwriting recognition input board 24 is displayed (S4).
【００６３】そして、手書き認識用入力ボード２４のウ
インド２２に書き込まれた手書き文字のデータを読込み
（Ｓ５）、読込みが終了したか否かを判断する（Ｓ
６）。読込みが終了していれば、そのまま処理を終了
し、読込みが終了していなければ、カーソル２３の位置
にデータを入力して（Ｓ７）、処理がＳ５に戻る。Then, the handwritten character data written in the window 22 of the handwriting recognition input board 24 is read (S5), and it is determined whether the reading is completed (S5).
6). If the reading has been completed, the process is terminated as it is. If the reading has not been completed, data is input at the position of the cursor 23 (S7), and the process returns to S5.
【００６４】次に、ジェスチャー実行時にキー入力があ
った場合の処理手順について説明する。Next, a processing procedure when a key input is made during execution of a gesture will be described.
【００６５】まず、図９のフローチャートに示すよう
に、ペンデータまたはキーデータを取り込む処理が行わ
れる。この処理においては、ペン割込みが生じるとペン
データを取込む一方（Ｓ１１）、キー割込みが生じると
キーデータを取込み（Ｓ１２）、取込んだペンデータま
たはキーデータをＲＡＭ２内のキーバッファに格納する
（Ｓ１３）。First, as shown in the flowchart of FIG. 9, a process for taking in pen data or key data is performed. In this process, while pen data is taken in when a pen interrupt occurs (S11), key data is taken in when a key interrupt occurs (S12), and the taken pen data or key data is stored in a key buffer in the RAM2. (S13).
【００６６】ペンデータまたはキーデータの取込みが終
了すると、図１０のフローチャートに示すように、キー
バッファからデータを取出し（Ｓ２１）、そのデータが
ペンデータであるか否かを判断する（Ｓ２２）。上記の
データがペンデータである場合、ジェスチャー処理を実
行して（Ｓ２３）、処理が終了する。When the fetching of pen data or key data is completed, as shown in the flowchart of FIG. 10, data is fetched from the key buffer (S21), and it is determined whether or not the data is pen data (S22). If the data is pen data, a gesture process is executed (S23), and the process ends.
【００６７】また、Ｓ２２でキーバッファ内のデータが
キーデータであると判断した場合、ジェスチャーの途中
であるか否かを判断する（Ｓ２４）。ジェスチャーの途
中である場合、ジェスチャーの途中でキーボード１５の
キー入力があったことになり、ブザーを鳴らしてエラー
であることを告知する（Ｓ２５）。一方、ジェスチャー
の途中でない場合、キー操作によるアプリケーション処
理を実行する（Ｓ２６）。If it is determined in S22 that the data in the key buffer is the key data, it is determined whether or not the gesture is being performed (S24). If the gesture is in the middle of the gesture, it means that a key input on the keyboard 15 has been made in the middle of the gesture, and the buzzer sounds and an error is notified (S25). On the other hand, if the gesture is not in the middle, application processing by key operation is executed (S26).
【００６８】ジェスチャー処理を行う場合、入力ペン１
６により線画が入力されると、その線画に対応するジェ
スチャーコマンドの認識が行われるが、コマンド認識を
ユーザに告知する処理手順を次に説明する。When performing gesture processing, the input pen 1
When a line drawing is input by the user 6, a gesture command corresponding to the line drawing is recognized. A processing procedure for notifying the user of the command recognition will be described below.
【００６９】この処理では、図１１のフローチャートに
示すように、ＪＴＹＰＥの値が“−１”であるか否かを
判断する（Ｓ３１）。ＪＴＹＰＥの値が“−１”でなけ
ればジェスチャーコマンドが認識されたことになるの
で、このことを低音ブザーを鳴らすことにより告知する
（Ｓ３２）。また、ＪＴＹＰＥの値に応じたコマンド名
の文字数を COUNTTABLE[JTYPE]から取出して COUNT（作
業用カウンタ）にセットするとともに、上記のコマンド
名のアドレスの先頭を示すポインタを MOJIPTRTABLE[JT
YPE]から取出して MOJIPTR（作業用ポインタ）にセット
する（Ｓ３３）。In this process, as shown in the flowchart of FIG. 11, it is determined whether or not the value of JTYPE is "-1" (S31). If the value of JTYPE is not "-1", a gesture command has been recognized, and this is notified by sounding a low tone buzzer (S32). Also, the number of characters of the command name according to the value of JTYPE is extracted from COUNTTABLE [JTYPE] and set in COUNT (work counter), and the pointer indicating the head of the address of the above command name is set in MOJIPTRTABLE [JT
YPE] and set in MOJIPTR (work pointer) (S33).
【００７０】次いで、 MOJIPTRにより指定されたコマン
ド名を COUNTの文字数だけコマンド名表示領域２７に表
示し（Ｓ３４）、ＰＣＯＵＮＴが“０”であるか否かを
判断する（Ｓ３５）。編集対象とする文字または文字列
があればＰＣＯＵＮＴが“１”となり、POINTMOJIPTRに
より指定された文字または文字列の先頭１文字を編集文
字表示領域２８に表示する（Ｓ３６）。Next, the command name specified by MOJIPTR is displayed in the command name display area 27 by the number of characters of COUNT (S34), and it is determined whether or not PCOUNT is "0" (S35). If there is a character or character string to be edited, PCOUNT becomes "1", and the first character of the character or character string specified by POINTMOJIPTR is displayed in the edited character display area 28 (S36).
【００７１】一方、Ｓ３５でＰＣＯＵＮＴが“０”であ
る場合、空白を１文字分だけ編集文字表示領域２８に表
示する（Ｓ３７）。また、Ｓ３１の判断でＪＴＹＰＥの
値が“−１”である場合、ジェスチャーコマンドが認識
されなかったことを高音ブザーを鳴らすことにより告知
する（Ｓ３８）。On the other hand, if PCOUNT is "0" in S35, a blank is displayed in the edited character display area 28 for one character (S37). If the value of JTYPE is "-1" in the judgment of S31, the fact that the gesture command has not been recognized is notified by sounding a high-pitched buzzer (S38).
【００７２】上記のようにしてジェスチャーコマンドの
認識が確認されると、ジェスチャー処理が実行される
が、本情報処理装置では、１つの線画で１文字および複
数の文字に対し同じ編集処理を実行するように構成され
ている。次にその処理手順について説明する。When the recognition of the gesture command is confirmed as described above, the gesture processing is executed. In this information processing apparatus, the same editing processing is executed for one character and a plurality of characters with one line drawing. It is configured as follows. Next, the processing procedure will be described.
【００７３】図１２のフローチャートに示すように、入
力ペン１６による描画がなされ、この描画が入力ペン１
６がアップされるか、あるいはキーボード１５によるキ
ー入力がなされるまで行われる（Ｓ４１）。描画が終了
すると、描画により得られたペン座標の全データをジェ
スチャーコマンド判定部３６に渡すため、そのデータを
一旦ＲＡＭ２内の特定の領域に格納する（Ｓ４２）。As shown in the flowchart of FIG. 12, drawing with the input pen 16 is performed, and this drawing is performed with the input pen 1.
This operation is performed until the number 6 is up or a key input is made from the keyboard 15 (S41). When the drawing is completed, the whole data of the pen coordinates obtained by the drawing is temporarily stored in a specific area in the RAM 2 in order to pass the data to the gesture command determining unit 36 (S42).
【００７４】認識過程に入ると、まず、現在の入力モー
ドを調べ、入力モードが領域指定モードであるか否かを
判断する（Ｓ４３）。領域指定モードである場合、手書
き編集インタフェース１０により手書き認識辞書から認
識辞書１７−１・１７−２を読出す（Ｓ４４）。また、
領域指定モードでない場合、手書き認識辞書から認識辞
書１７−１・１７−３を読出す（Ｓ４５）。In the recognition process, first, the current input mode is checked to determine whether or not the input mode is the area designation mode (S43). If the mode is the area designation mode, the recognition dictionaries 17-1 and 17-2 are read from the handwriting recognition dictionary by the handwriting editing interface 10 (S44). Also,
If the mode is not the area designation mode, the recognition dictionaries 17-1 and 17-3 are read from the handwriting recognition dictionary (S45).
【００７５】次いで、認識処理が実行され（Ｓ４６）、
線画の形状がジェスチャーコマンド判定部３６により認
識されると、その認識結果がジェスチャーコマンドとし
て出力される。このとき、線画が認識されなければ、エ
ラーとして処理する。Next, recognition processing is executed (S46),
When the shape of the line drawing is recognized by the gesture command determination unit 36, the recognition result is output as a gesture command. At this time, if the line drawing is not recognized, it is processed as an error.
【００７６】認識が成功した場合、そのジェスチャーコ
マンドが一字抹消や部分消去といった消去コマンドであ
るか否かを判断する（Ｓ４７）。消去コマンドであれ
ば、現在が領域指定モードであるか否かを判断し（Ｓ４
８）、ここで領域指定モードでなければ１文字だけ消去
を実行して（Ｓ４９）、処理が終了する。また、Ｓ４８
の判断で領域指定モードであれば、複数文字の消去を実
行して（Ｓ５０）、処理が終了する。そして、Ｓ４７の
判断でジェスチャーコマンドが消去コマンドでなけれ
ば、その他の各種コマンドによる編集処理を行って（Ｓ
５１）、処理が終了する。If the recognition is successful, it is determined whether or not the gesture command is an erasing command such as one-letter deletion or partial erasing (S47). If it is an erase command, it is determined whether or not the current mode is the area designation mode (S4).
8) If it is not in the area designation mode, one character is erased (S49), and the process ends. Also, S48
If it is determined that the mode is the area designation mode, erasing of a plurality of characters is executed (S50), and the process ends. Then, if the gesture command is not the erase command in the judgment of S47, the editing process is performed by other various commands (S47).
51), the process ends.
【００７７】以上述べたように、本実施例に係る情報処
理装置では、手書き入力を行う線画が入力され、そのジ
ェスチャーコマンドが認識されると、画面２１に手書き
認識用入力ボード２４を表示させるようになっているの
で、直接手書き入力を行う位置に上記の線画を描くだけ
で、手書き認識用入力ボード２４とウインド２２が現れ
て文字の手書き入力が可能になり、操作が簡単かつ分か
りやすくなる。As described above, in the information processing apparatus according to the present embodiment, when a line drawing for handwriting input is input and the gesture command is recognized, the input board 24 for handwriting recognition is displayed on the screen 21. By simply drawing the line drawing at the position where the handwriting input is performed directly, the input board 24 for handwriting recognition and the window 22 appear and the handwriting input of the character becomes possible, and the operation becomes simple and easy to understand.
【００７８】一方、ジェスチャー機能において、本情報
処理装置は、ジェスチャーの実行時に誤ってキー操作が
行われた場合、キー入力を無効とするようになっている
ので、キーデータが割り込んで誤動作が生じることを回
避することができる。また、ジェスチャーコマンドの認
識が正しく行われたか否かをブザーで告知することによ
り、その確認が容易になる。これとともに、ジェスチャ
ーコマンドの認識が正しく行われると、そのコマンド名
と編集対象となる文字とを表示するので、認識を確実に
確認することができる。On the other hand, in the gesture function, the present information processing apparatus invalidates a key input when a key operation is performed erroneously at the time of performing a gesture, so that key data is interrupted and a malfunction occurs. That can be avoided. In addition, by notifying by a buzzer whether or not the recognition of the gesture command has been correctly performed, the confirmation can be easily performed. At the same time, if the recognition of the gesture command is correctly performed, the command name and the character to be edited are displayed, so that the recognition can be surely confirmed.
【００７９】さらに、編集対象が１文字である場合も領
域指定された複数文字である場合も、１つのジェスチャ
ーコマンドで編集処理を行うので、コマンド数の増加を
最小限にとどめて、認識速度や認識率の低下を抑制する
ことができる。そのうえ、領域指定モードにおいては、
認識対象となる線画の種類を限定することにより、誤動
作を防止することができる。例えば、領域指定モードで
誤動作の原因となる文字挿入等のジェスチャーコマンド
が実行されないようにすることができる。しかも、上記
のように線画の種類を限定すると、認識処理が簡素化さ
れ、認識速度や認識率の向上を図ることも可能になる。Further, when the editing target is one character or a plurality of characters whose area is specified, the editing process is performed by one gesture command. Therefore, the increase in the number of commands is minimized, and the recognition speed and the recognition speed are reduced. A decrease in the recognition rate can be suppressed. In addition, in the area specification mode,
By limiting the types of line drawings to be recognized, malfunctions can be prevented. For example, it is possible to prevent a gesture command such as a character insertion that causes a malfunction in the area designation mode from being executed. In addition, when the types of line drawings are limited as described above, the recognition process is simplified, and the recognition speed and the recognition rate can be improved.
【００８０】本発明は、ジェスチャー処理装置に関し、
ジェスチャー入力中は、キーボード入力を無効にし、ま
た、領域指定との組み合わせで複数文字に対するジェス
チャーを可能にするが、その際、複数文字に有効なジェ
スチャーとそうでないジェスチャーとを備えるものであ
る。The present invention relates to a gesture processing device,
During the gesture input, the keyboard input is invalidated, and a gesture for a plurality of characters is enabled in combination with the designation of an area. At this time, a gesture valid for the plurality of characters and a gesture not for the other characters are provided.
【００８１】そして、本発明の先行技術には、さらに以
下の公開特許公報がある。The prior art of the present invention further includes the following patent publications.
【００８２】特開平１−１４２９７２号公報には、透明
タッチパネルに対する同一位置へのタッチの連続性の有
無によって、今回入力された文字データを、既に作成さ
れた文書データに対してどのように入力処理するかを指
定することにより、透明タッチパネルにより処理内容を
指定可能な文書作成装置が開示されている。しかしなが
ら、該公報には、ただ単に、タッチ入力とキー入力とが
可能な文書作成装置が開示されているにすぎず、本発明
とは本質的に異なっている。Japanese Patent Application Laid-Open No. 1-142972 discloses a method for inputting character data inputted at this time to document data which has already been created, based on the continuity of touch at the same position on the transparent touch panel. There is disclosed a document creating apparatus capable of designating the processing content by using a transparent touch panel by designating whether to perform processing. However, this publication merely discloses a document creation device capable of performing touch input and key input, which is essentially different from the present invention.
【００８３】特開平３−２０８５７号公報には、横書き
文書に対する編集コマンドと同じコマンドを原稿用紙の
ような縦書き文書に応用可能な文書処理装置が開示され
ている。しかしながら、該公報には、範囲指定のための
ジェスチャーコマンドの開示はあるものの、範囲指定の
有無に基づくコマンドの切り換えを行っておらず、本発
明とは本質的に異なっている。JP-A-3-20857 discloses a document processing apparatus capable of applying the same command as an editing command for a horizontally written document to a vertically written document such as a manuscript sheet. However, although this publication discloses a gesture command for specifying a range, the command is not switched based on whether or not a range is specified, which is essentially different from the present invention.
【００８４】特開平３−９１０１９号公報には、手書き
編集コマンド入力後、認識を行わせるために入力終了を
指示しなくても、決められた画数が入力されると自動的
に認識される手書き編集コマンド入力方式が開示されて
いる。しかしながら、該公報には、複写／移動のジェス
チャーコマンドで範囲指定記号を用いることの開示はあ
るものの、範囲指定の有無に基づくコマンドの切り換え
を行っておらず、本発明とは本質的に異なっている。Japanese Unexamined Patent Publication No. 3-91019 discloses a handwriting that is automatically recognized when a predetermined number of strokes is input without inputting an instruction to terminate the input after inputting a handwriting edit command. An editing command input method is disclosed. However, although this publication discloses that a range designation symbol is used in a copy / move gesture command, it does not switch commands based on the presence / absence of range designation, which is essentially different from the present invention. I have.
【００８５】特開平３−２６９６１１号公報には、タブ
レット装置に、スタイラスペンにて押下可能なキーボー
ドを設置して、スタイラスペンを用いて全てのコマンド
を入力することが可能なＣＡＤ入力装置が開示されてい
る。しかしながら、該公報には、特定状態の場合にの
み、ペン入力を無効にするＣＡＤ入力装置が開示されて
いるにすぎず、本発明とは本質的に異なっている。Japanese Patent Laying-Open No. 3-269611 discloses a CAD input device in which a keyboard which can be pressed by a stylus pen is installed in a tablet device, and all commands can be input using the stylus pen. Have been. However, the publication only discloses a CAD input device that invalidates a pen input only in a specific state, which is essentially different from the present invention.
【００８６】上記のごとく、本発明は、上記の各公開特
許公報に記載されている技術内容を検討しても、構成上
明確な相違を有し、かつ、顕著な作用効果を奏する技術
であることは明らかである。As described above, the present invention is a technique that has a clear difference in structure and has a remarkable effect even when the technical contents described in the above-mentioned respective patents are examined. It is clear.
【００８７】[0087]
【発明の効果】請求項１のジェスチャー処理装置は、編
集処理が行われている間には、キーボードのキー入力を
無効にするため、編集処理実行中のキー入力による誤動
作を防止できる。According to the first aspect of the present invention, the key input of the keyboard is invalidated while the editing process is being performed, so that a malfunction due to the key input during the execution of the editing process can be prevented.
【００８８】請求項２のジェスチャー処理方法は、編集
処理が行われている間には、キーボードのキー入力を無
効にするため、編集処理実行中のキー入力による誤動作
を防止できる。In the gesture processing method according to thesecond aspect , the key input of the keyboard is invalidated while the editing processing is being performed, so that a malfunction due to the key input during the execution of the editing processing can be prevented.
【００８９】このように、上記のジェスチャー処理装置
および各ジェスチャー処理方法は、手書き編集の特性を
活用して操作性を向上させることができるという効果を
奏する。As described above, the above-described gesture processing apparatus and each gesture processing method have an effect that operability can be improved by utilizing the characteristics of handwriting editing.
【図１】本発明の一実施例に係る情報処理装置における
ジェスチャーを実行するための基本構成を示すブロック
図である。FIG. 1 is a block diagram illustrating a basic configuration for executing a gesture in an information processing apparatus according to an embodiment of the present invention.
【図２】上記の情報処理装置の主要部の概略構成を示す
ブロック図である。FIG. 2 is a block diagram showing a schematic configuration of a main part of the information processing apparatus.
【図３】ジェスチャーから手書き入力に移行する操作の
具体例を示す説明図である。FIG. 3 is an explanatory diagram showing a specific example of an operation of shifting from a gesture to handwriting input.
【図４】ジェスチャーの具体例を示す説明図である。FIG. 4 is an explanatory diagram showing a specific example of a gesture.
【図５】ジェスチャーコマンドの認識によるコマンド名
および編集対象の表示を示す説明図である。FIG. 5 is an explanatory diagram showing a display of a command name and an edit target based on recognition of a gesture command.
【図６】通常モードおよび領域指定モードにおけるジェ
スチャー処理を説明する説明図である。FIG. 6 is an explanatory diagram illustrating gesture processing in a normal mode and an area designation mode.
【図７】入力ペンによるポインティングの具体例を示す
説明図である。FIG. 7 is an explanatory diagram showing a specific example of pointing with an input pen.
【図８】ジェスチャーから手書き入力に移行する操作手
順を示すフローチャートである。FIG. 8 is a flowchart illustrating an operation procedure for shifting from a gesture to handwriting input.
【図９】ペンデータまたはキーデータの取込みの処理手
順を示すフローチャートである。FIG. 9 is a flowchart showing a processing procedure for capturing pen data or key data.
【図１０】ジェスチャー実行時にキー入力を無効にする
処理手順を示すフローチャートである。FIG. 10 is a flowchart illustrating a processing procedure for invalidating a key input at the time of performing a gesture.
【図１１】ジェスチャーコマンドの認識結果を告知する
処理手順を示すフローチャートである。FIG. 11 is a flowchart illustrating a processing procedure for notifying a recognition result of a gesture command.
【図１２】通常モードまたは領域指定モードによるジェ
スチャーの処理手順を示すフローチャートである。FIG. 12 is a flowchart illustrating a gesture processing procedure in a normal mode or an area designation mode.
【図１３】従来の手書き入力が可能な情報処理装置にお
ける手書き入力の画面の表示操作を示す説明図である。FIG. 13 is an explanatory diagram showing a display operation of a handwriting input screen in a conventional information processing apparatus capable of handwriting input.
１ ＣＰＵ（手書き入力領域表示手段、キー入力無効
手段、告知手段、編集命令表示手段、編集対象表示手
段） ２ ＲＡＭ １０ 手書き編集インタフェース（編集命令限定手
段） １６ 入力ペン（入力手段） ２１ 画面 ２２ ウインド（手書き入力領域） ２７ コマンド名表示領域 ２８ 編集文字表示領域 ３１ ディスプレイ ３２ タブレット（入力手段） ３６ ジェスチャーコマンド判定部（編集箇所指定手
段） ３７ ジェスチャーコマンドテーブル ３８ テキスト編集部 ４０ 手書文字認識部 ４１ 手書文字テーブルReference Signs List 1 CPU (handwriting input area display means, key input invalidation means, notification means, editing instruction display means, editing target display means) 2 RAM 10 handwriting editing interface (editing instruction limitation means) 16 input pen (input means) 21 screen 22 window (Handwriting input area) 27 Command name display area 28 Edited character display area 31 Display 32 Tablet (input means) 36 Gesture command determination unit (Edited part designating means) 37 Gesture command table 38 Text editing unit 40 Handwritten character recognition unit 41 Hand Calligraphy table
───────────────────────────────────────────────────── フロントページの続き (72)発明者 奥野 浩史 大阪府大阪市阿倍野区長池町22番22号 シャープ株式会社内 (72)発明者 西田 博 大阪府大阪市阿倍野区長池町22番22号 シャープ株式会社内 (72)発明者 中村 豊 大阪府大阪市阿倍野区長池町22番22号 シャープ株式会社内 (72)発明者 重松 浩幸 大阪府大阪市阿倍野区長池町22番22号 シャープ株式会社内 (58)調査した分野(Int.Cl.7，ＤＢ名) G06F 3/03 380──────────────────────────────────────────────────続 き Continued on the front page (72) Inventor Hiroshi Okuno 22-22 Nagaikecho, Abeno-ku, Osaka-shi, Osaka Inside Sharp Corporation (72) Inventor Hiroshi Nishida 22-22 Nagaikecho, Abeno-ku, Osaka-shi, Osaka Sharp Corporation (72) Inventor: Yutaka Nakamura 22-22 Nagaike-cho, Abeno-ku, Osaka-shi, Osaka Pref. (72) Inventor Hiroyuki Shigematsu 22-22 Nagaike-cho, Abeno-ku, Osaka-shi, Osaka pref. Field (Int.Cl.7 , DB name) G06F 3/03 380
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29615592AJP2999335B2 (en) | 1992-11-05 | 1992-11-05 | Gesture processing device and gesture processing method |
| US08/143,786US5583543A (en) | 1992-11-05 | 1993-11-01 | Pen input processing apparatus |
| EP93117837AEP0597379B1 (en) | 1992-11-05 | 1993-11-03 | Pen input processing apparatus |
| DE69329482TDE69329482T2 (en) | 1992-11-05 | 1993-11-03 | Stylus input processing device |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29615592AJP2999335B2 (en) | 1992-11-05 | 1992-11-05 | Gesture processing device and gesture processing method |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13347499ADivisionJP3469816B2 (en) | 1999-05-14 | 1999-05-14 | Gesture processing device and gesture processing method |
| JP13347599ADivisionJP3469817B2 (en) | 1999-05-14 | 1999-05-14 | Gesture processing device and gesture processing method |
| Publication Number | Publication Date |
|---|---|
| JPH06149467A JPH06149467A (en) | 1994-05-27 |
| JP2999335B2true JP2999335B2 (en) | 2000-01-17 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29615592AExpired - LifetimeJP2999335B2 (en) | 1992-11-05 | 1992-11-05 | Gesture processing device and gesture processing method |
| Country | Link |
|---|---|
| JP (1) | JP2999335B2 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3427050B2 (en)* | 2000-10-20 | 2003-07-14 | シャープ株式会社 | Document information processing apparatus and document information processing method |
| US20080168478A1 (en) | 2007-01-07 | 2008-07-10 | Andrew Platzer | Application Programming Interfaces for Scrolling |
| US20080168402A1 (en) | 2007-01-07 | 2008-07-10 | Christopher Blumenberg | Application Programming Interfaces for Gesture Operations |
| US8645827B2 (en) | 2008-03-04 | 2014-02-04 | Apple Inc. | Touch event model |
| US8717305B2 (en) | 2008-03-04 | 2014-05-06 | Apple Inc. | Touch event model for web pages |
| US9684521B2 (en) | 2010-01-26 | 2017-06-20 | Apple Inc. | Systems having discrete and continuous gesture recognizers |
| US8566045B2 (en) | 2009-03-16 | 2013-10-22 | Apple Inc. | Event recognition |
| US8285499B2 (en) | 2009-03-16 | 2012-10-09 | Apple Inc. | Event recognition |
| US10216408B2 (en) | 2010-06-14 | 2019-02-26 | Apple Inc. | Devices and methods for identifying user interface objects based on view hierarchy |
| US9298363B2 (en) | 2011-04-11 | 2016-03-29 | Apple Inc. | Region activation for touch sensitive surface |
| US9733716B2 (en) | 2013-06-09 | 2017-08-15 | Apple Inc. | Proxy gesture recognizer |
| KR101883085B1 (en)* | 2013-08-21 | 2018-07-27 | 미쓰비시덴키 가부시키가이샤 | Program for editing programs |
| Publication number | Publication date |
|---|---|
| JPH06149467A (en) | 1994-05-27 |
| Publication | Publication Date | Title |
|---|---|---|
| EP0597379B1 (en) | Pen input processing apparatus | |
| US5796406A (en) | Gesture-based input information processing apparatus | |
| US6938220B1 (en) | Information processing apparatus | |
| JP4742132B2 (en) | Input device, image processing program, and computer-readable recording medium | |
| US9703474B2 (en) | Gesture based document editor | |
| US7542029B2 (en) | System and method for a user interface for text editing and menu selection | |
| CN100357861C (en) | Method and system for coordinating asynchronous data input messages | |
| JP3486459B2 (en) | Electronic information equipment and control method thereof | |
| EP2044587A2 (en) | System and method for a user interface for text editing and menu selection | |
| JP2999335B2 (en) | Gesture processing device and gesture processing method | |
| JP3292752B2 (en) | Gesture processing device and gesture processing method | |
| JP2963589B2 (en) | Gesture processing device and gesture processing method | |
| JP3075882B2 (en) | Document creation and editing device | |
| JP2905013B2 (en) | Gesture processing device and gesture processing method | |
| JP3469816B2 (en) | Gesture processing device and gesture processing method | |
| JP3874571B2 (en) | Gesture processing device and gesture processing method | |
| JP3258978B2 (en) | Gesture processing device and gesture processing method | |
| JP2989084B2 (en) | Information processing device | |
| JP3469817B2 (en) | Gesture processing device and gesture processing method | |
| JPH10307675A (en) | Handwritten character recognition method and apparatus | |
| JP2723109B2 (en) | Image processing method | |
| JPH10207607A (en) | Document creation device and character input method | |
| JPH0744308A (en) | Word processor | |
| JPH0728801A (en) | Image data processing method and apparatus thereof | |
| JPH06301472A (en) | Handwriting input device |
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20081105 Year of fee payment:9 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20091105 Year of fee payment:10 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20091105 Year of fee payment:10 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20101105 Year of fee payment:11 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20111105 Year of fee payment:12 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20111105 Year of fee payment:12 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20121105 Year of fee payment:13 | |
| EXPY | Cancellation because of completion of term |