JP2006268428A - Information presenting device, information presentation method and information-presenting program - Google Patents
Information presenting device, information presentation method and information-presenting programDownload PDFInfo
- Publication number
- JP2006268428A JP2006268428AJP2005085592AJP2005085592AJP2006268428AJP 2006268428 AJP2006268428 AJP 2006268428AJP 2005085592 AJP2005085592 AJP 2005085592AJP 2005085592 AJP2005085592 AJP 2005085592AJP 2006268428 AJP2006268428 AJP 2006268428A
- Authority
- JP
- Japan
- Prior art keywords
- information
- character
- voice
- response
- storage means
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034methodMethods0.000titleclaimsdescription102
- 230000004044responseEffects0.000claimsabstractdescription67
- 230000008859changeEffects0.000claimsabstractdescription15
- 230000006870functionEffects0.000claimsdescription11
- 230000008569processEffects0.000description88
- 239000003795chemical substances by applicationSubstances0.000description29
- 230000015572biosynthetic processEffects0.000description21
- 238000003786synthesis reactionMethods0.000description21
- 230000007704transitionEffects0.000description17
- 238000004458analytical methodMethods0.000description13
- 238000010586diagramMethods0.000description6
- 210000001015abdomenAnatomy0.000description4
- 238000006243chemical reactionMethods0.000description4
- 235000012054mealsNutrition0.000description4
- 206010034719Personality changeDiseases0.000description3
- 239000004065semiconductorSubstances0.000description3
- 230000002194synthesizing effectEffects0.000description3
- 230000009471actionEffects0.000description2
- 238000004364calculation methodMethods0.000description2
- 239000003814drugSubstances0.000description2
- 230000000877morphologic effectEffects0.000description2
- 230000003287optical effectEffects0.000description2
- 208000012886VertigoDiseases0.000description1
- 239000002253acidSubstances0.000description1
- 230000009118appropriate responseEffects0.000description1
- 230000003247decreasing effectEffects0.000description1
- 208000002173dizzinessDiseases0.000description1
- 239000000284extractSubstances0.000description1
- 238000005111flow chemistry techniqueMethods0.000description1
- 230000036541healthEffects0.000description1
- 239000000463materialSubstances0.000description1
- 238000012986modificationMethods0.000description1
- 230000004048modificationEffects0.000description1
- 210000002784stomachAnatomy0.000description1
- 231100000889vertigoToxicity0.000description1
- 238000005406washingMethods0.000description1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
Description
Translated fromJapanese本発明は、情報呈示装置、情報呈示方法、および、情報呈示用プログラムに関する。 The present invention relates to an information presentation device, an information presentation method, and an information presentation program.
近年、ユーザ一人ひとりの嗜好に合わせたアドバイスを行ったり、商品またはサービスを紹介したりする、いわゆるエージェント機能が種々提案されている。 In recent years, various so-called agent functions have been proposed that provide advice tailored to each user's preference and introduce products or services.
このようなエージェント機能を有する装置では、例えば、人の形を模したキャラクタ等を表示させ、ユーザからの質問等に当該キャラクタが応答するように構成されているものがある。 Some apparatuses having such an agent function are configured such that, for example, a character imitating a human shape is displayed and the character responds to a question from a user.
ところで、このようなエージェント機能を有する装置の場合、常に同じキャラクタが表示されると、ユーザが飽きを感じてしまう。そこで、特許文献１に示すように、キャラクタを必要に応じて変更することができる技術が提案されている。 By the way, in the case of a device having such an agent function, if the same character is always displayed, the user feels bored. Therefore, as shown in
ところで、特許文献１に示す技術は、キャラクタについては変更することができるが、キャラクタが発生する音声および応答パターンについては変更することができない。このため、ユーザが飽きを感じてしまったり、ユーザが求めているのとは異なる応答がなされてしまったりするという問題点がある。 By the way, although the technique shown in
本発明は、上記の事情に基づきなされたもので、その目的とするところは、ユーザが真に求めている情報を呈示することができるとともに、呈示される情報に飽きを感じにくい情報呈示装置、情報呈示方法、および、情報呈示用プログラムを提供することを目的とする。 The present invention has been made based on the above circumstances, the purpose of which is to present information that the user really wants, and an information presentation device that makes it difficult to feel bored with the information presented, It is an object to provide an information presentation method and an information presentation program.
上述の目的を達成するため、本発明の情報呈示装置は、入力情報に対応する応答情報を記憶する第１の記憶手段と、応答情報を音声として出力するための音声情報を記憶する第２の記憶手段と、音声情報に対応するキャラクタに関する情報を記憶する第３の記憶手段と、ユーザから所定の入力情報が供給された場合には、対応する応答情報、音声情報、および、キャラクタに関する情報を第１〜第３の記憶手段から取得する取得手段と、取得手段によって取得された応答情報、音声情報、キャラクタに関する情報を所定の出力装置にそれぞれ出力する出力手段と、キャラクタを変更する必要が生じた場合には、第３の記憶手段に記憶されているキャラクタに関する情報を変更するとともに、必要に応じて第１および／または第２の記憶手段に記憶されている応答情報および／または音声情報を変更する変更手段と、を有している。 In order to achieve the above-described object, an information presentation apparatus according to the present invention includes a first storage unit that stores response information corresponding to input information, and a second storage that stores audio information for outputting the response information as audio. When predetermined input information is supplied from the storage means, the third storage means for storing information related to the character corresponding to the voice information, and the user, the corresponding response information, voice information, and information about the character are The acquisition means acquired from the first to third storage means, the output means for outputting the response information, the voice information, and the information about the character acquired by the acquisition means to a predetermined output device respectively, and the character need to be changed If it is, the information on the character stored in the third storage means is changed, and the first and / or second storage means are changed if necessary. Has changing means for changing the response information and / or audio information is 憶, the.
また、本発明の情報呈示装置は、上述の発明に加えて、応答情報が、ユーザの入力情報に対する応答パターンを示す情報であり、音声情報が、キャラクタに応じた音声を出力するための情報であり、キャラクタに関する情報が、キャラクタを表示するための画像情報であるようにしている。 In addition to the above-described invention, the information presenting apparatus of the present invention is information for indicating response patterns for user input information, and voice information is information for outputting a sound corresponding to a character. Yes, the information related to the character is image information for displaying the character.
また、本発明の情報呈示装置は、上述の発明に加えて、変更手段が、応答情報、音声情報、および、キャラクタに関する情報を他の記憶装置から取得して変更するようにしている。 In addition to the above-described invention, the information presenting device of the present invention is configured such that the changing means acquires response information, voice information, and information about the character from another storage device and changes the information.
また、本発明の情報呈示装置は、上述の発明に加えて、変更手段が、ユーザの入力情報に対応する専門分野に属する応答情報に変更するとともに、当該専門分野に応じたキャラクタおよび音声情報に変更するようにしている。 In addition to the above-described invention, the information presenting device according to the present invention changes the response means to response information belonging to a specialized field corresponding to the input information of the user, and converts the character and voice information according to the specialized field. I am trying to change it.
また、本発明の情報呈示装置は、上述の発明に加えて、変更手段が、ユーザからの要求に応じてぼけ役またはつっこみ役を示すキャラクタに変更し、応答情報および音声情報についても該当する情報に変更するようにしている。 In addition to the above-described invention, the information presenting apparatus according to the present invention is an information in which the changing means changes to a character indicating a blurring role or a punishment role in response to a request from the user, and the response information and voice information are also applicable. I am trying to change it.
また、本発明の情報呈示方法は、ユーザから所定の入力情報が供給された場合には、入力情報に対応する応答情報、応答情報を音声として出力するための音声情報、音声情報に対応するキャラクタに関する情報を記憶装置から取得し、取得された応答情報、音声情報、キャラクタに関する情報を所定の出力装置にそれぞれ出力し、キャラクタを変更する必要が生じた場合には、記憶装置に記憶されているキャラクタに関する情報を変更するとともに、必要に応じて応答情報および／または音声情報を変更するようにしている。 The information presenting method of the present invention, when predetermined input information is supplied from the user, response information corresponding to the input information, voice information for outputting the response information as voice, and a character corresponding to the voice information Information is obtained from the storage device, and the obtained response information, voice information, and information about the character are respectively output to a predetermined output device, and stored in the storage device when it becomes necessary to change the character. While changing the information regarding a character, the response information and / or audio | voice information are changed as needed.
また、本発明の情報呈示用プログラムは、コンピュータを、入力情報に対応する応答情報を記憶する第１の記憶手段、応答情報を音声として出力するための音声情報を記憶する第２の記憶手段、音声情報に対応するキャラクタに関する情報を記憶する第３の記憶手段、ユーザから所定の入力情報が供給された場合には、対応する応答情報、音声情報、および、キャラクタに関する情報を第１〜第３の記憶手段から取得する取得手段、取得手段によって取得された応答情報、音声情報、キャラクタに関する情報を所定の出力装置にそれぞれ出力する出力手段、キャラクタを変更する必要が生じた場合には、第３の記憶手段に記憶されているキャラクタに関する情報を変更するとともに、必要に応じて第１および／または第２の記憶手段に記憶されている応答情報および／または音声情報を変更する変更手段、として機能させるようにしている。 The information presenting program of the present invention includes a first storage means for storing response information corresponding to input information, a second storage means for storing voice information for outputting the response information as voice, Third storage means for storing information related to the character corresponding to the voice information. When predetermined input information is supplied from the user, the corresponding response information, voice information, and information about the character are first to third. If there is a need to change the character, the output means for outputting the acquisition means acquired from the storage means, the output information obtained by the acquisition means, the voice information, the information relating to the character to the predetermined output device, respectively. The information on the character stored in the storage means is changed and stored in the first and / or second storage means as necessary. In which the response information and / or changing means for changing the sound information, and to function as.
本発明は、ユーザが真に求めている情報を呈示することができるとともに、呈示される情報に飽きを感じにくい情報呈示装置、情報呈示方法、および、情報呈示用プログラムを提供することができる。 The present invention can provide an information presenting apparatus, an information presenting method, and an information presenting program that can present information that the user really wants and are less tired of the presented information.
以下、本発明の一実施の形態について図に基づいて説明する。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
図１は、本発明の実施の形態に係る情報呈示装置の構成例を示すブロック図である。この図に示すように、本発明の実施の形態に係る情報呈示装置１０は、ＣＰＵ（Central Processing Unit）１０ａ、ＲＯＭ（Read Only Memory）１０ｂ、ＲＡＭ（Random Access Memory）１０ｃ、ＨＤＤ（Hard Disk Drive）１０ｄ、ビデオ回路１０ｅ、Ｉ／Ｆ（Interface）１０ｆ、バス１０ｇ、表示装置１０ｈ、記憶装置１０ｉ、音声入力装置１０ｊ、および、音声出力装置１０ｋを有している。 FIG. 1 is a block diagram showing a configuration example of an information presentation apparatus according to an embodiment of the present invention. As shown in this figure, an
ここで、取得手段および変更手段としてのＣＰＵ１０ａは、ＨＤＤ１０ｄに格納されているプログラムに応じて、各種演算処理を実行するとともに、装置の各部を制御する中央処理装置である。 Here, the CPU 10a as the obtaining unit and the changing unit is a central processing unit that executes various arithmetic processes and controls each unit of the apparatus according to a program stored in the
ＲＯＭ１０ｂは、ＣＰＵ１０ａが実行するプログラムを格納した半導体記憶装置である。ＲＡＭ１０ｃは、ＣＰＵ１０ａが実行するプログラムを一時的に記憶する半導体記憶装置である。 The
第１の記憶手段、第２の記憶手段、および、第３の記憶手段としてのＨＤＤ１０ｄは、ＣＰＵ１０ａが実行するプログラムおよびデータを格納している。具体的には、ＨＤＤ１０ｄは、音声処理プログラム１０ｄ１、エージェント処理プログラム１０ｄ２、キャラクタ情報ＤＢ（Data Base）１０ｄ３、および、キャラクタ変更プログラム１０ｄ４を有している。ここで、音声処理プログラム１０ｄ１は、図２を参照して後述するように、音声の入出力および音声認識に関する処理を実行するためのプログラムである。エージェント処理プログラム１０ｄ２は、同じく、図２を参照して後述するように、音声処理プログラム１０ｄ１の処理に基づいて入力された音声に対応した所定の応答情報を取得し、音声として出力するためのプログラムである。キャラクタ情報ＤＢ１０ｄ３は、キャラクタに関する情報を格納するデータベースである。キャラクタ変更プログラム１０ｄ４は、キャラクタを変更する必要が生じた場合に、キャラクタ情報ＤＢ１０ｄ３に格納されている情報を他のキャラクタのものに変更するとともに、関連する情報を対応する情報に変更する処理を実行するプログラムである。 The
出力手段としてのビデオ回路１０ｅは、ＣＰＵ１０ａから供給された描画コマンドに応じた描画処理を実行するとともに、描画処理の結果として得られた画像を映像信号に変換して表示装置１０ｈへ出力する。 The video circuit 10e serving as an output unit executes a drawing process according to a drawing command supplied from the CPU 10a, converts an image obtained as a result of the drawing process into a video signal, and outputs the video signal to the
出力手段としてのＩ／Ｆ１０ｆは、記憶装置１０ｉおよび音声入力装置１０ｊからの出力される信号の表現形式を変換して入力するとともに、記憶装置１０ｉおよび音声出力装置１０ｋに対して出力する信号の表現形式を変換する。バス１０ｇは、ＣＰＵ１０ａ、ＲＯＭ１０ｂ、ＲＡＭ１０ｃ、ＨＤＤ１０ｄ、ビデオ回路１０ｅ、および、Ｉ／Ｆ１０ｆを相互に接続し、これらの間で情報の授受を可能とするための信号線群である。 The I / F 10f serving as an output unit converts the representation format of signals output from the storage device 10i and the
表示装置１０ｈは、ビデオ回路１０ｅから出力される映像信号を表示するための装置であり、ＣＲＴ（Cathode Ray Tube）モニタ等によって構成される。記憶装置１０ｉは、例えば、ＣＤ（Compact Disk）−ＲＯＭ、ＤＶＤ（Digital Versatile Disk）−ＲＯＭに記録された情報を読み出す装置である。また、記憶装置１０ｉとしては、記録可能な記録媒体（例えば、ＣＤ−Ｒ（Recordable）、ＤＶＤ−Ｒ、ＤＶＤ−ＲＡＭ）から情報を読み出すとともに、情報を書き込むことができる装置としてもよい。 The
音声入力装置１０ｊは、ユーザの音声を電気信号に変換した後に、ディジタルデータに変換して出力する装置であり、例えば、マイクロフォンおよびＡ／Ｄ（Analog to Digital）変換器等によって構成される。音声出力装置１０ｋは、ディジタル信号をアナログ信号に変換した後に、音声として出力する装置であり、例えば、Ｄ／Ａ（Digital to Analog）変換器およびスピーカ等によって構成される。 The
図２は、図１に示すＨＤＤに記憶されている音声処理プログラム１０ｄ１、エージェント処理プログラム１０ｄ２、および、キャラクタ変更プログラム１０ｄ４によって、実現される機能のブロックを説明するための図である。 FIG. 2 is a diagram for explaining a block of functions realized by the voice processing program 10d1, the agent processing program 10d2, and the character change program 10d4 stored in the HDD shown in FIG.
この図において、音声認識部５０は、音声入力装置１０ｊを介して入力された音声データに含まれている雑音を除去する処理等を実行した後、エージェント処理部５２の単語データベース５２ｃを参照して、音声データに対する認識処理を施し、この音声データに対応する単語の候補と、それぞれの候補の尤度（スコア）とを出力する。 In this figure, the
具体的には、音声認識部５０は、例えば、入力された音声データと、単語データベース５２ｃに登録されているすべての単語とのマッチング処理を行ってスコアを算出し、どの単語のスコアが最も高いかを検討する。例えば、ユーザの発話が「え〜と、？？？が減ったよ。」である場合に、？？？の部分が「お腹」とも「お墓」とも認識され得るときは、音声認識部５０は、「？？？」の部分については単語「お腹」に対するスコアが８０％で、単語「お墓」に対するスコアが６５％のようにスコアを計算する。そして、最も高いスコアを有する単語「お腹」を発話「？？？」に対する単語であるとして選択する。そして、音声認識部５０は、「え〜と、お腹が減ったよ。」というテキスト文字列（または単語ＩＤ（Identifier））を生成して、自然言語解析部５１に供給する。 Specifically, for example, the
なお、音声認識部５０が行う音声認識の手法は任意である。また、スコアの値が所定値を下回る単語については、候補として選択しないようにしてもよい。また、１つの音声入力に対して複数の単語の候補が選択されるようにしてもよい。具体的には、上述のように「お腹」を１つ選択するのではなく、「お腹」と「お墓」の双方を選択して、出力するようにすることも可能である。その場合には、特定した候補とそのスコアを示すデータ（以下、「単語データ」と称する）を生成して出力する。単語データは、単語情報そのものとスコアを含むものとしてもよいが、実際には単語ＩＤとスコアを含むものとした方がデータの取り扱い上有利である。 Note that the speech recognition method performed by the
自然言語解析部５１は、音声認識部５０から供給された単語データ（またはテキストデータ）に形態素解析処理を施すことにより、単語データを構成する単語を品詞毎に分類し、分類結果を示すデータを単語データに付して、エージェント処理部５２に供給する。なお、自然言語解析部５１が行う分類の手法は任意であり、例えば、奈良先端技術大学で開発された日本語形態素解析の手法である“Ｃｈａｓｅｎ”を用いることができる。具体的には、自然言語解析部５１は、入力音声から所定の品詞（例えば、名詞、動詞のみ）を抽出して出力する。この結果、入力音声がユーザの自然な発話である場合（例えば、「あ〜お腹がすいたな。」）でも、処理に必要なキーワード（「お腹」および「すいた」）が抽出される。 The natural
エージェント処理部５２は、Ｉ／Ｆ５２ａ、カテゴリ辞書５２ｂ、単語データベース５２ｃ、処理項目データベース５２ｄ、および、ワイヤデータベース５２ｅを有し、自然言語解析部５１から供給された単語の品詞に基づいて、ユーザへの問いかけなどの処理を行う。例えば、ユーザが「お腹がすいたなあ」と発話した場合には、エージェント処理部５２はこれに対する問いかけとして「食事に行きますか」を音声合成処理部５３に出力する。 The
ここで、Ｉ／Ｆ５２ａは、図示せぬ他の処理部との間でデータを授受する場合に、データのフォーマット等を変換する。 Here, the I /
カテゴリ辞書５２ｂは、単語を示すデータと、当該単語が属するカテゴリを示すデータとを相互に関連付けて格納している。例えば、単語「減った」はカテゴリ「食事」に対応付けられている。なお、１個の単語が複数のカテゴリに属するようにしてもよい（例えば、単語「昼食」を、カテゴリ「腹具合」および「時間帯」の双方に対応付けしてもよい）。 The
単語データベース５２ｃは、単語とその発音データとを関連付けして格納しており、音声認識部５０が入力された音声データを認識処理する際に利用される。 The
処理項目データベース５２ｄは、エージェント処理部５２が実行するトリガ取得処理、判別処理、および、入出力処理の内容を処理項目（ポインタ）毎に記述するデータを格納している。ここで、トリガ取得処理の内容を記述するデータは、一連の処理を開始するきっかけとなるトリガを指定するデータと、後述する進行方向の確率係数とを有している。取得するデータは、任意のものでよく、例えば、自然言語解析部５１から供給される単語データ、図示せぬクロックから供給される時刻を示すデータ、または、エージェント処理部５２自身が実行する処理から引き渡されるデータ等がある。 The
判別処理の内容を記述するデータは、進行方向の確率係数を、とり得る判別結果毎に記述したデータを含んでおり、また、後述する戻り方向の確率係数を含んでいる。なお、エージェント処理部５２は、後述するワイヤ（遷移定義データ）に基づいて処理の手順を決定するものであり、どのワイヤが示す遷移を実行するかは、直接的には上述の確率係数に従って決定するのではなく、後述する重み係数に従って決定する。 The data describing the contents of the discrimination processing includes data describing the probability coefficient in the traveling direction for each possible discrimination result, and also includes a probability coefficient in the return direction described later. Note that the
判別処理では、判別に用いるデータを、任意の取得源から取得することができる。例えば、取得源として、自然言語解析部５１、エージェント処理部５２が実行する他の処理等が考えられる。また、判別処理では、判別に先立って所定の出力先にデータを出力することもできる。例えば、所定の質問を示す音声データを、音声合成処理部５３に出力する等である。 In the discrimination process, data used for discrimination can be acquired from an arbitrary acquisition source. For example, other processing executed by the natural
入出力処理の内容を記述するデータは、入力あるいは出力するデータの内容を指定するデータからなっている。入力または出力するデータは、任意の内容を有していてよく、例えば、出力するデータは、音声合成処理部５３を介して音声出力装置１０ｋから音声として出力する音声データであってもよいし、入力するデータは外部の機器から供給されるデータであってもよい。 The data describing the contents of the input / output processing consists of data specifying the contents of the data to be input or output. The data to be input or output may have arbitrary contents. For example, the data to be output may be voice data output as voice from the
ワイヤデータベース５２ｅは、複数の処理間の遷移を記述するデータ、つまり、遷移定義データ（以下、定義遷移データを「ワイヤ」と称する）の集合からなっている。ワイヤは、例えば、図３に示すような書式で記述されたデータからなっており、図示するように、先行する処理から後続する処理への遷移について、当該先行する処理と、当該後続する処理と、当該遷移に対して与えられた重み係数と、を指定するデータである。ただし、先行の処理が判別処理である場合には、当該判別処理のどの判別結果からの遷移であるかまで記述される必要がある。 The wire database 52e includes data describing transitions between a plurality of processes, that is, a set of transition definition data (hereinafter, the definition transition data is referred to as “wire”). For example, the wire is made up of data described in a format as shown in FIG. 3, and as shown in the figure, regarding the transition from the preceding process to the subsequent process, the preceding process, the subsequent process, , Data specifying a weighting factor given to the transition. However, when the preceding process is a determination process, it is necessary to describe from which determination result of the determination process the transition is made.
なお、上述した処理項目データが記述する確率係数を、接続されるワイヤが示す遷移が実行された実績に従ってエージェント処理部５２等によって書き換えるようにしてもよい。例えば、特定のワイヤが示す遷移が実行される頻度が所定値よりも高い場合、このワイヤが示す遷移元の処理項目を示す処理項目データに記述されている確率係数の値を従前よりも大きな値にエージェント処理部５２が書き換えることによって、このワイヤが示す遷移が起こりやすくする等である。そのような方法によれば、結果的にユーザの意図する応答がなされる確率が高くなる。 Note that the probability coefficient described by the above-described process item data may be rewritten by the
エージェント処理部５２は、処理項目データベース５２ｄおよびワイヤデータベース５２ｅが全体として表しているフローを実行する。処理項目データベース５２ｄおよびワイヤデータベース５２ｅは、例えば、図４に示すフローチャートとして表すことができる。 The
ここで、エージェント処理部５２の処理が、具体的にどのように行われるかについて、図４を参照して説明する。エージェント処理部５２は、図示するように、先行する第１の処理Ｐ１を実行して後述の第２の処理Ｐ２に遷移するようにワイヤＷ０１により定義されており、第２の処理Ｐ２を実行して後続の第３の処理Ｐ３に遷移するようにワイヤＷ０３によって定義されているとき、以下の処理が実行される。 Here, how the processing of the
なお、処理Ｐ１は、単語「痛い」を表す単語データが供給されたか否かを判断する処理であるとし、処理Ｐ２は、単語「頭」を表す単語データが供給されたか否かを判断する処理であるとし、処理Ｐ３は、「めまい」があるか否かを判定する処理である。なお、図示するように、処理Ｐ１〜Ｐ３の進行方向の確率係数はいずれも０．５であるものとする。また、エージェント処理部５２は、音声認識部５０が自然言語と分類された単語データのうち、自然言語解析部５１において名詞または動詞に分類された単語データのみを取得するものとする。 The process P1 is a process for determining whether or not the word data representing the word “pain” is supplied, and the process P2 is a process for determining whether or not the word data representing the word “head” is supplied. The process P3 is a process for determining whether or not there is “vertigo”. As shown in the figure, it is assumed that the probability coefficients in the traveling direction of the processes P1 to P3 are all 0.5. In addition, the
まず、エージェント処理部５２が第１の処理Ｐ１に達したとき、エージェント処理部５２は、ワイヤＷ０１，Ｗ０３，Ｗ０５のそれぞれの重み係数を計算し、計算結果をワイヤＷ０１，Ｗ０３，Ｗ０５に書き込む。これらの値は、各処理に予め設定されている進行方向の確率係数によって決定される。 First, when the
具体的には、処理Ｐ１に処理が到達したとき、ワイヤＷ０１の重み係数は、処理Ｐ１のワイヤに係る確率係数の値すなわち０．５となる。処理Ｐ２のワイヤＷ０３の重み係数は、処理Ｐ１のワイヤＷ０１に係る重み係数０．５に処理Ｐ２のワイヤＷ０３に係る確率係数０．５を乗じた結果すなわち０．２５となる。ワイヤＷ０５の重み係数は、処理Ｐ１のワイヤＷ０１に係る確率係数０．５に処理Ｐ２のワイヤＷ０３に係る確率係数０．５を乗じた結果にさらに処理Ｐ３のワイヤＷ０５に係る確率係数０．５を乗じた結果、すなわち、０．１２５となる。 Specifically, when the process reaches the process P1, the weight coefficient of the wire W01 becomes the value of the probability coefficient related to the wire of the process P1, that is, 0.5. The weight coefficient of the wire W03 in the process P2 is a result of multiplying the weight coefficient 0.5 related to the wire W01 in the process P1 by the probability coefficient 0.5 related to the wire W03 in the process P2, that is, 0.25. The weight coefficient of the wire W05 is obtained by multiplying the probability coefficient 0.5 related to the wire W01 in the process P1 by the probability coefficient 0.5 related to the wire W03 in the process P2 and the probability coefficient 0.5 related to the wire W05 in the process P3. As a result of multiplication, that is, 0.125.
このようにして、ある処理を基点としたときのそれぞれのワイヤの重み係数が計算される。よって、現在の状況が遷移すると、現在の処理を基点としてその都度重み係数が計算されることになる。 In this way, the weight coefficient of each wire when a certain process is used as a base point is calculated. Therefore, when the current situation changes, the weighting coefficient is calculated each time using the current process as a base point.
具体的には、現在の状態が処理Ｐ２に遷移すると、ワイヤＷ０３の重み係数は、処理Ｐ２のワイヤＷ０３に係る確率係数に等しい値０．５となり、ワイヤＷ０５の重み係数は、処理Ｐ２のワイヤＷ０３に係る確率係数０．５と、処理Ｐ３のワイヤＷ０５に係る重み係数０．５との積すなわち０．２５となる。また、このとき、エージェント処理部５２は、逆方向、つまり処理Ｐ１に戻る方向に係るワイヤＷ０１の重み係数も再度書き込む。処理Ｐ２に遷移した場合では、ワイヤＷ０１に係る戻り方向の重み係数０．１がそのままワイヤＷ０１の重み係数となる。処理Ｐ３に遷移した場合は、さらに、ワイヤＷ０３に係る戻り方向の確率係数０．１がそのままワイヤＷ０３の重み係数となる。そして、処理Ｐ３に遷移した状態におけるワイヤＷ０１の重み係数は、処理Ｐ３に遷移した状態におけるワイヤＷ０３の重み係数０．１に、処理Ｐ２の戻り方向の確率係数０．１を乗じた値すなわち０．０１となる。 Specifically, when the current state transitions to the process P2, the weight coefficient of the wire W03 becomes 0.5 equal to the probability coefficient related to the wire W03 of the process P2, and the weight coefficient of the wire W05 is the wire of the process P2. The product of the probability coefficient 0.5 related to W03 and the weighting coefficient 0.5 related to the wire W05 in the process P3, that is, 0.25. At this time, the
重み係数の計算は、関連するフローの処理のみではなく、すべてのフローのすべてのワイヤについて設定される。ここで、現在の処理に関連のないワイヤについては、予め定められた低い計数値を割り当てるようにすればよい。しかし、特に、トリガ取得処理を先行の処理とするワイヤについては、重み係数をある程度高く設定するようにする。そのようにすることで、直前までなされていた会話と著しく異なる内容の会話にもジャンプすることが可能になる。 The weighting factor calculation is set for all wires of all flows, not just the processing of the associated flows. Here, a predetermined low count value may be assigned to a wire that is not related to the current process. However, in particular, for a wire whose trigger acquisition process is the preceding process, the weighting factor is set to be somewhat high. By doing so, it is possible to jump to a conversation having a content that is significantly different from the conversation that has been performed immediately before.
エージェント処理部５２は、判別条件に係る１個または複数個の単語データもしくは状態データが自然言語解析部５１等から供給されると、以下の処理を実行する。なお、簡単のため、以下では、単語データが供給された場合を例に挙げて説明するが、状態データが供給された場合においても同様の処理がなされるものとする。 When one or a plurality of word data or state data related to the determination condition is supplied from the natural
まず、前述の処理によって各ワイヤに対して設定された重み係数と、供給された単語データが示すスコアとの積を計算する。例えば、図４に示すフローの処理が実行されている場合において、単語「痛い」を示す単語データがスコア８０％で供給され、単語「頭」を示す単語データがスコア５０％で供給されたとし、また、単語「痛い」を条件とするワイヤＷ０１の重み係数が０．５、単語「頭」を条件とするワイヤＷ０３の重み係数が０．２５であったとする。この場合、ワイヤＷ０１およびＷ０３について求められる判別結果は、以下の式（１）および式（２）のようになる。 First, the product of the weighting coefficient set for each wire by the above-described processing and the score indicated by the supplied word data is calculated. For example, when the processing of the flow shown in FIG. 4 is executed, word data indicating the word “pain” is supplied with a score of 80%, and word data indicating the word “head” is supplied with a score of 50%. Further, it is assumed that the weighting factor of the wire W01 that is conditional on the word “pain” is 0.5, and the weighting factor of the wire W03 that is conditional on the word “head” is 0.25. In this case, the determination results obtained for the wires W01 and W03 are as shown in the following equations (1) and (2).
〔数１〕
ワイヤＷ０１についての判別結果：「痛い」に対するスコア８０％×ワイヤＷ０１の重み係数０．５＝４０[Equation 1]
Discrimination result for wire W01: score 80% for “pain” × weight coefficient 0.5 of wire W01 = 40
〔数２〕
ワイヤＷ０３についての判別結果：「頭」に対するスコア５０％×ワイヤＷ０３の重み係数０．２５＝１２．５[Equation 2]
Discrimination result for wire W03: score 50% for “head” × weight coefficient 0.25 = 12.5 for wire W03
エージェント処理部５２は、スコアと重み係数との積を求める上述の処理を、フローの処理が有するワイヤのうち、少なくともスコアが設定されたすべてのワイヤについて行う。その結果、例えば、ワイヤＷ０１について求めた積（つまり、判別結果）が最も高い値を示した場合、入力された音声は単語「痛い」を示すものであったと認識して、ワイヤＷ０１が後続の処理としている処理Ｐ２に遷移することになる。 The
図２に戻って、音声合成処理部５３は、音片合成用データベース５３ａ、音素合成用データベース５３ｂ、素片合成用データベース５３ｃを有しており、エージェント処理部５２から供給されたテキストデータに対応する音声を合成して出力する。 Returning to FIG. 2, the speech
ここで、音片合成用データベース５３ａは、音片合成を実行する際に用いる音片データを格納している。ここで、音片とは、１つ以上の音素からなる音声の集合である。例えば、音片として「食事に」と「行きますか？」をそれぞれ格納しておき、これらをつなぎ合わせて合成することにより「食事に行きますか？」という自然な音声を得ることができる。 Here, the sound
音素合成用データベース５３ｂは、音素合成を実行する際に用いる音素データを格納している。ここで、音素とは、語と語の意味を区別する機能を有する音声の最小単位をいう。本実施の形態では、音片合成を優先して音声合成が実行されるが、音片データが存在しない場合には、音素を合成することにより、必要な音声データを生成する。 The
素片合成用データベース５３ｃは、音片合成用データベース５３ａに格納されている音片と、音素合成用データベース５３ｂに格納されている音素とを用いて音声を合成する場合に、これらを合成するためのデータを格納している。 The
音声出力装置１０ｋは、音声合成処理部５３から出力された音声データをＤ／A変換し、増幅器で増幅した後、スピーカから音声として出力する。 The
つぎに、本発明の実施の形態に係る情報呈示装置の動作について説明する。 Next, the operation of the information presenting apparatus according to the embodiment of the present invention will be described.
図５は、本発明の実施の形態に係る情報呈示装置の動作を説明するためのフローチャートである。このフローチャートの処理が開始されると以下のステップが実行される。 FIG. 5 is a flowchart for explaining the operation of the information presentation apparatus according to the embodiment of the present invention. When the process of this flowchart is started, the following steps are executed.
ステップＳ１０：ＣＰＵ１０ａは、音声入力装置１０ｊの出力を参照し、ユーザが発話を行ったことが検出された場合には、音声の入力を開始する。 Step S10: The CPU 10a refers to the output of the
ステップＳ１１：ＣＰＵ１０ａは、音声処理プログラム１０ｄ１に基づいて音声認識を開始する。具体的には、音声入力装置１０ｊは、ユーザの発話を音声信号（アナログ信号）に変換した後、さらに、ディジタル信号に変換し、音声認識部５０に供給する。音声認識部５０では、当該発話が、対応するテキストデータに変換され、自然言語解析部５１に供給される。自然言語解析部５１では、当該発話を形態素（意味を有する最小単位）に分解し、それぞれの形態素の品詞を特定して出力する。 Step S11: The CPU 10a starts voice recognition based on the voice processing program 10d1. Specifically, the
ステップＳ１２：ＣＰＵ１０ａは、ステップＳ１１の認識結果に基づいて、キャラクタを表示する。具体的は、ＣＰＵ１０ａは、ＨＤＤ１０ｄのキャラクタ情報ＤＢ１０ｄ３に格納されているデフォルトのキャラクタ画像データを読み出し、ビデオ回路１０ｅに供給して表示する。その結果、表示装置１０ｈには、図６に示すような画像が表示される。この例では、枠７０が表示され、枠７０内の最上部には、表示されているキャラクタを説明するタイトル７１として「薬の専門家」が表示されている。また、その下には、薬の専門家としてのキャラクタ７２が表示されている。なお、キャラクタ７２をアニメーション画像（動画像）とし、ユーザから入力された音声情報や時間の経過に応じて所定の動作を行うようにしてもよい。 Step S12: The CPU 10a displays a character based on the recognition result of step S11. Specifically, the CPU 10a reads default character image data stored in the character information DB 10d3 of the
ステップＳ１３：ＣＰＵ１０ａは、ステップＳ１１における音声認識処理の結果に応じて応答処理を実行する。例えば、図４のフローを例に挙げると、処理Ｐ１においてユーザから音声データ「痛い」が入力されたと判断され、処理Ｐ２において音声データ「頭」が入力されたと判断され、さらに、処理Ｐ３において「めまい」があると判断された場合には、例えば、エージェント処理部５２は、処理項目データベース５２ｄから該当するコメント「薬効成分アセサルチル酸が配合された○○○を食後に１錠服用すると良いでしょう。」を取得し、音声合成処理部５３に供給する。その結果、音声出力装置１０ｋからは前述のメッセージが図６に示すキャラクタの音声として出力される。なお、このとき、図６に示すキャラクタが音声に応じて口唇を動かしたり、身体の一部（例えば、手や足等）を動かしたりするようにしてもよい。 Step S13: The CPU 10a executes a response process according to the result of the voice recognition process in step S11. For example, taking the flow of FIG. 4 as an example, it is determined in the process P1 that the voice data “pain” has been input from the user, in the process P2, it is determined that the voice data “head” has been input. If it is determined that there is dizziness, for example, the
ステップＳ１４：ＣＰＵ１０ａは、ステップＳ１１の音声認識処理において、キャラクタを変更するようにユーザから要求がなされたか否かを判定し、要求がなされたと判定した場合には、ステップＳ１５に進み、それ以外の場合にはステップＳ１６に進む。例えば、ユーザが「投資の専門家に相談したい。」のような発話を行った場合には、ステップＳ１１においてキャラクタの変更が要求されていると判断し、ステップＳ１５に進む。 Step S14: The CPU 10a determines whether or not a request has been made by the user to change the character in the voice recognition processing in step S11. If it is determined that the request has been made, the process proceeds to step S15. If so, the process proceeds to step S16. For example, when the user utters “I want to consult an investment specialist”, it is determined in step S11 that a character change is requested, and the process proceeds to step S15.
ステップＳ１５：ＣＰＵ１０ａは、キャラクタを変更する処理を実行する。この処理の詳細は、図８を参照して後述する。ステップＳ１５に示す処理が実行されてキャラクタが変更されると、表示装置１０ｈには、例えば、図７に示すような画像が表示されることになる。この例では、枠８０が表示され、枠８０内の最上部には、表示されているキャラクタを説明するためのタイトル８１として「投資の専門家」が表示されている。また、その下には、投資の専門家としてのキャラクタ８２が表示されている。なお、この新たなキャラクタは、図６のキャラクタと比較すると、キャラクタ自体の姿態が異なるのみならず、声質、話し方、会話に登場する専門用語、および、動作が異なっている。すなわち、後述するように、キャラクタの画像情報のみならず、音声情報、および、応答情報についても併せて変更される。 Step S15: The CPU 10a executes a process of changing the character. Details of this processing will be described later with reference to FIG. When the process shown in step S15 is executed and the character is changed, for example, an image as shown in FIG. 7 is displayed on the
ステップＳ１６：ＣＰＵ１０ａは、処理を終了するか否かを判定し、終了しない場合にはステップＳ１０に戻って同様の処理を繰り返し、それ以外の場合には処理を終了する。 Step S16: The CPU 10a determines whether or not to end the process. If not, the CPU 10a returns to step S10 to repeat the same process, and otherwise ends the process.
つぎに、図８を参照して、図５のステップＳ１５に示すキャラクタ変更処理の詳細について説明する。なお、１つのキャラクタは、図９に示すような複数のデータによって構成されている。この例では、キャラクタを構成するデータ１００としては、例えば、キャラクタ画像データ１０１、キャラクタ音声データ１０２、および、シナリオデータ１０３がある。ここで、キャラクタに関する情報としてのキャラクタ画像データ１０１は、図６または図７に示すキャラクタ７２およびキャラクタ８２を表示するための静止画または動画データである。音声情報としてのキャラクタ音声データ１０２は、キャラクタの音声および発話内容に関するデータであり、声色、口調、方言、使用する専門用語に関するデータである。応答情報としてのシナリオデータ１０３は、キャラクタのユーザに対する応答パターンを示すデータである。 Next, the details of the character change process shown in step S15 of FIG. 5 will be described with reference to FIG. One character is composed of a plurality of data as shown in FIG. In this example, the
図８のフローチャートの処理が開始されると、以下のステップが実行される。 When the processing of the flowchart of FIG. 8 is started, the following steps are executed.
ステップＳ３０：ＣＰＵ１０ａは、例えば、記憶装置１０ｉまたは図示せぬサーバ装置からネットワークを介してキャラクタ画像データ１０１を受信する。 Step S30: The CPU 10a receives the
ステップＳ３１：ＣＰＵ１０ａは、キャラクタ画像データ１０１の受信が完了したか否かを判定し、終了した場合にはステップＳ３２に進み、それ以外の場合には同様の処理を繰り返す。 Step S31: The CPU 10a determines whether or not the reception of the
ステップＳ３２：ＣＰＵ１０ａは、データが正常に受信できたか否かを判定し、受信できたと判定した場合にはステップＳ３３に進み、それ以外の場合にはステップＳ３０に戻って受信処理を繰り返す。 Step S32: The CPU 10a determines whether or not the data has been normally received. If it is determined that the data has been received, the process proceeds to step S33. Otherwise, the process returns to step S30 and the reception process is repeated.
ステップＳ３３：ＣＰＵ１０ａは、例えば、記憶装置１０ｉまたは図示せぬサーバ装置からネットワークを介してキャラクタ音声データ１０２を受信する。 Step S33: For example, the CPU 10a receives the
ステップＳ３４：ＣＰＵ１０ａは、キャラクタ音声データ１０２の受信が完了したか否かを判定し、終了した場合にはステップＳ３５に進み、それ以外の場合には同様の処理を繰り返す。 Step S34: The CPU 10a determines whether or not the reception of the
ステップＳ３５：ＣＰＵ１０ａは、データが正常に受信できたか否かを判定し、受信できたと判定した場合にはステップＳ３６に進み、それ以外の場合にはステップＳ３３に戻って受信処理を繰り返す。 Step S35: The CPU 10a determines whether or not the data has been normally received. If it is determined that the data has been received, the CPU 10a proceeds to step S36, and otherwise returns to step S33 to repeat the reception process.
ステップＳ３６：ＣＰＵ１０ａは、例えば、記憶装置１０ｉまたは図示せぬサーバ装置からネットワークを介してシナリオデータ１０３を受信する。 Step S36: The CPU 10a receives the
ステップＳ３７：ＣＰＵ１０ａは、シナリオデータ１０３の受信が完了したか否かを判定し、終了した場合にはステップＳ３８に進み、それ以外の場合には同様の処理を繰り返す。 Step S37: The CPU 10a determines whether or not the reception of the
ステップＳ３８：ＣＰＵ１０ａは、データが正常に受信できたか否かを判定し、受信できたと判定した場合にはステップＳ３９に進み、それ以外の場合にはステップＳ３６に戻って受信処理を繰り返す。 Step S38: The CPU 10a determines whether or not the data has been normally received. If it is determined that the data has been received, the process proceeds to step S39. Otherwise, the process returns to step S36 and the reception process is repeated.
ステップＳ３９：ＣＰＵ１０ａは、以上の処理により受信したキャラクタ画像データ１０１、キャラクタ音声データ１０２、および、シナリオデータ１０３をＨＤＤ１０ｄに格納する。具体的には、ＣＰＵ１０ａは、キャラクタ変更処理部５４により、単語データベース５２ｃ、処理項目データベース５２ｄ、ワイヤデータベース５２ｅ、音片合成用データベース５３ａ、音素合成用データベース５３ｂ、素片合成用データベース５３ｃ、および、キャラクタ情報ＤＢ１０ｄ３に格納されているデータを、新たに受信したキャラクタ画像データ１０１、キャラクタ音声データ１０２、および、シナリオデータ１０３に含まれているデータにより更新する。 Step S39: The CPU 10a stores the
以上の処理によれば、ユーザからの要求がなされた場合には、表示装置１０ｈに表示されるキャラクタの画像が変更されるとともに、キャラクタの発する音声およびシナリオが変更されるので、ユーザの嗜好や目的に合ったキャラクタを選択することが可能になる。 According to the above processing, when a request from the user is made, the character image displayed on the
また、キャラクタとともに対応可能な専門用語およびシナリオを併せて変更することにより、限られた記憶容量で、複数の専門分野に対応することが可能になる。 In addition, by changing the technical terms and scenarios that can be handled together with the character, it is possible to deal with a plurality of specialized fields with a limited storage capacity.
また、それぞれの専門分野に応じたキャラクタが表示されることから、ユーザが親しみ安いインターフェースを提供することが可能になる。 In addition, since a character corresponding to each specialized field is displayed, it is possible to provide a user-friendly interface.
ところで、以上の実施の形態では、ユーザの要求に応じた専門分野に対応するキャラクタが表示されるようにしたが、例えば、漫才等に見られるいわゆる「ぼけ」および「つっこみ」のキャラクタを実現し、それぞれのキャラクタと対話するだけでなく、例えば、漫才の練習等に役立てることも可能である。 By the way, in the above embodiment, the characters corresponding to the specialized field according to the user's request are displayed, but for example, so-called “blur” and “tsutsumi” characters found in comics etc. are realized. In addition to interacting with each character, it is also possible to use it for the practice of comic talent, for example.
図１０は、漫才の練習に用いる場合の動作モードの一例を示す図である。この例では、練習モードとしては、ぼけ練習モード、つっこみ練習モード、および、自動実行モードを有している。ここで、ぼけ練習モードは、ユーザがぼけ役であり、情報呈示装置１０がつっこみ役であるモードであり、情報呈示装置１０がユーザの音声を認識し、その言葉に応じた音声を出力するモードである。また、つっこみ練習モードは、情報呈示装置１０がぼけ役であり、ユーザがつっこみ役であるモードであり、情報呈示装置１０がユーザの音声を認識し、その言葉に応じた音声を出力するモードである。また、自動実行モードは、ぼけ役およびつっこみ役の双方が情報呈示装置１０であるモードであり、ユーザは情報呈示装置１０によって呈示されるぼけ役とつっこみ役のやり取りをお手本として参照することが可能なモードである。 FIG. 10 is a diagram illustrating an example of an operation mode when used for the practice of comic talent. In this example, the practice mode includes a blur practice mode, a practice practice mode, and an automatic execution mode. Here, the blur practice mode is a mode in which the user is in a blurring role and the
なお、ぼけ練習モードでは、表示装置１０ｈには、つっこみ役のキャラクタが表示される。また、つっこみ練習モードでは、表示装置１０ｈには、ぼけ役のキャラクタが表示される。さらに、自動実行モードでは、表示装置１０ｈには、ぼけ役とつっこみ役の双方のキャラクタが表示される。 In the blur practice mode, the character that plays the character is displayed on the
図１１は、図１０に示すぼけ練習モードにおける情報呈示装置の応答パターンの一例を示す図である。この図では、あいづち、つっこみ、終了の３つのパターンが示されている。ここで、「あいづち」は、ユーザの話した内容にあいづちを打つ応答パターンであり、具体的には「ふむふむ」、「それで」等の応答パターンである。このような応答パターンは、例えば、ぼけ役のユーザの発話が終了して、所定時間の無音状態が検出された場合に選択されて呈示される。また、「つっこみ」は、例えば、ぼけ役のユーザの発話が終了し、所定時間の無音状態が検出された場合であって、ユーザの発話の語尾の声量が大きくなったときに選択されて呈示される。声量が大きくなるのはユーザがつっこんで欲しいことを意図している場合が多いためである。また、「終了」は、ネタを披露する時間は予め決まっている場合が多いので、例えば、所定の時間（例えば、開始から５分）が経過し、ユーザの発話が終了した場合に選択されて呈示される。なお、これら以外にもユーザの発話の内容の一部を繰り返す応答パターンを設けることも可能である。例えば、「最近は不景気でんな。」に対して「不景気でんな。」のような応答パターンである。 FIG. 11 is a diagram illustrating an example of a response pattern of the information presentation device in the blur practice mode illustrated in FIG. 10. In this figure, three patterns, i.e., nick, prick, and end are shown. Here, “AIZUCHI” is a response pattern that hits the user's spoken content, specifically “Fumufum”, “So”, and the like. Such a response pattern is selected and presented, for example, when the utterance of the blurring user ends and a silent state for a predetermined time is detected. “Tsukumi” is selected and presented when, for example, the speech of the blurring user ends and a silent state is detected for a predetermined time, and the utterance volume of the user's speech increases. Is done. The amount of voice increases because the user often intends to have it. In addition, “end” is often selected when the user's utterance ends after a predetermined time (for example, 5 minutes from the start) has elapsed since the time to show the material is often predetermined. Presented. In addition to these, it is also possible to provide a response pattern that repeats part of the content of the user's utterance. For example, a response pattern such as “Don't be a recession” to “Recently a recession”.
図１１に示す応答パターンは、図４に示すようなフローに係る処理項目データベース５２ｄおよびワイヤデータベース５２ｅをそれぞれの応答毎に準備することにより、実現できる。 The response pattern shown in FIG. 11 can be realized by preparing the
図１２は、図１０に示すつっこみ練習モードにおける情報呈示装置１０の応答パターンの一例を示す図である。この図では、つっこみ練習モードには、「固定モード」、「半固定モード」、および、「自動モード」の３種類がある。ここで、固定モードは、シナリオは固定であり、情報呈示装置１０は、ユーザからの応答があった場合に、シナリオに定められた会話を次々に呈示していく。また、半固定モードは、シナリオはほとんど決まっているが、ユーザから呈示されるキーワードに応じて、シナリオをある程度変更することが可能なモードである。自動モードは、シナリオは予め決まっておらず、ユーザの呈示する情報に応じて、応答する情報をその都度決定するモードである。 FIG. 12 is a diagram illustrating an example of a response pattern of the
具体的には、固定モードは、情報呈示装置１０から所定の発話がなされた後に、ユーザから所定の反応がなされた場合には、シナリオに基づいてつぎの発話に移行するように図４に示すようなフローを形成する。例えば、情報呈示装置１０が「最近は、雨がぎょうさん降りますなあ。」を呈示した場合に、ユーザが「そうですな。」と対応した場合には、予め設定されているつぎの発話「洗濯物が乾かんから、ええかげんにして欲しいですわ。」が情報呈示装置１０によって呈示される。 Specifically, the fixed mode is shown in FIG. 4 so that when a predetermined reaction is made by the user after a predetermined utterance is made from the
また、半固定モードは、情報呈示装置１０から所定の発話がなされた後に、ユーザから所定の反応がなされた場合には、当該反応に含まれている所定の情報（例えば、キーワード）に対応した発話を行うようにする。例えば、情報呈示装置１０が「最近は、雨がぎょうさん降りますなあ。」を呈示した場合に、ユーザが「雨と言えば、梅雨ですな。」と対応した場合には、情報呈示装置１０は予めキーワードとして設定されている「梅雨」を検出し、「梅雨」に対応するつぎの発話「しかし、今年の梅雨は長うおますなあ。」を呈示する。また、情報呈示装置１０が「最近は、雨がぎょうさん降りますなあ。」を呈示した場合に、ユーザが「カビが生えてこまりますわ。」と対応した場合には、情報呈示装置１０は予めキーワードとして設定されている「カビ」を検出し、「カビ」に対応するつぎの発話「おまえんとこはカビだらけやからな。」を呈示する。なお、半固定モードでは、情報呈示装置１０が呈示する応答の選択肢は、例えば、２〜３個と予め定まっているので、ユーザは、このキーワードを予め記憶しておき、状況に応じてキーワードを会話の中に織り交ぜて発言する必要がある。 The semi-fixed mode corresponds to predetermined information (for example, a keyword) included in the reaction when a predetermined reaction is made by the user after a predetermined utterance is made from the
また、自動モードは、図４に示すようなフローを複数準備しておき、ユーザの発話に応じて適切な応答を選択して呈示するようにする。例えば、ユーザが応答としてあいづちだけを打った場合（例えば、「ふむふむ」と発言した場合）には、予め準備されているシナリオに従って発言し、ユーザの応答に所定のキーワードが含まれている場合には、当該キーワードに関連する応答を検索して呈示する。なお、自動モードでは、シナリオは予め決まっていないため、ユーザは情報呈示装置１０の発話にあいづちを打ったり、つっこみを入れたり、話題を転換するためにキーワードを含むと考えられる情報を呈示したりして、会話を発展させる。 In the automatic mode, a plurality of flows as shown in FIG. 4 are prepared, and an appropriate response is selected and presented according to the user's utterance. For example, when the user hits only Aizuchi as a response (for example, when saying “Fum Fumu”), the user responds according to a scenario prepared in advance, and the user's response includes a predetermined keyword Search for and present a response related to the keyword. In the automatic mode, since the scenario is not determined in advance, the user may make a brief introduction to the utterance of the
ところで、以上のような処理は、図１０に示す各モードが選択された場合に、選択されたモードに対応するキャラクタ画像データ１０１、キャラクタ音声データ１０２、および、シナリオデータ１０３を記憶装置１０ｉまたは図示せぬサーバ装置から検索して取得し、図２に示すエージェント処理部５２および音声合成処理部５３の各部に格納することにより実現できる。 By the way, in the processing as described above, when each mode shown in FIG. 10 is selected, the
なお、上述の実施の形態は、本発明の好適な例であるが、本発明は、これらに限定されるものではなく、本発明の要旨を逸脱しない範囲において、種々の変形、変更が可能である。 The above-described embodiments are preferred examples of the present invention, but the present invention is not limited to these, and various modifications and changes can be made without departing from the scope of the present invention. is there.
例えば、以上の実施の形態では、キャラクタに関する情報（キャラクタ画像データ）とともに、キャラクタ音声データおよびシナリオデータを併せて変更するようにしたが、これらのいずれか一方のみを変更するようにしてもよい。 For example, in the above embodiment, the character voice data and the scenario data are changed together with the information about the character (character image data), but only one of these may be changed.
また、以上の各実施の形態では、音声の入力に対して音声で出力するようにしたが、例えば、音声とともにテキスト情報を併せて出力するようにしてもよい。 Further, in each of the embodiments described above, voice is output in response to voice input. However, for example, text information may be output together with voice.
また、以上の各実施の形態では、例えば、情報呈示装置１０をパーソナルコンピュータとして実施する場合を例に挙げて説明したが、例えば、携帯電話、ＰＤＡ（Personal Digital Assistant）、または、カーナビゲーション装置として実施することも可能であることはいうまでもない。 In each of the above embodiments, for example, the case where the
また、以上の実施の形態では、処理項目データベース５２ｄおよびワイヤデータベース５２ｅに基づき、図４に示すフローを用いて処理を実現するようにしたが、これ以外の方法によって実現することも可能である。 In the above embodiment, the processing is realized using the flow shown in FIG. 4 based on the
また、以上の実施の形態では、ユーザからの音声による要請に基づいてキャラクタ等を変更するようにしたが、例えば、図示せぬ入力装置から所定の入力がなされた場合に、キャラクタ等を変更するようにしてもよい。また、明示的に要求がなされない場合であっても、例えば、ユーザの発話に含まれている専門用語によって専門分野を判断し、それに応じてキャラクタ等を変更することも可能である。 In the above embodiment, the character or the like is changed based on a voice request from the user. For example, when a predetermined input is made from an input device (not shown), the character or the like is changed. You may do it. Further, even when no explicit request is made, for example, it is possible to determine a specialized field based on technical terms included in a user's utterance and change a character or the like accordingly.
また、以上の実施の形態では、キャラクタ等を変更する際には、記憶装置１０ｉから新たなキャラクタに関する情報を読み込んでＨＤＤ１０ｄの内容を更新するようにしたが、ＨＤＤ１０ｄに予め複数のキャラクタ等に関する情報を記憶しておき、これらの中から所望のキャラクタを選択するようにしてもよい。また、その場合に、ＨＤＤ１０ｄに格納されていないキャラクタが選択された場合には記憶装置１０ｉから取得して、いずれかのキャラクタ（例えば、使用されていないキャラクタ）と置換するようにしてもよい。 Further, in the above embodiment, when changing a character or the like, information related to a new character is read from the storage device 10i and the content of the
なお、上記の処理機能は、例えば、図１に示すようなコンピュータによって実現される。その場合、情報呈示装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録装置には、ハードディスク装置（ＨＤＤ）、フレキシブルディスク（ＦＤ）、磁気テープなどがある。光ディスクには、ＤＶＤ、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ（Recordable）／ＲＷ（Rewritable）などがある。光磁気記録媒体には、ＭＯ（Magneto-Optical disk）などがある。 The above processing functions are realized by a computer as shown in FIG. 1, for example. In that case, a program describing the processing content of the function that the information presenting apparatus should have is provided. By executing the program on the computer, the processing function is realized on the computer. The program describing the processing contents can be recorded on a computer-readable recording medium. Examples of the computer-readable recording medium include a magnetic recording device, an optical disk, a magneto-optical recording medium, and a semiconductor memory. Examples of the magnetic recording device include a hard disk device (HDD), a flexible disk (FD), and a magnetic tape. Optical disks include DVD, DVD-RAM, CD-ROM, CD-R (Recordable) / RW (Rewritable), and the like. Magneto-optical recording media include MO (Magneto-Optical disk).
プログラムを流通させる場合には、たとえば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。 When the program is distributed, for example, portable recording media such as a DVD and a CD-ROM on which the program is recorded are sold. It is also possible to store the program in a storage device of a server computer and transfer the program from the server computer to another computer via a network.
プログラムを実行するコンピュータは、たとえば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送される毎に、逐次、受け取ったプログラムに従った処理を実行することもできる。 The computer that executes the program stores, for example, the program recorded on the portable recording medium or the program transferred from the server computer in its own storage device. Then, the computer reads the program from its own storage device and executes processing according to the program. The computer can also read the program directly from the portable recording medium and execute processing according to the program. In addition, each time the program is transferred from the server computer, the computer can sequentially execute processing according to the received program.
本発明は、ユーザの入力に応じた応答情報を呈示する情報呈示装置に利用することができる。 INDUSTRIAL APPLICABILITY The present invention can be used for an information presentation apparatus that presents response information according to a user input.
１０ 情報呈示装置
１０ａ ＣＰＵ（取得手段、変更手段）
１０ｄ ＨＤＤ（第１の記憶手段、第２の記憶手段、第３の記憶手段）
１０ｅ ビデオ回路（出力手段）
１０ｆ Ｉ／Ｆ（出力手段）10 Information Presentation Device 10a CPU (Acquisition means, change means)
10d HDD (first storage means, second storage means, third storage means)
10e Video circuit (output means)
10f I / F (output means)
Claims (7)
Translated fromJapanese上記入力情報に対応する応答情報を記憶する第１の記憶手段と、
上記応答情報を音声として出力するための音声情報を記憶する第２の記憶手段と、
上記音声情報に対応するキャラクタに関する情報を記憶する第３の記憶手段と、
上記ユーザから所定の入力情報が供給された場合には、対応する応答情報、音声情報、および、キャラクタに関する情報を上記第１〜第３の記憶手段から取得する取得手段と、
上記取得手段によって取得された応答情報、音声情報、キャラクタに関する情報を所定の出力装置にそれぞれ出力する出力手段と、
上記キャラクタを変更する必要が生じた場合には、上記第３の記憶手段に記憶されているキャラクタに関する情報を変更するとともに、必要に応じて上記第１および／または第２の記憶手段に記憶されている応答情報および／または音声情報を変更する変更手段と、
を有することを特徴とする情報呈示装置。In an information presentation device for presenting information corresponding to user input information,
First storage means for storing response information corresponding to the input information;
Second storage means for storing voice information for outputting the response information as voice;
Third storage means for storing information relating to the character corresponding to the voice information;
When predetermined input information is supplied from the user, acquisition means for acquiring corresponding response information, voice information, and information about the character from the first to third storage means,
Output means for outputting response information acquired by the acquisition means, voice information, and information about the character to a predetermined output device, respectively;
When it is necessary to change the character, information on the character stored in the third storage means is changed and stored in the first and / or second storage means as necessary. Changing means for changing the response information and / or voice information,
An information presentation device characterized by comprising:
前記音声情報は、キャラクタに応じた音声を出力するための情報であり、
前記キャラクタに関する情報は、キャラクタを表示するための画像情報である、
ことを特徴とする請求項１記載の情報呈示装置。The response information is information indicating a response pattern for user input information,
The voice information is information for outputting voice according to the character,
The information about the character is image information for displaying the character.
The information presentation apparatus according to claim 1, wherein:
上記ユーザから所定の入力情報が供給された場合には、上記入力情報に対応する応答情報、上記応答情報を音声として出力するための音声情報、上記音声情報に対応するキャラクタに関する情報を記憶装置から取得し、
取得された応答情報、音声情報、キャラクタに関する情報を所定の出力装置にそれぞれ出力し、
上記キャラクタを変更する必要が生じた場合には、上記記憶装置に記憶されているキャラクタに関する情報を変更するとともに、必要に応じて応答情報および／または音声情報を変更する、
ことを特徴とする情報呈示方法。In an information presentation method for presenting information corresponding to user input information,
When predetermined input information is supplied from the user, response information corresponding to the input information, voice information for outputting the response information as voice, and information regarding a character corresponding to the voice information are stored from the storage device. Acquired,
Output the acquired response information, voice information, and information about the character to a predetermined output device,
When it is necessary to change the character, the information on the character stored in the storage device is changed, and the response information and / or the voice information is changed as necessary.
An information presentation method characterized by that.
コンピュータを、
上記入力情報に対応する応答情報を記憶する第１の記憶手段、
上記応答情報を音声として出力するための音声情報を記憶する第２の記憶手段、
上記音声情報に対応するキャラクタに関する情報を記憶する第３の記憶手段、
上記ユーザから所定の入力情報が供給された場合には、対応する応答情報、音声情報、および、キャラクタに関する情報を上記第１〜第３の記憶手段から取得する取得手段、
上記取得手段によって取得された応答情報、音声情報、キャラクタに関する情報を所定の出力装置にそれぞれ出力する出力手段、
上記キャラクタを変更する必要が生じた場合には、上記第３の記憶手段に記憶されているキャラクタに関する情報を変更するとともに、必要に応じて上記第１および／または第２の記憶手段に記憶されている応答情報および／または音声情報を変更する変更手段、
として機能させるコンピュータ読み取り可能な情報呈示用プログラム。In a computer-readable information presentation program for causing a computer to function to present information corresponding to user input information,
Computer
First storage means for storing response information corresponding to the input information;
Second storage means for storing voice information for outputting the response information as voice;
Third storage means for storing information relating to the character corresponding to the voice information;
An acquisition unit that acquires corresponding response information, audio information, and information about a character from the first to third storage units when predetermined input information is supplied from the user;
Output means for outputting the response information, voice information, and information about the character acquired by the acquisition means to a predetermined output device,
When it is necessary to change the character, information on the character stored in the third storage means is changed and stored in the first and / or second storage means as necessary. Changing means for changing the response information and / or voice information,
A computer-readable information presentation program that functions as a computer.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005085592AJP4508917B2 (en) | 2005-03-24 | 2005-03-24 | Information presenting apparatus, information presenting method, and information presenting program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005085592AJP4508917B2 (en) | 2005-03-24 | 2005-03-24 | Information presenting apparatus, information presenting method, and information presenting program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006268428Atrue JP2006268428A (en) | 2006-10-05 |
| JP4508917B2 JP4508917B2 (en) | 2010-07-21 |
Family
ID=37204335
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005085592AExpired - Fee RelatedJP4508917B2 (en) | 2005-03-24 | 2005-03-24 | Information presenting apparatus, information presenting method, and information presenting program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4508917B2 (en) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014020835A1 (en)* | 2012-07-31 | 2014-02-06 | 日本電気株式会社 | Agent control system, method, and program |
| JP2018072765A (en)* | 2016-11-04 | 2018-05-10 | 株式会社カプコン | Voice generation program and game device |
| JP2019185242A (en)* | 2018-04-05 | 2019-10-24 | 株式会社サウスポイント | Automatic music selection system |
| JP2020034626A (en)* | 2018-08-27 | 2020-03-05 | Kddi株式会社 | Program, server and method for alternating agent according to user utterance text |
| WO2020158171A1 (en)* | 2019-01-28 | 2020-08-06 | ソニー株式会社 | Information processor for selecting responding agent |
| JP2020161121A (en)* | 2019-03-27 | 2020-10-01 | ダイコク電機株式会社 | Video output system |
| JP2020160341A (en)* | 2019-03-27 | 2020-10-01 | ダイコク電機株式会社 | Video output system |
| JP2021015547A (en)* | 2019-07-16 | 2021-02-12 | 株式会社博報堂 | Dialogue agent system |
| JP2022531057A (en)* | 2020-03-31 | 2022-07-06 | 北京市商▲湯▼科技▲開▼▲發▼有限公司 | Interactive target drive methods, devices, devices, and recording media |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0866558A (en)* | 1994-08-26 | 1996-03-12 | Susumu Imai | Cassette for game |
| JP2000067047A (en)* | 1998-08-24 | 2000-03-03 | Toshiba Corp | Dialogue control device and dialogue control method |
| JP2001034451A (en)* | 1999-06-15 | 2001-02-09 | Lucent Technol Inc | Method, system and device for automatically generating human machine dialog |
| JP2001273473A (en)* | 2000-03-24 | 2001-10-05 | Atr Media Integration & Communications Res Lab | Conversation agent and conversation system using it |
| JP2002132804A (en)* | 2000-10-24 | 2002-05-10 | Sanyo Electric Co Ltd | User support system |
| JP2002163109A (en)* | 2000-11-28 | 2002-06-07 | Sanyo Electric Co Ltd | User supporting device and system |
| JP2002169818A (en)* | 2000-12-04 | 2002-06-14 | Sanyo Electric Co Ltd | Device and system for supporting user |
| JP2002189732A (en)* | 2000-12-21 | 2002-07-05 | Sanyo Electric Co Ltd | User support device and system |
| JP2002523828A (en)* | 1998-08-24 | 2002-07-30 | ビーシーエル コンピューターズ， インコーポレイテッド | Adaptive natural language interface |
| JP2002342049A (en)* | 2001-05-15 | 2002-11-29 | Canon Inc | Voice-compatible print processing system, control method therefor, recording medium, and computer program |
| JP2003526120A (en)* | 2000-03-09 | 2003-09-02 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Dialogue processing method with consumer electronic equipment system |
| JP2003323388A (en)* | 2002-05-01 | 2003-11-14 | Omron Corp | Information providing method and information providing system |
- 2005
- 2005-03-24JPJP2005085592Apatent/JP4508917B2/ennot_activeExpired - Fee Related
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0866558A (en)* | 1994-08-26 | 1996-03-12 | Susumu Imai | Cassette for game |
| JP2000067047A (en)* | 1998-08-24 | 2000-03-03 | Toshiba Corp | Dialogue control device and dialogue control method |
| JP2002523828A (en)* | 1998-08-24 | 2002-07-30 | ビーシーエル コンピューターズ， インコーポレイテッド | Adaptive natural language interface |
| JP2001034451A (en)* | 1999-06-15 | 2001-02-09 | Lucent Technol Inc | Method, system and device for automatically generating human machine dialog |
| JP2003526120A (en)* | 2000-03-09 | 2003-09-02 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Dialogue processing method with consumer electronic equipment system |
| JP2001273473A (en)* | 2000-03-24 | 2001-10-05 | Atr Media Integration & Communications Res Lab | Conversation agent and conversation system using it |
| JP2002132804A (en)* | 2000-10-24 | 2002-05-10 | Sanyo Electric Co Ltd | User support system |
| JP2002163109A (en)* | 2000-11-28 | 2002-06-07 | Sanyo Electric Co Ltd | User supporting device and system |
| JP2002169818A (en)* | 2000-12-04 | 2002-06-14 | Sanyo Electric Co Ltd | Device and system for supporting user |
| JP2002189732A (en)* | 2000-12-21 | 2002-07-05 | Sanyo Electric Co Ltd | User support device and system |
| JP2002342049A (en)* | 2001-05-15 | 2002-11-29 | Canon Inc | Voice-compatible print processing system, control method therefor, recording medium, and computer program |
| JP2003323388A (en)* | 2002-05-01 | 2003-11-14 | Omron Corp | Information providing method and information providing system |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014020835A1 (en)* | 2012-07-31 | 2014-02-06 | 日本電気株式会社 | Agent control system, method, and program |
| JP2018072765A (en)* | 2016-11-04 | 2018-05-10 | 株式会社カプコン | Voice generation program and game device |
| JP2019185242A (en)* | 2018-04-05 | 2019-10-24 | 株式会社サウスポイント | Automatic music selection system |
| JP7409628B2 (en) | 2018-04-05 | 2024-01-09 | 株式会社サウスポイント | Automatic music selection system for music selection at weddings |
| JP2020034626A (en)* | 2018-08-27 | 2020-03-05 | Kddi株式会社 | Program, server and method for alternating agent according to user utterance text |
| WO2020158171A1 (en)* | 2019-01-28 | 2020-08-06 | ソニー株式会社 | Information processor for selecting responding agent |
| CN113382831A (en)* | 2019-01-28 | 2021-09-10 | 索尼集团公司 | Information processor for selecting response agent |
| JP2020161121A (en)* | 2019-03-27 | 2020-10-01 | ダイコク電機株式会社 | Video output system |
| JP2020160341A (en)* | 2019-03-27 | 2020-10-01 | ダイコク電機株式会社 | Video output system |
| JP2021015547A (en)* | 2019-07-16 | 2021-02-12 | 株式会社博報堂 | Dialogue agent system |
| JP7294924B2 (en) | 2019-07-16 | 2023-06-20 | 株式会社博報堂 | dialogue agent system |
| JP2022531057A (en)* | 2020-03-31 | 2022-07-06 | 北京市商▲湯▼科技▲開▼▲發▼有限公司 | Interactive target drive methods, devices, devices, and recording media |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4508917B2 (en) | 2010-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8103510B2 (en) | Device control device, speech recognition device, agent device, on-vehicle device control device, navigation device, audio device, device control method, speech recognition method, agent processing method, on-vehicle device control method, navigation method, and audio device control method, and program | |
| JP4533845B2 (en) | Audio device control apparatus, audio device control method, and program | |
| CN108962217A (en) | Phoneme synthesizing method and relevant device | |
| JP6483578B2 (en) | Speech synthesis apparatus, speech synthesis method and program | |
| CN111653265A (en) | Speech synthesis method, device, storage medium and electronic device | |
| JP2015169698A (en) | Speech retrieval device, speech retrieval method, and program | |
| JP4508917B2 (en) | Information presenting apparatus, information presenting method, and information presenting program | |
| JP2004086001A (en) | Conversation processing system, conversation processing method, and computer program | |
| JP2003114692A (en) | Sound source data providing system, terminal, toy, providing method, program, and medium | |
| JP2007264569A (en) | Retrieval device, control method, and program | |
| CN110524547B (en) | Conversational device, robot, method for controlling a conversational device, and storage medium | |
| JP6466391B2 (en) | Language learning device | |
| JP2007304489A (en) | Musical piece practice supporting device, control method, and program | |
| JP2007256619A (en) | Evaluation device, control method and program | |
| JP2006337667A (en) | Pronunciation evaluation method, phoneme sequence model learning method, apparatus, program, and recording medium using these methods. | |
| US20060084047A1 (en) | System and method of segmented language learning | |
| KR102479023B1 (en) | Apparatus, method and program for providing foreign language learning service | |
| JP2001188782A (en) | Device and method for processing information and recording medium | |
| JP2002342206A (en) | Information providing program, information providing method, and recording medium | |
| JP6672707B2 (en) | Playlist generation method, playlist generation device, program, and list generation method | |
| JP6625089B2 (en) | Voice generation program and game device | |
| JP2007188175A (en) | Server device, terminal device, and program | |
| JP6170604B1 (en) | Speech generator | |
| JP7653828B2 (en) | Robots and robot systems | |
| JP2005241767A (en) | Speech recognition device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20070412 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20091124 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20100119 | |
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20100420 | |
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20100427 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20130514 Year of fee payment:3 | |
| R150 | Certificate of patent or registration of utility model | Free format text:JAPANESE INTERMEDIATE CODE: R150 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20130514 Year of fee payment:3 | |
| S111 | Request for change of ownership or part of ownership | Free format text:JAPANESE INTERMEDIATE CODE: R313111 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20130514 Year of fee payment:3 | |
| R350 | Written notification of registration of transfer | Free format text:JAPANESE INTERMEDIATE CODE: R350 | |
| LAPS | Cancellation because of no payment of annual fees |