








この発明は、データ呼出制御装置、データ呼出システム、データ呼出制御装置の音声認識語彙登録方法および車両に関するものである。 The present invention relates to a data call control device, a data call system, a voice recognition vocabulary registration method for a data call control device, and a vehicle.
近年、メモリやハードディスク等の記憶媒体に記憶された音楽、動画等のデータを再生する携帯型のプレーヤーが好評を得ている。この携帯型のプレーヤーにおいては、年々、記憶容量を増加させたものが製品化されており、記憶可能なデータ数も増加の一途を辿っている。通常、この種の音楽データや動画データには識別情報を含むタグが付随しており、例えば音楽データの場合、タグにはアーティスト名、アルバム名、曲名、ジャンル等のカテゴリ毎の識別情報が含まれている。そして、このタグの識別情報を携帯型のプレーヤーの液晶ディスプレイ等に表示することで、ユーザが再生中の音楽データを識別することができるようになっている。また、このような携帯型のプレーヤーの中には、記憶媒体に記憶されている複数のデータに付随したタグの識別情報に基づいて特定のデータを検索して呼び出す機能を備えたものもある。この機能によって呼び出されたデータはプレイリストに登録され、ユーザが再生操作をすることで、プレイリスト内に登録されたデータが順次再生されるようになっている。 In recent years, portable players that reproduce data such as music and moving images stored in a storage medium such as a memory and a hard disk have been well received. In this portable player, products with an increased storage capacity have been commercialized year by year, and the number of data that can be stored has been increasing. Normally, this type of music data or video data is accompanied by a tag including identification information. For example, in the case of music data, the tag includes identification information for each category such as artist name, album name, song name, and genre. It is. The identification information of the tag is displayed on a liquid crystal display or the like of a portable player so that the user can identify the music data being reproduced. Some of these portable players have a function of searching for and calling specific data based on tag identification information attached to a plurality of data stored in a storage medium. The data called by this function is registered in the playlist, and the data registered in the playlist is sequentially reproduced when the user performs a reproduction operation.
さらに近年、車載オーディオユニットやナビゲーションユニットなどの再生機能を備えた装置に対して上述した携帯型のプレーヤーを接続し、この携帯型のプレーヤーの記憶媒体に記憶されている音声データを呼び出して再生する車載用のデータ呼出装置が提案されている。このデータ呼出装置では、携帯型のプレーヤーが有している検索・呼出機能を利用するように構成されており、車載オーディオユニットやナビゲーションユニット側の操作系を操作することによって携帯型のプレーヤーのデータ検索や呼出を行うことができるようになっている。 Further, in recent years, the portable player described above is connected to a device having a reproduction function such as an in-vehicle audio unit or a navigation unit, and the audio data stored in the storage medium of the portable player is called and reproduced. In-vehicle data calling devices have been proposed. This data call device is configured to use the search / call function of the portable player, and the data of the portable player can be obtained by operating the operation system on the in-vehicle audio unit or the navigation unit. You can search and call.
他方、従来より、車載装置においては、楽曲名の一部分を発声することでその楽曲を複数の楽曲データの中から検索する音声検索システムがある(例えば、特許文献1参照)。
しかしながら、前者の携帯型のプレーヤーから所望のデータを呼び出すデータ呼出装置では、車載装置の画面上に表示されたタグのカテゴリを順次選択して絞込み操作を行う必要があるため、操作が煩雑であり、例えば、利用者が運転中の場合に容易に携帯型プレーヤーからデータを呼び出すことができない。そのため、後者の音声検索システムを利用すると、利用者の音声に基づいて運転中でもデータを呼び出すことができるが、この音声検索システムでは、楽曲名など予め決められた識別情報を利用者が記憶していることを前提としているため、例えば、利用者が識別情報を忘れてしまい、音声検索システムで間違った識別情報に基づいてデータの呼び出しを行った場合、携帯型のプレーヤーに記憶されている膨大なデータの全てにアクセスしてから初めて識別情報が含まれていないことが判明するので、呼び出したいデータに辿り着くまでに時間がかかる場合があるという課題がある。 However, in the data call device that calls desired data from the former portable player, it is necessary to sequentially select the tag categories displayed on the screen of the in-vehicle device and perform the narrowing operation, which is complicated. For example, data cannot be easily called from the portable player when the user is driving. Therefore, if the latter voice search system is used, data can be called even during driving based on the voice of the user. However, in this voice search system, the user stores predetermined identification information such as a song name. For example, if the user forgets the identification information and calls the data based on the wrong identification information in the voice search system, the huge amount stored in the portable player is stored. Since it becomes clear that the identification information is not included for the first time after accessing all of the data, there is a problem that it may take time to reach the data to be called.
そこで、この発明は、予め決められた識別情報をユーザが記憶する必要がなく、容易に外部記憶端末に記憶されているデータの呼び出しを可能にするデータ呼出制御装置、データ呼出システム、データ呼出制御装置の音声認識語彙登録方法および車両を提供するものである。 Therefore, the present invention eliminates the need for the user to store predetermined identification information and makes it possible to easily call data stored in the external storage terminal, a data call control device, a data call system, and data call control. A speech recognition vocabulary registration method for a device and a vehicle are provided.
上記の課題を解決するために、請求項1に記載した発明は、携帯可能な外部記憶端末(例えば、実施の形態におけるマルチメディアプレーヤー2)が接続可能に構成されるとともに、外部入力されたデータを再生可能な再生装置(例えば、実施の形態におけるナビゲーションユニット4、オーディオヘッドユニット4´)に接続され、音声の認識を行う音声認識手段(例えば、実施の形態における音声認識部12)の認識結果に基づいて前記外部記憶端末に記憶されている複数のデータから特定のデータを呼び出し、当該特定のデータを順次前記再生装置に送信するデータ呼出制御装置であって、前記複数のデータのうち、前記再生装置によって再生中のデータに付随した、データを識別するための情報が記述されたタグを取得するタグ取得手段(例えば、実施の形態におけるタグ取得部10)と、利用者からの音声認識語彙の登録要求を検出する登録要求検出手段(例えば、実施の形態における登録要求検出部13)と、該登録要求検出手段により登録要求が検出された場合に、前記タグを構成する複数のカテゴリのうち、前記音声認識語彙を登録するカテゴリを判定する登録カテゴリ判定手段(例えば、実施の形態におけるカテゴリ判定部14)と、該登録カテゴリ判定手段で判定されたカテゴリの識別情報に対して前記音声認識手段で認識された前記音声認識語彙を対応付けて登録する音声認識語彙登録手段(例えば、実施の形態におけるボイスタグ登録部15)と、該音声認識語彙登録手段によって登録した前記音声認識語彙と当該音声認識語彙が対応付けされたカテゴリの識別情報とを記憶する内部記憶手段(例えば、実施の形態における記憶部18)とを具備し、前記登録カテゴリ判定手段は、前記音声認識手段の認識結果に基づいて音声認識語彙の登録を行うカテゴリを判定することを特徴とする。
このように構成することで、外部記憶端末内に記憶されているデータが再生装置によって再生されているときに、当該データのタグをタグ取得手段によって取得し、登録要求検出手段において利用者からの音声認識語彙の登録要求が検出されると、音声認識語彙を登録するタグのカテゴリを登録カテゴリ判定手段で判定し、音声認識語彙登録手段で当該カテゴリの識別情報に対して利用者からの音声認識語彙を対応付けて登録して、この音声認識語彙を対応する識別情報とともに記憶手段に記憶することができる。In order to solve the above problems, the invention described in
With this configuration, when the data stored in the external storage terminal is being played back by the playback device, the tag of the data is acquired by the tag acquisition unit, and the registration request detection unit receives the tag from the user. When a registration request for a speech recognition vocabulary is detected, a category of a tag for registering the speech recognition vocabulary is determined by a registration category determination unit, and voice recognition from a user is performed on the identification information of the category by the speech recognition vocabulary registration unit. Vocabulary can be registered in association with each other, and this speech recognition vocabulary can be stored in the storage unit together with corresponding identification information.
請求項2に記載した発明は、請求項1に記載の発明において、前記再生装置で再生可能な音声データを出力する音声出力手段(例えば、実施の形態における音声出力部17)を備え、該音声出力手段が、前記音声認識語彙を登録する対象となるカテゴリの候補名に応じて、予め登録された音声データを前記再生装置に送信することを特徴とする。
このように構成することで、利用者が選択可能なカテゴリ名を音声出力手段で出力して再生装置で再生することができる。According to asecond aspect of the present invention, in thefirst aspect of the present invention, thefirst aspect further includes audio output means (for example, the
With this configuration, category names that can be selected by the user can be output by the audio output means and played back by the playback device.
請求項3に記載した発明は、請求項1又は2に記載の発明において、前記タグのカテゴリが、当該タグが付された前記データのタイトル、アーティスト名、アルバム名、ジャンル、予め登録したコメントに含まれる語句、リリース年月日、データ作成年月日のうち少なくともいずれかを含み、前記タグの各カテゴリの識別情報がテキスト情報であることを特徴とする。
このように構成することで、データのタイトル、アーティスト名、アルバム名、ジャンル、予め登録したコメントに含まれる語句、リリース年月日、データ作成年月日のうち少なくともいずれかの識別情報に対して音声認識語彙を登録することができる。The invention according to claim3 is the invention according to
With this configuration, at least one of the identification information of the title, artist name, album name, genre, word / phrase included in the pre-registered comment, release date, and data creation date Voice recognition vocabulary can be registered.
請求項4に記載した発明は、請求項1乃至3の何れか一項に記載の発明において、前記外部記憶端末に対して検索指示を行う検索指示手段(例えば、実施の形態における検索指示部16)を備え、該検索指示手段は、前記内部記憶手段に記憶されている前記音声認識語彙が前記音声認識手段により認識された場合、当該音声認識語彙に対応付けて記憶された前記タグの前記カテゴリの識別情報に基づいて前記外部記憶端末に記憶されたデータを検索する指示を、前記外部記憶端末に対して送出することを特徴とする。
このように構成することで、外部記憶端末自体の検索機能を用いて特定のデータを呼出すことができる。According to afourth aspect of the present invention, in thefirst aspect of the present invention, the search instruction means for performing a search instruction to the external storage terminal (for example, the
With this configuration, specific data can be called using the search function of the external storage terminal itself.
請求項5に記載した発明は、携帯可能な外部記憶端末と、外部入力されたデータを再生可能な再生装置と、請求項1乃至4の何れか一項に記載されたデータ呼出制御装置とを備えたことを特徴とする。According to afifth aspect of the present invention, there is provided a portable external storage terminal, a reproducing device capable of reproducing externally input data, and the data call control device according toany one of the first to fourth aspects. It is characterized by having.
請求項6に記載した発明は、携帯可能な外部記憶端末に着脱可能に接続されるとともに、外部入力されたデータを再生する再生装置に接続され、音声の認識を行う音声認識手段の認識結果に基づき、前記外部記憶端末に記憶された複数のデータから特定のデータを呼び出して、当該特定のデータを順次前記再生装置に送信するデータ呼出制御装置の音声認識語彙登録方法であって、前記再生装置で再生中のデータに付随するタグを前記外部記憶端末から取得するタグ取得処理と、利用者からの音声認識語彙の登録要求を検出する登録要求検出処理と、該登録要求検出手段によって登録要求が検出された場合に、前記タグを構成する複数のカテゴリのうち、前記音声認識語彙を登録するカテゴリを判定する登録カテゴリ判定処理と、該登録カテゴリ判定手段で判定されたカテゴリ内の識別情報に対して前記音声認識語彙を対応付けて登録する音声認識語彙登録処理と、を実行し、前記登録カテゴリ判定処理では、前記音声認識手段の認識結果に基づいて音声認識語彙の登録を行うカテゴリを判定することを特徴とする。The invention described in
請求項7に記載した発明は、請求項5に記載のデータ呼出システムが搭載されていることを特徴とする。The invention described in claim7 is characterized in that the data call system described in
請求項1に記載した発明によれば、外部記憶端末内に記憶されているデータが再生装置によって再生されているときに、当該データのタグをタグ取得手段によって取得し、登録要求検出手段において利用者からの音声認識語彙の登録要求が検出されると、音声認識語彙を登録するタグのカテゴリを登録カテゴリ判定手段で判定し、音声認識語彙登録手段で当該カテゴリの識別情報に対して利用者からの音声認識語彙を登録して、この音声認識語彙を対応する識別情報とともに記憶手段に記憶することができる。すなわち利用者自らがデータ再生中に登録する音声認識語彙は、予め決められた識別情報と比較して忘れ難いため、データを呼び出す際に該当する識別情報がないなどのエラーによってデータの呼び出しに時間がかかるのを抑制することができ、この結果、外部記憶端末内に記憶された所望のデータを迅速かつ容易に呼び出すことができるという効果がある。
また、外部記憶端末内の複数のデータを呼び出す際に、まず音声認識語彙が記憶手段に記憶されているか否かを検索すればよいため、例えば、該当する音声認識語彙が未登録の場合に、外部記憶端末の全データにアクセスする必要がないため、該当する音声認識語彙が登録されていないことを迅速に判別することができ、したがって、迅速なデータの呼び出しを実現することができる効果がある。
さらに、利用者が登録したデータに対応付けられた音声認識語彙のみが検索対象となるため検索数が絞られ、音声認識語彙の認識率が向上する。According to the first aspect of the present invention, when data stored in the external storage terminal is played back by the playback device, the tag of the data is acquired by the tag acquisition means and used in the registration request detection means. When the registration request for the speech recognition vocabulary is detected by the user, the category of the tag for registering the speech recognition vocabulary is determined by the registration category determination means, and the user recognizes the identification information of the category by the speech recognition vocabulary registration means. The voice recognition vocabulary can be registered, and the voice recognition vocabulary can be stored in the storage unit together with the corresponding identification information. That is, since the speech recognition vocabulary registered by the user himself / herself during data reproduction is hard to forget compared with the predetermined identification information, it takes time to call data due to an error such as no corresponding identification information when calling data. As a result, there is an effect that desired data stored in the external storage terminal can be quickly and easily called.
Further, when calling a plurality of data in the external storage terminal, it is only necessary to first search whether the speech recognition vocabulary is stored in the storage means, for example, when the corresponding speech recognition vocabulary is not registered, Since it is not necessary to access all data in the external storage terminal, it can be quickly determined that the corresponding speech recognition vocabulary is not registered, and thus there is an effect that a quick data call can be realized. .
Furthermore, since only the speech recognition vocabulary associated with the data registered by the user is a search target, the number of searches is reduced, and the recognition rate of the speech recognition vocabulary is improved.
また、利用者が音声認識語彙の登録を行うカテゴリを音声で選択することができるため、運転中であっても容易に音声認識語彙の登録を行うことができる。Further , since the user can select a category for registering the speech recognition vocabulary by voice, the speech recognition vocabulary can be easily registered even during driving.
請求項2に記載した発明によれば、請求項1の効果に加え、利用者が選択可能なカテゴリ名を音声出力手段で出力して再生装置によって再生することができるため、登録対象のカテゴリとして選択可能なカテゴリを利用者に認識させることができるとともに、選択されたカテゴリ名を音声で確認することができる効果がある。According to thesecond aspect of the invention, in addition to the effect of thefirst aspect, the category name that can be selected by the user can be output by the audio output means and reproduced by the reproduction device. It is possible to make the user recognize the selectable categories and to confirm the selected category name by voice.
請求項3に記載した発明によれば、請求項1又は2の効果に加え、データのタイトル、アーティスト名、アルバム名、ジャンル、予め登録したコメントに含まれる語句、リリース年月日、データ作成年月日のうち少なくともいずれかの識別情報に対して音声認識語彙を登録することができるため、データを呼び出す際の検索の自由度が向上する効果がある。According to thethird aspect of the present invention, in addition to the effect of the firstor second aspect , the data title, artist name, album name, genre, word / phrase included in the pre-registered comment, release date, data creation year Since the speech recognition vocabulary can be registered for at least one of the identification information of the month and day, there is an effect that the degree of freedom of search when calling up the data is improved.
請求項4に記載した発明によれば、請求項1乃至3の何れか一項の効果に加え、外部記憶端末が認識可能な形式で検索指示を送出することができるため、外部記憶端末自体の検索機能を用いて特定のデータを呼出すことができる効果がある。According to the invention described in
以下、この発明の実施の形態を図面に基づいて説明する。
図1は、この発明の実施の形態におけるデータ呼出システム1の全体構成を示したものである。このデータ呼出システム1は自動車等の車両に搭載されたものであり、携帯型のマルチメディアプレーヤー(外部記憶端末)2と、近距離無線であるBluetooth(登録商標)等のインターフェースを介してマルチメディアプレーヤー2が着脱可能に構成された車載器3と、当該車載器3が接続されたナビゲーションユニット(再生装置)4又はオーディオヘッドユニット(再生装置)4´とで構成されている。Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 shows the overall configuration of a
マルチメディアプレーヤー2は、いわゆるポータブルプレーヤーとして利用されるものであり、車載器3に接続されていないときには、通常、ヘッドフォンをアナログ端子に接続して外出先などで音楽や動画を楽しむことができるようになっている。また、このマルチメディアプレーヤー2は、USB(Universal Serial Bus)等のインターフェースを介して図示しないPC(Personal Computer)やサーバ等の端末と双方向通信可能に構成されており、この端末によってマルチメディアプレーヤー2内蔵のHDD(Hard Disk Drive)やRAM(Random Access Memory)等の記憶媒体(図示せず)に対する音楽データおよび動画データの転送、編集などのデータ管理が可能となっている。なお、マルチメディアプレーヤー2と車載器3との接続は、上述したPCとの接続同様、USB等の有線インターフェースを介して接続するようにしてもよい。 The
上記記憶媒体に記憶される複数の音楽データや動画データには、これら音楽データおよび動画データを識別するためのタグが付随している。ユーザはマルチメディアプレーヤー2のディスプレイ5に表示されるタグの識別情報を確認しながら、音楽データまたは動画データの選択、再生および停止等を操作部6で操作することで、所望の音楽データや動画データを呼び出して再生できるようになっている。ここで、上記タグは、複数のカテゴリ毎、例えば、「タイトル(曲名)」、「アーティスト」、「アルバム」、「ジャンル」、「予め登録したコメントに含まれる語句」、「リリース年月日」、「データ作成年月日」などの識別情報が例えばテキスト情報として付与されており、マルチメディアプレーヤー2では、これら識別情報に基づいて、音楽データや動画データを検索する機能を備えている。 A plurality of music data and moving image data stored in the storage medium are accompanied by tags for identifying the music data and moving image data. While the user confirms the tag identification information displayed on the
一方、ナビゲーションユニット4は、画面上に写し出された地図上に自車位置を表示したり、音声による経路案内などを行うものであり、音楽データおよび動画データを再生する機能も備えている。例えば、ナビゲーションユニット4で音楽データを再生する場合には、ナビゲーションユニット4の画面7上に再生中の音楽データおよび動画データに含まれるアルバムのジャケット画像や、その他タグに含まれるアーティスト、アルバム名等の識別情報を表示しつつ、音声データを再生して車室内に配置されたスピーカ8を駆動するようになっている。一方、動画データを再生する場合には、画面7上に再生した動画を表示しつつ、動画データに音声データが付随していた場合には、この音声データを再生してスピーカ8を駆動するようになっている。 On the other hand, the
さらにナビゲーションユニット4は、上述したマルチメディアプレーヤー2が車載器3に接続されているときに、マルチメディアプレーヤー2の操作部6が有する操作を遠隔操作できるように構成されている。つまり、音楽データおよび動画データのうち所望のデータを呼び出す場合や、再生、停止、早送りなどの操作を行う場合に、ナビゲーションユニット4の操作系を操作することで、マルチメディアプレーヤー2の機能を利用することができる。なお、音楽データのみを扱う場合は、図1の破線で示すように、ナビゲーションユニット4に替えて音声データのみ再生可能なオーディオヘッドユニット4´を接続するように構成してもよい。 Furthermore, the
車載器3は、上述したナビゲーションユニット4とマルチメディアプレーヤー2の間に介在されるものである。図2に示すように、この車載器3は、前述したインターフェースの一部を構成する通信部9を備えており、この通信部9に、マルチメディアプレーヤー2とナビゲーションユニット4とがそれぞれ接続されている。通信部9は車載器3内のタグ取得部10に接続されており、このタグ取得部10においてナビゲーションユニット4で再生されている音楽データおよび動画データに付随するタグが取得可能になっている。このタグ取得部10は、音楽データおよび動画データのタグを取得すると、この取得したタグを一時的に保存する。なお、上述したタグは、必ず音楽データや動画データとともに送受信されるため、タグ取得部10で取得可能なタグは、ナビゲーションユニット4で再生中の音楽データおよび動画データのタグに限られる。 The vehicle-mounted device 3 is interposed between the
一方、車載器3にはユーザの音声を入力するマイク11が接続されている。このマイク11から入力された音声は音声認識部(音声認識手段)12によって認識され、例えばテキストデータなどの音声認識データに変換される。そして、認識された音声認識データは、この音声認識部12に接続された登録要求検出部13、カテゴリ判定部14、ボイスタグ登録部15、検索指示部16にそれぞれ送信されるようになっている。 On the other hand, a
登録要求検出部(登録要求検出手段)13は、上記音声認識部12から送信されてくる音声認識データに基づいてユーザによるボイスタグの登録要求を検出するものである。より具体的には、マイク11からボイスタグの入力要求を示す音声として、例えば、「音声登録」という音声が音声認識部12で認識されると、登録要求検出部13にその音声認識データが入力され、ボイスタグの登録要求があったとことが検出される。ここで、ボイスタグとは、音楽データや動画データを呼び出す際に利用される、いわゆる音声認識のための語彙であり、ユーザが任意に設定するものである。なお、登録要求を示す音声は上述した「音声登録」に限られるものではなく、登録要求検出部13において適宜設定すればよい。 The registration request detection unit (registration request detection means) 13 detects a voice tag registration request by the user based on the voice recognition data transmitted from the
カテゴリ判定部(登録カテゴリ判定手段)14は、ユーザがタグのどのカテゴリを選択したかを判定するものである。より具体的には、カテゴリ判定部14では、登録要求検出部13から登録要求がなされた旨の情報が入力されると、このカテゴリ判定部14に接続されている音声出力部(音声出力手段)17に対してカテゴリ選択を促す音声を出力する指令を出力するように構成されている。 The category determination unit (registered category determination means) 14 determines which category of the tag the user has selected. More specifically, when information indicating that a registration request has been made is input from the registration
ここで、上記音声出力部17は、ナビゲーションユニット4で再生可能な音声データを出力するものであり、この出力された音声データは通信部9を介して、ナビゲーションユニット4に送信されるようになっている。そして、ナビゲーションユニット4では、音声出力部17から音声データが送信されてくると、この音声データを再生するように設定されており、例えば、上述したカテゴリ判定部14からの指令に基づいた音声データが送信されてきた場合には、スピーカ8から「曲名、アーティスト、アルバム・・・どれにしますか?」等のタグのカテゴリを列挙するとともにこれらカテゴリの中から選択するように促す音声が出力される。 Here, the
さらに、カテゴリ判定部14は、音声出力部17に音声を出力する指令を出力した後に、音声認識部12から音声認識データとしてカテゴリ名である例えば「アーティスト」等の音声認識データが入力されると、この音声認識データに基づいて、タグ取得部10に一時的に保存されたタグのカテゴリを検索するようになっている。そして、このタグのカテゴリに音声認識データと一致するものが含まれている場合、このカテゴリをボイスタグの登録を行うカテゴリと判定し、さらに、判定されたカテゴリの情報をボイスタグ登録部15に向けて送信するようになっている。 Furthermore, the
ボイスタグ登録部(音声認識語彙登録手段)15は、カテゴリ判定部14で判定されたカテゴリに対応する識別情報にボイスタグを登録するものである。より具体的には、カテゴリ判定部14で判定されたカテゴリに対応する識別情報(例えば、カテゴリ「アーティスト」の識別情報「発明太郎」)をタグ取得部10から読み込むとともに、音声出力部17に対してボイスタグの入力を促す音声を出力する指令を出力するようになっている。ここで、ボイスタグ登録部15から音声出力部17に対して音声を出力する指令が出力されると、音声出力部17は、音声データを出力して、通信部9経由でナビゲーションユニット4に送信するようになっている。ナビゲーションユニット4では出力された音声データが再生されて、スピーカ8から、例えば、「どのような名前にしますか?」等の音声が出力されることとなる。 The voice tag registration unit (voice recognition vocabulary registration unit) 15 registers a voice tag in the identification information corresponding to the category determined by the
また、ボイスタグ登録部15は、音声を出力する指令を出力した後に、音声認識部12から音声認識データが送信されてくると、この音声認識データ(例えば、「イッパツヤ」等)をボイスタグであると判定して、このボイスタグをタグ取得部10で取得した上述の識別情報(例えば「発明太郎」)と対応付けて、ボイスタグ登録部15に接続されている記憶部(内部記憶手段)18に送信するようになっている。記憶部18には、データベースが構築されており、当該データベースに対して上述した識別情報に対応付けられたボイスタグが登録されるようになっている。 In addition, when voice recognition data is transmitted from the
検索指示部(検索指示手段)16は、ユーザによってボイスタグが入力されると、音楽データおよび動画データの検索、プレイリストの作成および呼び出し等をマルチメディアプレーヤー2に対して指示するものである。より具体的には、検索指示部16は、音声認識部12から送信されてくる音声認識データ(例えば「プレイイッパツヤ」)に基づいて、ユーザによる検索指示の有無を判定し、ユーザからの検索指示(例えば「プレイ」)があったと判定された場合には、前記音声認識データからボイスタグ(例えば「イッパツヤ」)を抽出してこのボイスタグを記憶部18のデータベース上で検索する。そして、このボイスタグがデータベース上に存在する場合には、ボイスタグが登録されているカテゴリの識別情報(例えば「発明太郎」)を抽出し、このカテゴリの中から前記識別情報と同じ識別情報を含むタグを備えた音楽データおよび動画データの検索、プレイリストの作成および呼び出し等を行うように、通信部9を介してマルチメディアプレーヤー2に指示を行う。なお、音声認識データからのボイスタグの抽出方法としては、例えば、音声認識データの頭の部分を検索指示部分とし、この検索指示部分以降をボイスタグであると推定して抽出できるが、種々の抽出方法からユーザの使い勝手を考慮して適宜設定してもよい。 When a voice tag is input by the user, the search instruction unit (search instruction means) 16 instructs the
次に、図3のフローチャートに基づいて車載器3におけるボイスタグの登録処理を説明する。
まず、ステップS1では、音楽データ又は動画データが再生中か否かを判定する。すなわち、マルチメディアプレーヤー2から音楽データ又は動画データがナビゲーションユニット4に送信されて再生中か否かを判定する。判定結果が「YES」(再生中)である場合はステップS2に進み、判定結果が「NO」(再生中ではない)である場合はステップS1の処理を繰り返す。ここで、例えば、図5は、マルチメディアプレーヤー2の音楽データ1〜nのうち、音楽データ3が送信される場合を示しており、再生される音楽データ3のみがナビゲーションユニット4に送信されることとなる。Next, voice tag registration processing in the vehicle-mounted device 3 will be described based on the flowchart of FIG.
First, in step S1, it is determined whether music data or moving image data is being reproduced. That is, it is determined whether music data or moving image data is transmitted from the
ステップS2では、登録要求検出部13においてユーザよりボイスタグの登録要求が有るか否かを判定する。この判定結果が「YES」(登録要求あり)である場合はステップS3に進み、判定結果が「NO」(登録要求なし)である場合はステップS1に戻り上述した処理を繰り返す。 In step S2, the registration
ステップS3では、音楽データ又は動画データの再生を一時停止してステップS4に進む。このステップS3は、ユーザからの音声認識を行う際に、音声認識がナビゲーションユニット4からの音声出力によって阻害されないように再生を一時停止させる処理である。 In step S3, the reproduction of music data or moving image data is paused and the process proceeds to step S4. This step S3 is a process for temporarily stopping reproduction so that voice recognition is not hindered by voice output from the
次にステップS4では、一時停止中の音楽データ又は動画データに付随するタグをタグ取得部によって取得する。ここで、図6は、再生中の音楽データ又は動画データから取得されるタグの一例を示している。図6に示すようにタグには、例えば「アルバム」、「アーティスト」、「タイトル」等のカテゴリが設けられており、「アルバム」に対して「アイウエオ」、「アーティスト」に対して「発明太郎」、「タイトル」に「カキクケコ」という識別情報がそれぞれ付与されている。 Next, in step S4, the tag acquisition unit acquires a tag associated with the music data or moving image data being paused. Here, FIG. 6 shows an example of a tag acquired from the music data or moving image data being reproduced. As shown in FIG. 6, the tags are provided with categories such as “album”, “artist”, “title”, etc., “Iueo” for “album”, and “Taro Inventor” for “artist”. "And" Title "are given identification information" Kakikukeko ", respectively.
ステップS5では、ユーザの音声に基づいてカテゴリ判定部14にてボイスタグを登録するカテゴリを選択する。具体的には、音声認識部12から、例えば図6に示す「アルバム」、「アーティスト」、「タイトル」等のカテゴリ名と一致する音声認識データが送信されてきた場合にそのカテゴリを選択する。なお、図6では図示都合上、「アルバム」、「アーティスト」、「タイトル」以外の他のカテゴリである「予め登録したコメントに含まれる語句」、「リリース年月日」、「データ作成年月日」等の図示を省略している。 In step S5, the
さらにステップS6では、ボイスタグ登録部15において、ステップS5で判定したカテゴリの識別情報に音声認識部12で認識されたボイスタグを対応付けて記憶部のデータベースに登録する。具体的には、ステップS5でカテゴリの「アーティスト」が選択されたと仮定すると、例えば図6に示す「アーティスト」のカテゴリの「発明太郎」という識別情報にボイスタグ「イッパツヤ」を対応付けて図7に示す識別情報とボイスタグとのデータベースDBに登録することとなる。そして、最後にステップS7にて、音楽データ又は動画データの一時停止を解除して再生を再開して、ステップS1にリターンする。 In step S6, the voice
次に、図8に基づいて、ユーザによるボイスタグの登録手順の一例を説明する。
まず、音楽や動画の再生中に、ユーザが「音声登録」と発声すると(ステップS100)、再生が一時停止されてスピーカから音声で「アルバム、アーティスト、タイトル・・・のどれにしますか?」と聞き返してくる(ステップS110)。これに対してユーザが、「アーティスト」とカテゴリ名を発声すると(ステップS120)、今度はスピーカから「どのような名前にしますか?」と聞き返してくる(ステップS130)。これに対してユーザが、「イッパツヤ」と発声すると(ステップS140)、スピーカから「イッパツヤで登録しました」と音声が出力されて(ステップS150)ボイスタグの登録が終了する。ここで、トークバック(聞き返し)をする音声としては、予め車載機3に記憶されたメッセージにユーザが発声した音声を組合せ、登録されたボイスタグの復唱を行う。なお、図8の説明ではカテゴリ名として「アーティスト」をユーザが選択した一例を説明したが、「アルバム」、「タイトル」、「予め登録したコメントに含まれる語句」、「リリース年月日」、「データ作成年月日」等、他のカテゴリ名を選択した場合は、上述した「アーティスト」を「アルバム」、「タイトル」、「予め登録したコメントに含まれる語句」、「リリース年月日」、「データ作成年月日」という音声に置き替えればよい。よって、「アーティスト」の他のカテゴリを選択した場合の説明は重複となるため省略する。Next, an example of a voice tag registration procedure by the user will be described with reference to FIG.
First, during playback of music or video, when the user utters “sound registration” (step S100), playback is paused and “speaking album, artist, title, etc.?” (Step S110). On the other hand, when the user utters “artist” and the category name (step S120), this time, the speaker asks “what name do you want to name?” (Step S130). On the other hand, when the user utters “Ippatsuya” (step S140), a voice is output from the speaker as “Registered with the wrapper” (step S150), and the registration of the voice tag is completed. Here, as the voice to be talked back (rehearsed), the voice uttered by the user is combined with the message stored in the in-vehicle device 3 in advance, and the registered voice tag is read back. In the description of FIG. 8, an example in which the user selects “artist” as the category name has been described. However, “album”, “title”, “phrase included in pre-registered comment”, “release date”, If another category name such as “data creation date” is selected, “artist” described above is “album”, “title”, “phrase included in pre-registered comment”, “release date” , "Data creation date" may be replaced with the voice. Therefore, the description when another category of “Artist” is selected is redundant and will not be described.
以下、図4のフローチャートに基づいて登録したボイスタグを用いて音楽データおよび動画データをマルチメディアプレーヤー2から呼び出す際の検索指示処理を説明する。
まず、ステップS11では、アクセサリー電源(ACC)がONになっているか否かを判定する。判定結果が「YES」(ACCがON)である場合はステップS12に進み、判定結果が「NO」(ACCがOFF)である場合はステップS11に戻る。Hereinafter, a search instruction process when calling music data and moving image data from the
First, in step S11, it is determined whether or not the accessory power supply (ACC) is ON. If the determination result is “YES” (ACC is ON), the process proceeds to step S12. If the determination result is “NO” (ACC is OFF), the process returns to step S11.
ステップS12では、外部記憶端末であるマルチメディアプレーヤー2が認証済み、つまり車載器3の通信部9に接続されているか否かを判定する。判定結果が「YES」(認証済み)である場合はステップS13に進み、判定結果が「NO」(未認証)である場合はステップS11に戻り上述した処理を繰り返す。 In step S12, it is determined whether or not the
ステップS13では、ユーザによる検索指示およびボイスタグの音声入力が有るか否かを判定する。具体的には、検索指示部16において、音声認識部12から送信されてきた音声認識データにユーザからの検索指示(例えば「プレイ」等)とボイスタグ(例えば「イッパツヤ」等)とが含まれているか否かを判定する。判定結果が「YES」(音声入力あり)である場合はステップS14に進み、判定結果が「NO」(音声入力なし)である場合はステップS13の処理を繰り返す。 In step S13, it is determined whether there is a search instruction from the user and voice input of a voice tag. Specifically, in the
ステップS14では入力された音声認識データから検索指示とボイスタグとを認識してステップS15に進む。ステップS15では、ステップS14で認識されたボイスタグがデータベース(例えば、図7のデータベースDB)に登録されているか、すなわち登録済みか否かを判定する。判定結果が「YES」(登録済み)である場合はステップS16に進み、判定結果が「NO」(未登録)である場合はステップS17に進みエラーメッセージの音声データを例えば音声出力部17によって出力して出力したのちステップS13に戻り上述した処理を繰り返す。 In step S14, a search instruction and a voice tag are recognized from the input voice recognition data, and the process proceeds to step S15. In step S15, it is determined whether or not the voice tag recognized in step S14 is registered in a database (for example, database DB in FIG. 7), that is, whether or not it has been registered. If the determination result is “YES” (registered), the process proceeds to step S16. If the determination result is “NO” (unregistered), the process proceeds to step S17, and the voice data of the error message is output by the
一方、ステップS16では、登録済みのボイスタグに対応付けられた識別情報と、この識別情報が登録されたカテゴリに基づいて、マルチメディアプレーヤー2に対して音楽データおよび動画データの検索指示を出力する。なお、マルチメディアプレーヤー2では、車載器3から送信された識別情報とそのカテゴリに基づいて、音楽データおよび動画データのタグを検索し、当該識別情報を含むタグを有した音楽データおよび動画データのプレイリストを作成して、このプレイリスト順に音楽データおよび動画データをナビゲーションユニット4に出力する。 On the other hand, in step S16, based on the identification information associated with the registered voice tag and the category in which the identification information is registered, a search instruction for music data and video data is output to the
次に、図9に基づいて、ユーザによるボイスタグを用いた呼び出し手順の一例を説明する。
まず、ユーザが、予め設定された検索指示を意味する音声、例えば「プレイ」という音声に、ボイスタグである例えば「イッパツヤ」という音声が付随した「プレイイッパツヤ」という音声を発声する(ステップS200)。すると、スピーカから「イッパツヤを再生しますか?」と聞き返してくる(ステップS210)。そして、ユーザが「ハイ」と答えると(ステップS220)、「アーティスト」の識別情報が「発明太郎」であるタグを備えた音楽データおよび動画データのプレイリストがマルチメディアプレーヤー2で作成される。なお、ユーザがステップS220で「イイエ」と応えた場合には、再度ステップS200に戻る。Next, an example of a calling procedure using a voice tag by the user will be described with reference to FIG.
First, the user utters a voice “play ipad gloss” in which a voice meaning a search instruction, for example, “play”, which is set in advance, is accompanied by a voice tag such as “Ippa gloss” (step S200). . Then, the speaker asks “Do you want to regenerate the power?” (Step S210). When the user answers “high” (step S220), the
そして、マルチメディアプレーヤー2では、作成されたプレイリスト順に音楽データおよび動画データをナビゲーションユニット4に送信するように設定され、ボイスタグによる呼び出しが終了する。なお、図9の説明ではボイスタグとして図7に示すボイスタグである「イッパツヤ」をユーザが選択した場合を一例に説明したが、他のカテゴリ「アルバム」、「タイトル」等に設定されているボイスタグを用いても同様な手順となる。例えば、これら他のカテゴリのボイスタグで検索する場合は図9の「イッパツヤ」の音声を他のボイスタグに置き換えればよく、呼び出し手順は上記手順と同様な手順となる。よって、他のボイスタグを選択した場合の詳細説明は重複となるため省略する。 Then, the
したがって、上述の実施の形態によれば、マルチメディアプレーヤー2の記憶媒体に記憶されている音楽データ又は動画データがナビゲーションユニット4によって再生されているときに、当該音楽データ又は動画データに付随するタグを、タグ取得部10によって取得し、登録要求検出部13においてユーザからのボイスタグの登録要求が検出されると、ボイスタグを登録するタグのカテゴリをカテゴリ判定部14で判定し、ボイスタグ登録部15で当該カテゴリの識別情報に対してユーザからのボイスタグを対応付けて登録して、このボイスタグを対応する識別情報とともに記憶部18に登録することができる。 Therefore, according to the above-described embodiment, when music data or moving image data stored in the storage medium of the
すなわちユーザ自らがデータ再生中に登録するボイスタグは、従来の予め決められた識別情報と比較して忘れ難いため、データを呼び出す際に該当する識別情報がないなどのエラーによってデータの呼び出しに時間がかかるのを抑制することができ、この結果、マルチメディアプレーヤー2内に記憶された所望のデータを迅速かつ容易に呼び出すことができる。
さらに、利用者が登録したデータに対応付けられたボイスタグのみが検索対象となるため検索数が絞られ、ボイスタグの認識率が向上する。In other words, since the voice tag registered by the user himself / herself during data reproduction is hard to forget compared with the conventional identification information determined in the past, it takes time to call the data due to an error such as no corresponding identification information when calling the data. This can be suppressed, and as a result, desired data stored in the
Furthermore, since only the voice tag associated with the data registered by the user is a search target, the number of searches is reduced, and the recognition rate of the voice tag is improved.
また、マルチメディアプレーヤー2内に記憶された複数の音楽データおよび動画データを呼び出す際に、まずボイスタグが記憶部18に登録されているか否かを記憶部18のデータベース内で検索すればよいため、例えば、該当するボイスタグが登録されていなくても、マルチメディアプレーヤー2内の全データにアクセスする必要がないため、該当するボイスタグが登録されていないことを迅速に判別することができ、この結果、音楽データおよび動画データの呼び出しを迅速に行うことができる。 Further, when calling a plurality of music data and moving image data stored in the
さらに、ボイスタグの登録を行うタグのカテゴリを判定するカテゴリ判定部14において、ユーザの音声に基づいてカテゴリの選択を行うことができるため、ユーザが運転中であっても容易にボイスタグの登録を行うことができる。 Furthermore, since the
そして、ユーザが選択可能なカテゴリ名を音声出力部17から出力された音声データをナビゲーションユニット4によって再生することができるため、登録対象のカテゴリとして選択可能なカテゴリを利用者に認識させることができるとともに、ユーザによって選択されたカテゴリ名をスピーカ8から出力される音声で確認することができる。 Since the
また、音楽データおよび動画データの「タイトル」、「アーティスト」、「アルバム」、「ジャンル」、「予め登録したコメントに含まれる語句」、「リリース年月日」、「データ作成年月日」など複数のカテゴリの識別情報に対してボイスタグを登録することができるため、呼び出しの選択自由度が向上する。 In addition, “title”, “artist”, “album”, “genre”, “phrase included in pre-registered comments”, “release date”, “data creation date”, etc. for music data and video data Since a voice tag can be registered for identification information of a plurality of categories, the degree of freedom in selecting a call is improved.
さらに、マルチメディアプレーヤー2が認識可能な形式で検索指示を送出することができるため、マルチメディアプレーヤー2自体の検索機能を用いて特定の音楽データおよび動画データを呼出すことができる。 Furthermore, since the search instruction can be sent in a format that can be recognized by the
尚、この発明は上述した実施の形態では、識別情報から連想できるボイスタグを用いたが、例えば、「イチ」、「ニ」、「サン」など、識別情報とは無関係のボイスタグを用いてもよい。
また、上記実施の形態ではタグを含んだ音楽データ、つまり、デジタルの音声データをナビゲーションユニット4に送信してナビゲーションユニット4でこの音声データ再生するようにしているが、例えば、マルチメディアプレーヤー2側で再生して、ヘッドフォンなどで用いられるアナログ信号をナビゲーションユニット4に入力し、単にナビゲーションユニット4でアナログ信号を増幅したものをスピーカから出力するように構成してもよい。この場合は、マルチメディアプレーヤー2で再生されている音楽データ又は動画データをマルチメディアプレーヤー2から車載器3に送信してボイスタグを登録するように設定すればよい。In the above-described embodiment, the present invention uses a voice tag that can be associated with the identification information. However, for example, a voice tag that is unrelated to the identification information, such as “1”, “D”, “Sun”, may be used. .
In the above embodiment, music data including a tag, that is, digital audio data is transmitted to the
2 マルチメディアプレーヤー(外部記憶端末)
4 ナビゲーションユニット(再生装置)
4´ オーディオヘッドユニット(再生装置)
12 音声認識部(音声認識手段)
13 登録要求検出部(登録要求検出手段)
14 カテゴリ判定部(登録カテゴリ判定手段)
15 ボイスタグ登録部(音声認識語彙登録手段)
16 検索指示部(検索指示手段)
17 音声出力部(音声出力手段)
18 記憶部(内部記憶手段)
2 Multimedia player (external storage terminal)
4 Navigation unit (playback device)
4 'audio head unit (playback device)
12 Voice recognition unit (voice recognition means)
13 Registration Request Detection Unit (Registration Request Detection Unit)
14 Category determining unit (registered category determining means)
15 Voice tag registration unit (Voice recognition vocabulary registration means)
16 Search instruction section (search instruction means)
17 Voice output unit (voice output means)
18 Storage unit (internal storage means)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006206485AJP4722787B2 (en) | 2006-07-28 | 2006-07-28 | Data call control device, data call system, voice recognition vocabulary registration method for data call control device, and vehicle |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006206485AJP4722787B2 (en) | 2006-07-28 | 2006-07-28 | Data call control device, data call system, voice recognition vocabulary registration method for data call control device, and vehicle |
| Publication Number | Publication Date |
|---|---|
| JP2008033017A JP2008033017A (en) | 2008-02-14 |
| JP4722787B2true JP4722787B2 (en) | 2011-07-13 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006206485AExpired - Fee RelatedJP4722787B2 (en) | 2006-07-28 | 2006-07-28 | Data call control device, data call system, voice recognition vocabulary registration method for data call control device, and vehicle |
| Country | Link |
|---|---|
| JP (1) | JP4722787B2 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150064785A (en)* | 2013-12-03 | 2015-06-12 | 주식회사 케이티 | Method for playing contents, method for providing dialogue section data and device for playing video contents |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5506639B2 (en)* | 2010-11-19 | 2014-05-28 | 三菱重工業株式会社 | Driving support service providing device, processing device, and processing method |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04247380A (en)* | 1991-02-01 | 1992-09-03 | Alpine Electron Inc | Recording medium player |
| JP3672936B2 (en)* | 1991-12-03 | 2005-07-20 | 三菱電機株式会社 | Automatic music playback device |
| JPH05249996A (en)* | 1992-03-06 | 1993-09-28 | Nippondenso Co Ltd | Voice recognizing device |
| JPH1124685A (en)* | 1997-07-02 | 1999-01-29 | Ricoh Co Ltd | Karaoke equipment |
| JPH1195788A (en)* | 1997-09-16 | 1999-04-09 | Ricoh Co Ltd | Music player |
| JPH11296182A (en)* | 1998-04-08 | 1999-10-29 | Matsushita Electric Ind Co Ltd | Karaoke equipment |
| JP3715469B2 (en)* | 1999-06-30 | 2005-11-09 | パイオニア株式会社 | Voice control device |
| JP3747734B2 (en)* | 2000-04-11 | 2006-02-22 | マツダ株式会社 | SOUND DEVICE, MUSIC DATA REPRODUCING METHOD, AUTOMOTIVE SOUND SYSTEM, AND ITS PROGRAM STORAGE MEDIUM |
| JP2003091540A (en)* | 2001-09-17 | 2003-03-28 | Clarion Co Ltd | Acoustic information equipment |
| JP2003140664A (en)* | 2001-11-07 | 2003-05-16 | Fujitsu Ten Ltd | Audio playback device, information providing device, audio playback program, and information providing program |
| JP2004309795A (en)* | 2003-04-07 | 2004-11-04 | Mitsubishi Electric Corp | Music delivery system |
| JP4103715B2 (en)* | 2003-07-22 | 2008-06-18 | 株式会社デンソー | Music information distribution system |
| JP2005085433A (en)* | 2003-09-11 | 2005-03-31 | Xanavi Informatics Corp | Device and method for playback by voice recognition |
| JP2005266198A (en)* | 2004-03-18 | 2005-09-29 | Pioneer Electronic Corp | Acoustic information reproducing apparatus and music data keyword creation method |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150064785A (en)* | 2013-12-03 | 2015-06-12 | 주식회사 케이티 | Method for playing contents, method for providing dialogue section data and device for playing video contents |
| KR102172149B1 (en) | 2013-12-03 | 2020-11-02 | 주식회사 케이티 | Method for playing contents, method for providing dialogue section data and device for playing video contents |
| Publication number | Publication date |
|---|---|
| JP2008033017A (en) | 2008-02-14 |
| Publication | Publication Date | Title |
|---|---|---|
| JP6501217B2 (en) | Information terminal system | |
| JP6128146B2 (en) | Voice search device, voice search method and program | |
| JP2008021337A (en) | On-vehicle acoustic system | |
| JP2008077819A (en) | Music information display method and interface device | |
| JP2008039573A (en) | Memory information presentation system | |
| JP4722787B2 (en) | Data call control device, data call system, voice recognition vocabulary registration method for data call control device, and vehicle | |
| JP4461047B2 (en) | Navigation device, AV device, assistant display method, assistant display program, and electronic device system | |
| JP2008027345A (en) | Audio equipment | |
| JP2020046564A (en) | Information processing device, information processing system, and video device | |
| JP2005135518A (en) | Music reproducing unit | |
| JP7100466B2 (en) | Content playback device, content playback method | |
| JP2008052843A (en) | Lyrics display system in car-audio | |
| JP2009092977A (en) | In-vehicle device and music piece retrieval system | |
| JPH11242496A (en) | Information reproducing device | |
| KR20100010222A (en) | Apparatus and method for displaying voice data | |
| KR101576683B1 (en) | Method and apparatus for playing audio file comprising history storage | |
| JP5295699B2 (en) | Car audio system | |
| JP2007263994A (en) | Karaoke reproduction device | |
| JP6908169B2 (en) | Terminal equipment | |
| JP2009204872A (en) | Creation system of dictionary for speech recognition | |
| JP2008158048A (en) | Karaoke system and digital reproduction device | |
| JP6810527B2 (en) | Reproduction control device, reproduction control system, reproduction control method, program and recording medium | |
| JP2012128240A (en) | Voice recognition system and dictionary generation device | |
| JP4176701B2 (en) | Playback device | |
| JP5119692B2 (en) | Data reproduction apparatus, data recording system, data reproduction method, and data reproduction program |
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20081127 | |
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20101013 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20101026 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20101224 | |
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20110329 | |
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20110406 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20140415 Year of fee payment:3 | |
| R150 | Certificate of patent or registration of utility model | Free format text:JAPANESE INTERMEDIATE CODE: R150 | |
| LAPS | Cancellation because of no payment of annual fees |