【０００１】[0001]
【発明の属する技術分野】本発明は情報再生装置に係
り、特に特定時刻において伝送速度が一定でない非同期
伝送路で伝送される音声、画像の圧縮データを復号再生
する情報再生装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an information reproducing apparatus, and more particularly to an information reproducing apparatus which decodes and reproduces compressed audio and image data transmitted through an asynchronous transmission line whose transmission speed is not constant at a specific time.
【０００２】[0002]
【従来の技術】ディジタル衛星システムやディジタルＣ
ＡＴＶなどでは、転送レートが一定な同期転送方式を用
いてデータを転送し、バースト状の伝送を行わない。同
期転送システムの場合には、転送時のジッタが発生しな
いから、バッファリングを行う必要がない。2. Description of the Related Art Digital satellite systems and digital C
In ATV and the like, data is transferred using a synchronous transfer method with a constant transfer rate, and burst-like transmission is not performed. In the case of a synchronous transfer system, there is no need to perform buffering since no jitter occurs during transfer.
【０００３】しかしながら、コンピュータネットワーク
を用いた場合は、コンピュータネットワークが特定時刻
において伝送速度が一定でない非同期伝送路であり、ネ
ットワークの使用に下記の２つの制限を加え、制限を加
えない状態での使用は行われていない。第１の制限は、
高速のコンピュータネットワークを用い、データの総転
送レートを本来のネットワーク転送レートの１／４〜１
／５にすることである。情報再生側でアンダーフローや
オーバーフローが発生しないようにするためである。第
２の制限は、他のコンピュータシステムを圧縮データの
専用ネットワークとは別にしてネットワークに負荷をか
けないことである。However, when a computer network is used, the computer network is an asynchronous transmission line whose transmission speed is not constant at a specific time, and the following two restrictions are imposed on the use of the network. Has not been done. The first restriction is
Using a high-speed computer network, reduce the total data transfer rate to 1/4 to 1 of the original network transfer rate.
/ 5. This is to prevent underflow or overflow from occurring on the information reproducing side. A second limitation is that other computer systems do not load the network apart from a dedicated network for compressed data.
【０００４】圧縮データをデコード処理する場合に使用
される伝送路は速度保証があり、一定のスピードでデー
タが伝送される。また、速度保証を行わないネットワー
クを用いた場合には、ネットワークに使用制限を加え、
データがＭＰＥＧ分離規格（ＩＳＯ／ＩＥＣ１３８１８
−１）に定義されたバッファ量以上の欠落が発生しない
よう伝送路に制限を加え使用している。The transmission path used for decoding the compressed data has a guaranteed speed, and the data is transmitted at a constant speed. Also, if a network that does not guarantee speed is used, use restrictions are imposed on the network,
Data is MPEG separation standard (ISO / IEC13818)
The transmission path is restricted and used so that a loss of more than the buffer amount defined in -1) does not occur.
【０００５】図４は従来の情報再生装置の一例のブロッ
ク図を示す。上記のコンピュータネットワークを介して
バースト状に転送されてきたトランスポートストリーム
（ＴＳ）形式の圧縮データは、ネットワークＩ／Ｆモジ
ュール２１に供給され、これより入力圧縮データの本来
の指定転送レートのクロックと共にＴＳ分離部２２に供
給され、ここでＴＳデータ中のヘッダ情報に基づいてビ
デオパケットとオーディオパケットに分離される。分離
されたビデオパケットは、ビデオデコーダ１６に供給さ
れてデコードされ、映像信号に復号される。また、分離
されたオーディオパケットは、オーディオデコーダ１７
に供給されてデコードされ、音声信号に復号される。FIG. 4 is a block diagram showing an example of a conventional information reproducing apparatus. The compressed data of the transport stream (TS) format transferred in a burst form via the above-described computer network is supplied to the network I / F module 21, where the compressed data is supplied together with the clock of the originally specified transfer rate of the input compressed data. It is supplied to the TS separation unit 22, where it is separated into a video packet and an audio packet based on the header information in the TS data. The separated video packet is supplied to the video decoder 16 and decoded, and is decoded into a video signal. The separated audio packet is output to the audio decoder 17.
, And is decoded into an audio signal.
【０００６】[0006]
【発明が解決しようとする課題】前述したように、コン
ピュータネットワークが特定時刻において伝送速度が一
定でない非同期伝送路であり、その伝送路上のデータ転
送速度は、本来一定転送レートを目標としたデータ転送
速度の数倍から数十倍あるが転送速度保証がないため、
図４の従来装置においては、ネットワークＩ／Ｆモジュ
ール２１において速度を一定に保つ転送の制御を行った
り、ＴＳ分離部２２内でアンダーフローやオーバーフロ
ーが発生しないようにする必要があり、そのための制御
が複雑で装置を高価なものとしてしまう。As described above, the computer network is an asynchronous transmission line whose transmission speed is not constant at a specific time, and the data transmission speed on the transmission line is originally a data transmission speed which is originally aimed at a constant transmission rate. Although there are several times to several tens of times the speed, there is no transfer speed guarantee,
In the conventional device shown in FIG. 4, it is necessary to control transfer at a constant speed in the network I / F module 21 or to prevent underflow or overflow from occurring in the TS separation unit 22. However, this makes the apparatus complicated and expensive.
【０００７】また、圧縮データの指定転送レートがネッ
トワークＩ／Ｆモジュール２１で定められた転送レート
と違うデータの受信に際しては、ネットワークＩ／Ｆモ
ジュール２１からＴＳ分離部２２へ供給されるクロック
を変更する必要があり、更に、圧縮データの転送レート
の相違に応じてネットワークＩ／Ｆモジュール２１を作
り替えなければならない。When receiving a data at which the specified transfer rate of the compressed data is different from the transfer rate specified by the network I / F module 21, the clock supplied from the network I / F module 21 to the TS separation unit 22 is changed. In addition, the network I / F module 21 must be reconfigured according to the difference in the transfer rate of the compressed data.
【０００８】本発明は以上の点に鑑みなされたもので、
転送レートの速度保証のない圧縮データの再生に際し
て、メモリのアンダーフローやオーバーフローの発生を
防止し得る情報再生装置を提供することを目的とする。[0008] The present invention has been made in view of the above points,
An object of the present invention is to provide an information reproducing apparatus capable of preventing occurrence of underflow or overflow of a memory when reproducing compressed data for which transfer rate speed is not guaranteed.
【０００９】また、本発明の他の目的は、入力される圧
縮データの転送レートがどのような値であっても、ハー
ドウェアの変更を不要とした情報再生装置を提供するこ
とにある。It is another object of the present invention to provide an information reproducing apparatus which does not require any change in hardware, regardless of the transfer rate of input compressed data.
【００１０】[0010]
【課題を解決するための手段】上記の目的を達成するた
め、本発明は、特定時刻において伝送速度が一定でない
非同期伝送路を通して入力された、少なくとも転送レー
ト情報をヘッダ情報として有する圧縮データが入力さ
れ、入力された転送レート情報と自己の転送レートとに
基づいて、自己の転送レートで入力圧縮データを出力す
るインタフェース手段と、インタフェース手段より取り
出された入力圧縮データを一時蓄積して読み出すバッフ
ァと、バッファから取り出された圧縮データを内部メモ
リに一時蓄積した後、ジッタの無いクロックを用いて伝
送ジッタを吸収して読み出した圧縮データを復号再生す
る復号再生手段と、復号再生手段の内部メモリのデータ
蓄積状態とバッファのデータ蓄積状態とをそれぞれ管理
し、その管理結果に応じてバッファの読み出しを制御す
る制御手段とを有する構成としたものである。In order to achieve the above object, the present invention provides a method for inputting compressed data having at least transfer rate information as header information, which is input at a specific time through an asynchronous transmission line whose transmission rate is not constant. Interface means for outputting input compressed data at its own transfer rate based on the input transfer rate information and its own transfer rate, and a buffer for temporarily storing and reading out the input compressed data extracted from the interface means. Decoding and reproducing means for temporarily storing compressed data extracted from the buffer in an internal memory, and then absorbing and decoding transmission jitter using a jitter-free clock to decode and reproduce the read compressed data; and It manages the data accumulation state and the data accumulation state of the buffer, respectively, and Flip and is obtained by a configuration in which a control means for controlling the reading of the buffer.
【００１１】本発明では、入力圧縮データの転送レート
に無関係にインタフェース手段により、その転送レート
で入力圧縮データをバッファに出力することができ、ま
た、復号再生手段の内部メモリのデータ蓄積状態とバッ
ファのデータ蓄積状態の管理結果に応じてバッファの読
み出しを制御する。According to the present invention, the input compressed data can be output to the buffer at the transfer rate by the interface means regardless of the transfer rate of the input compressed data. The buffer reading is controlled according to the management result of the data accumulation state of the buffer.
【００１２】ここで、本発明は上記の制御手段を、復号
再生手段の内部メモリのデータ蓄積状態が所定値以上の
ときにはバッファの読み出しを禁止し、内部メモリのデ
ータ蓄積状態が所定値未満のときにのみ、バッファの読
み出しを可能とすることを特徴とする。これにより、復
号再生手段の内部メモリのオーバーフローを防止でき
る。Here, the present invention provides the above-mentioned control means, wherein when the data accumulation state of the internal memory of the decoding / reproducing means is equal to or more than a predetermined value, reading of the buffer is prohibited, and when the data accumulation state of the internal memory is less than the predetermined value. , The buffer can be read. As a result, overflow of the internal memory of the decoding / reproducing means can be prevented.
【００１３】[0013]
【発明の実施の形態】次に、本発明の実施の形態につい
て図面と共に説明する。図１は本発明になる情報再生装
置の一実施の形態のブロック図を示す。この実施の形態
は、ネットワークＩ／Ｆモジュール１１とＴＳ分離部１
３の間にディジタリングバッファ１２を設けると共に、
ディジタリングバッファ１２とＴＳ分離部１３をバス１
５を介して中央処理装置（ＣＰＵ）１４で制御する構成
としたものである。Next, embodiments of the present invention will be described with reference to the drawings. FIG. 1 shows a block diagram of an embodiment of an information reproducing apparatus according to the present invention. In this embodiment, the network I / F module 11 and the TS separation unit 1
3 and a digitizing buffer 12 is provided.
The digital buffer 12 and the TS separation unit 13 are connected to the bus 1
5, and is controlled by a central processing unit (CPU) 14.
【００１４】コンピュータネットワークなどの、特定時
刻において伝送速度が一定でない非同期伝送路（バース
ト状のデータ転送を行い、バースト状のデータ転送速度
は本来一定転送レートを目標としたデータ転送速度の数
倍から数十倍あるが、転送速度保証が無い伝送路）を転
送されて入力された、音声、画像の圧縮データは、ネッ
トワークＩ／Ｆモジュール１１に供給される。[0014] An asynchronous transmission path such as a computer network in which the transmission rate is not constant at a specific time (burst-like data transfer is performed, and the burst-like data transfer rate is several times higher than the data transfer rate originally intended for a constant transfer rate. Compressed audio and image data transferred and input through a transmission path that is several tens of times but has no transfer speed guarantee is supplied to the network I / F module 11.
【００１５】ここで、圧縮データは、例えばＭＰＥＧ２
規格により圧縮符号化された音声、画像データであり、
その情報内容に応じて可変長符号化されたデータが、少
なくともその転送レートを含むヘッダ情報と共に所定の
トランスポートストリーム（ＴＳ）の形式でネットワー
クＩ／Ｆモジュール１１に入力されるので、ネットワー
クＩ／Ｆモジュール１１は、入力圧縮データのヘッダ情
報に基づき、本来の指定転送レートを用いたクロック
（ｃｌｏｃｋ）と共に、ＴＳデータをディジタリングバ
ッファ１２に供給する。Here, the compressed data is, for example, MPEG2
Audio and image data compressed and encoded by the standard,
The data that has been variable-length coded according to the information content is input to the network I / F module 11 in the form of a predetermined transport stream (TS) together with at least the header information including the transfer rate. The F module 11 supplies the TS data to the digitizing buffer 12 together with a clock using the original designated transfer rate based on the header information of the input compressed data.
【００１６】ここで、入力圧縮データの本来の指定転送
レートが、ネットワークＩ／Ｆモジュール１１のハード
ウェアで定められた転送レートと異なる場合であって
も、ネットワークＩ／Ｆモジュール１１が自己で定めら
れた転送レートと入力圧縮データの指定転送レートとの
差を演算し、その差の値に基づいて例えば図２（Ｂ）に
黒く示した期間、ＴＳデータをネットワークＩ／Ｆモジ
ュール１１から出力しないことで上記の差の値がゼロと
なるように調整することができる。Here, even if the original designated transfer rate of the input compressed data is different from the transfer rate determined by the hardware of the network I / F module 11, the network I / F module 11 determines the transfer rate by itself. A difference between the obtained transfer rate and the designated transfer rate of the input compressed data is calculated, and based on the value of the difference, for example, the TS data is not output from the network I / F module 11 during a period shown in black in FIG. Thus, the value of the difference can be adjusted to be zero.
【００１７】この場合、図２（Ａ）に示すクロックと共
に、同図（Ｃ）に示す如くローレベルのイネーブル信号
がネットワークＩ／Ｆモジュール１１からディジタリン
グバッファ１２へ出力される。ネットワークＩ／Ｆモジ
ュール１１のハードウェアで定められた転送レートは、
ＭＰＥＧ２規格の最大転送レート（１５Ｍｂｐｓ）を使
用することにより、すべての圧縮データの転送レートに
対処できる。In this case, a low-level enable signal is output from the network I / F module 11 to the digital buffer 12 as shown in FIG. 2C together with the clock shown in FIG. The transfer rate determined by the hardware of the network I / F module 11 is:
By using the maximum transfer rate (15 Mbps) of the MPEG2 standard, the transfer rate of all compressed data can be handled.
【００１８】なお、イネーブル信号がローレベルのとき
はディスエーブル（無効データ）であることを示す。こ
れにより、入力圧縮データの本来の指定転送レートが、
ネットワークＩ／Ｆモジュール１１のハードウェアで定
められた転送レートと異なる場合であっても、ネットワ
ークＩ／Ｆモジュール１１のハードウェアを変更するこ
となく、ネットワークＩ／Ｆモジュール１１で定められ
た転送レートでＴＳデータをディジタリングバッファ１
２へ転送できる。When the enable signal is at a low level, it indicates that the signal is disabled (invalid data). As a result, the original designated transfer rate of the input compressed data becomes
Even if the transfer rate differs from the transfer rate determined by the hardware of the network I / F module 11, the transfer rate determined by the network I / F module 11 can be changed without changing the hardware of the network I / F module 11. Digitizes TS data with buffer 1
2 can be transferred.
【００１９】ディジタリングバッファ１２は、入力され
たＴＳデータを一時蓄積した後、ＣＰＵ１４の制御の下
に蓄積したＴＳデータをクロックと共に読み出してＴＳ
分離部１３に供給する。ＴＳ分離部１３は、入力された
ＴＳデータをジッタ吸収のための内蔵するメモリに一時
格納し、ＴＳデータ中のヘッダ情報に含まれているデー
タ種別情報に基づき、ＴＳデータをビデオパケットとオ
ーディオパケットに分離し、分離したビデオパケットは
ジッタの無い読み出しクロックに同期して読み出してビ
デオデコーダ１６に供給して復号させ、オーディオパケ
ットはジッタの無い読み出しクロックに同期して読み出
してオーディオデコーダ１７に供給して復号させる。The digital buffer 12 temporarily stores the input TS data, reads out the stored TS data together with the clock under the control of the CPU 14, and reads the TS data.
It is supplied to the separation unit 13. The TS separation unit 13 temporarily stores the input TS data in a built-in memory for absorbing jitter, and converts the TS data into a video packet and an audio packet based on the data type information included in the header information in the TS data. The separated video packets are read out in synchronization with a jitter-free read clock and supplied to a video decoder 16 for decoding. The audio packets are read out in synchronization with a jitter-free read clock and supplied to an audio decoder 17. To decrypt.
【００２０】一方、ＣＰＵ１４はバス１５を介してＴＳ
分離部１３の内部メモリのデータ蓄積状態が所定値以上
であるか否かを示すフラグが入力され、このフラグに基
づき、ＴＳ分離部１３の内部メモリのデータ蓄積状態
（ＴＳ分離部１３のデータ受け入れ状態）を把握する。On the other hand, the CPU 14
A flag indicating whether or not the data storage state of the internal memory of the separation unit 13 is equal to or more than a predetermined value is input, and based on this flag, the data storage state of the internal memory of the TS separation unit 13 (the data reception state of the TS separation unit 13). State).
【００２１】そして、ＣＰＵ１４は、ＴＳ分離部１３の
内部メモリのデータ蓄積状態が所定値以上であるときに
は受け入れ不可と判断して、図３（Ａ）及び（Ｂ）にｔ
１で示す如く、ディジタリングバッファ１２をクロック
及びＴＳデータの出力禁止状態に制御し、ＴＳ分離部１
３の内部メモリのデータ蓄積状態が所定値未満であると
きには受け入れ可能と判断して、図３（Ａ）及び（Ｂ）
にｔ２で示す如く、ディジタリングバッファ１２をクロ
ック及びＴＳデータの出力禁止状態を解除してクロック
及びＴＳデータの出力を再開させる。これにより、ＴＳ
分離部１３の転送レートによるハードウェアの変更を不
要にできる。When the data storage state of the internal memory of the TS separation unit 13 is equal to or more than a predetermined value, the CPU 14 determines that the data cannot be accepted, and the CPU 14 determines that t is not accepted as shown in FIGS. 3A and 3B.
As shown by reference numeral 1, the digital buffer 12 is controlled to output the clock and TS data in a prohibited state.
When the data storage state of the internal memory 3 is less than a predetermined value, it is determined that the data can be accepted, and FIGS.
As shown at t2, the digital buffer 12 releases the clock and TS data output prohibition state and restarts the output of the clock and TS data. Thereby, TS
Hardware change by the transfer rate of the separation unit 13 can be made unnecessary.
【００２２】また、ＣＰＵ１４は同様にしてディジタリ
ングバッファ１２のデータ蓄積量も管理しており、オー
バーフロー及びアンダーフローのいずれも生じないよう
に、ディジタリングバッファ１２の書き込み／読み出し
制御をする。このようにして、ＣＰＵ１４の制御の下に
ディジタリングバッファ１２及びＴＳ分離部１３の内部
メモリが、オーバーフロー及びアンダーフローのいずれ
も生じないようにでき、ＴＳ分離部１３として既存のハ
ードウェアや大規模集積回路（ＬＳＩ）を用いることが
できる。これにより、再生装置全体を安価に構成でき
る。The CPU 14 also manages the amount of data stored in the digitizing buffer 12 in the same manner, and controls the writing / reading of the digitizing buffer 12 so that neither overflow nor underflow occurs. In this manner, under the control of the CPU 14, the digital memory 12 and the internal memory of the TS separation unit 13 can prevent both overflow and underflow from occurring. An integrated circuit (LSI) can be used. Thus, the entire playback device can be configured at low cost.
【００２３】[0023]
【発明の効果】以上説明したように、本発明によれば、
入力圧縮データの転送レートに無関係にインタフェース
手段により、その転送レートで入力圧縮データをバッフ
ァに出力することができるため、どのような転送レート
の速度保証のない伝送路を通して入力された圧縮データ
に対しても、インタフェース手段を作り替えることなく
対応できる。As described above, according to the present invention,
The interface means can output the input compressed data to the buffer at the transfer rate regardless of the transfer rate of the input compressed data. However, it is possible to cope without changing the interface means.
【００２４】また、本発明によれば、復号再生手段の内
部メモリのデータ蓄積状態とバッファのデータ蓄積状態
の管理結果に応じてバッファの読み出しを制御するよう
にしたため、復号再生手段の内部メモリのオーバーフロ
ー及びアンダーフローを防止することができる。Further, according to the present invention, the reading of the buffer is controlled in accordance with the management result of the data accumulation state of the internal memory of the decoding / reproduction means and the data accumulation state of the buffer. Overflow and underflow can be prevented.
【図１】本発明の情報再生装置の一実施の形態のブロッ
ク図である。FIG. 1 is a block diagram of an information reproducing apparatus according to an embodiment of the present invention.
【図２】図１の要部の動作説明図である。FIG. 2 is an operation explanatory view of a main part of FIG. 1;
【図３】図１の他の要部の動作説明図である。FIG. 3 is an operation explanatory diagram of another main part of FIG. 1;
【図４】従来の一例のブロック図である。FIG. 4 is a block diagram of an example of the related art.
１１ ネットワークＩ／Ｆモジュール（インタフェース
手段） １２ ディジタリングバッファ（バッファ） １３ ＴＳ分離部（復号再生手段） １４ 中央処理装置（ＣＰＵ）（制御手段） １５ バス １６ ビデオデコーダ（復号再生手段） １７ オーディオデコーダ（復号再生手段）Reference Signs List 11 network I / F module (interface means) 12 digitizing buffer (buffer) 13 TS separation unit (decoding / reproducing means) 14 central processing unit (CPU) (control means) 15 bus 16 video decoder (decoding / reproducing means) 17 audio decoder (Decryption / reproduction means)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02875998AJP3367409B2 (en) | 1998-02-10 | 1998-02-10 | Information playback device |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02875998AJP3367409B2 (en) | 1998-02-10 | 1998-02-10 | Information playback device |
| Publication Number | Publication Date |
|---|---|
| JPH11234626Atrue JPH11234626A (en) | 1999-08-27 |
| JP3367409B2 JP3367409B2 (en) | 2003-01-14 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP02875998AExpired - Fee RelatedJP3367409B2 (en) | 1998-02-10 | 1998-02-10 | Information playback device |
| Country | Link |
|---|---|
| JP (1) | JP3367409B2 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001309377A (en)* | 2000-03-23 | 2001-11-02 | Videotele Com Inc | Method for demultiplexing mpeg transfer stream multiplexed statistically |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001309377A (en)* | 2000-03-23 | 2001-11-02 | Videotele Com Inc | Method for demultiplexing mpeg transfer stream multiplexed statistically |
| Publication number | Publication date |
|---|---|
| JP3367409B2 (en) | 2003-01-14 |
| Publication | Publication Date | Title |
|---|---|---|
| EP0713341B1 (en) | Video decoder capable of controlling encoded video data rate | |
| CA2528608A1 (en) | Simultaneously transporting multiple mpeg-2 transport streams | |
| US6754239B2 (en) | Multiplexing apparatus and method, transmitting apparatus and method, and recording medium | |
| US6577813B1 (en) | Transmitting system and transmitting apparatus | |
| US20020067745A1 (en) | System and method for remultiplexing of a filtered transport stream | |
| JP3429652B2 (en) | Digital coding and multiplexing equipment | |
| US6904089B1 (en) | Encoding device and decoding device | |
| US7054959B2 (en) | Isochronous data transfer control method including packet configuration of thus-read isochronous header and data | |
| US6035096A (en) | Video/audio decoding and reproducing apparatus and method | |
| KR100259295B1 (en) | Memory controller | |
| US20060197880A1 (en) | Signal processing device and stream processing method | |
| US6205180B1 (en) | Device for demultiplexing information encoded according to a MPEG standard | |
| JPH11234626A (en) | Information reproduction device | |
| KR100640913B1 (en) | Receiving data stream storage / playback apparatus and method of digital broadcasting receiver | |
| JP3642550B2 (en) | Video signal transmission method and apparatus | |
| JPH1173729A (en) | Recording and playback device | |
| JP2004349970A (en) | Bridge circuit, video / audio stream recording / reproducing device, and PVR-integrated digital broadcast receiver | |
| JP2000187940A (en) | Recording / reproducing device and recording device | |
| KR100242309B1 (en) | Apparatus for receiving mpeg data | |
| JP3568503B2 (en) | MPEG video decoder | |
| JP2000278321A (en) | Information reproduction controller | |
| KR0183164B1 (en) | Decoder and method using mpeg automatic detection in video on demand | |
| US8855110B2 (en) | Personal video recorder having improved data access and method thereof | |
| JP2007068103A (en) | MPEG encoding device | |
| JPH10126274A (en) | Data decoding method and data decoding device, clock conversion method, and clock conversion device |
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20071108 Year of fee payment:5 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20081108 Year of fee payment:6 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20091108 Year of fee payment:7 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20101108 Year of fee payment:8 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20101108 Year of fee payment:8 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20111108 Year of fee payment:9 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20121108 Year of fee payment:10 | |
| LAPS | Cancellation because of no payment of annual fees |