【０００１】[0001]
【発明の属する技術分野】本発明は、圧縮符号化処理さ
れた映像信号をエラーレベルに応じて復号化する映像復
号化装置に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a video decoding apparatus for decoding a video signal which has been subjected to a compression encoding process according to an error level.
【０００２】[0002]
【従来の技術】圧縮符号化処理された符号化データは、
光ディスクや磁気ディスク等の記録媒体に記録された
り、通信で送られてきたりする。そしてこれらの符号化
データは、復号化装置によって人間が目で認識できる映
像信号に復号化処理される。2. Description of the Related Art Encoded data that has been subjected to compression encoding processing is
It is recorded on a recording medium such as an optical disk or a magnetic disk, or transmitted by communication. These coded data are decoded by a decoding device into video signals that can be recognized by human eyes.
【０００３】しかしながら、記録媒体に記録された符号
化データを読み出すとき、あるいは通信経路などの状況
で符号化データに誤り（以下、エラーという）が生じた
とき、本来の符号化データが得られず、正常な復号化処
理を行うことはできなくなる。このような場合はユーザ
ーに不快感を与えることになる。そこで現在の復号化装
置は、このようなエラーを含む符号化データが入力され
たとき、このエラーを検出してエラーによる画像の乱れ
をできるだけ目立たないようにし、引き続き復号化処理
を続けるようにつくられている。つまりエラーによる悪
影響を除去し、できるだけ早く正常な復号化処理に戻ら
なければならない。However, when coded data recorded on a recording medium is read, or when an error (hereinafter referred to as an error) occurs in the coded data in a communication path or the like, original coded data cannot be obtained. In this case, normal decoding cannot be performed. In such a case, the user is uncomfortable. Therefore, the current decoding apparatus detects such an error when coded data including such an error is input, and makes the disturbance of the image due to the error as inconspicuous as possible, so as to continue the decoding process. Have been. That is, it is necessary to remove the adverse effects of the error and return to the normal decoding process as soon as possible.
【０００４】まず現在用いられている圧縮符号化方法の
国際標準符号化方式（ISO/IEC JTC1/SC 29N 0 981 Rev
）について説明する。以下この方式をMPEG2 と呼ぶ。
この圧縮符号化方式は次の３つのフレーム符号化処理方
法を持つ。即ち、入力された映像信号のフレーム内符号
化処理と、過去のフレームを参照フレームにする前方向
フレーム予測符号化処理と、過去のフレームと未来のフ
レームを参照フレームにする両方向フレーム予測符号化
処理とである。フレーム内符号化処理されたフレームを
Ｉピクチャー、前方向フレーム予測符号化処理されたフ
レームをＰピクチャー、両方向フレーム予測符号化処理
されたフレームをＢピクチャーと呼ぶ。更に参照フレー
ムと比較して現在符号化されているフレームがどれだけ
動いたかを示す情報を動きベクトルと呼ぶ。この動きベ
クトルを用いて、予測符号化処理されたフレームを復号
化処理する。[0004] First, the international standard encoding method of the currently used compression encoding method (ISO / IEC JTC1 / SC 29N 0981 Rev)
) Will be described. Hereinafter, this method is called MPEG2.
This compression encoding method has the following three frame encoding processing methods. That is, an intra-frame encoding process of an input video signal, a forward frame predictive encoding process using a past frame as a reference frame, and a bidirectional frame predictive encoding process using a past frame and a future frame as a reference frame. And A frame subjected to intra-frame encoding processing is referred to as an I picture, a frame subjected to forward frame predictive encoding processing is referred to as a P picture, and a frame subjected to bidirectional frame predictive encoding processing is referred to as a B picture. Information indicating how much the currently encoded frame has moved compared to the reference frame is called a motion vector. Using this motion vector, the frame that has been subjected to the predictive encoding process is decoded.
【０００５】またｐを正の整数（ｐ＞２）とするとき、
符号化された連続するフレームについては、ｐフレーム
毎にフレーム内符号化処理あるいは前方向フレーム予測
符号化処理する。そしてフレーム内符号化処理あるいは
前方向フレーム予測符号化処理したフレーム間のフレー
ムは、両方向フレーム予測符号化処理をする。このよう
に符号化された映像信号の全フレーム数をＬとすると
き、Ｌは（ｐ＋１）以上であるというように符号化処理
される。When p is a positive integer (p> 2),
With respect to consecutive encoded frames, intra-frame encoding processing or forward frame predictive encoding processing is performed for every p frames. The frames between the frames subjected to the intra-frame coding process or the forward frame predictive coding process are subjected to the bidirectional frame predictive coding process. Assuming that the total number of frames of the video signal encoded in this way is L, the encoding process is performed such that L is equal to or more than (p + 1).
【０００６】またこの符号化方法で圧縮符号化処理され
た符号化データは階層構造になっている。このような符
号化データの構造を図２に示す。先に述べた符号化処理
は図２のマクロブロック層のマクロブロック単位に処理
される。つまり動きベクトルもマクロブロック毎に持つ
ことになる。[0006] Encoded data that has been compression-encoded by this encoding method has a hierarchical structure. FIG. 2 shows the structure of such encoded data. The encoding process described above is performed for each macroblock in the macroblock layer in FIG. That is, a motion vector is also provided for each macroblock.
【０００７】またMPEG2 ではプロファイル(Profile) と
レベル(Level) という概念が導入されている。MPEG2 は
汎用符号化の国際標準を目的として考えられたものであ
るため、多くのアプリケーションをカバーし、またHDTV
などの高品位なサービスやレベルの提供を可能にする。
プロファイルは符号化方法の違いを示し、レベルは出力
画像の解像度などを示している。図３にMPEG2 のプロフ
ァイルとレベルの詳細を示す。[0007] In MPEG2, the concepts of profile and level are introduced. MPEG2 was designed to be an international standard for general-purpose coding, so it covers many applications and
And other high-quality services and levels.
The profile indicates the difference in the encoding method, and the level indicates the resolution of the output image. FIG. 3 shows the details of the profile and level of MPEG2.
【０００８】次にMPEG2 で符号化された符号化データを
復号化処理する復号化装置において、エラーを含んだ符
号化データが入力された場合の現在行われているエラー
処理方法について述べる。ここでは、符号化データのエ
ラーの起きる位置で、大きく二つの処理に分ける。図２
に示すようにピクチャー層以上のエラーであるなら、次
のシーケンスヘッダまで復号化処理をスキップする。ま
たスライス層以下のエラーならば、エラーの起きたスラ
イス層の復号化処理をスキップして、次のスライス層か
ら復号化処理を開始する。Next, a description will be given of an error processing method which is currently performed in the case where coded data containing an error is input in a decoding device for decoding coded data coded by MPEG2. Here, at the position where an error occurs in the encoded data, it is roughly divided into two processes. FIG.
If the error is at or above the picture layer, the decoding process is skipped until the next sequence header. If the error is equal to or smaller than the slice layer, the decoding process of the slice layer in which the error has occurred is skipped, and the decoding process starts from the next slice layer.
【０００９】そしてエラーの起きた部分は、前に復号化
処理できたフレームを参照フレームとして、エラーが起
きたスライスＳｊの上のスライスＳｉの動きベクトルを
用いて前方向フレーム予測符号化処理をして補正を行
う。この状態を図４に示す。また図５に補正処理すると
きの参照するフレームについて示す。図５より判るよう
に、符号化処理方法に関わらず、斜線部で示すエラーの
起きたフレームの前に表示されたＩピクチャー又はＰピ
クチャーを参照フレームとしている。[0009] The portion where the error has occurred is subjected to forward frame predictive encoding using the motion vector of the slice Si above the slice Sj where the error has occurred, using the previously decoded frame as a reference frame. To make corrections. This state is shown in FIG. FIG. 5 shows a frame to be referred to when performing the correction processing. As can be seen from FIG. 5, regardless of the encoding method, the I-picture or P-picture displayed before the frame in which the error has occurred is indicated as a reference frame.
【００１０】[0010]
【発明が解決しようとする課題】エラーは、符号化デー
タが復号化装置に入力されるときの状況によって、いつ
生じるか判らない。また、またエラーが生じる場所も予
想がつかない。そこであらゆる場合に柔軟に対応できる
ようなエラー対策を考える必要がある。また、エラーが
発生しても、速やかに復号化処理に復帰し、エラーが起
きた部分の画質をできるだけ符号化時の画像に近づける
よう補正する必要がある。It is not known when an error will occur depending on the situation when the encoded data is input to the decoding device. Also, the place where the error occurs cannot be predicted. Therefore, it is necessary to consider an error countermeasure that can flexibly cope with any case. Further, even if an error occurs, it is necessary to immediately return to the decoding process and correct the image quality of the portion where the error has occurred so as to be as close as possible to the image at the time of encoding.
【００１１】本発明は、このような従来の問題点に鑑み
てなされたものであって、入力された符号化データにエ
ラーが生じたとき、そのエラーを検出した後に速やかに
効率的な補正をし、復号処理に復帰できる映像復号化装
置を実現することを目的とする。The present invention has been made in view of such a conventional problem, and when an error occurs in input encoded data, an efficient correction is performed immediately after the error is detected. It is another object of the present invention to realize a video decoding device capable of returning to the decoding process.
【００１２】[0012]
【課題を解決するための手段】上記課題を達成するため
に本願の請求項１記載の発明は、圧縮符号化処理された
映像の符号化データの構造を上層から下層にかけて仕分
けをし、符号化データに生じたエラーの属する階層をエ
ラーレベルとし、前記エラーレベルに応じて符号化デー
タの復号化処理を行う映像復号化装置であって、所定の
圧縮符号化アルゴリズムで圧縮符号化処理された符号化
データを入力とし、前記圧縮符号化アルゴリズムの符号
化レベルを検出する符号化レベル検出手段と、前記符号
化レベル検出手段によって検出された符号化レベルを入
力とし、前記符号化レベルと前記圧縮符号化アルゴリズ
ムの制約に基づいて、前記圧縮符号化アルゴリズムが満
たすべき復号化制御情報を出力する復号化制御情報出力
手段と、前記符号化データと前記エラーレベルを入力と
し、前記エラーレベルに基づいて符号化データの解析を
開始し、映像信号の復号に必要な係数データ及び復号化
パラメータを出力する符号化データ解析手段と、前記符
号化データ解析手段の出力する前記復号化パラメータを
記憶する復号化パラメータメモリと、前記符号化データ
解析手段の出力する復号化パラメータ及び係数データと
前記復号化制御情報出力手段の出力する復号化制御情報
とを入力とし、前記復号化パラメータ及び係数データと
前記復号化制御情報とを比較し、前記復号化パラメータ
及び係数データが前記復号化制御情報を満たしているか
否かを判定し、満たしていないものに対してその情報を
エラー情報として出力するエラー検出手段と、前記エラ
ー検出手段が出力する前記エラー情報を前記エラーレベ
ルに変換して出力するエラー情報変換手段と、前記符号
化データ解析手段の出力する前記復号化パラメータ及び
前記係数データと前記エラー情報変換手段が出力する前
記エラーレベルとを入力とし、前記エラーレベルに基づ
いて前記圧縮符号化アルゴリズムに沿って復号化処理を
開始し、映像信号を復号する出力映像構成手段と、前記
出力映像構成手段の出力する映像信号を格納するフレー
ムメモリと、前記復号化パラメータメモリに保持された
前記復号化パラメータ及び前記フレームメモリに保持さ
れた映像信号を入力し、前記エラー情報変換手段で検出
されたエラーレベルに基づいて、所定の補正処理を開始
し、再び前記フレームメモリに補正した映像信号を格納
する出力映像補正手段と、を具備することを特徴とする
ものである。In order to achieve the above object, according to the first aspect of the present invention, the structure of encoded data of a video which has been subjected to a compression encoding process is sorted from an upper layer to a lower layer, and the data is encoded. An image decoding apparatus that performs a decoding process on coded data according to the error level, wherein a layer to which an error occurred in the data belongs is an error level, and a code that has been compression-coded by a predetermined compression coding algorithm. Encoding level detection means for detecting an encoding level of the compression encoding algorithm, and an encoding level detected by the encoding level detection means, and receiving the encoding level and the compression code. Decoding control information output means for outputting decoding control information to be satisfied by the compression coding algorithm based on a restriction of the coding algorithm; Data and the error level as input, coded data analysis means for starting analysis of coded data based on the error level, and outputting coefficient data and decoding parameters necessary for decoding a video signal; and A decoding parameter memory for storing the decoding parameter output by the data analysis unit; decoding parameter and coefficient data output by the encoded data analysis unit; and decoding control information output by the decoding control information output unit. With the input, comparing the decoding parameter and coefficient data and the decoding control information, determine whether the decoding parameter and coefficient data satisfy the decoding control information, to those that do not satisfy Error detecting means for outputting the information as error information, and the error information output by the error detecting means. An error information conversion unit that converts the error level to the error level, and outputs the decoding parameter and the coefficient data output by the encoded data analysis unit and the error level output by the error information conversion unit. Starting a decoding process along the compression encoding algorithm based on the error level, an output video configuration unit for decoding a video signal, a frame memory for storing a video signal output by the output video configuration unit, The decoding parameter held in the decoding parameter memory and the video signal held in the frame memory are input, and a predetermined correction process is started based on the error level detected by the error information conversion unit. Output video correction means for storing the corrected video signal in the frame memory. Things.
【００１３】また本願の請求項２記載の発明では、前記
復号化制御情報出力手段は、前記符号化レベル検出手段
の出力する前記符号化レベルを満足するような復号化制
御情報を提供することを特徴とするものである。[0013] In the invention according to claim 2 of the present application, the decoding control information output means provides decoding control information satisfying the coding level output from the coding level detecting means. It is a feature.
【００１４】また本願の請求項３記載の発明では、前記
復号化制御情報出力手段の出力する前記復号化制御情報
は、前記符号化レベル検出手段で検出された前記符号化
レベルにおいて、前記符号化データ解析手段で処理を行
う際の重要度に基づいて前記エラーレベルが割当てられ
ていることを特徴とするものである。Further, in the invention according to claim 3 of the present application, the decoding control information output from the decoding control information output means includes the coding level at the coding level detected by the coding level detecting means. The error level is assigned based on the degree of importance when processing is performed by the data analysis means.
【００１５】また本願の請求項４記載の発明では、前記
復号化制御情報出力手段の出力する前記復号化制御情報
は、前記符号化レベル検出手段で検出された前記符号化
レベルにおいて、続く復号化処理に与える影響の大きさ
に基づいて前記エラーレベルが割当てられることを特徴
とするものである。[0015] In the invention according to claim 4 of the present application, the decoding control information output from the decoding control information output means is provided for the next decoding level in the coding level detected by the coding level detecting means. The error level is assigned based on the magnitude of influence on processing.
【００１６】また本願の請求項５記載の発明では、前記
エラー情報変換手段は、復号化制御情報に対して割り当
てる前記エラーレベルは、前記出力映像構成手段及び前
記出力映像補正手段での処理に対応付けられていること
を特徴とするものであるFurther, in the invention according to claim 5 of the present application, the error information converting means assigns the error level to the decoding control information corresponding to the processing by the output video forming means and the output video correcting means. It is characterized by being attached
【００１７】また本願の請求項６記載の発明では、前記
エラー情報変換手段は、前記エラー検出手段が出力する
前記エラー情報を、前記エラー情報に割当てられている
前記エラーレベルに変換して出力することを特徴とする
ものである。Further, in the invention according to claim 6 of the present application, the error information conversion means converts the error information output by the error detection means into the error level assigned to the error information and outputs the error level. It is characterized by the following.
【００１８】また本願の請求項７記載の発明では、前記
エラー情報変換手段の出力する前記エラーレベルは、前
記符号化データ解析手段、前記出力映像構成手段、及び
前記出力映像補正手段のいずれの動作を開始するかを決
定することを特徴とするものである。Further, in the invention according to claim 7 of the present application, the error level output from the error information conversion means is determined by any one of the operation of the encoded data analysis means, the output video construction means, and the output video correction means. Is determined.
【００１９】また本願の請求項８記載の発明では、前記
符号化データ解析手段は、前記入力符号化データを遅延
させる遅延手段を有し、前記エラー情報変換手段から出
力される前記エラーレベルの入力を待ち、前記エラーレ
ベルの入力によって符号化データの解析を開始すること
を特徴とするものである。Further, in the invention according to claim 8 of the present application, the encoded data analyzing means has a delay means for delaying the input encoded data, and the input of the error level output from the error information converting means. And analysis of encoded data is started by inputting the error level.
【００２０】また本願の請求項９記載の発明では、前記
復号化パラメータメモリは、前記符号化データ解析手段
から出力された過去の復号化パラメータを蓄えるメモリ
であることを特徴とするものである。In the invention according to claim 9 of the present application, the decoding parameter memory is a memory for storing past decoding parameters output from the encoded data analysis means.
【００２１】また本願の請求項１０記載の発明では、前
記符号化レベル検出手段で検出する圧縮符号化アルゴリ
ズムは、フレーム内符号化処理したフレームをＩピクチ
ャーとし、過去のフレームを参照して前方向フレームを
予測符号化処理したフレームをＰピクチャーとし、過去
のフレームと未来のフレームを参照して両方向フレーム
を予測符号化したフレームをＢピクチャーとするとき、
前記３種類のピクチャーから組み立てられたＬ枚のフレ
ームが映像シーケンスとして入力されたき、連続したフ
レームについて、ｐ（Ｌ−１＞ｐ＞２なる自然数）フレ
ーム毎に前記Ｉピクチャー又はＰピクチャーを配置し、
前記Ｉピクチャー又前記Ｐピクチャーの間に前記Ｂピク
チャーを配置したことを特徴とするものである。Further, in the invention according to claim 10 of the present application, the compression encoding algorithm detected by the encoding level detection means uses an intra-frame-coded frame as an I-picture, and refers to a past frame in a forward direction. When a frame obtained by predictively encoding a frame is a P picture, and a frame obtained by predictively encoding a bidirectional frame with reference to a past frame and a future frame is a B picture,
When L frames assembled from the three types of pictures are input as a video sequence, the I picture or P picture is arranged for every p (natural number of L-1>p> 2) frames in a continuous frame. ,
The B picture is arranged between the I picture and the P picture.
【００２２】また本願の請求項１１記載の発明では、前
記出力映像構成手段は、前記エラー情報変換手段の出力
する前記エラーレベルに基づいて復号化処理を開始する
ことを特徴とするものである。In the invention according to claim 11 of the present application, the output video composing means starts decoding processing based on the error level output from the error information converting means.
【００２３】また本願の請求項１２記載の発明では、前
記出力映像補正手段は、前記エラー情報変換手段の出力
する前記エラーレベルに基づいて補正処理を開始するこ
とを特徴とするものである。Further, in the invention according to claim 12 of the present application, the output video correction means starts correction processing based on the error level output from the error information conversion means.
【００２４】また本願の請求項１３記載の発明では、前
記出力映像補正手段は、前記復号化パラメータメモリの
出力する前記復号化パラメータのうち、エラーが検出さ
れた位置より過去に求められた動き情報と、現在復号化
処理しているフレームに対する参照フレームとを入力
し、現在復号化処理しているフレームのフレーム符号化
処理方法と同様の方法で予測を行うことにより、補正し
た映像信号を出力することを特徴とするものである。Further, in the invention according to claim 13 of the present application, the output video correction means includes, among the decoding parameters output from the decoding parameter memory, motion information obtained in the past from a position where an error is detected. And a reference frame for the frame currently being decoded, and outputs a corrected video signal by performing prediction in the same manner as the frame encoding method of the frame currently being decoded. It is characterized by the following.
【００２５】また本願の請求項１４記載の発明では、前
記出力映像補正手段は、前記復号化パラメータメモリの
出力する前記復号化パラメータのうち、エラーが検出さ
れた位置より前の動き情報及び後の動き情報と、現在復
号化処理しているフレームに対する参照フレームとを入
力し、前の動き情報を用いて現在復号化処理しているフ
レーム符号化処理方法と同様の方法で予測を行って第１
の補正映像信号を生成し、後の動き情報を用いて現在復
号化処理しているフレーム符号化処理方法と同様の方法
で予測を行って第２の補正映像信号を生成し、前記第１
及び第２の補正映像信号の平均化処理した第３の補正映
像信号を出力することを特徴とするものである。Further, in the invention according to claim 14 of the present application, the output video correction means includes, among the decoding parameters output from the decoding parameter memory, the motion information before and after the position where the error is detected. The motion information and the reference frame for the frame currently being decoded are input, and prediction is performed using the previous motion information in the same manner as the frame encoding method currently being decoded to perform the first prediction.
And a second corrected video signal is generated by performing prediction using a method similar to the frame coding processing method that is currently being decoded using the subsequent motion information to generate a second corrected video signal.
And outputting a third corrected video signal obtained by averaging the second corrected video signal.
【００２６】[0026]
【発明の実施の形態】本発明の一実施の形態における映
像復号化装置について図面を参照しつつ説明する。図１
は本実施の形態における映像復号化装置の全体構成を示
すブロック図である。映像復号化装置は符号化レベル検
出器１１、復号化制御情報出力器１２、エラー検出器１
３、エラー情報変換器１４、符号化データ解析器１５、
復号化パラメータメモリ１６、出力映像構成器１７、出
力映像補正器１８、フレームメモリ１９を含んで構成さ
れる。DESCRIPTION OF THE PREFERRED EMBODIMENTS A video decoding apparatus according to an embodiment of the present invention will be described with reference to the drawings. FIG.
Is a block diagram illustrating an overall configuration of a video decoding device according to the present embodiment. The video decoding device includes an encoding level detector 11, a decoding control information output unit 12, an error detector 1
3, error information converter 14, coded data analyzer 15,
It comprises a decoding parameter memory 16, an output video composer 17, an output video corrector 18, and a frame memory 19.
【００２７】符号化レベル検出器１１は、復号化処理す
べき符号化データを入力し、圧縮符号化アルゴリズムの
符号化レベルと図３に示す符号化データのプロファイル
とレベルを検出するものである。復号化制御情報出力器
１２は、符号化レベル検出器１１が検出したプロファイ
ルとレベルと圧縮符号化アルゴリズムの制約に基づい
て、復号化対象の符号化データが満足すべき条件を、復
号化制御情報として出力するものである。復号化制御情
報出力器１２の出力する復号化制御情報は、続く復号化
処理に与える影響の大きさによってレベルが割り当てら
れている。The coding level detector 11 receives the coded data to be decoded and detects the coding level of the compression coding algorithm and the profile and level of the coded data shown in FIG. The decoding control information output unit 12 determines, based on the profile and level detected by the coding level detector 11 and the constraints of the compression coding algorithm, the conditions that the coded data to be decoded should satisfy. Is output. The level of the decoding control information output from the decoding control information output unit 12 is assigned according to the magnitude of the influence on the subsequent decoding processing.
【００２８】エラー検出器１３は、復号化制御情報出力
器１２が出力する復号化制御情報と、符号化データ解析
器１５が出力する復号化パラメータ及び係数データを入
力して、復号化パラメータが復号化制御情報の示す条件
に満足しているか否かを判定し、満足していなければエ
ラー情報を出力するものである。The error detector 13 receives the decoding control information output from the decoding control information output unit 12 and the decoding parameters and coefficient data output from the coded data analyzer 15, and decodes the decoding parameters. It is determined whether or not the condition indicated by the activation control information is satisfied. If the condition is not satisfied, error information is output.
【００２９】エラー情報変換器１４は、エラー検出器１
３が出力したエラー情報を、それに割り当てられている
エラーレベルに変換して出力するものである。符号化デ
ータ解析器１５は、復号化処理したい符号化データとエ
ラー情報変換器１４が出力するエラーレベルとを入力
し、エラーレベルに基づいて符号化データの解析処理を
開始し、係数データ及び動きベクトルや符号化処理方法
などの復号化パラメータを出力するものである。The error information converter 14 is provided with the error detector 1
3 converts the error information output to the error level assigned to the error information and outputs it. The coded data analyzer 15 receives the coded data to be decoded and the error level output from the error information converter 14 and starts the coded data analysis process based on the error level. It outputs decoding parameters such as a vector and an encoding method.
【００３０】復号化パラメータメモリ１６は、符号化デ
ータ解析器１５が出力する復号化パラメータを格納する
メモリである。復号化パラメータは、ヘッダ部分に記述
してある情報で、例えば画像サイズ、フレームレート、
コーディングタイプ、動きベクトルの検索範囲を示すｆ
コード等である。出力映像構成器１７は、符号化データ
解析器１５が出力する復号化パラメータと係数データ、
およびエラー情報変換器１４が出力するエラーレベルを
入力し、エラーレベルに基づいて復号化処理を開始し、
フレームメモリ１９に出力映像信号を与えるものであ
る。The decoding parameter memory 16 is a memory for storing decoding parameters output from the encoded data analyzer 15. The decoding parameter is information described in the header portion, for example, image size, frame rate,
F indicating the coding type and motion vector search range
Code. The output video composing unit 17 decodes the decoding parameters and coefficient data output from the encoded data analyzer 15,
And the error level output from the error information converter 14 is input, and a decoding process is started based on the error level.
The output video signal is supplied to the frame memory 19.
【００３１】出力映像補正器１８は、符号化データ解析
器１５が出力する復号化パラメータと、エラー情報変換
器１４が出力するエラーレベルと、フレームメモリ１９
に格納してある映像信号とを入力し、エラーレベルに基
づいて補正処理を開始し、フレームメモリ１９に補正し
た映像信号を与えるものである。フレームメモリ１９
は、出力映像構成器１７および出力映像補正器１８の出
力映像信号を格納するものである。The output video corrector 18 includes a decoding parameter output from the coded data analyzer 15, an error level output from the error information converter 14, and a frame memory 19.
And starts a correction process based on the error level, and provides the frame memory 19 with the corrected video signal. Frame memory 19
Stores the output video signals of the output video composer 17 and the output video corrector 18.
【００３２】このように構成された映像復号化装置の動
作を説明する。符号化データ解析器１５はデータの遅延
手段を持っており、符号化データが入力されてもエラー
情報変換器１４からエラーレベルが入力されなければ解
析処理を開始しない。そのためエラー検出器１３は、初
期状態では符号化データ解析器１５の情報を用いず、復
号化制御情報出力器１２の情報で動作を開始し、エラー
なしという情報をエラー情報変換器１４に出力する。エ
ラー情報変換器１４は受け取った情報をエラーレベルに
変換する。The operation of the video decoding apparatus thus configured will be described. The coded data analyzer 15 has a data delay unit. Even if coded data is input, the analysis process is not started unless an error level is input from the error information converter 14. Therefore, the error detector 13 does not use the information of the coded data analyzer 15 in the initial state, but starts the operation with the information of the decoding control information output unit 12, and outputs information indicating that there is no error to the error information converter 14. . The error information converter 14 converts the received information into an error level.
【００３３】初期状態ではエラーなしであり、符号化デ
ータ解析器１５に対して初期状態のエラーレベルが与え
られるよう設定してある。また、このときのエラーレベ
ルでは、出力映像構成器１７及び出力映像補正器１８は
動作をしない。次に符号化データ解析器１５が解析を開
始すると、図２に示されるような階層構造になっている
符号化データを、上位のシーケンス層から下位のブロッ
ク層まで解析していく。そして解析した復号化パラメー
タと係数データを出力する。それから、エラー検出器１
３は、符号化データ解析器１５が解析した復号化パラメ
ータを、復号化制御情報出力器１２が出力する復号化制
御情報と比較することでエラーを検出する。There is no error in the initial state, and the coded data analyzer 15 is set to be given an error level in the initial state. Further, at the error level at this time, the output video composer 17 and the output video compensator 18 do not operate. Next, when the encoded data analyzer 15 starts the analysis, the encoded data having a hierarchical structure as shown in FIG. 2 is analyzed from the upper sequence layer to the lower block layer. Then, the analyzed decoding parameters and coefficient data are output. Then, error detector 1
3 detects an error by comparing the decoding parameter analyzed by the encoded data analyzer 15 with the decoding control information output by the decoding control information output unit 12.
【００３４】エラー検出器１３は、不一致が起きた情報
をエラー情報変換器１４に渡し、またエラーがなければ
エラーなしという情報を返す。エラー情報変換器１４は
入力されたエラー情報を、その情報に割り当てられてい
るエラーレベルに変換して出力する。このエラーレベル
は符号化データ解析器１５、出力映像構成器１７、及び
出力映像補正器１８の動作開始を制御するものである。
そして出力映像構成器１７又は出力映像補正器１８の処
理により、フレームメモリ１９に映像信号が格納され
る。符号化データ解析器１５、出力映像構成器１７、及
び出力映像補正器１８の動作の開始は、エラーレベルの
値によって行われる。The error detector 13 passes the information in which the mismatch has occurred to the error information converter 14, and returns information indicating that there is no error if there is no error. The error information converter 14 converts the input error information into an error level assigned to the information and outputs it. This error level controls the start of operation of the encoded data analyzer 15, the output video composer 17, and the output video corrector 18.
The video signal is stored in the frame memory 19 by the processing of the output video composer 17 or the output video corrector 18. The operation of the encoded data analyzer 15, the output video composer 17, and the output video corrector 18 is started based on the value of the error level.
【００３５】次にエラーレベルについて説明する。復号
化制御情報出力器１２が出力する復号化制御情報にはそ
れぞれエラーレベルが割り当てられている。Next, the error level will be described. An error level is assigned to each of the decoding control information output from the decoding control information output unit 12.
【００３６】例えばＭＰ＠ＭＬの符号化データが入力さ
れた場合、復号化制御情報出力器１２が出力する復号化
制御情報の一例を図６に示す。各復号化制御情報に割り
当てられたエラーレベルは、復号化処理においての重要
度、または使用頻度などに応じて自由に設定されるもの
である。また復号化制御情報も符号化データ解析器１５
の性能に応じて自由に変更できる。このエラーレベルに
よって復号化器の動作も決定される。その一例を図７に
示す。本図に示すようにエラーレベルは０〜５でレベル
付けされている。For example, FIG. 6 shows an example of decoding control information output from the decoding control information output unit 12 when coded data of MP @ ML is input. The error level assigned to each piece of decoding control information can be freely set according to the importance in the decoding process or the frequency of use. The decoding control information is also transmitted to the encoded data analyzer 15.
Can be changed freely according to the performance of The operation of the decoder is also determined by this error level. An example is shown in FIG. As shown in the figure, the error levels are assigned from 0 to 5.
【００３７】エラーレベル＝０は、入力された符号化デ
ータのデコード処理を続ける上で、最も必要な項目に付
いて不具合が生じたことを示す。この場合はこれ以上デ
コード処理を続けることはできず、次のシーケンス層ま
でデコード処理をスキップする。そして次に見つかった
シーケンス層からデコード処理を復帰させる。従って符
号化データ解析器１５はエラー情報変換器１４からエラ
ーレベル＝０を受けたときは、次のシーケンス層からデ
コード処理を行う。The error level = 0 indicates that a problem has occurred in the most necessary items for continuing the decoding process of the input encoded data. In this case, the decoding process cannot be continued any more, and the decoding process is skipped to the next sequence layer. Then, the decoding process is restored from the sequence layer found next. Therefore, when the coded data analyzer 15 receives the error level = 0 from the error information converter 14, it performs decoding processing from the next sequence layer.
【００３８】エラーレベル＝１は、入力された符号化デ
ータのデコード処理を続ける上で、必要な項目に付いて
不具合が生じたことを示す。この場合のエラーはGOP 内
でのデコード処理に影響を与えるものであるから、次の
シーケンス層又はGOP 層までデコード処理をスキップし
て、次に見つかったシーケンス層又はGOP 層からデコー
ド処理を復帰させる。符号化データ解析器１５はエラー
レベル＝１を受けたときは、次のGOP 層からデコード処
理を行う。The error level = 1 indicates that an error has occurred in an item necessary for continuing decoding of the input coded data. Since the error in this case affects the decoding process in the GOP, the decoding process is skipped to the next sequence layer or GOP layer, and the decoding process is returned from the next found sequence layer or GOP layer. . When receiving the error level = 1, the coded data analyzer 15 performs a decoding process from the next GOP layer.
【００３９】エラーレベル＝２は、検出されたエラーが
ピクチャー層に記述してある情報に含まれることを意味
する。この場合はフレーム内でのみエラーが影響するの
で、次のピクチャー層、シーケンス層、又はGOP 層まで
デコード処理をスキップする。そして次に見つかったピ
クチャー層、シーケンス層、又はGOP 層からデコード処
理を復帰させ、符号化データ解析器１５がこの指定され
た層からのデコード処理を行う。The error level = 2 means that the detected error is included in the information described in the picture layer. In this case, since the error affects only within the frame, the decoding process is skipped to the next picture layer, sequence layer, or GOP layer. Then, the decoding process is resumed from the picture layer, sequence layer or GOP layer found next, and the coded data analyzer 15 performs the decoding process from the designated layer.
【００４０】エラーレベル＝３は、ブロック層のエラー
である。これは画面全体からみて一部分のエラーである
から、補正処理する。エラーレベル＝３を受けた出力映
像補正器１８は、所定の補正方法でエラーが起きた部分
を補正処理して出力する。The error level = 3 is an error of the block layer. Since this is a partial error when viewed from the entire screen, correction processing is performed. The output video corrector 18 having received the error level = 3 corrects and outputs a portion where an error has occurred by a predetermined correction method.
【００４１】エラーレベル＝４は、エラーが検出された
が入力符号化データをデコードする上で大して問題にな
らないもので、無視してデコード処理を継続して行う。
出力映像構成器１７はエラーレベル＝４を受け取ると、
符号化データ解析器１５の出力情報を用いて再復号化処
理を行い、映像信号を出力する。When the error level is 4, an error is detected, but this does not cause much problem in decoding the input coded data. The error level is ignored and the decoding process is continued.
When the output video composition unit 17 receives the error level = 4,
A re-decoding process is performed using output information of the encoded data analyzer 15, and a video signal is output.
【００４２】エラーレベル＝５は、初期状態で出力され
るエラーレベルである。これを受けて符号化データ解析
器１５はシーケンス層からのデコード処理を開始する。
こうして符号化データ解析器１５は、図２に示されるよ
うな符号化データを上位のシーケンス層からブロック層
まで順位解析していくものである。The error level = 5 is an error level output in an initial state. In response, the encoded data analyzer 15 starts decoding from the sequence layer.
Thus, the encoded data analyzer 15 analyzes the order of the encoded data as shown in FIG. 2 from the upper sequence layer to the block layer.
【００４３】図８に出力映像構成器１７の一構成例を示
す。出力映像構成器１７に入力された係数データは逆量
子化器２１で逆量子化処理される。逆量子化器２１で出
力されたデータは逆離散コサイン変換器２２で逆離散コ
サイン変換される。またスイッチャー２８を介してフレ
ームメモリ２３又は２４に蓄えられている映像を用い
て、動き補償器２５で動き補償を行う。この動きベクト
ルは加算器２６に出力され、逆ＤＣＴ器２２の出力と加
算が行われる。ここでの加算結果はスイッチャー２７を
介してフレームメモリ２３又は２４に蓄えられる。フレ
ームメモリ２３及び２４は、フレーム内符号化、前方向
フレーム予測符号化、及び両方向フレーム予測符号化の
３つの予測符号化モードによってスイッチャー２７によ
り切り換えられる。FIG. 8 shows an example of the configuration of the output video composition unit 17. The coefficient data input to the output video composing unit 17 is subjected to inverse quantization by the inverse quantizer 21. The data output from the inverse quantizer 21 is subjected to an inverse discrete cosine transform by an inverse discrete cosine transformer 22. The motion compensator 25 performs motion compensation using the video stored in the frame memory 23 or 24 via the switcher 28. This motion vector is output to the adder 26, and is added to the output of the inverse DCT unit 22. The result of the addition is stored in the frame memory 23 or 24 via the switcher 27. The frame memories 23 and 24 are switched by the switcher 27 according to three prediction coding modes of intra-frame coding, forward frame predictive coding, and bidirectional frame predictive coding.
【００４４】出力映像補正器１８は、図４に示されるよ
うに一つ上のスライスでデコードされた動きベクトルを
用いて、エラーが検出されたところから次のスライスま
で予測符号化処理を行う。このときエラーが起きたのが
Ｂピクチャーとすると、両方向フレーム予測符号化処理
が行われる。またＰピクチャーであれば、前方向フレー
ム予測符号化処理が行われる。図９は上記の補正処理を
行う際の参照フレームを示した説明図である。ここで補
正に用いられるフレームは、エラーが検出される直前ま
で使用されていた参照フレームと同じものである。図９
（ａ）がＢピクチャー、（ｂ）がＰピクチャーのハッチ
ングで示すフレームでエラーが起きた場合に補正のため
の参照フレームを示す一例である。As shown in FIG. 4, the output video corrector 18 performs a predictive encoding process from the point where an error is detected to the next slice using the motion vector decoded in the upper slice. Assuming that an error has occurred in the B picture at this time, bidirectional frame predictive encoding processing is performed. If the picture is a P picture, forward frame predictive coding processing is performed. FIG. 9 is an explanatory diagram showing a reference frame when performing the above-described correction processing. The frame used for the correction here is the same as the reference frame used until immediately before the error is detected. FIG.
(A) is an example showing a reference frame for correction when an error occurs in a frame shown by hatching of a B picture and (b) by a P picture.
【００４５】図１０に出力映像補正器１８の補正方法の
一例を示す。出力映像補正器１８は、エラーが起きたス
ライスＳｊより一つ上のスライスＳｉでデコードされた
動きベクトルを用いて、エラーが検出された所から次の
スライスの先頭まで、エラーが起きたフレームと同じ符
号化処理方法で補正処理をする。図９（ａ）に示される
例は、Ｂピクチャーでエラーが起きた例であり、時間的
に前後する２枚のフレームを参照フレームとする両方向
予測符号化処理が行われる。図９（ｂ）はＰピクチャー
でエラーが起きた例を示し、時間的に前のフレームを参
照フレームとして前方向予測符号化処理が行われる。FIG. 10 shows an example of a correction method of the output video corrector 18. The output video corrector 18 uses the motion vector decoded in the slice Si one level higher than the slice Sj in which the error has occurred, and determines the frame in which the error has occurred from the point where the error is detected to the beginning of the next slice. Correction processing is performed by the same encoding processing method. The example illustrated in FIG. 9A is an example in which an error has occurred in a B picture, and bidirectional prediction encoding processing is performed using two frames that are temporally adjacent to each other as reference frames. FIG. 9B shows an example in which an error has occurred in a P picture, and forward prediction encoding processing is performed using a temporally previous frame as a reference frame.
【００４６】[0046]
【発明の効果】以上のように本発明によれば、デコード
処理中にエラーが検出された場合、そのエラーレベルに
応じて処理方法を変えることができ、デコード処理ある
いは補正処理をするにあたり、デコード処理への復帰が
早くなり、入力符号化データの情報をより正確にデコー
ドすることができる。またエラー時の処理方法を決定す
るエラーレベルは、ユーザーが設定できるという柔軟性
が生じる。また、出力映像のエラーが起きた部分を補正
する場合、エラーが発生したフレームの符号化処理方法
と同じ処理方法で補正することにより、従来の方法より
画質がよくなるよう補正することができる。As described above, according to the present invention, when an error is detected during the decoding process, the processing method can be changed according to the error level. The return to the processing is quickened, and the information of the input encoded data can be decoded more accurately. In addition, there is the flexibility that the user can set an error level for determining a processing method when an error occurs. Further, when correcting a portion of the output video in which an error has occurred, the image can be corrected so that the image quality is better than that of the conventional method by performing the correction using the same processing method as the encoding processing method of the frame where the error has occurred.
【図１】本発明の一実施の形態における映像復号化装置
のブロック図である。FIG. 1 is a block diagram of a video decoding device according to an embodiment of the present invention.
【図２】MPEG2 符号化データの階層構造を示す説明図で
ある。FIG. 2 is an explanatory diagram showing a hierarchical structure of MPEG2-encoded data.
【図３】MPEG2 のプロファイルとレベルを示した説明図
である。FIG. 3 is an explanatory diagram showing MPEG2 profiles and levels.
【図４】エラー補正方法の一例である。FIG. 4 is an example of an error correction method.
【図５】エラー補正を行う場合の参照フレームの一例で
ある。FIG. 5 is an example of a reference frame when performing error correction.
【図６】本実施の形態で用いられる復号化制御情報の一
例を示す説明図である。FIG. 6 is an explanatory diagram showing an example of decoding control information used in the present embodiment.
【図７】本実施の形態で用いられるエラーレベルの一例
を示す説明図である。FIG. 7 is an explanatory diagram showing an example of an error level used in the present embodiment.
【図８】本実施の形態の出力映像構成器の構成例を示す
ブロック図である。FIG. 8 is a block diagram illustrating a configuration example of an output video composition device according to the present embodiment.
【図９】出力映像補正器のエラー補正時の参照フレーム
の一例である。FIG. 9 is an example of a reference frame at the time of error correction of the output video corrector.
【図１０】出力映像補正器のエラー補正の一例を示す説
明図である。FIG. 10 is an explanatory diagram showing an example of error correction of an output video corrector.
１１ 符号化レベル検出器 １２ 復号化制御情報出力器 １３ エラー検出器 １４ エラー情報変換器 １５ 符号化データ解析器 １６ 復号化パラメータメモリ １７ 出力映像構成器 １８ 出力映像補正器 １９ フレームメモリ ２１ 逆量子化器 ２２ 逆離散コサイン変換器 ２３，２４ フレームメモリ ２５ 動き補償器 ２６ 加算器 ２７，２８ スイッチャー DESCRIPTION OF SYMBOLS 11 Encoding level detector 12 Decoding control information output unit 13 Error detector 14 Error information converter 15 Encoded data analyzer 16 Decoding parameter memory 17 Output video composer 18 Output video corrector 19 Frame memory 21 Inverse quantization Unit 22 inverse discrete cosine transformer 23, 24 frame memory 25 motion compensator 26 adder 27, 28 switcher
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33526696AJP3895414B2 (en) | 1996-12-16 | 1996-12-16 | Video decoding device |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33526696AJP3895414B2 (en) | 1996-12-16 | 1996-12-16 | Video decoding device |
| Publication Number | Publication Date |
|---|---|
| JPH10174094Atrue JPH10174094A (en) | 1998-06-26 |
| JP3895414B2 JP3895414B2 (en) | 2007-03-22 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP33526696AExpired - Fee RelatedJP3895414B2 (en) | 1996-12-16 | 1996-12-16 | Video decoding device |
| Country | Link |
|---|---|
| JP (1) | JP3895414B2 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008545297A (en)* | 2005-05-11 | 2008-12-11 | クゥアルコム・インコーポレイテッド | Method and apparatus for unified error concealment framework |
| JP2008546228A (en)* | 2005-05-11 | 2008-12-18 | クゥアルコム・インコーポレイテッド | Temporal error concealment for bi-predictive frames |
| JP2009077452A (en)* | 2002-02-01 | 2009-04-09 | Panasonic Corp | Video encoding method and video decoding method |
| WO2010122620A1 (en)* | 2009-04-22 | 2010-10-28 | パナソニック株式会社 | Image reproduction apparatus and image reproduction method |
| JP2011239464A (en)* | 2011-07-27 | 2011-11-24 | Toshiba Corp | Decoder |
| WO2013136678A1 (en)* | 2012-03-16 | 2013-09-19 | パナソニック株式会社 | Image decoding device and image decoding method |
| CN114007083A (en)* | 2021-12-15 | 2022-02-01 | 眸芯科技（上海）有限公司 | FPGA-based video decoding chip verification system and method |
| US11438634B2 (en) | 2008-03-28 | 2022-09-06 | Dolby International Ab | Methods, devices and systems for parallel video encoding and decoding |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009077452A (en)* | 2002-02-01 | 2009-04-09 | Panasonic Corp | Video encoding method and video decoding method |
| JP2011254535A (en)* | 2002-02-01 | 2011-12-15 | Panasonic Corp | Moving image encoding device, moving image encoding method, and moving image encoding program |
| JP2012010380A (en)* | 2002-02-01 | 2012-01-12 | Panasonic Corp | Moving image encoding device |
| US8396132B2 (en) | 2002-02-01 | 2013-03-12 | Panasonic Corporation | Moving picture coding method and moving picture decoding method |
| US8737473B2 (en) | 2002-02-01 | 2014-05-27 | Panasonic Corporation | Moving picture coding method and moving picture decoding method |
| JP2008546228A (en)* | 2005-05-11 | 2008-12-18 | クゥアルコム・インコーポレイテッド | Temporal error concealment for bi-predictive frames |
| US10944988B2 (en) | 2005-05-11 | 2021-03-09 | Qualcomm Incorporated | Method and apparatus for unified error concealment framework |
| JP2008545297A (en)* | 2005-05-11 | 2008-12-11 | クゥアルコム・インコーポレイテッド | Method and apparatus for unified error concealment framework |
| US9749655B2 (en) | 2005-05-11 | 2017-08-29 | Qualcomm Incorporated | Method and apparatus for unified error concealment framework |
| US11838558B2 (en) | 2008-03-28 | 2023-12-05 | Dolby International Ab | Methods, devices and systems for parallel video encoding and decoding |
| US11438634B2 (en) | 2008-03-28 | 2022-09-06 | Dolby International Ab | Methods, devices and systems for parallel video encoding and decoding |
| US12231699B2 (en) | 2008-03-28 | 2025-02-18 | Dolby International Ab | Methods, devices and systems for parallel video encoding and decoding |
| WO2010122620A1 (en)* | 2009-04-22 | 2010-10-28 | パナソニック株式会社 | Image reproduction apparatus and image reproduction method |
| US8666187B2 (en) | 2009-04-22 | 2014-03-04 | Panasonic Corporation | Image reproduction apparatus and image reproduction method |
| JP2011239464A (en)* | 2011-07-27 | 2011-11-24 | Toshiba Corp | Decoder |
| WO2013136678A1 (en)* | 2012-03-16 | 2013-09-19 | パナソニック株式会社 | Image decoding device and image decoding method |
| JPWO2013136678A1 (en)* | 2012-03-16 | 2015-08-03 | パナソニックＩｐマネジメント株式会社 | Image decoding apparatus and image decoding method |
| CN104170386A (en)* | 2012-03-16 | 2014-11-26 | 松下电器产业株式会社 | Image decoding device and image decoding method |
| CN114007083A (en)* | 2021-12-15 | 2022-02-01 | 眸芯科技（上海）有限公司 | FPGA-based video decoding chip verification system and method |
| Publication number | Publication date |
|---|---|
| JP3895414B2 (en) | 2007-03-22 |
| Publication | Publication Date | Title |
|---|---|---|
| JP4198206B2 (en) | Video information compression method and apparatus using motion dependent prediction | |
| JP4724459B2 (en) | Motion vector detection using adaptive time prediction | |
| JP5090158B2 (en) | VIDEO INFORMATION RECORDING DEVICE, VIDEO INFORMATION RECORDING METHOD, VIDEO INFORMATION RECORDING PROGRAM, AND RECORDING MEDIUM CONTAINING VIDEO INFORMATION RECORDING PROGRAM | |
| US20020101924A1 (en) | Video data processing apparatus, video data encoding apparatus, and methods thereof | |
| JP2000278692A (en) | Compressed data processing method, processor and recording and reproducing system | |
| JP3004215B2 (en) | Variable bit rate video decoding device with variable speed and high speed playback function | |
| KR100415494B1 (en) | Image encoding method and apparatus, recording apparatus, video signal encoding apparatus, processing apparatus and method, video data processing apparatus and method | |
| US6795498B1 (en) | Decoding apparatus, decoding method, encoding apparatus, encoding method, image processing system, and image processing method | |
| US6748114B1 (en) | Moving picture encoding method and moving picture encoding apparatus | |
| US6754274B2 (en) | Video data recording method and apparatus for high-speed reproduction | |
| US8165217B2 (en) | Image decoding apparatus and method for decoding prediction encoded image data | |
| KR20020042166A (en) | Apparatus and method for transcoding video | |
| JPH0818979A (en) | Image processing device | |
| US20070147515A1 (en) | Information processing apparatus | |
| JP3895414B2 (en) | Video decoding device | |
| JP3469815B2 (en) | Digital video processing device and digital video processing method | |
| US20070025438A1 (en) | Elastic storage | |
| US20020097797A1 (en) | Method and apparatus for decoding picture signal at variable picture rate | |
| JP2003333540A (en) | Frame rate conversion device, video display device and television broadcast receiving device using the same | |
| JP2001238182A (en) | Image reproduction device and image reproduction method | |
| JP3159327B2 (en) | Video data decoding device | |
| JPH05183872A (en) | Device and method for moving picture encoding | |
| US7006570B2 (en) | Video signal coding method and video signal encoder | |
| JPH0888854A (en) | Video coding system | |
| JPH0951538A (en) | Image signal encoding method |
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20051201 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20051213 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20060130 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20060926 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20061018 | |
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20061212 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20061214 | |
| R150 | Certificate of patent or registration of utility model | Free format text:JAPANESE INTERMEDIATE CODE: R150 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20091222 Year of fee payment:3 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20101222 Year of fee payment:4 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20101222 Year of fee payment:4 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20111222 Year of fee payment:5 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20111222 Year of fee payment:5 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20121222 Year of fee payment:6 | |
| LAPS | Cancellation because of no payment of annual fees |