JP4121567B2 - Moving picture encoding method, moving picture decoding method, moving picture encoding apparatus, and moving picture decoding apparatus - Google Patents

Description

Translated fromJapanese

【０００１】
【目次】
以下の順序で本発明を説明する。
産業上の利用分野
従来の技術（図１７〜図２５）
発明が解決しようとする課題
課題を解決するための手段（図１〜図１６）
作用（図１〜図１６）
実施例
（１）第１の実施例（図１〜図１０）
（２）第２の実施例（図１１〜図１４）
（３）第３の実施例（図１、図２、図４、図１０、図１３及び図１４）
（４）第４の実施例（図２、図４、図１５及び図１６）
（５）第５の実施例（図１１、図１２、図１５及び図１６）
（６）第６の実施例（図２、図１５及び図１６）
発明の効果
【０００２】
【産業上の利用分野】
本発明は、動画像符号化方法、動画像復号化方法及び動画像符号化装置に関し、例えば動画像信号を光デイスクや磁気テープなどの記録媒体に記録し、これを再生してデイスプレイなどに表示したり、テレビ会議システム、テレビ電話システム、放送用機器等動画像信号を伝送路を介して送信側から受信側に伝送し、受信側においてこれを受信して表示する場合に適用して好適なものである。
【０００３】
【従来の技術】
例えば、テレビ会議システムやテレビ電話システム等のように、動画像信号を遠隔地に伝送するシステムにおいては、伝送路を効率良く利用するため、動画像信号のライン相関やフレーム間相関を利用して、画像信号を圧縮符号化するようになされている。実際上ライン相関を利用すると、画像信号を離散コサイン変換（ＤＣＴ（discreat cosine transform)）等の直交変換により処理する等により情報量を圧縮することができる。またフレーム間相関を利用すると、動画像信号をさらに圧縮して符号化することが可能となる。
【０００４】
図１７は、フレーム間相関を利用した場合の動画像信号の圧縮符号化の例を示す。図において、Ａ列に示す３枚の画像は、時刻ｔ１、ｔ２、ｔ３におけるフレーム画像ＰＣ１、ＰＣ２、ＰＣ３をそれぞれ示す。フレーム画像ＰＣ１とＰＣ２の画像信号の差を演算してＰＣ１２を生成し、またフレーム画像ＰＣ２とＰＣ３の差を演算してＰＣ２３を生成する。Ｂ列は差分画像を示し、便宜上差を黒く示している。
【０００５】
一般に、時間的に隣接するフレームの画像は、それ程大きな変化を有していないため、両者の差を演算すると、その差分信号は小さな値のものとなる。そこで、この差分信号を符号化すれば、符号量を圧縮することができる。例えばこの図では、Ｂ列の黒く示した部分のみの符号化で良いことになる。しかしながら、差分信号のみを伝送したのでは、シーンチエンジのようにフレーム間に相関が無い場合には、元の画像を復元することができない。
【０００６】
そこで各フレームの画像をＩ（フレーム内符号）ピクチヤ、Ｐ（前方向予測）ピクチヤ又はＢ（両方向予測）ピクチヤの３種類のピクチヤのいずれかのピクチヤとし、画像信号を圧縮符号化するようにしている。すなわち図１８に示すように、フレームＦ１〜Ｆ１７までの１７フレームの画像信号をグループオブピクチヤとして、処理の１単位とする。そしてその先頭のフレームＦ１（黒く示すフレーム）の画像信号はＩピクチヤとして符号化し、第２番目のフレームＦ２（白く示すフレーム）はＢピクチヤとして、また第３番目のフレームＦ３（斜線で示すフレーム）はＰピクチヤとして、それぞれ処理する。以下第４番目以降のフレームＦ４〜Ｆ１７は、Ｂピクチヤ又はＰピクチヤとして交互に処理する。
【０００７】
Ｉピクチヤの画像信号としては、その１フレーム分の画像信号をそのまま伝送する。これに対してＰピクチヤの画像信号としては、基本的には図１８のＡに示すように、それより時間的に先行するＩピクチヤ又はＰピクチヤの画像信号からの差分を伝送する。さらにＢピクチヤの画像信号としては、基本的には図１８のＢに示すように、時間的に先行するフレーム又は後行するフレームの両方の平均値からの差分を求め、その差分を符号化する。
【０００８】
図１９は、このようにして動画像信号を符号化する方法の原理を示している。この図において、Ａ列は原画像を示し、Ｂ列は符号化された画像を示す。図のように、最初のフレームＦ１はＩピクチヤとして処理されるため、そのまま伝送データＦ１Ｘとして伝送路に伝送される（画像内符号化）。これに対して、第２のフレームＦ２はＢピクチヤとして処理されるため、時間的に先行するフレームＦ１と、時間的に後行するフレームＦ３の平均値との差分が演算され、その差分が伝送データＦ２Ｘとして伝送される。ただしこのＢピクチヤとしての処理は、さらに細かく説明すると、４種類の処理が存在する。
【０００９】
その第１の処理は、元のフレームＦ２のデータをそのまま伝送データＦ２Ｘとして伝送するものであり（ＳＰ１（イントラ符号化））、Ｉピクチヤにおける場合と同様の処理となる。第２の処理は、時間的に後のフレームＦ３からの差分を演算し、その差分を伝送するものである（ＳＰ２（後方予測符号化））。第３の処理は、時間的に先行するフレームＦ１との差分を伝送するものである（ＳＰ３（前方予測符号化））。さらに第４の処理は、時間的に先行するフレームＦ１と後行するフレームＦ３の平均値との差分を生成し、これを伝送データＦ２Ｘとして伝送するものである（ＳＰ４（両方向予測符号化））。
【００１０】
これらの４つの方法を各々処理した後、伝送データが最も少なくなつた処理方法による画像が伝送データとされる。なお差分データを伝送するとき、差分を演算する対象となるフレームの画像（予測画像）との間の動きベクトルｘ１（フレームＦ１とＦ２の間の動きベクトル（前方予測の場合））、もしくはｘ２（フレームＦ３とＦ２の間の動きベクトル（後方予測の場合））、またはｘ１とｘ２の両方（両方向予測の場合）が、差分データと共に伝送される。
【００１１】
またＰピクチヤのフレームＦ３は、時間的に先行するフレームＦ１を予測画像として、このフレームとの差分信号と、動きベクトルｘ３が演算され、これが伝送データＦ３Ｘとして伝送される（ＳＰ３（前方予測符号化））。あるいはまた、元のフレームＦ３のデータがそのまま伝送データＦ３Ｘとして伝送される（ＳＰ１（イントラ符号化））。いずれの方法により伝送されるかは、Ｂピクチヤにおける場合と同様に、伝送データがより少なくなる方が選択される。
【００１２】
図２０は、上述した原理に基づいて、動画像信号を符号化して伝送し、これを復号化する装置の具体構成例を示している。１は全体として符号化装置の構成を示し、入力された動画像信号ＶＤを符号化し、伝送路としての記録媒体３に伝送するようになされている。そして２は全体として復号化装置の構成を示し、記録媒体３に記録された信号を再生し、これを復号して映像信号を出力するようになされている。
【００１３】
符号化装置１においては、入力された映像信号ＶＤが前処理回路１１に入力され、そこで輝度信号と色信号（この例の場合、色差信号）に分離され、それぞれＡ／Ｄ変換器１２、１３でＡ／Ｄ変換される。Ａ／Ｄ変換器１２、１３によりＡ／Ｄ変換されてデジタル信号となつた映像信号は、フレームメモリ１４に供給され書き込まれる。輝度信号は輝度信号フレームメモリ１５に、また色差信号は色差信号フレームメモリ１６にそれぞれ書き込まれる。
【００１４】
フオーマツト変換回路１７は、フレームメモリ１４に書き込まれたフレームフオーマツトの信号を、ブロツクフオーマツトの信号に変換する。すなわち、図２１に示すように、フレームメモリ１４に書き込まれた画像信号は、１ライン当りＨドツトの画素よりなるラインがＶライン集められたフレームフオーマツトのデータとされている。フオーマツト変換回路１７は、この１フレームの信号を、16ラインを単位としてＭ個のスライスに区分する。
【００１５】
そして各スライスは、Ｍ個のマクロブロツクに分割される。各マクロブロツクは、16×16個の画素（ドツト）に対応する輝度信号により構成され、この輝度信号はさらに８×８ドツトを単位とするブロツクＹ［１］〜Ｙ［４］に区分される。そしてこの16×16ドツトの輝度信号には、８×８ドツトのＣｂ信号と、８×８ドツトのＣｒ信号の２ブロツクの色差信号が対応する。
【００１６】
このように、ブロツクフオーマツトに変換されたデータＢＤは、フオーマツト変換回路１７からエンコーダ１８に供給され、ここでエンコード（符号化）される。その詳細については、図２２を参照して後述する。エンコーダ１８によりエンコードされた信号は、ビツトストリームとして記録媒体３に記録され、または伝送路に出力される。
【００１７】
記録媒体３より再生されたデータは、復号化装置２のデコーダ３１に供給されてデコード（復号化）される。デコーダ３１の詳細については、図２５を参照して後述する。デコーダ３１によりデコードされたデータは、フオーマツト変換回路３２に入力され、ブロツクフオーマツトからフレームフオーマツトに変換される。そして、フレームフオーマツトの輝度信号は、フレームメモリ３３の輝度信号フレームメモリ３４に供給されて書き込まれ、色差信号は色差信号フレームメモリ３５に供給されて書き込まれる。輝度信号フレームメモリ３４と色差信号フレームメモリ３５より読み出された輝度信号と色差信号は、Ｄ／Ａ変換器３６と３７によりそれぞれＤ／Ａ変換され、後処理回路３８に供給されて合成される。そして例えばＣＲＴ等のデイスプレイ（図示せず）に出力され表示される。
【００１８】
次に図２２を参照して、エンコーダ１８の構成例について説明する。符号化されるべき画像データＢＤは、マクロブロツク単位で動きベクトル検出回路（ＭＶ−Ｄｅｔ）５０に入力される。動きベクトル検出回路５０は、予め設定されている所定のシーケンスに従つて、各フレームの画像データを、Ｉピクチヤ、Ｐピクチヤ又はＢピクチヤとして処理する。シーケンシヤルに入力される各フレームの画像を、Ｉ、Ｐ、Ｂのいずれのピクチヤとして処理するかは予め定められている。例えば、図１８に示したように、フレームＦ１〜Ｆ１７により構成されるグループオブピクチヤが、Ｉ、Ｂ、Ｐ、Ｂ、Ｐ、……Ｂ、Ｐとして処理される。
【００１９】
Ｉピクチヤとして処理されるフレーム（例えばフレームＦ１）の画像データは、動きベクトル検出回路５０からフレームメモリ５１の前方原画像部５１ａに転送されて記憶され、Ｂピクチヤとして処理されるフレーム（例えばフレームＦ２）の画像データは、原画像部５１ｂに転送されて記憶され、Ｐピクチヤとして処理されるフレーム（例えばフレームＦ３）の画像データは、後方原画像部５１ｃに転送されて記憶される。
【００２０】
また次のタイミングにおいて、さらにＢピクチヤ（フレームＦ４）又はＰピクチヤ（フレームＦ５）として処理すべきフレームの画像が入力されたとき、それまで後方原画像部５１ｃに記憶されていた最初のＰピクチヤ（フレームＦ３）の画像データが、前方原画像部５１ａに転送され、次のＢピクチヤ（フレームＦ４）の画像データが、原画像部５１ｂに記憶（上書き）され、次のＰピクチヤ（フレームＦ５）の画像データが、後方原画像部５１ｃに記憶（上書き）される。このような動作が順次繰り返される。
【００２１】
フレームメモリ５１に記憶された各ピクチヤの信号は、そこから読み出され、予測モード切り替え回路（Ｍｏｄｅ−ＳＷ）５２において、フレーム予測モード処理、又はフイールド予測モード処理が行われる。さらにまた予測判定回路５４の制御の下に、演算部５３において、画像内予測、前方予測、後方予測又は両方向予測の演算が行われる。これらの処理のうちいずれの処理を行うかは、予測誤差信号（処理の対象とされている参照画像と、これに対する予測画像との差分）に対応して決定される。このため、動きベクトル検出回路５０は、この判定に用いられる予測誤差信号の絶対値和（自乗和でもよい）を生成する。
【００２２】
ここで、予測モード切り替え回路５２におけるフレーム予測モードとフイールド予測モードについて説明する。フレーム予測モードが設定された場合において予測モード切り替え回路５２は、動きベクトル検出回路５０より供給される４個の輝度ブロツクＹ［１］〜Ｙ［４］を、そのまま後段の演算部５３に出力する。すなわちこの場合においては、図２３（Ａ）に示すように、各輝度ブロツクに奇数フイールドのラインのデータと、偶数フイールドのラインのデータとが混在した状態となつている。このフレーム予測モードにおいては、４個の輝度ブロツク（マクロブロツク）を単位として予測が行われ、４個の輝度ブロツクに対して１個の動きベクトルが対応される。
【００２３】
これに対して、予測モード切り替え回路５２は、フイールド予測モードにおいては、図２３（Ａ）に示す構成で動きベクトル検出回路５０より入力される信号を、図２３（Ｂ）に示すように、４個の輝度ブロツクのうち、輝度ブロツクＹ［１］とＹ［２］を、例えば奇数フイールドのラインのドツトによりのみ構成させ、他の２個の輝度ブロツクＹ［３］とＹ［４］を、偶数フイールドのラインのデータにより構成させて、演算部５３に出力する。この場合においては、２個の輝度ブロツクＹ［１］とＹ［２］に対して、１個の動きベクトルが対応され、他の２個の輝度ブロツクＹ［３］とＹ［４］に対して、他の１個の動きベクトルが対応される。
【００２４】
動きベクトル検出回路５０は、フレーム予測モードにおける予測誤差の絶対値和と、フイールド予測モードにおける予測誤差の絶対値和を、予測モード切り替え回路５２に出力する。予測モード切り替え回路５２は、フレーム予測モードとフイールド予測モードにおける予測誤差の絶対値和を比較し、その値が小さい予測モードに対応する処理を施して、データを演算部５３に出力する。一般には、動画像の動きが速い場合にはフイールド予測モードが選択され、動きの遅い場合にはフレーム予測モードが選択される。
【００２５】
ただしこのような処理は、実際には動きベクトル検出回路５０で行われる。すなわち動きベクトル検出回路５０は、決定されたモードに対応する構成の信号を予測モード切り替え回路５２に出力し、予測モード切り替え回路５２は、その信号を、そのまま後段の演算部５３に出力する。なお色差信号は、フレーム予測モードの場合、図２３（Ａ）に示すように、奇数フイールドのラインのデータと偶数フイールドのラインのデータとが混在する状態で、演算部５３に供給される。またフイールド予測モードの場合、図２３（Ｂ）に示すように、各色差ブロツクＣｂ、Ｃｒの上半分（４ライン）が、輝度ブロツクＹ［１］、Ｙ［２］に対応する奇数フイールドの色差信号とされ、下半分（４ライン）が、輝度ブロツクＹ［３］、Ｙ［４］に対応する偶数フイールドの色差信号とされる。
【００２６】
また動きベクトル検出回路５０は、次のようにして予測判定回路５４において、画像内予測、前方予測、後方予測又は両方向予測のいずれの予測を行うかを決定するための予測誤差の絶対値和を生成する。すなわち、画像内予測の予測誤差の絶対値和として、参照画像のマクロブロツクの信号Ａijの和ΣＡijの絶対値｜ΣＡij｜と、マクロブロツクの信号Ａijの絶対値｜Ａij｜の和Σ｜Ａij｜の差を求める。また前方予測の予測誤差の絶対値和として、参照画像のマクロブロツクの信号Ａijと、予測画像のマクロブロツクの信号Ｂijの差Ａij−Ｂijの絶対値｜Ａij−Ｂij｜の和Σ｜Ａij−Ｂij｜を求める。また、後方予測と両方向予測の予測誤差の絶対値和も、前方予測における場合と同様に（その予測画像を前方予測における場合と異なる予測画像に変更して）求める。
【００２７】
これらの絶対値和は、予測判定回路５４に供給される。予測判定回路５４は、前方予測、後方予測及び両方向予測の予測誤差の絶対値和のうち、最も小さいものをインター予測の予測誤差の絶対値和として選択する。さらにこのインター予測の予測誤差の絶対値和と、画像内予測の予測誤差の絶対値和とを比較し、その小さい方を選択し、この選択した絶対値和に対応するモードを予測モード（P-mode）として選択する。すなわち画像内予測の予測誤差の絶対値和の方が小さければ、画像内予測モードが設定される。インター予測の予測誤差の絶対値和の方が小さければ、前方予測、後方予測又は両方向予測モードのうち、対応する絶対値和が最も小さかつたモードが設定される。
【００２８】
このように動きベクトル検出回路５０は、参照画像のマクロブロツクの信号を、フレーム又はフイールド予測モードのうち、予測モード切り替え回路５２により選択されたモードに対応する構成で、予測モード切り替え回路５２を介して演算部５３に供給すると共に、４つの予測モードのうち、予測判定回路５４により選択された予測モード（P-mode）に対応する予測画像と参照画像の間の動きベクトルMVを検出し、可変長符号化回路（ＶＬＣ）５８と動き補償回路（Ｍ−ｃｏｍｐ）６４に出力する。上述したように、この動きベクトルとしては、対応する予測誤差の絶対値和が最小となるものが選択される。
【００２９】
予測判定回路５４は、動きベクトル検出回路５０が前方原画像部５１ａよりＩピクチヤの画像データを読み出しているとき、予測モードとしてフレーム（画像）内予測モード（動き補償を行わないモード）を設定し、演算部５３のスイツチを接点ａ側に切り替える。これによりＩピクチヤの画像データがＤＣＴモード切り替え回路（ＤＣＴ ＣＴＬ）５５に入力される。
【００３０】
このＤＣＴモード切り替え回路５５は、図２４（Ａ）又は（Ｂ）に示すように、４個の輝度ブロツクのデータを、奇数フイールドのラインと偶数フイールドのラインが混在する状態（フレームＤＣＴモード）、または分離された状態（フイールドＤＣＴモード）のいずれかの状態にして、ＤＣＴ回路５６に出力する。すなわちＤＣＴモード切り替え回路５５は、奇数フイールドと偶数フイールドのデータを混在してＤＣＴ処理した場合における符号化効率と、分離した状態においてＤＣＴ処理した場合の符号化効率とを比較し、符号化効率の良好なモードを選択する。
【００３１】
例えば入力された信号を、図２４（Ａ）に示すように、奇数フイールドと偶数フイールドのラインが混在する構成とし、上下に隣接する奇数フイールドのラインの信号と偶数フイールドのラインの信号の差を演算し、さらにその絶対値の和（または自乗和）を求める。また入力された信号を、図２４（Ｂ）に示すように、奇数フイールドと偶数フイールドのラインが分離した構成とし、上下に隣接する奇数フイールドのライン同士の信号の差と、偶数フイールドのライン同士の信号の差を演算し、それぞれの絶対値の和（または自乗和）を求める。
【００３２】
さらに両者（絶対値和）を比較し、小さい値に対応するＤＣＴモードを設定する。すなわち前者の方が小さければ、フレームＤＣＴモードを設定し、後者の方が小さければ、フイールドＤＣＴモードを設定する。そして選択したＤＣＴモードに対応する構成のデータをＤＣＴ回路５６に出力するとともに、選択したＤＣＴモードを示すＤＣＴフラグ(DCT-FLG）を、可変長符号化回路５８と動き補償回路６４に出力する。
【００３３】
予測モード切り替え回路５２における予測モード（図２３）と、このＤＣＴモード切り替え回路５５におけるＤＣＴモード（図２４）を比較して明らかなように、輝度ブロツクに関しては両者の各モードにおけるデータ構造は実質的に同一である。一般には予測モード切り替え回路５２において、フレーム予測モードが選択された場合、ＤＣＴモード切り替え回路５５においても、フレームＤＣＴモードが選択される可能性が高い。
【００３４】
また予測モード切り替え回路５２において、フイールド予測モードが選択された場合、ＤＣＴモード切り替え回路５５においても、フイールドＤＣＴモードが選択される可能性が高い。しかしながら必ずしも常にそのようになされるわけではなく、予測モード切り替え回路５２においては、予測誤差の絶対値和が小さくなるようにモードが決定される。またＤＣＴモード切り替え回路５５においては、符号化効率が良好となるようにモードが決定される。
【００３５】
ＤＣＴモード切り替え回路５５より出力されたＩピクチヤの画像データは、ＤＣＴ回路５６に入力され、ＤＣＴ（離散コサイン変換）処理され、ＤＣＴ係数に変換される。このＤＣＴ係数は、量子化回路（Ｑ）５７に入力され、送信バツフア（Ｂｕｆｆｅｒ）５９のデータ蓄積量（バツフア蓄積量（B-full））に対応した量子化ステツプで量子化された後、可変長符号化回路５８に入力される。可変長符号化回路５８は、量子化回路５７より供給される量子化ステツプ（スケール（QS））に対応して、量子化回路５７より供給される画像データ（この場合、Ｉピクチヤのデータ）を、例えばハフマン符号などの可変長符号に変換して、送信バツフア５９に出力する。
【００３６】
可変長符号化回路５８にはまた、量子化回路５７より量子化ステツプ（スケール（QS））、予測判定回路５４より予測モード（画像内予測、前方予測、後方予測又は両方向予測のいずれが設定されたかを示すモード（P-mode））、動きベクトル検出回路５０より動きベクトル（MV）、予測モード切り替え回路５２より予測フラグ（フレーム予測モード又はフイールド予測モードのいずれが設定されたかを示すフラグ（P-FLG)）、およびＤＣＴモード切り替え回路５５が出力するＤＣＴフラグ（フレームＤＣＴモード又はフイールドＤＣＴモードのいずれが設定されたかを示すフラグ（DCT-FLG)）が入力されており、これらも可変長符号化される。
【００３７】
送信バツフア５９は、入力されたデータを一時蓄積し、蓄積量に対応するデータを量子化回路５７に出力する。送信バツフア５９は、そのデータ残量が許容上限値まで増量すると、量子化制御信号（B-full）によつて量子化回路５７の量子化スケールを大きくすることにより、量子化データのデータ量を低下させる。またこれとは逆に、データ残量が許容下限値まで減少すると、送信バツフア５９は、量子化制御信号（B-full）によつて量子化回路５７の量子化スケールを小さくすることにより、量子化データのデータ量を増大させる。このようにして、送信バツフア５９のオーバフロー又はアンダフローが防止される。そして送信バツフア５９に蓄積されたデータは、所定のタイミングで読み出され、伝送路に出力され又は記録媒体３に記録される。
【００３８】
一方量子化回路５７より出力されたＩピクチヤのデータは、逆量子化回路（ＩＱ）６０に入力され、量子化回路（QS）５７より供給される量子化ステツプに対応して逆量子化される。逆量子化回路６０の出力は、逆ＤＣＴ（ＩＤＣＴ）回路６１に入力されて逆ＤＣＴ処理された後、ブロツク並び換え回路（Ｂｌｏｃｋ
Ｃｈａｎｇｅ）６５により、各ＤＣＴモード（フレーム／フイールド）に対応してブロツクの並び換えが行われる。ブロツク並び換え回路６５の出力信号は、演算器６２を介してフレームメモリ６３の前方予測画像部（Ｆ−Ｐ）６３ａに供給されて記憶される。
【００３９】
動きベクトル検出回路５０は、シーケンシヤルに入力される各フレームの画像データを、例えばＩ、Ｂ、Ｐ、Ｂ、Ｐ、Ｂ……のピクチヤとしてそれぞれ処理する場合、最初に入力されたフレームの画像データをＩピクチヤとして処理した後、次に入力されたフレームの画像をＢピクチヤとして処理する前に、さらにその次に入力されたフレームの画像データをＰピクチヤとして処理する。Ｂピクチヤは、後方予測を伴うため、後方予測画像としてのＰピクチヤが先に用意されていないと、復号することができないからである。
【００４０】
そこで動きベクトル検出回路５０は、Ｉピクチヤの処理の次に、後方原画像部５１ｃに記憶されているＰピクチヤの画像データの処理を開始する。そして、上述した場合と同様に、マクロブロツク単位でのフレーム間差分（予測誤差）の絶対値和が、動きベクトル検出回路５０から予測モード切り替え回路５２と予測判定回路５４に供給される。予測モード切り替え回路５２と予測判定回路５４は、このＰピクチヤのマクロブロツクの予測誤差の絶対値和に対応して、フレーム／フイールド予測モード、または画像内予測、前方予測、後方予測もしくは両方向予測の予測モードを設定する。
【００４１】
演算部５３はフレーム内予測モードが設定されたとき、スイツチを上述したように接点ａ側に切り替える。従つてこのデータは、Ｉピクチヤのデータと同様に、ＤＣＴモード切り替え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バツフア５９を介して伝送路に伝送される。また、このデータは、逆量子化回路６０、逆ＤＣＴ回路６１、ブロツク並び換え回路６５、演算器６２を介してフレームメモリ６３の後方予測画像部（Ｂ−Ｐ）６３ｂに供給されて記憶される。
【００４２】
前方予測モードの時、スイツチが接点ｂに切り替えられると共に、フレームメモリ６３の前方予測画像部６３ａに記憶されている画像（この場合Ｉピクチヤの画像）データが読み出され、動き補償回路６４により、動きベクトル検出回路５０が出力する動きベクトルに対応して動き補償される。すなわち動き補償回路６４は、予測判定回路５４より前方予測モードの設定が指令されたとき、前方予測画像部６３ａの読み出しアドレスを、動きベクトル検出回路５０がいま出力しているマクロブロツクの位置に対応する位置から動きベクトルに対応する分だけずらしてデータを読み出し、予測画像データを生成する。
【００４３】
動き補償回路６４より出力された予測画像データは、演算器５３ａに供給される。演算器５３ａは、予測モード切り替え回路５２より供給された参照画像のマクロブロツクのデータから、動き補償回路６４より供給されたこのマクロブロツクに対応する予測画像データを減算し、その差分（予測誤差）を出力する。この差分データは、ＤＣＴモード切り替え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バツフア５９を介して伝送路に伝送される。また、この差分データは、逆量子化回路６０、逆ＤＣＴ回路６１により局所的に復号され、ブロツク並び換え回路６５を介して演算器６２に入力される。
【００４４】
この演算器６２にはまた演算器５３ａに供給されている予測画像データと同一のデータが供給されている。演算器６２は、逆ＤＣＴ回路６１が出力する差分データに、動き補償回路６４が出力する予測画像データを加算する。これにより元の（復号した）Ｐピクチヤの画像データが得られる。このＰピクチヤの画像データは、フレームメモリ６３の後方予測画像部６３ｂに供給され、記憶される。
【００４５】
動きベクトル検出回路５０は、このようにＩピクチヤとＰピクチヤのデータが前方予測画像部６３ａと後方予測画像部６３ｂにそれぞれ記憶された後、次にＢピクチヤの処理を実行する。予測モード切り替え回路５２と予測判定回路５４は、マクロブロツク単位でのフレーム間差分の絶対値和の大きさに対応して、フレーム／フイールドモードを設定し、また予測モードをフレーム内予測モード、前方予測モード、後方予測モード又は両方向予測モードのいずれかに設定する。上述したように、フレーム内予測モード又は前方予測モードの時、スイツチは接点ａ又はｂに切り替えられる。このときＰピクチヤにおける場合と同様の処理が行われデータが伝送される。
【００４６】
これに対して、後方予測モード又は両方向予測モードが設定された時、スイツチは、接点ｃ又はｄにそれぞれ切り替えられる。スイツチが接点ｃに切り替えられている後方予測モードの時、後方予測画像部６３ｂに記憶されている画像（この場合、Ｐピクチヤの画像）データが読み出され、動き補償回路６４により、動きベクトル検出回路５０が出力する動きベクトルに対応して動き補償される。すなわち動き補償回路６４は、予測判定回路５４より後方予測モードの設定が指令されたとき、後方予測画像部６３ｂの読み出しアドレスを、動きベクトル検出回路５０がいま出力しているマクロブロツクの位置に対応する位置から動きベクトルに対応する分だけずらしてデータを読み出し、予測画像データを生成する。
【００４７】
動き補償回路６４より出力された予測画像データは、演算器５３ｂに供給される。演算器５３ｂは、予測モード切り替え回路５２より供給された参照画像のマクロブロツクのデータから、動き補償回路６４より供給された予測画像データを減算しその差分を出力する。この差分データは、ＤＣＴモード切り替え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バツフア５９を介して伝送路に伝送される。
【００４８】
スイツチが接点ｄに切り替えられている両方向予測モードの時、前方予測画像部６３ａに記憶されている画像（この場合、Ｉピクチヤの画像）データと、後方予測画像部６３ｂに記憶されている画像（この場合、Ｐピクチヤの画像）データが読み出され、動き補償回路６４により、動きベクトル検出回路５０が出力する動きベクトルに対応して動き補償される。
【００４９】
すなわち、動き補償回路６４は、予測判定回路５４より両方向予測モードの設定が指令されたとき、前方予測画像部６３ａと後方予測画像部６３ｂの読み出しアドレスを、動きベクトル検出回路５０がいま出力しているマクロブロツクの位置に対応する位置から動きベクトル（この場合の動きベクトルは、前方予測画像用と後方予測画像用の２つとなる）に対応する分だけずらしてデータを読み出し、予測画像データを生成する。
【００５０】
動き補償回路６４より出力された予測画像データは、演算器５３ｃに供給される。演算器５３ｃは、動きベクトル検出回路５０より供給された参照画像のマクロブロツクのデータから、動き補償回路６４より供給された予測画像データの平均値を減算し、その差分を出力する。この差分データは、ＤＣＴモード切り替え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バツフア５９を介して伝送路に伝送される。
【００５１】
Ｂピクチヤの画像は、他の画像の予測画像とされることがないため、フレームメモリ６３には記憶されない。なおフレームメモリ６３において、前方予測画像部６３ａと後方予測画像部６３ｂは、必要に応じてバンク切り替えが行われ、所定の参照画像に対して、一方又は他方に記憶されているものを、前方予測画像あるいは後方予測画像として切り替えて出力することができる。
【００５２】
上述の処理においては、輝度ブロツクを中心として説明したが、色差ブロツクについても同様に、図２３及び図２４に示すマクロブロツクを単位として処理される。なお色差ブロツクを処理する場合の動きベクトルは、対応する輝度ブロツクの動きベクトルを垂直方向と水平方向に、それぞれ１／２にしたものが用いられる。
【００５３】
次に図２５は、図２０のデコーダ３１の一例の構成を示すブロツク図である。伝送路又は記録媒体を介して供給される画像データは、図示せぬ受信回路で受信され又は再生装置で再生され、受信バツフア（Ｂｕｆｆｅｒ）８１に一時記憶される。その後、復号回路９０の可変長復号化回路（ＩＶＬＣ）８２に供給される。
【００５４】
可変長復号化回路（ＩＶＬＣ）８２は、受信バツフア８１より供給されたデータを可変長復号化し、動きベクトル（MV）、予測モード（P-mode）及び予測フラグ（P-FLG)を動き補償回路（Ｍ−ｃｏｍｐ）８７に供給する。またＤＣＴフラグ（DCT-FLG)は逆ブロツク並び換え回路（Ｂｌｏｃｋ Ｃｈａｎｇｅ）８８に、量子化ステツプ（QS）を逆量子化回路（ＩＱ）８３に、それぞれ出力するとともに、復号された画像データを逆量子化回路８３に出力する。
【００５５】
逆量子化回路８３は、可変長復号化回路８２より供給された画像データを、同じく可変長復号化回路８２より供給された量子化ステツプに従つて逆量子化し、逆ＤＣＴ回路８４に出力する。逆量子化回路８３より出力されたデータ（ＤＣＴ係数）は、逆ＤＣＴ回路８４で逆ＤＣＴ処理されて演算器８５に供給される。
【００５６】
逆ＤＣＴ回路８４より供給された画像データが、Ｉピクチヤのデータである場合、そのデータは演算器８５より出力され、演算器８５に後に入力される画像データ（ＰまたはＢピクチヤのデータ）の予測画像データ生成のために、フレームメモリ８６の前方予測画像部（Ｆ−Ｐ）８６ａに供給されて記憶される。またこのデータはフオーマツト変換回路３２（図２０）に出力される。
【００５７】
逆ＤＣＴ回路８４より供給された画像データが、その１フレーム前の画像データを予測画像データとするＰピクチヤのデータであつて、前方予測モードのデータである場合、フレームメモリ８６の前方予測画像部８６ａに記憶されている１フレーム前の画像データ（Ｉピクチヤのデータ）が読み出され、動き補償回路８７で可変長復号化回路８２より出力された動きベクトルに対応する動き補償が施される。
【００５８】
そして演算器８５において、逆ＤＣＴ回路８４より供給された画像データ（差分のデータ）と加算され出力される。この加算されたデータ、すなわち復号されたＰピクチヤのデータは、演算器８５に後に入力される画像データ（Ｂピクチヤ又はＰピクチヤのデータ）の予測画像データ生成のために、フレームメモリ８６の後方予測画像部（Ｂ−Ｐ）８６ｂに供給されて記憶される。
【００５９】
Ｐピクチヤのデータであつても画像内予測モードのデータは、Ｉピクチヤのデータと同様に演算器８５で特に処理は行わず、そのまま後方予測画像部８６ｂに記憶される。このＰピクチヤは次のＢピクチヤの次に表示されるべき画像であるため、この時点ではまだフオーマツト変換回路３２へ出力されない。すなわち上述したようにＢピクチヤの後に入力されたＰピクチヤが、Ｂピクチヤより先に処理され、伝送されている。
【００６０】
逆ＤＣＴ回路８４より供給された画像データが、Ｂピクチヤのデータである場合、可変長復号化回路８２より供給された予測モードに対応して、フレームメモリ８６の前方予測画像部８６ａに記憶されているＩピクチヤの画像データ（前方予測モードの場合）、後方予測画像部８６ｂに記憶されているＰピクチヤの画像データ（後方予測モードの場合）、またはその両方の画像データ（両方向予測モードの場合）が読み出され、動き補償回路８７において、可変長復号化回路８２より出力された動きベクトルに対応する動き補償が施されて、予測画像が生成される。ただし動き補償を必要としない場合すなわち画像内予測モードの場合、予測画像は生成されない。
【００６１】
このようにして動き補償回路８７で動き補償が施されたデータは、演算器８５において、逆ＤＣＴ回路８４の出力と加算される。この加算出力はフオーマツト変換回路３２に出力される。ただしこの加算出力はＢピクチヤのデータであり、他の画像の予測画像生成のために利用されることがないため、フレームメモリ８６には記憶されない。Ｂピクチヤの画像が出力された後、後方予測画像部８６ｂに記憶されているＰピクチヤの画像データが読み出され、動き補償回路８７を介して演算器８５に供給される。ただしこのとき動き補償は行われない。
【００６２】
なおこのデコーダ３１には図２２のエンコーダ１８における予測モード切り替え回路５２とＤＣＴモード切り替え回路５５に対応する回路を図示していない。これらの回路に対応する処理、すなわち奇数フイールドと偶数フイールドのラインの信号が分離された構成を、元の混在する構成に必要に応じて戻す処理は、動き補償回路８７が実行するためである。また上述の処理においては、輝度信号の処理について説明したが、色差信号の処理も同様に行われる。ただし、この場合動きベクトルは、輝度信号用のものを垂直方向及び水平方向に１／２にしたものが用いられる。
【００６３】
【発明が解決しようとする課題】
ところで上述の画像符号化における変換符号化は、入力信号の相関を利用し、ある特定の座標軸に信号電力を集中させることにより情報量の圧縮を可能とする。ＤＣＴはこうした変換符号化に用いられる変換方式、特に直交変換の１例である。ＤＣＴは画像信号の持つ２次元相関性を利用して、ある特定の周波数成分に信号電力を集中させ、この集中分布した係数のみを符号化することで情報量の圧縮を可能とする。例えば、絵柄が平坦で画像信号の自己相関性が高い部分では、ＤＣＴ係数は低周波数成分へ集中分布し、他の成分は小さな値となる。従つてこの場合は低域へ集中分布した係数のみを符号化することで、情報量の圧縮が可能となる。
【００６４】
ところが画像のエツジ等のように輪郭を含む画像信号では、ＤＣＴ係数は低周波から高周波数成分まで広く分散して発生する。すると輪郭のような信号の不連続点をＤＣＴ係数で精度良く表すためには、非常に多くの係数を必要とし、符号化効率が落ちることになる。このとき従来のように画像の高圧縮符号化のために係数の量子化特性を粗くしたり、高周波数成分の係数を打ち切つたりすると、画像信号の劣化が目立ち、例えば輪郭のまわりに揺らぎのような歪み（コロナイフエクト又はモスキートノイズ等、以下簡単にノイズという）が発生する。
【００６５】
また画像符号化においては動き補償予測を用いているために、上述したようなノイズは次々と予測フレームに伝播し、時間方向へ伝播されていく。その結果再生画像では、ノイズが不規則に揺らいでいるように見え、視覚上非常に不快に感じられるようになる。この問題を解決するために、前置フイルタ及び後置フイルタが用いられる。前置フイルタとして例えば、ローパスフイルタを用い、符号化効率を向上させることで、ノイズの発生を抑制することができる。また後置フイルタとしても、ローパスフイルタを用い発生したノイズを目立たないように除去するために用いられる。こうした後置フイルタとしては例えばεフイルタやメデイアンフイルタがある。
【００６６】
ところがこのように、モスキートノイズを低減するために前置フイルタや後置フイルタを用いると、モスキートノイズを低減するだけでなく画像信号がもつ視覚的重要な情報をも損失させてしまう。すなわちＳＮ比が悪い信号帯域では、画像の歪みと画像の細かい模様の区別が難しく、ローパスフイルタにより、画像の平坦部にある模様をも失われぼやけた画像になつてしまう問題がある。
【００６７】
本発明は以上の点を考慮してなされたもので、ＳＮ比が悪い信号帯域でもノイズを低減させながら画像の細かい模様の情報の低減を最小限に押え得る動画像符号化方法、動画像復号化方法及び動画像符号化装置を提案しようとするものである。
【００６８】
【課題を解決するための手段】
かかる課題を解決するため本発明は、動画像符号化方法であって、動画像信号に対する前処理結果として入力されるブロック単位の信号を高周波成分及び低周波成分に分割し、当該高周波成分におけるエッジ情報、振幅情報及び輝度信号と色差信号との相関を調べ、その調べた結果に応じて使用する非線形量子化特性を決定し、決定された非線形量子化特性に従って高周波成分を量子化し、量子化された高周波成分と、低周波成分とを合成し、当該合成結果に対して直交変換処理を施すようにした。
【００７０】
また本発明は、動画像復号化方法であって、動画像符号化信号に対するブロック単位での復元処理結果として得られたブロック単位の信号を高周波成分及び低周波成分に分割し、当該高周波成分におけるエッジ情報、振幅情報及び輝度信号と色差信号との相関を調べ、その調べた結果に応じて使用する非線形逆量子化特性を決定し、決定された非線形逆量子化特性に従って高周波成分を逆量子化し、逆量子化された高周波成分と、低周波成分とを合成するようにした。
【００７１】
さらに本発明は、動画像符号化装置であって、動画像信号に対する前処理結果として入力されるブロック単位の信号を高周波成分及び低周波成分に分割する分割手段と、分割手段により分割された高周波成分におけるエッジ情報、振幅情報及び輝度信号と色差信号との相関を調べ、当該調べた結果に応じて使用する非線形量子化特性を決定する特性決定手段と、特性決定手段により決定された非線形量子化特性に従って高周波成分を量子化する高周波成分量子化手段と、高周波成分量子化手段により量子化された高周波成分と、低周波成分とを合成する合成手段と、合成手段により合成された結果に対して直交変換処理を施す直交変換手段とを設けるようにした。
【００７２】
さらに本発明は、動画像復号化方法であって、動画像符号化信号に対するブロック単位での復元処理結果として得られたブロック単位の信号を高周波成分及び低周波成分に分割する分割手段と、分割手段により分割された高周波成分におけるエッジ情報、振幅情報及び輝度信号と色差信号との相関を調べ、当該調べた結果に応じて使用する非線形逆量子化特性を決定する特性決定手段と、特性決定手段により決定された非線形逆量子化特性に従って高周波成分を逆量子化する高周波成分逆量子化手段と、高周波成分逆量子化手段により逆量子化された高周波成分と、低周波成分とを合成する合成手段とを設けるようにした。
【００７３】
【作用】
動画像信号を所定の予測画像信号を用いてモードの切り替えを行い、当該モードの切り替えられた信号を直交変換し、当該直交変換した信号を量子化し、量子化した信号を可変長符号化して符号化処理する際に、動画像信号のＳＮ比が低下する信号の帯域を、非線形特性に基づいて量子化して強調させる。そして復号側においては、符号側と逆の特性をもつ非線形特性に基づいて動画像符号化信号を逆量子化し復調する。これにより、画像の歪みと画像の細かい模様の区別がし難かつた場合でも、画像信号の平坦部にある模様の低減を押えることができるので、ノイズを低減させながら画像の細かい模様情報の低減は押え、ＳＮ比の改善と視覚的印象を改善し得る。
【００７４】
【実施例】
以下図面について、本発明の一実施例を詳述する。
【００７５】
（１）第１の実施例
図１においては全体として本発明の第１の実施例を示し、この実施例では非線形量子化回路（ＮＬＱ）７０及び非線形逆量子化回路（ＮＬＩＱ）７１を除き、上述した図２２に示す従来の動画像符号化装置と同様の構成である。非線形量子化回路７０を図２を用いて説明する。すなわち、非線形量子化回路７０には、フレーム内符号化マクロブロツクの場合にはブロツクの画素値が、またフレーム間符号化マクロブロツクの場合には動き補償を行つた後のフレーム間差分値が、それぞれ入力端子２００に供給される。入力端子２００に供給された画像信号Ｓ２０１は、ローパスフイルタ（ＬＰＦ）２０１及び加算器２０２に入力される。ローパスフイルタ２０１では入力画像信号Ｓ２０１の低周波成分が取り出される。ローパスフイルタ２０１の出力は加算器２０２及び２０４に出力される。
【００７６】
加算器２０２では入力画像信号Ｓ２０１とローパスフイルタ２０１の出力値Ｓ２０２の差分が計算され出力される（Ｓ２０３）。ローパスフイルタ２０１の出力値Ｓ２０２は画像信号の低周波成分であるから、加算器２０２の出力Ｓ２０３は画像の高周波成分の振幅を示す信号である。信号Ｓ２０３は高周波信号の非線形量子化回路２０３及び量子化回路の制御器２０６に入力される。
【００７７】
高周波信号の非線形量子化回路２０３は図３に示す非線形特性を用い、非線形量子化を行う。図中の横軸は入力画像信号Ｓ２０３の値（振幅値）であり、縦軸は出力信号Ｓ２０４の値（振幅値）である。なおここでは、正側特性のみを示す。負側は、原点対象である。ｙ＝ｘが示す点線が、通常の線形量子化特性を表す。線形量子化特性を用いる場合、高周波信号の非線形量子化回路２０３の入力信号Ｓ２０３と出力信号Ｓ２０４は同一の信号となり、従つて非線形量子化回路７０の入力信号と出力信号は同一の信号となる。図３では非線形特性をＮＣとして一例を示すが、非線形量子化特性はいくつか考えられる。従つて図３の特性の場合、入力信号Ｓ２０３よりも大きな値がＳ２０４として出力される。
【００７８】
高周波信号の非線形量子化回路２０３の非線形量子化特性は適応的に切替えることも可能である。量子化回路の制御器２０６は高周波信号の非線形量子化回路２０３の高周波信号Ｓ２０３の性質を検査し、その性質に応じて非線形量子化特性を決定し、量子化特性を示す信号ＱＬを高周波信号の非線形量子化回路２０３に出力する。この実施例においては量子化回路の制御器は使用せず、常に同一の量子化特性を用いる。高周波信号の非線形量子化回路２０３の出力信号Ｓ２０４は加算器２０４に入力される。加算器２０４では信号Ｓ２０４及びローパスフイルタ２０１の出力信号Ｓ２０２を加算しその和を出力する（Ｓ２０５）。
【００７９】
Ｓ２０２は非線形量子化回路７０に入力された画像信号Ｓ２０１の低周波成分であり、Ｓ２０４はＳ２０１の非線形量子化後の高周波成分である。従つて非線形量子化回路７０の出力Ｓ２０５は入力信号Ｓ２０１の高周波成分を強調した信号となる。非線形量子化回路７０によつて高域が強調された画像信号は、ＤＣＴ回路５６に入力される。
【００８０】
従来と同様にＤＣＴ回路５６はＤＣＴ変換を行い、量子化回路５７に変換後の値を入力し、量子化後の値は可変長符号化回路５８に入力される。また量子化回路５７の出力は、逆量子化回路６０にも入力される。逆量子化回路６０では量子化回路５７の逆の操作を行う。逆ＤＣＴ回路６１は逆量子化回路６０の出力値を逆ＤＣＴ変換した後、復元された信号を非線形逆量子化回路７１に入力する。
【００８１】
非線形逆量子化回路７１は図４に示すように構成され、非線形量子化回路７０の逆の操作を行う。非線形逆量子化回路７１の入力端４００より入力された信号Ｓ４０１はローパスフイルタ４０１及び加算器４０２に入力される。ローパスフイルタ４０１では信号Ｓ４０１の低周波成分が抽出される。ローパスフイルタ４０１の出力信号Ｓ４０２は加算器４０２及び４０４に入力される。加算器４０２では信号Ｓ４０１及びＳ４０２の差分が求められ出力される（Ｓ４０３）。これにより信号Ｓ４０２は信号Ｓ４０１の低周波成分、信号Ｓ４０３は信号Ｓ４０１の高周波成分を表す。信号Ｓ４０３は高周波信号の非線形逆量子化回路４０３に入力される。
【００８２】
高周波信号の非線形逆量子化回路４０３は図５に示す非線形特性ＩＮＣを用い、非線形量子化を行う。図５に示す非線形特性ＩＮＣは、図３に示した非線形特性ＮＣと対称な特性を有する。すなわち、図３及び図５における各特性は、直線ｙ＝ｘに対して対称となつている。なおここでも、正側特性のみを示す。負側は、原点対象である。
【００８３】
図５の横軸は入力画像信号Ｓ４０３の値（振幅値）であり、縦軸は出力信号Ｓ４０４の値（振幅値）である。ｙ＝ｘが示す点線が線形逆量子化特性を表す。線形量子化特性を用いる場合、高周波信号の非線形逆量子化回路４０３の入力信号Ｓ４０３と出力信号Ｓ４０４は同一の信号となり、従つて非線形逆量子化回路７１の入力信号と出力信号は同一の信号となる。
【００８４】
逆量子化回路の制御器４０６は、高周波信号の非線形逆量子化回路４０３で使用する逆量子化特性を決定し、使用する逆量子化特性を示す信号ＱＬを高周波信号の非線形逆量子化回路４０３に出力する。逆量子化回路の制御器４０６は高周波信号Ｓ４０３の性質を検査し、その性質に従つて使用する逆量子化特性を決定するか、または外部から入力される逆量子化特性を指示する信号（ＱＬ）に従つて使用する逆量子化特性を決定する。
【００８５】
この実施例においては、常に同一の逆量子化特性を用いるため、逆量子化回路の制御器４０６は使用しない。また高周波信号の非線形逆量子化回路４０３で使用する逆量子化特性は、高周波信号の非線形量子化回路２０３で使用した量子化特性の逆の操作を行う逆量子化特性でなければならない。高周波信号の非線形逆量子化回路４０３の出力は、加算器４０４に入力される。加算器４０４は信号Ｓ４０４及び信号Ｓ４０２を加算し出力する（Ｓ４０５）。以上のように非線形逆量子化回路７１は非線形量子化回路７０により強調された高周波成分をもとに戻す操作を行う。
【００８６】
このような非線形量子化操作が、変換符号化によつて生じたモスキートノイズ等のノイズを低減する原理を説明する。図６は図２の非線形量子化回路７０での信号の変化の様子を示す。（ａ）は信号Ｓ２０１の１例である。（ａ）の信号はローパスフイルタ２０１により（ｂ）のような低周波成分が抽出される。これが信号Ｓ２０２である。
【００８７】
一方加算器２０２によりＳ２０１とＳ２０２の差分がとられ、高周波成分として信号Ｓ２０３が（ｄ）のように出力される。このときの信号の最大値と平坦部の差をＡ₁とする。このとき高周波成分を非線形量子化することにより強調する。高周波信号の非線形量子化回路２０３の出力Ｓ２０４を（ｅ）に示す。このとき信号の最大値と平坦部の差はＡ₂となる（Ａ₂＞Ａ₁）。加算器２０４は信号Ｓ２０２と信号Ｓ２０４を加算し、出力信号Ｓ２０５を生成する（ｆ）。
【００８８】
図７に非線形量子化特性を示す。横軸は入力信号の値、縦軸は出力信号の値である。なおここでは、正側特性のみを示す。負側は、原点対象である。ここで、変換符号化の際に生じる歪み、ノイズ成分の最大値は変換回路（この実施例の場合ＤＣＴ回路）に入力する信号の最大値の50％の値を持つと仮定する。すなわち、変換回路への入力の最大値と線形の関係にある。入力信号の最大値がＡ₁である場合を考える。非線形量子化を行わない場合、変換符号化によつて生じる歪みの最大値はＮ₁であるとする（図７）。非線形量子化を行つた場合、Ａ₁はＡ₂＝ａ×Ａ₁となる。このとき、歪みの最大値はＤＣＴに入力する信号の50％であることから、非線形量子化後の値をＤＣＴ変換することによつて生じる歪みの最大値は、Ｎ₂＝ａ×Ｎ₁となると考えられる。
【００８９】
図８は、図４の非線形逆量子化回路７１での信号の変化の様子を示す。（ａ）は図６の（ｆ）の信号をＤＣＴ変換回路５６、量子化回路５７、逆量子化回路６０、逆ＤＣＴ回路６１によつて処理を行つた後、非線形逆量子化回路７１に入力された信号Ｓ４０１を示す。信号Ｓ４０１からローパスフイルタ４０１により低周波成分Ｓ４０２が抽出される。信号Ｓ４０２を（ｂ）に示す。
【００９０】
加算器４０２は信号Ｓ４０１と信号Ｓ４０２の差分をとることにより、高周波成分Ｓ４０３を抽出する。Ｓ４０３を（ｄ）に示す。この（ｄ）に示される信号には、変換符号化によつて生じた歪みが付加されている。このとき信号の最大値はＡ₂′、歪みの最大値はＮ₂′であるとする。
【００９１】
高周波信号の非線形逆量子化回路４０３の出力Ｓ４０３を（ｅ）に示す。また逆量子化特性を図９に示す。非線形逆量子化により、信号の最大値はＡ₃＝Ａ₂′／ａとなる。またこのとき歪みの最大値はＮ₃となる。非線形逆量子化を行わない場合の歪みの最大値は、Ｎ₂′／ａとなる。非線形量子化を行わない場合と比較すると、Ｎ₁−Ｎ₃だけ歪みの最大値が減少したことがわかる。
【００９２】
以上のような方法により、高周波成分を強調して符号化することにより、歪みを減少させることが可能となる。この非線形量子化操作は、変換回路（この実施例の場合ＤＣＴ変換回路）に入力するブロツク単位で行う。これは変換符号化によつて生じる劣化は、ブロツク内で閉じているためである。このことにより、ブロツクを越えて必要以上に情報を失うことを防ぐことができる。
【００９３】
図１０に第１の実施例における動画像復号化装置を示す。非線形逆量子化回路（ＮＬＩＱ）９１を除き、従来と同様であるので、既に従来例にて説明してある部分については、説明を省略する。この非線形逆量子化回路９１について説明すると、非線形逆量子化回路９１は、図１及び図４に上述した非線形逆量子化回路７１と同様の回路であり、非線形量子化回路７０と逆の操作を行うためのものである。またこのとき、非線形量子化回路７０の持つ非線形量子化特性及び非線形逆量子化回路９１の持つ非線形逆量子化特性は、互いに逆の特性を持つ。
【００９４】
この実施例においては非線形量子化回路をＤＣＴ回路の直前に、また非線形逆量子化回路を逆ＤＣＴ回路の直後に設けることにより、画像信号符号化装置及び画像信号復号装置の間で整合性を保つことが出来る。またこの実施例における方法では、画像信号復号装置が非線形逆量子化回路を持たない場合においても最低限の画像を再生することが可能である。画像信号復号装置が非線形逆量子化回路を持たない場合、高周波成分が強調されたままの信号が復号され表示される。この場合の画像信号復号装置は従来例と同様である。
【００９５】
また非線形逆量子化器７１（または９１）の逆量子化特性と非線形量子化器７０の量子化特性は、互いに正反対の特性である必要は必ずしもない。量子化特性の強調度よりも逆量子化特性の復調度が大きい場合は、復号画像にローパスフィルタをかけた効果が得られ、それと逆の場合には、復号画像に輪郭強調をかけた効果が得られる。
【００９６】
以上の構成によれば、符号化によりＳＮ比が悪くなりがちな信号帯域に、非線形特性をもつ前処理及び後処理を連携して施すことにより、ＳＮ比を効果的に改善できる。すなわちＳＮ比が悪い信号帯域において、モスキートノイズは低減させながらも、画像の細かい模様情報の低減は押えることができ、これにより、従来画像の歪みと画像の細かい模様の区別が難しかつた場合でも、画像信号の平坦部にある模様の低減を押えることができるので、ＳＮ比の改善と視覚的印象の改善を図ることができる。
【００９７】
さらに変換符号化における歪みは変換に用いるブロツク内で閉じて発生するので、上述の前処理及び後処理の操作を変換符号化を行うブロツク単位で閉じて行うことにより、モスキートノイズの時間方向への伝搬を小さくすることが可能となる。これにより従来動き補償予測を用いているために、時間方向へ歪みノイズが伝搬することにより見られたノイスの揺らぎが軽減され、視覚的印象の改善を図ることができる。
【００９８】
（２）第２の実施例
第２の実施例は第１の実施例の変形であり、非線形量子化回路（ＮＬＱ）７０及び非線形逆量子化回路（ＮＬＩＱ）７１、９１を除き上述した第１の実施例と同一構成である。すなわち、第２の実施例における非線形量子化回路７０の内部構成を図１１に示す。非線形量子化回路７０に入力される画像信号Ｓ１１００は、バンドパスフイルタ１（１１０１）〜バンドパスフイルタｎ（１１０ｎ）に入力される。
【００９９】
バンドパスフイルタ１（１１０１）〜バンドパスフイルタｎ（１１０ｎ）はそれぞれ異なる通過周波数帯域を持つフイルタである。バンドパスフイルタ１（１１０１）が最も通過周波数帯域の低いフイルタ（ローパスフイルタ）であり、バンドパスフイルタｎ（１１０ｎ）が最も通過周波数帯域が高いフイルタ（ハイパスフイルタ）である。
【０１００】
バンドパスフイルタの出力信号Ｓ１１０１〜Ｓ１１０ｎは第１の非線形量子化回路（１１２１）〜第ｎの非線形量子化回路（１１２ｎ）にそれぞれ入力される。入力信号Ｓ１１００の各周波数成分に対し、周波数に応じて異なる量子化特性の非線形量子化を行う。
【０１０１】
図１１に示す各非線形量子化回路の量子化特性の例を図１３に示す。第１の非線形量子化回路（１１２１）の周波数特性は図１３における特性１であり、また第ｎの非線形量子化回路（１１２ｎ）の量子化特性は特性ｎである。周波数成分が低くなるにつれ、線形量子化特性（ｙ＝ｘ）に近くなるような量子化特性を用いる。従つて高周波成分ほど強調されることになる。非線形量子化回路からの出力信号Ｓ１１２１〜Ｓ１１２ｎは加算器１１３０に入力される。加算器１１３０では非線形量子化後の各周波数成分を加算し出力する（Ｓ１１３０）。
【０１０２】
次にこの実施例における非線形逆量子化回路７１及び９１を図１２を用いて説明する。図１２は非線形逆量子化回路７１及び９１の構成図である。すなわち逆ＤＣＴ回路からの出力信号Ｓ１２００は第１のバンドパスフイルタ（１２０１）〜第ｎのバンドパスフイルタ（１２０ｎ）に入力される。第１のバンドパスフイルタ（１２０１）から第ｎのバンドパスフイルタｎ（１２０ｎ）は、それぞれ異なる通過帯域を持つたフイルタである。第１のバンドパスフイルタ（１２０１）が最も低い通過帯域をもつフイルタ（ローパスフイルタ）であり、第ｎのバンドパスフイルタ（１２０ｎ）が最も高い通過帯域を持つフイルタ（ハイパスフイルタ）である。
【０１０３】
バンドパスフイルタ（１２０１〜１２０ｎ）からの出力信号Ｓ１２０１〜Ｓ１２０ｎは、第１の非線形逆量子化回路（１２２１）〜第ｎの非線形逆量子化回路（１２２ｎ）にそれぞれ入力される。逆ＤＣＴ回路からの信号Ｓ１２００の各周波数成分に対し、周波数に応じて異なる逆量子化特性の非線形逆量子化を行う。
【０１０４】
図１２に示す各非線形逆量子化回路の逆量子化特性の例を図１４に示す。第１の非線形逆量子化回路（１２２１）の周波数特性は、図１４における特性１であり、また第ｎの非線形逆量子化回路（１２２ｎ）の量子化特性は特性ｎである。周波数成分が低くなるにつれ、線形量子化特性（ｙ＝ｘ）に近くなるような逆量子化特性を用いる。この時、各逆量子化特性は量子化特性の逆の操作を行う特性でなければならない。例えば逆量子化特性１は量子化特性１の逆の操作を行う特性でなければならない。これはすなわち、量子化特性１と逆量子化特性１はｙ＝ｘについて対称の関係になければならない。
【０１０５】
非線形逆量子化回路からの出力信号Ｓ１２２１からＳ１２２ｎは加算器１２３０に入力される。加算器１２３０では非線形量子化後の各周波数成分を加算し、出力する（Ｓ１２３１）。この非線形逆量子化回路７１、９１により強調された高周波成分が元のレベルに戻される。第２の実施例では、以上のように入力画像信号の周波数成分によつて非線形量子化特性が適応的に切替えられることが特徴である。このように第２の実施例の場合には、入力信号の周波数成分に応じて量子化特性を適応的に切替えることにより、さらにＳＮ比を向上させることができ、また画像の視覚的印象も向上させることができる。
【０１０６】
（３）第３の実施例
第３の実施例も第１の実施例の変形であり、非線形量子化回路７０及び非線形逆量子化回路７１を除き第１の実施例と同一である。第３の実施例における画像符号化装置の全体構成は、第１の実施例と同様で図１に示される構成を持つ。また非線形量子化回路７０の構成は、第１の実施例と同様に図２に与えられる。第３の実施例では量子化回路の制御器２０６が高周波信号の非線形量子化回路２０３で使用される量子化特性を適応的に切替える。
【０１０７】
量子化回路の制御器２０６は入力画像信号Ｓ２０１の特性を調べ、その特性に応じて使用する量子化特性を決定する。この場合、使用する量子化特性を示す信号ＱＬを高周波信号の非線形量子化回路２０３に出力する。量子化特性群は例えば、図１３で与えられる。入力画像信号の特性とは、例えばエツジ情報であり、また例えば入力信号の振幅情報であり、また例えば輝度と色差信号の相関である。量子化特性を示す信号ＱＬはまた、可変長符号化回路５８に出力される。可変長符号化回路５８では、量子化特性を示す信号ＱＬを可変長符号化し伝送する。
【０１０８】
この実施例における画像復号化装置の構成は、第１の実施例と同様で、図１０で与えられる。また非線形逆量子化回路７１及び９１の構成は、第１の実施例と同様に図４で与えられる。第３の実施例では、逆量子化回路の制御器４０６が高周波信号の非線形逆量子化回路４０３で使用される逆量子化特性を適応的に切替える。画像信号符号化装置から伝送された量子化特性を示す信号ＱＬは、可変長復号回路８２で復号され、非線形逆量子化回路９１に逆量子化特性を示す信号ＱＬ′として出力される。
【０１０９】
逆量子化回路の制御器４０６は逆量子化特性を示す信号ＱＬ′に従つて、逆量子化特性を決定し、高周波信号の非線形逆量子化回路４０３に出力する。高周波信号の非線形逆量子化回路４０３は、逆量子化特性を示す信号ＱＬ′に従つて、逆量子化特性を切替える。逆量子化特性は例えば図１４で与えられる。このように第３の実施例の場合には、入力画像信号の性質に応じて、量子化特性を適応的に切替えることにより、さらにＳＮ比及び視覚的印象を向上することができる。
【０１１０】
（４）第４の実施例
この第４の実施例は非線形量子化回路及び非線形逆量子化回路を、変換回路（この実施例の場合ＤＣＴ、ＩＤＣＴ回路）の前後に設置することが出来ない場合に有効な実施例である。第４の実施例における画像信号符号化装置の構成図を図１５に示す。第１の実施例との相違点は非線形量子化回路７０が符号化装置の先頭におかれている事である。図１５では非線形量子化回路７０は動きベクトル検出回路５０の前に置かれているが、動きベクトル検出回路５０の後、すなわち、動きベクトル検出回路５０及び予測モード切替え回路５２の間にあつても良い。
【０１１１】
非線形量子化回路７０の構成は、第１の実施例と同様で図２に示される。第４の実施例においては、動き補償の前に非線形量子化を行うため、ＤＣＴ回路に入力される信号そのものを処理することができない。非線形量子化は第１の実施例と同様に変換回路（ＤＣＴ回路）に入力するブロツク単位で行われる。この場合、フレーム間符号化を行わない場合、すなわちフレーム内符号化マクロブロツクの場合、第１の実施例と同一の結果を得ることが出来る。
【０１１２】
第４の実施例における画像信号復号装置を図１６に示す。第１の実施例との相違点は非線形逆量子化回路９１が復号回路の最後に置かれていることである。画像信号は復号回路９０で復号された後、非線形逆量子化回路９１にて非線形逆量子化される。非線形逆量子化回路９１の構成は第１の実施例と同様で、図４で与えられる。非線形逆量子化回路９１の動作は第１の実施例と同様である。
【０１１３】
第４の実施例では非線形量子化回路が動き補償回路の前段にあるため、符号化装置及び復号化装置の間の非線形量子化及び非線形逆量子化の間で必ずしも整合性はとれないが、第１の実施例に示した原理と同様の原理により変換符号化により生じた歪みを除去することができる。このように第４の実施例の場合には、変換回路の直前、直後に非線形量子化回路、非線形逆量子化回路を設けることができない場合においても、符号化装置の最前部及び復号装置の最後部に非線形量子化及び非線形逆量子化回路を設けることにより、ＳＮ比が悪い信号帯域において、モスキートノイズを低減しながらも、画像の細かい情報の損失を防ぐことができる。
【０１１４】
（５）第５の実施例
第５の実施例は第４の実施例及び第２の実施例の変形である。非線形量子化回路及び非線形逆量子化回路を除き第４の実施例と同一である。第５の実施例における画像信号符号化回路及び画像信号復号装置の構成は第４の実施例と同様で図１５及び図１６に示される構成を持つ。第５の実施例における非線形量子化回路７０の構成は第２の実施例と同様で図１１で与えられる。また第５の実施例における非線形逆量子化回路７１の構成は第２の実施例と同様で図１２で与えられる。第５の実施例は、第４の実施例を変形し、第２の実施例と同様に入力画像信号の周波数成分によつて非線形量子化特性が適応的に切替えられるようにした実施例である。
【０１１５】
（６）第６の実施例
第６の実施例は第４の実施例及び第３の実施例の変形である。非線形量子化回路及び非線形逆量子化回路を除き第４の実施例と同一である。第６の実施例における画像信号符号化回路及び画像信号復号装置の構成は第４の実施例と同様で図１５及び図１６に示される構成を持つ。第６の実施例における非線形量子化回路７０の構成は第３の実施例と同様で図２で与えられる。
【０１１６】
また第６の実施例における非線形逆量子化回路７１の構成は第３の実施例と同様で図４で与えられる。第６の実施例は、第４の実施例を変形し、第３の実施例と同様に入力画像信号の周波数成分によつて非線形量子化特性が適応的に切替えられるようにした実施例である。使用した非線形量子化特性を可変長符号化し、画像信号復号装置に伝送する。画像信号復号装置では、伝送された非線形量子化特性から非線形逆量子化特性を決定する。
【０１１７】
【発明の効果】
上述のように本発明によれば、符号化処理によりＳＮ比が悪くなりがちな信号帯域に、非線形特性をもつ処理を連携して施すことにより、ＳＮ比を効果的に改善できる。すなわちＳＮ比が悪い信号帯域において、モスキートノイズは低減させながらも、画像の細かい模様情報の低減は押えることができ、これにより、従来画像の歪みと画像の細かい模様の区別が難しかつた場合でも、画像信号の平坦部にある模様の低減を押えることができるので、ＳＮ比の改善と視覚的印象を改善し得る動画像符号化方法、動画像復号化方法及び動画像符号化装置を実現できる。
【０１１８】
さらに変換符号化における歪みは変換に用いるブロツク内で閉じて発生するので、上述の処理の操作を変換符号化を行うブロツク単位で閉じて行うことにより、モスキートノイズの時間方向への伝搬を小さくすることが可能となる。これにより従来動き補償予測を用いているために、時間方向へ歪みノイズが伝搬することにより見られたノイズの揺らぎが軽減され、視覚的印象を改善し得る動画像符号化方法、動画像復号化方法及び動画像符号化装置を実現できる。
【図面の簡単な説明】
【図１】本発明による画像信号符号化装置の一実施例の構成を示すブロツク図である。
【図２】非線形量子化回路の構成を示すブロツク図である。
【図３】非線形量子化特性の説明に供する特性曲線図である。
【図４】非線形逆量子化回路の構成を示すブロツク図である。
【図５】非線形量子化特性の説明に供する特性曲線図である。
【図６】非線形量子化回路での信号の変化の説明に供する信号波形図である。
【図７】非線形量子化特性の説明に供する特性曲線図である。
【図８】非線形逆量子化回路での信号の変化の説明に供する信号波形図である。
【図９】非線形逆量子化特性の説明に供する特性曲線図である。
【図１０】本発明による動画像復号化装置の一実施例の構成を示すブロツク図である。
【図１１】第２の実施例における非線形量子化回路の構成を示すブロツク図である。
【図１２】第２の実施例における非線形逆量子化回路の構成を示すブロツク図である。
【図１３】非線形量子化回路の量子化特性の説明に供する特性曲線図である。
【図１４】非線形逆量子化回路の逆量子化特性の説明に供する特性曲線図である。
【図１５】第４の実施例における動画像符号化装置の構成を示すブロツク図である。
【図１６】第４の実施例における動画像復号化装置の構成を示すブロツク図である。
【図１７】フレーム間相関を利用した場合の動画像信号の圧縮符号化の原理の説明に供する略線図である。
【図１８】画像データを圧縮する場合におけるピクチヤのタイプの説明に供する略線図である。
【図１９】動画像信号を符号化する原理の説明に供する略線図である。
【図２０】画像信号の符号化装置と復号化装置の構成を示すブロツク図である。
【図２１】図２０におけるフオーマツト変換回路のフオーマツト変換の動作の説明に供する略線図である。
【図２２】図２０におけるエンコーダの構成を示すブロツク図である。
【図２３】図２２における予測モード切り替え回路の動作の説明に供する略線図である。
【図２４】図２２におけるＤＣＴモード切り替え回路の動作の説明に供する略線図である。
【図２５】図２０のデコーダの構成例を示すブロツク図である。
【符号の説明】
１……符号化装置、２……復号化装置、３……記録媒体、１２、１３……Ａ／Ｄ変換器、１４……フレームメモリ、１５……輝度信号フレームメモリ、１６……色差信号フレームメモリ、１７……フオーマツト変換回路、１８……エンコーダ、３１……デコーダ、３２……フオーマツト変換回路、３３……フレームメモリ、３４……輝度信号フレームメモリ、３５……色差信号フレームメモリ、３６、３７……Ｄ／Ａ変換器、５０……動きベクトル検出回路、５１……フレームメモリ、５２……予測モード切り替え回路、５３……演算部、５４……予測判定回路、５５……ＤＣＴモード切り替え回路、５６……ＤＣＴ回路、５７……量子化回路、５８……可変長符号化回路、５９……送信バツフア、６０……逆量子化回路、６１……逆ＤＣＴ回路、６２……演算器、６３……フレームメモリ、６４……動き補償回路、８１……受信バツフア、８２……可変長復号化回路、８３……逆量子化回路、８４……逆ＤＣＴ回路、８５……演算器、８６……フレームメモリ、８７……動き補償回路。[0001]
【table of contents】
The present invention will be described in the following order.
Industrial application fields
Conventional technology (FIGS. 17 to 25)
Problems to be solved by the invention
Means for Solving the Problems (FIGS. 1 to 16)
Action (FIGS. 1-16)
Example
(1) First embodiment (FIGS. 1 to 10)
(2) Second embodiment (FIGS. 11 to 14)
(3) Third embodiment (FIGS. 1, 2, 4, 10, 13, and 14)
(4) Fourth embodiment (FIGS. 2, 4, 15 and 16)
(5) Fifth embodiment (FIGS. 11, 12, 15 and 16)
(6) Sixth embodiment (FIGS. 2, 15, and 16)
The invention's effect
[0002]
[Industrial application fields]
The present invention relates to a moving image encoding method, a moving image decoding method, and a moving image encoding apparatus. For example, a moving image signal is recorded on a recording medium such as an optical disk or a magnetic tape, and is reproduced and displayed on a display or the like. It is suitable for application when a moving image signal is transmitted from a transmitting side to a receiving side via a transmission line, and received and displayed on the receiving side, such as a video conference system, a video phone system, a broadcasting device, etc. Is.
[0003]
[Prior art]
For example, in a system that transmits a moving image signal to a remote place such as a video conference system or a videophone system, the line correlation or inter-frame correlation of the moving image signal is used in order to efficiently use the transmission path. The image signal is compressed and encoded. In practice, when line correlation is used, the amount of information can be compressed by, for example, processing an image signal by orthogonal transformation such as discrete cosine transform (DCT). In addition, when the inter-frame correlation is used, the moving image signal can be further compressed and encoded.
[0004]
FIG. 17 shows an example of compression coding of a moving image signal when inter-frame correlation is used. In the figure, the three images shown in the A column indicate frame images PC1, PC2, and PC3 at times t1, t2, and t3, respectively. A difference between the image signals of the frame images PC1 and PC2 is calculated to generate PC12, and a difference between the frame images PC2 and PC3 is calculated to generate PC23. The B column shows the difference image, and the difference is shown in black for convenience.
[0005]
Generally, images of frames that are temporally adjacent do not have such a large change. Therefore, when the difference between them is calculated, the difference signal has a small value. Therefore, if this difference signal is encoded, the code amount can be compressed. For example, in this figure, it is sufficient to encode only the portion of column B shown in black. However, if only the differential signal is transmitted, the original image cannot be restored if there is no correlation between frames as in scene change.
[0006]
Therefore, the image of each frame is set to one of the three types of pictures: I (intra-frame code) picture, P (forward prediction) picture, or B (bidirectional prediction) picture, and the image signal is compressed and encoded. Yes. That is, as shown in FIG. 18, 17 frames of image signals from frames F1 to F17 are grouped as a unit of processing. The image signal of the first frame F1 (frame shown in black) is encoded as an I picture, the second frame F2 (frame shown in white) is used as a B picture, and the third frame F3 (frame shown by diagonal lines). Are processed as P pictures. Hereinafter, the fourth and subsequent frames F4 to F17 are alternately processed as a B picture or a P picture.
[0007]
As an I-picture image signal, the image signal for one frame is transmitted as it is. On the other hand, as a P-picture image signal, basically, a difference from an I-picture or P-picture image signal preceding in time is transmitted as shown in FIG. Further, as the B-picture image signal, basically, as shown in FIG. 18B, a difference from the average value of both the temporally preceding frame and the succeeding frame is obtained, and the difference is encoded. .
[0008]
FIG. 19 shows the principle of the method for encoding a moving image signal in this way. In this figure, the A column indicates the original image and the B column indicates the encoded image. As shown in the figure, since the first frame F1 is processed as an I-picture, it is transmitted as it is to the transmission path as transmission data F1X (intra-image coding). On the other hand, since the second frame F2 is processed as a B picture, the difference between the temporally preceding frame F1 and the average value of the temporally following frame F3 is calculated, and the difference is transmitted. It is transmitted as data F2X. However, the processing as the B picture will be described in more detail, and there are four types of processing.
[0009]
The first process is to transmit the data of the original frame F2 as it is as the transmission data F2X (SP1 (intra coding)), and is the same process as in the case of the I-picture. The second process is to calculate the difference from the temporally subsequent frame F3 and transmit the difference (SP2 (backward predictive coding)). The third process is to transmit a difference from the temporally preceding frame F1 (SP3 (forward predictive coding)). Further, the fourth process is to generate a difference between the average value of the temporally preceding frame F1 and the succeeding frame F3 and transmit this as transmission data F2X (SP4 (bidirectional predictive coding)). .
[0010]
After processing each of these four methods, an image by the processing method with the least amount of transmission data is used as transmission data. When the difference data is transmitted, the motion vector x1 (the motion vector between the frames F1 and F2 (in the case of forward prediction)) between the frame image (predicted image) whose difference is to be calculated, or x2 ( The motion vector between frames F3 and F2 (for backward prediction)) or both x1 and x2 (for bidirectional prediction) are transmitted along with the difference data.
[0011]
Also, the P-picture frame F3 is obtained by calculating a difference signal from this frame and a motion vector x3 using the temporally preceding frame F1 as a predicted image, and transmitting this as transmission data F3X (SP3 (forward prediction coding). )). Alternatively, the data of the original frame F3 is transmitted as it is as the transmission data F3X (SP1 (intra coding)). Which method is used for transmission is selected, as in the case of the B picture, in which the transmission data becomes smaller.
[0012]
FIG. 20 shows a specific configuration example of an apparatus that encodes and transmits a moving image signal and decodes it based on the principle described above.Reference numeral 1 denotes an overall configuration of an encoding device, which encodes an input moving image signal VD and transmits it to arecording medium 3 as a transmission path.Reference numeral 2 denotes a configuration of the decoding apparatus as a whole, which reproduces a signal recorded on therecording medium 3, decodes it, and outputs a video signal.
[0013]
In theencoding device 1, the input video signal VD is input to thepreprocessing circuit 11, where it is separated into a luminance signal and a color signal (in this example, a color difference signal), and A /D converters 12, 13 are respectively provided. A / D conversion is performed at The video signal that has been A / D converted by the A /D converters 12 and 13 and converted into a digital signal is supplied to theframe memory 14 and written therein. The luminance signal is written in the luminancesignal frame memory 15 and the color difference signal is written in the color differencesignal frame memory 16, respectively.
[0014]
Theformat conversion circuit 17 converts the frame format signal written in theframe memory 14 into a block format signal. That is, as shown in FIG. 21, the image signal written in theframe memory 14 is frame format data in which V lines of lines each composed of H dots per line are collected. Theformat conversion circuit 17 divides the signal of one frame into M slices in units of 16 lines.
[0015]
Each slice is divided into M macroblocks. Each macro block is composed of a luminance signal corresponding to 16 × 16 pixels (dots), and this luminance signal is further divided into blocks Y [1] to Y [4] in units of 8 × 8 dots. . The luminance signal of 16 × 16 dots corresponds to a color difference signal of 2 blocks of an 8 × 8 dot Cb signal and an 8 × 8 dot Cr signal.
[0016]
Thus, the data BD converted into the block format is supplied from theformat conversion circuit 17 to theencoder 18 where it is encoded. Details thereof will be described later with reference to FIG. The signal encoded by theencoder 18 is recorded on therecording medium 3 as a bit stream or output to a transmission path.
[0017]
The data reproduced from therecording medium 3 is supplied to thedecoder 31 of thedecoding device 2 and decoded (decoded). Details of thedecoder 31 will be described later with reference to FIG. The data decoded by thedecoder 31 is input to theformat conversion circuit 32 and converted from the block format to the frame format. The luminance signal of the frame format is supplied to the luminancesignal frame memory 34 of theframe memory 33 and written therein, and the color difference signal is supplied to the color differencesignal frame memory 35 and written therein. The luminance signal and the color difference signal read from the luminancesignal frame memory 34 and the color differencesignal frame memory 35 are D / A converted by the D /A converters 36 and 37, respectively, supplied to thepost-processing circuit 38, and synthesized. . Then, it is output and displayed on a display (not shown) such as a CRT.
[0018]
Next, a configuration example of theencoder 18 will be described with reference to FIG. The image data BD to be encoded is input to the motion vector detection circuit (MV-Det) 50 in units of macro blocks. The motionvector detection circuit 50 processes the image data of each frame as an I picture, a P picture, or a B picture according to a predetermined sequence set in advance. It is determined in advance whether the image of each frame input to the sequential is processed as an I, P, or B picture. For example, as shown in FIG. 18, the group of pictures configured by the frames F1 to F17 are processed as I, B, P, B, P,... B, P.
[0019]
Image data of a frame (for example, frame F1) processed as an I picture is transferred from the motionvector detection circuit 50 to the frontoriginal image portion 51a of theframe memory 51 and stored, and a frame (for example, frame F2) processed as a B picture. ) Is transferred to and stored in theoriginal image portion 51b, and image data of a frame (for example, frame F3) processed as a P-picture is transferred to and stored in the rearoriginal image portion 51c.
[0020]
At the next timing, when an image of a frame to be further processed as a B-picture (frame F4) or a P-picture (frame F5) is input, the first P-picture (stored in the rearoriginal image portion 51c until then) The image data of the frame F3) is transferred to the frontoriginal image portion 51a, the image data of the next B picture (frame F4) is stored (overwritten) in theoriginal image portion 51b, and the next P picture (frame F5) is stored. The image data is stored (overwritten) in the rearoriginal image portion 51c. Such an operation is sequentially repeated.
[0021]
The signal of each picture stored in theframe memory 51 is read therefrom, and the frame prediction mode process or the field prediction mode process is performed in the prediction mode switching circuit (Mode-SW) 52. Furthermore, under the control of theprediction determination circuit 54, thecalculation unit 53 performs calculation for intra-picture prediction, forward prediction, backward prediction, or bidirectional prediction. Which of these processes is performed is determined according to a prediction error signal (difference between a reference image to be processed and a predicted image corresponding thereto). For this reason, the motionvector detection circuit 50 generates the absolute value sum (or sum of squares) of the prediction error signal used for this determination.
[0022]
Here, the frame prediction mode and the field prediction mode in the predictionmode switching circuit 52 will be described. When the frame prediction mode is set, the predictionmode switching circuit 52 outputs the four luminance blocks Y [1] to Y [4] supplied from the motionvector detection circuit 50 to thecalculation unit 53 in the subsequent stage. . That is, in this case, as shown in FIG. 23A, the data of odd field lines and the data of even field lines are mixed in each luminance block. In this frame prediction mode, prediction is performed in units of four luminance blocks (macro blocks), and one motion vector corresponds to the four luminance blocks.
[0023]
On the other hand, in the field prediction mode, the predictionmode switching circuit 52 receives a signal input from the motionvector detection circuit 50 with the configuration shown in FIG. 23A as shown in FIG. Among the luminance blocks, the luminance blocks Y [1] and Y [2] are constituted only by, for example, dot lines of odd fields, and the other two luminance blocks Y [3] and Y [4] The data is composed of even-numbered line data, and is output to thecalculation unit 53. In this case, one motion vector corresponds to the two luminance blocks Y [1] and Y [2], and the other two luminance blocks Y [3] and Y [4]. Thus, one other motion vector is associated.
[0024]
The motionvector detection circuit 50 outputs the absolute value sum of the prediction errors in the frame prediction mode and the absolute value sum of the prediction errors in the field prediction mode to the predictionmode switching circuit 52. The predictionmode switching circuit 52 compares the absolute value sum of prediction errors in the frame prediction mode and the field prediction mode, performs a process corresponding to the prediction mode having a small value, and outputs the data to thecalculation unit 53. In general, the field prediction mode is selected when the motion of the moving image is fast, and the frame prediction mode is selected when the motion is slow.
[0025]
However, such processing is actually performed by the motionvector detection circuit 50. That is, the motionvector detection circuit 50 outputs a signal having a configuration corresponding to the determined mode to the predictionmode switching circuit 52, and the predictionmode switching circuit 52 outputs the signal as it is to thecalculation unit 53 in the subsequent stage. In the frame prediction mode, the color difference signal is supplied to thearithmetic unit 53 in a state where odd field line data and even field line data are mixed, as shown in FIG. Further, in the field prediction mode, as shown in FIG. 23B, the upper half (four lines) of the color difference blocks Cb and Cr are the odd field color differences corresponding to the luminance blocks Y [1] and Y [2]. The lower half (four lines) is an even field color difference signal corresponding to the luminance blocks Y [3] and Y [4].
[0026]
In addition, the motionvector detection circuit 50 calculates the absolute value sum of prediction errors for determining whether to perform intra prediction, forward prediction, backward prediction or bidirectional prediction in theprediction determination circuit 54 as follows. Generate. That is, as the sum of the absolute values of the prediction errors of the intra-picture prediction, the sum ΣAij | of the sum ΣAij of the macroblock signal Aij of the reference picture and the absolute value | Aij | of the macroblock signal Aij Σ | Aij | Find the difference. Also, as the sum of the absolute values of the prediction errors of the forward prediction, the sum Σ | Aij−Bij of the absolute value | Aij−Bij | of the difference Aij−Bij between the macroblock signal Aij of the reference image and the macroblock signal Bij of the predicted image Find |. Also, the absolute value sum of the prediction errors of the backward prediction and the bidirectional prediction is obtained in the same manner as in the forward prediction (by changing the prediction image to a prediction image different from that in the forward prediction).
[0027]
These sums of absolute values are supplied to theprediction determination circuit 54. Theprediction determination circuit 54 selects the smallest one of the absolute value sums of the prediction errors of the forward prediction, the backward prediction and the bidirectional prediction as the absolute value sum of the prediction errors of the inter prediction. Further, the absolute value sum of the prediction errors of the inter prediction is compared with the absolute value sum of the prediction errors of the intra prediction, and the smaller one is selected, and the mode corresponding to the selected absolute value sum is set to the prediction mode (P -mode). That is, if the sum of the absolute values of the prediction errors of intra prediction is smaller, the intra prediction mode is set. If the absolute value sum of the prediction errors of inter prediction is smaller, the mode with the smallest corresponding absolute value sum is set among the forward prediction, backward prediction, and bidirectional prediction modes.
[0028]
As described above, the motionvector detection circuit 50 is configured to use the macroblock signal of the reference image as a mode corresponding to the mode selected by the predictionmode switching circuit 52 in the frame or field prediction mode via the predictionmode switching circuit 52. The motion vector MV between the prediction image and the reference image corresponding to the prediction mode (P-mode) selected by theprediction determination circuit 54 among the four prediction modes is detected and variable among the four prediction modes. The data is output to the long encoding circuit (VLC) 58 and the motion compensation circuit (M-comp) 64. As described above, the motion vector having the minimum absolute value sum of the corresponding prediction errors is selected.
[0029]
Theprediction determination circuit 54 sets an intra-frame (image) prediction mode (a mode in which motion compensation is not performed) as a prediction mode when the motionvector detection circuit 50 reads I-picture image data from the frontoriginal image portion 51a. The switch of thearithmetic unit 53 is switched to the contact a side. As a result, the I-picture image data is input to the DCT mode switching circuit (DCT CTL) 55.
[0030]
In this DCTmode switching circuit 55, as shown in FIG. 24A or 24B, the data of the four luminance blocks is mixed with the odd-numbered and even-numbered lines (frame DCT mode). Alternatively, the state is set to one of the separated states (field DCT mode) and output to theDCT circuit 56. That is, the DCTmode switching circuit 55 compares the coding efficiency when DCT processing is performed with a mixture of odd-numbered field data and even-numbered field data, and the coding efficiency when DCT processing is performed in a separated state. Select a good mode.
[0031]
For example, as shown in FIG. 24A, the input signal has a configuration in which odd and even field lines are mixed, and the difference between the signal of the odd and even field lines adjacent to each other is calculated. Calculate the sum and calculate the sum (or sum of squares) of the absolute values. In addition, as shown in FIG. 24B, the input signal has a structure in which odd and even field lines are separated, and the signal difference between the odd and even adjacent odd field lines and the even field lines are separated. Is calculated, and the sum (or sum of squares) of the absolute values of each is calculated.
[0032]
Furthermore, both (absolute value sum) are compared, and a DCT mode corresponding to a small value is set. That is, if the former is smaller, the frame DCT mode is set, and if the latter is smaller, the field DCT mode is set. Data having a configuration corresponding to the selected DCT mode is output to theDCT circuit 56, and a DCT flag (DCT-FLG) indicating the selected DCT mode is output to the variablelength encoding circuit 58 and themotion compensation circuit 64.
[0033]
As is apparent from a comparison between the prediction mode in the prediction mode switching circuit 52 (FIG. 23) and the DCT mode in the DCT mode switching circuit 55 (FIG. 24), the data structure in each of the modes is substantially related to the luminance block. Are identical. In general, when the frame prediction mode is selected in the predictionmode switching circuit 52, the DCTmode switching circuit 55 is also likely to select the frame DCT mode.
[0034]
When the field prediction mode is selected in the predictionmode switching circuit 52, the DCTmode switching circuit 55 is likely to select the field DCT mode. However, this is not always the case. In the predictionmode switching circuit 52, the mode is determined so that the absolute value sum of the prediction errors becomes small. In the DCTmode switching circuit 55, the mode is determined so that the coding efficiency is good.
[0035]
The I-picture image data output from the DCTmode switching circuit 55 is input to theDCT circuit 56, subjected to DCT (discrete cosine transform) processing, and converted to DCT coefficients. This DCT coefficient is input to the quantization circuit (Q) 57, quantized in a quantization step corresponding to the data accumulation amount (buffer accumulation amount (B-full)) of thetransmission buffer 59, and then variable. This is input to thelong encoding circuit 58. The variablelength coding circuit 58 corresponds to the quantization step (scale (QS)) supplied from thequantization circuit 57, and receives the image data (in this case, I-picture data) supplied from thequantization circuit 57. For example, it is converted into a variable length code such as a Huffman code and output to thetransmission buffer 59.
[0036]
The variablelength coding circuit 58 is also set with a quantization step (scale (QS)) from thequantization circuit 57 and a prediction mode (intra-picture prediction, forward prediction, backward prediction, or bidirectional prediction) from theprediction determination circuit 54. Mode (P-mode)), a motion vector (MV) from the motionvector detection circuit 50, and a prediction flag (frame prediction mode or field prediction mode from the prediction mode switching circuit 52) (P -FLG)), and a DCT flag (a flag (DCT-FLG) indicating whether the frame DCT mode or the field DCT mode is set) output from the DCTmode switching circuit 55 are also input. It becomes.
[0037]
Thetransmission buffer 59 temporarily stores input data and outputs data corresponding to the storage amount to thequantization circuit 57. When the remaining amount of data increases to the allowable upper limit value, thetransmission buffer 59 increases the quantization scale of thequantization circuit 57 by the quantization control signal (B-full), thereby reducing the data amount of the quantized data. Reduce. On the contrary, when the remaining amount of data decreases to the allowable lower limit value, thetransmission buffer 59 reduces the quantization scale of thequantization circuit 57 by the quantization control signal (B-full), thereby Increase the amount of data. In this way, overflow or underflow of thetransmission buffer 59 is prevented. The data stored in thetransmission buffer 59 is read at a predetermined timing and output to the transmission path or recorded on therecording medium 3.
[0038]
On the other hand, the I-picture data output from thequantization circuit 57 is input to the inverse quantization circuit (IQ) 60 and inversely quantized corresponding to the quantization step supplied from the quantization circuit (QS) 57. . The output of theinverse quantization circuit 60 is input to an inverse DCT (IDCT)circuit 61 and subjected to inverse DCT processing, and then a block rearrangement circuit (Block).
(Change) 65, the blocks are rearranged corresponding to each DCT mode (frame / field). The output signal of theblock rearrangement circuit 65 is supplied to and stored in the forward predicted image portion (FP) 63a of theframe memory 63 via thecalculator 62.
[0039]
When the motionvector detection circuit 50 processes the image data of each frame sequentially input as, for example, I, B, P, B, P, B,..., The image data of the first input frame. After the image is processed as an I-picture, the image data of the next input frame is processed as a P-picture before the image of the next input frame is processed as a B-picture. This is because the B picture is accompanied by backward prediction, and therefore cannot be decoded unless the P picture as a backward predicted image is prepared first.
[0040]
Therefore, the motionvector detection circuit 50 starts processing the image data of the P picture stored in the rearoriginal image portion 51c after the processing of the I picture. As in the case described above, the sum of absolute values of inter-frame differences (prediction errors) in units of macroblocks is supplied from the motionvector detection circuit 50 to the predictionmode switching circuit 52 and theprediction determination circuit 54. The predictionmode switching circuit 52 and theprediction determination circuit 54 correspond to the sum of the absolute values of the prediction errors of the P-picture macroblock, and are used for frame / field prediction mode or intra-picture prediction, forward prediction, backward prediction or bidirectional prediction. Set the prediction mode.
[0041]
When the intra-frame prediction mode is set, thecalculation unit 53 switches the switch to the contact a side as described above. Therefore, this data is transmitted to the transmission line via the DCTmode switching circuit 55, theDCT circuit 56, thequantization circuit 57, the variablelength coding circuit 58, and thetransmission buffer 59, as with the I-picture data. Further, this data is supplied to and stored in the backward prediction image section (BP) 63b of theframe memory 63 via theinverse quantization circuit 60, theinverse DCT circuit 61, theblock rearrangement circuit 65, and thearithmetic unit 62. .
[0042]
In the forward prediction mode, the switch is switched to the contact point b, and the image (in this case, I-picture image) data stored in the forwardprediction image unit 63a of theframe memory 63 is read out, and themotion compensation circuit 64 Motion compensation is performed in accordance with the motion vector output from the motionvector detection circuit 50. That is, themotion compensation circuit 64 corresponds to the read address of the forwardprediction image unit 63a corresponding to the position of the macro block currently output by the motionvector detection circuit 50 when theprediction determination circuit 54 is instructed to set the forward prediction mode. The data is read from the position to be shifted by the amount corresponding to the motion vector to generate predicted image data.
[0043]
The predicted image data output from themotion compensation circuit 64 is supplied to thecalculator 53a. Thecomputing unit 53a subtracts the predicted image data corresponding to the macroblock supplied from themotion compensation circuit 64 from the macroblock data of the reference image supplied from the predictionmode switching circuit 52, and the difference (prediction error). Is output. The difference data is transmitted to the transmission line via the DCTmode switching circuit 55, theDCT circuit 56, thequantization circuit 57, the variablelength coding circuit 58, and thetransmission buffer 59. The difference data is locally decoded by theinverse quantization circuit 60 and theinverse DCT circuit 61 and input to thearithmetic unit 62 via theblock rearrangement circuit 65.
[0044]
Thecalculator 62 is also supplied with the same data as the predicted image data supplied to thecalculator 53a. Thecalculator 62 adds the predicted image data output from themotion compensation circuit 64 to the difference data output from theinverse DCT circuit 61. As a result, the original (decoded) P-picture image data is obtained. The P-picture image data is supplied to and stored in the backward predictedimage unit 63b of theframe memory 63.
[0045]
The motionvector detection circuit 50 thus executes the B-picture processing after the I-picture data and the P-picture data are stored in the forwardprediction image section 63a and the backwardprediction image section 63b, respectively. The predictionmode switching circuit 52 and theprediction determination circuit 54 set a frame / field mode corresponding to the magnitude of the sum of absolute values of inter-frame differences in units of macroblocks. Set to one of prediction mode, backward prediction mode, or bidirectional prediction mode. As described above, in the intra-frame prediction mode or the forward prediction mode, the switch is switched to the contact point a or b. At this time, the same processing as in the case of the P-picture is performed and data is transmitted.
[0046]
On the other hand, when the backward prediction mode or the bidirectional prediction mode is set, the switch is switched to the contact point c or d, respectively. In the backward prediction mode in which the switch is switched to the contact point c, the image data (in this case, the image of the P picture) stored in the backwardprediction image unit 63b is read, and themotion compensation circuit 64 detects the motion vector. Motion compensation is performed corresponding to the motion vector output from thecircuit 50. In other words, themotion compensation circuit 64 corresponds to the read address of the backwardprediction image unit 63b corresponding to the position of the macro block currently output by the motionvector detection circuit 50 when theprediction determination circuit 54 is instructed to set the backward prediction mode. The data is read from the position to be shifted by the amount corresponding to the motion vector to generate predicted image data.
[0047]
The predicted image data output from themotion compensation circuit 64 is supplied to thecalculator 53b. Thecomputing unit 53b subtracts the predicted image data supplied from themotion compensation circuit 64 from the macroblock data of the reference image supplied from the predictionmode switching circuit 52, and outputs the difference. The difference data is transmitted to the transmission line via the DCTmode switching circuit 55, theDCT circuit 56, thequantization circuit 57, the variablelength coding circuit 58, and thetransmission buffer 59.
[0048]
In the bidirectional prediction mode in which the switch is switched to the contact point d, the image data (in this case, the I-picture image) data stored in the forwardprediction image unit 63a and the image stored in the backwardprediction image unit 63b ( In this case, P picture data) is read out, and motion compensation is performed by themotion compensation circuit 64 in accordance with the motion vector output from the motionvector detection circuit 50.
[0049]
That is, in themotion compensation circuit 64, when the setting of the bidirectional prediction mode is instructed by theprediction determination circuit 54, the motionvector detection circuit 50 now outputs the read addresses of the forwardprediction image unit 63a and the backwardprediction image unit 63b. The data is read from the position corresponding to the position of the macroblock being read by shifting the motion vector by the amount corresponding to the motion vector (in this case, the motion vector is for the forward prediction image and the backward prediction image), and prediction image data is generated. To do.
[0050]
The predicted image data output from themotion compensation circuit 64 is supplied to thecalculator 53c. Thecomputing unit 53c subtracts the average value of the predicted image data supplied from themotion compensation circuit 64 from the macroblock data of the reference image supplied from the motionvector detection circuit 50, and outputs the difference. The difference data is transmitted to the transmission line via the DCTmode switching circuit 55, theDCT circuit 56, thequantization circuit 57, the variablelength coding circuit 58, and thetransmission buffer 59.
[0051]
The B-picture image is not stored in theframe memory 63 because it is not a predicted image of another image. Note that, in theframe memory 63, the forwardprediction image unit 63a and the backwardprediction image unit 63b are subjected to bank switching as necessary, and the one stored in one or the other for a predetermined reference image is forward-predicted. It can be switched and output as an image or a backward prediction image.
[0052]
In the above processing, the luminance block has been mainly described. However, the color difference block is also processed in units of macro blocks shown in FIGS. As the motion vector when processing the color difference block, the motion vector of the corresponding luminance block is halved in the vertical and horizontal directions.
[0053]
FIG. 25 is a block diagram showing an example of the configuration of thedecoder 31 shown in FIG. Image data supplied via a transmission path or a recording medium is received by a receiving circuit (not shown) or reproduced by a reproducing device, and temporarily stored in a receivingbuffer 81. Thereafter, the data is supplied to a variable length decoding circuit (IVLC) 82 of thedecoding circuit 90.
[0054]
The variable length decoding circuit (IVLC) 82 performs variable length decoding on the data supplied from thereception buffer 81, and the motion vector (MV), prediction mode (P-mode), and prediction flag (P-FLG) are motion compensation circuits. (M-comp) 87. The DCT flag (DCT-FLG) outputs the inverse block rearrangement circuit (Block Change) 88 and the quantization step (QS) to the inverse quantization circuit (IQ) 83, respectively, and reverses the decoded image data. Output to thequantization circuit 83.
[0055]
Theinverse quantization circuit 83 inversely quantizes the image data supplied from the variablelength decoding circuit 82 according to the quantization step supplied from the variablelength decoding circuit 82 and outputs the image data to theinverse DCT circuit 84. The data (DCT coefficient) output from theinverse quantization circuit 83 is subjected to inverse DCT processing by theinverse DCT circuit 84 and supplied to thecomputing unit 85.
[0056]
When the image data supplied from theinverse DCT circuit 84 is I-picture data, the data is output from thecomputing unit 85 and prediction of image data (P or B-picture data) to be input later to thecomputing unit 85 is performed. In order to generate image data, the image data is supplied to and stored in the forward predicted image portion (FP) 86a of theframe memory 86. This data is output to the format conversion circuit 32 (FIG. 20).
[0057]
When the image data supplied from theinverse DCT circuit 84 is P-picture data that uses the image data of the previous frame as predicted image data and is data in the forward prediction mode, the forward predicted image portion of theframe memory 86 The image data of the previous frame (I-picture data) stored in 86a is read out, and motion compensation corresponding to the motion vector output from the variablelength decoding circuit 82 is performed by themotion compensation circuit 87.
[0058]
Thearithmetic unit 85 adds the image data (difference data) supplied from theinverse DCT circuit 84 and outputs the result. This added data, that is, the decoded P-picture data is used as the backward prediction of theframe memory 86 to generate the predicted image data of the image data (B-picture or P-picture data) to be input later to thecalculator 85. The image portion (BP) 86b is supplied and stored.
[0059]
Even in the case of the P-picture data, the data in the intra-picture prediction mode is stored in the backward predictedimage unit 86b as it is without any particular processing by thecomputing unit 85, like the I-picture data. Since the P picture is an image to be displayed next to the next B picture, it is not yet output to theformat conversion circuit 32 at this point. That is, as described above, the P picture input after the B picture is processed and transmitted before the B picture.
[0060]
When the image data supplied from theinverse DCT circuit 84 is B-picture data, it is stored in the forwardprediction image unit 86a of theframe memory 86 corresponding to the prediction mode supplied from the variablelength decoding circuit 82. I-picture image data (in the case of forward prediction mode), P-picture image data stored in the backwardprediction image portion 86b (in the case of backward prediction mode), or both of them (in the case of bidirectional prediction mode) In themotion compensation circuit 87, motion compensation corresponding to the motion vector output from the variablelength decoding circuit 82 is performed, and a predicted image is generated. However, when motion compensation is not required, that is, in the case of the intra-picture prediction mode, a predicted image is not generated.
[0061]
The data subjected to the motion compensation in themotion compensation circuit 87 in this way is added to the output of theinverse DCT circuit 84 in thearithmetic unit 85. This addition output is output to theformat conversion circuit 32. However, since this added output is B-picture data and is not used for generating a predicted image of another image, it is not stored in theframe memory 86. After the B-picture image is output, the P-picture image data stored in the backward predictedimage unit 86 b is read and supplied to thecalculator 85 via themotion compensation circuit 87. However, motion compensation is not performed at this time.
[0062]
Thedecoder 31 does not show circuits corresponding to the predictionmode switching circuit 52 and the DCTmode switching circuit 55 in theencoder 18 of FIG. This is because themotion compensation circuit 87 executes the processing corresponding to these circuits, that is, the processing for returning the configuration in which the signals of the odd and even field lines are separated to the original mixed configuration as necessary. In the above-described processing, the luminance signal processing has been described, but the color difference signal processing is performed in the same manner. However, in this case, the motion vector used is one obtained by halving the luminance signal for the vertical and horizontal directions.
[0063]
[Problems to be solved by the invention]
By the way, the transform coding in the above-described image coding makes it possible to compress the amount of information by using the correlation of input signals and concentrating signal power on a specific coordinate axis. DCT is an example of a transform method used for such transform coding, particularly orthogonal transform. The DCT uses the two-dimensional correlation of the image signal to concentrate the signal power on a specific frequency component and encodes only the concentrated distribution coefficient, thereby enabling the information amount to be compressed. For example, in a portion where the pattern is flat and the autocorrelation of the image signal is high, the DCT coefficients are concentrated and distributed in low frequency components, and the other components have small values. Therefore, in this case, the amount of information can be compressed by encoding only the coefficients concentrated in the low frequency range.
[0064]
However, in an image signal including an outline such as an edge of an image, DCT coefficients are widely dispersed from a low frequency to a high frequency component. Then, in order to accurately represent a discontinuous point of a signal such as a contour with a DCT coefficient, a very large number of coefficients are required, resulting in a decrease in encoding efficiency. At this time, if the coefficient quantization characteristic is roughened for high compression coding of the image or the coefficient of the high frequency component is cut off as in the past, the degradation of the image signal is noticeable, for example, the fluctuation around the contour. Such distortion (Coloknife ect or mosquito noise, etc., hereinafter simply referred to as noise) occurs.
[0065]
In addition, since motion compensation prediction is used in image coding, the noise as described above propagates to the prediction frame one after another and propagates in the time direction. As a result, in the reproduced image, the noise seems to fluctuate irregularly, and it becomes very uncomfortable visually. In order to solve this problem, a pre-filter and a post-filter are used. For example, by using a low-pass filter as the pre-filter and improving the encoding efficiency, the generation of noise can be suppressed. The post filter is also used to remove noise generated using a low-pass filter so as not to be noticeable. Examples of such a post filter include an ε filter and a median filter.
[0066]
However, when the front filter and the rear filter are used in order to reduce mosquito noise as described above, not only mosquito noise is reduced but also important visual information of the image signal is lost. That is, in a signal band with a poor S / N ratio, it is difficult to distinguish between image distortion and fine pattern of the image, and there is a problem that a low-pass filter loses the pattern on the flat part of the image and results in a blurred image.
[0067]
The present invention has been made in consideration of the above points, and is a moving picture coding method and moving picture decoding capable of minimizing the reduction of information on a fine pattern of an image while reducing noise even in a signal band having a poor S / N ratio. The present invention intends to propose a coding method and a moving image coding apparatus.
[0068]
[Means for Solving the Problems]
In order to solve such a problem, the present invention is a moving picture encoding method, which divides a block unit signal input as a preprocessing result for a moving picture signal into a high frequency component and a low frequency component, and an edge in the high frequency component information,amplitude Investigate the correlation between the information and luminance signal and the color difference signal, determine the nonlinear quantization characteristic to be used according to the result of the investigation, quantize the high-frequency component according to the determined nonlinear quantization characteristic, and quantize the high-frequency component And the low-frequency component, and the orthogonal transformation process is performed on the synthesis result.
[0070]
The present invention is also a moving picture decoding method, wherein a block unit signal obtained as a result of restoration processing in block units for a moving picture encoded signal is divided into a high frequency component and a low frequency component, Edge information,amplitude The correlation between the information and luminance signal and the color difference signal is examined, and the nonlinear inverse quantization characteristic to be used is determined according to the examination result, and the high frequency component is inversely quantized according to the determined nonlinear inverse quantization characteristic, and the inverse quantization is performed. The high frequency component and the low frequency component are synthesized.
[0071]
Further, the present invention is a moving image encoding apparatus, a dividing unit that divides a block unit signal input as a preprocessing result for a moving image signal into a high frequency component and a low frequency component, and a high frequency divided by the dividing unit Edge information in components,amplitude The correlation between the information and luminance signal and the color difference signal is examined, and the characteristic determining means for determining the nonlinear quantization characteristic to be used according to the result of the investigation, and the high frequency component is quantized according to the nonlinear quantization characteristic determined by the characteristic determining means. High-frequency component quantizing means, synthesizing means for synthesizing the high-frequency component quantized by the high-frequency component quantizing means, and low-frequency components, and orthogonal processing for performing orthogonal transformation processing on the result synthesized by the synthesizing means Conversion means is provided.
[0072]
Furthermore, the present invention provides a moving picture decoding method, a dividing unit that divides a block unit signal obtained as a result of a block unit restoration process for a moving picture encoded signal into a high frequency component and a low frequency component; Edge information in high frequency components divided by means,amplitude The correlation between the information and the luminance signal and the color difference signal is examined, and the characteristic determining means for determining the nonlinear inverse quantization characteristic to be used according to the result of the examination, and the high frequency component according to the nonlinear inverse quantization characteristic determined by the characteristic determining means There is provided a high frequency component dequantizing means for dequantizing and a synthesizing means for synthesizing the high frequency component dequantized by the high frequency component dequantizing means and the low frequency component.
[0073]
[Action]
The mode of the moving image signal is switched using a predetermined predicted image signal, the signal whose mode is switched is orthogonally transformed, the orthogonally transformed signal is quantized, and the quantized signal is encoded by variable length coding. When performing the quantization process, the signal band in which the SN ratio of the moving image signal is reduced is quantized and emphasized based on the nonlinear characteristic. On the decoding side, the moving image encoded signal is inversely quantized and demodulated based on a nonlinear characteristic having a characteristic opposite to that on the code side. As a result, even when it is difficult to distinguish between image distortion and fine pattern of the image, it is possible to suppress the reduction of the pattern on the flat part of the image signal, so that the fine pattern information of the image can be reduced while reducing noise. Can improve the presser foot, SN ratio and visual impression.
[0074]
【Example】
Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.
[0075]
(1) First embodiment
FIG. 1 shows the first embodiment of the present invention as a whole. In this embodiment, the conventional quantization circuit (NLQ) 70 and the nonlinear inverse quantization circuit (NLIQ) 71 are excluded, and the conventional circuit shown in FIG. The configuration is the same as that of the moving image encoding apparatus. Thenonlinear quantization circuit 70 will be described with reference to FIG. That is, thenon-linear quantization circuit 70 receives the pixel value of the block in the case of the intra-frame coding macro block, and the inter-frame difference value after motion compensation is performed in the case of the inter-frame coding macro block. Each is supplied to theinput terminal 200. The image signal S201 supplied to theinput terminal 200 is input to a low-pass filter (LPF) 201 and anadder 202. The low-pass filter 201 extracts a low-frequency component of the input image signal S201. The output of the low-pass filter 201 is output to theadders 202 and 204.
[0076]
Theadder 202 calculates and outputs the difference between the input image signal S201 and the output value S202 of the low-pass filter 201 (S203). Since the output value S202 of the low-pass filter 201 is a low-frequency component of the image signal, the output S203 of theadder 202 is a signal indicating the amplitude of the high-frequency component of the image. The signal S203 is input to thenonlinear quantization circuit 203 of the high frequency signal and thecontroller 206 of the quantization circuit.
[0077]
The high-frequency signalnonlinear quantization circuit 203 performs nonlinear quantization using the nonlinear characteristics shown in FIG. The horizontal axis in the figure is the value (amplitude value) of the input image signal S203, and the vertical axis is the value (amplitude value) of the output signal S204. Here, only the positive side characteristic is shown. The negative side is the origin object. A dotted line indicated by y = x represents a normal linear quantization characteristic. When the linear quantization characteristic is used, the input signal S203 and the output signal S204 of the high-frequency signalnonlinear quantization circuit 203 are the same signal, and accordingly, the input signal and the output signal of thenonlinear quantization circuit 70 are the same signal. FIG. 3 shows an example where the nonlinear characteristic is NC, but several nonlinear quantization characteristics can be considered. Therefore, in the case of the characteristic of FIG. 3, a value larger than the input signal S203 is output as S204.
[0078]
The nonlinear quantization characteristics of the high-frequency signalnonlinear quantization circuit 203 can be switched adaptively. Thecontroller 206 of the quantization circuit inspects the property of the high-frequency signal S203 of the high-frequency signalnonlinear quantization circuit 203, determines the nonlinear quantization characteristic according to the property, and determines the signal QL indicating the quantization characteristic as the high-frequency signal. It outputs to thenonlinear quantization circuit 203. In this embodiment, the controller of the quantization circuit is not used, and the same quantization characteristic is always used. The output signal S204 of the high-frequency signalnonlinear quantization circuit 203 is input to theadder 204. Theadder 204 adds the signal S204 and the output signal S202 of the low-pass filter 201 and outputs the sum (S205).
[0079]
S202 is a low-frequency component of the image signal S201 input to thenonlinear quantization circuit 70, and S204 is a high-frequency component after the nonlinear quantization of S201. Therefore, the output S205 of thenonlinear quantization circuit 70 is a signal in which the high frequency component of the input signal S201 is emphasized. The image signal whose high frequency is emphasized by thenonlinear quantization circuit 70 is input to theDCT circuit 56.
[0080]
As in the conventional case, theDCT circuit 56 performs DCT conversion, inputs the converted value to thequantization circuit 57, and inputs the value after quantization to the variablelength encoding circuit 58. The output of thequantization circuit 57 is also input to theinverse quantization circuit 60. Theinverse quantization circuit 60 performs the reverse operation of thequantization circuit 57. Theinverse DCT circuit 61 performs inverse DCT conversion on the output value of theinverse quantization circuit 60 and then inputs the restored signal to the nonlinearinverse quantization circuit 71.
[0081]
The nonlinearinverse quantization circuit 71 is configured as shown in FIG. 4 and performs the reverse operation of thenonlinear quantization circuit 70. Asignal S 401 input from theinput terminal 400 of the nonlinearinverse quantization circuit 71 is input to the low-pass filter 401 and theadder 402. The low-pass filter 401 extracts the low frequency component of the signal S401. The output signal S402 of the low-pass filter 401 is input to theadders 402 and 404. Theadder 402 calculates and outputs the difference between the signals S401 and S402 (S403). Thus, the signal S402 represents the low frequency component of the signal S401, and the signal S403 represents the high frequency component of the signal S401. The signal S403 is input to the high-frequency signal nonlinearinverse quantization circuit 403.
[0082]
The high-frequency signal nonlinearinverse quantization circuit 403 performs nonlinear quantization using the nonlinear characteristic INC shown in FIG. The nonlinear characteristic INC shown in FIG. 5 is symmetrical with the nonlinear characteristic NC shown in FIG. That is, each characteristic in FIGS. 3 and 5 is symmetrical with respect to the straight line y = x. Here, only the positive side characteristics are shown. The negative side is the origin object.
[0083]
The horizontal axis in FIG. 5 is the value (amplitude value) of the input image signal S403, and the vertical axis is the value (amplitude value) of the output signal S404. A dotted line indicated by y = x represents a linear inverse quantization characteristic. When the linear quantization characteristic is used, the input signal S403 and the output signal S404 of the nonlinearinverse quantization circuit 403 of the high frequency signal are the same signal, and therefore the input signal and the output signal of the nonlinearinverse quantization circuit 71 are the same signal. Become.
[0084]
Thecontroller 406 of the inverse quantization circuit determines the inverse quantization characteristic to be used in the nonlinearinverse quantization circuit 403 of the high frequency signal, and uses the signal QL indicating the inverse quantization characteristic to be used as the nonlinearinverse quantization circuit 403 of the high frequency signal. Output to. Thecontroller 406 of the inverse quantization circuit checks the property of the high-frequency signal S403 and determines the inverse quantization characteristic to be used according to the property, or a signal (QL indicating the inverse quantization property input from the outside). ) To determine the inverse quantization characteristics to be used.
[0085]
In this embodiment, since the same inverse quantization characteristic is always used, thecontroller 406 of the inverse quantization circuit is not used. The inverse quantization characteristic used in the high-frequency signal nonlinearinverse quantization circuit 403 must be an inverse quantization characteristic that performs an operation opposite to the quantization characteristic used in the high-frequency signalnonlinear quantization circuit 203. The output of the high-frequency signal nonlinearinverse quantization circuit 403 is input to theadder 404. Theadder 404 adds the signal S404 and the signal S402 and outputs them (S405). As described above, the nonlinearinverse quantization circuit 71 performs an operation for restoring the high-frequency component emphasized by thenonlinear quantization circuit 70.
[0086]
The principle by which such a nonlinear quantization operation reduces noise such as mosquito noise generated by transform coding will be described. FIG. 6 shows how the signal changes in thenonlinear quantization circuit 70 of FIG. (A) is an example of the signal S201. From the signal (a), a low frequency component as shown in (b) is extracted by the low-pass filter 201. This is signal S202.
[0087]
On the other hand, theadder 202 calculates the difference between S201 and S202 and outputs a signal S203 as a high frequency component as shown in (d). The difference between the maximum value of the signal and the flat part at this time is expressed as A₁ And At this time, the high frequency component is emphasized by nonlinear quantization. An output S204 of the high-frequency signalnonlinear quantization circuit 203 is shown in FIG. At this time, the difference between the maximum value of the signal and the flat portion is A₂ (A₂ > A₁ ). Theadder 204 adds the signal S202 and the signal S204 to generate an output signal S205 (f).
[0088]
FIG. 7 shows the nonlinear quantization characteristics. The horizontal axis is the value of the input signal, and the vertical axis is the value of the output signal. Here, only the positive side characteristic is shown. The negative side is the origin object. Here, it is assumed that the maximum value of distortion and noise components generated during transform coding has a value that is 50% of the maximum value of the signal input to the transform circuit (DCT circuit in this embodiment). That is, there is a linear relationship with the maximum value of the input to the conversion circuit. The maximum value of the input signal is A₁ Consider the case. Without nonlinear quantization, the maximum distortion caused by transform coding is N₁ (FIG. 7). When nonlinear quantization is performed, A₁ Is A₂ = A x A₁ It becomes. At this time, since the maximum value of distortion is 50% of the signal input to DCT, the maximum value of distortion caused by DCT conversion of the value after nonlinear quantization is N₂ = A x N₁ It is thought that it becomes.
[0089]
FIG. 8 shows how the signal changes in the nonlinearinverse quantization circuit 71 of FIG. 6A shows the processing of the signal of FIG. 6F by theDCT conversion circuit 56, thequantization circuit 57, theinverse quantization circuit 60, and theinverse DCT circuit 61, and then inputs the processed signal to the nonlinearinverse quantization circuit 71. The signal S401 is shown. A low frequency component S402 is extracted from the signal S401 by the low-pass filter 401. The signal S402 is shown in (b).
[0090]
Theadder 402 extracts the high frequency component S403 by taking the difference between the signal S401 and the signal S402. S403 is shown in (d). Distortion caused by transform coding is added to the signal shown in (d). At this time, the maximum value of the signal is A₂ ', The maximum value of distortion is N₂ Let's say that.
[0091]
An output S403 of the high-frequency signal nonlinearinverse quantization circuit 403 is shown in FIG. Also, the inverse quantization characteristics are shown in FIG. By non-linear inverse quantization, the maximum value of the signal is A_Three = A₂ '/ A. At this time, the maximum distortion value is N._Three It becomes. The maximum distortion without nonlinear dequantization is N₂ '/ A. Compared to the case without nonlinear quantization, N₁ -N_Three It can be seen that the maximum value of distortion has decreased.
[0092]
With the above method, it is possible to reduce distortion by emphasizing and encoding high-frequency components. This nonlinear quantization operation is performed in units of blocks input to the conversion circuit (in this embodiment, the DCT conversion circuit). This is because the degradation caused by transform coding is closed in the block. This prevents information from being lost more than necessary beyond the block.
[0093]
FIG. 10 shows a moving picture decoding apparatus according to the first embodiment. Except for the non-linear inverse quantization circuit (NLIQ) 91, it is the same as that of the prior art, so the description of the parts already described in the prior art is omitted. The nonlinearinverse quantization circuit 91 will be described. The nonlinearinverse quantization circuit 91 is a circuit similar to the nonlinearinverse quantization circuit 71 described above with reference to FIGS. Is to do. At this time, the nonlinear quantization characteristic of thenonlinear quantization circuit 70 and the nonlinear inverse quantization characteristic of the nonlinearinverse quantization circuit 91 are opposite to each other.
[0094]
In this embodiment, the non-linear quantization circuit is provided immediately before the DCT circuit, and the non-linear inverse quantization circuit is provided immediately after the inverse DCT circuit, thereby maintaining consistency between the image signal encoding device and the image signal decoding device. I can do it. Also, with the method in this embodiment, it is possible to reproduce a minimum image even when the image signal decoding apparatus does not have a nonlinear inverse quantization circuit. When the image signal decoding device does not have a non-linear inverse quantization circuit, a signal with high frequency components being emphasized is decoded and displayed. The image signal decoding apparatus in this case is the same as the conventional example.
[0095]
Further, the inverse quantization characteristics of the nonlinear inverse quantizer 71 (or 91) and the quantization characteristics of thenonlinear quantizer 70 do not necessarily have to be opposite characteristics. When the degree of demodulation of the inverse quantization characteristic is larger than the degree of enhancement of the quantization characteristic, an effect of applying a low pass filter to the decoded image is obtained, and in the opposite case, an effect of applying contour enhancement to the decoded image is obtained. can get.
[0096]
According to the above configuration, the S / N ratio can be effectively improved by performing the pre-processing and post-processing having nonlinear characteristics in cooperation with a signal band in which the S / N ratio tends to be deteriorated by encoding. In other words, in a signal band with a poor signal-to-noise ratio, it is possible to suppress the reduction of fine pattern information of an image while reducing mosquito noise, so that even when it is difficult to distinguish the distortion of the conventional image from the fine pattern of the image. Since the reduction of the pattern on the flat portion of the image signal can be suppressed, the SN ratio can be improved and the visual impression can be improved.
[0097]
Furthermore, since distortion in transform coding occurs in a block used for transform, the above pre-processing and post-processing operations are performed in units of blocks for transform coding, so that the mosquito noise in the time direction can be reduced. Propagation can be reduced. As a result, since the conventional motion compensation prediction is used, the noise fluctuation seen by the propagation of the distortion noise in the time direction is reduced, and the visual impression can be improved.
[0098]
(2) Second embodiment
The second embodiment is a modification of the first embodiment, and has the same configuration as the first embodiment except for the nonlinear quantization circuit (NLQ) 70 and the nonlinear inverse quantization circuits (NLIQ) 71 and 91. . That is, FIG. 11 shows the internal configuration of thenonlinear quantization circuit 70 in the second embodiment. The image signal S1100 input to thenonlinear quantization circuit 70 is input to the bandpass filter 1 (1101) to the bandpass filter n (110n).
[0099]
Band pass filter 1 (1101) to band pass filter n (110n) are filters having different pass frequency bands. The bandpass filter 1 (1101) is the filter with the lowest pass frequency band (low-pass filter), and the bandpass filter n (110n) is the filter with the highest pass frequency band (high-pass filter).
[0100]
Bandpass filter output signals S1101 to S110n are respectively input to the first nonlinear quantization circuit (1121) to the nth nonlinear quantization circuit (112n). Each frequency component of the input signal S1100 is nonlinearly quantized with different quantization characteristics depending on the frequency.
[0101]
An example of the quantization characteristic of each nonlinear quantization circuit shown in FIG. 11 is shown in FIG. The frequency characteristic of the first nonlinear quantization circuit (1121) is characteristic 1 in FIG. 13, and the quantization characteristic of the nth nonlinear quantization circuit (112n) is characteristic n. As the frequency component becomes lower, a quantization characteristic that is closer to the linear quantization characteristic (y = x) is used. Therefore, the higher frequency components are emphasized. Output signals S1121 to S112n from the nonlinear quantization circuit are input to theadder 1130. Theadder 1130 adds and outputs each frequency component after nonlinear quantization (S1130).
[0102]
Next, the nonlinearinverse quantization circuits 71 and 91 in this embodiment will be described with reference to FIG. FIG. 12 is a configuration diagram of the nonlinearinverse quantization circuits 71 and 91. That is, the output signal S1200 from the inverse DCT circuit is input to the first band-pass filter (1201) to the n-th band-pass filter (120n). The first band-pass filter (1201) to the n-th band-pass filter n (120n) are filters having different pass bands. The first band pass filter (1201) is the filter having the lowest pass band (low pass filter), and the n th band pass filter (120n) is the filter having the highest pass band (high pass filter).
[0103]
Output signals S1201 to S120n from the bandpass filters (1201 to 120n) are input to the first nonlinear inverse quantization circuit (1221) to the nth nonlinear inverse quantization circuit (122n), respectively. For each frequency component of the signal S1200 from the inverse DCT circuit, nonlinear inverse quantization having different inverse quantization characteristics depending on the frequency is performed.
[0104]
An example of the inverse quantization characteristic of each nonlinear inverse quantization circuit shown in FIG. 12 is shown in FIG. The frequency characteristic of the first nonlinear inverse quantization circuit (1221) is the characteristic 1 in FIG. 14, and the quantization characteristic of the nth nonlinear inverse quantization circuit (122n) is the characteristic n. As the frequency component becomes lower, an inverse quantization characteristic is used that becomes closer to the linear quantization characteristic (y = x). At this time, each inverse quantization characteristic must be a characteristic that performs the reverse operation of the quantization characteristic. For example, theinverse quantization characteristic 1 must be a characteristic that performs the reverse operation of thequantization characteristic 1. This means that thequantization characteristic 1 and theinverse quantization characteristic 1 must have a symmetrical relationship with respect to y = x.
[0105]
Output signals S1221 to S122n from the nonlinear inverse quantization circuit are input to theadder 1230. Theadder 1230 adds the frequency components after nonlinear quantization and outputs them (S1231). The high frequency components emphasized by the nonlinearinverse quantization circuits 71 and 91 are returned to the original level. The second embodiment is characterized in that the nonlinear quantization characteristic is adaptively switched according to the frequency component of the input image signal as described above. Thus, in the case of the second embodiment, the S / N ratio can be further improved by adaptively switching the quantization characteristic according to the frequency component of the input signal, and the visual impression of the image is also improved. Can be made.
[0106]
(3) Third embodiment
The third embodiment is also a modification of the first embodiment, and is the same as the first embodiment except for thenonlinear quantization circuit 70 and the nonlinearinverse quantization circuit 71. The overall configuration of the image encoding apparatus in the third embodiment is the same as that of the first embodiment and has the configuration shown in FIG. The configuration of thenonlinear quantization circuit 70 is given in FIG. 2 as in the first embodiment. In the third embodiment, thequantization circuit controller 206 adaptively switches the quantization characteristic used in the high-frequency signalnonlinear quantization circuit 203.
[0107]
Thecontroller 206 of the quantization circuit examines the characteristics of the input image signal S201 and determines the quantization characteristics to be used according to the characteristics. In this case, a signal QL indicating the quantization characteristic to be used is output to the high-frequency signalnonlinear quantization circuit 203. The quantization characteristic group is given, for example, in FIG. The characteristic of the input image signal is, for example, edge information, and is, for example, amplitude information of the input signal, and is, for example, the correlation between the luminance and the color difference signal. The signal QL indicating the quantization characteristic is also output to the variablelength coding circuit 58. In the variablelength coding circuit 58, the signal QL indicating the quantization characteristic is variable length coded and transmitted.
[0108]
The configuration of the image decoding apparatus in this embodiment is the same as that of the first embodiment and is given in FIG. The configuration of the nonlinearinverse quantization circuits 71 and 91 is given in FIG. 4 as in the first embodiment. In the third embodiment, thecontroller 406 of the inverse quantization circuit adaptively switches the inverse quantization characteristics used in the nonlinearinverse quantization circuit 403 for high frequency signals. The signal QL indicating the quantization characteristic transmitted from the image signal encoding apparatus is decoded by the variablelength decoding circuit 82 and output to the nonlinearinverse quantization circuit 91 as a signal QL ′ indicating the inverse quantization characteristic.
[0109]
Thecontroller 406 of the inverse quantization circuit determines the inverse quantization characteristic according to the signal QL ′ indicating the inverse quantization characteristic, and outputs it to the nonlinearinverse quantization circuit 403 of the high frequency signal. The high-frequency signal nonlinearinverse quantization circuit 403 switches the inverse quantization characteristics in accordance with the signal QL ′ indicating the inverse quantization characteristics. The inverse quantization characteristic is given, for example, in FIG. Thus, in the case of the third embodiment, the S / N ratio and the visual impression can be further improved by adaptively switching the quantization characteristics according to the properties of the input image signal.
[0110]
(4) Fourth embodiment
The fourth embodiment is an embodiment effective when the nonlinear quantization circuit and the nonlinear inverse quantization circuit cannot be installed before and after the conversion circuit (DCT and IDCT circuits in this embodiment). FIG. 15 shows a configuration diagram of an image signal encoding apparatus in the fourth embodiment. The difference from the first embodiment is that thenonlinear quantization circuit 70 is placed at the head of the encoding apparatus. In FIG. 15, thenonlinear quantization circuit 70 is placed before the motionvector detection circuit 50, but after the motionvector detection circuit 50, that is, between the motionvector detection circuit 50 and the predictionmode switching circuit 52. good.
[0111]
The configuration of thenonlinear quantization circuit 70 is the same as that of the first embodiment and is shown in FIG. In the fourth embodiment, since nonlinear quantization is performed before motion compensation, the signal itself input to the DCT circuit cannot be processed. The non-linear quantization is performed in units of blocks input to the conversion circuit (DCT circuit) as in the first embodiment. In this case, the same result as in the first embodiment can be obtained when interframe coding is not performed, that is, in the case of intraframe coding macroblock.
[0112]
An image signal decoding apparatus in the fourth embodiment is shown in FIG. The difference from the first embodiment is that a nonlinearinverse quantization circuit 91 is placed at the end of the decoding circuit. The image signal is decoded by thedecoding circuit 90 and then nonlinearly dequantized by the nonlinearinverse quantization circuit 91. The configuration of the nonlinearinverse quantization circuit 91 is the same as that of the first embodiment and is given in FIG. The operation of the nonlinearinverse quantization circuit 91 is the same as that of the first embodiment.
[0113]
In the fourth embodiment, since the non-linear quantization circuit is in the preceding stage of the motion compensation circuit, consistency is not always obtained between the non-linear quantization and the non-linear dequantization between the encoding device and the decoding device. Distortion caused by transform coding can be removed based on the same principle as shown in the first embodiment. As described above, in the case of the fourth embodiment, even when the nonlinear quantization circuit and the nonlinear inverse quantization circuit cannot be provided immediately before and immediately after the conversion circuit, the forefront part of the encoding device and the last of the decoding device are provided. By providing a non-linear quantization and non-linear inverse quantization circuit in the part, it is possible to prevent loss of detailed information of an image while reducing mosquito noise in a signal band having a poor S / N ratio.
[0114]
(5) Fifth embodiment
The fifth embodiment is a modification of the fourth embodiment and the second embodiment. Except for the nonlinear quantization circuit and the nonlinear inverse quantization circuit, this embodiment is the same as the fourth embodiment. The configurations of the image signal encoding circuit and the image signal decoding apparatus in the fifth embodiment are the same as those in the fourth embodiment, and have the configurations shown in FIGS. The configuration of thenonlinear quantization circuit 70 in the fifth embodiment is the same as that of the second embodiment and is given in FIG. The configuration of the nonlinearinverse quantization circuit 71 in the fifth embodiment is the same as that of the second embodiment and is given in FIG. The fifth embodiment is an embodiment in which the fourth embodiment is modified and the nonlinear quantization characteristic is adaptively switched according to the frequency component of the input image signal as in the second embodiment. .
[0115]
(6) Sixth embodiment
The sixth embodiment is a modification of the fourth embodiment and the third embodiment. Except for the nonlinear quantization circuit and the nonlinear inverse quantization circuit, this embodiment is the same as the fourth embodiment. The configuration of the image signal encoding circuit and the image signal decoding apparatus in the sixth embodiment is the same as that of the fourth embodiment and has the configuration shown in FIGS. The configuration of thenonlinear quantization circuit 70 in the sixth embodiment is the same as that of the third embodiment and is given in FIG.
[0116]
The configuration of the nonlinearinverse quantization circuit 71 in the sixth embodiment is the same as that of the third embodiment and is given in FIG. The sixth embodiment is an embodiment in which the fourth embodiment is modified so that the nonlinear quantization characteristic is adaptively switched according to the frequency component of the input image signal as in the third embodiment. . The used nonlinear quantization characteristic is variable-length encoded and transmitted to the image signal decoding apparatus. In the image signal decoding apparatus, the nonlinear inverse quantization characteristic is determined from the transmitted nonlinear quantization characteristic.
[0117]
【The invention's effect】
As described above, according to the present invention, the S / N ratio can be effectively improved by performing the processing having the nonlinear characteristic in cooperation with the signal band in which the S / N ratio tends to be deteriorated by the encoding process. In other words, in a signal band with a poor signal-to-noise ratio, it is possible to suppress the reduction of fine pattern information of an image while reducing mosquito noise, so that even when it is difficult to distinguish the distortion of the conventional image from the fine pattern of the image. Since the reduction of the pattern on the flat portion of the image signal can be suppressed, it is possible to realize a moving image encoding method, a moving image decoding method, and a moving image encoding device that can improve the SN ratio and improve the visual impression. .
[0118]
Further, since distortion in transform coding is generated by being closed in a block used for transform, the above-described processing operation is performed in units of blocks for transform coding to reduce propagation of mosquito noise in the time direction. It becomes possible. As a result, since the conventional motion compensated prediction is used, the fluctuation of noise seen by the propagation of distortion noise in the time direction is reduced, and the moving picture coding method and the moving picture decoding that can improve the visual impression. A method and a moving picture coding apparatus can be realized.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an embodiment of an image signal encoding apparatus according to the present invention.
FIG. 2 is a block diagram showing a configuration of a nonlinear quantization circuit.
FIG. 3 is a characteristic curve diagram for explaining a nonlinear quantization characteristic.
FIG. 4 is a block diagram showing a configuration of a non-linear inverse quantization circuit.
FIG. 5 is a characteristic curve diagram for explaining a nonlinear quantization characteristic.
FIG. 6 is a signal waveform diagram for explaining signal changes in the nonlinear quantization circuit;
FIG. 7 is a characteristic curve diagram for explaining a nonlinear quantization characteristic.
FIG. 8 is a signal waveform diagram for explaining signal changes in the nonlinear inverse quantization circuit;
FIG. 9 is a characteristic curve diagram for explaining a nonlinear inverse quantization characteristic.
FIG. 10 is a block diagram showing a configuration of an embodiment of a moving picture decoding apparatus according to the present invention.
FIG. 11 is a block diagram showing a configuration of a nonlinear quantization circuit in the second embodiment.
FIG. 12 is a block diagram showing a configuration of a non-linear inverse quantization circuit in the second embodiment.
FIG. 13 is a characteristic curve diagram for explaining a quantization characteristic of a nonlinear quantization circuit.
FIG. 14 is a characteristic curve diagram for explaining an inverse quantization characteristic of a nonlinear inverse quantization circuit.
FIG. 15 is a block diagram showing a configuration of a moving image encoding apparatus according to a fourth embodiment.
FIG. 16 is a block diagram showing a configuration of a moving picture decoding apparatus according to the fourth embodiment.
FIG. 17 is a schematic diagram for explaining the principle of compression coding of a moving image signal when inter-frame correlation is used.
FIG. 18 is a schematic diagram for explaining a picture type when image data is compressed.
FIG. 19 is a schematic diagram for explaining a principle of encoding a moving image signal.
FIG. 20 is a block diagram illustrating a configuration of an image signal encoding device and decoding device.
FIG. 21 is a schematic diagram for explaining an operation of format conversion of the format conversion circuit in FIG. 20;
22 is a block diagram showing the configuration of the encoder in FIG. 20. FIG.
FIG. 23 is a schematic diagram for explaining the operation of the prediction mode switching circuit in FIG. 22;
24 is a schematic diagram for explaining an operation of the DCT mode switching circuit in FIG. 22;
FIG. 25 is a block diagram showing a configuration example of the decoder in FIG. 20;
[Explanation of symbols]
DESCRIPTION OFSYMBOLS 1 ... Encoding apparatus, 2 ... Decoding apparatus, 3 ... Recording medium, 12, 13 ... A / D converter, 14 ... Frame memory, 15 ... Luminance signal frame memory, 16 ... Color difference signal Frame memory, 17 ... format conversion circuit, 18 ... encoder, 31 ... decoder, 32 ... format conversion circuit, 33 ... frame memory, 34 ... luminance signal frame memory, 35 ... chrominance signal frame memory, 36 , 37... D / A converter, 50... Motion vector detection circuit, 51... Frame memory, 52 .. prediction mode switching circuit, 53.Switching circuit 56...DCT circuit 57...Quantization circuit 58... Variablelength coding circuit 59 ..Transmission buffer 60 ..Inverse quantization circuit 61.Path 62...Arithmetic unit 63 63frame memory 64motion compensation circuit 81reception buffer 82 variablelength decoding circuit 83inverse quantization circuit 84 inverse DCT circuit , 85... Arithmetic unit, 86... Frame memory, 87.

Claims (4)

Translated fromJapanese

動画像信号に対する前処理結果として入力されるブロック単位の信号を高周波成分及び低周波成分に分割する第１のステップと、
上記高周波成分におけるエッジ情報、振幅情報及び輝度信号と色差信号との相関を調べ、当該調べた結果に応じて使用する非線形量子化特性を決定する第２のステップと、
決定された非線形量子化特性に従って上記高周波成分を量子化する第３のステップと、
量子化された高周波成分と、上記低周波成分とを合成する第４のステップと、
上記合成の結果に対して直交変換処理を施す第５のステップと
を具えることを特徴とする動画像符号化方法。A first step of dividing a block-unit signal input as a pre-processing result for a moving image signal into a high-frequency component and a low-frequency component;
A second step of examining edge information,amplitude information, and a correlation between a luminance signal and a color difference signal in the high-frequency component, and determining a nonlinear quantization characteristic to be used in accordance with the examination result;
A third step of quantizing the high frequency component according to the determined nonlinear quantization characteristic;
A fourth step of combining the quantized high frequency component and the low frequency component;
A moving image encoding method comprising: a fifth step of performing orthogonal transform processing on the synthesis result. 動画像符号化信号に対するブロック単位での復元処理結果として得られたブロック単位の信号を高周波成分及び低周波成分に分割する第１のステップと、
上記高周波成分におけるエッジ情報、振幅情報及び輝度信号と色差信号との相関を調べ、当該調べた結果に応じて使用する非線形逆量子化特性を決定する第２のステップと、
決定された非線形逆量子化特性に従って上記高周波成分を逆量子化する第３のステップと、
逆量子化された高周波成分と、上記低周波成分とを合成する第４のステップと
を具えることを特徴とする動画像復号化方法。A first step of dividing a block unit signal obtained as a result of a block unit restoration process for a moving image encoded signal into a high frequency component and a low frequency component;
A second step of examining edge information,amplitude information, and a correlation between a luminance signal and a color difference signal in the high-frequency component, and determining a nonlinear inverse quantization characteristic to be used in accordance with the examined result;
A third step of dequantizing the high frequency component according to the determined non-linear dequantization characteristic;
A moving picture decoding method comprising: a fourth step of synthesizing the inversely quantized high frequency component and the low frequency component. 動画像信号に対する前処理結果として入力されるブロック単位の信号を高周波成分及び低周波成分に分割する分割手段と、
上記分割手段により分割された高周波成分におけるエッジ情報、振幅情報及び輝度信号と色差信号との相関を調べ、当該調べた結果に応じて使用する非線形量子化特性を決定する特性決定手段と、
上記特性決定手段により決定された非線形量子化特性に従って上記高周波成分を量子化する高周波成分量子化手段と、
上記高周波成分量子化手段により量子化された高周波成分と、上記低周波成分とを合成する合成手段と、
上記合成手段により合成された結果に対して直交変換処理を施す直交変換手段と
を具えることを特徴とする動画像符号化装置。A dividing unit that divides a block unit signal input as a preprocessing result for a moving image signal into a high-frequency component and a low-frequency component;
Characteristic determining means for examining the correlation between edge information,amplitude information, and luminance signal and color difference signal in the high-frequency component divided by the dividing means, and determining a nonlinear quantization characteristic to be used according to the examined result;
High-frequency component quantization means for quantizing the high-frequency component according to the nonlinear quantization characteristic determined by the characteristic determination means;
A synthesis means for synthesizing the high frequency component quantized by the high frequency component quantization means and the low frequency component;
A moving picture coding apparatus comprising: orthogonal transform means for performing orthogonal transform processing on the result synthesized by the synthesis means. 動画像符号化信号に対するブロック単位での復元処理結果として得られたブロック単位の信号を高周波成分及び低周波成分に分割する分割手段と、
上記分割手段により分割された高周波成分におけるエッジ情報、振幅情報及び輝度信号と色差信号との相関を調べ、当該調べた結果に応じて使用する非線形逆量子化特性を決定する特性決定手段と、
上記特性決定手段により決定された非線形逆量子化特性に従って上記高周波成分を逆量子化する高周波成分逆量子化手段と、
上記高周波成分逆量子化手段により逆量子化された高周波成分と、上記低周波成分とを合成する合成手段と
を具えることを特徴とする動画像復号化装置。A dividing unit that divides a block unit signal obtained as a result of the block unit restoration process for the moving image encoded signal into a high frequency component and a low frequency component;
Characteristic determining means for examining the correlation between edge information,amplitude information, and luminance signal and color difference signal in the high-frequency component divided by the dividing means, and determining a nonlinear inverse quantization characteristic to be used according to the examined result;
High-frequency component dequantization means for dequantizing the high-frequency component according to the nonlinear dequantization characteristic determined by the characteristic determination means;
A moving picture decoding apparatus comprising: a high-frequency component inversely quantized by the high-frequency component dequantizing means; and a synthesizing means for synthesizing the low-frequency component.

Images