【０００１】[0001]
【産業上の利用分野】本発明は、ディジタル信号の処理
を行なう記録，伝送，表示装置において、信号をより少
ない符号量で効率的に符号化し、復号化する高能率符号
化復号化に係り、特に複数の画像信号を多重する多重符
号化装置及び復号化装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to high-efficiency coding / decoding for efficiently coding and decoding a signal with a smaller code amount in a recording, transmitting, and displaying apparatus for processing a digital signal, In particular, the present invention relates to a multiplex encoding apparatus and a multiplexor apparatus for multiplexing a plurality of image signals.
【０００２】[0002]
【従来の技術】＜多重化＞高能率符号化を用いると従来
の画像１チャンネルの伝送路で、複数の画像を伝送でき
る場合がある。例えば、ＦＭ変調されたＮＴＳＣ信号の
伝送路は２７ＭＨｚの帯域幅を持ち、ディジタル信号な
ら３０Ｍｂｐｓ程度のデータを送ることができる。ＮＴ
ＳＣ信号を動き補償フレーム間予測などで符号化すると
１０Ｍｂｐｓ程度で十分な画質が得られるので、３０Ｍ
ｂｐｓの伝送路なら３種類の画像を伝送することができ
る。2. Description of the Related Art <Multiplexing> When high-efficiency coding is used, there are cases where a plurality of images can be transmitted through a conventional image 1-channel transmission path. For example, the transmission path of an FM-modulated NTSC signal has a bandwidth of 27 MHz, and a digital signal can send data of about 30 Mbps. NT
If the SC signal is encoded by motion-compensated interframe prediction or the like, a sufficient image quality can be obtained at about 10 Mbps.
A bps transmission path can transmit three types of images.
【０００３】＜符号化装置＞従来例の多重符号化装置の
構成を図５に示す。符号化部はふたつの画像に対応して
２系統あり、画像ａ入力１と画像ｂ入力６には異なった
画像信号が入力される。画像ａ入力１に与えられた画像
ａの信号は、ＤＣＴ２で離散コサイン変換（ＤＣＴ）が
行われ、量子化器３に導かれる。量子化器３では、デー
タバッファ５１から与えられる量子化情報のステップ幅
で量子化が行われる。量子化された信号は可変長符号化
器４で圧縮されたデータとなり、データバッファ５１に
与えられる。このデータは可変長符号化されているため
発生量が常に変動しているが、データバッファ５１で変
動が吸収され、一定のレートになって多重化器４５に与
えられる。<Encoding Device> FIG. 5 shows the configuration of a conventional multiple encoding device. There are two encoding units corresponding to the two images, and different image signals are input to the image a input 1 and the image b input 6. The signal of the image a given to the image a input 1 is subjected to the discrete cosine transform (DCT) in the DCT 2 and is guided to the quantizer 3. In the quantizer 3, the quantization is performed with the step width of the quantization information given from the data buffer 51. The quantized signal becomes data compressed by the variable length encoder 4 and is supplied to the data buffer 51. Since this data is variable-length coded, the amount of generation always fluctuates, but the fluctuation is absorbed by the data buffer 51, and the data is supplied to the multiplexer 45 at a constant rate.
【０００４】データバッファ５１の容量には限度がある
ので、それを越えないようにするために発生するデータ
量を制御する必要がある。そこでデータバッファ５１で
のデータの溜まり具合（充足度）により量子化器３の量
子化ステップ幅を変える。データの発生量が多くバッフ
ァにデータが溜ってきた場合、ステップ幅を粗くして発
生するデータ量を抑える。逆にデータが少ない場合に
は、ステップ幅を細かくして発生するデータ量を増や
す。データバッファ５１から発生する量子化の情報は、
多重化器４５にも与えられ復号化装置に伝送される。Since the capacity of the data buffer 51 is limited, it is necessary to control the amount of generated data so as not to exceed the capacity. Therefore, the quantization step width of the quantizer 3 is changed according to the degree of accumulation (sufficiency) of data in the data buffer 51. When a large amount of data is generated and the data is accumulated in the buffer, the step width is coarsened to suppress the amount of generated data. On the contrary, when the amount of data is small, the step width is made fine to increase the amount of generated data. The quantization information generated from the data buffer 51 is
It is also given to the multiplexer 45 and transmitted to the decoding device.
【０００５】一方、画像ｂ入力６に与えられた画像ｂの
信号は、画像ａの信号と同様にＤＣＴ７、量子化器８、
可変長符号化器９で圧縮されたデータとなり、データバ
ッファ５２で一定のレートにされ、多重化器４５に与え
られる。画像ａと同様にデータバッファ５２の充足度に
よって量子化器８が制御される。量子化の情報は画像ａ
のものと異なるので、別に多重化器４５にも与えられ復
号化装置に伝送される。 多重化器４５では画像ａのデ
ータと画像ｂのデータ、さらにそれぞれの量子化情報が
ひとつのデータ列にまとめられ、データ出力１２より復
号化装置に向けて出力される。多重化器４５では数ｋｂ
ｉｔなどの固定の単位で画像ａのデータと画像ｂのデー
タが切り替えられる。On the other hand, the signal of the image b supplied to the image b input 6 is the same as the signal of the image a, DCT 7, quantizer 8,
The data becomes the data compressed by the variable length encoder 9, the data buffer 52 makes it a constant rate, and the data is given to the multiplexer 45. Similar to the image a, the quantizer 8 is controlled by the degree of filling of the data buffer 52. Quantization information is image a
Since it is different from the above, it is also given to the multiplexer 45 separately and transmitted to the decoding device. In the multiplexer 45, the data of the image a, the data of the image b, and the respective quantization information are put together into one data string, which is output from the data output 12 to the decoding device. Several kb in the multiplexer 45
The data of the image a and the data of the image b are switched in a fixed unit such as it.
【０００６】＜復号化装置＞従来例の復号化装置の構成
を図６に示す。符号化装置と同様に復号部は２系統あ
る。データ入力２４より入力された多重データは、多重
分離器２６で画像ａのデータ、画像ｂのデータおよびそ
れぞれの量子化情報に分離される。画像ａのデータはデ
ータバッファ６１で、可変長復号器２０の処理に合わせ
たタイミングにされて出力される。可変長復号器２０で
は可変長符号が固定長符号に戻され、逆量子化器２１で
符号が量子化代表値に変換される。量子化代表値は逆Ｄ
ＣＴ２２でＤＣＴの逆変換が行われて再生画像信号にな
り、画像ａ出力２３から出力される。同様に画像ｂのデ
ータはデータバッファ６２、可変長復号器２７、逆量子
化器２８、逆ＤＣＴ２９で再生画像信号になり、画像ｂ
出力３０から出力される。その際、逆量子化器２１には
図５の量子化器３と同じ量子化情報が、逆量子化器２８
には図５の量子化器８と同じ量子化情報が与えられる。<Decoding Device> FIG. 6 shows the structure of a conventional decoding device. Similar to the encoding device, there are two decoding units. The multiplexed data input from the data input 24 is separated by a demultiplexer 26 into image a data, image b data and respective quantization information. The data of the image a is output by the data buffer 61 at a timing matched with the processing of the variable length decoder 20. The variable length decoder 20 converts the variable length code back into a fixed length code, and the inverse quantizer 21 converts the code into a quantized representative value. Quantization representative value is inverse D
The inverse transform of DCT is performed in CT22 to form a reproduced image signal, which is output from the image a output 23. Similarly, the data of the image b becomes a reproduced image signal in the data buffer 62, the variable length decoder 27, the dequantizer 28, and the inverse DCT 29, and the image b
It is output from the output 30. At that time, the same quantization information as that of the quantizer 3 of FIG.
Is given the same quantization information as the quantizer 8 of FIG.
【０００７】[0007]
【発明が解決しようとする課題】従来の多重符号化装置
は、それぞれの画像に対して独立にデータレートが一定
となるように制御していたので、一方の画像ではデータ
量が十分で不必要に量子化が細かくなっていても、他方
の画像でデータ量が不足して量子化が粗くなり、画質が
劣化する場合が生じ不合理であった。例えば、画像ａが
平坦な画像で画像ｂが複雑な画像の場合では、複雑さに
対処するため画像ｂの量子化が粗くなり画質が劣化し、
また、画像ａが動きのない画像で画像ｂが動きの激しい
画像の場合では、激しい動き（変化）に対処するため画
像ｂの量子化が粗くなり画質が劣化する。In the conventional multi-coding apparatus, each image is controlled so that the data rate becomes constant independently. Therefore, one image has a sufficient data amount and is unnecessary. Even if the quantization is very fine, it is irrational that the image quality may deteriorate due to a lack of data amount in the other image and coarse quantization. For example, in the case where the image a is a flat image and the image b is a complex image, the quantization of the image b becomes coarse and the image quality deteriorates in order to deal with the complexity.
Further, in the case where the image a is a static image and the image b is a dynamic image, the quantization of the image b becomes coarse and the image quality deteriorates in order to cope with the dynamic motion (change).
【０００８】本発明は以上の点に着目してなされたもの
で、多重化後にデータバッファを持ち、複数の符号化系
をそのデータバッファの充足度で制御することで、複数
の画像にまたがって合理的なデータ量配分をすることが
できる多重符号化装置及び復号化装置を提供することを
目的とするものである。The present invention has been made paying attention to the above points, and has a data buffer after multiplexing, and a plurality of encoding systems are controlled by the degree of sufficiency of the data buffer, so that a plurality of images are spread over a plurality of images. An object of the present invention is to provide a multiplex encoding device and a decoding device capable of rational distribution of data amount.
【０００９】[0009]
【課題を解決するための手段】以上の目的を達成するた
めに、例えば、図１に示すように、複数の画像を多重符
号化する装置であって、発生符号化量が可変で、前記各
画像に応じた複数の符号化手段（ＤＣＴ２・量子化器３
・可変長符号化器４と、ＤＣＴ７・量子化器８・可変長
符号化器９）と、前記複数の符号化手段で符号化された
データを多重化する手段（多重化器１０）と、前記多重
化されたデータを蓄積して出力するバッファ手段（デー
タバッファ１１）と、前記バッファ手段の充足度により
（量子化情報として）前記符号化手段の発生符号化量を
制御する手段（量子化制御器５）とからなる多重符号化
装置を提供するものである。In order to achieve the above object, for example, as shown in FIG. 1, there is provided a device for multiple-encoding a plurality of images, wherein the amount of generated encoding is variable, A plurality of encoding means (DCT2 / quantizer 3 according to the image
A variable length encoder 4, a DCT 7, a quantizer 8, a variable length encoder 9), and a means (multiplexer 10) for multiplexing the data encoded by the plurality of encoding means, Buffer means (data buffer 11) for accumulating and outputting the multiplexed data, and means for controlling the generated coding amount of the coding means (as quantization information) according to the sufficiency of the buffer means (quantization) The present invention provides a multi-encoding device including a controller 5).
【００１０】さらに、例えば、図２に示すように、複数
の画像が多重化されたデータの復号化装置であって、入
力された多重化データを蓄積して復号処理に応じて出力
するバッファ手段（データバッファ２５）と、前記バッ
ファ手段からの多重化データを各画像に対するデータに
分離する手段（多重分離器２６）と、前記各画像に対す
る複数の復号化手段（可変長復号器２０・逆量子化器２
１・逆ＤＣＴ２２と、可変長復号器２７・逆量子化器２
８・逆ＤＣＴ２９）とからなる多重復号化装置を提供す
るものである。Further, for example, as shown in FIG. 2, in a decoding device for data in which a plurality of images are multiplexed, buffer means for accumulating input multiplexed data and outputting in accordance with a decoding process. (Data buffer 25), means for separating the multiplexed data from the buffer means into data for each image (demultiplexer 26), and a plurality of decoding means for each image (variable length decoder 20 / inverse quantum) Chemicalizer 2
1. Inverse DCT 22, variable length decoder 27, inverse quantizer 2
8. Inverse DCT 29).
【００１１】また、図３に示すように、複数の画像を多
重符号化する装置であって、発生符号化量が可変で、前
記各画像に応じた複数の符号化手段（フレーム内符号化
器４２，４４）と、前記複数の符号化手段で符号化され
たデータを多重化する手段（多重化器４５）と、前記多
重化されたデータを蓄積して出力するバッファ手段（デ
ータバッファ１１）と、前記画像の変化の程度をブロッ
ク毎に検出する手段（アクティビティ検出器３４，３
９）と、前記バッファ手段の充足度と前記画像の変化の
程度とにより、（量子化情報として）前記符号化手段の
発生符号化量を制御する手段（量子化制御器３５，４
０）とからなる多重符号化装置を提供するものである。Further, as shown in FIG. 3, in a device for multiple-encoding a plurality of images, the generated encoding amount is variable, and a plurality of encoding means (intraframe encoders) corresponding to the respective images are provided. 42, 44), a means (multiplexer 45) for multiplexing the data encoded by the plurality of encoding means, and a buffer means (data buffer 11) for accumulating and outputting the multiplexed data. And means for detecting the degree of change in the image for each block (activity detectors 34, 3
9), and means for controlling the generated coding amount of the coding means (as quantization information) according to the degree of sufficiency of the buffer means and the degree of change of the image (quantization controller 35, 4).
0) and a multiplex encoding device.
【００１２】[0012]
【作用】本発明は、多重化後にデータバッファを持ち、
複数の符号化系の発生符号化量をデータバッファの充足
度で制御することで、量子化値は基本的にどの画像でも
同じとなるので、従来不必要に細かな量子化となる画像
ではデータ量が少なくなり、従来粗い量子化で画質が劣
化してしまう画像ではデータ量が多くなる。このように
符号化の難易度に応じて適切なデータ量配分が行われ、
画質が改善される。 複数の画像を符号化することで符
号化の難易度が平均化され、量子化値の変動が少なくな
るので、画質の変動が少なくなる。また、アクティビテ
ィを併用して制御することで、視覚特性を無視したデー
タ量の偏りがなく、主観画質が改善される。The present invention has a data buffer after multiplexing,
By controlling the generated coding amount of multiple coding systems by the sufficiency of the data buffer, the quantized value is basically the same for all images. The amount is small, and the amount of data is large in an image in which the image quality is deteriorated by the conventional coarse quantization. In this way, appropriate data amount distribution is performed according to the difficulty of encoding,
The image quality is improved. By encoding a plurality of images, the degree of difficulty of encoding is averaged and the variation of the quantized value is reduced, so that the variation of the image quality is reduced. In addition, by controlling the activities together, the subjective image quality is improved without the bias of the data amount ignoring the visual characteristics.
【００１３】[0013]
【実施例】＜第１の実施例（符号化装置）＞図１は本発
明の多重符号化装置の第１の実施例を示すブロック図で
ある。図５の従来例と同一部分には同一符号を付して示
す。図５の符号化装置とは、データバッファがひとつに
なり、多重化器の後にある点が異なる。DESCRIPTION OF THE PREFERRED EMBODIMENTS <First Embodiment (Encoding Device)> FIG. 1 is a block diagram showing a first embodiment of a multiplex encoding device of the present invention. The same parts as those in the conventional example shown in FIG. It differs from the encoding device of FIG. 5 in that the data buffer is one and is located after the multiplexer.
【００１４】画像ａ入力１に与えられた画像ａの信号
は、ＤＣＴ２で離散コサイン変換（ＤＣＴ）が行われ、
量子化器３に導かれる。量子化器３では、量子化制御器
５から与えられる量子化情報のステップ幅で量子化が行
われる。量子化された信号は可変長符号化器４で圧縮さ
れたデータとなり、多重化器１０に与えられる。画像ｂ
入力６に与えられる画像ｂの信号も、画像ａの信号と同
様にＤＣＴ７、量子化器８、可変長符号化器９で圧縮さ
れたデータとなり、多重化器１０に与えられる。The signal of the image a given to the image a input 1 is subjected to discrete cosine transform (DCT) in DCT2,
It is guided to the quantizer 3. In the quantizer 3, the quantization is performed with the step width of the quantization information given from the quantization controller 5. The quantized signal becomes data compressed by the variable length encoder 4 and is given to the multiplexer 10. Image b
The signal of the image b given to the input 6 becomes the data compressed by the DCT 7, the quantizer 8 and the variable length encoder 9 similarly to the signal of the image a and is given to the multiplexer 10.
【００１５】多重化器１０では画像ａのデータと画像ｂ
のデータ、さらに量子化制御器５から出力される量子化
情報が多重化され、ひとつの圧縮データ列にまとめられ
る。この様子を図７に示す。例えば、画像ａのデータ
（１，３，５…）と画像ｂのデータ（２，４，６…）と
が交互に多重化され、圧縮データ列（１，２，３，４
…）にまとめられる。ここで画像データはレートが固定
化されていないので、多重化されたデータは画像ａのも
のと画像ｂのものとの割合が常に変動している。多重化
されたデータはデータバッファ１１に与えられ、そこで
変動が吸収されて、一定のレートになってデータ出力１
２より復号化装置に向けて出力される。一方、データバ
ッファ１１の充足度の情報が量子化制御器５に与えら
れ、量子化制御器５で決められた量子化情報が量子化器
３、８に与えられる。量子化情報は従来では量子化器３
と８で異なっていたが、本実施例では同一となる。すな
わち、従来ではデータ量が同一となるように制御してい
たのに対して、本実施例では量子化ステップ（幅）が同
一となるように制御している。In the multiplexer 10, the data of the image a and the image b
Data and the quantized information output from the quantization controller 5 are multiplexed and combined into one compressed data string. This state is shown in FIG. For example, the data of the image a (1, 3, 5 ...) And the data of the image b (2, 4, 6 ...) Are alternately multiplexed, and the compressed data string (1, 2, 3, 4 ...
…) Here, since the rate of the image data is not fixed, the ratio of the multiplexed data of the image a and that of the image b is constantly changing. The multiplexed data is supplied to the data buffer 11, where fluctuations are absorbed and the data is output at a constant rate.
2 is output to the decoding device. On the other hand, the information on the sufficiency of the data buffer 11 is given to the quantization controller 5, and the quantization information determined by the quantization controller 5 is given to the quantizers 3 and 8. Quantization information is conventionally the quantizer 3
And 8 are different, but they are the same in this embodiment. That is, in the past, the data amount was controlled to be the same, whereas in the present embodiment, the quantization step (width) is controlled to be the same.
【００１６】つまり、量子化制御はデータの発生量が多
くバッファにデータが溜ってきた場合には、ステップ幅
を粗く（大きく）して発生するデータ量を抑え、逆にデ
ータが少ない場合にはステップ幅を細かく（小さく）し
て発生するデータ量を増やす。例えば、量子化ステップ
幅を図８の様な特性としておく。このように、量子化器
３と８で量子化ステップ幅を同一としているので、画像
ａと画像ｂの画質は同等となり、符号化が難しく多くの
符号量を必要とする画像にはより多くのデータが配分さ
れ、少なくても良い画像では少なくなる。例えば、画像
ａが平坦な画像で画像ｂが複雑な画像の場合などでは、
結果として、平坦な画像ａの量子化が従来よりも粗くな
りデータの配分量が減少し、反面、複雑な画像ｂへのデ
ータの配分量が増加して従来ほど量子化が粗くならな
い。That is, the quantization control suppresses the generated data amount by making the step width coarse (large) when the generated data amount is large and the data is accumulated in the buffer, and conversely when the data amount is small. Increase the amount of data generated by making the step width finer (smaller). For example, the quantization step width is set as a characteristic as shown in FIG. In this way, since the quantizers 3 and 8 have the same quantization step width, the image quality of the image a is the same as that of the image b, and more images are required for images that are difficult to encode and require a large code amount. The data is distributed, and less for less good images. For example, when the image a is a flat image and the image b is a complex image,
As a result, the quantization of the flat image a becomes coarser than before and the data distribution amount decreases, while the data distribution amount to the complicated image b increases and the quantization does not become coarser than before.
【００１７】このように、多重化後にデータバッファを
持ち、複数の符号化系のデータ発生量をデータバッファ
の充足度で共通に制御することで、符号化の難易度に応
じて画像間で適切なデータ量配分が行われ、画質劣化が
少なくなる。さらに、適切なデータ量配分がなされるの
で、量子化値の変動が少なくなり、制御による画質の変
動も少なくなる。In this way, by having a data buffer after multiplexing and controlling the data generation amount of a plurality of coding systems in common by the degree of sufficiency of the data buffers, it is possible to appropriately adjust between images according to the degree of difficulty of coding. The data amount is appropriately distributed, and the deterioration of image quality is reduced. Further, since the data amount is appropriately distributed, the fluctuation of the quantization value is reduced, and the fluctuation of the image quality due to the control is also reduced.
【００１８】なお、本実施例では符号化部を２系統とし
たが、３系統、４系統とさらに多くしても良いことは当
然で、その場合発生符号量のバラツキがより少なくなる
ので、量子化はより安定になる。In the present embodiment, the number of coding units is two, but it is natural that the number of coding units may be increased to three and four, and in that case, the variation in the generated code amount is smaller, so that the quantum The conversion becomes more stable.
【００１９】また、本実施例では、符号化系のデータ発
生量を、量子化ステップ幅を可変して制御したが、画像
信号用のプリフィルタを画像入力部に設けて、このプリ
フィルタの特性を可変してデータ発生量を制御するよう
にしても良い。さらに、データバッファ１１はメモリな
どにより実体的に構成する場合に限られず、仮想バッフ
ァのようなものでも良い。In the present embodiment, the amount of data generated in the coding system is controlled by varying the quantization step width. However, a prefilter for the image signal is provided in the image input section, and the characteristics of this prefilter are set. May be varied to control the data generation amount. Further, the data buffer 11 is not limited to the case where it is actually constituted by a memory or the like, and may be a virtual buffer.
【００２０】＜第１の実施例（復号化装置）＞図１に対
応する復号装置（実施例）の構成を図２に示す。図６の
従来例と同一部分には同一符号を付して示す。図６の復
号化装置とは、データバッファがひとつになり、多重化
分離器の前にある点が異なる。データ入力２４より入力
された多重データは、データバッファ２５で後の復号処
理に合わせたタイミングで出力され、多重分離器２６に
与えられる。多重分離器２６で多重データは画像ａのデ
ータ、画像ｂのデータおよび量子化情報に分離される。<First Embodiment (Decoding Device)> FIG. 2 shows the configuration of a decoding device (embodiment) corresponding to FIG. The same parts as those in the conventional example of FIG. 6 are designated by the same reference numerals. It differs from the decoding device of FIG. 6 in that it has only one data buffer and is in front of the demultiplexer. The multiplexed data input from the data input 24 is output by the data buffer 25 at a timing matched with the subsequent decoding process, and given to the demultiplexer 26. The demultiplexer 26 demultiplexes the multiplexed data into image a data, image b data, and quantization information.
【００２１】画像ａのデータは可変長復号器２０で可変
長符号が固定長符号に戻され、逆量子化器２１で符号が
量子化代表値に変換され、量子化代表値は逆ＤＣＴ２２
で離散コサインの逆変換が行われて再生画像信号にな
り、画像ａ出力２３から出力される。同様に画像ｂのデ
ータは可変長復号器２７、逆量子化器２８、逆ＤＣＴ２
９で再生画像信号になり、画像ｂ出力３０から出力され
る。その際、逆量子化器２１、２８には、図１の量子化
器３、８と同じ量子化情報が与えられる。The variable length decoder 20 converts the variable length code of the image a into a fixed length code, the inverse quantizer 21 converts the code into a quantized representative value, and the quantized representative value is an inverse DCT 22.
The inverse cosine transform is performed to obtain a reproduced image signal, which is output from the image a output 23. Similarly, the data of the image b is variable length decoder 27, inverse quantizer 28, inverse DCT2.
A reproduced image signal is generated at 9, and is output from the image b output 30. At this time, the inverse quantizers 21 and 28 are given the same quantization information as the quantizers 3 and 8 in FIG.
【００２２】＜第２の実施例（符号化装置）＞図３は本
発明の符号化装置の第２の実施例を示すブロック図であ
る。第１の実施例との相違は、まず動画像に対してフレ
ーム間予測を行っている点である。さらに、量子化制御
がバッファ充足度のみで制御されるのでなく、原画像の
アクティビティによっても行われる。つまり、画質を一
定化するために、単に量子化を同じにするのではなく、
主観画質が同じになるように構成している。<Second Embodiment (Encoding Device)> FIG. 3 is a block diagram showing a second embodiment of the encoding device of the present invention. The difference from the first embodiment is that inter-frame prediction is first performed on a moving image. Furthermore, the quantization control is performed not only by the buffer fullness, but also by the activity of the original image. In other words, in order to make the image quality constant, instead of just making the quantization the same,
The subjective image quality is the same.
【００２３】画像ａ入力１より入力された画像ａの信号
は、予測減算器４１でフレーム間予測器３１から来る予
測信号が減算され、予測残差信号としてフレーム内符号
化器４２に与えられる。フレーム内符号化器４２の構成
は、図１のＤＣＴ２、量子化器３、可変長符号化器４と
同様で、予測残差信号は圧縮されたデータとなり、多重
化器４５とフレーム内復号化器３３に与えられる。フレ
ーム内復号化器３３の構成は、図２の可変長復号器２
０、逆量子化器２１、逆ＤＣＴ２２と同様で、デ−タは
再生予測残差信号となり、加算器３２に与えられる。加
算器３２ではフレーム間予測器３１から与えられるフレ
ーム間予測信号が加算され、できた再生画像信号をフレ
ーム間予測器３１に与える。フレーム間予測器３１は再
生画像信号を１フレーム遅延させ動き補償を行い、フレ
ーム間予測信号を作り予測減算器４１と加算器３２に供
給する。The predictive subtractor 41 subtracts the predictive signal from the interframe predictor 31 from the signal of the image a input from the image a input 1 and supplies it to the intraframe encoder 42 as a predictive residual signal. The configuration of the intraframe encoder 42 is the same as that of the DCT 2, the quantizer 3, and the variable length encoder 4 of FIG. 1, and the prediction residual signal becomes compressed data, and the multiplexer 45 and intraframe decoding are performed. Given to the container 33. The structure of the intraframe decoder 33 is the same as that of the variable length decoder 2 of FIG.
0, the inverse quantizer 21, and the inverse DCT 22, the data becomes a reproduction prediction residual signal and is given to the adder 32. The adder 32 adds the inter-frame prediction signals supplied from the inter-frame predictor 31 and supplies the resulting reproduced image signal to the inter-frame predictor 31. The inter-frame predictor 31 delays the reproduced image signal by one frame to perform motion compensation, forms an inter-frame prediction signal, and supplies the inter-frame prediction signal to the prediction subtractor 41 and the adder 32.
【００２４】画像ｂ入力６より入力された画像ｂの信号
は予測減算器４３、フレーム内符号化器４４、フレーム
内復号化器３８、加算器３７、フレーム間予測器３６で
画像ａと同様にフレーム間予測符号化され、圧縮された
データとなり、多重化器４５に与えられる。The signal of the image b input from the image b input 6 is processed by the predictive subtractor 43, the intraframe encoder 44, the intraframe decoder 38, the adder 37, and the interframe predictor 36 in the same manner as the image a. The data is compressed by inter-frame predictive coding and is supplied to the multiplexer 45.
【００２５】一方、アクティビティ検出器３４では、画
像ａの信号のブロック毎の変化の程度（アクティビテ
ィ）を求め、量子化制御器３５に与える。またアクティ
ビティ検出器３９では画像ｂの信号のアクティビティを
求め、量子化制御器４０に与える。量子化制御器３５、
４０にはデータバッファ１１から充足度の情報も与えら
れている。量子化制御器３５では、バッファ充足度とア
クティビティより量子化情報を設定し、フレーム内符号
化器４２とフレーム内復号化器３３に与える。同様に量
子化制御器４０も量子化情報を設定し、フレーム内符号
化器４４とフレーム内復号化器３８に与える。ここで、
バッファ充足度はふたつの制御器に対して共通だが、ア
クティビティは別々である。On the other hand, the activity detector 34 obtains the degree of change (activity) of the signal of the image a for each block, and supplies it to the quantization controller 35. Further, the activity detector 39 obtains the activity of the signal of the image b and supplies it to the quantization controller 40. The quantization controller 35,
Information on the degree of sufficiency is also given to 40 from the data buffer 11. The quantization controller 35 sets the quantization information based on the buffer sufficiency and the activity, and supplies the quantization information to the intraframe encoder 42 and the intraframe decoder 33. Similarly, the quantization controller 40 also sets the quantization information and supplies it to the intraframe encoder 44 and the intraframe decoder 38. here,
The buffer sufficiency is common to the two controllers, but the activities are separate.
【００２６】量子化はアクティビティが大きな場合に粗
く、アクティビティが小さな場合に細かくなるようにす
る。これはアクティビティが大きなブロックは変化が大
きく誤差が目立ち難く、アクティビティが小さなブロッ
クは僅かな誤差でも目立つためである。具体的にはバッ
ファ充足度で設定される量子化ステップ値に、アクティ
ビティによって設定される乗数１／２〜２をブロック毎
に乗じる。平均的なアクティビティで１倍となるように
すれば、量子化ステップの平均値は変わらずに済む。こ
こで、アクティビティ値としてはブロック内の画素値の
分散などを使うが、ＤＣＴなどではエッジ部分のブロッ
クで量子化誤差が目立ちやすいので、エッジ検出をして
そこではアクティブビティが大きくならないようにして
も良い。The quantization is coarse when the activity is large and fine when the activity is small. This is because blocks with large activity have large changes and errors are less noticeable, and blocks with small activity are noticeable even with small errors. Specifically, the quantization step value set by the buffer sufficiency is multiplied for each block by a multiplier 1 / 2-2 set by the activity. If the average activity is multiplied by 1, the average value of the quantization steps does not change. Here, although the variance of pixel values within a block is used as the activity value, quantization error is likely to be noticeable in the block at the edge portion in DCT and the like, so edge detection should be performed so that active activity does not increase there. Is also good.
【００２７】以上のように構成し、バッファ充足度に応
じて量子化制御することにより、実施例１と同様に、画
質が改善される。例えば、画像ａが動きのない画像で画
像ｂが動きの激しい画像の場合では、結果として、動き
のない画像ａの量子化が従来よりも粗くなりデータの配
分量が減少し、反面、激しい動き（変化）に対処するた
め画像ｂへのデータの配分量が増加して従来ほど量子化
が粗くならない。特に、フレーム（画像）間予測符号化
に際しては、一方の画像でシーンチェンジなどで急に多
くの符号量が必要になっても、他方の画像（用のデー
タ）でそれを吸収できるので画像が破綻を起こす可能性
が低くなる。With the above-mentioned configuration and the quantization control according to the buffer sufficiency, the image quality is improved as in the first embodiment. For example, in the case where the image a is a motionless image and the image b is a motionally intense image, as a result, the quantization of the motionless image a is coarser than before, and the amount of data distribution is reduced. To deal with the (change), the amount of data distributed to the image b is increased, and the quantization is not as rough as in the conventional case. In particular, in the case of inter-frame (image) predictive coding, even if a large amount of code is suddenly required in one image due to a scene change, etc., it can be absorbed in the other image (data for) The risk of failure is reduced.
【００２８】さらに、量子化制御に際してアクティビテ
ィを併用しているので、視覚特性に基づく主観画質が改
善される。すなわち、バッファ充足度だけで量子化制御
すると、視覚特性を考慮することなく客観画質を改善し
ようと変化の大きな画像にデータ量が偏り過ぎるが、ア
クティビティを併用することで、視覚特性を無視したデ
ータ量の偏りがなく、主観画質が改善される。Further, since the activity is also used in the quantization control, the subjective image quality based on the visual characteristics is improved. In other words, if the quantization control is performed only by the buffer sufficiency, the amount of data is too biased toward the image with large changes in order to improve the objective image quality without considering the visual characteristics. Subjective image quality is improved with no bias in quantity.
【００２９】＜第２の実施例（復号化装置）＞図３に対
応する第２の復号装置（実施例）の構成を図４に示す。
図２の第１の実施例との相違点は、動画像に対してフレ
ーム間予測を行っており、量子化情報は画像ａ用と画像
ｂ用で別々にある。<Second Embodiment (Decoding Device)> The configuration of the second decoding device (embodiment) corresponding to FIG. 3 is shown in FIG.
The difference from the first embodiment of FIG. 2 is that inter-frame prediction is performed on a moving image, and quantization information is different for image a and image b.
【００３０】データ入力２４より入力された多重データ
は、データバッファ２５で後の復号処理に合わせたタイ
ミングで出力され、多重分離器２６に与えられる。多重
分離器２６では画像ａのデータ、画像ｂのデータおよび
それぞれの量子化情報に分離される。画像ａのデータは
フレーム内復号器３３、加算器３２、フレーム間予測器
３１で、図３の局部復号部と同様に復号され再生画像信
号になり、画像ａ出力２３から出力される。同様に画像
ｂのデータはフレーム内復号器３８、加算器３７、フレ
ーム間予測器３６で復号され再生画像信号になり、画像
ｂ出力３０から出力される。量子化の情報はフレーム内
復号器３３と３８とで別々に図３の符号化装置と同じ値
が与えられる。The multiplexed data input from the data input 24 is output to the demultiplexer 26 at the timing matched with the subsequent decoding process in the data buffer 25. The demultiplexer 26 separates the data of the image a, the data of the image b, and the respective quantization information. The data of the image a is decoded by the intra-frame decoder 33, the adder 32, and the inter-frame predictor 31 in the same manner as the local decoding unit of FIG. 3 to be a reproduced image signal, which is output from the image a output 23. Similarly, the data of the image b is decoded by the intra-frame decoder 38, the adder 37, and the inter-frame predictor 36 to be a reproduced image signal, which is output from the image b output 30. As the quantization information, the same values as those of the encoding device of FIG. 3 are given separately to the intraframe decoders 33 and 38.
【００３１】[0031]
【発明の効果】本発明の多重符号化装置（及び復号化装
置）は、多重化後にデータバッファを持ち、複数の符号
化系をそのデータバッファの充足度（とブロックアクテ
ィビティ）で制御することで、符号化の難易度に応じて
画像間で適切なデータ量配分が行われるので、画質劣化
が少なくなる。また、量子化値の変動が少なくなるの
で、制御による画質の変動も少なくなる。特に、フレー
ム（画像）間予測符号化においては、一方の画像でシー
ンチェンジなどで急に多くの符号量が必要になっても、
他方の画像（用のデータ）でそれを吸収できるので画像
が破綻を起こす可能性が低くなる。また、アクティビテ
ィを併用して制御することで、視覚特性を無視したデー
タ量の偏りがなく、主観画質が改善される。以上説明の
如く、本発明の多重符号化装置及び復号化装置は、実用
上極めて優れた効果を有するものである。The multiplex encoding apparatus (and decoding apparatus) of the present invention has a data buffer after multiplexing and controls a plurality of encoding systems by the sufficiency (and block activity) of the data buffer. Since the appropriate data amount is distributed among the images according to the degree of difficulty of encoding, the image quality deterioration is reduced. Further, since the fluctuation of the quantized value is small, the fluctuation of the image quality due to the control is also small. In particular, in inter-frame (image) predictive coding, even if a large amount of code is suddenly required due to a scene change in one image,
Since the other image (data for it) can absorb it, the possibility that the image will break down is reduced. In addition, by controlling the activities together, the subjective image quality is improved without the deviation of the data amount ignoring the visual characteristics. As described above, the multiplex encoding device and the decoding device of the present invention have extremely excellent practical effects.
【図１】本発明の多重符号化装置の第１の実施例を示す
ブロック図である。FIG. 1 is a block diagram showing a first embodiment of a multiplex encoding apparatus of the present invention.
【図２】本発明の多重復号化装置の第１の実施例を示す
ブロック図である。FIG. 2 is a block diagram showing a first embodiment of a multiplex decoding device of the present invention.
【図３】本発明の多重符号化装置の第２の実施例を示す
ブロック図である。FIG. 3 is a block diagram showing a second embodiment of the multiplex encoding apparatus of the present invention.
【図４】本発明の多重復号化装置の第２の実施例を示す
ブロック図である。FIG. 4 is a block diagram showing a second embodiment of the multiplex decoding device of the present invention.
【図５】多重符号化装置の従来例を示すブロック図であ
る。FIG. 5 is a block diagram showing a conventional example of a multiplex encoding device.
【図６】多重復号化装置の従来例を示すブロック図であ
る。FIG. 6 is a block diagram showing a conventional example of a multiplex decoding device.
【図７】実施例のデータ構成を示す図である。FIG. 7 is a diagram showing a data structure of an example.
【図８】量子化制御の様子を示す図である。FIG. 8 is a diagram showing a state of quantization control.
１…画像ａ入力、２，７…ＤＣＴ、３，８…量子化器、
４，９…可変長符号化器、５，３５，４０…量子化制御
器、６…画像ｂ入力、１０，４５…多重化器、１１，２
５，５１，５２，６１，６２…データバッファ、１２…
データ出力、２０，２７…可変長復号器、２１，２８…
逆量子化器、２２，２９…逆ＤＣＴ、２３…画像ａ出
力、２４…データ入力、２６…多重分離器、３０…画像
ｂ出力、３１，３６…フレーム間予測器、３２，３７…
加算器、３３，３８…フレーム内復号化器、３４，３９
…アクティビティ検出器、４１，４３…予測減算器、４
２，４４…フレーム内符号化器。1 ... Image a input, 2, 7 ... DCT, 3, 8 ... Quantizer,
4, 9 ... Variable length encoder, 5, 35, 40 ... Quantization controller, 6 ... Image b input, 10, 45 ... Multiplexer 11, 12,
5, 51, 52, 61, 62 ... Data buffer, 12 ...
Data output, 20, 27 ... Variable length decoder, 21, 28 ...
Inverse quantizer, 22, 29 ... Inverse DCT, 23 ... Image a output, 24 ... Data input, 26 ... Demultiplexer, 30 ... Image b output, 31, 36 ... Interframe predictor, 32, 37 ...
Adder, 33, 38 ... In-frame decoder, 34, 39
... activity detectors, 41, 43 ... predictive subtractors, 4
2, 44 ... Intra-frame encoder.
───────────────────────────────────────────────────── フロントページの続き (72)発明者 渡辺 立 東京都渋谷区神南二丁目２番１号 日本放 送協会 放送センター内 ─────────────────────────────────────────────────── ─── Continuation of the front page (72) Inventor Ritsu Watanabe 2-2-1, Jinnan, Shibuya-ku, Tokyo Inside the Japan Broadcasting Corporation Broadcasting Center
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33230392AJPH06165153A (en) | 1992-11-18 | 1992-11-18 | Multiple encoding device and decoding device |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33230392AJPH06165153A (en) | 1992-11-18 | 1992-11-18 | Multiple encoding device and decoding device |
| Publication Number | Publication Date |
|---|---|
| JPH06165153Atrue JPH06165153A (en) | 1994-06-10 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP33230392APendingJPH06165153A (en) | 1992-11-18 | 1992-11-18 | Multiple encoding device and decoding device |
| Country | Link |
|---|---|
| JP (1) | JPH06165153A (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6094224A (en)* | 1994-03-31 | 2000-07-25 | Victor Company Of Japan, Ltd. | Moving image coding device |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0686253A (en)* | 1992-08-31 | 1994-03-25 | Kodo Eizo Gijutsu Kenkyusho:Kk | Moving image data transmitter |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0686253A (en)* | 1992-08-31 | 1994-03-25 | Kodo Eizo Gijutsu Kenkyusho:Kk | Moving image data transmitter |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6094224A (en)* | 1994-03-31 | 2000-07-25 | Victor Company Of Japan, Ltd. | Moving image coding device |
| Publication | Publication Date | Title |
|---|---|---|
| JP3268306B2 (en) | Image coding method | |
| US5990955A (en) | Dual encoding/compression method and system for picture quality/data density enhancement | |
| JP3358620B2 (en) | Image encoding method and image encoding device | |
| KR970003789B1 (en) | Bit allocation method for controlling bit-rate of video encoder | |
| EP1067798A2 (en) | Apparatus, method and computer program product for transcoding a coded moving picture sequence | |
| EP0928111A2 (en) | Video and audio digital recording and playback apparatus and method therefor | |
| EP0920214B1 (en) | Apparatus and method of coding/decoding moving picture | |
| JPH06125543A (en) | Encoder | |
| JPH06284414A (en) | Picture signal transmission method and device therefor | |
| JPH05244586A (en) | Quantization device | |
| US20060072667A1 (en) | Transcoder for a variable length coded data stream | |
| US6628839B1 (en) | Image coding system converting apparatus, image coding system converting method, and recording medium | |
| KR20040054743A (en) | Spatial scalable compression | |
| EP0700213B1 (en) | Motion picture encoding method and apparatus | |
| KR100238622B1 (en) | A motion video compression system with novel adaptive quantisation | |
| JP3244399B2 (en) | Circuit and method for converting information amount of compressed moving image code signal | |
| JPH10191391A (en) | Data processing unit and method, moving image coder and method and moving image decoder and method | |
| JP3707118B2 (en) | Image coding method and apparatus | |
| EP0903041B1 (en) | Improvements in or relating to changing the bit rate of a signal | |
| JPH09322176A (en) | Encoding mode selecting method, moving image encoding device, encoding method, recording method and transmitting method | |
| US6040875A (en) | Method to compensate for a fade in a digital video input sequence | |
| JPH06165153A (en) | Multiple encoding device and decoding device | |
| JPH07107464A (en) | Image coding apparatus and decoding apparatus | |
| JPH0918873A (en) | Image encoding method and device and image recording medium | |
| JP4007398B2 (en) | Quantization control apparatus and method |