WO2014050554A1 - Image decoding device and image coding device - Google Patents

Abstract

The purpose of the invention is to reduce the amount of filter processing in a technique for improving the objective and subjective image quality of a predicted image by using an adaptive filter when generating the predicted image using a reference layer image.An image decoding device decodes hierarchically encoded data in which image information relating to images, the qualities of which differ from layer to layer, is hierarchically encoded, and reconstructs an image in a target layer to be decoded. The image decoding device comprises: a predicted image generation means for, based on prediction parameters, generating a predicted image of the target layer using, as inputs, an already decoded reference layer image and an already decoded target layer image; and a filter means for performing adaptive filter processing on the reference layer image, said adaptive filter processing being based on filter parameters, and generating a filtered reference layer image. The predicted image generation means generates a predicted image using the filtered reference layer image only when the prediction parameters satisfy a predetermined condition.

Description

画像復号装置、および画像符号化装置Image decoding apparatus and image encoding apparatus

　本発明は、画像が階層的に符号化された階層符号化データを復号する画像復号装置、および画像を階層的に符号化することによって階層符号化データを生成する画像符号化装置に関する。The present invention relates to an image decoding apparatus that decodes hierarchically encoded data in which an image is hierarchically encoded, and an image encoding apparatus that generates hierarchically encoded data by hierarchically encoding an image.

　通信システムで伝送される情報、あるいは蓄積装置に記録される情報の１つに画像あるいは動画像がある。従来、これらの画像（以降、動画像を含む）の伝送・蓄積のため、画像を符号化する技術が知られている。One of information transmitted in a communication system or information recorded in a storage device is an image or a moving image. 2. Description of the Related Art Conventionally, a technique for encoding an image for transmitting and storing these images (hereinafter including moving images) is known.

　動画像符号化方式としては、Ｈ．２６４／ＭＰＥＧ－４．ＡＶＣや、その後継コーデックであるＨＥＶＣ（High-Efficiency Video Coding）が知られている（非特許文献１）。これらの動画像符号化方式では、通常、入力画像を符号化／復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像を入力画像（原画像）から減算して得られる予測残差（「差分画像」または「残差画像」と呼ぶこともある）が符号化される。また、予測画像の生成方法としては、画面間予測（インター予測）、および、画面内予測（イントラ予測）が挙げられる。As the video encoding system, H.264 H.264 / MPEG-4. AVC and HEVC (High-Efficiency Video Coding) which is a successor codec are known (Non-Patent Document 1). In these moving image encoding methods, a predicted image is usually generated based on a local decoded image obtained by encoding / decoding an input image, and obtained by subtracting the predicted image from the input image (original image). Prediction residuals (sometimes referred to as “difference images” or “residual images”) are encoded. In addition, examples of the method for generating a predicted image include inter-screen prediction (inter prediction) and intra-screen prediction (intra prediction).

　イントラ予測においては、同一フレーム内の局所復号画像に基づいて、当該フレームにおける予測画像が順次生成される。インター予測においては、フレーム間の動き補償により予測画像が生成される。動き補償に関する情報（動き補償パラメータ）は、たいていの場合、符号量の削減のため直接符号化されない。そこで、インター予測では、対象ブロック周辺の復号状況等に基づく動き補償パラメータの推定が行われる。In intra prediction, predicted images in a corresponding frame are sequentially generated based on a locally decoded image in the same frame. In inter prediction, a predicted image is generated by motion compensation between frames. Information relating to motion compensation (motion compensation parameters) is often not directly encoded to reduce the amount of code. Therefore, in the inter prediction, a motion compensation parameter is estimated based on a decoding situation or the like around the target block.

　また、必要なデータレートに従って、画像を階層的に符号化する階層符号化技術も提案されている。階層符号化の方式としては、ＩＳＯ／ＩＥＣとＩＴＵ－Ｔの標準としてＨ．２６４／ＡＶＣ　Ａｎｎｅｘ　Ｇ　Ｓｃａｌａｂｌｅ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ（ＳＶＣ）が挙げられる。Also, a hierarchical encoding technique that encodes images hierarchically according to the required data rate has been proposed. Hierarchical coding systems include H.264 and ISO / IEC and ITU-T standards. H.264 / AVC Annex G Scalable Video Coding (SVC).

　ＳＶＣでは空間スケーラビリティ、時間スケーラビリティ、ＳＮＲスケーラビリティをサポートする。例えば空間スケーラビリティの場合、原画像から所望の解像度にダウンサンプリングした画像を下位レイヤとしてＨ．２６４／ＡＶＣで符号化する。次に上位レイヤではレイヤ間の冗長性を除去するためにレイヤ間予測を行う。SVC supports spatial scalability, temporal scalability, and SNR scalability. For example, in the case of spatial scalability, an image obtained by down-sampling an original image to a desired resolution is used as a lower layer. It is encoded with H.264 / AVC. Next, the upper layer performs inter-layer prediction in order to remove redundancy between layers.

　レイヤ間予測としては、動き予測に関する情報を同時刻の下位レイヤの情報から予測する動き情報予測、あるいは同時刻の下位レイヤの復号画像をアップサンプリングした画像から予測するテクスチャ予測がある（非特許文献１）。上記動き情報予測では、参照レイヤの動き情報を推定値として動き情報が符号化される。As inter-layer prediction, there is motion information prediction in which information related to motion prediction is predicted from information in a lower layer at the same time, or texture prediction in which prediction is performed from an image obtained by up-sampling a decoded image in a lower layer at the same time (non-patent document). 1). In the motion information prediction, motion information is encoded using motion information of a reference layer as an estimated value.

　また、画像符号化あるいは復号処理のループの中でフィルタ処理を施すループフィルタ技術が提案されている。Also, a loop filter technique for performing filter processing in a loop of image encoding or decoding processing has been proposed.

　フィルタパラメータにより処理を切り替えるフィルタ技術としては、フィルタ対象画素の分類に応じてオフセットを加算するＳＡＯ（サンプル適応オフセット、適応オフセットフィルタ）、フィルタ対象の周囲の画素とフィルタ係数との積和を用いるＡＬＦ（適応ループフィルタ、適応空間フィルタ）が挙げられる（非特許文献２）。これらの適応的なフィルタ技術はループフィルタおよび動き補償フィルタとして利用されうる。Filter techniques for switching processing according to filter parameters include SAO (sample adaptive offset, adaptive offset filter) that adds an offset according to the classification of the pixel to be filtered, and ALF using the product sum of the surrounding pixels of the filter target and the filter coefficient. (Adaptive loop filter, adaptive spatial filter) (Non-Patent Document 2). These adaptive filter techniques can be used as loop filters and motion compensation filters.

　上述したように、適応的なフィルタ処理は、固定的なフィルタパラメータを用いる従来のスケーリング処理、動き補償処理に比べ、客観・主観画質を向上させることができる。しかしながら、固定的なフィルタパラメータを用いる従来のフィルタに比べ処理が重いという課題がある。また、フィルタパラメータを領域（フィルタユニット単位）毎に符号化し、フィルタ処理を切り替える場合には、フィルタパラメータの符号量が大きくなるという課題があった。As described above, the adaptive filter processing can improve the objective / subjective image quality as compared with the conventional scaling processing and motion compensation processing using fixed filter parameters. However, there is a problem that the processing is heavy as compared with a conventional filter using a fixed filter parameter. Further, when the filter parameter is encoded for each region (filter unit unit) and the filter processing is switched, there is a problem that the code amount of the filter parameter becomes large.

　本発明は、上記の問題点に鑑みてなされたものであり、その目的は、参照レイヤ画像を用いて予測画像を生成する際に、適応的なフィルタを用いることにより、予測画像の客観・主観画質を向上させる技術において、フィルタ処理の処理量を低減することにある。また、フィルタパラメータの符号量を低減することもできる。The present invention has been made in view of the above-described problems, and an object of the present invention is to provide an objective / subjective of a predicted image by using an adaptive filter when generating a predicted image using a reference layer image. In the technique for improving the image quality, it is to reduce the amount of filter processing. In addition, the code amount of the filter parameter can be reduced.

　本発明の動画像復号装置は、レイヤごとに異なる品質の画像に関する画像情報が階層的に符号化された階層符号化データを復号して、復号の対象となる対象レイヤにおける画像を復元する画像復号装置であって、
　既に復号済みの参照レイヤ画像と、既に復号済みの対象レイヤ画像を入力として、予測パラメータに基づいて、上記対象レイヤの予測画像を生成する予測画像生成手段と、
　上記予測画像生成手段は、上記参照レイヤ画像が、フィルタパラメータに基づいた適応フィルタ処理を行い、フィルタ済み参照レイヤ画像を生成するフィルタ手段を備え、
　上記予測画像生成手段は、上記予測パラメータが所定の条件を満たす場合にのみ、フィルタ済み参照レイヤ画像を用いて予測画像を生成することを特徴とする動画像復号装置。The moving image decoding apparatus according to the present invention decodes hierarchically encoded data in which image information relating to images of different quality for each layer is hierarchically encoded, and restores an image in a target layer to be decoded. A device,
A predicted image generation means for generating a predicted image of the target layer based on a prediction parameter, using the already decoded reference layer image and the already decoded target layer image as input,
The predicted image generation means includes filter means for generating a filtered reference layer image by performing adaptive filter processing on the reference layer image based on a filter parameter,
The moving picture decoding apparatus, wherein the predicted image generation means generates a predicted image using a filtered reference layer image only when the prediction parameter satisfies a predetermined condition.

　これにより、参照レイヤ画像に対する適応的なフィルタ処理が、上記予測パラメータが所定の条件を満たす場合に限定されるため、適応的なフィルタ処理の処理量を低減する効果を奏する。Thereby, since the adaptive filter processing for the reference layer image is limited to the case where the prediction parameter satisfies a predetermined condition, the amount of adaptive filter processing is reduced.

　また、上記動画像復号装置であって、上記、予測画像生成手段は、予測単位が所定のサイズ以上であることを所定の条件として、フィルタ済み参照レイヤ画像を用いて予測画像を生成することを特徴とする。In the moving image decoding apparatus, the prediction image generation unit generates a prediction image using a filtered reference layer image on a predetermined condition that a prediction unit is a predetermined size or more. Features.

　これにより、参照レイヤ画像に対する適応的なフィルタ処理が、所定のサイズ以上の場合に限定されるため、適応的なフィルタ処理の処理量を低減する効果を奏する。Thereby, since the adaptive filter process for the reference layer image is limited to a predetermined size or larger, the amount of adaptive filter process can be reduced.

　また、上記動画像復号装置であって、上記、予測画像生成手段は、予測単位が単予測であることを所定の条件として、フィルタ済み参照レイヤ画像を用いて予測画像を生成することを特徴とする。In the moving image decoding apparatus, the prediction image generation unit generates a prediction image using a filtered reference layer image on a predetermined condition that a prediction unit is single prediction. To do.

これにより、参照レイヤ画像に対する適応的なフィルタ処理が、予測単位が単予測である場合に限定されるため、適応的なフィルタ処理の処理量を低減する効果を奏する。As a result, the adaptive filter processing for the reference layer image is limited to the case where the prediction unit is uni-prediction, and thus there is an effect of reducing the amount of adaptive filter processing.

　また、上記動画像復号装置であって、上記、予測画像生成手段は、所定の参照画像リストに含まれる参照画像を用いて、予測画像を生成する手段であって、参照画像リストが所定のリストであることを条件として、フィルタ済み参照レイヤ画像を用いて予測画像を生成することを特徴とする。Further, in the moving image decoding apparatus, the predicted image generation unit generates a predicted image using a reference image included in a predetermined reference image list, and the reference image list is a predetermined list. On the condition that a predicted image is generated using a filtered reference layer image.

　これにより、参照レイヤ画像に対する適応的なフィルタ処理が、所定の参照画像リストに含まれる参照画像である場合に限定されるため、適応的なフィルタ処理の処理量を低減する効果を奏する。Thereby, since the adaptive filter processing for the reference layer image is limited to a reference image included in a predetermined reference image list, an effect of reducing the amount of adaptive filter processing can be achieved.

　また、上記動画像復号装置であって、上記、予測画像生成手段は、さらに、参照レイヤ画像にスケーリング処理を行うスケーリング手段を備え、予測画像生成手段は、上記スケーリング手段によりスケーリングが行われていないことを所定の条件として、フィルタ済み参照レイヤ画像を用いて予測画像を生成することを特徴とする。Further, in the moving image decoding apparatus, the predicted image generation unit further includes a scaling unit that performs a scaling process on the reference layer image, and the predicted image generation unit is not scaled by the scaling unit. With this as a predetermined condition, a predicted image is generated using a filtered reference layer image.

　これにより、参照レイヤ画像に対する適応的なフィルタ処理が、参照レイヤにスケーリング処理を適用しない場合に限定されるため、適応的なフィルタ処理の処理量を低減する効果を奏する。Thereby, since the adaptive filtering process for the reference layer image is limited to the case where the scaling process is not applied to the reference layer, an effect of reducing the processing amount of the adaptive filtering process is obtained.

　本発明の動画像復号装置は、レイヤごとに異なる品質の画像に関する画像情報が階層的に符号化された階層符号化データを復号して、符号化の対象となる対象レイヤにおける画像を符号化する画像符号化装置であって、
　既に符号化済みの参照レイヤ画像と、既に符号化済みの対象レイヤ画像を入力として、予測パラメータに基づいて、上記対象レイヤの予測画像を生成する予測画像生成手段と、
　本発明の動画像符号化装置は、上記参照レイヤ画像が、フィルタパラメータに基づいた適応フィルタ処理を行い、フィルタ済み参照レイヤ画像を生成するフィルタ手段を備え、上記予測画像生成手段は、上記予測パラメータが所定の条件を満たす場合にのみ、フィルタ済み参照レイヤ画像を用いて予測画像を生成することを特徴とする動画像符号化装置である。The moving image decoding apparatus of the present invention decodes hierarchically encoded data in which image information relating to images of different quality for each layer is hierarchically encoded, and encodes an image in a target layer to be encoded. An image encoding device,
A predicted image generation means for generating a predicted image of the target layer based on a prediction parameter, using an already encoded reference layer image and an already encoded target layer image as input, and
The moving image encoding apparatus of the present invention includes filter means for generating a filtered reference layer image by performing adaptive filter processing on the reference layer image based on a filter parameter, and the predicted image generation means includes the prediction parameter Is a moving picture coding apparatus that generates a predicted image using a filtered reference layer image only when a predetermined condition is satisfied.

　これにより、参照レイヤ画像に対する適応的なフィルタ処理が、上記予測パラメータが所定の条件を満たす場合に限定されるため、適応的なフィルタ処理の処理量を低減する効果を奏する。Thereby, since the adaptive filter processing for the reference layer image is limited to the case where the prediction parameter satisfies a predetermined condition, the amount of adaptive filter processing is reduced.

　本発明の別の形態の動画像復号装置は、レイヤごとに異なる品質の画像に関する画像情報が階層的に符号化された階層符号化データを復号して、復号の対象となる対象レイヤにおける画像を復元する画像復号装置であって、
　既に復号済みの参照レイヤ画像と、既に復号済みの対象レイヤ画像を入力として、予測パラメータに基づいて、上記対象レイヤの予測画像を生成する予測画像生成手段と、
　上記予測画像生成手段は、上記参照レイヤ画像が、フィルタパラメータに基づいた適応フィルタ処理を行い、フィルタ済み参照レイヤ画像を生成するフィルタ手段を備える動画像復号装置において、
　フィルタパラメータを復号するフィルタパラメータ復号手段を備え、
　上記、フィルタパラメータ復号手段は、所定の単位であるフィルタユニットごとに、フィルタパラメータ復号済みフラグを０に初期化し、上記予測画像生成手段において予測画像の生成に参照レイヤ画像が用いられる場合で、かつ、上記フィルタパラメータ復号済みフラグが０の場合に、フィルタパラメータを復号し、さらに上記フィルタパラメータ復号済みフラグを１に設定することを特徴とする動画像復号装置。A moving picture decoding apparatus according to another aspect of the present invention decodes hierarchically encoded data in which image information relating to images of different quality for each layer is hierarchically encoded, and outputs an image in a target layer to be decoded. An image decoding device to restore,
A predicted image generation means for generating a predicted image of the target layer based on a prediction parameter, using the already decoded reference layer image and the already decoded target layer image as input,
In the moving picture decoding apparatus, the prediction image generation unit includes a filter unit that performs adaptive filter processing on the reference layer image based on a filter parameter and generates a filtered reference layer image.
A filter parameter decoding means for decoding the filter parameter;
The filter parameter decoding means initializes a filter parameter decoded flag to 0 for each filter unit which is a predetermined unit, and a reference layer image is used for generation of a prediction image in the prediction image generation means, and A moving picture decoding apparatus, wherein when the filter parameter decoded flag is 0, the filter parameter is decoded, and further, the filter parameter decoded flag is set to 1.

　これにより、参照レイヤ画像に適応的なフィルタを適用しない場合において、フィルタパラメータを符号化することがなくなるため、フィルタパラメータの符号量を低減する効果を奏する。Thereby, when an adaptive filter is not applied to the reference layer image, the filter parameter is not encoded, so that the code amount of the filter parameter is reduced.

　上記予測画像生成手段は、予測画像生成手段において用いられる参照画像が参照レイヤ画像であるか否かを判定し、上記予測画像生成手段において予測画像の生成に参照レイヤ画像を用いるかを判定することを特徴とする。The predicted image generation means determines whether or not a reference image used in the predicted image generation means is a reference layer image, and determines whether or not the reference image is used to generate a predicted image in the predicted image generation means It is characterized by.

　これにより、参照レイヤ画像に適応的なフィルタを適用しない場合において、フィルタパラメータを符号化することがなくなるため、フィルタパラメータの符号量を低減する効果を奏する。Thereby, when an adaptive filter is not applied to the reference layer image, the filter parameter is not encoded, so that the code amount of the filter parameter is reduced.

　また、上記動画像復号装置であって、上記予測画像生成手段は、上記予測パラメータが所定の条件を満たす場合にのみ、フィルタ済み参照レイヤ画像を用いて予測画像を生成し、さらに、上記予測画像生成手段は、上記フィルタユニット内の予測ユニットにおいて、上記予測パラメータが上記所定の条件を満たす場合を判定し、上記予測画像生成手段において予測画像の生成に参照レイヤ画像を用いるかを判定することを特徴とする。Further, in the video decoding device, the predicted image generation unit generates a predicted image using the filtered reference layer image only when the prediction parameter satisfies a predetermined condition, and further, the predicted image The generation unit determines whether the prediction parameter satisfies the predetermined condition in the prediction unit in the filter unit, and determines whether the prediction image generation unit uses a reference layer image for generation of the prediction image. Features.

　これにより、参照レイヤ画像に適応的なフィルタを適用することを、予測パラメータにより制限する場合においても、参照レイヤ画像に適応的なフィルタを適用しない場合において、フィルタパラメータを符号化することがなくなるため、フィルタパラメータの符号量を低減する効果を奏する。As a result, even when applying an adaptive filter to the reference layer image is limited by the prediction parameter, the filter parameter is not encoded when the adaptive filter is not applied to the reference layer image. There is an effect of reducing the code amount of the filter parameter.

　本発明の別の形態の符号化装置は、レイヤごとに異なる品質の画像に関する画像情報が階層的に符号化された階層符号化データを符号化して、符号化の対象となる対象レイヤにおける画像を復元する画像符号化装置であって、
　既に符号化済みの参照レイヤ画像と、既に符号化済みの対象レイヤ画像を入力として、予測パラメータに基づいて、上記対象レイヤの予測画像を生成する予測画像生成手段と、
　上記予測画像生成手段は、上記参照レイヤ画像が、フィルタパラメータに基づいた適応フィルタ処理を行い、フィルタ済み参照レイヤ画像を生成するフィルタ手段を備える動画像符号化装置において、
　フィルタパラメータを符号化するフィルタパラメータ符号化手段を備え、
　上記、フィルタパラメータ符号化手段は、所定の単位であるフィルタユニットごとに、フィルタパラメータ符号化済みフラグを０に初期化し、上記予測画像生成手段において予測画像の生成に参照レイヤ画像が用いられる場合で、かつ、上記フィルタパラメータ復号済みフラグが０の場合に、フィルタパラメータを符号化し、さらに上記フィルタパラメータ符号化済みフラグを１に設定することを特徴とする動画像符号化装置である。An encoding apparatus according to another aspect of the present invention encodes hierarchically encoded data in which image information relating to images of different quality for each layer is hierarchically encoded, and outputs an image in a target layer to be encoded. An image encoding device to be restored,
A predicted image generation means for generating a predicted image of the target layer based on a prediction parameter, using an already encoded reference layer image and an already encoded target layer image as input, and
In the moving picture encoding apparatus, the prediction image generation unit includes a filter unit that performs adaptive filter processing on the reference layer image based on a filter parameter and generates a filtered reference layer image.
Comprising filter parameter encoding means for encoding the filter parameter;
The filter parameter encoding means initializes a filter parameter encoded flag to 0 for each filter unit as a predetermined unit, and a reference layer image is used for generation of a prediction image in the prediction image generation means. In addition, when the filter parameter decoded flag is “0”, the filter parameter is encoded, and the filter parameter encoded flag is set to “1”.

　これにより、参照レイヤ画像に適応的なフィルタを適用しない場合において、フィルタパラメータを符号化することがなくなるため、フィルタパラメータの符号量を低減する効果を奏する。Thereby, when an adaptive filter is not applied to the reference layer image, the filter parameter is not encoded, so that the code amount of the filter parameter is reduced.

　以上のように、本発明に係る画像復号装置は、参照レイヤ画像を用いて予測画像を生成する際に、適応的なフィルタ（インターレイヤフィルタ）を用いる場合において、予測パラメータが所定の条件を満たしている場合にのみ、インターレイヤフィルタ処理を適用し、それ以外の場合には適用しないことにより、インターレイヤフィルタの範囲を制限し、フィルタ処理の処理量を削減するという効果を奏する。また、参照レイヤ画像が予測画像の生成に用いられる最初のＣＵ（もしくはＰＵ）もしくは、予測パラメータが所定の条件を満たし、インターレイヤフィルタ処理を適用する最初のＣＵ（もしくはＰＵ）でのみ、対応するフィルタユニットのフィルタパラメータを符号化することにより、インターレイヤフィルタが用いられない場合において、フィルタパラメータを符号化することがなくなるため、フィルタパラメータの符号量を低減する効果を奏する。As described above, when the image decoding apparatus according to the present invention generates a prediction image using a reference layer image, the prediction parameter satisfies a predetermined condition when an adaptive filter (interlayer filter) is used. The inter-layer filter process is applied only in the case where it is applied, and not applied in other cases, so that the range of the inter-layer filter is limited and the processing amount of the filter process is reduced. Further, only the first CU (or PU) in which the reference layer image is used for generating the predicted image or the first CU (or PU) in which the prediction parameter satisfies a predetermined condition and the inter-layer filter process is applied is supported. By encoding the filter parameter of the filter unit, when the interlayer filter is not used, the filter parameter is not encoded, so that the amount of filter parameter code can be reduced.

本発明の実施の形態を示すものであり、階層動画像復号装置の概略的構成を示す機能ブロック図である。1, showing an embodiment of the present invention, is a functional block diagram illustrating a schematic configuration of a hierarchical video decoding device. FIG.上記実施の形態に係る階層符号化データのレイヤ構造を説明するための図であり、（ａ）は階層動画像符号化装置側について示す図であり、（ｂ）は階層動画像復号装置側について示す図である。It is a figure for demonstrating the layer structure of the hierarchy coding data which concerns on the said embodiment, (a) is a figure shown about the hierarchy moving image encoder side, (b) is about the hierarchy moving image decoder side. FIG.上記実施の形態に係る階層符号化データの構成を説明するための図であり、（ａ）はシーケンスＳＥＱを規定するシーケンスレイヤを示す図であり、（ｂ）はピクチャＰＩＣＴを規定するピクチャレイヤを示す図であり、（ｃ）はスライスＳを規定するスライスレイヤを示す図であり、（ｄ）はツリーブロック（Tree block）ＴＢＬＫを規定するツリーブロックレイヤを示す図であり、（ｅ）はツリーブロックＴＢＬＫに含まれる符号化単位（Coding Unit；ＣＵ）を規定するＣＵレイヤを示す図である。It is a figure for demonstrating the structure of the hierarchy coding data based on the said embodiment, (a) is a figure which shows the sequence layer which prescribes | regulates sequence SEQ, (b) is a picture layer which prescribes | regulates the picture PICT. (C) is a diagram showing a slice layer that defines a slice S, (d) is a diagram showing a tree block layer that defines a tree block (Tree block) TBLK, and (e) is a tree It is a figure which shows the CU layer which prescribes | regulates the coding unit (Coding | unit: CU) contained in block TBLK.ＰＵ分割タイプのパターンを示す図であり、（ａ）～（ｈ）は、それぞれ、ＰＵ分割タイプが、２Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、２Ｎ×Ｎ、２Ｎ×ｎＵ、および、２Ｎ×ｎＤの場合のパーティション形状について示している。FIG. 7 is a diagram illustrating PU partition type patterns, where (a) to (h) are PU partition types 2N × N, 2N × nU, 2N × nD, 2N × N, 2N × nU, and 2N, respectively. The partition shape in the case of xnD is shown.上記階層動画像復号装置が備える予測パラメータ復元部の概略的構成を示す機能ブロック図である。It is a functional block diagram which shows the schematic structure of the prediction parameter decompression | restoration part with which the said hierarchy moving image decoding apparatus is provided.上記階層動画像復号装置において利用可能なイントラ予測の方向について示す図である。It is a figure shown about the direction of the intra prediction which can be utilized in the said hierarchy moving image decoding apparatus.イントラ予測モードと、当該イントラ予測モードに対応付けられている名前とを示す図である。It is a figure which shows intra prediction mode and the name matched with the said intra prediction mode.上記階層動画像復号装置が備えるテクスチャ復元部の概略的構成を示す機能ブロック図である。It is a functional block diagram which shows the schematic structure of the texture restoration part with which the said hierarchy moving image decoding apparatus is provided.上記階層動画像復号装置が備えるベース復号部の概略的構成を示す機能ブロック図である。It is a functional block diagram which shows the schematic structure of the base decoding part with which the said hierarchy moving image decoding apparatus is provided.階層動画像復号装置が備えるインター予測部概略的構成機能ブロック図である。It is an inter prediction part schematic structure functional block diagram with which a hierarchy moving image decoding apparatus is provided.)、上記階層動画像復号装置が備えるインターレイヤフィルタ部の概略的構成を示す機能ブロック図である。FIG. 3 is a functional block diagram illustrating a schematic configuration of an interlayer filter unit included in the hierarchical video decoding device.インターレイヤフィルタ制御部の動作例を示すフローチャートである。It is a flowchart which shows the operation example of an interlayer filter control part.インターレイヤフィルタ制御部の別の動作例を示すフローチャートである。It is a flowchart which shows another operation example of an interlayer filter control part.インターレイヤフィルタ制御部の詳細の動作例を示すフローチャートである。It is a flowchart which shows the operation example of the detail of an interlayer filter control part.インターレイヤフィルタ制御部の詳細の別の動作例を示すフローチャートである。It is a flowchart which shows another operation example of the detail of an interlayer filter control part.インターレイヤフィルタ制御部の詳細の別の動作例を示すフローチャートである。It is a flowchart which shows another operation example of the detail of an interlayer filter control part.可変長復号部１２で復号される符号化データの構成を示す図である。It is a figure which shows the structure of the coding data decoded by the variable length decoding part.可変長復号部１２において、フィルタパラメータを含む符号化データを復号する動作例を示すフローチャートである。10 is a flowchart illustrating an operation example of decoding encoded data including a filter parameter in the variablelength decoding unit 12;可変長復号部１２において、フィルタパラメータを含む符号化データを復号する別の動作例を示すフローチャートである。12 is a flowchart illustrating another example of operation for decoding encoded data including a filter parameter in the variablelength decoding unit 12;可変長復号部１２において、フィルタパラメータを含む符号化データを復号する別の動作例を示すフローチャートである。12 is a flowchart illustrating another example of operation for decoding encoded data including a filter parameter in the variablelength decoding unit 12;可変長復号部１２で復号される符号化データの別の構成を示す図である。It is a figure which shows another structure of the coding data decoded by the variable length decoding part.可変長復号部１２において、フィルタユニットで符号化されるフィルタパラメータの構成を示す図である。It is a figure which shows the structure of the filter parameter encoded with a filter unit in the variable length decoding part.適応空間フィルタのフィルタパラメータの一つであるフィルタ係数をスライスヘッダで符号化する場合の符号化データの構成を示す図である。It is a figure which shows the structure of the encoding data in the case of encoding the filter coefficient which is one of the filter parameters of an adaptive spatial filter with a slice header.可変長符号化部２５において、フィルタパラメータを含む符号化データを符号化する動作例を示すフローチャートである。10 is a flowchart illustrating an operation example of encoding encoded data including a filter parameter in the variablelength encoding unit 25.可変長符号化２５において、フィルタパラメータを含む符号化データを符号化する別の動作例を示すフローチャートである。12 is a flowchart illustrating another operation example of encoding encoded data including a filter parameter in the variable-length encoding 25.可変長符号化２５において、フィルタパラメータを含む符号化データを符号化する別の動作例を示すフローチャートである。12 is a flowchart illustrating another operation example of encoding encoded data including a filter parameter in the variable-length encoding 25.本発明の一実施形態に係る階層動画像符号化装置の概略的構成を示す機能ブロック図である。It is a functional block diagram which shows schematic structure of the hierarchy moving image encoder which concerns on one Embodiment of this invention.上記階層動画像符号化装置が備える予測情報生成部の概略的構成を示す機能ブロック図である。It is a functional block diagram which shows the schematic structure of the prediction information generation part with which the said hierarchy moving image encoder is provided.上記階層動画像符号化装置が備えるテクスチャ情報生成部の概略的構成を示す機能ブロック図である。It is a functional block diagram which shows the schematic structure of the texture information generation part with which the said hierarchy moving image encoder is provided.上記階層動画像符号化装置を搭載した送信装置、および、上記階層動画像復号装置を搭載した受信装置の構成について示した図である。（ａ）は、階層動画像符号化装置を搭載した送信装置を示しており、（ｂ）は、階層動画像復号装置を搭載した受信装置を示している。It is the figure shown about the structure of the transmitter which mounts the said hierarchy moving image encoder, and the receiver which mounts the said hierarchy moving image decoder. (A) shows a transmission device equipped with a hierarchical video encoding device, and (b) shows a reception device equipped with a hierarchical video decoding device.上記階層動画像符号化装置を搭載した記録装置、および、上記階層動画像復号装置を搭載した再生装置の構成について示した図である。（ａ）は、階層動画像符号化装置を搭載した記録装置を示しており、（ｂ）は、階層動画像復号装置を搭載した再生装置を示している。It is the figure shown about the structure of the recording device carrying the said hierarchy moving image encoder, and the reproducing | regenerating apparatus carrying the said hierarchy moving image decoding apparatus. (A) shows a recording device equipped with a hierarchical video encoding device, and (b) shows a playback device equipped with a hierarchical video decoding device.

　図１～３１に基づいて、本発明の一実施の形態に係る階層動画像復号装置１および階層動画像符号化装置２について説明すれば以下の通りである。The hierarchical movingpicture decoding apparatus 1 and the hierarchical movingpicture encoding apparatus 2 according to an embodiment of the present invention will be described below with reference to FIGS.

　〔概要〕
　〔階層符号化の概要〕
　本実施の形態に係る階層動画像復号装置（画像復号装置）１は、階層動画像符号化装置（画像符号化装置）２によってスケーラブル映像符号化（ＳＶＣ；Scalable Video Coding）された符号化データを復号する。スケーラブル映像符号化とは、動画像を低品質のも
のから高品質のものにかけて階層的に符号化する符号化方式のことである。スケーラブル映像符号化は、例えば、Ｈ．２６４／ＡＶＣ　Ａｎｎｅｘ Ｇ　ＳＶＣにおいて標準化さ
れている。なお、ここでいう動画像の品質とは、主観的および客観的な動画像の見栄えに影響する要素のことを広く意味する。動画像の品質には、例えば、“解像度”、“フレームレート”“画質”、および“画素の表現精度”が含まれる。よって、以下、動画像の品質が異なるといえば、例示的には、“解像度”等が異なることを指すが、これに限られない。例えば、異なる量子化ステップで量子化された動画像の場合（すなわち、異なる符号化雑音により符号化された動画像の場合）も互いに動画像の品質が異なるといえる。〔Overview〕
[Outline of hierarchical coding]
A hierarchical video decoding device (image decoding device) 1 according to the present embodiment receives encoded data that has been subjected to scalable video coding (SVC) by a hierarchical video encoding device (image encoding device) 2. Decrypt. Scalable video coding is a coding method that hierarchically encodes moving images from low quality to high quality. Scalable video coding is, for example, H.264. H.264 / AVC Annex G SVC. Note that the quality of a moving image here widely means an element that affects the appearance of a subjective and objective moving image. The quality of the moving image includes, for example, “resolution”, “frame rate”, “image quality”, and “pixel representation accuracy”. Therefore, hereinafter, if the quality of the moving image is different, it means that, for example, “resolution” is different, but it is not limited thereto. For example, in the case of moving images quantized in different quantization steps (that is, moving images encoded with different encoding noises), it can be said that the quality of moving images is different from each other.

　また、ＳＶＣは、階層化される情報の種類の観点から、（１）空間スケーラビリティ、（２）時間スケーラビリティ、および（３）ＳＮＲ（Signal to Noise Ratio）スケーラビリティに分類されることもある。空間スケーラビリティとは、解像度や画像のサイズにおいて階層化する技術である。時間スケーラビリティとは、フレーム・レート（単位時間のフレーム数）において階層化する技術である。また、ＳＮＲスケーラビリティは、符号化雑音において階層化する技術である。SVC is also classified into (1) spatial scalability, (2) temporal scalability, and (3) SNR (Signal-to-Noise-Ratio) scalability from the viewpoint of the type of information layered. Spatial scalability is a technique for hierarchizing resolution and image size. Time scalability is a technique for layering at a frame rate (the number of frames per unit time). Also, SNR scalability is a technique for hierarchizing in coding noise.

　本実施形態に係る階層動画像符号化装置２及び階層動画像復号装置１の詳細な説明に先立って、まず（１）階層動画像符号化装置２によって生成され、階層動画像復号装置１によって復号される階層符号化データのレイヤ構造について説明し、次いで（２）各レイヤで採用できるデータ構造の具体例について説明を行う。
〔階層符号化データのレイヤ構造〕
　ここで、図２を用いて、階層符号化データの符号化および復号について説明すると次のとおりである。図２は、動画像を、下位階層Ｌ３、中位階層Ｌ２、および上位階層Ｌ１の３階層により階層的に符号化／復号する場合について模式的に表す図である。つまり、図２（ａ）および（ｂ）に示す例では、３階層のうち、上位階層Ｌ１が最上位層となり、下位階層Ｌ３が最下位層となる。Prior to detailed description of the hierarchicalvideo encoding device 2 and the hierarchicalvideo decoding device 1 according to the present embodiment, first, (1) the hierarchicalvideo encoding device 2 generates and the hierarchicalvideo decoding device 1 performs decoding. The layer structure of the hierarchically encoded data to be performed will be described, and then (2) a specific example of the data structure that can be adopted in each layer will be described.
[Layer structure of hierarchically encoded data]
Here, encoding and decoding of hierarchically encoded data will be described with reference to FIG. FIG. 2 is a diagram schematically illustrating a case where a moving image is hierarchically encoded / decoded by three layers of a lower layer L3, a middle layer L2, and an upper layer L1. That is, in the example shown in FIGS. 2A and 2B, of the three layers, the upper layer L1 is the highest layer and the lower layer L3 is the lowest layer.

　以下において、階層符号化データから復号され得る特定の品質に対応する復号画像は、特定の階層の復号画像（または、特定の階層に対応する復号画像）と称される（例えば、上位階層Ｌ１の復号画像ＰＯＵＴ＃Ａ）。In the following, a decoded image corresponding to a specific quality that can be decoded from hierarchically encoded data is referred to as a decoded image of a specific hierarchy (or a decoded image corresponding to a specific hierarchy) (for example, in the upper hierarchy L1). Decoded image POUT # A).

　図２（ａ）は、入力画像ＰＩＮ＃Ａ～ＰＩＮ＃Ｃをそれぞれ階層的に符号化して符号化データＤＡＴＡ＃Ａ～ＤＡＴＡ＃Ｃを生成する階層動画像符号化装置２＃Ａ～２＃Ｃを示している。図２（ｂ）は、階層的に符号化された符号化データＤＡＴＡ＃Ａ～ＤＡＴＡ＃Ｃをそれぞれ復号して復号画像ＰＯＵＴ＃Ａ～ＰＯＵＴ＃Ｃを生成する階層動画像復号装置１＃Ａ～１＃Ｃを示している。FIG. 2A shows a hierarchical movingimage encoding apparatus 2 # A to 2 # C that generates encoded data DATA # A to DATA # C by hierarchically encoding input images PIN # A to PIN # C, respectively. Is shown. FIG. 2B shows a hierarchical movingpicture decoding apparatus 1 # A˜ that generates decoded images POUT # A˜POUT # C by decoding the encoded data DATA # A˜DATA # C, which are encoded hierarchically. 1 # C is shown.

　まず、図２（ａ）を用いて、符号化装置側について説明する。符号化装置側の入力となる入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃは、原画は同じだが、画像の品質（解像度、フレームレート、および画質等）が異なる。画像の品質は、入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃの順に低くなる。First, the encoding device side will be described with reference to FIG. The input images PIN # A, PIN # B, and PIN # C that are input on the encoding device side have the same original image but different image quality (resolution, frame rate, image quality, and the like). The image quality decreases in the order of the input images PIN # A, PIN # B, and PIN # C.

　下位階層Ｌ３の階層動画像符号化装置２＃Ｃは、下位階層Ｌ３の入力画像ＰＩＮ＃Ｃを符号化して下位階層Ｌ３の符号化データＤＡＴＡ＃Ｃを生成する。下位階層Ｌ３の復号画像ＰＯＵＴ＃Ｃを復号するのに必要な基本情報が含まれる（図２において“Ｃ”にて示している）。下位階層Ｌ３は、最下層の階層であるため、下位階層Ｌ３の符号化データＤＡＴＡ＃Ｃは、基本符号化データとも称される。The hierarchicalvideo encoding device 2 # C of the lower hierarchy L3 encodes the input image PIN # C of the lower hierarchy L3 to generate encoded data DATA # C of the lower hierarchy L3. Basic information necessary for decoding the decoded image POUT # C of the lower layer L3 is included (indicated by “C” in FIG. 2). Since the lower layer L3 is the lowest layer, the encoded data DATA # C of the lower layer L3 is also referred to as basic encoded data.

　また、中位階層Ｌ２の階層動画像符号化装置２＃Ｂは、中位階層Ｌ２の入力画像ＰＩＮ＃Ｂを、下位階層の符号化データＤＡＴＡ＃Ｃを参照しながら符号化して中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂを生成する。中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂには、符号化データＤＡＴＡ＃Ｃに含まれる基本情報“Ｃ”に加えて、中位階層の復号画像ＰＯＵＴ＃Ｂを復号するのに必要な付加的情報（図２において“Ｂ”にて示している）が含まれる。Further, the hierarchicalvideo encoding apparatus 2 # B of the middle hierarchy L2 encodes the input image PIN # B of the middle hierarchy L2 with reference to the encoded data DATA # C of the lower hierarchy, and performs the middle hierarchy L2 Encoded data DATA # B is generated. In addition to the basic information “C” included in the encoded data DATA # C, additional data necessary for decoding the decoded image POUT # B of the intermediate hierarchy is added to the encoded data DATA # B of the intermediate hierarchy L2. Information (indicated by “B” in FIG. 2) is included.

　また、上位階層Ｌ１の階層動画像符号化装置２＃Ａは、上位階層Ｌ１の入力画像ＰＩＮ＃Ａを、中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂを参照しながら符号化して上位階層Ｌ１の符号化データＤＡＴＡ＃Ａを生成する。上位階層Ｌ１の符号化データＤＡＴＡ＃Ａには、下位階層Ｌ３の復号画像ＰＯＵＴ＃Ｃを復号するのに必要な基本情報“Ｃ”および中位階層Ｌ２の復号画像ＰＯＵＴ＃Ｂを復号するのに必要な付加的情報“Ｂ”に加えて、上位階層の復号画像ＰＯＵＴ＃Ａを復号するのに必要な付加的情報（図２において“Ａ”にて示している）が含まれる。Further, the hierarchicalvideo encoding apparatus 2 # A of the upper hierarchy L1 encodes the input image PIN # A of the upper hierarchy L1 with reference to the encoded data DATA # B of the intermediate hierarchy L2 to Encoded data DATA # A is generated. The encoded data DATA # A of the upper layer L1 is used to decode the basic information “C” necessary for decoding the decoded image POUT # C of the lower layer L3 and the decoded image POUT # B of the middle layer L2. In addition to the necessary additional information “B”, additional information (indicated by “A” in FIG. 2) necessary for decoding the decoded image POUT # A of the upper layer is included.

このように上位階層Ｌ１の符号化データＤＡＴＡ＃Ａは、異なる複数の品質の復号画像に関する情報を含む。As described above, the encoded data DATA # A of the upper layer L1 includes information related to decoded images having a plurality of different qualities.

　次に、図２（ｂ）を参照しながら復号装置側について説明する。復号装置側では、上位階層Ｌ１、中位階層Ｌ２、および下位階層Ｌ３それぞれの階層に応じた復号装置１＃Ａ、１Ｂ、および１＃Ｃが、符号化データＤＡＴＡ＃Ａ、ＤＡＴＡ＃Ｂ、およびＤＡＴＡ＃Ｃを復号して復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃを出力する。Next, the decoding device side will be described with reference to FIG. On the decoding device side, thedecoding devices 1 # A, 1B, and 1 # C corresponding to the upper layer L1, the middle layer L2, and the lower layer L3 have encoded data DATA # A, DATA # B, and DATA # C is decoded and decoded images POUT # A, POUT # B, and POUT # C are output.

　なお、上位の階層符号化データの一部の情報を抽出して、より下位の特定の復号装置において、当該抽出した情報を復号することで特定の品質の動画像を再生することもできる。Note that it is also possible to reproduce a moving image of a specific quality by extracting a part of information of the upper layer encoded data and decoding the extracted information in a lower specific decoding device.

　例えば、中位階層Ｌ２の階層動画像復号装置１＃Ｂは、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａから、復号画像ＰＯＵＴ＃Ｂを復号するのに必要な情報（すなわち、階層符号化データＤＡＴＡ＃Ａに含まれる“Ｂ”および“Ｃ”）を抽出して、復号画像ＰＯＵＴ＃Ｂを復号してもよい。言い換えれば、復号装置側では、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａに含まれる情報に基づいて、復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃを復号することができる。For example, the hierarchical movingpicture decoding apparatus 1 # B in the middle hierarchy L2 receives information necessary for decoding the decoded picture POUT # B from the hierarchical encoded data DATA # A in the upper hierarchy L1 (that is, the hierarchical encoded data). The decoded image POUT # B may be decoded by extracting “B” and “C”) included in DATA # A. In other words, on the decoding device side, the decoded images POUT # A, POUT # B, and POUT # C can be decoded based on information included in the hierarchically encoded data DATA # A of the upper hierarchy L1.

　なお、以上の３階層の階層符号化データに限られず、階層符号化データは、２階層で階層符号化されていてもよいし、３階層よりも多い階層数にて階層符号化されていてもよい。The hierarchical encoded data is not limited to the above three-layer hierarchical encoded data, and the hierarchical encoded data may be hierarchically encoded with two layers or may be hierarchically encoded with a number of layers larger than three. Good.

　また、特定の階層の復号画像に関する符号化データの一部または全部を他の階層とは独立して符号化し、特定の階層の復号の際に、他の階層の情報を参照しなくても済むように階層符号化データを構成してもよい。例えば、図２（ａ）および（ｂ）を用いて上述した例では、復号画像ＰＯＵＴ＃Ｂの復号に“Ｃ”および“Ｂ”を参照すると説明したが、これに限られない。復号画像ＰＯＵＴ＃Ｂが“Ｂ”だけを用いて復号できるように階層符号化データを構成することも可能である。Also, a part or all of the encoded data related to the decoded image of a specific hierarchy is encoded independently of the other hierarchy, and it is not necessary to refer to information of the other hierarchy when decoding the specific hierarchy. Hierarchically encoded data may be configured as described above. For example, in the example described above with reference to FIGS. 2A and 2B, it has been described that “C” and “B” are referred to for decoding the decoded image POUT # B, but the present invention is not limited thereto. It is also possible to configure the hierarchically encoded data so that the decoded image POUT # B can be decoded using only “B”.

　なお、ＳＮＲスケーラビリティを実現する場合、入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃとして同一の原画を用いた上で、復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃが異なる画質となるよう階層符号化データを生成することもできる。その場合、下位階層の階層動画像符号化装置が、上位階層の階層動画像符号化装置に較べて、より大きい量子化幅を用いて予測残差を量子化することで階層符号化データを生成する。When SNR scalability is realized, the same original image is used as the input images PIN # A, PIN # B, and PIN # C, and the decoded images POUT # A, POUT # B, and POUT # C have different image quality. Hierarchically encoded data can also be generated so that In that case, the lower layer hierarchical video encoding device generates hierarchical encoded data by quantizing the prediction residual using a larger quantization width than the upper layer hierarchical video encoding device. To do.

　本書では、説明の便宜上、次のとおり用語を定義する。以下の用語は、特に断りがなければ、下記の技術的事項のことを表すのに用いる。This document defines the following terms for convenience of explanation. The following terms are used to indicate the following technical matters unless otherwise specified.

　上位レイヤ　：　ある階層よりも上位に位置する階層のことを、上位レイヤと称する。例えば、図２において、下位階層Ｌ３の上位レイヤは、中位階層Ｌ２および上位階層Ｌ１である。また、上位レイヤの復号画像とは、より品質の高い（例えば、解像度が高い、フレームレートが高い、画質が高い等）復号画像のことをいう。Upper layer: A layer located above a certain layer is referred to as an upper layer. For example, in FIG. 2, the upper layers of the lower layer L3 are the middle layer L2 and the upper layer L1. The decoded image of the upper layer means a decoded image with higher quality (for example, high resolution, high frame rate, high image quality, etc.).

　下位レイヤ　：　ある階層よりも下位に位置する階層のことを、下位レイヤと称する。例えば、図２において、上位階層Ｌ１の下位レイヤは、中位階層Ｌ２および下位階層Ｌ３である。また、下位レイヤの復号画像とは、より品質の低い復号画像のことをいう。Lower layer: A layer located below a certain layer is referred to as a lower layer. For example, in FIG. 2, the lower layers of the upper layer L1 are the middle layer L2 and the lower layer L3. Further, the decoded image of the lower layer refers to a decoded image with lower quality.

　対象レイヤ　：　復号または符号化の対象となっている階層のことをいう。　Target layer: A layer that is the target of decoding or encoding. *

　参照レイヤ（reference layer）　：　対象レイヤに対応する復号画像を復号するのに
参照される特定の下位レイヤのことを参照レイヤと称する。Reference layer: A specific lower layer referred to for decoding a decoded image corresponding to a target layer is referred to as a reference layer.

　図２（ａ）および（ｂ）に示した例では、上位階層Ｌ１の参照レイヤは、中位階層Ｌ２および下位階層Ｌ３である。しかしながら、これに限られず、特定の上記レイヤの復号において、下位レイヤのすべてを参照しなくてもよいように階層符号化データを構成することもできる。例えば、上位階層Ｌ１の参照レイヤが、中位階層Ｌ２および下位階層Ｌ３のいずれか一方となるように階層符号化データを構成することも可能である。In the example shown in FIGS. 2A and 2B, the reference layers of the upper hierarchy L1 are the middle hierarchy L2 and the lower hierarchy L3. However, the present invention is not limited to this, and the hierarchically encoded data can be configured so that it is not necessary to refer to all of the lower layers in decoding of the specific layer. For example, the hierarchical encoded data can be configured such that the reference layer of the upper hierarchy L1 is either the middle hierarchy L2 or the lower hierarchy L3.

　基本レイヤ（base layer）　：　最下層に位置する階層のことを基本レイヤと称する。基本レイヤの復号画像は、符号化データから復号され得るもっとも低い品質の復号画像であり、基本（base）復号画像と呼称される。別の言い方をすれば、基本復号画像は、最下層の階層に対応する復号画像のことである。基本復号画像の復号に必要な階層符号化データの部分符号化データは基本符号化データと呼称される。例えば、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａに含まれる基本情報“Ｃ”が基本符号化データである。Base layer: A layer located at the lowest layer is referred to as a base layer. The base layer decoded image is the lowest quality decoded image that can be decoded from the encoded data, and is referred to as the base decoded image. In other words, the basic decoded image is a decoded image corresponding to the lowest layer. The partially encoded data of the hierarchically encoded data necessary for decoding the basic decoded image is referred to as basic encoded data. For example, the basic information “C” included in the hierarchically encoded data DATA # A of the upper hierarchy L1 is the basic encoded data.

　拡張レイヤ　：　基本レイヤの上位レイヤは、拡張レイヤと称される。Extension layer: The upper layer of the base layer is called the extension layer.

　レイヤ識別子　：　レイヤ識別子は、階層を識別するためのものであり、階層と１対１に対応する。階層符号化データには特定の階層の復号画像の復号に必要な部分符号化データを選択するために用いられる階層識別子が含まれる。特定のレイヤに対応するレイヤ識別子に関連付けられた階層符号化データの部分集合は、レイヤ表現とも呼称される。Layer identifier: The layer identifier is for identifying the hierarchy, and corresponds to the hierarchy one-to-one. The hierarchically encoded data includes a hierarchical identifier used for selecting partial encoded data necessary for decoding a decoded image of a specific hierarchy. A subset of hierarchically encoded data associated with a layer identifier corresponding to a specific layer is also referred to as a layer representation.

　一般に、特定の階層の復号画像の復号には、当該階層のレイヤ表現、および／または、当該階層の下位レイヤに対応するレイヤ表現が用いられる。すなわち、対象レイヤの復号画像の復号においては、対象レイヤのレイヤ表現、および／または、対象レイヤの下位レイヤに含まれる１つ以上階層のレイヤ表現が用いられる。Generally, for decoding a decoded image of a specific layer, a layer representation of the layer and / or a layer representation corresponding to a lower layer of the layer is used. That is, in decoding the decoded image of the target layer, layer representation of the target layer and / or layer representation of one or more layers included in a lower layer of the target layer are used.

　レイヤ間予測　：　レイヤ間予測とは、対象レイヤのレイヤ表現と異なる階層（参照レイヤ）のレイヤ表現に含まれるシンタックス要素値、シンタックス要素値より導出される値、および復号画像に基づいて、対象レイヤのシンタックス要素値や対象レイヤの復号に用いられる符号化パラメータ等を予測することである。動き予測に関する情報を（同時刻の）参照レイヤの情報から予測するレイヤ間予測のことを動き情報予測と称することもある。また、（同時刻の）下位レイヤの復号画像をアップサンプリングした画像から予測するレイヤ間予測のことをテクスチャ予測と称することもある。なお、レイヤ間予測に用いられる階層は、例示的には、対象レイヤの下位レイヤである。また、参照レイヤを用いず対象レイヤ内で予測を行うことをレイヤ内予測と称することもある。Inter-layer prediction: Inter-layer prediction is based on the syntax element value, the value derived from the syntax element value included in the layer expression of the layer (reference layer) different from the layer expression of the target layer, and the decoded image. It is to predict the syntax element value of the target layer, the encoding parameter used for decoding of the target layer, and the like. Inter-layer prediction in which information related to motion prediction is predicted from reference layer information (at the same time) may be referred to as motion information prediction. In addition, inter-layer prediction in which a decoded image of a lower layer (at the same time) is predicted from an up-sampled image may be referred to as texture prediction. Note that the hierarchy used for inter-layer prediction is, for example, a lower layer of the target layer. In addition, performing prediction within a target layer without using a reference layer may be referred to as intra-layer prediction.

　なお、以上の用語は、飽くまで説明の便宜上のものであり、上記の技術的事項を別の用語にて表現してもかまわない。
〔階層符号化データのデータ構造について〕
　以下、各階層の符号化データを生成する符号化方式として、ＨＥＶＣおよびその拡張方式を用いる場合について例示する。しかしながら、これに限られず、各階層の符号化データを、ＭＰＥＧ－２や、Ｈ．２６４／ＡＶＣなどの符号化方式により生成してもよい。Note that the above terms are for convenience of explanation until they are tired, and the above technical matters may be expressed by other terms.
[Data structure of hierarchically encoded data]
Hereinafter, the case where HEVC and its extended system are used as an encoding system for generating encoded data of each layer will be exemplified. However, the present invention is not limited to this. It may be generated by an encoding method such as H.264 / AVC.

　また、下位レイヤと上位レイヤとが異なる符号化方式によって符号化されていてもよい。また、階層の符号化データは、互いに異なる伝送路を介して階層動画像復号装置１’に供給されるものであってもよいし、同一の伝送路を介して階層動画像復号装置１’に供給されるものであってもよい。Also, the lower layer and the upper layer may be encoded by different encoding methods. Further, the encoded data of the hierarchy may be supplied to the hierarchicalvideo decoding apparatus 1 ′ via different transmission paths, or may be supplied to the hierarchicalvideo decoding apparatus 1 ′ via the same transmission path. It may be supplied.

　例えば、超高精細映像（動画像、４Ｋ映像データ）を基本レイヤおよび１つの拡張レイヤによりスケーラブル符号化して伝送する場合、基本レイヤは、４Ｋ映像データをダウンスケーリングし、インタレース化した映像データをＭＰＥＧ－２またはＨ．２６４／ＡＶＣにより符号化してテレビ放送網で伝送し、拡張レイヤは、４Ｋ映像（プログレッシブ）をＨＥＶＣにより符号化して、インターネットで伝送してもよい。For example, when transmitting ultra-high-definition video (moving image, 4K video data) with a base layer and one extended layer in a scalable encoding, the base layer downscales 4K video data, and interlaced video data. MPEG-2 or H.264 The enhancement layer may be encoded by H.264 / AVC and transmitted over a television broadcast network, and the enhancement layer may encode 4K video (progressive) with HEVC and transmit over the Internet.

　（基本レイヤ）
　図３は、基本レイヤにおいて採用することができる符号化データ（図２の例でいえば、階層符号化データＤＡＴＡ＃Ｃ）のデータ構造について例示する図である。階層符号化データＤＡＴＡ＃Ｃは、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。(Basic layer)
FIG. 3 is a diagram illustrating a data structure of encoded data (hierarchically encoded data DATA # C in the example of FIG. 2) that can be employed in the base layer. Hierarchically encoded data DATA # C illustratively includes a sequence and a plurality of pictures constituting the sequence.

　階層符号化データＤＡＴＡ＃Ｃにおけるデータの階層構造を図３に示す。図３の（ａ）～（ｅ）は、それぞれ、シーケンスＳＥＱを規定するシーケンスレイヤ、ピクチャＰＩＣＴを規定するピクチャレイヤ、スライスＳを規定するスライスレイヤ、ツリーブロック（Tree block）ＴＢＬＫを規定するツリーブロックレイヤ、ツリーブロックＴＢＬＫに含まれる符号化単位（Coding Unit；ＣＵ）を規定するＣＵレイヤを示す図である。FIG. 3 shows a hierarchical structure of data in the hierarchical encoded data DATA # C. 3A to 3E show a sequence layer that defines a sequence SEQ, a picture layer that defines a picture PICT, a slice layer that defines a slice S, and a tree block that defines a tree block TBLK. It is a figure which shows the CU layer which prescribes | regulates the coding unit (Coding | union Unit; CU) contained in a layer and tree block TBLK.

　　（シーケンスレイヤ）
　シーケンスレイヤでは、処理対象のシーケンスＳＥＱ（以下、対象シーケンスとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。シーケンスＳＥＱは、図３の（ａ）に示すように、シーケンスパラメータセットＳＰＳ（Sequence Parameter Set）、ピクチャパラメータセットＰＰＳ（Picture Parameter Set
）、適応パラメータセットＡＰＳ（Adaptation Parameter Set）、ピクチャＰＩＣＴ１～ＰＩＣＴNP（ＮＰはシーケンスＳＥＱに含まれるピクチャの総数）、及び、付加拡張情報ＳＥＩ（Supplemental Enhancement Information）を含んでいる。(Sequence layer)
In the sequence layer, a set of data referred to by the hierarchicalvideo decoding device 1 for decoding a sequence SEQ to be processed (hereinafter also referred to as a target sequence) is defined. As shown in FIG. 3A, the sequence SEQ includes a sequence parameter set SPS (Sequence Parameter Set) and a picture parameter set PPS (Picture Parameter Set).
), An adaptation parameter set (APS), pictures PICT1 to PICTNP (NP is the total number of pictures included in the sequence SEQ), and supplemental enhancement information (SEI).

　シーケンスパラメータセットＳＰＳでは、対象シーケンスを復号するために階層動画像復号装置１が参照する符号化パラメータの集合が規定されている。The sequence parameter set SPS defines a set of encoding parameters that the hierarchicalvideo decoding device 1 refers to in order to decode the target sequence.

　ピクチャパラメータセットＰＰＳでは、対象シーケンス内の各ピクチャを復号するために階層動画像復号装置１が参照する符号化パラメータの集合が規定されている。なお、ＰＰＳは複数存在してもよい。その場合、対象シーケンス内の各ピクチャから複数のＰＰＳの何れかを選択する。In the picture parameter set PPS, a set of encoding parameters referred to by the hierarchicalvideo decoding device 1 for decoding each picture in the target sequence is defined. A plurality of PPS may exist. In that case, one of a plurality of PPSs is selected from each picture in the target sequence.

　適応パラメータセットＡＰＳは、対象シーケンス内の各スライスを復号するために階層動画像復号装置１が参照する符号化パラメータの集合が規定されている。ＡＰＳは複数存在してもよい。その場合、対象シーケンス内の各スライスから複数のＡＰＳの何れかを選択する。The adaptive parameter set APS defines a set of encoding parameters that the hierarchicalvideo decoding device 1 refers to in order to decode each slice in the target sequence. There may be a plurality of APSs. In that case, one of a plurality of APSs is selected from each slice in the target sequence.

　　（ピクチャレイヤ）
　ピクチャレイヤでは、処理対象のピクチャＰＩＣＴ（以下、対象ピクチャとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。ピクチャＰＩＣＴは、図３の（ｂ）に示すように、ピクチャヘッダＰＨ、及び、スライスＳ1～ＳNSを含んでいる（ＮＳはピクチャＰＩＣＴに含まれるスライスの総数）。(Picture layer)
In the picture layer, a set of data that is referred to by the hierarchicalvideo decoding device 1 in order to decode a picture PICT to be processed (hereinafter also referred to as a target picture) is defined. As shown in FIG. 3B, the picture PICT includes a picture header PH and slices S1 to SNS (NS is the total number of slices included in the picture PICT).

　なお、以下、スライスＳ1～ＳNSのそれぞれを区別する必要が無い場合、符号の添え字を省略して記述することがある。また、以下に説明する階層符号化データＤＡＴＡ＃Ｃに含まれるデータであって、添え字を付している他のデータについても同様である。In the following description, if it is not necessary to distinguish each of the slices S1 to SNS, the subscripts may be omitted. The same applies to data included in the hierarchically encoded data DATA # C described below and to which subscripts are added.

　ピクチャヘッダＰＨには、対象ピクチャの復号方法を決定するために階層動画像復号装置１が参照する符号化パラメータ群が含まれている。なお、符号化パラメータ群は、必ずしもピクチャヘッダＰＨ内に直接含んでいる必要はなく、例えばピクチャパラメータセットＰＰＳへの参照を含むことで、間接的に含めても良い。The picture header PH includes a coding parameter group referred to by the hierarchicalvideo decoding device 1 in order to determine a decoding method of the target picture. Note that the encoding parameter group is not necessarily included directly in the picture header PH, and may be included indirectly, for example, by including a reference to the picture parameter set PPS.

　　（スライスレイヤ）
　スライスレイヤでは、処理対象のスライスＳ（対象スライスとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。スライスＳは、図３の（ｃ）に示すように、スライスヘッダＳＨ、及び、ツリーブロックＴＢＬＫ1～ＴＢＬＫNC（ＮＣはスライスＳに含まれるツリーブロックの総数）のシーケンスを含んでいる。(Slice layer)
In the slice layer, a set of data that is referred to by the hierarchicalvideo decoding device 1 in order to decode a slice S (also referred to as a target slice) to be processed is defined. As shown in FIG. 3C, the slice S includes a slice header SH and a sequence of tree blocks TBLK1 to TBLKNC (NC is the total number of tree blocks included in the slice S).

　スライスヘッダＳＨには、対象スライスの復号方法を決定するために階層動画像復号装置１が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報（slice_type）は、スライスヘッダＳＨに含まれる符号化パラメータの一例である。The slice header SH includes a coding parameter group that the hierarchicalvideo decoding device 1 refers to in order to determine a decoding method of the target slice. Slice type designation information (slice_type) for designating a slice type is an example of an encoding parameter included in the slice header SH.

　スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単方向予測、又は、イントラ予測を用いるＰスライス、（３）符号化の際に単方向予測、双方向予測、又は、イントラ予測を用いるＢスライスなどが挙げられる。As slice types that can be specified by the slice type specification information, (1) I slice that uses only intra prediction at the time of encoding, (2) P slice that uses unidirectional prediction or intra prediction at the time of encoding, (3) B-slice using unidirectional prediction, bidirectional prediction, or intra prediction at the time of encoding may be used.

　なお、スライスヘッダＳＨには、上記シーケンスレイヤに含まれる、ピクチャパラメータセットＰＰＳへの参照（pic_parameter_set_id）、適応パラメータセットＡＰＳへの参照（aps_id）を含んでいても良い。Note that the slice header SH may include a reference to the picture parameter set PPS (pic_parameter_set_id) and a reference to the adaptive parameter set APS (aps_id) included in the sequence layer.

　また、スライスヘッダＳＨには、階層動画像復号装置１の備える適応フィルタによって参照されるフィルタパラメータＦＰが含まれている。フィルタパラメータＦＰは、例えば、フィルタ係数群を含むことができる。フィルタ係数群には、（１）フィルタの形状やタップ数を指定するフィルタ指定情報、（２）フィルタ係数fcoeff[0]～fcoeff[NT-1]（NTは、フィルタ係数群に含まれるフィルタ係数の総数）、および、（３）オフセットが含まれる。また、フィルタパラメータには、後述するフィルタユニット単位で、フィルタを適用するか否かを切り替えるフラグであるフィルタオンオフフラグや、フィルタユニット単位で、使用するフィルタパラメータを切り替えるフィルタインデックスを含んでも良い。In addition, the slice header SH includes a filter parameter FP that is referred to by an adaptive filter included in the hierarchicalvideo decoding device 1. The filter parameter FP can include, for example, a filter coefficient group. The filter coefficient group includes (1) filter specification information for specifying the filter shape and the number of taps, and (2) filter coefficients fcoeff [0] to fcoeff [NT-1] (NT is a filter coefficient included in the filter coefficient group. ), And (3) offset. The filter parameters may include a filter on / off flag that is a flag for switching whether or not to apply a filter in units of filter units, which will be described later, and a filter index that switches a filter parameter to be used in units of filter units.

　フィルタパラメータは、所定の画像の領域に対応するフィルタユニット単位で切り替えることができる。所定の画像領域を特定するためのブロックであるフィルタユニットはＣＴＢでも良いし、複数のＣＴＢのまとまり、ＣＵ、ＰＵでも良いが、上記フィルタユニット内では同じフィルタパラメータが用いられるとする。以下の説明ではフィルタユニットは、ＣＴＢ単位とする。なお、符号化データ上では、フィルタパラメータは、ツリーブロックレイヤ以下において、フィルタユニット単位で符号化されるフィルタパラメータと、複数のフィルタユニットで共通で用いられるフィルタパラメータから構成される。フィルタユニット単位で符号化されるフィルタパラメータは、ＣＴＢ単位、ＣＵ単位、ＰＵ単位で符号化され、複数のフィルタユニットで用いられるフィルタパラメータは、以上説明したようにスライスヘッダＳＨ、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、適応パラメータセット（ＡＰＳ）などで符号化される。
　（ツリーブロックレイヤ）
　ツリーブロックレイヤでは、処理対象のツリーブロックＴＢＬＫ（以下、対象ツリーブロックとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。なお、ツリーブロックのことを符号化ツリーブロック（CTB:Coding Tree block）、または、最大符号化単位（LCU:Largest Cording Unit）と呼ぶこともある。The filter parameters can be switched in units of filter units corresponding to a predetermined image area. A filter unit that is a block for specifying a predetermined image region may be a CTB, or a group of a plurality of CTBs, a CU, or a PU, but the same filter parameter is used in the filter unit. In the following description, the filter unit is a CTB unit. On the encoded data, the filter parameters are composed of filter parameters that are encoded in units of filter units in the tree block layer and below and filter parameters that are commonly used by a plurality of filter units. The filter parameters encoded in units of filter units are encoded in units of CTB, CU, and PU, and the filter parameters used in the plurality of filter units are the slice header SH, the sequence parameter set (SPS) as described above. ), Picture parameter set (PPS), adaptive parameter set (APS), and the like.
(Tree block layer)
In the tree block layer, a set of data referred to by the hierarchicalvideo decoding device 1 for decoding a processing target tree block TBLK (hereinafter also referred to as a target tree block) is defined. Note that the tree block may be referred to as a coding tree block (CTB) or a maximum coding unit (LCU).

　ツリーブロックＴＢＬＫは、ツリーブロックヘッダＴＢＬＫＨと、符号化単位情報ＣＵ１～ＣＵＮＬ（ＮＬはツリーブロックＴＢＬＫに含まれる符号化単位情報の総数）とを含む。ここで、まず、ツリーブロックＴＢＬＫと、符号化単位情報ＣＵとの関係について説明すると次のとおりである。The tree block TBLK includes a tree block header TBLKH and coding unit information CU1 to CUNL (NL is the total number of coding unit information included in the tree block TBLK). Here, first, a relationship between the tree block TBLK and the coding unit information CU will be described as follows.

　ツリーブロックＴＢＬＫは、イントラ予測またはインター予測、および、変換の各処理ためのブロックサイズを特定するためのパーティションに分割される。The tree block TBLK is divided into partitions for specifying a block size for each process of intra prediction or inter prediction and conversion.

　ツリーブロックＴＢＬＫの上記パーティションは、再帰的な４分木分割により分割されている。この再帰的な４分木分割により得られる木構造のことを以下、符号化ツリー（coding tree）と称する。The above partition of the tree block TBLK is divided by recursive quadtree partitioning. The tree structure obtained by this recursive quadtree partitioning is hereinafter referred to as a coding tree.

　以下、符号化ツリーの末端のノードであるリーフ（leaf）に対応するパーティションを、符号化ノード（coding node）として参照する。また、符号化ノードは、符号化処理の基本的な単位となるため、以下、符号化ノードのことを、符号化単位（ＣＵ）とも称する。なお、符号化ノードは、符号化ブロック（CB: Coding Block）と呼ぶこともある。Hereinafter, a partition corresponding to a leaf that is a node at the end of the coding tree is referred to as a coding node. In addition, since the encoding node is a basic unit of the encoding process, hereinafter, the encoding node is also referred to as an encoding unit (CU). The coding node may be called a coding block (CB: Coding Block).

　つまり、符号化単位情報（以下、ＣＵ情報と称する）ＣＵ１～ＣＵＮＬは、ツリーブロックＴＢＬＫを再帰的に４分木分割して得られる各符号化ノード（符号化単位）に対応する情報である。That is, coding unit information (hereinafter referred to as CU information) CU1 to CUNL is information corresponding to each coding node (coding unit) obtained by recursively dividing the tree block TBLK into quadtrees.

　また、符号化ツリーのルート（root）は、ツリーブロックＴＢＬＫに対応付けられる。換言すれば、ツリーブロックＴＢＬＫは、複数の符号化ノードを再帰的に含む４分木分割の木構造の最上位ノードに対応付けられる。Also, the root of the coding tree is associated with the tree block TBLK. In other words, the tree block TBLK is associated with the highest node of the tree structure of the quadtree partition that recursively includes a plurality of encoding nodes.

　なお、各符号化ノードのサイズは、当該符号化ノードが直接に属する符号化ノード（すなわち、当該符号化ノードの１階層上位のノードのパーティション）のサイズの縦横とも半分である。Note that the size of each encoding node is half the size of the encoding node to which the encoding node directly belongs (that is, the partition of the node one layer higher than the encoding node).

　また、ツリーブロックＴＢＬＫのサイズ、および、各符号化ノードのとり得るサイズは、階層符号化データＤＡＴＡ＃ＣのシーケンスパラメータセットＳＰＳに含まれる、最小符号化ノードのサイズ指定情報、および最大符号化ノードと最小符号化ノードの階層深度の差分に依存する。例えば、最小符号化ノードのサイズが８×８画素であって、最大符号化ノードと最小符号化ノードの階層深度の差分が３である場合、ツリーブロックＴＢＬＫのサイズは６４×６４画素であって、符号化ノードのサイズは、４種類のサイズ、すなわち、６４×６４画素、３２×３２画素、１６×１６画素、および、８×８画素の何れかをとり得る。Further, the size of the tree block TBLK and the size that each coding node can take are the size specification information of the minimum coding node and the maximum coding node included in the sequence parameter set SPS of the hierarchical coding data DATA # C. And the minimum coding node hierarchy depth difference. For example, when the size of the minimum coding node is 8 × 8 pixels and the difference in the layer depth between the maximum coding node and the minimum coding node is 3, the size of the tree block TBLK is 64 × 64 pixels. The size of the encoding node can take any of four sizes, namely, 64 × 64 pixels, 32 × 32 pixels, 16 × 16 pixels, and 8 × 8 pixels.

　　（ツリーブロックヘッダ）
　ツリーブロックヘッダＴＢＬＫＨには、対象ツリーブロックの復号方法を決定するために階層動画像復号装置１が参照する符号化パラメータが含まれる。具体的には、図３の（ｄ）に示すように、対象ツリーブロックの各ＣＵへの分割パターンを指定するツリーブロック分割情報ＳＰ＿ＴＢＬＫ、および、量子化ステップの大きさを指定する量子化パラメータ差分Δｑｐ（qp_delta）が含まれる。(Tree block header)
The tree block header TBLKH includes an encoding parameter referred to by the hierarchicalvideo decoding device 1 in order to determine a decoding method of the target tree block. Specifically, as shown in FIG. 3D, tree block division information SP_TBLK that specifies a division pattern of the target tree block into each CU, and a quantization parameter difference that specifies the size of the quantization step Δqp (qp_delta) is included.

　ツリーブロック分割情報ＳＰ＿ＴＢＬＫは、ツリーブロックを分割するための符号化ツリーを表す情報であり、具体的には、対象ツリーブロックに含まれる各ＣＵの形状、サイズ、および、対象ツリーブロック内での位置を指定する情報である。The tree block division information SP_TBLK is information representing a coding tree for dividing the tree block. Specifically, the shape and size of each CU included in the target tree block, and the position in the target tree block Is information to specify.

　なお、ツリーブロック分割情報ＳＰ＿ＴＢＬＫは、ＣＵの形状やサイズを明示的に含んでいなくてもよい。例えばツリーブロック分割情報ＳＰ＿ＴＢＬＫは、対象ツリーブロック全体またはツリーブロックの部分領域を四分割するか否かを示すフラグの集合であってもよい。その場合、ツリーブロックの形状やサイズを併用することで各ＣＵの形状やサイズを特定できる。Note that the tree block division information SP_TBLK may not explicitly include the shape or size of the CU. For example, the tree block division information SP_TBLK may be a set of flags indicating whether the entire target tree block or a partial region of the tree block is to be divided into four. In that case, the shape and size of each CU can be specified by using the shape and size of the tree block together.

　また、量子化パラメータ差分Δｑｐは、対象ツリーブロックにおける量子化パラメータｑｐと、当該対象ツリーブロックの直前に符号化されたツリーブロックにおける量子化パラメータｑｐ’との差分ｑｐ－ｑｐ’である。Further, the quantization parameter difference Δqp is a difference qp−qp ′ between the quantization parameter qp in the target tree block and the quantization parameter qp ′ in the tree block encoded immediately before the target tree block.

　　（ＣＵレイヤ）
　ＣＵレイヤでは、処理対象のＣＵ（以下、対象ＣＵとも称する）を復号するために階層動画像復号装置１’が参照するデータの集合が規定されている。(CU layer)
In the CU layer, a set of data referred to by the hierarchicalvideo decoding device 1 ′ for decoding a CU to be processed (hereinafter also referred to as a target CU) is defined.

　ここで、ＣＵ情報ＣＵに含まれるデータの具体的な内容の説明をする前に、ＣＵに含まれるデータの木構造について説明する。符号化ノードは、予測ツリー（prediction tree；ＰＴ）および変換ツリー（transform tree；ＴＴ）のルートのノードとなる。予測ツリーおよび変換ツリーについて説明すると次のとおりである。Here, before explaining the specific contents of the data included in the CU information CU, the tree structure of the data included in the CU will be described. The encoding node is a node at the root of a prediction tree (PT) and a transformation tree (TT). The prediction tree and the conversion tree are described as follows.

　予測ツリーにおいては、符号化ノードが１または複数の予測ブロックに分割され、各予測ブロックの位置とサイズとが規定される。別の表現でいえば、予測ブロックは、符号化ノードを構成する１または複数の重複しない領域である。また、予測ツリーは、上述の分割により得られた１または複数の予測ブロックを含む。In the prediction tree, the encoding node is divided into one or a plurality of prediction blocks, and the position and size of each prediction block are defined. In other words, the prediction block is one or a plurality of non-overlapping areas constituting the encoding node. The prediction tree includes one or a plurality of prediction blocks obtained by the above division.

　予測処理は、この予測ブロックごとに行われる。以下、予測の単位である予測ブロックのことを、予測単位（prediction unit；ＰＵ）とも称する。Prediction processing is performed for each prediction block. Hereinafter, a prediction block that is a unit of prediction is also referred to as a prediction unit (PU).

　予測ツリーにおける分割（以下、ＰＵ分割と略称する）の種類は、大まかにいえば、イントラ予測の場合と、インター予測の場合との２つがある。There are roughly two types of partitioning in the prediction tree (hereinafter abbreviated as PU partitioning): intra prediction and inter prediction.

　イントラ予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ノードと同一サイズ）と、Ｎ×Ｎとがある。In the case of intra prediction, there are 2N × 2N (the same size as the encoding node) and N × N division methods.

　また、インター予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ノードと同一サイズ）、２Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、Ｎ×２Ｎ、ｎＬ×２Ｎ、ｎＲ×２Ｎ、および、Ｎ×Ｎなどがある。ＰＵ分割の種類については、後に図面を用いて説明する。In the case of inter prediction, the division method is 2N × 2N (the same size as the encoding node), 2N × N, 2N × nU, 2N × nD, N × 2N, nL × 2N, nR × 2N, and N XN etc. The types of PU division will be described later with reference to the drawings.

　また、変換ツリーにおいては、符号化ノードが１または複数の変換ブロックに分割され、各変換ブロックの位置とサイズとが規定される。別の表現でいえば、変換ブロックは、符号化ノードを構成する１または複数の重複しない領域のことである。また、変換ツリーは、上述の分割より得られた１または複数の変換ブロックを含む。Also, in the transform tree, the encoding node is divided into one or a plurality of transform blocks, and the position and size of each transform block are defined. In other words, the transform block is one or a plurality of non-overlapping areas constituting the encoding node. The conversion tree includes one or a plurality of conversion blocks obtained by the above division.

　変換ツリーにおける分割には、符号化ノードと同一のサイズの領域を変換ブロックとして割り付けるものと、上述したツリーブロックの分割と同様、再帰的な４分木分割によるものがある。The division in the transformation tree includes the one in which an area having the same size as the encoding node is assigned as the transformation block, and the one in the recursive quadtree division as in the above-described division of the tree block.

　変換処理は、この変換ブロックごとに行われる。以下、変換の単位である変換ブロックのことを、変換単位（transform unit；ＴＵ）とも称する。Conversion processing is performed for each conversion block. Hereinafter, the transform block which is a unit of transform is also referred to as a transform unit (TU).

　　（ＣＵ情報のデータ構造）
　続いて、図３（ｅ）を参照しながらＣＵ情報ＣＵに含まれるデータの具体的な内容について説明する。図３（ｅ）に示すように、ＣＵ情報ＣＵは、具体的には、スキップフラグＳＫＩＰ、予測ツリー情報（以下、ＰＴ情報と略称する）ＰＴＩ、および、変換ツリー情報（以下、ＴＴ情報と略称する）ＴＴＩを含む。(Data structure of CU information)
Next, specific contents of data included in the CU information CU will be described with reference to FIG. As shown in FIG. 3E, the CU information CU specifically includes a skip flag SKIP, prediction tree information (hereinafter abbreviated as PT information) PTI, and conversion tree information (hereinafter abbreviated as TT information). Include TTI).

　スキップフラグＳＫＩＰは、対象のＰＵについて、スキップモードが適用されているか否かを示すフラグであり、スキップフラグＳＫＩＰの値が１の場合、すなわち、対象ＣＵにスキップモードが適用されている場合、そのＣＵ情報ＣＵにおけるＰＴ情報ＰＴＩの一部、および、ＴＴ情報ＴＴＩは省略される。なお、スキップフラグＳＫＩＰは、Ｉスライスでは省略される。The skip flag SKIP is a flag indicating whether or not the skip mode is applied to the target PU. When the value of the skip flag SKIP is 1, that is, when the skip mode is applied to the target CU, A part of the PT information PTI and the TT information TTI in the CU information CU are omitted. Note that the skip flag SKIP is omitted for the I slice.

　　［ＰＴ情報］
　ＰＴ情報ＰＴＩは、ＣＵに含まれる予測ツリー（以下、ＰＴと略称する）に関する情報である。言い換えれば、ＰＴ情報ＰＴＩは、ＰＴに含まれる１または複数のＰＵそれぞれに関する情報の集合であり、階層動画像復号装置１’により予測画像を生成する際に参照される。ＰＴ情報ＰＴＩは、図３（ｅ）に示すように、予測タイプ情報ＰＴｙｐｅ、および、予測情報ＰＩｎｆｏを含んでいる。[PT information]
The PT information PTI is information related to a prediction tree (hereinafter abbreviated as PT) included in the CU. In other words, the PT information PTI is a set of information regarding each of one or a plurality of PUs included in the PT, and is referred to when the predicted image is generated by the hierarchicalvideo decoding device 1 ′. As shown in FIG. 3E, the PT information PTI includes prediction type information PType and prediction information PInfo.

　予測タイプ情報ＰＴｙｐｅは、対象ＰＵについての予測画像生成方法として、イントラ予測を用いるのか、または、インター予測を用いるのかを指定する情報である。Prediction type information PType is information that specifies whether intra prediction or inter prediction is used as a prediction image generation method for the target PU.

　予測情報ＰＩｎｆｏは、予測タイプ情報ＰＴｙｐｅが何れの予測方法を指定するのかに応じて、イントラ予測情報ＰＰ＿Ｉｎｔｒａ、または、インター予測情報ＰＰ＿Ｉｎｔｅｒを含む。以下では、イントラ予測が適用されるＰＵをイントラＰＵとも呼称し、インター予測が適用されるＰＵをインターＰＵとも呼称する。The prediction information PInfo includes intra prediction information PP_Intra or inter prediction information PP_Inter depending on which prediction method the prediction type information PType specifies. Hereinafter, a PU to which intra prediction is applied is also referred to as an intra PU, and a PU to which inter prediction is applied is also referred to as an inter PU.

　インター予測情報ＰＰ＿Ｉｎｔｅｒは、階層動画像復号装置１が、インター予測によってインター予測画像を生成する際に参照される符号化パラメータを含む。より具体的には、インター予測情報ＰＰ＿Ｉｎｔｅｒは、対象ＣＵの各インターＰＵへの分割パターンを指定するインターＰＵ分割情報、および、各インターＰＵについてのインター予測パラメータを含む。Inter prediction information PP_Inter includes an encoding parameter that is referred to when the hierarchicalvideo decoding device 1 generates an inter prediction image by inter prediction. More specifically, the inter prediction information PP_Inter includes inter PU division information that specifies a division pattern of the target CU into each inter PU, and inter prediction parameters for each inter PU.

　イントラ予測情報ＰＰ＿Ｉｎｔｒａは、階層動画像復号装置１が、イントラ予測によってイントラ予測画像を生成する際に参照される符号化パラメータを含む。より具体的には、イントラ予測情報ＰＰ＿Ｉｎｔｒａには、対象ＣＵの各イントラＰＵへの分割パターンを指定するイントラＰＵ分割情報、および、各イントラＰＵについてのイントラ予測パラメータが含まれる。イントラ予測パラメータは、各イントラＰＵについてのイントラ予測方法（予測モード）を指定するためのパラメータである。The intra prediction information PP_Intra includes an encoding parameter that is referred to when the hierarchicalvideo decoding device 1 generates an intra predicted image by intra prediction. More specifically, the intra prediction information PP_Intra includes intra PU division information that specifies a division pattern of the target CU into each intra PU, and intra prediction parameters for each intra PU. The intra prediction parameter is a parameter for designating an intra prediction method (prediction mode) for each intra PU.

　また、ＰＵ分割情報には、対象ＰＵの形状、サイズ、および、位置を指定する情報が含まれていてもよい。ＰＵ分割情報の詳細については後述する。In addition, the PU partition information may include information specifying the shape, size, and position of the target PU. Details of the PU partition information will be described later.

　　［ＴＴ情報］
　ＴＴ情報ＴＴＩは、ＣＵに含まれる変換ツリー（以下、ＴＴと略称する）に関する情報である。言い換えれば、ＴＴ情報ＴＴＩは、ＴＴに含まれる１または複数のＴＵそれぞれに関する情報の集合であり、階層動画像復号装置１により残差データを復号する際に参照される。なお、以下、ＴＵのことをブロックと称することもある。[TT information]
The TT information TTI is information regarding a conversion tree (hereinafter abbreviated as TT) included in the CU. In other words, the TT information TTI is a set of information regarding each of one or a plurality of TUs included in the TT, and is referred to when the hierarchicalvideo decoding device 1 decodes residual data. Hereinafter, a TU may be referred to as a block.

ＴＴ情報ＴＴＩは、図３（ｅ）に示すように、対象ＣＵの各変換ブロックへの分割パターンを指定するＴＴ分割情報ＳＰ＿ＴＴ、および、量子化予測残差ＱＤ1～ＱＤNT（ＮＴ
は、対象ＣＵに含まれるブロックの総数）を含んでいる。As shown in FIG. 3 (e), the TT information TTI includes TT division information SP_TT that designates a division pattern for each transform block of the target CU, and quantized prediction residuals QD1 to QDNT (NT
Includes the total number of blocks included in the target CU).

　ＴＴ分割情報ＳＰ＿ＴＴは、具体的には、対象ＣＵに含まれる各ＴＵの形状、サイズ、および、対象ＣＵ内での位置を決定するための情報である。例えば、ＴＴ分割情報ＳＰ＿ＴＴは、対象となるノードの分割を行うのか否かを示す情報（split_transform_unit_flag）と、その分割の深度を示す情報（trafoDepth）とから実現することができる。TT division information SP_TT is information for determining the shape and size of each TU included in the target CU and the position in the target CU. For example, the TT division information SP_TT can be realized from information (split_transform_unit_flag) indicating whether or not the target node is divided and information (trafoDepth) indicating the division depth.

　また、例えば、ＣＵのサイズが、６４×６４の場合、分割により得られる各ＴＵは、３２×３２画素から４×４画素までのサイズをとり得る。For example, when the size of the CU is 64 × 64, each TU obtained by the division can have a size from 32 × 32 pixels to 4 × 4 pixels.

　各量子化予測残差ＱＤは、階層動画像符号化装置２’が以下の処理１～３を、処理対象のブロックである対象ブロックに施すことによって生成した符号化データである。Each quantized prediction residual QD is encoded data generated by the hierarchical video encoding device 2 'performing the followingprocesses 1 to 3 on a target block that is a processing target block.

　処理１：符号化対象画像から予測画像を減算した予測残差を周波数変換（例えば、ＤＣＴ変換（Discrete Cosine Transform）およびＤＳＴ変換（Discrete Sine Transform）等）する；
　処理２：処理１にて得られた変換係数を量子化する；
　処理３：処理２にて量子化された変換係数を可変長符号化する；
　なお、上述した量子化パラメータｑｐは、階層動画像符号化装置２’が変換係数を量子化する際に用いた量子化ステップＱＰの大きさを表す（ＱＰ＝２qp/6）。Process 1: The prediction residual obtained by subtracting the prediction image from the encoding target image is subjected to frequency conversion (for example, DCT conversion (Discrete Cosine Transform) and DST conversion (Discrete Sine Transform));
Process 2: Quantize the transform coefficient obtained inProcess 1;
Process 3: Variable length coding is performed on the transform coefficient quantized inProcess 2;
Note that the quantization parameter qp described above represents the size of the quantization step QP used when the hierarchical movingimage encoding apparatus 2 ′ quantizes the transform coefficient (QP = 2qp / 6).

　　（予測パラメータ）
　インター予測およびイントラ予測における予測パラメータの詳細について説明する。上述のとおり、予測情報ＰＩｎｆｏには、インター予測パラメータまたはイントラ予測パラメータが含まれる。(Prediction parameter)
Details of prediction parameters in inter prediction and intra prediction will be described. As described above, the prediction information PInfo includes an inter prediction parameter or an intra prediction parameter.

　インター予測パラメータとしては、例えば、マージフラグ（ｍｅｒｇｅ＿ｆｌａｇ）、マージインデックス（ｍｅｒｇｅ＿ｉｄｘ）、推定動きベクトルインデックス（ｍｖｐ＿ｉｄｘ）、参照画像インデックス（ｒｅｆ＿ｉｄｘ）、インター予測フラグ（ｉｎｔｅｒ＿ｐｒｅｄ＿ｆｌａｇ）、および動きベクトル残差（ｍｖｄ）が挙げられる。The inter prediction parameters include, for example, a merge flag (merge_flag), a merge index (merge_idx), an estimated motion vector index (mvp_idx), a reference image index (ref_idx), an inter prediction flag (inter_pred_flag), and a motion vector residual (mvd). Is mentioned.

　一方、イントラ予測パラメータとしては、例えば、推定予測モードフラグ、推定予測モードインデックス、および、残余予測モードインデックスが挙げられる。On the other hand, examples of the intra prediction parameters include an estimated prediction mode flag, an estimated prediction mode index, and a residual prediction mode index.

　　（ＰＵ分割情報）
　ＰＵ分割情報によって指定されるＰＵ分割タイプには、対象ＣＵのサイズを２Ｎ×２Ｎ画素とすると、次の合計８種類のパターンがある。すなわち、２Ｎ×２Ｎ画素、２Ｎ×Ｎ画素、Ｎ×２Ｎ画素、およびＮ×Ｎ画素の４つの対称的分割（symmetric splittings）、並びに、２Ｎ×ｎＵ画素、２Ｎ×ｎＤ画素、ｎＬ×２Ｎ画素、およびｎＲ×２Ｎ画素の４つの非対称的分割（asymmetric splittings）である。なお、Ｎ＝２ｍ（ｍは１以上の任意の整数）を意味している。以下、対象ＣＵを分割して得られる領域のことをパーティションとも称する。(PU partition information)
The PU partition type specified by the PU partition information includes the following eight patterns in total, assuming that the size of the target CU is 2N × 2N pixels. That is, 4 symmetric splittings of 2N × 2N pixels, 2N × N pixels, N × 2N pixels, and N × N pixels, and 2N × nU pixels, 2N × nD pixels, nL × 2N pixels, And four asymmetric splittings of nR × 2N pixels. Note that N = 2m (m is an arbitrary integer of 1 or more). Hereinafter, an area obtained by dividing the target CU is also referred to as a partition.

　図４（ａ）～（ｈ）に、それぞれの分割タイプについて、ＣＵにおけるＰＵ分割の境界の位置を具体的に図示している。4 (a) to 4 (h) specifically show the positions of the PU partition boundaries in the CU for each partition type.

　図４（ａ）は、ＣＵの分割を行わない２Ｎ×２ＮのＰＵ分割タイプを示している。また、図４（ｂ）、（ｃ）、および（ｄ）は、それぞれ、ＰＵ分割タイプが、２Ｎ×Ｎ、２Ｎ×ｎＵ、および、２Ｎ×ｎＤである場合のパーティションの形状について示している。また、図４（ｅ）、（ｆ）、および（ｇ）は、それぞれ、ＰＵ分割タイプが、Ｎ×２Ｎ、ｎＬ×２Ｎ、および、ｎＲ×２Ｎである場合のパーティションの形状について示している。また、図４（ｈ）は、ＰＵ分割タイプが、Ｎ×Ｎである場合のパーティションの形状を示している。FIG. 4A shows a 2N × 2N PU partition type that does not perform CU partitioning. FIGS. 4B, 4C, and 4D show the partition shapes when the PU partition types are 2N × N, 2N × nU, and 2N × nD, respectively. 4 (e), (f), and (g) show the shapes of the partitions when the PU partition types are N × 2N, nL × 2N, and nR × 2N, respectively. FIG. 4H shows the shape of the partition when the PU partition type is N × N.

　図４（ａ）および（ｈ）のＰＵ分割タイプのことを、そのパーティションの形状に基づいて、正方形分割とも称する。また、図４（ｂ）～（ｇ）のＰＵ分割タイプのことは、非正方形分割とも称する。The PU partition types shown in FIGS. 4A and 4H are also referred to as square partitions based on the shape of the partition. The PU partition types shown in FIGS. 4B to 4G are also referred to as non-square partitioning.

　また、図４（ａ）～（ｈ）において、各領域に付した番号は、領域の識別番号を示しており、この識別番号順に、領域に対して処理が行われる。すなわち、当該識別番号は、領域のスキャン順を表している。Further, in FIGS. 4A to 4H, the numbers assigned to the respective regions indicate the region identification numbers, and the regions are processed in the order of the identification numbers. That is, the identification number represents the scan order of the area.

　　［インター予測の場合の分割タイプ］
　インターＰＵでは、上記８種類の分割タイプのうち、Ｎ×Ｎ（図４（ｈ））以外の７種類が定義されている。なお、上記６つの非対称的分割は、ＡＭＰ（Asymmetric Motion Partition）と呼ばれることもある。[Partition type for inter prediction]
In the inter PU, seven types other than N × N (FIG. 4 (h)) are defined among the above eight division types. The six asymmetric partitions are sometimes called AMP (Asymmetric Motion Partition).

　また、Ｎの具体的な値は、当該ＰＵが属するＣＵのサイズによって規定され、ｎＵ、ｎＤ、ｎＬ、および、ｎＲの具体的な値は、Ｎの値に応じて定められる。例えば、１２８×１２８画素のインターＣＵは、１２８×１２８画素、１２８×６４画素、６４×１２８画素、６４×６４画素、１２８×３２画素、１２８×９６画素、３２×１２８画素、および、９６×１２８画素のインターＰＵへ分割することが可能である。Further, a specific value of N is defined by the size of the CU to which the PU belongs, and specific values of nU, nD, nL, and nR are determined according to the value of N. For example, a 128 × 128 pixel inter-CU includes 128 × 128 pixels, 128 × 64 pixels, 64 × 128 pixels, 64 × 64 pixels, 128 × 32 pixels, 128 × 96 pixels, 32 × 128 pixels, and 96 × It is possible to divide into 128-pixel inter PUs.

　　［イントラ予測の場合の分割タイプ］
　イントラＰＵでは、次の２種類の分割パターンが定義されている。対象ＣＵを分割しない、すなわち対象ＣＵ自身が１つのＰＵとして取り扱われる分割パターン２Ｎ×２Ｎと、対象ＣＵを、４つのＰＵへと対称的に分割するパターンＮ×Ｎと、である。[Partition type for intra prediction]
In the intra PU, the following two types of division patterns are defined. A division pattern 2N × 2N in which the target CU is not divided, that is, the target CU itself is handled as one PU, and a pattern N × N in which the target CU is divided into four PUs symmetrically.

　したがって、イントラＰＵでは、図４に示した例でいえば、（ａ）および（ｈ）の分割パターンを取ることができる。Therefore, in the intra PU, the division patterns (a) and (h) can be taken in the example shown in FIG.

　例えば、１２８×１２８画素のイントラＣＵは、１２８×１２８画素、および、６４×６４画素のイントラＰＵへ分割することが可能である。For example, an 128 × 128 pixel intra CU can be divided into 128 × 128 pixel and 64 × 64 pixel intra PUs.

　（拡張レイヤ）
　拡張レイヤの符号化データについても、例えば、図３に示すデータ構造とほぼ同様のデータ構造を採用することができる。ただし、拡張レイヤの符号化データでは、以下のとおり、付加的な情報を追加したり、パラメータを省略したりすることができる。(Enhancement layer)
For the enhancement layer encoded data, for example, a data structure substantially similar to the data structure shown in FIG. 3 can be adopted. However, in the encoded data of the enhancement layer, additional information can be added or parameters can be omitted as follows.

　ＳＰＳには階層符号化を示す情報が符号化されていてもよい。Information indicating hierarchical coding may be encoded in the SPS.

　また、スライスレイヤでは、空間スケーラビリティ、時間スケーラビリティ、および、ＳＮＲスケーラビリティの階層の識別情報（それぞれ、dependency_id、temporal_id、および、quality_id）が符号化されていてもよい。フィルタ情報やフィルタのオン／オフ情報（後述）はＰＰＳ、スライスヘッダ、マクロブロックヘッダ等で符号化することが可能である。In the slice layer, spatial scalability, temporal scalability, and SNR scalability hierarchy identification information (dependency_id, temporal_id, and quality_id, respectively) may be encoded. Filter information and filter on / off information (described later) can be encoded by a PPS, a slice header, a macroblock header, or the like.

　また、ＣＵ情報ＣＵでは、スキップフラグ（skip_flag）、ベースモードフラグ（base_mode_flag）および予測モードフラグ（pred_mode_flag）が符号化されていてもよい。In the CU information CU, a skip flag (skip_flag), a base mode flag (base_mode_flag), and a prediction mode flag (pred_mode_flag) may be encoded.

　また、これらのフラグにより対象ＣＵのＣＵタイプが、イントラＣＵ、インターＣＵ、スキップＣＵおよびベーススキップＣＵのいずれであるかが指定されていてもよい。Also, it may be specified by these flags whether the CU type of the target CU is an intra CU, an inter CU, a skip CU, or a base skip CU.

　イントラＣＵおよびスキップＣＵは、上述のＨＥＶＣ方式の場合と同様に定義できる。例えば、スキップＣＵでは、スキップフラグに“１”が設定される。スキップＣＵでない場合、スキップフラグに“０”が設定される。また、イントラＣＵでは、予測モードフラグに“０”が設定される。Intra CU and skip CU can be defined in the same manner as in the HEVC method described above. For example, in the skip CU, “1” is set in the skip flag. If it is not a skip CU, “0” is set in the skip flag. In the intra CU, “0” is set in the prediction mode flag.

　また、インターＣＵは、非スキップかつ動き補償（ＭＣ；Motion Compensation）を適用するＣＵと定義されていてもよい。インターＣＵでは、例えば、スキップフラグに“０”が設定され、予測モードフラグに“１”が設定される。Also, the inter CU may be defined as a CU that applies non-skip and motion compensation (MC). In the inter CU, for example, “0” is set in the skip flag and “1” is set in the prediction mode flag.

　ベーススキップＣＵは、ＣＵまたはＰＵの情報を参照レイヤから推定するＣＵタイプである。また、ベーススキップＣＵでは、例えば、スキップフラグに“１”が設定され、ベースモードフラグに“１”が設定される。The base skip CU is a CU type that estimates CU or PU information from a reference layer. In the base skip CU, for example, “1” is set in the skip flag and “1” is set in the base mode flag.

　また、ＰＴ情報ＰＴＩでは、対象ＰＵのＰＵタイプが、イントラＰＵ、インターＰＵ、マージＰＵ、およびベースマージＰＵのいずれであるかが指定されていてもよい。In the PT information PTI, it may be specified whether the PU type of the target PU is an intra PU, an inter PU, a merge PU, or a base merge PU.

　イントラＰＵ、インターＰＵ、マージＰＵは、上述のＨＥＶＣ方式の場合と同様に定義できる。Intra PU, inter PU, and merge PU can be defined in the same manner as in the HEVC method described above.

　ベースマージＰＵは、ＰＵの情報を参照レイヤから推定するＰＵタイプである。また、例えば、ＰＴ情報ＰＴＩにおいて、マージフラグおよびベースモードフラグを符号化しておき、これらのフラグを用いて、対象ＰＵがベースマージを行うＰＵであるか否かを判定してもよい。すなわち、ベースマージＰＵでは、マージフラグに“１”が設定され、ベースモードフラグに“１”が設定される。The base merge PU is a PU type for estimating PU information from a reference layer. Further, for example, in the PT information PTI, a merge flag and a base mode flag may be encoded, and using these flags, it may be determined whether or not the target PU is a PU that performs base merge. That is, in the base merge PU, “1” is set to the merge flag and “1” is set to the base mode flag.

　なお、拡張レイヤに含まれる動きベクトル情報のうち、下位レイヤに含まれる動きベクトル情報から導出可能な動きベクトル情報については、拡張レイヤから省略する構成とすることができる。このような構成とすることによって、拡張レイヤの符号量を削減することができるので、符号化効率が向上する。Of the motion vector information included in the enhancement layer, the motion vector information that can be derived from the motion vector information included in the lower layer can be omitted from the enhancement layer. With such a configuration, the code amount of the enhancement layer can be reduced, so that the coding efficiency is improved.

　また、上述のとおり拡張レイヤの符号化データを、下位レイヤの符号化方式と異なる符号化方式により生成しても構わない。すなわち、拡張レイヤの符号化・復号処理は、下位レイヤのコーデックの種類に依存しない。Also, as described above, the encoded data of the enhancement layer may be generated by an encoding method different from the encoding method of the lower layer. That is, the encoding / decoding process of the enhancement layer does not depend on the type of the lower layer codec.

　下位レイヤが、例えば、ＭＰＥＧ－２や、Ｈ．２６４／ＡＶＣ方式によって符号化されていてもよい。The lower layer is, for example, MPEG-2 or H.264. It may be encoded by the H.264 / AVC format.

　対象レイヤと参照レイヤとが異なる符号化方式によって符号化されている場合、参照レイヤのパラメータを、対象レイヤの対応するパラメータ、または、類似のパラメータに変換することでレイヤ間における相応の互換性を保つことができる。例えば、ＭＰＥＧ－２や、Ｈ．２６４／ＡＶＣ方式におけるマクロブロックは、ＨＥＶＣにおけるＣＴＢに読み替えて解釈することが可能である。If the target layer and the reference layer are encoded using different encoding methods, the reference layer parameters are converted to the corresponding parameters of the target layer or similar parameters, so that corresponding compatibility between the layers is achieved. Can keep. For example, MPEG-2, H.264, etc. A macroblock in the H.264 / AVC format can be interpreted as a CTB in HEVC.

　なお、以上に説明したパラメータは、単独で符号化されていてもよいし、複数のパラメータが複合的に符号化されていてもよい。複数のパラメータが複合的に符号化される場合は、そのパラメータの値の組み合わせに対してインデックスが割り当てられ、割り当てられた当該インデックスが符号化される。また、パラメータが、別のパラメータや、復号済みの情報から導出可能であれば、当該パラメータの符号化を省略することができる。Note that the parameters described above may be encoded independently, or a plurality of parameters may be encoded in combination. When a plurality of parameters are encoded in combination, an index is assigned to the combination of parameter values, and the assigned index is encoded. Also, if a parameter can be derived from another parameter or decoded information, the encoding of the parameter can be omitted.

　〔階層動画像復号装置〕
　以下では、本実施形態に係る階層動画像復号装置１の構成について、図１、５～９を参照して説明する。[Hierarchical video decoding device]
Hereinafter, the configuration of the hierarchicalvideo decoding apparatus 1 according to the present embodiment will be described with reference to FIGS.

　（階層動画像復号装置の構成）
　図１を用いて、階層動画像復号装置１の概略的構成について説明すると次のとおりである。図１は、階層動画像復号装置１の概略的構成について示した機能ブロック図である。階層動画像復号装置１は、階層動画像符号化装置２から供給される階層符号化データＤＡＴＡを、ＨＥＶＣ方式により復号して、対象レイヤの復号画像ＰＯＵＴ＃Ｔを生成する。(Configuration of Hierarchical Video Decoding Device)
The schematic configuration of the hierarchicalvideo decoding device 1 will be described with reference to FIG. FIG. 1 is a functional block diagram showing a schematic configuration of the hierarchicalvideo decoding device 1. The hierarchicalvideo decoding device 1 decodes the hierarchical encoded data DATA supplied from the hierarchicalvideo encoding device 2 by the HEVC method, and generates a decoded image POUT # T of the target layer.

　図１に示すように階層動画像復号装置１は、ＮＡＬ逆多重化部１１、可変長復号部１２、予測パラメータ復元部１４、テクスチャ復元部１５、ベース復号部１３、およびフィルタパラメータ復元部１６を備える。As shown in FIG. 1, the hierarchicalvideo decoding device 1 includes aNAL demultiplexing unit 11, a variablelength decoding unit 12, a predictionparameter restoration unit 14, atexture restoration unit 15, abase decoding unit 13, and a filterparameter restoration unit 16. Prepare.

　ＮＡＬ逆多重化部１１は、ＮＡＬ（Network Abstraction Layer）におけるＮＡＬユニ
ット単位で伝送される階層符号化データＤＡＴＡを逆多重化する。TheNAL demultiplexing unit 11 demultiplexes hierarchically encoded data DATA transmitted in units of NAL units in NAL (Network Abstraction Layer).

　ＮＡＬは、ＶＣＬ（Video Coding Layer）と、符号化データを伝送・蓄積する下位システムとの間における通信を抽象化するために設けられる層である。NAL is a layer provided to abstract communication between a VCL (Video Coding Layer) and a lower system that transmits and stores encoded data.

　ＶＣＬは、動画像符号化処理を行う層のことであり、ＶＣＬにおいて符号化が行われる。一方、ここでいう、下位システムは、Ｈ．２６４／ＡＶＣおよびＨＥＶＣのファイルフォーマットや、ＭＰＥＧ－２システムに対応する。以下に示す例では、下位システムは、対象レイヤおよび参照レイヤにおける復号処理に対応する。VCL is a layer that performs video encoding processing, and encoding is performed in the VCL. On the other hand, the lower system here is H.264. H.264 / AVC and HEVC file formats and MPEG-2 systems are supported. In the example shown below, the lower system corresponds to the decoding process in the target layer and the reference layer.

　なお、ＮＡＬでは、ＶＣＬで生成されたビットストリームが、ＮＡＬユニットという単位で区切られて、宛先となる下位システムへ伝送される。ＮＡＬユニットには、ＶＣＬで符号化された符号化データ、および、当該符号化データが宛先の下位システムに適切に届けられるためのヘッダが含まれる。また、各階層における符号化データは、ＮＡＬユニットに格納されることでＮＡＬ多重化されて階層動画像復号装置１’に伝送される。In NAL, a bit stream generated by VCL is divided into units called NAL units and transmitted to a destination lower system. The NAL unit includes encoded data encoded by the VCL and a header for appropriately delivering the encoded data to the destination lower system. Also, the encoded data in each layer is stored in the NAL unit, is NAL-multiplexed, and is transmitted to the hierarchical video decoding device 1 '.

　ＮＡＬ逆多重化部１１は、階層符号化データＤＡＴＡを逆多重化して、対象レイヤ符号化データＤＡＴＡ＃Ｔおよび参照レイヤ符号化データＤＡＴＡ＃Ｒを取り出す。また、ＮＡＬ逆多重化部１１は、対象レイヤ符号化データＤＡＴＡ＃Ｔを可変長復号部１２に供給するとともに、参照レイヤ符号化データＤＡＴＡ＃Ｒをベース復号部１３に供給する。TheNAL demultiplexing unit 11 demultiplexes the hierarchical encoded data DATA, and extracts the target layer encoded data DATA # T and the reference layer encoded data DATA # R. Further, theNAL demultiplexing unit 11 supplies the target layer encoded data DATA # T to the variablelength decoding unit 12, and also supplies the reference layer encoded data DATA # R to thebase decoding unit 13.

　可変長復号部１２は、対象レイヤ符号化データＤＡＴＡ＃Ｔに含まれるバイナリから各種のシンタックス値を復号するための情報の復号処理を行う。The variablelength decoding unit 12 performs a decoding process of information for decoding various syntax values from the binary included in the target layer encoded data DATA # T.

　具体的には、可変長復号部１２は、以下のように、予測情報、符号化情報、変換係数情報、およびフィルタパラメータ情報を符号化データＤＡＴＡ＃Ｔから復号する。Specifically, the variablelength decoding unit 12 decodes prediction information, encoding information, transform coefficient information, and filter parameter information from the encoded data DATA # T as follows.

　すなわち、可変長復号部１２は、各ＣＵまたはＰＵに関する予測情報を、符号化データＤＡＴＡ＃Ｔから復号する。予測情報には、例えば、ＣＵタイプまたはＰＵタイプの指定が含まれる。That is, the variablelength decoding unit 12 decodes prediction information regarding each CU or PU from the encoded data DATA # T. The prediction information includes, for example, designation of a CU type or a PU type.

ＣＵがインターＣＵである場合、可変長復号部１２はＰＵ分割情報を符号化ＤＡＴＡ＃Ｔから復号する。加えて、各ＰＵにおいて、可変長復号部１２は、さらに、予測情報として、参照画像インデックスＲＩ、推定動きベクトルインデックスＰＭＶＩ、及び、動きベクトル残差ＭＶＤ等の動き情報、モード情報を符号化データＤＡＴＡ＃Ｔから復号する。When the CU is an inter CU, the variablelength decoding unit 12 decodes the PU partition information from the encoded DATA # T. In addition, in each PU, the variablelength decoding unit 12 further converts motion information such as a reference image index RI, an estimated motion vector index PMVI, and a motion vector residual MVD, and mode information as encoded data DATA as prediction information. Decrypt from #T.

　一方、ＣＵがイントラＣＵである場合、可変長復号部１２は、さらに、予測情報として、（１）予測単位のサイズを指定するサイズ指定情報、および、（２）予測インデックスを指定する予測インデックス指定情報を含むイントラ予測情報を符号化データＤＡＴＡ＃Ｔから復号する。On the other hand, when the CU is an intra CU, the variablelength decoding unit 12 further includes (1) size designation information for designating the size of the prediction unit and (2) prediction index designation for designating the prediction index as the prediction information. The intra prediction information including information is decoded from the encoded data DATA # T.

　また、可変長復号部１２は、符号化情報を符号化データＤＡＴＡ＃Ｔから復号する。符号化情報には、ＣＵの形状、サイズ、位置を特定するための情報が含まれる。より具体的には、符号化情報には、対象ツリーブロックの各ＣＵへの分割パターンを指定するツリーブロック分割情報、すなわち、対象ツリーブロックに含まれる各ＣＵの形状、サイズ、および、対象ツリーブロック内での位置を指定する情報が含まれる。Further, the variablelength decoding unit 12 decodes the encoded information from the encoded data DATA # T. The encoded information includes information for specifying the shape, size, and position of the CU. More specifically, the encoding information includes tree block division information that specifies a division pattern of the target tree block into each CU, that is, the shape, size, and target tree block of each CU included in the target tree block. Contains information that specifies the position within.

　可変長復号部１２は、復号した予測情報および符号化情報を予測パラメータ復元部１４に供給する。The variablelength decoding unit 12 supplies the decoded prediction information and encoded information to the predictionparameter restoration unit 14.

　また、可変長復号部１２は、各ブロックに関する量子化予測残差ＱＤ、及び、そのブロックを含むツリーブロックに関する量子化パラメータ差分Δｑｐを符号化データＤＡＴＡ＃Ｔから復号する。可変長復号部１２は、復号した量子化予測残差ＱＤおよび量子化パラメータ差分Δｑｐを変換係数情報としてテクスチャ復元部１５に供給する。Further, the variablelength decoding unit 12 decodes the quantization prediction residual QD for each block and the quantization parameter difference Δqp for the tree block including the block from the encoded data DATA # T. The variablelength decoding unit 12 supplies the decoded quantization prediction residual QD and the quantization parameter difference Δqp to thetexture restoration unit 15 as transform coefficient information.

　また、可変長復号部１２は、フィルタパラメータを導出するためのフィルタパラメータ情報を符号化データ＃Ｔから復号してフィルタパラメータ復元部１６に供給する。Also, the variablelength decoding unit 12 decodes the filter parameter information for deriving the filter parameter from the encoded data #T and supplies it to the filterparameter restoration unit 16.

　ベース復号部１３は、参照レイヤ符号化データＤＡＴＡ＃Ｒから、対象レイヤに対応する復号画像を復号する際に参照される参照レイヤに関する情報であるベース復号情報を復号する。ベース復号情報には、ベース予測パラメータ、ベース変換係数、ベース復号画像、フィルタパラメータが含まれる。ベース復号部１３は、復号したベース復号情報を予測パラメータ復元部１４、テクスチャ復元部１５に供給する。Thebase decoding unit 13 decodes base decoding information, which is information on a reference layer that is referred to when decoding a decoded image corresponding to the target layer, from the reference layer encoded data DATA # R. The base decoding information includes a base prediction parameter, a base transform coefficient, a base decoded image, and a filter parameter. Thebase decoding unit 13 supplies the decoded base decoding information to the predictionparameter restoration unit 14 and thetexture restoration unit 15.

　予測パラメータ復元部１４は、予測情報およびベース復号情報を用いて、予測パラメータを復元する。予測パラメータ復元部１４は、復元した予測パラメータを、テクスチャ復元部１５に供給する。なお、予測パラメータ復元部１４は、予測パラメータを復元する際に、テクスチャ復元部１５が備えるフレームメモリ１５５に格納された動き情報を参照することができる。The predictionparameter restoration unit 14 restores the prediction parameter using the prediction information and the base decoding information. The predictionparameter restoration unit 14 supplies the restored prediction parameter to thetexture restoration unit 15. The predictionparameter restoration unit 14 can refer to the motion information stored in theframe memory 155 provided in thetexture restoration unit 15 when restoring the prediction parameter.

　フィルタパラメータ復元部１６は、フィルタパラメータを用いて、フィルタパラメータを導出し、テクスチャ復元部１５に供給する。The filterparameter restoration unit 16 derives a filter parameter using the filter parameter and supplies it to thetexture restoration unit 15.

　テクスチャ復元部１５は、変換係数情報、ベース復号情報、予測パラメータ、およびフィルタパラメータを用いて、復号画像ＰＯＵＴ＃Ｔを生成し、外部に出力する。なお、テクスチャ復元部１５では、復元された復号画像に関する情報が、内部に備えるフレームメモリ１５５に格納される。Thetexture restoration unit 15 generates a decoded image POUT # T using the transform coefficient information, the base decoding information, the prediction parameter, and the filter parameter, and outputs the decoded image POUT # T to the outside. Thetexture restoration unit 15 stores information on the restored decoded image in aframe memory 155 provided therein.

　以下において、ベース復号部１３、予測パラメータ復元部１４、およびテクスチャ復元部１５それぞれの詳細について説明する。Hereinafter, the details of thebase decoding unit 13, the predictionparameter restoring unit 14, and thetexture restoring unit 15 will be described.

（予測パラメータ復元部）
　図５を用いて、予測パラメータ復元部１４の詳細構成について説明する。図５は、予測パラメータ復元部１４の構成について例示した機能ブロック図である。(Prediction parameter restoration unit)
The detailed configuration of the predictionparameter restoration unit 14 will be described with reference to FIG. FIG. 5 is a functional block diagram illustrating the configuration of the predictionparameter restoration unit 14.

　図５に示すように、予測パラメータ復元部１４は、予測タイプ選択部１４１、スイッチ１４２、イントラ予測モード復元部１４３、動きベクトル候補導出部１４４、動き情報復元部１４５、マージ候補導出部１４６、およびマージ情報復元部１４７を備える。As shown in FIG. 5, the predictionparameter restoration unit 14 includes a predictiontype selection unit 141, aswitch 142, an intra prediction mode restoration unit 143, a motion vectorcandidate derivation unit 144, a motioninformation restoration unit 145, a mergecandidate derivation unit 146, and A mergeinformation restoration unit 147 is provided.

　予測タイプ選択部１４１は、ＣＵタイプまたはＰＵタイプに応じてスイッチ１４２に切り替え指示を送り予測パラメータの導出処理を制御する。具体的には以下のとおりである。The predictiontype selection unit 141 sends a switching instruction to theswitch 142 according to the CU type or the PU type, and controls the prediction parameter derivation process. Specifically, it is as follows.

　イントラＣＵまたはイントラＰＵが指定されている場合、予測タイプ選択部１４１はイントラ予測モード復元部１４３を用いて予測パラメータを導出できるようスイッチ１４２を制御する。When the intra CU or the intra PU is designated, the predictiontype selection unit 141 controls theswitch 142 so that the prediction parameter can be derived using the intra prediction mode restoration unit 143.

　インターＣＵ（マージなし）およびインターＰＵ（マージなし）のいずれかが指定されている場合、予測タイプ選択部１４１は動き情報復元部１４５を用いて予測パラメータを導出できるようスイッチ１４２を制御する。When either inter CU (no merging) or inter PU (no merging) is specified, the predictiontype selection unit 141 uses the motioninformation restoration unit 145 to control theswitch 142 so that a prediction parameter can be derived.

　ベーススキップＣＵ、ベースマージＣＵ、スキップＣＵ、およびマージＰＵのいずれかが指定されている場合、予測タイプ選択部１４１はマージ情報復元部１４７を用いて予測パラメータを導出できるようスイッチ１４２を制御する。When any of the base skip CU, base merge CU, skip CU, and merge PU is specified, the predictiontype selection unit 141 controls theswitch 142 so that the prediction parameter can be derived using the mergeinformation restoration unit 147.

　スイッチ１４２は、予測タイプ選択部１４１の指示に応じて、予測情報を、イントラ予測モード復元部１４３、動き情報復元部１４５、およびマージ情報復元部１４７のいずれかに供給する。予測情報の供給先において予測パラメータが導出される。Theswitch 142 supplies the prediction information to any of the intra prediction mode restoration unit 143, the motioninformation restoration unit 145, and the mergeinformation restoration unit 147 in accordance with an instruction from the predictiontype selection unit 141. A prediction parameter is derived at a supply destination of the prediction information.

　イントラ予測モード復元部１４３は、予測情報から予測モードを導出する。すなわち、イントラ予測モード復元部１４３が予測パラメータとして復元するのは予測モードである。The intra prediction mode restoration unit 143 derives a prediction mode from the prediction information. That is, the intra prediction mode restoration unit 143 restores the prediction parameter in the prediction mode.

　ここで、図６を用いて、予測モードの定義について説明する。図６は、予測モードの定義を示している。同図に示すように、３６種類の予測モードが定義されており、それぞれの予測モードは、「０」～「３５」の番号（イントラ予測モードインデックス）によって特定される。また、図７に示すように、各予測モードには次のような名称が割り当てられている。すなわち、「０」は、“Intra_Planar（プラナー予測モード、平面予測モード）”であり、「１」は、“Intra DC(イントラＤＣ予測モード)”であり、「２」～「３４」は、“Intra Angular（方向予測）”であり、「３５」は、“Intra From Luma”である。「３５」は、色差予測モード固有のものであり、輝度の予測に基づいて色差の予測を行うモードである。言い換えれば、色差予測モード「３５」は、輝度画素値と色差画素値との相関を利用した予測モードである。色差予測モード「３５」はＬＭモードとも称する。予測モード数（intraPredModeNum）は、対象ブロックのサイズによらず「３５」である。Here, the definition of the prediction mode will be described with reference to FIG. FIG. 6 shows the definition of the prediction mode. As shown in the figure, 36 types of prediction modes are defined, and each prediction mode is specified by a number (intra prediction mode index) from “0” to “35”. Moreover, as shown in FIG. 7, the following names are assigned to each prediction mode. That is, “0” is “Intra_Planar (planar prediction mode, plane prediction mode)”, “1” is “Intra DC (intra DC prediction mode)”, and “2” to “34” are “ “Intra Angular (direction prediction)”, and “35” is “Intra From Luma”. “35” is unique to the color difference prediction mode, and is a mode for performing color difference prediction based on luminance prediction. In other words, the color difference prediction mode “35” is a prediction mode using the correlation between the luminance pixel value and the color difference pixel value. The color difference prediction mode “35” is also referred to as an LM mode. The number of prediction modes (intraPredModeNum) is “35” regardless of the size of the target block.

　動きベクトル候補導出部１４４は、ベース復号情報を用いて、レイヤ内動き推定処理、またはレイヤ間動き推定処理により推定動きベクトルの候補を導出する。動きベクトル候補導出部１４４は、導出した動きベクトルの候補を動き情報復元部１４５に供給する。The motion vectorcandidate derivation unit 144 uses the base decoding information to derive an estimated motion vector candidate by intra-layer motion estimation processing or inter-layer motion estimation processing. The motion vectorcandidate derivation unit 144 supplies the derived motion vector candidates to the motioninformation restoration unit 145.

　動き情報復元部１４５は、マージを行わない各インターＰＵに関する動き情報を復元する。すなわち、動き情報復元部１４５が予測パラメータとして復元するのは動き情報である。The motioninformation restoration unit 145 restores motion information related to each inter PU that is not merged. That is, the motioninformation restoring unit 145 restores motion information as a prediction parameter.

　動き情報復元部１４５は、対象ＰＵがインターＣＵおよびインターＰＵである場合、予測情報から、動き情報を復元する。より具体的には、動き情報復元部１４５は、動きベクトル残差（mvd）、推定動きベクトルインデックス（mvp_idx）、インター予測フラグ（inter_pred_flag）および、参照画像インデックス（refIdx）を取得する。そして、インター予測フラグの値に基づいて、参照画像リストＬ０と参照画像リストＬ１各々について参照画像リスト利用フラグを決定する。続いて、対応する参照画像リスト利用フラグが、当該参照画像を利用することを示している場合、動き情報復元部１４５は、推定動きベクトルインデックスの値に基づいて、推定動きベクトルを導出するとともに、動きベクトル残差と推定動きベクトルとに基づいて動きベクトルを導出する。動き情報復元部１４５は、導出した動きベクトルと、参照画像リスト利用フラグ、および、参照画像インデックスと合わせて動き情報（動き補償パラメータ）として出力する。The motioninformation restoration unit 145 restores motion information from the prediction information when the target PU is an inter CU and an inter PU. More specifically, the motioninformation restoration unit 145 acquires a motion vector residual (mvd), an estimated motion vector index (mvp_idx), an inter prediction flag (inter_pred_flag), and a reference image index (refIdx). Then, based on the value of the inter prediction flag, a reference image list use flag is determined for each of the reference image list L0 and the reference image list L1. Subsequently, when the corresponding reference image list use flag indicates that the reference image is used, the motioninformation restoration unit 145 derives an estimated motion vector based on the value of the estimated motion vector index, A motion vector is derived based on the motion vector residual and the estimated motion vector. The motioninformation restoration unit 145 outputs the motion vector (motion compensation parameter) together with the derived motion vector, the reference image list use flag, and the reference image index.

　マージ候補導出部１４６は、フレームメモリ１５５から供給される復号済みの動き情報および／またはベース復号部１３から供給されるベース復号情報等を用いて、各種のマージ候補を導出する。マージ候補導出部１４６は、導出したマージ候補をマージ情報復元部１４７に供給する。The mergecandidate derivation unit 146 derives various merge candidates using the decoded motion information supplied from theframe memory 155 and / or the base decoding information supplied from thebase decoding unit 13. The mergecandidate derivation unit 146 supplies the derived merge candidates to the mergeinformation restoration unit 147.

　マージ情報復元部１４７は、レイヤ内またはレイヤ間でマージを行う各ＰＵに関する動き情報を復元する。すなわち、動き情報復元部１４５が予測パラメータとして復元するのは動き情報である。The mergeinformation restoration unit 147 restores motion information regarding each PU that is merged within a layer or between layers. That is, the motioninformation restoring unit 145 restores motion information as a prediction parameter.

　具体的には、マージ情報復元部１４７は、対象ＣＵ（ＰＵ）がマージを行うスキップＣＵ（マージＰＵ）である場合、マージ候補導出部１４６がマージ候補リストから、予測情報に含まれるマージインデックス（merge_idx）に対応する動き補償パラメータを導出することにより、動き情報を復元する。Specifically, when the target CU (PU) is a skip CU (merge PU) for merging, the mergeinformation restoration unit 147 causes the mergecandidate deriving unit 146 to select a merge index (included in the prediction information) from the merge candidate list ( The motion information is restored by deriving the motion compensation parameter corresponding to merge_idx).

　なお、マージ候補導出部１４６の詳細については後述する。Details of the mergecandidate derivation unit 146 will be described later.

　（テクスチャ復元部）
　図８を用いて、テクスチャ復元部１５の詳細構成について説明する。図８は、テクスチャ復元部１５の構成について例示した機能ブロック図である。(Texture restoration part)
The detailed configuration of thetexture restoration unit 15 will be described with reference to FIG. FIG. 8 is a functional block diagram illustrating the configuration of thetexture restoration unit 15.

　図８に示すように、テクスチャ復元部１５は、逆直交変換・逆量子化部１５１、テクスチャ予測部１５２、加算器１５３、ループフィルタ部１５４、およびフレームメモリ１５５を備える。As shown in FIG. 8, thetexture restoration unit 15 includes an inverse orthogonal transform /inverse quantization unit 151, atexture prediction unit 152, anadder 153, aloop filter unit 154, and aframe memory 155.

　逆直交変換・逆量子化部１５１は、（１）可変長復号部１２から供給される変換係数情報に含まれる量子化予測残差ＱＤを逆量子化し、（２）逆量子化によって得られたＤＣＴ係数を逆直交変換（例えば、ＤＣＴ（Discrete Cosine Transform）変換）し、（３）逆直交変換によって得られた予測残差Ｄを加算器１５３に供給する。なお、量子化予測残差ＱＤを逆量子化する際に、逆直交変換・逆量子化部１５１は、変換係数情報に含まれる量子化パラメータ差分Δｑｐから量子化ステップＱＰを導出する。量子化パラメータｑｐは、直前に逆量子化／逆直交変換したツリーブロックに関する量子化パラメータｑｐ’に量子化パラメータ差分Δｑｐを加算することによって導出でき、量子化ステップＱＰは、量子化パラメータｑｐからＱＰ＝２ｑｐ／６によって導出できる。また、逆直交変換・逆量子化部１５１による予測残差Ｄの生成は、ブロック（変換単位）を単位として行われる。The inverse orthogonal transform / inverse quantization unit 151 (1) inversely quantizes the quantized prediction residual QD included in the transform coefficient information supplied from the variablelength decoding unit 12, and (2) obtained by inverse quantization. The DCT coefficient is subjected to inverse orthogonal transformation (for example, DCT (Discrete Cosine Transform) transformation), and (3) the prediction residual D obtained by the inverse orthogonal transformation is supplied to theadder 153. When the quantization prediction residual QD is inversely quantized, the inverse orthogonal transform /inverse quantization unit 151 derives a quantization step QP from the quantization parameter difference Δqp included in the transform coefficient information. The quantization parameter qp can be derived by adding the quantization parameter difference Δqp to the quantization parameter qp ′ related to the tree block that has been inversely quantized / inversely orthogonally transformed immediately before, and the quantization step QP is performed from the quantization parameter qp to QP. = 2qp / 6. Further, the generation of the prediction residual D by the inverse orthogonal transform /inverse quantization unit 151 is performed in units of blocks (transform units).

　テクスチャ予測部１５２は、予測パラメータに応じて、ベース復号情報に含まれるベース復号画像またはフレームメモリに格納されている復号済みの復号画像を参照し、予測画像を生成する。Thetexture prediction unit 152 refers to the base decoded image included in the base decoding information or the decoded decoded image stored in the frame memory according to the prediction parameter, and generates a predicted image.

　テクスチャ予測部１５２は、より詳細には、インター予測部１５２Ａ、イントラ予測部１５２Ｂを備える。More specifically, thetexture prediction unit 152 includes aninter prediction unit 152A and anintra prediction unit 152B.

　インター予測部１５２Ａは、各インター予測パーティションに関する予測画像をインター予測により生成する。具体的には、インター予測部１５２Ａは、動き情報復元部１４５またはマージ情報復元部１４７から予測パラメータとして供給される動き情報を用いて、参照画像から予測画像を生成する。Theinter prediction unit 152A generates a prediction image related to each inter prediction partition by inter prediction. Specifically, theinter prediction unit 152A generates a prediction image from the reference image using the motion information supplied as a prediction parameter from the motioninformation restoration unit 145 or the mergeinformation restoration unit 147.

　イントラ予測部１５２Ｂは、各イントラ予測パーティションに関する予測画像をイントラ予測により生成する。具体的には、イントラ予測部１５２Ｂは、イントラ予測モード復元部１４３から予測パラメータとして供給される予測モードを用いて、対象パーティションにおいて復号済みの復号画像もしくはベース復号画像から予測画像を生成する。Theintra prediction unit 152B generates a prediction image related to each intra prediction partition by intra prediction. Specifically, theintra prediction unit 152B generates a prediction image from a decoded image or base decoded image that has been decoded in the target partition, using the prediction mode supplied as a prediction parameter from the intra prediction mode restoration unit 143.

　テクスチャ予測部１５２は、インター予測部１５２Ａ、イントラ予測部１５２Ｂが生成した予測画像を加算器１５３に供給する。Thetexture prediction unit 152 supplies the prediction image generated by theinter prediction unit 152A and theintra prediction unit 152B to theadder 153.

　加算器１５３は、テクスチャ予測部１５２が生成した予測画像と、逆直交変換・逆量子化部１５１から供給された予測残差Ｄとを加算することによって復号画像を生成する。Theadder 153 generates a decoded image by adding the prediction image generated by thetexture prediction unit 152 and the prediction residual D supplied from the inverse orthogonal transform /inverse quantization unit 151.

　ループフィルタ部１５４は、加算器１５３から供給される復号画像に対し、デブロッキング処理や、適応オフセットフィルタ、適応ループフィルタによるフィルタ処理を施すものである。Theloop filter unit 154 performs a deblocking process, a filter process using an adaptive offset filter, and an adaptive loop filter on the decoded image supplied from theadder 153.

　フレームメモリ１５５は、ループフィルタ部１５４によるフィルタ済み復号画像を格納する。Theframe memory 155 stores the decoded image that has been filtered by theloop filter unit 154.

　（ベース復号部）
　図９を用いて、ベース復号部１３の詳細構成について説明する。図９は、ベース復号部１３の構成について例示した機能ブロック図である。(Base decoding unit)
The detailed configuration of thebase decoding unit 13 will be described with reference to FIG. FIG. 9 is a functional block diagram illustrating the configuration of thebase decoding unit 13.

　図９に示すように、ベース復号部１３は、可変長復号部１３１、ベース予測パラメータ復元部１３２、ベース変換係数復元部１３３、ベーステクスチャ復元部１３４を備える。As shown in FIG. 9, thebase decoding unit 13 includes a variablelength decoding unit 131, a base prediction parameter restoration unit 132, a base transformcoefficient restoration unit 133, and a basetexture restoration unit 134.

　可変長復号部１３１は、参照レイヤ符号化データＤＡＴＡ＃Ｒに含まれるバイナリから各種のシンタックス値を復号するための情報の復号処理を行う。The variablelength decoding unit 131 performs a decoding process of information for decoding various syntax values from the binary included in the reference layer encoded data DATA # R.

　具体的には、可変長復号部１３１は、予測情報および変換係数情報を符号化データＤＡＴＡ＃Ｒから復号する。可変長復号部１３１が復号する予測情報および変換係数のシンタックスは、可変長復号部１２と同様であるのでここではその詳細な説明を省略する。Specifically, the variablelength decoding unit 131 decodes prediction information and transform coefficient information from the encoded data DATA # R. Since the syntax of the prediction information and transform coefficient decoded by the variablelength decoding unit 131 is the same as that of the variablelength decoding unit 12, the detailed description thereof is omitted here.

　可変長復号部１３１は、復号した予測情報をベース予測パラメータ復元部１３２に供給し、復号した変換係数情報をベース変換係数復元部１３３に供給する。The variablelength decoding unit 131 supplies the decoded prediction information to the base prediction parameter restoring unit 132, and supplies the decoded transform coefficient information to the base transformcoefficient restoring unit 133.

　ベース予測パラメータ復元部１３２は、可変長復号部１３１から供給される予測情報に基づいて、ベース予測パラメータを復元する。ベース予測パラメータ復元部１３２が、ベース予測パラメータを復元する方法については、予測パラメータ復元部１４と同様であるので、ここではその詳細な説明を省略する。ベース予測パラメータ復元部１３２は、復元したベース予測パラメータを、ベーステクスチャ復元部１３４に供給するとともに、外部に出力する。The base prediction parameter restoration unit 132 restores the base prediction parameter based on the prediction information supplied from the variablelength decoding unit 131. The method by which the base prediction parameter restoration unit 132 restores the base prediction parameter is the same as that of the predictionparameter restoration unit 14, and thus detailed description thereof is omitted here. The base prediction parameter restoration unit 132 supplies the restored base prediction parameter to the basetexture restoration unit 134 and outputs it to the outside.

　ベース変換係数復元部１３３は、可変長復号部１３１から供給される変換係数情報に基づいて、変換係数を復元する。ベース変換係数復元部１３３が変換係数を復元する方法については、逆直交変換・逆量子化部１５１と同様であるので、ここではその詳細な説明を省略する。ベース変換係数復元部１３３は、復元したベース変換係数を、ベーステクスチャ復元部１３４に供給するとともに、外部に出力する。The base transformcoefficient restoration unit 133 restores transform coefficients based on the transform coefficient information supplied from the variablelength decoding unit 131. The method by which the base transformcoefficient restoration unit 133 restores the transform coefficient is the same as that of the inverse orthogonal transform /inverse quantization unit 151, and thus detailed description thereof is omitted here. The base conversioncoefficient restoration unit 133 supplies the restored base conversion coefficient to the basetexture restoration unit 134 and outputs the same to the outside.

　ベーステクスチャ復元部１３４は、ベース予測パラメータ復元部１３２から供給されるベース予測パラメータと、ベース変換係数復元部１３３から供給されるベース変換係数とを用いて、復号画像を生成する。具体的には、ベーステクスチャ復元部１３４は、ベース予測パラメータに基づき、テクスチャ予測部１５２と同様のテクスチャ予測を行って、予測画像を生成する。また、ベーステクスチャ復元部１３４は、ベース変換係数に基づいて予測残差を生成し、生成した予測残差と、テクスチャ予測により生成した予測画像とを加算することでベース復号画像を生成する。The basetexture restoration unit 134 uses the base prediction parameters supplied from the base prediction parameter restoration unit 132 and the base transform coefficients supplied from the base transformcoefficient restoration unit 133 to generate a decoded image. Specifically, the basetexture restoration unit 134 performs the same texture prediction as thetexture prediction unit 152 based on the base prediction parameter, and generates a predicted image. Further, the basetexture restoration unit 134 generates a prediction residual based on the base conversion coefficient, and generates a base decoded image by adding the generated prediction residual and a predicted image generated by texture prediction.

　なお、ベーステクスチャ復元部１３４は、ベース復号画像に対して、ループフィルタ部１５４と同様のフィルタ処理を施してもよい。また、ベーステクスチャ復元部１３４は、復号済みのベース復号画像を格納するためのフレームメモリを備えていてもよく、テクスチャ予測においてフレームメモリに格納されている復号済みのベース復号画像を参照してもよい。Note that the basetexture restoration unit 134 may perform filter processing similar to theloop filter unit 154 on the base decoded image. Further, the basetexture restoration unit 134 may include a frame memory for storing the decoded base decoded image, and may refer to the decoded base decoded image stored in the frame memory in texture prediction. Good.

　　＜インター予測部１５２Ａの詳細＞
　次に、インター予測部１５２Ａにおいて行われる処理について図１０～２３を参照して説明する。<Details ofInter Prediction Unit 152A>
Next, processing performed in theinter prediction unit 152A will be described with reference to FIGS.

　図１０は、インター予測部１５２Ａの構成を示す図である。インター予測部１５２Ａは、動き補償フィルタ部１５２１、インターレイヤフィルタ部１５２２、選択合成部１５２３から構成される。インター予測部１５２Ａには、予測情報ＰＩｎｆｏ（動き補償パラメータ）とフィルタパラメータが入力される。動き補償パラメータは、ＰＵの左上座標（xP、yP）、ＰＵのサイズであるＰＵの幅と高さ、nPSW、nPSH、参照画像リストＬ０に係る参照画像に関わる参照画像リスト利用フラグpredFlagL0、参照画像リスト中の参照画像を特定するためのインデックスである参照画像インデックスRefIdxL0、動きベクトルMvL0[]、と、参照画像リストＬ１に係る参照画像に関わる参照画像リスト利用フラグpredFlagL1、参照画像リスト中の参照画像を特定するためのインデックスである参照画像インデックスRefIdxL1、動きベクトルMvL1[]から構成される。FIG. 10 is a diagram illustrating a configuration of theinter prediction unit 152A. Theinter prediction unit 152A includes a motioncompensation filter unit 1521, an interlayer filter unit 1522, and aselection synthesis unit 1523. Prediction information PInfo (motion compensation parameter) and filter parameters are input to theinter prediction unit 152A. The motion compensation parameters are the upper left coordinates (xP, yP) of the PU, the width and height of the PU, which is the size of the PU, nPSW, nPSH, the reference image list use flag predFlagL0 related to the reference image related to the reference image list L0, the reference image A reference image index RefIdxL0 that is an index for specifying a reference image in the list, a motion vector MvL0 [], a reference image list use flag predFlagL1 related to the reference image related to the reference image list L1, and a reference image in the reference image list Is composed of a reference image index RefIdxL1, which is an index for specifying the motion vector, and a motion vector MvL1 [].

　動き補償フィルタ部１５２１は、インター予測部１５２Ａに入力される対象レイヤ画像と動き補償パラメータに基づいて、対象レイヤ画像の動き補償を行い、動き補償画像を生成する。具体的には、参照画像リストＬ０とＬ１に対して各々、参照画像リスト利用フラグpredFlagLXが予測リストを利用することを示す場合、すなわち、-1以外の場合に、参照画像インデックスRefIdxLXで指定される参照画像が、対象レイヤ画像であることを示す場合、動き補償フィルタ部１５２１により動き補償画像が生成される。The motioncompensation filter unit 1521 performs motion compensation on the target layer image based on the target layer image and the motion compensation parameter input to theinter prediction unit 152A, and generates a motion compensated image. Specifically, when the reference image list use flag predFlagLX indicates that the prediction list is used for each of the reference image lists L0 and L1, that is, when it is other than -1, it is specified by the reference image index RefIdxLX. When the reference image indicates the target layer image, the motioncompensation filter unit 1521 generates a motion compensation image.

　さらに、具体的には、ＰＵの左上座標（xP、yP）を起点として、動きベクトルMvLX[]だけずらした位置から、ＰＵサイズにより定まる動き補償フィルタに必要な画像を抽出し、動きベクトルMvLX[]に従った整数位置もしくは小数位置の画像を生成するためにフィルタ処理を行い動き補償画像を生成する。フィルタ処理は例えば水平８タップ、垂直８タップの分離フィルタが用いられる。参照画像リスト利用フラグpredFlagL0、predFlagL1の一方が有効であり他が無効である場合には、１つの参照画像から予測画像を生成するような単予測であり動き補償画像は１つだけ生成される。参照画像リスト利用フラグpredFlagL0、predFlagL1の両者が有効の場合は、２つの参照画像から予測画像を生成するような双予測であり、動き補償画像は２つ生成される。More specifically, an image necessary for the motion compensation filter determined by the PU size is extracted from a position shifted by the motion vector MvLX [] starting from the upper left coordinates (xP, yP) of the PU, and the motion vector MvLX [ In order to generate an integer position or decimal position image according to the above, a filter process is performed to generate a motion compensated image. For the filter processing, for example, a separation filter of 8 horizontal taps and 8 vertical taps is used. When one of the reference image list use flags predFlagL0 and predFlagL1 is valid and the other is invalid, it is a single prediction in which a prediction image is generated from one reference image, and only one motion compensation image is generated. When both the reference image list use flags predFlagL0 and predFlagL1 are valid, bi-prediction is performed such that a prediction image is generated from two reference images, and two motion compensation images are generated.

　インターレイヤフィルタ部１５２２は、インター予測部１５２Ａに入力される参照レイヤ画像（参照レイヤの画像）と動き補償パラメータ、フィルタパラメータに基づいて、参照レイヤ画像から、レイヤ予測画像の生成を行う。具体的には、参照画像リストＬ０とＬ１に対して各々、参照画像リスト利用フラグpredFlagLXが予測リストを利用することを示す場合、すなわち、0以外の場合で、かつ、参照画像インデックスRefIdxLXで指定される参照画像が、参照レイヤ画像であることを示す場合、インターレイヤフィルタ部１５２２によりレイヤ予測画像が生成される。The interlayer filter unit 1522 generates a layer prediction image from the reference layer image based on the reference layer image (reference layer image), the motion compensation parameter, and the filter parameter input to theinter prediction unit 152A. Specifically, when the reference image list use flag predFlagLX indicates that the prediction list is used for each of the reference image lists L0 and L1, that is, when the prediction image is other than 0, it is specified by the reference image index RefIdxLX. When the reference image indicates a reference layer image, theinter-layer filter unit 1522 generates a layer prediction image.

　参照画像が参照レイヤ画像であるか否かは、例えば、以下の方法等により判別することができる。判別方法１としては、参照画像のレイヤＩＤが、対象レイヤのレイヤＩＤとは異なる場合を、参照レイヤ画像であると判定する。判定式は以下の通り、
　layerID != ReflayerID (RefIdxLX, ListX)
　ここで、layerIDは対象画像のレイヤＩＤ、ReflayerID（X, Y）は参照画像インデックスＸ、参照画像リストＹで指定される参照画像のレイヤＩＤである。なお、レイヤＩＤは、画像のレイヤを識別するための識別子である。通常ベースレイヤには０、ベースレイヤ以外には０以外が割り当てられる。Whether or not the reference image is a reference layer image can be determined by, for example, the following method. As adetermination method 1, when the layer ID of the reference image is different from the layer ID of the target layer, it is determined as a reference layer image. The judgment formula is as follows:
layerID! = ReflayerID (RefIdxLX, ListX)
Here, layerID is the layer ID of the target image, and ReflayerID (X, Y) is the layer ID of the reference image specified by the reference image index X and the reference image list Y. The layer ID is an identifier for identifying an image layer. Usually, 0 is assigned to the base layer and non-zero is assigned to other than the base layer.

　さらに判別方法２としては、参照画像のＰＯＣが、対象レイヤのＰＯＣとは同じ場合を、参照レイヤ画像であると判定する。判定式は以下の通り、
　POC == ReflayerPOC (RefIdxLX, ListX)
　ここで、POCは対象画像のPOC、RefPOC（X, Y）は参照画像インデックスＸ、参照画像リストＹで指定される参照画像のＰＯＣである。なお、ＰＯＣは画像の表示時刻による順序を示す値である。表示時刻が同一の場合には同じＰＯＣを有する。Furthermore, as adetermination method 2, when the POC of the reference image is the same as the POC of the target layer, the reference layer image is determined. The judgment formula is as follows:
POC == ReflayerPOC (RefIdxLX, ListX)
Here, POC is the POC of the target image, and RefPOC (X, Y) is the POC of the reference image specified by the reference image index X and the reference image list Y. Note that POC is a value indicating the order of image display times. When the display times are the same, they have the same POC.

　さらに判別方法３としては、参照画像のビューＩＤが、対象レイヤのビューＩＤとは同じ場合を、参照レイヤ画像であると判定する。判定式は以下の通り、
　ViewID == ReflayerViewID (RefIdxLX, ListX)
　ここで、ViewIDは対象画像のビューＩＤ、RefViewID（X, Y）は参照画像インデックスＸ、参照画像リストＹで指定される参照画像のビューＩＤである。なお、ビューＩＤとは画像の視点を示す情報であり、画像がビュースケーラブル符号化される場合に割り当てれ荒れる。通常、ベースビューには０、ベースビュー以外には０以外が割り当てられる。Further, as adetermination method 3, when the view ID of the reference image is the same as the view ID of the target layer, it is determined that the reference layer image is the reference layer image. The judgment formula is as follows:
ViewID == ReflayerViewID (RefIdxLX, ListX)
Here, ViewID is the view ID of the target image, and RefViewID (X, Y) is the view ID of the reference image specified by the reference image index X and the reference image list Y. Note that the view ID is information indicating the viewpoint of an image, and is assigned and roughened when the image is view scalable encoded. Normally, 0 is assigned to the base view, and non-zero is assigned to other than the base view.

　さらに判別方法４としては、参照画像が長時間参照ピクチャの場合に参照レイヤ画像であると判定する。判定式は以下の通り、
　LongTermPic (RefIdxLX, ListX)
　ここで、LongTermPic（X, Y）は参照画像インデックスＸ、参照画像リストＹで指定される参照画像が長時間参照ピクチャである場合に真となる関数である。以下、動き補償画像、レイヤ予測画像をあわせて、以下、ＬＸ予測画像と呼ぶ。特にＬ０参照リストの参照画像を用いた予測画像をＬ０予測画像、Ｌ１参照リストの参照画像を用いた予測画像をＬ１予測画像と呼ぶ。Further, as adetermination method 4, when the reference image is a long-time reference picture, it is determined that the reference layer image is a reference layer image. The judgment formula is as follows:
LongTermPic (RefIdxLX, ListX)
Here, LongTermPic (X, Y) is a function that is true when the reference image specified by the reference image index X and the reference image list Y is a long-time reference picture. Hereinafter, the motion compensation image and the layer prediction image are collectively referred to as an LX prediction image. In particular, a predicted image using the reference image of the L0 reference list is called an L0 predicted image, and a predicted image using the reference image of the L1 reference list is called an L1 predicted image.

　選択合成部１５２３は、動き補償フィルタ部１５２１、インターレイヤフィルタ部１５２２から生成される１つ以上のＬＸ予測画像を用いて、予測画像を生成し、インター予測部１５２Ａの予測画像として出力する。予測パラメータ（動き補償パラメータ）が単予測の場合には、１つのＬＸ予測画像を出力し、双予測の場合には、２つのＬＸ予測画像を重み付予測もちくは平均により合成して出力する。具体的には、参照画像リスト利用フラグpredFlagL0、predFlagL1の一方が有効であり他が無効である場合（単予測の場合）には、predFlagLXが有効である方のＬＸ予測画像をそのまま予測画像として出力する。参照画像リスト利用フラグpredFlagL0、predFlagL1の両方が有効の場合（双予測の場合）には、Ｌ０予測画像とＬ１予測画像の単純平均もしくは重み付き平均から予測画像を生成し、インター予測部１５２Ａの予測画像として出力する。Theselection synthesis unit 1523 generates a prediction image using one or more LX prediction images generated from the motioncompensation filter unit 1521 and theinterlayer filter unit 1522, and outputs the prediction image as the prediction image of theinter prediction unit 152A. When the prediction parameter (motion compensation parameter) is uni-prediction, one LX prediction image is output, and in the case of bi-prediction, two LX prediction images are combined and output by weighted prediction or average. . Specifically, when one of the reference image list use flags predFlagL0 and predFlagL1 is valid and the other is invalid (in the case of single prediction), the LX prediction image with the predFlagLX effective is directly output as the prediction image. To do. When both the reference image list use flags predFlagL0 and predFlagL1 are valid (in the case of bi-prediction), a prediction image is generated from a simple average or a weighted average of the L0 prediction image and the L1 prediction image, and the prediction of theinter prediction unit 152A Output as an image.

　＜インターレイヤフィルタ部＞
　図１１（ａ）は、インターレイヤフィルタ部１５２２の構成を示す図である。図１１（ａ）に示す通り、インターレイヤフィルタ部１５２２は、フィルタ部１５２２１、インターレイヤフィルタ制御部１５２２２から構成される。インターレイヤフィルタ部１５２２は、図示しないインターレイヤフィルタ部１５２２のレイヤ画像抽出部において、参照画像インデックスRefIdxLXで指定される参照レイヤ画像の参照画像から、ＰＵの左上座標（xP、yP）を起点として、動きベクトルMvLX[]だけずらした位置から、ＰＵサイズから定まるレイヤ予測画像に必要な画像を抽出し、フィルタ部１５２２１およびインターレイヤフィルタ制御部１５２２２に出力する。<Interlayer filter part>
FIG. 11A is a diagram illustrating a configuration of theinterlayer filter unit 1522. As shown in FIG. 11A, theinterlayer filter unit 1522 includes afilter unit 15221 and an interlayerfilter control unit 15222. Theinterlayer filter unit 1522 starts from the upper left coordinates (xP, yP) of the PU from the reference image of the reference layer image specified by the reference image index RefIdxLX in the layer image extraction unit of the interlayer filter unit 1522 (not shown). An image necessary for the layer prediction image determined from the PU size is extracted from the position shifted by the motion vector MvLX [], and is output to thefilter unit 15221 and the interlayerfilter control unit 15222.

　＜フィルタ部１５２２１＞
　フィルタ部１５２２１は、インターレイヤフィルタ部１５２２に入力されるフィルタパラメータと参照レイヤ画像を用いて、参照レイヤ画像のフィルタ処理を行う。フィルタ処理としては、フィルタパラメータにより制御される既存のフィルタ処理を適用することができる。以下、適応オフセットフィルタの場合と、適応空間フィルタの場合を説明する。<Filter unit 15221>
Thefilter unit 15221 uses the filter parameters and the reference layer image input to theinter-layer filter unit 1522 to perform the reference layer image filtering process. As the filter process, an existing filter process controlled by a filter parameter can be applied. Hereinafter, the case of the adaptive offset filter and the case of the adaptive spatial filter will be described.

　＜適応オフセットフィルタ（サンプル適応フィルタ、ＳＡＯ）＞
　フィルタパラメータが、画素分類に基づく適応オフセットフィルタのフィルタパラメータである場合には、フィルタパラメータとして、オフセットタイプSaoTypeIdx、オフセットSaoOffsetValを入力し、sao_band_positionを入力し、以下の処理を行う。オフセットタイプSaoTypeIdxがエッジオフセットの場合には、フィルタ対象画素の周囲の画素とフィルタ対象画素の関係から、フィルタ対象画素の分類を示すエッジインデックスedgeIdxを導出し、エッジインデックスedgeIdxが示すオフセットをフィルタ対象画素に加算する。
具体的には以下の式の演算を行う。
fltPicture[ xC + i ][ yC + j ] =　recPicture[ xC + i ][ yC + j ]＋SaoOffsetVal [edgeIdx ]
ここで、recPictureはフィルタ前画像、fltPictureはフィルタ後画像、xC + i、xC + jは、フィルタ対象画素の座標。xC、yCはフィルタ単位の左上座標、i,jはフィルタ単位左上からの相対座標。SaoOffsetVal[Idx]は、フィルタ対象画素の分類結果を示すインデックスIdxから、加算するオフセットの大きさを表す得る変数である。この変数はフィルタユニット毎に異なって良いが、例えば、以下のような値をとる。<Adaptive offset filter (sample adaptive filter, SAO)>
When the filter parameter is a filter parameter of an adaptive offset filter based on pixel classification, an offset type SaoTypeIdx and an offset SaoOffsetVal are input as filter parameters, sao_band_position is input, and the following processing is performed. When the offset type SaoTypeIdx is an edge offset, an edge index edgeIdx indicating the classification of the filter target pixel is derived from the relationship between the pixels around the filter target pixel and the filter target pixel, and the offset indicated by the edge index edgeIdx is determined as the filter target pixel. Add to.
Specifically, the following formula is calculated.
fltPicture [xC + i] [yC + j] = recPicture [xC + i] [yC + j] + SaoOffsetVal [edgeIdx]
Here, recPicture is the pre-filter image, fltPicture is the post-filter image, and xC + i and xC + j are the coordinates of the pixel to be filtered. xC and yC are the upper left coordinates of the filter unit, and i and j are the relative coordinates from the upper left of the filter unit. SaoOffsetVal [Idx] is a variable that represents the magnitude of the offset to be added from the index Idx that indicates the classification result of the filter target pixel. Although this variable may differ for every filter unit, for example, it takes the following values.

　SaoOffsetVal[] = {0, -1, 1, 2}

　エッジインデックスedgeIdxは次の式のように、フィルタ対象画素の画素値と周囲の画素値との関係を分類することで導出され、０～３の値をとる
　edgeIdx = 2 +Σ( Sign3( recPicture[ xC + i ][ yC + j ] - 
　　recPicture[ xC + i + hPos[ k ] ][ yC + j + vPos[ k ] ] ) )
　ここでΣはkについて０～１についての和を計算する。Sign3（ｘ）はｘが正の場合に１、０の場合に０、負の場合にー１をとる関数。hPos、vPosは、分類に用いる周囲の画素と、フィルタ対象画像からの相対座標を示すテーブルである。SaoOffsetVal [] = {0, -1, 1, 2}

The edge index edgeIdx is derived by classifying the relationship between the pixel value of the pixel to be filtered and the surrounding pixel values as shown in the following equation, and takes a value of 0 to 3 edgeIdx = 2 + Σ (Sign3 (recPicture [ xC + i] [yC + j]-
recPicture [xC + i + hPos [k]] [yC + j + vPos [k]]))
Here, Σ calculates the sum of 0 to 1 for k. Sign3 (x) is a function that takes 1 when x is positive, 0 when 0, and -1 when negative. hPos and vPos are tables indicating surrounding pixels used for classification and relative coordinates from the filter target image.

　また、オフセットタイプSaoTypeIdxがバンドオフセットの場合には、フィルタ対象画素の画素から、フィルタ対象画素の分類を示すバンドインデックスbandIdxを導出し、バンドインデックスbandIdxが示すオフセットをフィルタ対象画素に加算する。具体的には以下の式の演算を行う。
fltPicture[ xC + i ][ yC + j ] =　recPicture[ xC + i ][ yC + j ]＋SaoOffsetVal [bandIdx ]
　バンドインデックスbandIdxは次の式のように、フィルタ対象画素の画素値をsao_band_positionから導出されるテーブルbandTableにより分類することで導出され、０～３の値をとる
　for( k = 0; k < 4; k++ )
　　bandTable[ (k + sao_band_position) & 31 ] = k + 1
　bandTable[ recPicture[ xC + i ][ yC + j ] >> bandShift ]
　ここで、bandShiftは所定の定数で画素のビット深度をbitDepthとして、bandShift ＝bitDepth-5を用いる。When the offset type SaoTypeIdx is a band offset, a band index bandIdx indicating the classification of the filter target pixel is derived from the pixel of the filter target pixel, and the offset indicated by the band index bandIdx is added to the filter target pixel. Specifically, the following formula is calculated.
fltPicture [xC + i] [yC + j] = recPicture [xC + i] [yC + j] + SaoOffsetVal [bandIdx]
The band index bandIdx is derived by classifying the pixel value of the filter target pixel by the table bandTable derived from sao_band_position as in the following equation, and takes a value of 0 to 3 for (k = 0; k <4; k ++)
bandTable [(k + sao_band_position) & 31] = k + 1
bandTable [recPicture [xC + i] [yC + j] >> bandShift]
Here, bandShift is a predetermined constant and the bit depth of the pixel is bitDepth, and bandShift = bitDepth-5 is used.

　＜適応空間フィルタ＞
　フィルタパラメータが、フィルタ対象画素の周囲の画素の空間フィルタである適応空間フィルタのフィルタパラメータである場合には、フィルタパラメータとして、Ｎ個のフィルタ係数fcoeff[0]～fcoeff[N-1]を入力し、フィルタ対象画素およびその周囲の画素とフィルタ係数（重み係数）の積和からフィルタ処理を行う。具体的には以下の式のフィルタ処理を行う。
fltPicture[xC + i][yC + j] = ((Σ fcoeff[ii]* recPicture[xC + i + dx[ii]][yC + j+ dy[ii]])+ fcoeff[N-1] + 128)>>8
ここで、recPictureはフィルタ前画像、fltPictureはフィルタ後画像、ここでΣは、iiに関する０～Ｎ－２までの和である。>>は右シフトを示す。dx[]、dy[]は、適応空間フィルタの参照画素である周囲の画素のフィルタ対象画素からの相対座標を示すテーブルである。<Adaptive spatial filter>
When the filter parameter is a filter parameter of an adaptive spatial filter that is a spatial filter of pixels around the pixel to be filtered, N filter coefficients fcoeff [0] to fcoeff [N-1] are input as the filter parameters. Then, the filter processing is performed from the product sum of the filter target pixel and the surrounding pixels and the filter coefficient (weight coefficient). Specifically, the following filter processing is performed.
fltPicture [xC + i] [yC + j] = ((Σ fcoeff [ii] * recPicture [xC + i + dx [ii]] [yC + j + dy [ii]]) + fcoeff [N-1] + 128 ) >> 8
Here, recPicture is the pre-filter image, fltPicture is the post-filter image, and Σ is the sum of 0 to N-2 for ii. >> indicates a right shift. dx [] and dy [] are tables indicating relative coordinates from the pixel to be filtered of surrounding pixels that are reference pixels of the adaptive spatial filter.

　例えば、Ｎ＝１０、３×３の正方形のフィルタ形状を用いる場合、dx、dyとして以下のテーブルを用いることができる。
dx [] = {-1, 0, 1, -1, 0, 1, -1, 0, 1}
dy [] = {-1,-1,-1, 0, 0, 0, 1, 1, 1}
　上述の式では、fcoeff[0]～fcoeff[N-2]までが重み係数、最後のfcoeff[N-1]は、オフセット成分である。本例ではオフセット成分を用いているが、フィルタパラメータ及びフィルタ処理にオフセット成分を用いる重み係数のみを用いる構成でも構わない。また、Ｍ個のフィルタ係数セットから特定のフィルタ係数セットを切り替えて使用する場合、フィルタ係数セットを選択するインデックスjjと、フィルタ係数を選択するインデックスiiと、フィルタ係数fcoeff[jj][ii]を用いて、以下の式によりフィルタ処理を行う。
fltPicture[xC + i][yC + j] = ((Σ fcoeff[jj][ii]* recPicture[xC + i + dx[ii]][yC+ j + dy[ii]])+ fcoeff[N-1] + 128)>>8
　図１３（ｃ）を用いて後述するように、フィルタインデックスjjは符号化データから、フィルタ係数のセットを示すインデックス（jj=layer_flt_idx）を復号し、それを用いても良い。また、対象レイヤ上の画素値の位置から、所定のテーブルを用いることで導出しても良い。所定のテーブルとしては例えば、対象レイヤの画素値の位置でフィルタインデックスを切り替える以下のテーブルlayer_filter_index_tableおよびテーブル参照を用いることができる。
layer_filter_index_table = {0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15}
jj = layer_filter_index_table [(yC * 4 / pic_width) * 4 + (yC * 4 / pic_height)]
ここでpic_width、pic_heightは対象レイヤ画像の幅と高さである。For example, when N = 10 and a 3 × 3 square filter shape is used, the following tables can be used as dx and dy.
dx [] = {-1, 0, 1, -1, 0, 1, -1, 0, 1}
dy [] = {-1, -1, -1, 0, 0, 0, 1, 1, 1}
In the above equation, fcoeff [0] to fcoeff [N-2] are weighting factors, and the last fcoeff [N-1] is an offset component. Although an offset component is used in this example, a configuration using only a weighting coefficient that uses an offset component for filter parameters and filter processing may be used. When a specific filter coefficient set is used by switching from M filter coefficient sets, an index jj for selecting a filter coefficient set, an index ii for selecting a filter coefficient, and a filter coefficient fcoeff [jj] [ii] And filter processing according to the following equation.
fltPicture [xC + i] [yC + j] = ((Σ fcoeff [jj] [ii] * recPicture [xC + i + dx [ii]] [yC + j + dy [ii]]) + fcoeff [N-1 ] + 128) >> 8
As will be described later with reference to FIG. 13C, the filter index jj may be obtained by decoding an index (jj = layer_flt_idx) indicating a set of filter coefficients from the encoded data and using it. Alternatively, it may be derived from the position of the pixel value on the target layer by using a predetermined table. As the predetermined table, for example, the following table layer_filter_index_table and table reference for switching the filter index at the position of the pixel value of the target layer can be used.
layer_filter_index_table = {0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15}
jj = layer_filter_index_table [(yC * 4 / pic_width) * 4 + (yC * 4 / pic_height)]
Here, pic_width and pic_height are the width and height of the target layer image.

なお、後述するように、インターレイヤフィルタ部１５２２のように、参照レイヤ画像にフィルタ処理を行い予測画像を生成するインターレイヤフィルタ部が独立したスケーリング部を有しない場合に、参照レイヤ画像の幅と高さと、対象レイヤ画像の幅と高さとが異なる場合には、フィルタ部１５２２１の適応空間フィルタによりスケーリングを行う。スケーリング処理は、フィルタ入力画素として定められる複数の画素により、取得対象とする位置の画素を導出する。例えば、参照レイヤ画像の幅が、対象レイヤ画像の半分である場合には２倍の拡大処理が必要になる。この場合、
aifPicture [xC + i][yC + j] = 128*(recPicture [xC’ + i][yC’ + j] + 128*recPicture [xC’ + i + 1][yC’ + j]) >> 8
により、対象レイヤ画像上のフィルタ対象画素に対応する参照レイヤ画像の小数画素位置の画素を、周囲の参照レイヤ画像の画素とフィルタ係数との積和により求めることができる。ここでは重み係数を128としたが、具体的には、フィルタパラメータに含まれるフィルタ係数fcoeffが用いられる。なお、この場合、フィルタパラメータとして、参照レイヤ画像上の小数画素位置毎に異なる、Ｍセットのフィルタ係数を用いる。すなわち、ＭセットのＮ個のフィルタ係数fcoeff[0][0]～fcoeff[M-1][N-1]を入力し、個々の対象レイヤ上のフィルタ済み画素を、対応する参照レイヤ上の画素を用いて、以下の式により導出する。
aifPicture[xC + i][yC + j] = ((Σ fcoeff[jj][ii]* refPicture[xC’ + i + dx[ii]][yC’ + j + dy[ii]])+ fcoeff[N-1] + 128)>>8
ここでjjは、フィルタ係数のセットを指定するためのインデックス（フィルタインデックス）。参照レイヤ上の座標ｘＣ’、ｙＣ’は、対象レイヤ上の画素値の位置ｘC、ｙCから演算もしくはテーブル引きにより導出される値である。As will be described later, when the inter-layer filter unit that performs the filtering process on the reference layer image and generates the predicted image, such as theinter-layer filter unit 1522, does not have an independent scaling unit, the width of the reference layer image When the height is different from the width and height of the target layer image, scaling is performed by the adaptive spatial filter of thefilter unit 15221. In the scaling process, a pixel at a position to be acquired is derived from a plurality of pixels determined as filter input pixels. For example, when the width of the reference layer image is half that of the target layer image, double enlargement processing is required. in this case,
aifPicture [xC + i] [yC + j] = 128 * (recPicture [xC '+ i] [yC' + j] + 128 * recPicture [xC '+ i + 1] [yC' + j]) >> 8
Thus, the pixel at the decimal pixel position of the reference layer image corresponding to the filter target pixel on the target layer image can be obtained by the product sum of the pixels of the surrounding reference layer image and the filter coefficient. Here, the weighting coefficient is 128, but specifically, the filter coefficient fcoeff included in the filter parameter is used. In this case, M sets of filter coefficients that are different for each decimal pixel position on the reference layer image are used as filter parameters. That is, M sets of N filter coefficients fcoeff [0] [0] to fcoeff [M-1] [N-1] are input, and the filtered pixels on each target layer are assigned to the corresponding reference layers. Using a pixel, the following formula is derived.
aifPicture [xC + i] [yC + j] = ((Σ fcoeff [jj] [ii] * refPicture [xC '+ i + dx [ii]] [yC' + j + dy [ii]]) + fcoeff [ N-1] + 128) >> 8
Here, jj is an index (filter index) for designating a set of filter coefficients. The coordinates xC ′ and yC ′ on the reference layer are values derived by calculation or table lookup from the pixel value positions xC and yC on the target layer.

　参照レイヤ上のサイズは、参照レイヤ画像のサイズが、対象レイヤ画像のサイズの半分の場合には以下の式を用いる。
ｘＣ’＝ｘＣ＞＞１
ｙＣ’＝ｙＣ＞＞１
　ここで＞＞は右シフトを示す
　また、フィルタインデックスは、参照レイヤ上の小数画素位置に対応して定めればよく。例えば、以下の式で定めることができる。
jj = ((xC & 1) << 1) + (yC & 1)
ここで、＆は論理積、＜＜は左シフトを示す。For the size on the reference layer, the following equation is used when the size of the reference layer image is half the size of the target layer image.
xC ′ = xC >> 1
yC '= yC >> 1
Here, >> indicates a right shift. The filter index may be determined corresponding to the decimal pixel position on the reference layer. For example, it can be defined by the following formula.
jj = ((xC & 1) << 1) + (yC & 1)
Here, & indicates a logical product, and << indicates a left shift.

　＜インターレイヤフィルタ制御部１５２２２＞
　インターレイヤフィルタ制御部１５２２２は、インターレイヤフィルタ部１５２２に入力される動き補償パラメータもしくは、動き補償パラメータとフィルタパラメータを用いて、フィルタ前の参照レイヤ画像を用いるか、フィルタ部１５２２１の出力である、フィルタ済み参照レイヤ画像を用いるかを選択する。<Interlayerfilter control unit 15222>
The inter-layerfilter control unit 15222 uses a motion compensation parameter input to theinter-layer filter unit 1522 or a reference layer image before filtering using the motion compensation parameter and the filter parameter, or is an output of thefilter unit 15221. Select whether to use a filtered reference layer image.

　図１２は、インターレイヤフィルタ制御部１５２２２の動作例動作を示すフローチャートである。インターレイヤフィルタ制御部１５２２２は、動き補償パラメータが所定の条件を満たすか否かを判定する（Ｓ２０１）。所定の条件を満たすと判定された場合には（Ｓ２０１でＹＥＳ）、フィルタ済み参照レイヤ画像を選択する（Ｓ２０３）。所定の条件を満たすと判定されない場合には（Ｓ２０１でＮＯ）、参照レイヤ画像を選択する（Ｓ２０２）。上記の動作により、動き補償パラメータが所定の条件を満たす場合にのみ、インターレイヤフィルタの処理が適用され（インターレイヤフィルタオン）、それ以外の場合には、インターレイヤフィルタの処理が適用されない（インターレイヤフィルタオフ）という動作が実現できる。FIG. 12 is a flowchart showing an operation example of the interlayerfilter control unit 15222. The interlayerfilter control unit 15222 determines whether the motion compensation parameter satisfies a predetermined condition (S201). If it is determined that the predetermined condition is satisfied (YES in S201), a filtered reference layer image is selected (S203). If it is not determined that the predetermined condition is satisfied (NO in S201), a reference layer image is selected (S202). With the above operation, the interlayer filter processing is applied only when the motion compensation parameter satisfies the predetermined condition (interlayer filter on), and otherwise, the interlayer filter processing is not applied (interlayer filter on). The operation of layer filter off) can be realized.

　なお、本例では、インターレイヤフィルタの適用を行うか否かの判定を、テクスチャ復元部１５内部で行っているが、他の手段、例えば可変長復号部１２、予測パラメータ復元部１４、もしくは、フィルタパラメータ復元部１６で判定を行っても良い。この場合、判定を行う上記手段の内部に、インターレイヤフィルタ制御部１５２２２の判定部分を有し、フィルタ済み参照レイヤ画像を選択するか否かを示すfilter_enable_flagを導出する。すなわち、Ｓ２０１に相当する処理において、動き補償パラメータが所定の条件を満たすか否かを判定し、条件を満たす場合には、インターレイヤフィルタオンを示すfilter_enable_flag＝１、条件を満たさない場合には、filter_enable_flag＝０とする。さらに、テクスチャ復元部１５内部の、インターレイヤフィルタ制御部１５２２２では、filter_enable_flagが１の場合に、インターレイヤフィルタの処理が適用する（インターレイヤフィルタオン）と判定し、filter_enable_flagが０の場合に、インターレイヤフィルタの処理が適用しない（インターレイヤフィルタオフ）と判定することにより、フィルタ処理を切り替える。In this example, whether or not to apply the interlayer filter is determined inside thetexture restoration unit 15, but other means such as the variablelength decoding unit 12, the predictionparameter restoration unit 14, or The determination may be made by the filterparameter restoration unit 16. In this case, a filter_enable_flag indicating whether or not to select a filtered reference layer image is derived by including a determination part of the inter-layerfilter control unit 15222 inside the above-described means for performing determination. That is, in the process corresponding to S201, it is determined whether or not the motion compensation parameter satisfies a predetermined condition. If the condition is satisfied, filter_enable_flag = 1 indicating that the interlayer filter is on, and if the condition is not satisfied, filter_enable_flag = 0. Further, the inter-layerfilter control unit 15222 in thetexture restoration unit 15 determines that the inter-layer filter processing is applied (inter-layer filter on) when the filter_enable_flag is 1, and when the filter_enable_flag is 0 By determining that the layer filter process is not applied (interlayer filter off), the filter process is switched.

　図１３は、インターレイヤフィルタ制御部１５２２２は別の動作例を示すフローチャートである。図１３は、図１２に加え、フィルタパラメータに含まれるフィルタオンオフフラグがオンであるか否かを判定する処理（Ｓ２００）を行う。本動作例は、フィルタパラメータに、インターレイヤフィルタを適用するか、適用しないかを示すオンオフフラグが含まれる例である。フィルタパラメータにフィルタオンオフフラグが含まれる場合には、フィルタオンオフフラグと動き補償パラメータにより、インターレイヤフィルタの適用、非適用が切り替えられる。まず、フィルタオンオフフラグがオフの場合にはインターレイヤフィルタは適用されない。オンオフフラグがオンの場合には、動き補償パラメータが所定の条件を満たすか否かの判定が行われる。所定の条件を満たす場合には、インターレイヤフィルタが適用される。具体的には、フィルタオンオフフラグがオフの場合には、参照レイヤ画像を選択する（Ｓ２０２）。それ以外の場合には、動き補償パラメータが所定の条件を満たすか否かを判定する（Ｓ２０１）処理に移行する。その後は図１２の処理の通りである。FIG. 13 is a flowchart showing another example of operation of the interlayerfilter control unit 15222. In addition to FIG. 12, FIG. 13 performs processing (S200) for determining whether or not the filter on / off flag included in the filter parameter is on. In this operation example, the filter parameter includes an on / off flag indicating whether or not to apply the interlayer filter. When the filter parameter includes a filter on / off flag, application / non-application of the interlayer filter is switched by the filter on / off flag and the motion compensation parameter. First, when the filter on / off flag is off, the interlayer filter is not applied. When the on / off flag is on, it is determined whether or not the motion compensation parameter satisfies a predetermined condition. When a predetermined condition is satisfied, an interlayer filter is applied. Specifically, when the filter on / off flag is off, the reference layer image is selected (S202). In other cases, it is determined whether or not the motion compensation parameter satisfies a predetermined condition (S201). Thereafter, the processing is as shown in FIG.

　以下、動き補償パラメータが所定の条件を満たすか否かの判定（S２０１）の具体例を
説明する。図５は、所定の条件が予測単位のサイズである場合である。この場合、予測単位のサイズが所定のサイズ以上の場合のみ、インターレイヤフラグがオンになる。より具体的には、以下の式のように、予測単位が所定のサイズ以上であるかの判定（Ｓ２０１Ｂ）が行われる。Hereinafter, a specific example of determining whether the motion compensation parameter satisfies a predetermined condition (S201) will be described. FIG. 5 shows a case where the predetermined condition is the size of the prediction unit. In this case, the inter-layer flag is turned on only when the size of the prediction unit is equal to or larger than the predetermined size. More specifically, it is determined whether the prediction unit is a predetermined size or more (S201B) as in the following equation.

PSW＋PWH＜＝TH

ここでは、予測画像の幅PSWと高さPSHの和と、所定の敷居値THがTH以下であるかの判定が行われる。
PSW + PWH <= TH

Here, it is determined whether the sum of the predicted image width PSW and height PSH and the predetermined threshold value TH are equal to or lower than TH.

　なお、この判定に用いる予測単位のサイズは、予測単位の幅と高さの和に限らず、幅と高さの積などでも良い。また、所定のサイズ以上の場合に、インターレイヤフラグをオフにし、所定のサイズ未満の場合に、インターレイヤフラグをオンにするような動作でも良い。Note that the size of the prediction unit used for this determination is not limited to the sum of the width and height of the prediction unit, but may be a product of width and height. Further, the operation may be such that the interlayer flag is turned off when the size is equal to or larger than the predetermined size, and the interlayer flag is turned on when the size is smaller than the predetermined size.

　以上の構成により、予測単位が所定のサイズよりも小さい場合には、インターレイヤフィルタが適用されないため、インターレイヤフィルタに伴う処理負荷を低減することができる。インターレイヤフィルタ処理は、フィルタパラメータにより適応オフセットフィルタの動作、および、適応空間フィルタにおけるフィルタ係数（重み係数）が可変であるため、通常の動き補償フィルタよりも重い処理になる。この処理が軽減できる効果を奏する。また、以上の構成では、フィルタオンオフフラグとして明示的にフラグを符号化せずに、既に存在する条件にあわせてインターレイヤフィルタの動作を切り替えることができる。この構成により、フィルタオンオフフラグの符号量が低減しフィルタ効果の高い領域のみをフィルタ処理できるため、符号化効率が向上する。With the above configuration, when the prediction unit is smaller than the predetermined size, the inter layer filter is not applied, and thus the processing load associated with the inter layer filter can be reduced. The inter-layer filter process is heavier than a normal motion compensation filter because the operation of the adaptive offset filter and the filter coefficient (weight coefficient) in the adaptive spatial filter are variable depending on the filter parameter. There is an effect that this processing can be reduced. In the above configuration, the operation of the interlayer filter can be switched in accordance with the existing conditions without explicitly encoding the flag as a filter on / off flag. With this configuration, since the code amount of the filter on / off flag is reduced and only a region having a high filter effect can be filtered, the encoding efficiency is improved.

　さらに、動き補償パラメータが所定の条件を満たすか否かの判定（S２０１）の別の具
体例を説明する。図１４（ｂ）は、所定の条件が単予測である場合である。この場合、予測単位の動き補償パラメータが単予測の場合のみ、インターレイヤフラグがオンになる。より具体的には、該予単位の動き補償パラメータが単予測であるか否かの判定（Ｓ２０１Ｂ）を以下の式により行う。Furthermore, another specific example of the determination (S201) of whether or not the motion compensation parameter satisfies a predetermined condition will be described. FIG. 14B shows a case where the predetermined condition is single prediction. In this case, the inter-layer flag is turned on only when the motion compensation parameter of the prediction unit is single prediction. More specifically, whether or not the motion compensation parameter of the prediction unit is single prediction is determined by the following formula (S201B).

!(predFlagL0 == 1 && predFlagL1 == 1)

ここでは、predFlagL0とpredFlagL1がともに１である（双予測である）ことはない、すなわち、predFlagL0とpredFlagL1のどちらか一方が０であるとの判定が行われる。
! (predFlagL0 == 1 && predFlagL1 == 1)

Here, it is determined that predFlagL0 and predFlagL1 are not 1 (bi-prediction), that is, either predFlagL0 or predFlagL1 is 0.

　なお、この判定は、以下の式のようにpredFlagL0とpredFlagL1の和で判定しても良い。
　predFlagL0 + predFlagL1 < 2
また、動き補償パラメータが双予測の場合に、インターレイヤフラグをオフにし、単予測の場合に、インターレイヤフラグをオンにするような処理も同じ動作となる。This determination may be made by the sum of predFlagL0 and predFlagL1 as in the following equation.
predFlagL0 + predFlagL1 <2
Also, the process of turning off the inter-layer flag when the motion compensation parameter is bi-prediction and turning on the inter-layer flag when uni-prediction is the same operation.

　以上の構成により、予測単位が双予測の場合には、インターレイヤフィルタが適用されないため、インターレイヤフィルタに伴う処理負荷を低減することができる。双予測の場合には、動き補償フィルタもしくはインターレイヤフィルタにより２つのLX予測画像を生成し、さらに２つのLX画像の合成処理が必要になるため処理負荷が高い。つまりこの構成では、最も処理負荷の高い場合の処理が軽減できる効果を奏する。また、以上の構成では、フィルタオンオフフラグとして明示的にフラグを符号化せずに、既に存在する条件にあわせてインターレイヤフィルタの動作を切り替えることができる。一般に双予測の場合には、２つのLX予測画像の合成（ローパスフィルタの効果）により、ボケた予測画像が生成されることが多い。インターレイヤフィルタにはローパスフィルタの効果もあり、ボケた予測画像となる。２つのローパスフィルタがかかるとさらにボケが生じるため。双予測の場合には、インターレイヤフィルタをオフとした方が、予測画像の画質が高くなる。従って、この構成により、フィルタオンオフフラグの符号量が低減しフィルタ効果の高い領域のみをフィルタ処理できるため、符号化効率が向上する。With the above configuration, when the prediction unit is bi-prediction, since the inter-layer filter is not applied, the processing load accompanying the inter-layer filter can be reduced. In the case of bi-prediction, two LX prediction images are generated by a motion compensation filter or an interlayer filter, and a process for synthesizing two LX images is required, which increases the processing load. In other words, this configuration has an effect of reducing processing when the processing load is the highest. In the above configuration, the operation of the interlayer filter can be switched in accordance with the existing conditions without explicitly encoding the flag as a filter on / off flag. In general, in the case of bi-prediction, a blurred prediction image is often generated by combining two LX prediction images (effect of a low-pass filter). The interlayer filter also has the effect of a low-pass filter, resulting in a blurred predicted image. If two low-pass filters are applied, more blur will occur. In the case of bi-prediction, the image quality of the predicted image is higher when the interlayer filter is turned off. Therefore, with this configuration, since the code amount of the filter on / off flag is reduced and only a region having a high filter effect can be filtered, the coding efficiency is improved.

　さらに、動き補償パラメータが所定の条件を満たすか否かの判定（S２０１）の別の具体例を説明する。図１５（a）は、所定の条件が所定の参照画像リストを用いるか否かである場合である。この場合、予測単位の動き補償パラメータが所定の参照画像リスト（図中のＬＸはＬ０もしくはＬ１）を用いる場合のみ、インターレイヤフラグがオンになる。より具体的には、動き補償パラメータがLX予測であるか否かの判定（Ｓ２０１Ｃ）を以下の式により行う。
(RefPicLX == RefPicL0)
　なお、Ｘ１＝＝Ｘ２という形式で記述する上記の判定式は、Ｘ１とＸ２が一致するか否かを判定する式であり、一致する場合を所定の条件を満たすと判定する（以下同様）。
この例は、ＬＸ＝Ｌ０の場合を示す。Furthermore, another specific example of the determination (S201) of whether or not the motion compensation parameter satisfies a predetermined condition will be described. FIG. 15A shows a case where the predetermined condition is whether or not a predetermined reference image list is used. In this case, the inter-layer flag is turned on only when the motion compensation parameter of the prediction unit uses a predetermined reference image list (LX in the figure is L0 or L1). More specifically, whether or not the motion compensation parameter is LX prediction is determined (S201C) using the following equation.
(RefPicLX == RefPicL0)
The above-described determination formula described in the format X1 == X2 is a formula for determining whether or not X1 and X2 match, and it is determined that a predetermined condition is satisfied (the same applies hereinafter).
This example shows a case where LX = L0.

　なお、特定の参照画像リストであるかの判定は、以下の式の用にL０に限らずL１でも良い。
（RefPicLX == RefPicL1）
　以上の構成により、予測単位が特定の参照画像リストの参照画像を用いた場合以外には、インターレイヤフィルタが適用されないため、インターレイヤフィルタに伴う処理負荷を低減することができる。すなわち、L０とL１のLX予測画像の両者にインターレイヤフィルタ処理がかかることがないため、双予測の場合には、２つのLX画像の両者にインターレイヤフィルタ処理がかかるという、最も処理負荷の高い場合の処理を防止できる効果を奏する。また、以上の構成では、フィルタオンオフフラグとして明示的にフラグを符号化せずに、既に存在する条件にあわせてインターレイヤフィルタの動作を切り替えることができる。双予測の場合には、インターレイヤフィルタにより予測画像がボケすぎることを防止することができる。従って、この構成により、フィルタオンオフフラグの符号量が低減しフィルタ効果の高い領域のみをフィルタ処理できるため、符号化効率が向上する。Note that the determination as to whether the image is a specific reference image list is not limited to L0 but may be L1 for the following expression.
(RefPicLX == RefPicL1)
With the above configuration, since the inter-layer filter is not applied except when the reference unit uses the reference image of the specific reference image list, the processing load associated with the inter-layer filter can be reduced. That is, since the inter-layer filter processing is not applied to both L0 and L1 LX prediction images, the inter-layer filter processing is applied to both of the two LX images in the case of bi-prediction, which has the highest processing load. The effect which can prevent the process in case is produced. In the above configuration, the operation of the interlayer filter can be switched in accordance with the existing conditions without explicitly encoding the flag as a filter on / off flag. In the case of bi-prediction, it is possible to prevent the predicted image from being too blurred by the interlayer filter. Therefore, with this configuration, since the code amount of the filter on / off flag is reduced and only a region having a high filter effect can be filtered, the coding efficiency is improved.

　また、以上に説明した判定を複数組み合わせてもかまわない。具体的には、以下の式のように、予測単位が所定のサイズ以上で、単予測の場合に、インターレイヤフィルタをオンにする動作でも良い。

（PSW＋PWH＜＝TH）　＆＆　!(predFlagL0 == 1 && predFlagL1 == 1)

ここで、（Ｘ１＜＝Ｘ２）の判定式はＸ１がＸ２以下の場合に真をかえす。＆＆は、論理積をとる関数であり、左辺と右辺の両者が真の場合に真をかえす。！は論理否定をとる関数である。上記式の最終的な値が真の場合、所定の条件を満たすと判定する（以下同様）。A plurality of the determinations described above may be combined. Specifically, as shown in the following expression, when the prediction unit is a predetermined size or more and the single prediction is performed, an operation of turning on the interlayer filter may be performed.

(PSW + PWH <= TH) &&! (PredFlagL0 == 1 && predFlagL1 == 1)

Here, the determination formula (X1 <= X2) changes true when X1 is X2 or less. && is a function that takes a logical product, and changes true when both the left side and the right side are true. ! Is a function that takes a logical negation. When the final value of the above equation is true, it is determined that a predetermined condition is satisfied (the same applies hereinafter).

　また、以下の式のように、予測単位が所定のサイズ以上で、特定の参照画像リストの参照画像を用いる場合に、インターレイヤフィルタをオンにする動作でも良い。
（PSW＋PWH＜＝TH）　＆＆　（RefPicLX = RefPicL0）
Further, as shown in the following expression, when the prediction unit is a predetermined size or more and a reference image in a specific reference image list is used, an operation of turning on the interlayer filter may be performed.
(PSW + PWH <= TH) && (RefPicLX = RefPicL0)

　＜インターレイヤフィルタ部の別の構成例＞
　図１１（b）は、インターレイヤフィルタ部１５２２の別の構成例を示す図である。図１１（b）に示す別の構成例のインターレイヤフィルタ部１５２２ｂは、図１１（a）の構成に加え、スケーリング部１５２２３を有する点が異なる。それ以外の構成要素の動作は、インターレイヤフィルタ部１５２２と同じため説明を省略する。<Another configuration example of the interlayer filter unit>
FIG. 11B is a diagram illustrating another configuration example of theinterlayer filter unit 1522. Aninterlayer filter unit 1522b of another configuration example illustrated in FIG. 11B is different from the configuration of FIG. 11A in that ascaling unit 15223 is included. Since the operation of the other components is the same as that of theinterlayer filter unit 1522, the description thereof is omitted.

　インターレイヤフィルタ部１５２２ｂは、図示しないインターレイヤフィルタ部１５２２のレイヤ画像抽出部において、参照画像インデックスRefIdxLXで指定される参照レイヤ画像の参照画像から、ＰＵの左上座標（xP、yP）を起点として、動きベクトルMvLX[]だけずらした位置から、ＰＵサイズから定まるレイヤ予測画像の生成に必要な領域を抽出し、スケーリング部１５２２３に出力する。Theinterlayer filter unit 1522b starts from the upper left coordinates (xP, yP) of the PU from the reference image of the reference layer image specified by the reference image index RefIdxLX in the layer image extraction unit of the interlayer filter unit 1522 (not shown). From the position shifted by the motion vector MvLX [], an area necessary for generating the layer prediction image determined from the PU size is extracted and output to thescaling unit 15223.

　スケーリング部１５２２３は、スケーリングパラメータに従い、スケーリングパラメータにおいてスケーリングすることが示されていれば、抽出した画像に拡大処理を行い、フィルタ部１５２２１、インターレイヤフィルタ制御部１５２２２に出力する。具体的には、スケーリングパラメータは、参照レイヤ画像の幅と高さが、対象レイヤ画像の幅と高さと異なるか否かを示す情報であり、参照レイヤ画像の幅と高さが、対象レイヤ画像の幅と高さと異なる場合にスケーリング処理を行う。Thescaling unit 15223 performs an enlargement process on the extracted image and outputs it to thefilter unit 15221 and the interlayerfilter control unit 15222 if the scaling parameter indicates that scaling is performed according to the scaling parameter. Specifically, the scaling parameter is information indicating whether or not the width and height of the reference layer image are different from the width and height of the target layer image, and the width and height of the reference layer image are If the width and height are different, the scaling process is performed.

　インターレイヤフィルタ部１５２２の別の構成例では、インターレイヤフィルタ部により適用空間フィルタを用いずに、参照レイヤ画像の幅と高さが、対象レイヤ画像の幅と高さと異なる場合に対する予測画像を生成することができる構成となる。In another configuration example of theinterlayer filter unit 1522, a prediction image is generated for a case where the width and height of the reference layer image are different from the width and height of the target layer image without using an applied spatial filter by the interlayer filter unit. It becomes the structure which can do.

＜インターレイヤフィルタ制御部１５２２２の別の動作例＞
　インターレイヤフィルタ制御部１５２２２の別の動作例を図１６を用いて説明する。インターレイヤフィルタ制御部１５２２２の別の動作例は、スケーリング部１５２２３を有する、インターレイヤフィルタ部１５２２ｂにおいて用いることができる。<Another operation example of the interlayerfilter control unit 15222>
Another operation example of the interlayerfilter control unit 15222 will be described with reference to FIG. Another operation example of the interlayerfilter control unit 15222 can be used in theinterlayer filter unit 1522b having the scalingunit 15223.

　図１６は、所定の条件がスケーリングを行うか否かである場合である。この場合、予測単位がスケーリングを行わない場合のみ、インターレイヤフラグがオンになる。FIG. 16 shows a case where the predetermined condition is whether or not to perform scaling. In this case, the interlayer flag is turned on only when the prediction unit does not perform scaling.

　以上の構成により、予測単位がスケーリングを行う場合には、インターレイヤフィルタが適用されないため、スケーリングを行うような、参照レイヤ画像から予測画像を生成する負荷が重い場合において、インターレイヤフィルタに伴う処理負荷を低減することができる。また、以上の構成では、フィルタオンオフフラグとして明示的にフラグを符号化せずに、既に存在する条件にあわせてインターレイヤフィルタの動作を切り替えることができる。スケーリングを行う場合には、インターレイヤフィルタにより予測画像がボケすぎることを防止することができる。従って、この構成により、フィルタオンオフフラグの符号量が低減しフィルタ効果の高い領域のみをフィルタ処理できるため、符号化効率が向上する。With the above configuration, when the prediction unit performs scaling, the inter-layer filter is not applied. Therefore, when the load for generating the predicted image from the reference layer image is heavy, such as scaling, the processing associated with the inter-layer filter The load can be reduced. In the above configuration, the operation of the interlayer filter can be switched in accordance with the existing conditions without explicitly encoding the flag as a filter on / off flag. When performing scaling, it is possible to prevent the predicted image from being too blurred by the interlayer filter. Therefore, with this configuration, since the code amount of the filter on / off flag is reduced and only a region having a high filter effect can be filtered, the coding efficiency is improved.

　＜可変長復号部１２の詳細＞
　以下、可変長復号部１２におけるフィルタパラメータの復号の詳細を説明する。
　図１８は、可変長復号部１２において、フィルタパラメータを含む符号化データを復号する動作を示す図である。可変長復号部１２は各ＣＴＢにおいて以下の処理を行う。まず、該フィルタユニットにおいてフィルタパラメータを復号していないことを示すために、フィルタ符号化フラグfilter_coded_flagを０に設定する（Ｓ３０１）。続いて、ＣＵのループを開始する（Ｓ３０２）。ＣＵのループはＣＴＢに含まれる全てのＣＵを順に処理することで行われる。続いてＰＵのループを開始する（Ｓ３０３）。ＰＵのループは該ＣＵに含まれる全てのＰＵを順に処理することで行われる。ループ内では、フィルタパラメータを除く、予測情報ＰＩｎｆｏの内該ＰＵに対応する情報を復号する（Ｓ３０４）。例えば、マージインデックス、マージフラグ、インター予測フラグ、参照リファレンスインデックス、推定動きベクトルインデックス、動きベクトル残差と、が復号される。続いて、本ＰＵにおいて、参照レイヤ画像が予測画像の生成に用いられるか否かを判定する（Ｓ３０６）、具体的には、参照リファレンスインデックスの示す参照画像が、参照レイヤであるか否かを判定する。参照レイヤである場合には、予測画像に参照レイヤ画像が使用される。参照レイヤ画像が予測画像の生成に用いられる場合（Ｓ３０６でＹＥＳ）、該フィルタユニットのフィルタパラメータを復号に遷移する（Ｓ３０６に遷移）、参照レイヤ画像が予測画像の生成に用いられない場合（Ｓ３０６でＮＯ）、該フィルタユニットのフィルタパラメータの復号は省略される（Ｓ３１０に遷移）。参照レイヤ画像が予測画像の生成に用いられる場合、インターレイヤフィルタを適用するか否かの判定を行う（Ｓ３０６）。この判定の詳細は、既に説明した通り、動き補償パラメータが所定の条件を満たす場合にfilter_enable_flagを１とする。さらに、該ＰＵにインターレイヤフィルタを適用し（filter_enable_flagが１）、かつ、該フィルタユニットにおいてフィルタパラメータが復号されていない（filter_coded_flag =0）か否かを判定する（Ｓ３０７）、該ＰＵにインターレイヤフィルタを適用し、かつ、該フィルタユニットにおいてフィルタパラメータが復号されていない場合（Ｓ３０７でＹＥＳ）、該フィルタユニットのフィルタパラメータを復号する（Ｓ３０８）。逆に、該ＰＵにインターレイヤフィルタを適用しないか、該フィルタユニットにおいて既にフィルタパラメータが復号されている場合（Ｓ３０７でＮＯ）、該フィルタユニットのフィルタパラメータの復号は省略される。Ｓ３１０はＰＵ単位のループの終端、Ｓ３１１はＣＵ単位のループの終端である。<Details of VariableLength Decoding Unit 12>
Details of the filter parameter decoding in the variablelength decoding unit 12 will be described below.
FIG. 18 is a diagram illustrating an operation of decoding encoded data including a filter parameter in the variablelength decoding unit 12. The variablelength decoding unit 12 performs the following processing in each CTB. First, in order to indicate that the filter parameter is not decoded in the filter unit, a filter encoding flag filter_coded_flag is set to 0 (S301). Subsequently, a CU loop is started (S302). The CU loop is performed by sequentially processing all the CUs included in the CTB. Subsequently, a PU loop is started (S303). The PU loop is performed by sequentially processing all PUs included in the CU. In the loop, information corresponding to the PU is decoded from the prediction information PInfo excluding the filter parameter (S304). For example, a merge index, a merge flag, an inter prediction flag, a reference reference index, an estimated motion vector index, and a motion vector residual are decoded. Subsequently, in this PU, it is determined whether or not the reference layer image is used to generate a predicted image (S306). Specifically, it is determined whether or not the reference image indicated by the reference reference index is a reference layer. judge. In the case of the reference layer, the reference layer image is used as the predicted image. When the reference layer image is used for generation of a prediction image (YES in S306), the filter parameter of the filter unit is changed to decoding (transition to S306), and when the reference layer image is not used for generation of a prediction image (S306). NO), the decoding of the filter parameters of the filter unit is omitted (transition to S310). When the reference layer image is used to generate a predicted image, it is determined whether or not to apply an inter-layer filter (S306). The details of this determination are as follows: filter_enable_flag is set to 1 when the motion compensation parameter satisfies a predetermined condition as described above. Furthermore, an inter-layer filter is applied to the PU (filter_enable_flag is 1), and it is determined whether or not the filter parameter is not decoded in the filter unit (filter_coded_flag = 0) (S307). When the filter is applied and the filter parameter is not decoded in the filter unit (YES in S307), the filter parameter of the filter unit is decoded (S308). On the other hand, if no inter-layer filter is applied to the PU or if the filter parameter has already been decoded in the filter unit (NO in S307), decoding of the filter parameter of the filter unit is omitted. S310 is the end of the loop in PU units, and S311 is the end of the loop in CU units.

　以上の構成の可変長復号部１２によれば、フィルタユニットに含まれる予測単位において、最初にインターレイヤフィルタが適用される予測単位において、該フィルタユニットのフィルタパラメータを復号する。この場合、フィルタユニットに含まれる２番目以降にインターレイヤフィルタが適用される予測単位においては、該フィルタユニットのフィルタパラメータの復号は省略される。インターレイヤフィルタが適用される最初のＰＵでのみフィルタユニットの情報が復号されるということは、すなわち、フィルタユニットに含まれる全ての予測単位において、インターレイヤフィルタがオフとなる場合には、該フィルタユニットのフィルタパラメータを符号化しないため、フィルタパラメータの符号量を低減する効果が得られる。According to the variablelength decoding unit 12 having the above configuration, in the prediction unit included in the filter unit, the filter parameter of the filter unit is decoded in the prediction unit to which the interlayer filter is first applied. In this case, the decoding of the filter parameter of the filter unit is omitted in the prediction unit to which the interlayer filter is applied after the second included in the filter unit. That the information of the filter unit is decoded only in the first PU to which the inter-layer filter is applied, that is, when the inter-layer filter is turned off in all prediction units included in the filter unit, the filter Since the filter parameter of the unit is not encoded, an effect of reducing the code amount of the filter parameter can be obtained.

　図１９は、可変長復号部１２において、フィルタパラメータを含む符号化データを復号する動作の別の例を示す図である。図１８と同じ番号のステップは、同じ動作を行うため説明を省略する。Ｓ３０４からＳ３０５までの動作は同じである。Ｓ３０５でＹＥＳ、すなわち、参照レイヤ画像が予測画像の生成に用いられる場合には、さらに該フィルタユニットのフィルタパラメータが復号済みであるか否かを判定する（Ｓ３０７’）。該フィルタユニットのフィルタパラメータが復号済みである場合には、（Ｓ３０７’でＹＥＳ）、該フィルタユニットのフィルタパラメータを復号する（Ｓ３０８）。逆に、該フィルタユニットにおいて既にフィルタパラメータが復号されている場合（Ｓ３０７’でＮＯ）、該フィルタユニットのフィルタパラメータの復号は省略される。FIG. 19 is a diagram illustrating another example of the operation of decoding the encoded data including the filter parameter in the variablelength decoding unit 12. Steps having the same numbers as those in FIG. 18 perform the same operations, and thus description thereof is omitted. The operation from S304 to S305 is the same. If YES in S305, that is, if the reference layer image is used to generate a predicted image, it is further determined whether or not the filter parameter of the filter unit has been decoded (S307 '). If the filter parameter of the filter unit has been decoded (YES in S307 '), the filter parameter of the filter unit is decoded (S308). Conversely, when the filter parameter has already been decoded in the filter unit (NO in S307 '), the decoding of the filter parameter of the filter unit is omitted.

　また、図２０は、可変長復号部１２において、フィルタパラメータを含む符号化データを復号する動作のさらに別の例を示す図である。本例は図１９の例と基本的な個々の動作は同じであるが、処理の手順が異なる。本例では、ＰＵ単位のループの終了（Ｓ３１０）とＣＵ単位のループの終了（Ｓ３１１）の間に、Ｓ３０５、Ｓ３０７’、Ｓ３０８、Ｓ３０９の処理を行う。本例によれば、ＰＵ単位ではなく、ＣＵ単位で該フィルタユニットのフィルタパラメータの復号が行われる。FIG. 20 is a diagram illustrating still another example of the operation of decoding the encoded data including the filter parameter in the variablelength decoding unit 12. This example has the same basic individual operations as the example of FIG. 19, but the processing procedure is different. In this example, the processing of S305, S307 ', S308, and S309 is performed between the end of the PU unit loop (S310) and the end of the CU unit loop (S311). According to this example, the filter parameter of the filter unit is decoded not in units of PU but in units of CU.

　以上の構成の可変長復号部１２では、フィルタユニットに含まれる予測単位において、最初に参照レイヤが予測画像の生成に適用される予測単位において、該フィルタユニットのフィルタパラメータを復号する。参照レイヤが予測画像の生成に用いられない場合には、該フィルタユニットのフィルタパラメータを符号化しないため、フィルタパラメータの符号量を低減する効果が得られる。なお、本構成では、該ＰＵの動き補償パラメータ（参照レイヤを特定する参照リファレンスインデックス以外のパラメータ）に応じて、インターレイヤフィルタの適用の有無を切り替える必要はない。The variablelength decoding unit 12 having the above configuration decodes the filter parameter of the filter unit in the prediction unit included in the filter unit in the prediction unit in which the reference layer is first applied to the generation of the predicted image. When the reference layer is not used for generating a predicted image, the filter parameter of the filter unit is not encoded, so that an effect of reducing the code amount of the filter parameter can be obtained. In this configuration, it is not necessary to switch whether or not to apply the inter-layer filter according to the motion compensation parameter of the PU (parameter other than the reference reference index that identifies the reference layer).

　＜フィルタパラメータの符号化データ上の構成＞
　図１７は、可変長復号部１２で復号される符号化データの構成の予測単位の符号化データ部分（図３の予測情報ＰＩｎｆｏに対応）を示す図である。<Configuration of filter parameter encoded data>
FIG. 17 is a diagram illustrating an encoded data portion (corresponding to the prediction information PInfo in FIG. 3) of a prediction unit of the configuration of the encoded data decoded by the variablelength decoding unit 12.

　本例では、フィルタパラメータもしくはフィルタパラメータの一部が、所定のフィルタユニットごとに符号化される。図１７に示す通り、符号化データの予測単位の符号化データは、図１７のＳＹＮ１Ａで示される動き補償パラメータ（マージインデックスmerge_idx、マージフラグmerge_flag、インター予測フラグinter_pred_flag、参照リファレンスインデックスref_idx_l0/ref_idx_l1、推定動きベクトルインデックスmvp_l0_flag/mvp_l1_flag、動きベクトル残差mvd_coding）と、ＳＹＮ２Ａで示される該フィルタユニットに対応するフィルタパラメータfilter_paramから構成される。図１７のように、予測単位の符号化データでは、動き補償パラメータ、フィルタパラメータの順に符号化を配置する。この順序で配置することにより、予測単位ごとの動き報償パラメータの値に応じてインターレイヤフィルタを適用するか否かを切り替える場合において、インターレイヤフィルタを適用するか否かに応じて、該フィルタユニットのフィルタパラメータを復号するか否かを切り替えることができる。ＳＹＮ１Ａに次の判定がある。
!filter_coded_flag && filter_enable_flag
本判定は、該ＰＵにインターレイヤフィルタを適用し（filter_enable_flagが１）、かつ、該フィルタユニットにおいてフィルタパラメータが復号されていない（filter_coded_flag=0）か否かの判定であり、図１８のＳ３０７の判定に相当する。In this example, the filter parameter or a part of the filter parameter is encoded for each predetermined filter unit. As shown in FIG. 17, the encoded data in the prediction unit of the encoded data includes the motion compensation parameters (merge index merge_idx, merge flag merge_flag, inter prediction flag inter_pred_flag, reference reference index ref_idx_l0 / ref_idx_l1, estimated by SYN1A in FIG. Motion vector index mvp_l0_flag / mvp_l1_flag, motion vector residual mvd_coding) and a filter parameter filter_param corresponding to the filter unit indicated by SYN2A. As shown in FIG. 17, in the encoded data of the prediction unit, the encoding is arranged in the order of the motion compensation parameter and the filter parameter. By arranging in this order, when switching whether to apply an inter-layer filter according to the value of the motion compensation parameter for each prediction unit, depending on whether the inter-layer filter is applied, the filter unit It is possible to switch whether or not to decode the filter parameters. SYN 1A has the following determination.
! filter_coded_flag && filter_enable_flag
This determination is a determination of whether or not an inter-layer filter is applied to the PU (filter_enable_flag is 1) and the filter parameter is not decoded in the filter unit (filter_coded_flag = 0). Corresponds to judgment.

　以上の符号化構造では、最初にインターレイヤフィルタがオンとなる場合（参照レイヤ画像が予測画像の生成に使用される場合）のＰＵ単位において、該フィルタユニットのフィルタパラメータが含まれ、それ以外ではフィルタパラメータは含まれない。従って、フィルタユニットに含まれる全てのＰＵ単位において、インターレイヤフィルタがオフとなる場合（参照レイヤ画像が予測画像の生成に使用されない場合）には、該フィルタユニットのフィルタパラメータを符号化しないため、フィルタパラメータの符号量を低減する効果が得られる。In the above coding structure, the filter parameter of the filter unit is included in the PU unit when the inter-layer filter is first turned on (when the reference layer image is used for generation of the prediction image). Filter parameters are not included. Accordingly, in all PU units included in the filter unit, when the inter-layer filter is turned off (when the reference layer image is not used for generating the predicted image), the filter parameter of the filter unit is not encoded. An effect of reducing the code amount of the filter parameter can be obtained.

　図２１は、可変長復号部１２で復号される符号化データの構成の別の構成（図３の予測情報ＰＩｎｆｏに対応）を示す。本例は図２１を用いて既に説明した動作を行う場合の符号化データの構造に対応する。可変長復号部１２では、ＰＵ単位ではなく、ＣＵ単位で該フィルタユニットのフィルタパラメータを符号化するように、該フィルタユニットのフィルタパラメータについても、ＣＵ単位（coding_unit）で符号化される。図２１に示す通り、符号化データのＣＵ単位の符号化データは、図２１のＳＹＮ１Ｂで示される予測情報（予測モードpred_mode_flag、ＰＵ分割モードpart_mode、イントラ予測モードintra_pred_mode）と、ＳＹＮ２Ｂで示される該フィルタユニットに対応するフィルタパラメータfilter_paramから構成される。図１７のように、予測単位の符号化データでは、動き補償パラメータ、フィルタパラメータの順に符号化を配置する。この順序で配置することにより、予測単位ごとの動き報償パラメータの値に応じてインターレイヤフィルタを適用するか否かを切り替える場合において、インターレイヤフィルタを適用するか否かに応じて、該フィルタユニットのフィルタパラメータを復号するか否かを切り替えることができる。ＳＹＮ１Ｂに次の判定がある。
!filter_coded_flag && filter_enable_flag
　以上の符号化構造では、最初に参照レイヤ画像が予測画像の生成に使用されるＣＵ単位において、該フィルタユニットのフィルタパラメータが含まれ、それ以外ではフィルタパラメータは含まれない。従って、フィルタユニットに含まれる全てのＣＵ単位において、インターレイヤフィルタがオフとなる場合には、該フィルタユニットのフィルタパラメータを符号化しないため、フィルタパラメータの符号量を低減する効果が得られる。FIG. 21 shows another configuration of the encoded data decoded by the variable length decoding unit 12 (corresponding to the prediction information PInfo of FIG. 3). This example corresponds to the structure of encoded data when the operation already described with reference to FIG. 21 is performed. In the variablelength decoding unit 12, the filter parameters of the filter unit are also encoded in CU units (coding_unit) so that the filter parameters of the filter units are encoded not in PU units but in CU units. As shown in FIG. 21, the encoded data in the CU unit of the encoded data includes the prediction information (prediction mode pred_mode_flag, PU partition mode part_mode, intra prediction mode intra_pred_mode) indicated by SYN1B in FIG. 21, and the filter indicated by SYN2B. It consists of filter parameter filter_param corresponding to the unit. As shown in FIG. 17, in the encoded data of the prediction unit, the encoding is arranged in the order of the motion compensation parameter and the filter parameter. By arranging in this order, when switching whether to apply an inter-layer filter according to the value of the motion compensation parameter for each prediction unit, depending on whether the inter-layer filter is applied, the filter unit It is possible to switch whether or not to decode the filter parameters. There is the following determination in SYN1B.
! filter_coded_flag && filter_enable_flag
In the above coding structure, the filter parameter of the filter unit is included in the CU unit in which the reference layer image is first used to generate the predicted image, and the filter parameter is not included in other cases. Therefore, when the interlayer filter is turned off in all CU units included in the filter unit, the filter parameter of the filter unit is not encoded, so that an effect of reducing the code amount of the filter parameter can be obtained.

　＜フィルタパラメータの符号化データの構成＞
　図２２は、フィルタユニット単位のフィルタパラメータの符号化データの構成を示す図である。図２２（ａ）は適応オフセットフィルタの場合、図２２（ｂ）、図２２（ｃ）は適応空間フィルタの例である。<Configuration of Filter Parameter Encoded Data>
FIG. 22 is a diagram illustrating a configuration of encoded data of filter parameters in units of filter units. FIG. 22A shows an example of an adaptive offset filter, and FIGS. 22B and 22C show examples of an adaptive spatial filter.

　図２２（ａ）に示す通り、適応オフセットフィルタでは、オフセットタイプSaoTypeIdx、オフセットSaoOffsetVal、エッジオフセットクラスEdgeClass、バンドオフセット位置sao_band_posが、各々、シンタックス要素sao_type、sao_offset、sao_eo_class、sao_band_posにより符号化される。ここでは各シンタックス要素の値が、そのまま適応オフセットフィルタのフィルタパラメータに対応するが、例えば、オフセットを絶対値と符号に分けて符号化するなどを行っても良い。また、既に復号済みの隣接するフィルタユニットのフィルタパラメータをそのまま用いる（コピーする）ことを示すマージフィルタを含んでも構わない。22A, in the adaptive offset filter, the offset type SaoTypeIdx, the offset SaoOffsetVal, the edge offset class EdgeClass, and the band offset position sao_band_pos are encoded by the syntax elements sao_type, sao_offset, sao_eo_class, and sao_band_pos, respectively. Here, the value of each syntax element corresponds to the filter parameter of the adaptive offset filter as it is, but for example, the offset may be divided into an absolute value and a code and encoded. Further, a merge filter indicating that the filter parameters of the adjacent filter units that have already been decoded are used (copied) as they are may be included.

　図２２（ｂ）は、適応空間フィルタの該フィルタユニットのフィルタパラメータの一例である。適応空間フィルタでは、フィルタパラメータとしてフィルタ係数と、オンオフフラグを用いるが、フィルタユニット単位では、オンオフフラグのみを符号化する。これは、フィルタ係数の符号量が多いため、比較的小さな単位であるフィルタユニット単位で符号化することは符号化効率上適当ではないからである。図２２（ｂ）のlayer_flt_onoff_flagは、該フィルタユニットにおいてインターレイヤフィルタを適用するか、否かを示すフラグである。既にＳ３０７において説明したように、layer_flt_onoff_flagがインターレイヤフラグを適用する、という場合にも、他の予測情報および動き補償パラメータにより、参照レイヤを予測に用いないこと、もしくは、インターレイヤフィルタを行わないことを示す場合には、適用する必要はない。FIG. 22B is an example of the filter parameters of the filter unit of the adaptive spatial filter. In the adaptive spatial filter, a filter coefficient and an on / off flag are used as filter parameters, but only the on / off flag is encoded for each filter unit. This is because since the code amount of the filter coefficient is large, it is not appropriate in terms of encoding efficiency to perform encoding in units of relatively small units. The layer_flt_onoff_flag in FIG. 22B is a flag indicating whether or not to apply an interlayer filter in the filter unit. As already described in S307, even when layer_flt_onoff_flag applies an inter-layer flag, a reference layer is not used for prediction or an inter-layer filter is not performed based on other prediction information and motion compensation parameters. Is not necessary.

　図２２（ｃ）は、適応空間フィルタの該フィルタユニットのフィルタパラメータの別の例である。layer_flt_idxは、該フィルタユニットのインターレイヤフィルタにおいて、適応空間フィルタに用いるフィルタ係数のセットを切り替えるインデックスであり０から所定の値Ｍ－１までの値をとる。本例では、フィルタユニット単位で、使用するフィルタ係数を切り替えることができる。フィルタ係数は、予め復号装置においてテーブルとして保持しておいても良いし、スライスヘッダやピクチャパラメータセットなどにおいて、符号化データ中に含め復号しても良い。また、一部のフィルタ係数セットを復号装置において保持し、他方のフィルタ係数セットを符号化データから復号しても良い。また、layer_flt_idxが０の場合には、インターレイヤフィルタを適用するか否かを示すフラグとして
機能させても良い。この場合、layer_flt_idxが１からＭ－１までの値が、フィルタ係数のセットを切り替えるフラグである。FIG. 22C is another example of the filter parameter of the filter unit of the adaptive spatial filter. layer_flt_idx is an index for switching a set of filter coefficients used for the adaptive spatial filter in the inter-layer filter of the filter unit, and takes a value from 0 to a predetermined value M−1. In this example, the filter coefficient to be used can be switched for each filter unit. The filter coefficients may be stored in advance as a table in the decoding device, or may be decoded by being included in the encoded data in a slice header, a picture parameter set, or the like. Alternatively, some filter coefficient sets may be held in the decoding device, and the other filter coefficient set may be decoded from the encoded data. When layer_flt_idx is 0, it may function as a flag indicating whether or not to apply an interlayer filter. In this case, the value of layer_flt_idx from 1 to M−1 is a flag for switching the set of filter coefficients.

　図２３は、適応空間フィルタのフィルタ係数をスライスヘッダで符号化する場合の符号化データの構成を示す。fcoeff[i][j]が個々のフィルタ係数（フィルタ係数およびオフセット）である。jは、各フィルタ係数セットを示すインデックス、iは、フィルタ係数セット内のフィルタ係数を示すインデックスである。本例では、Ｎ個のフィルタ係数の組からなるＭ個のフィルタセットを符号化データが含む例を示す。FIG. 23 shows a structure of encoded data when the filter coefficient of the adaptive spatial filter is encoded by the slice header. fcoeff [i] [j] is an individual filter coefficient (filter coefficient and offset). j is an index indicating each filter coefficient set, and i is an index indicating a filter coefficient in the filter coefficient set. In this example, the encoded data includes an M filter set composed of a set of N filter coefficients.

　〔階層動画像符号化装置〕
　次に、本実施形態に係る階層動画像符号化装置２の構成について、図２７～２９を参照して説明する。[Hierarchical video encoding device]
Next, the configuration of the hierarchicalvideo encoding apparatus 2 according to the present embodiment will be described with reference to FIGS.

　（階層動画像符号化装置の構成）
　図２７を用いて、階層動画像符号化装置２の概略的構成について説明すると次のとおりである。図２７は、階層動画像符号化装置２の概略的構成について示した機能ブロック図である。階層動画像符号化装置２は、対象レイヤの入力画像ＰＩＮ＃Ｔを、参照レイヤ符号化データＤＡＴＡ＃Ｒを参照しながら符号化して、対象レイヤの階層符号化データＤＡＴＡを生成する。なお、参照レイヤ符号化データＤＡＴＡ＃Ｒは、参照レイヤに対応する階層動画像符号化装置において符号化済みであるとする。(Configuration of Hierarchical Video Encoding Device)
A schematic configuration of the hierarchicalvideo encoding device 2 will be described with reference to FIG. FIG. 27 is a functional block diagram showing a schematic configuration of the hierarchicalvideo encoding device 2. The hierarchicalvideo encoding device 2 encodes the input image PIN # T of the target layer with reference to the reference layer encoded data DATA # R to generate hierarchical encoded data DATA of the target layer. It is assumed that the reference layer encoded data DATA # R has been encoded in the hierarchical video encoding apparatus corresponding to the reference layer.

　図２７に示すように階層動画像符号化装置２は、予測パラメータ決定部２１、予測情報生成部２２、ベース復号部２３、テクスチャ情報生成部２４、可変長符号化部２５、ＮＡＬ多重化部２６、およびフィルタパラメータ情報生成部２７を備える。As shown in FIG. 27, the hierarchicalvideo encoding device 2 includes a predictionparameter determination unit 21, a predictioninformation generation unit 22, abase decoding unit 23, a textureinformation generation unit 24, a variablelength encoding unit 25, and aNAL multiplexing unit 26. And a filter parameterinformation generation unit 27.

　予測パラメータ決定部２１は、入力画像ＰＩＮ＃Ｔに基づいて、予測画像の予測に用いられる予測パラメータおよびその他の符号化の設定を決定する。The predictionparameter determination unit 21 determines a prediction parameter used for prediction of a prediction image and other encoding settings based on the input image PIN # T.

　予測パラメータ決定部２１は、予測パラメータをはじめとする符号化の設定を、以下のとおり行う。The predictionparameter determination unit 21 performs encoding settings including prediction parameters as follows.

　まず、予測パラメータ決定部２１は、入力画像ＰＩＮ＃Ｔを、スライス単位、ツリーブロック単位、ＣＵ単位に順次分割することにより、対象ＣＵについてのＣＵ画像を生成する。First, the predictionparameter determination unit 21 generates a CU image for the target CU by sequentially dividing the input image PIN # T into slice units, tree block units, and CU units.

　また、予測パラメータ決定部２１は、分割処理の結果に基づいて、符号化情報（ヘッダ情報とも称されることがある）を生成する。符号化情報は、（１）対象スライスに属するツリーブロックのサイズ、形状および対象スライス内での位置についての情報であるツリーブロック情報と、（２）各ツリーブロックに属するＣＵのサイズ、形状および対象ツリーブロック内での位置についての情報であるＣＵ情報とを含んでいる。Also, the predictionparameter determination unit 21 generates encoded information (sometimes referred to as header information) based on the result of the division process. The encoding information includes (1) tree block information that is information about the size and shape of the tree block belonging to the target slice and the position in the target slice, and (2) the size, shape, and target of the CU belonging to each tree block. CU information which is information about the position in the tree block.

　さらに、予測パラメータ決定部２１は、ＣＵ画像、ツリーブロック情報、およびＣＵ情報を参照して、対象ＣＵの予測タイプ、対象ＣＵのＰＵへの分割情報、および、予測パラメータ（対象ＣＵが、イントラＣＵであればイントラ予測モード、インターＣＵである場合には各ＰＵにおける動き補償パラメータ）を導出する。Further, the predictionparameter determination unit 21 refers to the CU image, the tree block information, and the CU information, and predicts the prediction type of the target CU, the division information of the target CU into the PU, and the prediction parameter (the target CU is an intra CU). If so, the intra prediction mode, and in the case of an inter CU, a motion compensation parameter in each PU is derived.

　予測パラメータ決定部２１は、（１）対象ＣＵの予測タイプ、（２）対象ＣＵの各ＰＵへの可能な分割パターン、および、（３）各ＰＵに割り付ける可能な予測モード（イントラＣＵであればイントラ予測モード、インターＣＵであれば動き補償パラメータ）、の全ての組み合わせについて、コストを算出し、最低コストの予測タイプ、分割パターン、および、予測モードを決定する。The predictionparameter determination unit 21 includes (1) a prediction type of the target CU, (2) a possible division pattern for each PU of the target CU, and (3) a prediction mode that can be assigned to each PU (if it is an intra CU). The cost is calculated for all combinations of the intra prediction mode and the motion compensation parameter in the case of inter CU), and the prediction type, division pattern, and prediction mode with the lowest cost are determined.

　予測パラメータ決定部２１は、符号化情報および予測パラメータを予測情報生成部２２およびテクスチャ情報生成部２４に供給する。なお、説明の簡便のため図示しないが、予測パラメータ決定部２１において決定された上記の符号化の設定は、階層動画像符号化装置２の各部において参照可能とする。The predictionparameter determination unit 21 supplies the encoded information and the prediction parameter to the predictioninformation generation unit 22 and the textureinformation generation unit 24. Although not shown for simplicity of explanation, the above-described encoding setting determined by the predictionparameter determination unit 21 can be referred to by each unit of the hierarchicalvideo encoding device 2.

　予測情報生成部２２は、予測パラメータ決定部２１から供給される予測パラメータと、参照レイヤ符号化データＤＡＴＡ＃Ｒとに基づいて予測パラメータに関するシンタックス値を含む予測情報を生成する。予測情報生成部２２は、生成した予測情報を可変長符号化部２５に供給する。なお、予測情報生成部２２は、予測パラメータを復元する際に、テクスチャ情報生成部２４が備えるフレームメモリ１５５に格納された動き情報を参照することができる。The predictioninformation generation unit 22 generates prediction information including a syntax value related to the prediction parameter based on the prediction parameter supplied from the predictionparameter determination unit 21 and the reference layer encoded data DATA # R. The predictioninformation generation unit 22 supplies the generated prediction information to the variablelength encoding unit 25. Note that the predictioninformation generation unit 22 can refer to the motion information stored in theframe memory 155 included in the textureinformation generation unit 24 when restoring the prediction parameters.

　ベース復号部２３は、階層動画像復号装置１のベース復号部１３と同様であるので、ここではその説明を省略する。Since thebase decoding unit 23 is the same as thebase decoding unit 13 of the hierarchicalvideo decoding device 1, the description thereof is omitted here.

　テクスチャ情報生成部２４は、入力画像ＰＩＮ＃Ｔから予測画像を減算して得られる予測残差を、直交変換・量子化した変換係数を含む変換係数情報を生成する。テクスチャ情報生成部２４は、生成した変換係数情報を可変長符号化部２５に供給する。なお、テクスチャ情報生成部２４では、復元された復号画像に関する情報が、内部に備えるフレームメモリ１５５に格納される。The textureinformation generation unit 24 generates transform coefficient information including transform coefficients obtained by orthogonal transform / quantization of the prediction residual obtained by subtracting the predicted image from the input image PIN # T. The textureinformation generation unit 24 supplies the generated transform coefficient information to the variablelength encoding unit 25. Note that the textureinformation generation unit 24 stores information on the restored decoded image in theframe memory 155 provided therein.

　また、テクスチャ情報生成部２４は、フィルタパラメータを設定し、フィルタパラメータ情報生成部２７に供給する。Also, the textureinformation generation unit 24 sets a filter parameter and supplies it to the filter parameterinformation generation unit 27.

　フィルタパラメータ情報生成部２７は、テクスチャ情報生成部２４から供給されたフィルタパラメータに関するシンタクス値を含むフィルタパラメータ情報を生成する。フィルタパラメータ情報生成部２７は、生成したフィルタパラメータ情報を可変長符号化部２５に供給する。The filter parameterinformation generation unit 27 generates filter parameter information including a syntax value related to the filter parameter supplied from the textureinformation generation unit 24. The filter parameterinformation generation unit 27 supplies the generated filter parameter information to the variablelength encoding unit 25.

　可変長符号化部２５は、予測情報生成部２２から供給される予測情報、テクスチャ情報生成部２４から供給される変換係数情報、およびフィルタパラメータ情報生成部２７から供給されるフィルタパラメータ情報を可変長符号化して対象レイヤ符号化データＤＡＴＡ＃Ｔを生成する。可変長符号化部２５は、生成した対象レイヤ符号化データＤＡＴＡ＃ＴをＮＡＬ多重化部２６に供給する。The variablelength coding unit 25 variable lengths the prediction information supplied from the predictioninformation generation unit 22, the transform coefficient information supplied from the textureinformation generation unit 24, and the filter parameter information supplied from the filter parameterinformation generation unit 27. The target layer encoded data DATA # T is generated by encoding. The variablelength encoding unit 25 supplies the generated target layer encoded data DATA # T to theNAL multiplexing unit 26.

　ＮＡＬ多重化部２６は、可変長符号化部２５から供給される対象レイヤ符号化データＤＡＴＡ＃Ｔと、参照レイヤ符号化データＤＡＴＡ＃ＲとをＮＡＬユニットに格納することでＮＡＬ多重化した階層動画像符号化データＤＡＴＡを生成し、外部に出力する。TheNAL multiplexing unit 26 stores the target layer encoded data DATA # T and the reference layer encoded data DATA # R supplied from the variablelength encoding unit 25 in the NAL unit, and thereby performs hierarchical video that has been NAL multiplexed. Image encoded data DATA is generated and output to the outside.

　以下において、予測情報生成部２２、およびテクスチャ情報生成部２４それぞれの詳細について説明する。Hereinafter, details of each of the predictioninformation generation unit 22 and the textureinformation generation unit 24 will be described.

　（予測情報生成部）
　図２８を用いて、予測情報生成部２２の詳細構成について説明する。図２８は、予測情報生成部２２の構成について例示した機能ブロック図である。(Prediction information generator)
The detailed configuration of the predictioninformation generation unit 22 will be described with reference to FIG. FIG. 28 is a functional block diagram illustrating the configuration of the predictioninformation generation unit 22.

　図２８に示すように、予測情報生成部２２は、予測タイプ選択部２２１、スイッチ２２２、イントラ予測モード導出部２２３、動きベクトル候補導出部２２４、動き情報生成部２２５、マージ候補導出部２２６、およびマージ情報生成部２２７を備える。As shown in FIG. 28, the predictioninformation generation unit 22 includes a predictiontype selection unit 221, aswitch 222, an intra prediction mode derivation unit 223, a motion vectorcandidate derivation unit 224, a motioninformation generation unit 225, a mergecandidate derivation unit 226, and A mergeinformation generation unit 227 is provided.

　予測タイプ選択部２２１は、ＣＵタイプまたはＰＵタイプに応じてスイッチ２２２に切り替え指示を送り予測パラメータの導出処理を制御する。具体的には以下のとおりである。The predictiontype selection unit 221 sends a switching instruction to theswitch 222 according to the CU type or PU type, and controls the prediction parameter derivation process. Specifically, it is as follows.

　イントラＣＵまたはイントラＰＵが指定されている場合、予測タイプ選択部２２１はイントラ予測モード導出部２２３を用いて予測情報を導出できるようスイッチ２２２を制御する。When the intra CU or the intra PU is designated, the predictiontype selection unit 221 controls theswitch 222 so that the prediction information can be derived using the intra prediction mode deriving unit 223.

　インターＣＵ（マージなし）およびインターＰＵ（マージなし）のいずれかが指定されている場合、予測タイプ選択部２２１は動き情報生成部２２５を用いて予測パラメータを導出できるようスイッチ２２２を制御する。When either inter CU (no merging) or inter PU (no merging) is specified, the predictiontype selection unit 221 uses the motioninformation generation unit 225 to control theswitch 222 so that a prediction parameter can be derived.

　ベーススキップＣＵ、ベースマージＣＵ、スキップＣＵ、およびマージＰＵのいずれかが指定されている場合、予測タイプ選択部２２１はマージ情報生成部２２７を用いて予測パラメータを導出できるようスイッチ２２２を制御する。When any of the base skip CU, the base merge CU, the skip CU, and the merge PU is designated, the predictiontype selection unit 221 controls theswitch 222 so that a prediction parameter can be derived using the mergeinformation generation unit 227.

　スイッチ２２２は、予測タイプ選択部２２１の指示に応じて、予測パラメータを、イントラ予測モード導出部２２３、動き情報生成部２２５、およびマージ情報生成部２２７のいずれかに供給する。予測情報の供給先において予測パラメータが導出される。Theswitch 222 supplies the prediction parameter to any of the intra prediction mode deriving unit 223, the motioninformation generating unit 225, and the mergeinformation generating unit 227 in accordance with an instruction from the predictiontype selecting unit 221. A prediction parameter is derived at a supply destination of the prediction information.

　イントラ予測モード導出部２２３は、予測モードに関するシンタックス値を導出する。すなわち、イントラ予測モード導出部２２３が予測情報として生成するのは、予測モードに関するシンタックス値である。The intra prediction mode deriving unit 223 derives a syntax value related to the prediction mode. That is, the intra prediction mode deriving unit 223 generates the syntax information related to the prediction mode as the prediction information.

　動きベクトル候補導出部２２４は、ベース復号情報を用いて、レイヤ内動き推定処理、またはレイヤ間動き推定処理により推定動きベクトルの候補を導出する。動きベクトル候補導出部２２４は、導出した動きベクトルの候補を動き情報生成部２２５に供給する。The motion vectorcandidate derivation unit 224 uses the base decoding information to derive an estimated motion vector candidate by intra-layer motion estimation processing or inter-layer motion estimation processing. The motion vectorcandidate derivation unit 224 supplies the derived motion vector candidates to the motioninformation generation unit 225.

　動き情報生成部２２５は、マージを行わない各インター予測パーティションにおける動き情報に関するシンタックス値を生成する。すなわち、動き情報生成部２２５が予測情報として生成するのは動き情報に関するシンタックス値である。具体的には、動き情報生成部２２５は、各ＰＵにおける動き補償パラメータから、対応するシンタックス要素値であるinter_pred_flag、mvd、mvp_idx、および、refIdxを導出する。The motioninformation generation unit 225 generates a syntax value related to motion information in each inter prediction partition that is not merged. That is, the motioninformation generation unit 225 generates a syntax value related to motion information as prediction information. Specifically, the motioninformation generation unit 225 derives corresponding syntax element values inter_pred_flag, mvd, mvp_idx, and refIdx from the motion compensation parameter in each PU.

　具体的には、動き情報生成部２２５は、対象ＰＵがベースマージＰＵである場合、動きベクトル候補導出部２２４から供給される動きベクトルの候補に基づいて、上記シンタックス値を導出する。Specifically, when the target PU is a base merge PU, the motioninformation generation unit 225 derives the syntax value based on the motion vector candidates supplied from the motion vectorcandidate derivation unit 224.

　一方、動き情報生成部２２５は、対象ＣＵ（ＰＵ）がマージを行わないインターＣＵ（インターＰＵ）である場合、予測パラメータに含まれる動き情報に基づいて、上記シンタックス値を導出する。On the other hand, when the target CU (PU) is an inter CU (inter PU) that does not perform merging, the motioninformation generation unit 225 derives the syntax value based on the motion information included in the prediction parameter.

　マージ候補導出部２２６は、フレームメモリ１５５から供給される復号済みの動き情報および／またはベース復号部２３から供給されるベース復号情報等を用いて、各ＰＵにおける動き補償パラメータと類似の動き補償パラメータを有するマージ候補を導出する。マージ候補導出部２２６は、導出したマージ候補をマージ情報生成部２２７に供給する。マージ候補導出部２２６の構成は、階層動画像復号装置１に含まれるマージ候補導出部１４６の構成と同様であるので、その説明を省略する。The mergecandidate derivation unit 226 uses the motion information already decoded supplied from theframe memory 155 and / or the base decoding information supplied from thebase decoding unit 23, and the like, a motion compensation parameter similar to the motion compensation parameter in each PU. A merge candidate having The mergecandidate derivation unit 226 supplies the derived merge candidates to the mergeinformation generation unit 227. The configuration of the mergecandidate derivation unit 226 is the same as the configuration of the mergecandidate derivation unit 146 included in the hierarchicalvideo decoding device 1, and thus the description thereof is omitted.

　マージ情報生成部２２７は、マージを行う各インター予測パーティションに関する動き情報に関するシンタックス値を生成する。すなわち、マージ情報生成部２２７が予測情報として生成するのは動き情報に関するシンタックス値である。具体的には、マージ情報生成部２２７は、各ＰＵにおける動き補償パラメータと類似の動き補償パラメータを有するマージ候補を指定するシンタックス要素値merge_idxを出力する。The mergeinformation generation unit 227 generates a syntax value related to motion information regarding each inter prediction partition to be merged. That is, the mergeinformation generation unit 227 generates a syntax value related to motion information as prediction information. Specifically, the mergeinformation generation unit 227 outputs a syntax element value merge_idx that specifies a merge candidate having a motion compensation parameter similar to the motion compensation parameter in each PU.

　（テクスチャ情報生成部）
　図２９を用いて、テクスチャ情報生成部３４の詳細構成について説明する。図２９は、テクスチャ情報生成部２４の構成について例示した機能ブロック図である。(Texture information generator)
The detailed configuration of the textureinformation generation unit 34 will be described with reference to FIG. FIG. 29 is a functional block diagram illustrating the configuration of the textureinformation generation unit 24.

　図２９に示すように、テクスチャ情報生成部２４は、テクスチャ予測部１５２、減算器２４２、直交変換・量子化部２４３、逆直交変換・逆量子化部２４４、加算器２４５、ループフィルタ部２４６、フレームメモリ１５５、およびフィルタパラメータ導出部２４８を備える。As shown in FIG. 29, the textureinformation generation unit 24 includes atexture prediction unit 152, asubtractor 242, an orthogonal transformation /quantization unit 243, an inverse orthogonal transformation /inverse quantization unit 244, anadder 245, aloop filter unit 246, Aframe memory 155 and a filterparameter deriving unit 248 are provided.

　減算器２４２は、入力画像ＰＩＮ＃Ｔからテクスチャ予測部１５２から供給される予測画像を減算することによって、予測残差Ｄを生成する。減算器２４２は、生成した予測残差Ｄを、直交変換・量子化部２４３に供給する。Thesubtractor 242 generates a prediction residual D by subtracting the prediction image supplied from thetexture prediction unit 152 from the input image PIN # T. Thesubtractor 242 supplies the generated prediction residual D to the orthogonal transform /quantization unit 243.

　直交変換・量子化部２４３は、予測残差Ｄに対して、直交変換および量子化を行うことで量子化予測残差を生成する。なお、ここで直交変換とは、画素領域から周波数領域への直交変換のことをさす。また、直交変換の例としては、ＤＣＴ変換（Discrete Cosine Transform）、およびＤＳＴ変換（Discrete Sine Transform）等が挙げられる。また、具体的な量子化過程については、すでに説明した通りであるので、ここではその説明を省略する。直交変換・量子化部２４３は、生成した量子化予測残差を含む変換係数情報を逆直交変換・逆量子化部２４４および可変長符号化部２５に供給する。The orthogonal transform /quantization unit 243 generates a quantized prediction residual by performing orthogonal transform and quantization on the prediction residual D. Here, the orthogonal transform refers to an orthogonal transform from the pixel region to the frequency region. Examples of orthogonal transformation include DCT transformation (DiscretecreCosine Transform), DST transformation (Discrete Sine Transform), and the like. In addition, the specific quantization process is as described above, and the description thereof is omitted here. The orthogonal transform /quantization unit 243 supplies the generated transform coefficient information including the quantized prediction residual to the inverse orthogonal transform /inverse quantization unit 244 and the variablelength coding unit 25.

　フィルタパラメータ導出部２４８は、入力画像ＰＩＮ＃Ｔおよびテクスチャ予測部１５２から供給されたインターレイヤ導出部のインターレイヤフィルタ部１５２２に入力される参照レイヤ画像からフィルタパラメータを導出し、ループフィルタ部２４６、およびフィルタパラメータ情報生成部２７に供給する。より具体的には、入力画像ＰＩＮ＃Ｔと参照レイヤ画像のフィルタ画像の差を最小化するようなフィルタパラメータを導出する。例えば、適応オフセットフィルタのオフセットタイプSaoTypeIdx、オフセットSaoOffsetValを入力し、sao_band_positionを導出する。適応空間フィルタの場合には、フィルタ係数のセットを導出する。導出方法は、従来の適応ループフィルタＡＬＦと同じ方法を用いることができる。また、適応空間フィルタが、予め定められた複数のセットのフィルタ係数セットから適当なフィルタ係数セットを選択することで行われる場合、複数のフィルタ係数セットでフィルタ処理を行って得られるフィルタ済み画像のうち、入力画像ＰＩＮ＃Ｔとの誤差が最小のフィルタ係数セットを選択する。The filterparameter deriving unit 248 derives a filter parameter from the input layer PIN # T and the reference layer image input to the interlayer filter unit 1522 of the inter layer deriving unit supplied from thetexture prediction unit 152, and theloop filter unit 246, And supplied to the filter parameterinformation generation unit 27. More specifically, a filter parameter that minimizes the difference between the filter image of the input image PIN # T and the reference layer image is derived. For example, the offset type SaoTypeIdx and the offset SaoOffsetVal of the adaptive offset filter are input, and sao_band_position is derived. In the case of an adaptive spatial filter, a set of filter coefficients is derived. As a derivation method, the same method as the conventional adaptive loop filter ALF can be used. In addition, when the adaptive spatial filter is performed by selecting an appropriate filter coefficient set from a plurality of predetermined filter coefficient sets, a filtered image obtained by performing filter processing with the plurality of filter coefficient sets is used. Among them, a filter coefficient set with the smallest error from the input image PIN # T is selected.

　テクスチャ予測部１５２、逆直交変換・逆量子化部２４４、加算器２４５、ループフィルタ部２４６、およびフレームメモリ１５５は、それぞれ、階層動画像復号装置１に含まれるテクスチャ予測部１５２、逆直交変換・逆量子化部１５１、加算器１５３、ループフィルタ部１５４、およびフレームメモリ１５５と同様であるので、ここではその説明は省略する。ただし、テクスチャ予測部１５２は、加算器２４５だけでなく減算器２４２にも予測画像を供給する。Thetexture prediction unit 152, the inverse orthogonal transform /inverse quantization unit 244, theadder 245, theloop filter unit 246, and theframe memory 155 are respectively thetexture prediction unit 152, inverse orthogonal transform / Since it is similar to theinverse quantization unit 151, theadder 153, theloop filter unit 154, and theframe memory 155, the description thereof is omitted here. However, thetexture prediction unit 152 supplies the predicted image not only to theadder 245 but also to thesubtractor 242.

　テクスチャ予測部１５２は、既に階層動画像復号装置１に置いて説明したように、参照レイヤ画像を用いる場合、もしくは、予測パラメータが所定の条件を満たす場合にインターレイヤフィルタの処理が適用され（インターレイヤフィルタオン）、それ以外の場合には、インターレイヤフィルタの処理が適用されない（インターレイヤフィルタオフ）という動作が実現できる。As described above with reference to the hierarchicalvideo decoding device 1, thetexture prediction unit 152 applies an inter-layer filter process when a reference layer image is used, or when a prediction parameter satisfies a predetermined condition (interlayer filter processing). In other cases, an operation that the processing of the inter-layer filter is not applied (inter-layer filter off) can be realized.

　以上の構成により、予測パラメータが所定の条件を満たさない場合には、インターレイヤフィルタが適用されないため、インターレイヤフィルタに伴う処理負荷を低減することができる。インターレイヤフィルタ処理は、フィルタパラメータにより適応オフセットフィルタの動作、および、適応空間フィルタにおけるフィルタ係数（重み係数）が可変であるため、通常の動き補償フィルタよりも重い処理になる。この処理を軽減できる効果を奏する。また、以上の構成では、フィルタオンオフフラグとして明示的にフラグを符号化せずに、既に存在する条件にあわせてインターレイヤフィルタの動作を切り替えることができる。この構成により、フィルタオンオフフラグの符号量が低減しフィルタ効果の高い領域のみをフィルタ処理できるため、符号化効率が向上する。With the above configuration, when the prediction parameter does not satisfy a predetermined condition, the interlayer filter is not applied, so that the processing load associated with the interlayer filter can be reduced. The inter-layer filter process is heavier than a normal motion compensation filter because the operation of the adaptive offset filter and the filter coefficient (weight coefficient) in the adaptive spatial filter are variable depending on the filter parameter. There is an effect that this processing can be reduced. In the above configuration, the operation of the interlayer filter can be switched in accordance with the existing conditions without explicitly encoding the flag as a filter on / off flag. With this configuration, since the code amount of the filter on / off flag is reduced and only a region having a high filter effect can be filtered, the encoding efficiency is improved.

　＜可変長符号化部２５の詳細＞
　以下、可変長符号化部２５におけるフィルタパラメータの復号の詳細を説明する。<Details of VariableLength Encoding Unit 25>
Details of the filter parameter decoding in the variablelength coding unit 25 will be described below.

　図２４～図２６は、復号装置における図１８～図２０に対応する図面である。なお、Ｓ３０１～Ｓ３１１は各々、Ｓ４０１～Ｓ４１１に対応する。　図２４は、可変長符号化部２５において、フィルタパラメータを含む符号化データを復号する動作を示す図である。可変長符号化部２５は各ＣＴＢにおいて以下の処理を行う。まず、このフィルタユニットにおいてフィルタパラメータを復号していないことを示すために、フィルタ符号化フラグfilter_coded_flagを０に設定する。（Ｓ４０１）。続いて、ＣＵのループを開始する（Ｓ４０２）。ＣＵのループはＣＴＢに含まれる全てのＣＵを順に処理することで行われる。続いてＰＵのループを開始する（Ｓ４０３）。ＰＵのループは該ＣＵに含まれる全てのＰＵを順に処理することで行われる。ループ内では、フィルタパラメータを除く、予測情報ＰＩｎｆｏの内該ＰＵに対応する情報を復号する（Ｓ４０４）。例えば、マージインデックス、マージフラグ、インター予測フラグ、参照リファレンスインデックス、推定動きベクトルインデックス、動きベクトル残差と、が符号化される。続いて、本ＰＵにおいて、参照レイヤ画像が予測画像の生成に用いられるか否かを判定する（Ｓ４０６）、具体的には、参照リファレンスインデックスの示す参照画像が、参照レイヤであるか否かを判定する。参照レイヤである場合には、予測画像に参照レイヤ画像が使用される。参照レイヤ画像が予測画像の生成に用いられる場合（Ｓ４０６でＹＥＳ）、該フィルタユニットのフィルタパラメータを符号化に遷移する（Ｓ４０６に遷移）。参照レイヤ画像が予測画像の生成に用いられない場合（Ｓ４０６でＮＯ）、該フィルタユニットのフィルタパラメータの符号化は省略される（Ｓ４１０に遷移）。参照レイヤ画像が予測画像の生成に用いられる場合、インターレイヤフィルタを適用するか否かの判定を行う（Ｓ４０６）。この判定の詳細は、既に説明した通り、動き補償パラメータが所定の条件を満たす場合にfilter_enable_flagを１とする。さらに、該ＰＵにインターレイヤフィルタを適用し（filter_enable_flagが１）、かつ、該フィルタユニットにおいてフィルタパラメータが符号化されていない（filter_coded_flag=0）か否かを判定する（Ｓ４０７）、該ＰＵにインターレイヤフィルタを適用し、かつ、該フィルタユニットにおいてフィルタパラメータが符号化されていない場合（Ｓ４０７でＹＥＳ）、該フィルタユニットのフィルタパラメータを符号化する（Ｓ４０８）。逆に、該ＰＵにインターレイヤフィルタを適用しないか、該フィルタユニットにおいて既にフィルタパラメータが符号化されている場合（Ｓ４０７でＮＯ）、該フィルタユニットのフィルタパラメータの符号化は省略される。Ｓ４１０はＰＵ単位のループの終端、Ｓ４１１はＣＵ単位のループの終端である。FIGS. 24 to 26 are drawings corresponding to FIGS. 18 to 20 in the decoding apparatus. S301 to S311 correspond to S401 to S411, respectively. FIG. 24 is a diagram illustrating an operation for decoding encoded data including a filter parameter in the variablelength encoding unit 25. The variablelength coding unit 25 performs the following processing in each CTB. First, in order to indicate that the filter parameter is not decoded in this filter unit, the filter encoding flag filter_coded_flag is set to 0. (S401). Subsequently, a CU loop is started (S402). The CU loop is performed by sequentially processing all the CUs included in the CTB. Subsequently, a PU loop is started (S403). The PU loop is performed by sequentially processing all PUs included in the CU. In the loop, information corresponding to the PU is decoded from the prediction information PInfo excluding the filter parameter (S404). For example, a merge index, a merge flag, an inter prediction flag, a reference reference index, an estimated motion vector index, and a motion vector residual are encoded. Subsequently, in this PU, it is determined whether or not the reference layer image is used to generate a predicted image (S406). Specifically, it is determined whether or not the reference image indicated by the reference reference index is a reference layer. judge. In the case of the reference layer, the reference layer image is used as the predicted image. When the reference layer image is used to generate a predicted image (YES in S406), the filter parameter of the filter unit is shifted to encoding (transition to S406). When the reference layer image is not used for generating the predicted image (NO in S406), the encoding of the filter parameter of the filter unit is omitted (transition to S410). When the reference layer image is used for generating a predicted image, it is determined whether or not to apply an inter-layer filter (S406). The details of this determination are as follows: filter_enable_flag is set to 1 when the motion compensation parameter satisfies a predetermined condition as described above. Further, an inter-layer filter is applied to the PU (filter_enable_flag is 1), and it is determined whether the filter parameter is not encoded in the filter unit (filter_coded_flag = 0) (S407). When the layer filter is applied and the filter parameter is not encoded in the filter unit (YES in S407), the filter parameter of the filter unit is encoded (S408). On the other hand, if no inter-layer filter is applied to the PU or if the filter parameter has already been encoded in the filter unit (NO in S407), the encoding of the filter parameter of the filter unit is omitted. S410 is the end of the loop in PU units, and S411 is the end of the loop in CU units.

　以上の構成の可変長符号化部２５によれば、フィルタユニットに含まれる予測単位において、最初にインターレイヤフィルタが適用される予測単位において、該フィルタユニットのフィルタパラメータを符号化する。フィルタユニットに含まれる全ての予測単位において、インターレイヤフィルタがオフとなる場合には、該フィルタユニットのフィルタパラメータを符号化しないため、フィルタパラメータの符号量を低減する効果が得られる。According to the variablelength encoding unit 25 having the above configuration, in the prediction unit included in the filter unit, the filter parameter of the filter unit is encoded in the prediction unit to which the interlayer filter is first applied. When the inter-layer filter is turned off in all prediction units included in the filter unit, the filter parameter of the filter unit is not encoded, so that the effect of reducing the code amount of the filter parameter can be obtained.

　図２５は、可変長符号化部２５において、フィルタパラメータを含む符号化データを符号化する動作の別の例を示す図である。図２４と同じ番号のステップは、同じ動作を行うため説明を省略する。Ｓ４０４からＳ４０５までの動作は同じである。Ｓ４０５でＹＥＳ、すなわち、参照レイヤ画像が予測画像の生成に用いられる場合には、さらに該フィルタユニットのフィルタパラメータが符号化済みであるか否かを判定する（Ｓ４０７’）。該フィルタユニットのフィルタパラメータが符号化済みである場合には、（Ｓ４０７’でＹＥＳ）、該フィルタユニットのフィルタパラメータを符号化する（Ｓ４０８）。逆に、該フィルタユニットにおいて既にフィルタパラメータが符号化されている場合（Ｓ４０７’でＮＯ）、該フィルタユニットのフィルタパラメータの符号化は省略される。FIG. 25 is a diagram illustrating another example of the operation of encoding the encoded data including the filter parameter in the variablelength encoding unit 25. Steps having the same numbers as those in FIG. 24 perform the same operations, and thus description thereof is omitted. The operations from S404 to S405 are the same. If YES in S405, that is, if the reference layer image is used to generate a predicted image, it is further determined whether or not the filter parameters of the filter unit have been encoded (S407 '). If the filter parameter of the filter unit has been encoded (YES in S407 '), the filter parameter of the filter unit is encoded (S408). Conversely, if the filter parameter has already been encoded in the filter unit (NO in S407 '), the encoding of the filter parameter of the filter unit is omitted.

　また、図２６は、可変長符号化部２５において、フィルタパラメータを含む符号化データを符号化する動作のさらに別の例を示す図である。本例では、ＰＵ単位のループの終了（Ｓ４１０）とＣＵ単位のループの終了（Ｓ４１１）の間に、Ｓ４０５、Ｓ４０７’、Ｓ４０８Ａ、Ｓ４０９の処理を行う。本例によれば、ＰＵ単位ではなく、ＣＵ単位で該フィルタユニットのフィルタパラメータの符号化が行われる。FIG. 26 is a diagram showing still another example of the operation of encoding the encoded data including the filter parameter in the variablelength encoding unit 25. In this example, the processing of S405, S407 ', S408A, and S409 is performed between the end of the PU unit loop (S410) and the end of the CU unit loop (S411). According to this example, the filter parameters of the filter unit are encoded not in units of PUs but in units of CUs.

　以上の構成の可変長符号化部２５では、フィルタユニットに含まれる予測単位において、最初に参照レイヤが予測画像の生成に適用される予測単位において、該フィルタユニットのフィルタパラメータを符号化する。参照レイヤが予測画像の生成に用いられない場合には、該フィルタユニットのフィルタパラメータを符号化しないため、フィルタパラメータの符号量を低減する効果が得られる。なお、本構成では、該ＰＵの動き補償パラメータ（参照レイヤを特定する参照リファレンスインデックス以外のパラメータ）に応じて、インターレイヤフィルタの適用の有無を切り替える必要はない。In the variablelength encoding unit 25 having the above configuration, in the prediction unit included in the filter unit, the filter parameter of the filter unit is first encoded in the prediction unit in which the reference layer is applied to the generation of the prediction image. When the reference layer is not used for generating a predicted image, the filter parameter of the filter unit is not encoded, so that an effect of reducing the code amount of the filter parameter can be obtained. In this configuration, it is not necessary to switch whether or not to apply the inter-layer filter according to the motion compensation parameter of the PU (parameter other than the reference reference index that identifies the reference layer).

　　（応用例）
　図３０および図３１を用いて、上述した階層動画像符号化装置２、および階層動画像復号装置１の応用例について説明する。上述した階層動画像符号化装置２および階層動画像復号装置１は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像（ＣＧおよびＧＵＩを含む）であってもよい。
(Application examples)
Application examples of the above-described hierarchicalvideo encoding device 2 and hierarchicalvideo decoding device 1 will be described with reference to FIGS. 30 and 31. The above-described hierarchicalvideo encoding device 2 and hierarchicalvideo decoding device 1 can be used by being mounted on various devices that perform transmission, reception, recording, and reproduction of moving images. The moving image may be a natural moving image captured by a camera or the like, or may be an artificial moving image (including CG and GUI) generated by a computer or the like.

　まず、上述した階層動画像符号化装置２及び階層動画像復号装置１を、動画像の送信及び受信に利用できることを、図３０を参照して説明する。First, it will be described with reference to FIG. 30 that the above-described hierarchicalvideo encoding device 2 and hierarchicalvideo decoding device 1 can be used for transmission and reception of video.

　図３０の（ａ）は、階層動画像符号化装置２を搭載した送信装置ＰＲＯＤ＿Ａの構成を示したブロック図である。図３０の（ａ）に示すように、送信装置ＰＲＯＤ＿Ａは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ａ１と、符号化部ＰＲＯＤ＿Ａ１が得た符号化データで搬送波を変調することによって変調信号を得る変調部ＰＲＯＤ＿Ａ２と、変調部ＰＲＯＤ＿Ａ２が得た変調信号を送信する送信部ＰＲＯＤ＿Ａ３と、を備えている。上述した階層動画像符号化装置２は、この符号化部ＰＲＯＤ＿Ａ１として利用される。(A) of FIG. 30 is a block diagram illustrating a configuration of a transmission device PROD_A in which the hierarchicalvideo encoding device 2 is mounted. As illustrated in (a) of FIG. 30, the transmission device PROD_A modulates a carrier wave with an encoding unit PROD_A1 that obtains encoded data by encoding a moving image, and the encoded data obtained by the encoding unit PROD_A1. Thus, a modulation unit PROD_A2 that obtains a modulation signal and a transmission unit PROD_A3 that transmits the modulation signal obtained by the modulation unit PROD_A2 are provided. The hierarchical movingimage encoding apparatus 2 described above is used as the encoding unit PROD_A1.

　送信装置ＰＲＯＤ＿Ａは、符号化部ＰＲＯＤ＿Ａ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ａ４、動画像を記録した記録媒体ＰＲＯＤ＿Ａ５、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ａ６、及び、画像を生成または加工する画像処理部Ａ７を更に備えていてもよい。図３０の（ａ）においては、これら全てを送信装置ＰＲＯＤ＿Ａが備えた構成を例示しているが、一部を省略しても構わない。The transmission device PROD_A is a camera PROD_A4 that captures a moving image, a recording medium PROD_A5 that records the moving image, an input terminal PROD_A6 that inputs the moving image from the outside, as a supply source of the moving image input to the encoding unit PROD_A1. An image processing unit A7 that generates or processes an image may be further provided. FIG. 30A illustrates a configuration in which the transmission apparatus PROD_A includes all of these, but a part of the configuration may be omitted.

　なお、記録媒体ＰＲＯＤ＿Ａ５は、符号化されていない動画像を記録したものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体ＰＲＯＤ＿Ａ５と符号化部ＰＲＯＤ＿Ａ１との間に、記録媒体ＰＲＯＤ＿Ａ５から読み出した符号化データを記録用の符号化方式に従って復号する復号部（不図示）を介在させるとよい。The recording medium PROD_A5 may be a recording of a non-encoded moving image, or a recording of a moving image encoded by a recording encoding scheme different from the transmission encoding scheme. It may be a thing. In the latter case, a decoding unit (not shown) for decoding the encoded data read from the recording medium PROD_A5 according to the recording encoding method may be interposed between the recording medium PROD_A5 and the encoding unit PROD_A1.

　図３０の（ｂ）は、階層動画像復号装置１を搭載した受信装置ＰＲＯＤ＿Ｂの構成を示したブロック図である。図３０の（ｂ）に示すように、受信装置ＰＲＯＤ＿Ｂは、変調信号を受信する受信部ＰＲＯＤ＿Ｂ１と、受信部ＰＲＯＤ＿Ｂ１が受信した変調信号を復調することによって符号化データを得る復調部ＰＲＯＤ＿Ｂ２と、復調部ＰＲＯＤ＿Ｂ２が得た符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｂ３と、を備えている。上述した階層動画像復号装置１は、この復号部ＰＲＯＤ＿Ｂ３として利用される。(B) of FIG. 30 is a block diagram illustrating a configuration of the receiving device PROD_B in which the hierarchicalvideo decoding device 1 is mounted. As illustrated in (b) of FIG. 30, the receiving device PROD_B includes a receiving unit PROD_B1 that receives a modulated signal, a demodulating unit PROD_B2 that obtains encoded data by demodulating the modulated signal received by the receiving unit PROD_B1, and a demodulator. A decoding unit PROD_B3 that obtains a moving image by decoding the encoded data obtained by the unit PROD_B2. The above-described hierarchicalvideo decoding device 1 is used as the decoding unit PROD_B3.

　受信装置ＰＲＯＤ＿Ｂは、復号部ＰＲＯＤ＿Ｂ３が出力する動画像の供給先として、動画像を表示するディスプレイＰＲＯＤ＿Ｂ４、動画像を記録するための記録媒体ＰＲＯＤ＿Ｂ５、及び、動画像を外部に出力するための出力端子ＰＲＯＤ＿Ｂ６を更に備えていてもよい。図３０の（ｂ）においては、これら全てを受信装置ＰＲＯＤ＿Ｂが備えた構成を例示しているが、一部を省略しても構わない。The receiving device PROD_B has a display PROD_B4 for displaying a moving image, a recording medium PROD_B5 for recording the moving image, and an output terminal for outputting the moving image to the outside as a supply destination of the moving image output by the decoding unit PROD_B3. PROD_B6 may be further provided. FIG. 30B illustrates a configuration in which the reception device PROD_B includes all of these, but a part of the configuration may be omitted.

　なお、記録媒体ＰＲＯＤ＿Ｂ５は、符号化されていない動画像を記録するためのものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｂ３と記録媒体ＰＲＯＤ＿Ｂ５との間に、復号部ＰＲＯＤ＿Ｂ３から取得した動画像を記録用の符号化方式に従って符号化する符号化部（不図示）を介在させるとよい。The recording medium PROD_B5 may be used for recording a non-encoded moving image, or may be encoded using a recording encoding method different from the transmission encoding method. May be. In the latter case, an encoding unit (not shown) for encoding the moving image acquired from the decoding unit PROD_B3 according to the recording encoding method may be interposed between the decoding unit PROD_B3 and the recording medium PROD_B5.

　なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送（ここでは、送信先が予め特定されていない送信態様を指す）であってもよいし、通信（ここでは、送信先が予め特定されている送信態様を指す）であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、及び有線通信の何れによって実現してもよい。Note that the transmission medium for transmitting the modulation signal may be wireless or wired. Further, the transmission mode for transmitting the modulated signal may be broadcasting (here, a transmission mode in which the transmission destination is not specified in advance) or communication (here, transmission in which the transmission destination is specified in advance). Refers to the embodiment). That is, the transmission of the modulation signal may be realized by any of wireless broadcasting, wired broadcasting, wireless communication, and wired communication.

　例えば、地上デジタル放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を無線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である。また、ケーブルテレビ放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を有線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である。For example, a terrestrial digital broadcast broadcasting station (broadcasting equipment or the like) / receiving station (such as a television receiver) is an example of a transmitting device PROD_A / receiving device PROD_B that transmits and receives a modulated signal by wireless broadcasting. Further, a broadcasting station (such as broadcasting equipment) / receiving station (such as a television receiver) of cable television broadcasting is an example of a transmitting device PROD_A / receiving device PROD_B that transmits and receives a modulated signal by cable broadcasting.

　また、インターネットを用いたＶＯＤ（Video On Demand）サービスや動画共有サービスなどのサーバ（ワークステーションなど）／クライアント（テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど）は、変調信号を通信で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である（通常、ＬＡＮにおいては伝送媒体として無線又は有線の何れかが用いられ、ＷＡＮにおいては伝送媒体として有線が用いられる）。ここで、パーソナルコンピュータには、デスクトップ型ＰＣ、ラップトップ型ＰＣ、及びタブレット型ＰＣが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。Also, a server (workstation etc.) / Client (television receiver, personal computer, smart phone etc.) such as VOD (Video On Demand) service and video sharing service using the Internet is a transmitting device for transmitting and receiving modulated signals by communication. This is an example of PROD_A / reception device PROD_B (usually, either a wireless or wired transmission medium is used in a LAN, and a wired transmission medium is used in a WAN). Here, the personal computer includes a desktop PC, a laptop PC, and a tablet PC. The smartphone also includes a multi-function mobile phone terminal.

　なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データを復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置ＰＲＯＤ＿Ａ及び受信装置ＰＲＯＤ＿Ｂの双方として機能する。In addition to the function of decoding the encoded data downloaded from the server and displaying it on the display, the video sharing service client has a function of encoding a moving image captured by the camera and uploading it to the server. That is, the client of the video sharing service functions as both the transmission device PROD_A and the reception device PROD_B.

　次に、上述した階層動画像符号化装置２及び階層動画像復号装置１を、動画像の記録及び再生に利用できることを、図３１を参照して説明する。Next, it will be described with reference to FIG. 31 that the above-described hierarchicalvideo encoding device 2 and hierarchicalvideo decoding device 1 can be used for video recording and reproduction.

　図３１の（ａ）は、上述した階層動画像符号化装置２を搭載した記録装置ＰＲＯＤ＿Ｃの構成を示したブロック図である。図３１の（ａ）に示すように、記録装置ＰＲＯＤ＿Ｃは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ｃ１と、符号化部ＰＲＯＤ＿Ｃ１が得た符号化データを記録媒体ＰＲＯＤ＿Ｍに書き込む書込部ＰＲＯＤ＿Ｃ２と、を備えている。上述した階層動画像符号化装置２は、この符号化部ＰＲＯＤ＿Ｃ１として利用される。FIG. 31 (a) is a block diagram showing a configuration of a recording apparatus PROD_C in which the above-described hierarchicalvideo encoding apparatus 2 is mounted. As shown in FIG. 31 (a), the recording device PROD_C has an encoding unit PROD_C1 that obtains encoded data by encoding a moving image, and the encoded data obtained by the encoding unit PROD_C1 on the recording medium PROD_M. A writing unit PROD_C2 for writing. The hierarchical movingimage encoding device 2 described above is used as the encoding unit PROD_C1.

　なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤ（Hard Disk Drive）やＳＳＤ(Solid State Drive)などのように、記録装置ＰＲＯＤ＿Ｃに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢ（Universal Serial Bus）フラッシュメモリなどのように、記録装置ＰＲＯＤ＿Ｃに接続されるタイプのものであってもよいし、（３）ＤＶＤ（Digital Versatile Disc）やＢＤ（Blu-ray Disc:登録商標）などのように、記録装置ＰＲＯＤ＿Ｃに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。The recording medium PROD_M may be of a type built in the recording device PROD_C, such as (1) HDD (Hard Disk Drive) or SSD (Solid State Drive), or (2) SD memory. It may be of the type connected to the recording device PROD_C, such as a card or USB (Universal Serial Bus) flash memory, or (3) DVD (Digital Versatile Disc) or BD (Blu-ray Disc: registration) Or a drive device (not shown) built in the recording device PROD_C.

　また、記録装置ＰＲＯＤ＿Ｃは、符号化部ＰＲＯＤ＿Ｃ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ｃ３、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ｃ４、動画像を受信するための受信部ＰＲＯＤ＿Ｃ５、及び、画像を生成または加工する画像処理部Ｃ６を更に備えていてもよい。図３１の（ａ）においては、これら全てを記録装置ＰＲＯＤ＿Ｃが備えた構成を例示しているが、一部を省略しても構わない。The recording device PROD_C is a camera PROD_C3 that captures moving images as a supply source of moving images to be input to the encoding unit PROD_C1, an input terminal PROD_C4 for inputting moving images from the outside, and reception for receiving moving images. The unit PROD_C5 and an image processing unit C6 that generates or processes an image may be further provided. FIG. 31A illustrates a configuration in which the recording apparatus PROD_C includes all of these, but a part of the configuration may be omitted.

　なお、受信部ＰＲＯＤ＿Ｃ５は、符号化されていない動画像を受信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部ＰＲＯＤ＿Ｃ５と符号化部ＰＲＯＤ＿Ｃ１との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部（不図示）を介在させるとよい。The receiving unit PROD_C5 may receive a non-encoded moving image, or may receive encoded data encoded by a transmission encoding scheme different from the recording encoding scheme. You may do. In the latter case, a transmission decoding unit (not shown) that decodes encoded data encoded by the transmission encoding method may be interposed between the reception unit PROD_C5 and the encoding unit PROD_C1.

　このような記録装置ＰＲＯＤ＿Ｃとしては、例えば、ＤＶＤレコーダ、ＢＤレコーダ、ＨＤＤ（Hard Disk Drive）レコーダなどが挙げられる（この場合、入力端子ＰＲＯＤ＿Ｃ４又は受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）。また、カムコーダ（この場合、カメラＰＲＯＤ＿Ｃ３が動画像の主な供給源となる）、パーソナルコンピュータ（この場合、受信部ＰＲＯＤ＿Ｃ５又は画像処理部Ｃ６が動画像の主な供給源となる）、スマートフォン（この場合、カメラＰＲＯＤ＿Ｃ３又は受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）なども、このような記録装置ＰＲＯＤ＿Ｃの一例である。Examples of such a recording device PROD_C include a DVD recorder, a BD recorder, and an HDD (Hard Disk Drive) recorder (in this case, the input terminal PROD_C4 or the receiving unit PROD_C5 is a main supply source of moving images). . In addition, a camcorder (in this case, the camera PROD_C3 is a main source of moving images), a personal computer (in this case, the receiving unit PROD_C5 or the image processing unit C6 is a main source of moving images), a smartphone (in this case In this case, the camera PROD_C3 or the receiving unit PROD_C5 is a main supply source of moving images) is also an example of such a recording device PROD_C.

　図３１の（ｂ）は、上述した階層動画像復号装置１を搭載した再生装置ＰＲＯＤ＿Ｄの構成を示したブロックである。図３１の（ｂ）に示すように、再生装置ＰＲＯＤ＿Ｄは、記録媒体ＰＲＯＤ＿Ｍに書き込まれた符号化データを読み出す読出部ＰＲＯＤ＿Ｄ１と、読出部ＰＲＯＤ＿Ｄ１が読み出した符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｄ２と、を備えている。上述した階層動画像復号装置１は、この復号部ＰＲＯＤ＿Ｄ２として利用される。(B) of FIG. 31 is a block showing a configuration of a playback device PROD_D in which the above-described hierarchicalvideo decoding device 1 is mounted. As shown in (b) of FIG. 31, the playback device PROD_D reads a moving image by decoding a read unit PROD_D1 that reads encoded data written to the recording medium PROD_M and a read unit PROD_D1 that reads the encoded data. And a decoding unit PROD_D2 to be obtained. The hierarchical movingimage decoding apparatus 1 described above is used as the decoding unit PROD_D2.

　なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤやＳＳＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢフラッシュメモリなどのように、再生装置ＰＲＯＤ＿Ｄに接続されるタイプのものであってもよいし、（３）ＤＶＤやＢＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。Note that the recording medium PROD_M may be of the type built into the playback device PROD_D, such as (1) HDD or SSD, or (2) such as an SD memory card or USB flash memory, It may be of a type connected to the playback device PROD_D, or (3) may be loaded into a drive device (not shown) built in the playback device PROD_D, such as DVD or BD. Good.

　また、再生装置ＰＲＯＤ＿Ｄは、復号部ＰＲＯＤ＿Ｄ２が出力する動画像の供給先として、動画像を表示するディスプレイＰＲＯＤ＿Ｄ３、動画像を外部に出力するための出力端子ＰＲＯＤ＿Ｄ４、及び、動画像を送信する送信部ＰＲＯＤ＿Ｄ５を更に備えていてもよい。図３１の（ｂ）においては、これら全てを再生装置ＰＲＯＤ＿Ｄが備えた構成を例示しているが、一部を省略しても構わない。In addition, the playback device PROD_D has a display PROD_D3 that displays a moving image, an output terminal PROD_D4 that outputs the moving image to the outside, and a transmission unit that transmits the moving image as a supply destination of the moving image output by the decoding unit PROD_D2. PROD_D5 may be further provided. FIG. 31B illustrates a configuration in which the playback apparatus PROD_D includes all of these, but some of them may be omitted.

　なお、送信部ＰＲＯＤ＿Ｄ５は、符号化されていない動画像を送信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｄ２と送信部ＰＲＯＤ＿Ｄ５との間に、動画像を伝送用の符号化方式で符号化する符号化部（不図示）を介在させるとよい。The transmission unit PROD_D5 may transmit an unencoded moving image, or transmits encoded data encoded by a transmission encoding method different from the recording encoding method. You may do. In the latter case, it is preferable to interpose an encoding unit (not shown) that encodes a moving image with an encoding method for transmission between the decoding unit PROD_D2 and the transmission unit PROD_D5.

　このような再生装置ＰＲＯＤ＿Ｄとしては、例えば、ＤＶＤプレイヤ、ＢＤプレイヤ、ＨＤＤプレイヤなどが挙げられる（この場合、テレビジョン受像機等が接続される出力端子ＰＲＯＤ＿Ｄ４が動画像の主な供給先となる）。また、テレビジョン受像機（この場合、ディスプレイＰＲＯＤ＿Ｄ３が動画像の主な供給先となる）、デジタルサイネージ（電子看板や電子掲示板等とも称され、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、デスクトップ型ＰＣ（この場合、出力端子ＰＲＯＤ＿Ｄ４又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、ラップトップ型又はタブレット型ＰＣ（この場合、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、スマートフォン（この場合、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）なども、このような再生装置ＰＲＯＤ＿Ｄの一例である。Examples of such a playback device PROD_D include a DVD player, a BD player, and an HDD player (in this case, an output terminal PROD_D4 to which a television receiver or the like is connected is a main supply destination of moving images). . In addition, a television receiver (in this case, the display PROD_D3 is a main supply destination of moving images), a digital signage (also referred to as an electronic signboard or an electronic bulletin board), and the display PROD_D3 or the transmission unit PROD_D5 is the main supply of moving images. Desktop PC (in this case, the output terminal PROD_D4 or the transmission unit PROD_D5 is the main video image supply destination), laptop or tablet PC (in this case, the display PROD_D3 or the transmission unit PROD_D5 is a moving image) A smartphone (which is a main image supply destination), a smartphone (in this case, the display PROD_D3 or the transmission unit PROD_D5 is a main moving image supply destination), and the like are also examples of such a playback device PROD_D.

（ハードウェア的実現およびソフトウェア的実現）
　また、上述した階層動画像復号装置１、および階層動画像符号化装置２の各ブロックは、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェア的に実現してもよい。(Hardware implementation and software implementation)
Each block of the above-described hierarchicalvideo decoding device 1 and hierarchicalvideo encoding device 2 may be realized in hardware by a logic circuit formed on an integrated circuit (IC chip), or a CPU (Central Processing Unit) may be used for software implementation.

　後者の場合、上記各装置は、各機能を実現するプログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。In the latter case, each device includes a CPU that executes instructions of a program that realizes each function, a ROM (Read （Memory) that stores the program, a RAM (Random Memory) that expands the program, the program, and various types A storage device (recording medium) such as a memory for storing data is provided. An object of the present invention is to provide a recording medium in which a program code (execution format program, intermediate code program, source program) of a control program for each of the above devices, which is software that realizes the above-described functions, is recorded in a computer-readable manner This can also be achieved by supplying each of the above devices and reading and executing the program code recorded on the recording medium by the computer (or CPU or MPU).

　上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ－ＲＯＭ（Compact Disc Read-Only Memory）／ＭＯディスク（Magneto-Optical disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc）／ＣＤ－Ｒ（CD Recordable）／ブルーレイディスク（Blu-ray Disc:登録商標）等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）／ＥＥＰＲＯＭ（登録商標）（Electrically Erasable and Programmable Read-Only Memory）／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable logic device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。Examples of the recording medium include tapes such as magnetic tapes and cassette tapes, magnetic disks such as floppy (registered trademark) disks / hard disks, CD-ROMs (Compact Disc-Read-Only Memory) / MO discs (Magneto-Optical discs). ) / MD (Mini Disc) / DVD (Digital Versatile Disc) / CD-R (CD Recordable) / Blu-ray Disc (Blu-ray Disc: registered trademark) and other optical discs, IC cards (including memory cards) / Cards such as optical cards, mask ROM / EPROM (Erasable Programmable Read-Only Memory) / EEPROM (registered trademark) (Electrically-Erasable Programmable Read-Only Memory) / semiconductor memory such as flash ROM, or PLD (Programmable Logic device) and FPGA (Field Programmable Gate Array) Can.

　また、上記各装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（Local Area Network）、ＩＳＤＮ（Integrated Services Digital Network）、ＶＡＮ（Value-Added Network）、ＣＡＴＶ（Community Antenna television/Cable Television）通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ（Institute of Electrical and Electronic Engineers）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線等の有線でも、ＩｒＤＡ（Infrared Data Association）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。Further, each of the above devices may be configured to be connectable to a communication network, and the program code may be supplied via the communication network. The communication network is not particularly limited as long as it can transmit the program code. For example, the Internet, intranet, extranet, LAN (Local Area Network), ISDN (Integrated Services Digital Network), VAN (Value-Added Network), CATV (Community Area Antenna / Cable Television) communication network, Virtual Private Network (Virtual Private Network) Network), telephone line network, mobile communication network, satellite communication network, and the like. The transmission medium constituting the communication network may be any medium that can transmit the program code, and is not limited to a specific configuration or type. For example, even in the case of wired such as IEEE (Institute of Electrical and Electronic Engineers) 1394, USB, power line carrier, cable TV line, telephone line, ADSL (Asymmetric Digital Subscriber Line) line, infrared such as IrDA (Infrared Data Association) or remote control , Bluetooth (registered trademark), IEEE 802.11 wireless, HDR (High Data Rate), NFC (Near Field Communication), DLNA (Digital Living Network Alliance), mobile phone network, satellite line, terrestrial digital network, etc. Is possible. The present invention can also be realized in the form of a computer data signal embedded in a carrier wave in which the program code is embodied by electronic transmission.

　本発明は、画像データが階層的に符号化された符号化データを復号する階層動画像復号装置、および、画像データが階層的に符号化された符号化データを生成する階層動画像符号化装置に好適に適用することができる。また、階層動画像符号化装置によって生成され、階層動画像復号装置によって参照される階層符号化データのデータ構造に好適に適用することができる。The present invention relates to a hierarchical video decoding device that decodes encoded data in which image data is hierarchically encoded, and a hierarchical video encoding device that generates encoded data in which image data is hierarchically encoded. It can be suitably applied to. Further, the present invention can be suitably applied to the data structure of hierarchically encoded data that is generated by a hierarchical video encoding device and referenced by the hierarchical video decoding device.

　１　　　　　階層動画像復号装置（画像復号装置）
　１１　　　　ＮＡＬ逆多重化部
　１２　　　　可変長復号部
　１３　　　　ベース復号部
　１４　　　　予測パラメータ復元部
　１５　　　　テクスチャ復元部（フィルタ適用手段、予測画像生成手段）
　１６　　　　フィルタパラメータ復元部（フィルタパラメータ導出手段）
　２　　　　　階層動画像符号化装置（画像符号化装置）
　２１　　　　予測パラメータ決定部
　２２　　　　予測情報生成部
　２３　　　　ベース復号部
　２４　　　　テクスチャ情報生成部（フィルタ適用手段）
　２５　　　　可変長符号化部
　２６　　　　ＮＡＬ逆多重化部
　２７　　　　フィルタパラメータ情報生成部（フィルタパラメータ導出手段）
　１５２Ａ　　インター予測部
　１５２Ｂ　　イントラ予測部
　１５２１　　動き補償フィルタ部
　１５２２　　インターレイヤフィルタ部
　１５２３　　選択合成部
　１５２２１　フィルタ部
　１５２２２　インターレイヤフィルタ制御部
　１５２２３　スケーリング部1. Hierarchical video decoding device (image decoding device)
11NAL demultiplexing unit 12 Variablelength decoding unit 13Base decoding unit 14 Predictionparameter restoration unit 15 Texture restoration unit (filter application unit, prediction image generation unit)
16 Filter parameter restoration unit (filter parameter deriving means)
2. Hierarchical video encoding device (image encoding device)
21 Predictionparameter determination unit 22 Predictioninformation generation unit 23Base decoding unit 24 Texture information generation unit (filter application means)
25 Variablelength encoding unit 26NAL demultiplexing unit 27 Filter parameter information generating unit (filter parameter deriving means)
152AInter Prediction Unit 152BIntra Prediction Unit 1521 MotionCompensation Filter Unit 1522 InterLayer Filter Unit 1523Selection Synthesis Unit 15221Filter Unit 15222 Inter LayerFilter Control Unit 15223 Scaling Unit

Claims (10)

1. 　レイヤごとに異なる品質の画像に関する画像情報が階層的に符号化された階層符号化データを復号して、復号の対象となる対象レイヤにおける画像を復元する画像復号装置であって、
   　既に復号済みの参照レイヤ画像と、既に復号済みの対象レイヤ画像を入力として、予測パラメータに基づいて、上記対象レイヤの予測画像を生成する予測画像生成手段と、
   上記予測画像生成手段は、上記参照レイヤ画像が、フィルタパラメータに基づいた適応フィルタ処理を行い、フィルタ済み参照レイヤ画像を生成するフィルタ手段を備え、
   上記予測画像生成手段は、上記予測パラメータが所定の条件を満たす場合にのみ、フィルタ済み参照レイヤ画像を用いて予測画像を生成することを特徴とする動画像復号装置。An image decoding device that decodes hierarchically encoded data in which image information relating to images of different quality for each layer is hierarchically encoded, and restores an image in a target layer to be decoded,
   A predicted image generation means for generating a predicted image of the target layer based on a prediction parameter, using the already decoded reference layer image and the already decoded target layer image as input,
   The predicted image generation means includes filter means for generating a filtered reference layer image by performing adaptive filter processing on the reference layer image based on a filter parameter,
   The moving picture decoding apparatus, wherein the predicted image generation means generates a predicted image using a filtered reference layer image only when the prediction parameter satisfies a predetermined condition.
2. 上記、予測画像生成手段は、予測単位が所定のサイズ以上であることを所定の条件として、フィルタ済み参照レイヤ画像を用いて予測画像を生成することを特徴とする、請求項１に記載の動画像復号装置。The moving image according to claim 1, wherein the predicted image generation unit generates a predicted image using a filtered reference layer image on a predetermined condition that a prediction unit is a predetermined size or more. Image decoding device.
3. 上記、予測画像生成手段は、予測単位が単予測であることを所定の条件として、フィルタ済み参照レイヤ画像を用いて予測画像を生成することを特徴とする、請求項１に記載の動画像復号装置。The moving picture decoding according to claim 1, wherein the predicted image generating means generates a predicted image using a filtered reference layer image on a predetermined condition that a prediction unit is a single prediction. apparatus.
4. 上記、予測画像生成手段は、所定の参照画像リストに含まれる参照画像を用いて、予測画像を生成する手段であって、参照画像リストが所定のリストであることを条件として、フィルタ済み参照レイヤ画像を用いて予測画像を生成することを特徴とする、請求項１に記載の動画像復号装置。The predicted image generation means is a means for generating a predicted image using a reference image included in a predetermined reference image list, and the filtered reference layer is provided on the condition that the reference image list is a predetermined list. The moving image decoding apparatus according to claim 1, wherein a predicted image is generated using an image.
5. 上記、予測画像生成手段は、さらに、参照レイヤ画像にスケーリング処理を行うスケーリング手段を備え、予測画像生成手段は、上記スケーリング手段によりスケーリングが行われていないことを所定の条件として、フィルタ済み参照レイヤ画像を用いて予測画像を生成することを特徴とする、請求項１に記載の動画像復号装置。The predicted image generation unit further includes a scaling unit that performs a scaling process on the reference layer image, and the predicted image generation unit uses the filtered reference layer as a predetermined condition that the scaling is not performed by the scaling unit. The moving image decoding apparatus according to claim 1, wherein a predicted image is generated using an image.
6. 　レイヤごとに異なる品質の画像に関する画像情報が階層的に符号化された階層符号化データを復号して、符号化の対象となる対象レイヤにおける画像を符号化する画像符号化装置であって、
   　既に符号化済みの参照レイヤ画像と、既に符号化済みの対象レイヤ画像を入力として、予測パラメータに基づいて、上記対象レイヤの予測画像を生成する予測画像生成手段と、上記予測画像生成手段は、上記参照レイヤ画像が、フィルタパラメータに基づいた適応フィルタ処理を行い、フィルタ済み参照レイヤ画像を生成するフィルタ手段を備え、
   上記予測画像生成手段は、上記予測パラメータが所定の条件を満たす場合にのみ、フィルタ済み参照レイヤ画像を用いて予測画像を生成することを特徴とする動画像符号化装置。An image encoding apparatus that decodes hierarchically encoded data in which image information relating to images of different quality for each layer is hierarchically encoded, and encodes an image in a target layer to be encoded,
   A prediction image generation unit that generates a prediction image of the target layer based on a prediction parameter using a reference layer image that has already been encoded and a target layer image that has already been encoded as input, and the prediction image generation unit, The reference layer image includes filter means for performing adaptive filter processing based on a filter parameter to generate a filtered reference layer image,
   The moving picture encoding apparatus, wherein the predicted image generation means generates a predicted image using a filtered reference layer image only when the prediction parameter satisfies a predetermined condition.
7. 　レイヤごとに異なる品質の画像に関する画像情報が階層的に符号化された階層符号化データを復号して、復号の対象となる対象レイヤにおける画像を復元する画像復号装置であって、
   　既に復号済みの参照レイヤ画像と、既に復号済みの対象レイヤ画像を入力として、予測パラメータに基づいて、上記対象レイヤの予測画像を生成する予測画像生成手段と、
   　上記予測画像生成手段は、上記参照レイヤ画像が、フィルタパラメータに基づいた適応フィルタ処理を行い、フィルタ済み参照レイヤ画像を生成するフィルタ手段を備える動画像復号装置において、
   　フィルタパラメータを復号するフィルタパラメータ復号手段を備え、
   　上記、フィルタパラメータ復号手段は、所定の単位であるフィルタユニットごとに、フィルタパラメータ復号済みフラグを０に初期化し、上記予測画像生成手段において予測画像の生成に参照レイヤ画像が用いられる場合で、かつ、上記フィルタパラメータ復号済みフラグが０の場合に、フィルタパラメータを復号し、さらに上記フィルタパラメータ復号済みフラグを１に設定することを特徴とする動画像復号装置。An image decoding device that decodes hierarchically encoded data in which image information relating to images of different quality for each layer is hierarchically encoded, and restores an image in a target layer to be decoded,
   A predicted image generation means for generating a predicted image of the target layer based on a prediction parameter, using the already decoded reference layer image and the already decoded target layer image as input,
   In the moving picture decoding apparatus, the prediction image generation unit includes a filter unit that performs adaptive filter processing on the reference layer image based on a filter parameter and generates a filtered reference layer image.
   A filter parameter decoding means for decoding the filter parameter;
   The filter parameter decoding means initializes a filter parameter decoded flag to 0 for each filter unit which is a predetermined unit, and a reference layer image is used for generation of a prediction image in the prediction image generation means, and A moving picture decoding apparatus, wherein when the filter parameter decoded flag is 0, the filter parameter is decoded, and further, the filter parameter decoded flag is set to 1.
8. 　上記予測画像生成手段は、予測画像生成手段において用いられる参照画像が参照レイヤ画像であるか否かを判定し、上記予測画像生成手段において予測画像の生成に参照レイヤ画像を用いるかを判定することを特徴とする請求項７に記載の動画像復号装置。The predicted image generation means determines whether or not a reference image used in the predicted image generation means is a reference layer image, and determines whether or not the reference image is used to generate a predicted image in the predicted image generation means The moving picture decoding apparatus according to claim 7.
9. 　上記予測画像生成手段は、上記予測パラメータが所定の条件を満たす場合にのみ、フィルタ済み参照レイヤ画像を用いて予測画像を生成し、さらに、上記予測画像生成手段は、上記フィルタユニット内の予測ユニットにおいて、上記予測パラメータが上記所定の条件を満たす場合を判定し、上記予測画像生成手段において予測画像の生成に参照レイヤ画像を用いるかを判定することを特徴とする請求項７又は８に記載の動画像復号装置。The prediction image generation means generates a prediction image using the filtered reference layer image only when the prediction parameter satisfies a predetermined condition, and the prediction image generation means further includes a prediction unit in the filter unit. The method according to claim 7, wherein a determination is made when the prediction parameter satisfies the predetermined condition, and the prediction image generation means determines whether to use a reference layer image for generation of the prediction image. Video decoding device.
10. 　レイヤごとに異なる品質の画像に関する画像情報が階層的に符号化された階層符号化データを符号化して、符号化の対象となる対象レイヤにおける画像を復元する画像符号化装置であって、
    　既に符号化済みの参照レイヤ画像と、既に符号化済みの対象レイヤ画像を入力として、予測パラメータに基づいて、上記対象レイヤの予測画像を生成する予測画像生成手段と、
    　上記予測画像生成手段は、上記参照レイヤ画像が、フィルタパラメータに基づいた適応フィルタ処理を行い、フィルタ済み参照レイヤ画像を生成するフィルタ手段を備える動画像符号化装置において、
    　フィルタパラメータを符号化するフィルタパラメータ符号化手段を備え、
    　上記、フィルタパラメータ符号化手段は、所定の単位であるフィルタユニットごとに、フィルタパラメータ符号化済みフラグを０に初期化し、上記予測画像生成手段において予測画像の生成に参照レイヤ画像が用いられる場合で、かつ、上記フィルタパラメータ復号済みフラグが０の場合に、フィルタパラメータを符号化し、さらに上記フィルタパラメータ符号化済みフラグを１に設定することを特徴とする動画像符号化装置。An image encoding device that encodes hierarchical encoded data in which image information relating to images of different quality for each layer is encoded hierarchically, and restores an image in a target layer to be encoded,
    A predicted image generation means for generating a predicted image of the target layer based on a prediction parameter, using an already encoded reference layer image and an already encoded target layer image as input, and
    In the moving picture encoding apparatus, the prediction image generation unit includes a filter unit that performs adaptive filter processing on the reference layer image based on a filter parameter and generates a filtered reference layer image.
    Comprising filter parameter encoding means for encoding the filter parameter;
    The filter parameter encoding means initializes a filter parameter encoded flag to 0 for each filter unit as a predetermined unit, and a reference layer image is used for generation of a prediction image in the prediction image generation means. In addition, when the filter parameter decoded flag is 0, the filter parameter is encoded, and the filter parameter encoded flag is further set to 1.

Images