JP2015185897A - 画像符号化方法及び画像符号化装置 - Google Patents

Abstract

【課題】符号化処理の高速化を実現する。【解決手段】画像符号化方法は、複数の処理ブロックの各々に対して、所定の符号化規格で規定されている複数のイントラ予測モードから一つのイントラ予測モードを選択してイントラ予測処理を行うイントラ予測ステップ（Ｓ１０４）を含み、前記複数のイントラ予測モードは左下参照モードを含み、前記複数の処理ブロックは、第１処理ブロックと、前記第１処理ブロックと同じサイズであり、前記第１処理ブロックの右上に位置する第２処理ブロックとを含み、前記所定の符号化規格では、前記第１処理ブロックの情報の後に前記第２処理ブロックの情報をビットストリームへ書き込むことが規定されており、前記イントラ予測ステップでは、前記左下参照モードの選択を禁止して前記第２処理ブロックのイントラ予測処理を行い、その後に前記第１処理ブロックのイントラ予測処理を行う。【選択図】図１３

Description

本開示は、イントラ予測を行う画像符号化方法及び画像符号化装置に関する。

動画像符号化規格として、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式（以降、Ｈ．２６４方式と呼ぶ）が知られている。このような動画像符号化規格では、イントラ予測において、複数のイントラ予測モードから一つを選択してイントラ予測が行われる（例えば、特許文献１〜特許文献３を参照）。

また、Ｈ．２６４の次世代の動画像符号化規格としてＨｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）が検討されている。

特開２００５−１３０５０９号公報特開２０１１−４１０３７号公報特開２０１１−１４２６９９号公報

画像符号化方法では、符号化処理の高速化が望まれている。

本開示は、符号化処理の高速化を実現できる画像符号化方法及び画像符号化装置を提供する。

本開示における画像符号化方法は、符号化対象のピクチャが分割されることで得られた複数の符号化単位ブロックの各々をイントラ予測の処理単位である複数の処理ブロックに分割する分割ステップと、前記複数の処理ブロックの各々に対して、所定の符号化規格で規定されている複数のイントラ予測モードから一つのイントラ予測モードを選択し、選択したイントラ予測モードでイントラ予測処理を行うイントラ予測ステップとを含み、前記複数のイントラ予測モードは、処理対象の処理ブロックの左下の処理ブロックを参照する左下参照モードを含み、前記複数の処理ブロックは、第１処理ブロックと、前記第１処理ブロックと同じサイズであり、前記第１処理ブロックの右上に位置する第２処理ブロックとを含み、前記所定の符号化規格では、前記第１処理ブロックの情報の後に前記第２処理ブロックの情報をビットストリームへ書き込むことが規定されており、前記イントラ予測ステップでは、前記左下参照モードの選択を禁止して前記第２処理ブロックのイントラ予測処理を行い、その後に前記第１処理ブロックのイントラ予測処理を行う。

本開示における画像符号化方法及び画像符号化装置は、符号化処理の高速化を実現できる。

実施の形態に係る画像符号化装置の構成を示すブロック図である。実施の形態に係る画像符号化処理のフローチャートである。ＨＥＶＣ規格におけるビットストリームへの書き込み順を示す図である。実施の形態に係るイントラ予測処理の処理順を示す図である。実施の形態に係るイントラ予測処理の処理順を示す図である。実施の形態に係るイントラ予測処理のフローチャートである。実施の形態に係る左下参照禁止ブロックで禁止されるイントラ予測モードを示す図である。実施の形態に係る左下参照禁止ブロックから参照される周辺画素を示す図である。実施の形態に係るＰｌａｎａｒ予測モードを説明するための図である。実施の形態に係るイントラ予測の並列処理を説明するための図である。実施の形態に係るイントラ予測処理の処理順の別の例を示す図である。実施の形態に係るイントラ予測処理の処理順の別の例を示す図である。実施の形態に係るイントラ予測処理の処理順の概要を示す図である。実施の形態に係るイントラ予測処理の処理順の概要を示す図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者らは、当業者が本開示を十分に理解するために添付図面及び以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態）
以下、図１〜図１４を用いて、本実施の形態を説明する。説明の便宜上、ＨＥＶＣを用いて符号化する際の動作を説明する。

［画像符号化装置の構成］
図１は、本実施の形態に係る画像符号化装置１００のブロック図である。

画像符号化装置１００は、ピクチャ単位で入力された動画像を符号化単位ブロック（コーディングユニット：ＣＵ）に分割し、ＣＵ単位で符号化処理を行うことで、符号列を生成する。なお、ＣＵには複数のサブブロックが含まれる。画像符号化装置１００が有する構成要素は、ＣＵ単位又はサブブロック単位で処理する。

図１に示す画像符号化装置１００は、ピクチャバッファ１０１と、ピクチャ分割部１０２と、減算部１０３と、予測残差符号化部１０４と、係数符号列生成部１０５と、予測残差復号化部１０６と、加算部１０７と、イントラ予測部１０８と、量子化値決定部１１４と、ヘッダ符号列生成部１１５とを備える。

画像符号化装置１００は、入力画像をＨＥＶＣの規格に基づいて圧縮符号化し、符号列を生成して出力する。

ピクチャバッファ１０１は、入力画像を取得し、記憶媒体に一時的に記憶する。例えば、ピクチャバッファ１０１は、表示を行う順にピクチャ単位で入力される入力画像を、符号化を行う順に並び替えて蓄積する。ピクチャバッファ１０１における記憶媒体として、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）メモリなど、入力画像を記憶できる記憶媒体であればどのようなものを利用しても構わない。

ピクチャ分割部１０２は、符号化対象のピクチャを複数の符号化単位ブロック（ＣＵ）に分割し、分割された複数の符号化単位ブロックの各々をイントラ予測の処理単位である複数の処理ブロック（プレディクションユニット：ＰＵ）に分割する分割部の一例である。ピクチャ分割部１０２は、減算部１０３又は量子化値決定部１１４からの読出し命令を受け付けた場合、ピクチャバッファ１０１から入力画像を取得する。そして、ピクチャ分割部１０２は、読出し命令に対応する画像信号を減算部１０３に出力する。

なお、ＣＵおよびＰＵのブロックサイズは、当該ＣＵおよびＰＵを利用して処理するまでに設定されていれば、どのようなタイミングで設定されても構わない。一方、ＣＵのブロックサイズが設定された後にＰＵのブロックサイズが設定されても構わない。また、ＰＵのブロックサイズが設定された後にＣＵのブロックサイズが設定されても構わない。さらに、ＣＵおよびＰＵのブロックサイズが同時に設定されても構わない。

ＣＵは、符号化単位ブロックの一例であり、例えば、６４×６４画素、３２×３２画素、１６×１６画素または８×８画素のブロックである。

減算部１０３は、ピクチャ分割部１０２から出力される処理対象となる少なくとも１つ以上のＣＵ（以下、対象ＣＵ）と、イントラ予測部１０８から出力される予測画像との差分を算出することで、残差信号を生成する。例えば、減算部１０３は、ＣＵ又はサブブロック毎に差分を算出する。減算部１０３は、残差信号を予測残差符号化部１０４に出力する。

予測残差符号化部１０４は、減算部１０３から出力される残差信号を直交変換することで、直交変換係数を生成する。予測残差符号化部１０４は、残差信号を直交変換する場合、直交変換用のサブブロック単位で処理を行う。ここで、直交変換用のサブブロックは、トランスフォームユニット（ＴＵ）と呼ばれる、複数の画素で構成される直交変換処理単位である。例えば、直交変換用のサブブロック（ＴＵ）は、３２×３２画素、１６×１６画素、８×８画素、又は４×４画素のブロックである。なお、入力信号が輝度成分および色差成分のうちいずれの信号かに依存してＴＵに利用できるブロックサイズが変わる。

予測残差符号化部１０４は、さらに、得られた直交変換係数の各周波数成分を量子化することで量子化係数を生成する。そして、予測残差符号化部１０４は、量子化係数を係数符号列生成部１０５及び予測残差復号化部１０６に出力する。なお、予測残差符号化部１０４は、量子化値決定部１１４によって決定された量子化値を用いて、直交変換係数を量子化する。

係数符号列生成部１０５は、予測残差符号化部１０４から出力される量子化係数を可変長符号化する。係数符号列生成部１０５は、可変長符号化によって生成される符号列をヘッダ符号列生成部１１５が生成した符号列に続けて追記する。これにより、係数符号列生成部１０５は、出力用の符号列信号を生成する。

予測残差復号化部１０６は、予測残差符号化部１０４から出力される量子化係数を逆量子化及び逆直交変換することで、残差復号化信号を再構成する。予測残差復号化部１０６は、得られた残差復号化信号を加算部１０７に出力する。

加算部１０７は、予測残差復号化部１０６から出力される残差復号化信号とイントラ予測部１０８から出力される予測画像とを加算することで、再構成画像信号を生成する。そして、加算部１０７は、再構成画像信号をイントラ予測部１０８に出力する。

イントラ予測部１０８は、少なくとも加算部１０７から出力される再構成画像信号に基づいて、ピクチャ分割部１０２から出力されるブロックに対する予測画像を生成する。イントラ予測部１０８は、予測画像を生成する場合、イントラ予測を用いる。

なお、イントラ予測部１０８は、予測用のサブブロック単位で予測画像を生成する。ここで、予測用のサブブロックとは、プレディクションユニット（ＰＵ）と呼ばれる、複数の画素で構成される予測処理単位である。例えば、予測用のサブブロック（ＰＵ）は、ピクチャ分割部１０２が出力する符号化単位ブロックを少なくとも１つ以上に分割して生成される領域である。例えば、ＰＵは、６４×６４画素、３２×３２画素、１６×１６画素、８×８画素、又は４×４画素のブロックである。ここで、ＰＵのサイズは、ＣＵのサイズを基準にして決定される。具体的にＰＵのサイズは、ＣＵのサイズと同じまたは一辺の長さが半分のサイズである。

イントラ予測部１０８は、既に符号化済みのＣＵに含まれる、対象ＣＵの周辺に位置する画素データを用いて、対象ＣＵの予測画像をＰＵ毎に生成する。具体的には、イントラ予測部１０８は、対象ＣＵに隣接する既に符号化済みの画素データに基づいてイントラ予測を行うことで、予測画像を生成する。

イントラ予測部１０８は、画像符号化装置１００で想定している符号化規格であるＨＥＶＣに規定される３５個のイントラ予測モードから１つのイントラ予測モードを選択する。さらに、イントラ予測部１０８は、選択したイントラ予測モードに基づいてイントラ予測を行うことで、処理対象の対象ＰＵの予測画像を生成する。イントラ予測部１０８は、ＰＵ毎に予測画像を生成した結果として得られる、ピクチャ分割部１０２が出力するブロックの予測画像をＴＵ単位で減算部１０３及び加算部１０７に出力する。

なお、イントラ予測部１０８のより詳細な動作については、後で説明する。

量子化値決定部１１４は、ピクチャ分割部１０２に格納されるピクチャに基づいて、予測残差符号化部１０４において残差信号を量子化する際の量子化値（量子化幅）を設定する。量子化値決定部１１４は、設定した量子化値を予測残差符号化部１０４及びヘッダ符号列生成部１１５に出力する。なお、量子化値決定部１１４は、量子化値の設定方法に、符号列信号のビットレートが目標とするビットレートに近づくように量子化値を設定する、いわゆるレート制御に基づく量子化値の設定方法を利用しても構わない。

ヘッダ符号列生成部１１５は、イントラ予測部１０８が出力する予測情報と、量子化値決定部１１４が出力する量子化値と、その他の符号化制御に関する制御情報とを可変長符号化することで符号列を生成する。なお、予測情報には、例えば、イントラ予測モード、インター予測モード、動きベクトル、及び参照ピクチャを示す情報などが含まれる。また、制御情報は、係数符号列生成部１０５における処理の前までに取得可能な情報であり、ブロックの符号化時に適用した符号化条件を示す情報である。例えば、制御情報は、ピクチャ符号化タイプ又はブロック分割情報などを含む。例えば、ピクチャ符号化タイプとは、Ｉピクチャ、Ｐピクチャ又はＢピクチャを示す情報、又は、ブロックに適用された予測方法に関する情報などである。また、ブロック分割情報は、例えば、直交変換時におけるサブブロックの分割情報、又は、イントラ予測部１０８におけるサブブロックの分割情報などを含む情報である。

［画像符号化処理］
次に、画像符号化装置１００による画像符号化処理の流れを説明する。

図２は、画像符号化装置１００による画像符号化処理のフローチャートである。

図２に示すように、ピクチャ分割部１０２は、処理対象のピクチャを複数のＣＵ（符号化単位ブロック）に分割する（Ｓ１０１）。次に、複数のＣＵのうち処理対象となる少なくとも１つ以上の対象ＣＵが選択され減算部１０３に送出される（Ｓ１０２）。このとき、ＰＵのサイズとＣＵの選択数によっては、処理順を、ＨＥＶＣ規格で定められているビットストリームへの書き込みの順序とは異なる順序に更新する。

図３は、ＨＥＶＣ規格で定められているビットストリームへの書き込み順を示す図である。また、図４は、本実施の形態に係るイントラ予測の処理順を示す図である。なお、ここでは、ＣＵが８×８画素であり、ＰＵが４×４画素である場合を示す。つまり、隣接する４つのＣＵは、１６個のＰＵを含む。また、図４において各ＰＵに付与されている数字は、図３に示すＨＥＶＣ規格における書き込み順を示している。

図４に示すように、画像符号化装置１００は、処理順を、ＨＥＶＣ規格で定められている書き込み順とは異なる順序に更新する。具体的には、図４に示す処理順は、ブロック３とブロック４との順序、ブロック７とブロック８との順序、ブロック１１とブロック１２との順序が図３に示す書き込み順と異なる。

まず、ピクチャ分割部１０２は、対象ＣＵを複数のＰＵ（処理ブロック）に分割する（Ｓ１０３）。次に、イントラ予測部１０８は、複数のＰＵに対して、所定の処理順でイントラ予測処理及び符号化処理を行う（Ｓ１０４）。これにより、複数のＰＵに対応する複数の予測画像が順次生成される。また、各ＰＵに対応する量子化係数及び再構成画像信号が生成される。

例えば、図５に示すように、当該複数のＰＵのうちＣＵの左上端に位置するＰＵを基準にして、横方向をＸ軸とし、縦方向をＹ軸とし、ＰＵの位置を（Ｘ、Ｙ）｛Ｘ、Ｙ＝０、１、２、３｝と表現する。この場合、イントラ予測部１０８は、（０、０）、（１、０）、（０、１）、（２、０）、（１、１）、（３、０）、（２、１）、（０、２）、（３、１）、（１、２）、（０、３）、（２、２）、（１、３）、（３、２）、（２、３）、（３、３）のＰＵの順にイントラ予測処理を行う。

また、（２、０）及び（２、２）に位置するＰＵは、左下参照禁止ブロックであり、当該左下参照禁止ブロックに対しては、左下のＰＵの画素データを参照するイントラ予測モードを選択することが禁止される。なお、この処理については、後で詳細に説明する。

次に、係数符号列生成部１０５は、ＨＥＶＣ規格で規定された順序（図３に示す順序）と異なる順序で生成された量子化係数をＨＥＶＣ規格で規定された順序に並び替える。また、ヘッダ符号列生成部１１５は、イントラ予測部１０８から出力された各ＰＵのイントラ予測処理に関する情報をＨＥＶＣ規格に規定された順序に並べ替える（Ｓ１０５）。ここで、イントラ予測処理に関する情報とは、例えば、選択されたイントラ予測モードを示す情報等である。

このような並び変え処理が行われることにより、画像符号化装置１００から出力される符号列は、ＨＥＶＣ規格に準拠した信号となり、ＨＥＶＣ規格に準拠した画像復号装置により正しく復号することができる。

次に、ヘッダ符号列生成部１１５は、並び替えられた順序でイントラ予測処理に関する情報を可変長符号化する。また、係数符号列生成部１０５は、並び替えられた順序で量子化係数を可変長符号化することで、符号列を生成する（Ｓ１０６）。

以上により、一つのＣＵに対する符号化処理が完了する。また、画像符号化装置１００は、全てのＣＵに対して、この一連の処理を繰り返し行う（Ｓ１０７）。

［イントラ予測処理］
以下、イントラ予測部１０８によるイントラ予測処理（図２のＳ１０４）について詳細に説明する。

図６は、イントラ予測部１０８によるイントラ予測処理のフローチャートである。

まず、イントラ予測部１０８は、図５に示す処理順に従い、複数のＰＵから対象ＰＵを選択し、ＰＵ単位で以降の処理を行う（Ｓ１１１）。

まず、イントラ予測部１０８は、対象ＰＵが左下参照禁止ブロック（図５の（２、０）及び（２、２）に位置するＰＵ）であるか否かを判定する（Ｓ１１２）。

対象ＰＵが左下参照禁止ブロックである場合（Ｓ１１２でＹｅｓ）、イントラ予測部１０８は、ＨＥＶＣ規格で規定されている３５種類のイントラ予測モードのうち、対象ＰＵの左下のＰＵを参照するイントラ予測モードの選択を禁止して対象ＰＵにイントラ予測処理を行う（Ｓ１１３）。

ここで、左下参照禁止ブロックは、ＨＥＶＣ規格に規定されるビットストリームとしての書き込み順で処理する場合には、左下のＰＵが符号化済みであり、当該左下のＰＵを参照できるＰＵであり、かつ、図５に示す処理順では、左下のＰＵの符号化が完了していないＰＵである。よって、イントラ予測部１０８は、このようなＰＵに対しては、左下のＰＵの参照を禁止する。

図７は、ＨＥＶＣ規格で規定されている３５種類のイントラ予測モード（モード０〜モード３４）を示す図である。図７に示すように、ＨＥＶＣ規格では、Ｐｌａｎａｒ予測モードと、ＤＣ予測モードと、３３個の予測方向モードとが定義されている。

イントラ予測部１０８は、左下参照禁止ブロックに対して、これら３５種類のイントラ予測モードのうち、左下のＰＵを参照するイントラ予測モードの選択を禁止する。具体的には、左下のＰＵを参照するイントラ予測モードとは、モード０（Ｐｌａｎａｒ予測モード）、及びモード２〜９である。

図８は、図５に示す左下参照禁止ブロック（２、２）と、その周辺ブロックを示す図である。図８に示すように、モード２〜９を禁止することにより、左下参照禁止ブロック（２、２）のイントラ予測処理において、左下ブロック（１、３）が参照されることを禁止できる。

図９は、Ｐｌａｎａｒ予測モード（モード０）を説明するための図である。図９に示すように、Ｐｌａｎａｒ予測モードでは、イントラ予測部１０８は、対象ＰＵの上、左、左下、右上のＰＵの各々に含まれる４つの参照画素の重み付け平均を算出することにより、対象画素の予測値を算出する。このように、Ｐｌａｎａｒ予測モードでも左下のＰＵが参照されるので、イントラ予測部１０８は、左下参照禁止ブロックに対して、Ｐｌａｎａｒ予測モードを禁止する。

再度、図６に示すフローチャートを参照して説明を続ける。

対象ＰＵが左下参照禁止ブロックでない場合（Ｓ１１２でＮｏ）、イントラ予測部１０８は、通常のイントラ予測処理を行う。すなわち、イントラ予測部１０８は、ＨＥＶＣ規格で規定されている３５種類のイントラ予測モードのうちいずれかを選択し、対象ＰＵにイントラ予測処理を行う（Ｓ１１４）。

ステップＳ１１３又はＳ１１４の後、減算部１０３は、対象ＰＵと予測画像との差分である残差信号を生成する（Ｓ１１５）。次に、予測残差符号化部１０４は、残差信号に直交変換及び量子化を行うことで量子化係数を生成する（Ｓ１１６）。また、予測残差復号化部１０６は、量子化係数を逆量子化及び逆直交変換することで、残差復号化信号を生成する。次に、加算部１０７は、残差復号化信号と予測画像とを加算することで、再構成画像信号を生成する。この再構成画像信号は、以降のＰＵのイントラ予測処理に用いられる。

以上により、一つのＰＵに対するイントラ予測処理が完了する。また、イントラ予測部１０８は、全てのＰＵに対して、この一連の処理を繰り返し行う（Ｓ１１７）。

［本開示の効果］
以上のように、画像符号化装置１００は、図５に示す順序でイントラ予測処理を行う。ここで、ＨＥＶＣ規格では、Ｈ．２６４では存在しない左下のＰＵを参照するイントラ予測モードが存在する。そのため、対象ＰＵのイントラ予測処理を開始するまでに、左下のＰＵのイントラ予測処理が完了していることで、符号化効率を改善できる。この考えに基づき、図３に示す書き込み順が規定されている。

しかしながら、図３に示す書き込み順で処理するには、複数のＰＵを並列に処理することが困難であり、処理を高速化することができない。一方、図５に示す処理順を用いることで、複数のＰＵを図１０に示すように並列に処理できる。なお、図１０において各ＰＵに付与されている数字は、図５に示す、本実施の形態における処理順を示す。図１０に示す例では、ブロック２とブロック３とが並列処理され、ブロック４とブロック５とが並列処理される。また、図示していないが、以降も同様に並列処理可能である。

このように、図５に示す処理順を用いることで、本実施の形態に係る画像符号化装置１００は、イントラ予測処理を高速に行うことができる。

また、上述したように、画像符号化装置１００は、左下参照禁止ブロックを設定し、当該左下参照禁止ブロックでは左下のＰＵを参照することを禁止する。これにより、ＨＥＶＣ規格と異なる順序を用いた場合に処理が破綻することを防止できる。

さらに、画像符号化装置１００は、ＰＵ毎に生成された量子化係数を、ＨＥＶＣ規格で規定された順序に並び替える。これにより、画像符号化装置１００は、ＨＥＶＣ規格に準拠した符号列を生成できる。

このように、画像符号化装置１００は、ＨＥＶＣ規格で定められている書き込み順を、並列処理が可能な処理順に並び替える。また、並び替え前においては左下ブロックの参照が可能であり、かつ、並び替え後には左下ブロックの参照が行えないブロックに対して左下ブロックを参照することを禁止する。これにより、画像符号化装置１００は、ＨＥＶＣ規格に準拠した符号列を高速に生成することができる。

［変形例］
上記図５では、ＣＵが８×８画素であり、ＰＵが４×４画素であって、そのＣＵが４つ隣接する例を説明したが、ＣＵ及びＰＵのサイズおよび数はこれに限定されていない。なお、処理対象となる少なくとも１つ以上の対象ＣＵに同じサイズの４×４個のＰＵが含まれる場合の処理順は、図５と同様である。処理対象となる少なくとも１つ以上の対象ＣＵに同じサイズの４×４個のＰＵが含まれる場合とは、例えば、ＣＵが８×８画素であり、ＰＵが８×８画素であって、そのＣＵが４つ隣接する場合、及び、ＣＵが１６×１６画素であり、ＰＵが１６×１６画素であって、そのＣＵが４つ隣接する場合等である。

また、図１１に、ＣＵに同じサイズのＰＵが含まれＣＵが８つ隣接する場合の処理順を示す。ＣＵに同じサイズのＰＵが含まれＣＵが８つ隣接する場合とは、例えば、ＣＵが８×８画素であり、ＰＵが４×４画素である場合、及び、ＣＵが８×８画素であり、ＰＵが８×８画素である場合等である。図１１に示す処理順では、（２、０）、（２、２）、（２、４）、（２、６）、（４、０）、（４、２）、（４、４）、（４、６）、（６、０）、（６、２）、（６、４）及び（６、６）のＰＵが左下参照禁止ブロックに設定される。

また、図１２に示すように、処理対象となる少なくとも１つ以上の対象ＣＵには、異なるサイズのＰＵが含まれてもよい。この場合でも、ＨＥＶＣ規格における書き込み順通りに処理する場合において左下のＰＵを参照するＰＵであり、かつ、本開示の処理順では左下のＰＵよりも先に処理が行われるＰＵ（図１２の（２、０）のＰＵ）が左下参照禁止ブロックに設定される。

つまり、本開示では、図１３に示すように、以下の条件に合致するＰＵ（第２処理ブロック）が左下参照禁止ブロックに設定される。

（１）任意の第１処理ブロック（図１３のＰＵ１）と、当該第１処理ブロックと同じサイズであり、第１処理ブロックの右上に位置する第２処理ブロック（図１３のブロック２）とが処理対象となる少なくとも１つ以上の対象ＣＵに含まれる。

（２）ＨＥＶＣ規格では、第１処理ブロック（ＰＵ１）の情報の後に第２処理ブロック（ＰＵ２）の情報をビットストリームとして書き込むことが規定されている。

（３）本開示の処理順では、第２処理ブロック（ＰＵ２）のイントラ予測処理が行われ、その後に第１処理ブロック（ＰＵ１）のイントラ予測処理が行われる。

また、図１４に示すように、上記の条件（１）〜（３）に加え、さらに、以下の条件に合致するＰＵ（第２処理ブロック）が左下参照禁止ブロックに設定されてもよい。

（４）第１処理ブロック（図１４のＰＵ３）と同じサイズであり、第１処理ブロックの上に位置する第３処理ブロック（図１４のＰＵ１）と、第１処理ブロック（ＰＵ３）と同じサイズであり、第１処理ブロック（ＰＵ３）の左に位置する第４処理ブロック（図１４のＰＵ２）とが処理対象となる少なくとも１つ以上の対象ＣＵに含まれる。

（５）本開示の処理順では、第３処理ブロック（ＰＵ１）、第４処理ブロック（ＰＵ２）、第２処理ブロック（ＰＵ４）、及び第１処理ブロック（ＰＵ３）の順にイントラ予測処理が行われる。

なお、図１３及び図１４において、各ＰＵに付与されている数字はＨＥＶＣ規格における書き込み順を示している。また、矢印は本開示における処理順を示している。

また、上記図１０に示す並列処理は一例であり、並列処理の仕方は任意でよい。例えば、図１０に示す例において、ブロック３とブロック４とが並列処理されてもよい。また、図１３に示す例では、複数の処理ブロック（ＰＵ）のうち、第１処理ブロック（図１３のＰＵ１）を含む第１処理ブロック群と、第２処理ブロック（図１３のＰＵ２）を含む第２処理ブロック群とを並列処理してもよい。

また、このように並列処理が行われる場合には、上述したＰＵの処理順において、あるＰＵの処理が完了した後に次のＰＵの処理の開始される必要はない。言い換えると、上述したＰＵの処理順は、ＰＵの処理が開始される順序、又は、ＰＵの処理が終了する順序であってもよい。例えば、図１０に示す例において、ブロック２の処理の開始の後に、ブロック３の処理が開始されるのであれば、ブロック２とブロック３との処理の一部が同時に行われてもよい。

さらに、図１０に示す例において、ブロック２とブロック３との処理が同時に開始されてもよいし、ブロック２の処理よりブロック３の処理が先に開始されてもよい。つまり、上述した処理順において、並列処理を行える範囲において、一部のＰＵの処理順を入れ替えてもよい。

また、上記説明では、ＨＥＶＣ規格が用いられる例を説明したが、左下の処理ブロック（ＰＵ）を参照するイントラ予測モードが用いられる任意の画像符号化規格に本開示を適用できる。

また、上記では説明の便宜上、画像符号化装置１００が予測部としてイントラ予測部１０８のみを含む構成を説明したが、画像符号化装置１００は、インター予測を行う機能ブロックを含んでもよい。

また、図１では、単純に予測処理としてイントラ予測のみが用いられる場合を示したが、インターピクチャを含む入力動画像の中のイントラピクチャ、又は、インターピクチャの中で処理対象となる少なくとも１つ以上の対象イントラＣＵが集まった場合にも上記同様の処理を適用できる。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

また、本開示に係る画像符号化方法は、符号化対象のピクチャが分割されることで得られた複数の符号化単位ブロック（ＣＵ）の各々をイントラ予測の処理単位である複数の処理ブロック（ＰＵ）に分割する分割ステップと、前記複数の処理ブロックの各々に対して、所定の符号化規格で規定されている複数のイントラ予測モードから一つのイントラ予測モードを選択し、選択したイントラ予測モードでイントラ予測処理を行うイントラ予測ステップとを含み、前記複数のイントラ予測モードは、処理対象の処理ブロックの左下の処理ブロックを参照する左下参照モードを含み、前記複数の処理ブロックは、第１処理ブロックと、前記第１処理ブロックと同じサイズであり、前記第１処理ブロックの右上に位置する第２処理ブロックとを含み、前記所定の符号化規格では、前記第１処理ブロックの情報の後に前記第２処理ブロックの情報をビットストリームへ書き込むことが規定されており、前記イントラ予測ステップでは、前記左下参照モードの選択を禁止して前記第２処理ブロックのイントラ予測処理を行い、その後に前記第１処理ブロックのイントラ予測処理を行う。

これにより、当該画像符号化方法は、前記所定の符号化規格とは異なる順序でイントラ予測処理を行うことができる。よって、当該画像符号化方法は、高速にイントラ予測処理を行うことができる。また、前記第２の処理ブロックが左下の処理ブロックを参照することを禁止することで、処理順序を変更したことにより処理が破綻することを防止できる。

例えば、前記画像符号化方法は、さらに、前記処理ブロックと前記イントラ予測処理により生成された予測画像との差分である残差信号を生成する残差信号生成ステップと、前記残差信号を直交変換及び量子化することで量子化係数を生成する量子化ステップと、前記複数の処理ブロックに対応する複数の前記量子化係数を、前記符号化規格に規定された順序に並び替える並び替えステップとを含んでもよい。

これにより、前記符号化規格に準拠した符号列を生成できる。

例えば、前記イントラ予測ステップでは、前記複数の処理ブロックのうち、前記第１処理ブロックを含む第１処理ブロック群と、前記第２処理ブロックを含む第２処理ブロック群とを並列処理してもよい。

これにより、当該画像符号化方法は、複数の処理ブロックを並列処理できるので、処理の高速化を実現できる。

例えば、前記所定の符号化規格は、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格であり、前記左下参照モードは、前記ＨＥＶＣ規格におけるモード０、及びモード２〜９であってもよい。

これにより、当該画像符号化方法は、ＨＥＶＣ規格に準拠した符号列を高速に処理できる。

例えば、前記複数の処理ブロックは、さらに、前記第１処理ブロックと同じサイズであり、前記第１処理ブロックの上に位置する第３処理ブロックと、前記第１処理ブロックと同じサイズであり、前記第１処理ブロックの左に位置する第４処理ブロックとを含み、前記イントラ予測ステップでは、前記第３処理ブロック、前記第４処理ブロック、前記第２処理ブロック、及び前記第１処理ブロックの順にイントラ予測処理を行ってもよい。

例えば、前記複数の処理ブロックは、４×４個の同じサイズのブロックであり、前記複数の処理ブロックのうち前記符号化単位ブロックの左上端に位置する処理ブロックを基準にして、横方向をＸ軸とし、縦方向をＹ軸とし、前記処理ブロックの位置を（Ｘ、Ｙ）｛Ｘ、Ｙ＝０、１、２、３｝と表現する場合、前記イントラ予測ステップでは、（０、０）、（１、０）、（０、１）、（２、０）、（１、１）、（３、０）、（２、１）、（０、２）、（３、１）、（１、２）、（０、３）、（２、２）、（１、３）、（３、２）、（２、３）、（３、３）の処理ブロックの順にイントラ予測処理を行い、前記第２処理ブロックは、（２、０）及び（２、２）に位置する処理ブロックであってもよい。

これにより、当該画像符号化方法は、４×４個の処理ブロックを含む符号化単位ブロックを高速に処理できる。

なお、これらの全般的または具体的な態様は、装置、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

また、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。

また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

また、上記のフローチャートに示す複数のステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。

本開示は、画像符号化方法及び画像符号化装置に適用可能である。具体的には、レコーダ、デジタルカメラ又はタブレット端末装置などに、本開示は適用可能である。

１００ 画像符号化装置
１０１ ピクチャバッファ
１０２ ピクチャ分割部
１０３ 減算部
１０４ 予測残差符号化部
１０５ 係数符号列生成部
１０６ 予測残差復号化部
１０７ 加算部
１０８ イントラ予測部
１１４ 量子化値決定部
１１５ ヘッダ符号列生成部

Claims (7)

1. 符号化対象のピクチャが分割されることで得られた複数の符号化単位ブロックの各々をイントラ予測の処理単位である複数の処理ブロックに分割する分割ステップと、
   前記複数の処理ブロックの各々に対して、所定の符号化規格で規定されている複数のイントラ予測モードから一つのイントラ予測モードを選択し、選択したイントラ予測モードでイントラ予測処理を行うイントラ予測ステップとを含み、
   前記複数のイントラ予測モードは、処理対象の処理ブロックの左下の処理ブロックを参照する左下参照モードを含み、
   前記複数の処理ブロックは、第１処理ブロックと、前記第１処理ブロックと同じサイズであり、前記第１処理ブロックの右上に位置する第２処理ブロックとを含み、
   前記所定の符号化規格では、前記第１処理ブロックの情報の後に前記第２処理ブロックの情報をビットストリームへ書き込むことが規定されており、
   前記イントラ予測ステップでは、前記左下参照モードの選択を禁止して前記第２処理ブロックのイントラ予測処理を行い、その後に前記第１処理ブロックのイントラ予測処理を行う
   画像符号化方法。
2. 前記画像符号化方法は、さらに、
   前記処理ブロックと、前記イントラ予測処理により生成された予測画像との差分である残差信号を生成する残差信号生成ステップと、
   前記残差信号を直交変換及び量子化することで量子化係数を生成する量子化ステップと、
   前記複数の処理ブロックに対応する複数の前記量子化係数を、前記符号化規格に規定された順序に並び替える並び替えステップとを含む
   請求項１記載の画像符号化方法。
3. 前記イントラ予測ステップでは、
   前記複数の処理ブロックのうち、前記第１処理ブロックを含む第１処理ブロック群と、前記第２処理ブロックを含む第２処理ブロック群とを並列処理する
   請求項１又は２記載の画像符号化方法。
4. 前記所定の符号化規格は、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格であり、
   前記左下参照モードは、前記ＨＥＶＣ規格におけるモード０、及びモード２〜９である
   請求項１〜３のいずれか１項に記載の画像符号化方法。
5. 前記複数の処理ブロックは、さらに、
   前記第１処理ブロックと同じサイズであり、前記第１処理ブロックの上に位置する第３処理ブロックと、
   前記第１処理ブロックと同じサイズであり、前記第１処理ブロックの左に位置する第４処理ブロックとを含み、
   前記イントラ予測ステップでは、前記第３処理ブロック、前記第４処理ブロック、前記第２処理ブロック、及び前記第１処理ブロックの順にイントラ予測処理を行う
   請求項１〜４のいずれか１項に記載の画像符号化方法。
6. 前記複数の処理ブロックは、４×４個の同じサイズのブロックであり、
   前記複数の処理ブロックのうち前記符号化単位ブロックの左上端に位置する処理ブロックを基準にして、横方向をＸ軸とし、縦方向をＹ軸とし、前記処理ブロックの位置を（Ｘ、Ｙ）｛Ｘ、Ｙ＝０、１、２、３｝と表現する場合、
   前記イントラ予測ステップでは、（０、０）、（１、０）、（０、１）、（２、０）、（１、１）、（３、０）、（２、１）、（０、２）、（３、１）、（１、２）、（０、３）、（２、２）、（１、３）、（３、２）、（２、３）、（３、３）の処理ブロックの順にイントラ予測処理を行い、
   前記第２処理ブロックは、（２、０）及び（２、２）に位置する処理ブロックである
   請求項５記載の画像符号化方法。
7. 符号化対象のピクチャが分割されることで得られた複数の符号化単位ブロックの各々をイントラ予測の処理単位である複数の処理ブロックに分割する分割部と、
   前記複数の処理ブロックの各々に対して、所定の符号化規格で規定されている複数のイントラ予測モードから一つのイントラ予測モードを選択し、選択したイントラ予測モードでイントラ予測処理を行うイントラ予測部とを備え、
   前記複数のイントラ予測モードは、処理対象の処理ブロックの左下の処理ブロックを参照する左下参照モードを含み、
   前記複数の処理ブロックは、第１処理ブロックと、前記第１処理ブロックと同じサイズであり、前記第１処理ブロックの右上に位置する第２処理ブロックとを含み、
   前記所定の符号化規格では、前記第１処理ブロックの情報の後に前記第２処理ブロックの情報をビットストリームへ書き込むことが規定されており、
   前記イントラ予測部は、前記左下参照モードの選択を禁止して前記第２処理ブロックのイントラ予測処理を行い、その後に前記第１処理ブロックのイントラ予測処理を行う
   画像符号化装置。

Images