JP2012015603A - 画像処理装置及び画像映像処理方法 - Google Patents

Abstract

【課題】フレームシーケンシャル方式の映像を符号化する際に、符号量を適切に計算することで平均符号量の急激な変動や制御の発振を抑えて符号量制御を安定させることが可能な映像処理装置を提供する。
【解決手段】複数の視点からの画像データを交互に符号化する符号化部と、符号化部が符号化した画像データに対して、視点及びピクチャタイプを判別し、視点毎及びピクチャタイプ毎に平均符号量を算出する符号量算出部と、符号量算出部が視点毎及びピクチャタイプ毎に算出した平均符号量を用いて平均ビットレートを算出する平均レート計算部と、を備える、映像処理装置が提供される。これにより、フレームシーケンシャル方式の映像を符号化する際に、視点毎及びピクチャタイプ毎に平均符号量を算出することで、平均符号量の急激な変動や制御の発振を抑えることができる。
【選択図】図１

Description

本発明は、画像処理装置及び画像映像処理方法に関する。

近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮する方式（例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ））に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。

さらに、近年ではＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）（ＭＰＥＧ４ ｐａｒｔ１０、ＩＳＯ／ＩＥＣ １４４９６−１０ ｜ ＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ − Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ） Ｈ．２６４）（以下、ＡＶＣ／Ｈ．２６４と称する）という標準の規格化が行われている。ＩＴＵ−Ｔと ＩＳＯ／ＩＥＣ の間で、共同でビデオ符号化の標準化を行う、ＪＶＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ）という団体が設立され、この団体で規格化を進めている。Ｈ．２６４はＭＰＥＧ２やＭＰＥＧ４といった従来の符号化方式に比べ、その符号化および復号により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。

ＡＶＣ／Ｈ．２６４は、ＭＰＥＧ２やＭＰＥＧ４といった既存のビデオ符号化方式と比較して、倍以上の高い圧縮効率（符号化効率）を実現するが、その分、復号処理の処理量も飛躍的に増加する。また、画像の高画質化による画像データのデータ量の増大に伴い、復号処理の処理量はさらに増加する。しかしながら、例えば、伝送されてきた符号化データのビットストリームを順次復号する場合や、記録媒体に記録されている符号化データを読み出して復号し、画像を再生する場合のように、復号処理による遅延の許容範囲が少なく、高速に、かつ安定して復号処理を行うことが求められる場合がある。

映像の符号化に関する発明としては、例えば特許文献１に開示されたものがある。特許文献１には、一般的な二次元（２Ｄ）映像の符号化に際し、各ピクチャにおける量子化値を、シーン単位で安定化させながら、平均レートに追従する符号量制御技術にかかる発明が開示されている。この特許文献１に開示された発明により、二次元映像の符号化に際し、高品質な符号画像を得ることができる。

その一方で、ユーザに立体的な奥行きのある映像として知覚させるための立体視（３Ｄ）コンテンツを表示するための家庭用テレビの販売も本格的に開始され、これに伴って多くの３Ｄコンテンツの作成要望が高まってきている。３Ｄ映像の方式には様々なものがあるが、その中の一つにフレームシーケンシャル方式がある。フレームシーケンシャル方式は、右目用の画像と左目用の画像を高速で切り替えて表示する方式であり、ユーザはシャッタ眼鏡で２つの画像を見ることで映像を立体的に知覚することができる。

特開２００５−１５１３４４号公報

ピクチャタイプ（例えば、Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）毎に符号量が大きく異なるので、一般的に符号量制御はピクチャタイプ毎に符号量の制御を行っている。上記特許文献１においても、ピクチャタイプ毎に符号量を計測し、ピクチャタイプ毎に平均符号量を計算し、シーン単位で量子化値を安定化させながら符号量の制御を行っている。

しかし、フレームシーケンシャル方式の場合、ピクチャタイプが同じであっても、そのピクチャが異なる視点の映像であれば、符号量が大きく異なる場合がある。そのため、フレームシーケンシャル方式の映像を上記特許文献１に記載の発明のような従来の符号量制御によって符号化すると、同じピクチャタイプであるのに符号量が大きく異なるピクチャから平均符号量を算出することになる。よって、平均符号量が急激に変動してしまい、制御が発振することがあるという問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、フレームシーケンシャル方式の映像を符号化する際に、符号量を適切に計算することで平均符号量の急激な変動や制御の発振を抑えて符号量制御を安定させることが可能な、新規かつ改良された画像処理装置及び画像映像処理方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、複数の視点からの画像で構成される画像データを符号化する符号化部と、前記符号化部が符号化した画像データに対して、視点及びピクチャタイプを判別し、視点毎及びピクチャタイプ毎に過去の符号量の情報を用いて平均符号量を算出する符号量算出部と、前記符号量算出部が視点毎及びピクチャタイプ毎に算出した平均符号量を用いて平均ビットレートを算出する平均レート計算部と、を備える、画像処理装置が提供される。

上記画像処理装置は、符号化しようとする画像データを用いて、前記符号量算出部における視点毎及びピクチャタイプ毎の平均符号量の算出に用いる重み係数を視点毎及びピクチャタイプ毎に算出する重み係数計算部をさらに備えていてもよい。

前記重み係数算出部は、符号化しようとする画像データが、複数の視点からの画像データが含まれている期間のデータであるか否かによって前記重み係数を高低させて算出するようにしてもよい。

前記重み係数算出部は、符号化しようとする画像データのシーンを検出して、動きの大小に応じて前記重み係数を高低させて算出するようにしてもよい。

上記画像処理装置は、視点毎及びピクチャタイプ毎に算出した平均符号量を用いて前記平均レート計算部が計算した前記平均ビットレートを用いて前記符号化部における符号化に用いられる量子化値を計算する量子化値計算部をさらに備えていてもよい。

前記画像データはフレームシーケンシャルで構成される画像データであってもよい。

また、上記課題を解決するために、本発明の別の観点によれば、複数の視点からの画像が交互のフレームに記録される画像データを符号化する符号化ステップと、前記符号化ステップが符号化した画像データに対して、視点及びピクチャタイプを判別し、視点毎及びピクチャタイプ毎に過去の符号量の情報を用いて平均符号量を算出する符号量算出ステップと、前記符号量算出ステップで視点毎及びピクチャタイプ毎に算出した平均符号量を用いて平均ビットレートを算出する平均レート計算ステップと、を備える、画像処理方法が提供される。

以上説明したように本発明によれば、フレームシーケンシャル方式の映像を符号化する際に、符号量を適切に計算することで平均符号量の急激な変動や制御の発振を抑えて符号量制御を安定させることが可能な、新規かつ改良された画像処理装置及び画像映像処理方法を提供することができる。

本発明の一実施形態にかかる画像処理システム１の全体構成を示す説明図である。本発明の一実施形態にかかる符号化装置２の構成を示す説明図である。本発明の一実施形態にかかる符号化装置２に含まれるＱ算出回路３４の構成を示す説明図である。本発明の一実施形態にかかる符号化装置２の動作を示す流れ図である。各ピクチャの符号量の変化を時系列で並べた例を示す説明図である。従来の方法によって平均符号量を計算する場合を示す説明図である。本実施形態にかかる符号化処理を適用して平均符号量を計算する場合を示す説明図である。本発明の一実施形態にかかる符号化装置２に含まれるＱ算出回路３４の構成の変形例を示す説明図である。本発明の一実施形態にかかる符号化装置２のハードウェア構成例を示す説明図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
＜１．本発明の一実施形態＞
［１−１．画像処理システムの全体構成］
［１−２．符号化装置の構成］
［１−３．Ｑ算出回路の構成］
［１−４．符号化装置の動作］
［１−５．Ｑ算出回路の変形例］
［１−６．ハードウェア構成例］
＜２．まとめ＞

＜１．本発明の一実施形態＞
［１−１．画像処理システムの全体構成］
まず、本発明の一実施形態にかかる画像処理システムの全体構成について説明する。図１は、本発明の一実施形態にかかる画像処理システム１の全体構成を示す説明図である。以下、図１を用いて本発明の一実施形態にかかる画像処理システム１の全体構成について説明する。

図１に示すように、画像処理システム１は、符号化装置２および復号装置３を含んで構成される。符号化装置２は、離散コサイン変換やカルーネン・レーベ変換などの直交変換と動き補償によって圧縮した符号化データＥＤ（ビットストリーム）を生成し、当該符号化データＥＤを変調した後に、衛星放送波、ケーブルＴＶ網、電話回線網、携帯電話回線網などの伝送媒体を介して送信する。

復号装置３は、例えば、符号化装置２から受信した符号化データＥＤを復調した後に、バッファＣＰＢに格納し、バッファＣＰＢから読み出した符号化データＥＤを復号部４に供給し、復号部４において上記符号化時の直交変換の逆変換と動き補償によって復号した画像データを生成して利用する。

ここで、バッファＣＰＢから復号部４に１つのピクチャが供給されることによりバッファＣＰＢのデータ蓄積量が減少する量は、当該ピクチャのデータ量、すなわち当該ピクチャの量子化パラメータに依存する。

符号化装置２は、後述するように、復号装置３のバッファＣＰＢがオーバーフローおよびアンダーフローしないように、上記量子化スケールを決定する。

なお、上記伝送媒体は、光ディスク、磁気ディスクおよび半導体メモリなどの記録媒体であってもよい。

画像処理システム１は、符号化装置２における量子化スケールの算出方法に特徴を有している。

以上、図１を用いて本発明の一実施形態にかかる画像処理システム１の全体構成について説明した。次に、本発明の一実施形態にかかる符号化装置２の構成について説明する。

［１−２．符号化装置の構成］
図２は、本発明の一実施形態にかかる符号化装置２の構成を示す説明図である。以下、図２を用いて、本発明の一実施形態にかかる符号化装置２の構成について説明する。

図２に示したように、本発明の一実施形態にかかる符号化装置２は、Ａ／Ｄ変換回路２２と、画面並べ替え回路２３と、演算回路２４と、直交変換回路２５と、量子化回路２６と、可逆符号化回路２７と、バッファ２８と、逆量子化回路２９と、逆直交変換回路３０と、フレームメモリ３１と、動き予測・補償回路３２と、画像検出回路３３と、Ｑ算出回路３４と、デブロックフィルタ３７と、を含んで構成される。

Ａ／Ｄ変換回路２２は、符号化装置２に入力されたアナログの輝度信号Ｙ、色差信号Ｐｂ，Ｐｒから構成される画像信号をデジタルの画像信号に変換するものである。Ａ／Ｄ変換回路２２は、変換により得られるデジタルの画像信号を画面並べ替え回路２３に出力する。

画面並べ替え回路２３は、Ａ／Ｄ変換回路２２から入力されたデジタル画像信号内のフレーム画像信号を、そのピクチャタイプＩ，Ｐ，ＢからなるＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）構造に応じて、符号化する順番に並べ替えるものである。画面並べ替え回路２３は、並び替えた後の画像データＳ２３を、演算回路２４、動き予測・補償回路３２および画像検出回路３３に出力する。

演算回路２４は、画面並べ替え回路２３から出力された画像データＳ２３がインター（Ｉｎｔｅｒ）符号化される場合には、画像データＳ２３と、動き予測・補償回路３２から入力した予測画像データＳ３２ａとの差分を示す画像データＳ２４を生成し、これを直交変換回路２５に出力する。また、演算回路２４は、画像データＳ２３がイントラ（Ｉｎｔｒａ）符号化される場合には、画像データＳ２３を画像データＳ２４として直交変換回路２５に出力する。

直交変換回路２５は、演算回路２４から供給される画像データＳ２４に、離散コサイン変換やカルーネン・レーベ変換などの直交変換を施して、画像データ（例えばＤＣＴ係数信号）Ｓ２５を生成するものである。直交変換回路２５は、生成した画像データを量子化回路２６に出力する。

量子化回路２６は、後述のＱ算出回路３４から入力した量子化スケールＭＢＱで、画像データＳ２５をマクロブロックＭＢ単位で量子化して画像データＳ２６を生成するものである。量子化回路２６は、生成した画像データＳ２６を可逆符号化回路２７および逆量子化回路２９に出力する。

可逆符号化回路２７は、量子化回路２６で量子化されて生成された画像データＳ２６を可変長符号化あるいは算術符号化して符号化データＥＤを生成するものである。可逆符号化回路２７は、生成した符号化データＥＤをバッファ２８に格納する。

このとき、可逆符号化回路２７は、後述の動き予測・補償回路３２から供給される動きベクトルＭＶあるいはその差分を符号化して符号化データＥＤのヘッダデータ内に格納する。

バッファ２８は、可逆符号化回路２７は生成した符号化データＥＤを一時的に格納しておくものである。バッファ２８に格納された符号化データＥＤは、Ｑ算出回路３４に出力されると共に、例えば、変調等された後に図１に示す復号装置３に送信される。

逆量子化回路２９は、量子化回路２６で量子化されて生成された画像データＳ２６を逆量子化したデータを生成するものである。逆量子化回路２９は、画像データＳ２６を逆量子化したデータを後述のデブロックフィルタ３７に出力する。なお、逆量子化回路２９は、例えばＪＶＴ規格に基づいて逆量子化処理を行う。

逆直交変換回路３０は、逆量子化回路２９で逆量子化され、デブロックフィルタ３７でブロック歪みが除去された画像データに、上述の直交変換回路２５における直交変換の逆変換を施して画像データを生成するものである。逆直交変換回路３０は、生成した画像データをフレームメモリ３１に格納する。

フレームメモリ３１は、逆直交変換回路３０において、直交変換回路２５における直交変換の逆変換が施されて生成された画像データを格納するものである。フレームメモリ３１に格納された画像データは所定のタイミングで画像データＳ３１として動き予測・補償回路３２に順次供給される。

動き予測・補償回路３２は、フレームメモリ３１からの画像データＳ３１と、画面並べ替え回路２３からの画像データＳ２３とを基に、動き予測・補償処理を行って、動きベクトルＭＶおよび予測画像データＳ３２ａを算出するものである。なお、動き予測・補償回路３２は、Ｑ算出回路３４からのマクロブロックＭＢの量子化スケールＭＢＱを基にマクロブロックタイプを決定し、当該決定したマクロブロックタイプで規定されるブロックを単位として、動き予測・補償処理を行う。

動き予測・補償回路３２は、算出した動きベクトルＭＶを可逆符号化回路２７に出力し、予測画像データＳ３２ａを演算回路２４に出力する。

画像検出回路３３は、画像データＳ２３（原画のピクチャ）から、どのような画像であるかを検出するものである。例えば、画像検出回路３３は、輝度信号画素値を用いて、マクロブロックＭＢを単位として、当該マクロブロックＭＢの画像の複雑度を示すアクティビティを算出する。

具体的には、画像検出回路３３は、各マクロブロックＭＢ、あるいは当該マクロブロックＭＢ内に規定された所定のブロックを単位として、当該単位としたブロック内の画素データの平均値を算出する。そして、画像検出回路３３は、上記単位としたブロック内の各画素データと、上記算出した平均値の差分の自乗和を基に、上記マクロブロックＭＢのアクティビティ値ＡＣＴを算出し、これをＱ算出回路３４に出力する。このアクティビティ値ＡＣＴは、マクロブロックＭＢの画像が複雑になるに従って値が大きくなる。

また、画像検出回路３３は激しく動くシーン、静止しているシーン、フェードインしているシーン、フェードアウトしているシーンの検出の他、２Ｄ映像区間、３Ｄ区間の検出を行い、検出結果をＱ算出回路３４に送る。

Ｑ算出回路３４は、画像検出回路３３からのアクティビティ値ＡＣＴおよびバッファ２８からの符号化データＥＤを基に、各ピクチャの量子化スケールＰｉｃＱを算出する。また、Ｑ算出回路３４は、算出した量子化スケールＰｉｃＱを基に、各ピクチャを構成する各マクロブロックＭＢの量子化スケールＭＢＱを算出し、これを量子化回路２６および動き予測・補償回路３２に出力する。

以下、Ｑ算出回路３４が、符号化データＥＤを基に量子化スケールＰｉｃＱを算出する方法を説明する。

Ｑ算出回路３４は、図１に示す復号装置３のバッファＣＰＢの状態を考慮しながら、バッファＣＰＢに記憶される符号化データＥＤのデータ量が適切な値（初期値ＩｎｉｔｉａｌＣｐｂ）に近づくように、各ピクチャの量子化スケールＰｉｃＱ、すなわち各ピクチャのデータ量を制御する。

ここで、バッファＣＰＢから単位時間に読み出されて復号部４に供給されるピクチャの数はピクチャレートによって規定される一定数であるため、各ピクチャのデータ量をＱ算出回路３４で制御することで、バッファＣＰＢに記憶されている符号化データＥＤのデータ量（バッファ蓄積量）を制御できる。

デブロックフィルタ３７は、逆量子化回路２９は、画像データＳ２６を逆量子化したデータに対してブロック歪みを除去する処理を実行するものである。デブロックフィルタ３７は、ブロック歪みを除去した画像データを逆直交変換回路３０に供給する。

以上、図２を用いて本発明の一実施形態にかかる符号化装置２の構成について説明した。次に、本発明の一実施形態にかかる符号化装置２に含まれるＱ算出回路３４の構成について説明する。

［１−３．Ｑ算出回路の構成］
図３は、本発明の一実施形態にかかる符号化装置２に含まれるＱ算出回路３４の構成を示す説明図である。以下、図３を用いて本発明の一実施形態にかかる符号化装置２に含まれるＱ算出回路３４の構成について説明する。

図３に示したように、Ｑ算出回路３４は、左Ｉピクチャ平均符号量計算部１０１ａと、左Ｐピクチャ平均符号量計算部１０１ｂと、左Ｂピクチャ平均符号量計算部１０１ｃと、右Ｐ’ピクチャ平均符号量計算部１０２ａと、右Ｐピクチャ平均符号量計算部１０２ｂと、右Ｂピクチャ平均符号量計算部１０２ｃと、平均レート計算部１０３と、量子化値計算部１０４と、を含んで構成される。

左Ｉピクチャ平均符号量計算部１０１ａは、バッファ２８から符号化データＥＤの供給を受けて、過去に入力された左目用画像のＩピクチャの平均符号量を計算するものである。左Ｉピクチャ平均符号量計算部１０１ａは、計算した左目用画像のＩピクチャの平均符号量を平均レート計算部１０３に出力する。

左Ｐピクチャ平均符号量計算部１０１ｂは、バッファ２８から符号化データＥＤの供給を受けて、過去に入力された左目用画像のＰピクチャの平均符号量を計算するものである。同様に、左Ｂピクチャ平均符号量計算部１０１ｃは、バッファ２８から符号化データＥＤの供給を受けて、過去に入力された左目用画像のＢピクチャの平均符号量を計算するものである。左Ｐピクチャ平均符号量計算部１０１ｂ及び左Ｂピクチャ平均符号量計算部１０１ｃは、算出した平均符号量を同様に平均レート計算部１０３に出力する。

左Ｉピクチャ平均符号量計算部１０１ａ等が平均符号量を算出する際には、直前の数フレームの符号化データＥＤの情報を用いる。平均符号量の算出に用いるフレームの数は任意の数であってもよい。

右Ｐ’ピクチャ平均符号量計算部１０２ａは、バッファ２８から符号化データＥＤの供給を受けて、過去に入力された右目用画像のＰ’ピクチャの平均符号量を計算するものである。なお、Ｐ’ピクチャとは、左目視点のＩピクチャと同時刻の右目視点のＰピクチャを指す。右Ｐ’ピクチャ平均符号量計算部１０２ａは、計算した右目用画像のＰ’ピクチャの平均符号量を平均レート計算部１０３に出力する。

右Ｐピクチャ平均符号量計算部１０２ｂは、バッファ２８から符号化データＥＤの供給を受けて、過去に入力された右目用画像のＰピクチャの平均符号量を計算するものである。同様に、右Ｂピクチャ平均符号量計算部１０２ｃは、バッファ２８から符号化データＥＤの供給を受けて、過去に入力された右目用画像のＢピクチャの平均符号量を計算するものである。右Ｐピクチャ平均符号量計算部１０２ｂ及び右Ｂピクチャ平均符号量計算部１０２ｃは、算出した平均符号量を同様に平均レート計算部１０３に出力する。

右Ｐ’ピクチャ平均符号量計算部１０２ａ等が平均符号量を算出する際には、直前の数フレームの符号化データＥＤの情報を用いる。平均符号量の算出に用いるフレームの数は任意の数であってもよい。

平均レート計算部１０３は、左Ｉピクチャ平均符号量計算部１０１ａ、左Ｐピクチャ平均符号量計算部１０１ｂ、左Ｂピクチャ平均符号量計算部１０１ｃ、右Ｐ’ピクチャ平均符号量計算部１０２ａ、右Ｐピクチャ平均符号量計算部１０２ｂ、及び右Ｂピクチャ平均符号量計算部１０２ｃから各視点、各ピクチャにおける平均符号量の情報を取得し、平均ビットレートを算出するものである。

平均レート計算部１０３は、各ピクチャにおける平均符号量の情報を取得して平均ビットレートを算出すると、算出した平均ビットレートの情報を量子化値計算部１０４に送る。

量子化値計算部１０４は、平均レート計算部１０３が算出した平均ビットレートと、量子化値計算部１０４の外部から送られてくる目標ビットレートの情報とを用いて量子化値を計算するものである。具体的には、量子化値計算部１０４は平均レート計算部１０３が算出した平均ビットレートを目標ビットレートに近づけるように量子化値を計算する。

量子化値計算部１０４における量子化値の計算は、例えば上記特許文献１に記載された方法を用いても良い。また、量子化値計算部１０４に供給する目標ビットレートの情報についても、例えば上記特許文献１に記載された方法を用いても良い。

量子化値計算部１０４が計算した量子化値は図２の量子化回路２６に送られる。量子化回路２６は、量子化値計算部１０４が計算した量子化値を用いて量子化を行う。このようにＱ算出回路３４を構成することで、フレームシーケンシャルの映像をピクチャタイプ、および視点毎に、符号量を個別に計測することができる。フレームシーケンシャルの映像をピクチャタイプ、および視点毎に、符号量を個別に計測することで、ピクチャタイプ毎、及び視点毎の平均符号量の急激な変動を抑えることができ、符号量制御が安定化する。

以上、図３を用いて本発明の一実施形態にかかる符号化装置２に含まれるＱ算出回路３４の構成について説明した。次に、本発明の一実施形態にかかる符号化装置２の動作について説明する。

［１−４．符号化装置の動作］
図４は、本発明の一実施形態にかかる符号化装置２の動作を示す流れ図であり、主にＱ算出回路３４の動作について示したものである。以下、図４を用いて本発明の一実施形態にかかる符号化装置２の動作について説明する。

バッファ２８から符号化データＥＤがＱ算出回路３４に供給されると、Ｑ算出回路３４は最初に、バッファ２８から供給された符号化データＥＤが左目用画像を符号化したものであるか否かを判断する（ステップＳ１０１）。左目用画像を符号化したものであるか否かの判断は、例えば当該ピクチャが基準のＩピクチャから何番目のピクチャであるかによって判断しても良い。基準のＩピクチャが左目用画像であれば、Ｉピクチャから偶数個離れたピクチャは左目用画像であり、奇数個離れていれば右目用画像と判断することができる。

上記ステップＳ１０１の判断の結果、バッファ２８から送られる符号化データＥＤが左目用画像を符号化したものであれば、続いてその符号化データＥＤがどのピクチャタイプであるかを判断する（ステップＳ１０２）。

上記ステップＳ１０２の判断の結果、ピクチャタイプがＩピクチャである場合には、左Ｉピクチャ平均符号量計算部１０１ａが、左目用画像のＩピクチャの平均符号量を計算する（ステップＳ１０３）。また、上記ステップＳ１０２の判断の結果、ピクチャタイプがＰピクチャである場合には、左Ｐピクチャ平均符号量計算部１０１ｂが、左目用画像のＰピクチャの平均符号量を計算する（ステップＳ１０４）。そして、上記ステップＳ１０２の判断の結果、ピクチャタイプがＢピクチャである場合には、左Ｂピクチャ平均符号量計算部１０１ｃが、左目用画像のＢピクチャの平均符号量を計算する（ステップＳ１０５）。

一方、上記ステップＳ１０１の判断の結果、バッファ２８から送られる符号化データＥＤが右目用画像を符号化したものであれば、続いてその符号化データＥＤがどのピクチャタイプであるかを判断する（ステップＳ１０６）。

上記ステップＳ１０６の判断の結果、ピクチャタイプがＰ’ピクチャである場合には、右Ｐ’ピクチャ平均符号量計算部１０２ａが、右目用画像のＰ’ピクチャの平均符号量を計算する（ステップＳ１０７）。また、上記ステップＳ１０６の判断の結果、ピクチャタイプがＰピクチャである場合には、右Ｐピクチャ平均符号量計算部１０２ｂが、右目用画像のＰピクチャの平均符号量を計算する（ステップＳ１０８）。そして、上記ステップＳ１０６の判断の結果、ピクチャタイプがＢピクチャである場合には、右Ｂピクチャ平均符号量計算部１０２ｃが、右目用画像のＢピクチャの平均符号量を計算する（ステップＳ１０９）。

各視点、各ピクチャの平均符号量を算出すると、続いて、平均レート計算部１０３が、計算された平均符号量を用いて平均ビットレートを計算する（ステップＳ１１０）。各視点、各ピクチャ単位で平均符号量を計算し、それらの平均符号量を用いて平均ビットレートを計算することで、平均レート計算部１０３の出力を安定させることができる。

上記ステップＳ１１０で、平均レート計算部１０３が各視点、各ピクチャの平均符号量を用いて平均ビットレートを計算すると、続いて量子化値計算部１０４が、上記ステップＳ１１０で計算された平均ビットレートと、量子化値計算部１０４の外部から送られてくる目標ビットレートの情報とを用いて量子化値を計算する（ステップＳ１１１）。

上記ステップＳ１１１で量子化値計算部１０４が量子化値を計算すると、符号化装置２はその量子化値を用いて符号化処理を実行する（ステップＳ１１２）。具体的には、量子化値計算部１０４が計算した量子化値を用いて量子化回路２６が量子化処理を実行する。

ここで、従来技術をそのまま適用した場合と、本実施形態にかかる符号化処理を適用した場合の平均符号量の違いについて例を挙げて説明する。

図５は、各ピクチャの符号量の変化を時系列で並べた例を示す説明図である。Ｉ_ｌ０、Ｉ_ｌ１０は左目用画像のＩピクチャの符号量を表し、Ｐ_ｒ１、Ｐ_ｒ１１は右目用画像のＰ’ピクチャの符号量を表す。同様に、Ｐ_ｌ２、Ｐ_ｌ６は左目用画像のＰピクチャの符号量を表し、Ｐ_ｒ３、Ｐ_ｒ７は左目用画像のＰピクチャの符号量を表す。そして、Ｂ_ｌ４、Ｂ_ｌ８は左目用画像のＢピクチャの符号量を表し、Ｂ_ｒ５、Ｂ_ｒ９は右目用画像のＢピクチャの符号量を表す。

このように、３Ｄ映像では、視点の異なる画像を交互に符号化するので、同一のピクチャタイプをであっても、フレームごとに符号量が大きく変動する場合がある。

図６は、従来の方法によって平均符号量を計算する場合を示す説明図である。従来は、単にピクチャタイプ別に平均符号量を算出していた。従って、単にピクチャタイプ別に平均符号量を算出しようとすると、図６に示したＰピクチャやＢピクチャのように符号量の変動が激しい場合には、平均符号量が大きく変動してしまい、制御が発散してしまうという問題があった。

図７は、本実施形態にかかる符号化処理を適用して平均符号量を計算する場合を示す説明図である。このように、視点ごと、ピクチャタイプごとに平均符号量を算出するようにすれば、符号量の変動が抑えられ、平均符号量が大きく変動することも無い。従って本実施形態にかかる符号化処理を用いることで、符号量制御の発散を抑えることが出来る。

以上、図４を用いて本発明の一実施形態にかかる符号化装置２の動作について説明した。次に、本発明の一実施形態にかかる符号化装置２に含まれるＱ算出回路３４の構成の変形例について説明する。

［１−５．Ｑ算出回路の変形例］
図８は、本発明の一実施形態にかかる符号化装置２に含まれるＱ算出回路３４の構成の変形例を示す説明図である。以下、図８を用いて本発明の一実施形態にかかる符号化装置２に含まれるＱ算出回路３４の構成の変形例について説明する。

図８に示したＱ算出回路３４は、図３に示したＱ算出回路３４に重み係数計算部１０５を追加したものである。重み係数計算部１０５は、画像検出回路３３から符号化する画像の情報を取得し、平均符号量の計算に際して用いる重み係数を算出するものである。重み係数計算部１０５が算出する重み係数は以下の式により用いられる平均符号量の算出に用いられる重み係数ｗである。
average_bit(n)=w*average_bit(n-1)+(1-w)*current_bit
ａｖｅｒａｇｅ＿ｂｉｔ（ｎ）はｎフレーム目の平均符号量を意味する。そしてｃｕｒｒｅｎｔ＿ｂｉｔは現在のフレームの符号量を表す。

なお、重み係数計算部１０５は、各視点、各ピクチャタイプに対して同一の重み係数を算出してもよく、視点によってそれぞれ異なる重み係数を算出してもよく、各視点、各ピクチャタイプに対してそれぞれ異なる重み係数を算出しても良い。図８には、一例として、重み係数計算部１０５が各視点、各ピクチャタイプに対してそれぞれ異なる重み係数を算出する状態を示している。

すなわち、重み係数計算部１０５は、左Ｉピクチャ平均符号量計算部１０１ａに対しては重み係数ｗ＿ｌｅｆｔ＿Ｉを、左Ｐピクチャ平均符号量計算部１０１ｂに対しては重み係数ｗ＿ｌｅｆｔ＿Ｐを、左Ｂピクチャ平均符号量計算部１０１ｃに対しては重み係数ｗ＿ｌｅｆｔ＿Ｂを算出し、算出した重み係数を送っている。同様に、重み係数計算部１０５は、右Ｐ’ピクチャ平均符号量計算部１０２ａに対しては重み係数ｗ＿ｒｉｇｈｔ＿Ｐ’を、右Ｐピクチャ平均符号量計算部１０２ｂに対しては重み係数ｗ＿ｒｉｇｈｔ＿Ｐを、右Ｂピクチャ平均符号量計算部１０２ｃに対しては重み係数ｗ＿ｒｉｇｈｔ＿Ｂを算出し、算出した重み係数を送っている。

このように、重み係数計算部１０５が各視点、各ピクチャタイプに対してそれぞれ異なる重み係数を算出することで、符号化しようとする三次元映像の内容に応じて、各視点、各ピクチャタイプに対してそれぞれ適切な重みによる平均符号量の算出が可能となる。

画像検出回路３３からは、符号化しようとする映像がどのようなシーンであるかのシーン情報が重み係数計算部１０５に送られる。シーンの例としては、激しい動きのあるシーン、静止しているシーン、フェードインしているシーン、フェードアウトしているシーンなどがある。また画像検出回路３３は、符号化しようとする映像が２Ｄ映像区間の映像か、３Ｄ映像区間の映像かについての情報も検出して重み係数計算部１０５に送る。

重み係数計算部１０５は、例えば、激しい動きのあるシーンや、フェードインしているシーン、フェードアウトしているシーンは、レートの追従性を上げるために重み係数ｗを小さくする。一方、あまり動きの無いシーンは、量子化値を安定化させるために重み係数を大きくする。また、２Ｄ映像区間と３Ｄ映像区間が混在しているような映像の場合は、重み係数計算部１０５は、２Ｄ映像区間と３Ｄ映像区間とで、左目用画像と右目用画像の重み係数ｗを変えるようにしてもよい。

このように、画像検出回路３３から符号化する画像の情報を取得し、重み係数計算部１０５で平均符号量の計算の際に用いられる重み係数を算出することで、映像の内容に適した平均符号量が可能になる。

［１−６．ハードウェア構成例］
次に、上述した本発明の一実施形態にかかる符号化装置２のハードウェア構成の一例をについて説明する。図９は、本発明の一実施形態にかかる符号化装置２のハードウェア構成例を示す説明図である。

図９に示したように、本発明の一実施形態にかかる符号化装置２は、主に、ＣＰＵ９０１と、ＲＯＭ９０３と、ＲＡＭ９０５と、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インターフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、画像処理装置１００の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。

ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。

入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなどユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、画像処理装置１００の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。画像処理装置１００のユーザは、この入力装置９１５を操作することにより、画像処理装置１００に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置９１７は、例えば、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置およびランプなどの表示装置や、スピーカおよびヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなど、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、画像処理装置１００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、画像処理装置１００が行った各種処理により得られた結果を、テキストまたはイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。

ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した音響信号データや画像信号データなどを格納する。

ドライブ９２１は、記録媒体用リーダライタであり、画像処理装置１００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア、コンパクトフラッシュ（登録商標）（ＣｏｍｐａｃｔＦｌａｓｈ：ＣＦ）、メモリースティック、または、ＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ）等である。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ ｃａｒｄ）または電子機器等であってもよい。

接続ポート９２３は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ｉ．Ｌｉｎｋ等のＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポート、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポート等の、機器を画像処理装置１００に直接接続するためのポートである。この接続ポート９２３に外部接続機器９２９を接続することで、画像処理装置１００は、外部接続機器９２９から直接音響信号データや画像信号データを取得したり、外部接続機器９２９に音響信号データや画像信号データを提供したりする。

通信装置９２５は、例えば、通信網９３１に接続するための通信デバイス等で構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、または、各種通信用のモデム等である。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線または無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信等であってもよい。

＜２．まとめ＞
以上説明したように本発明の一実施形態によれば、符号化装置２は、映像データを符号化する際に用いられる量子化値を計算する際に、視点ごと、ピクチャタイプごとに平均符号量を算出し、視点ごと、ピクチャタイプごとに算出した平均符号量の情報を用いて平均ビットレートを算出する。そして符号化装置２は、このように算出した平均ビットレートを用いて量子化値を計算する。

このように視点ごと、ピクチャタイプごとに平均符号量を算出することで、ピクチャタイプ毎、及び視点毎の平均符号量の急激な変動を抑えることができ、本発明の一実施形態に係る符号化装置２は、画像データの符合化処理に際して、符号量制御を安定化させることができる。

また、符号化しようとする画像データの内容に応じて、平均符号量の算出の際に用いる重み係数を算出するようにしてもよい。このように、符号化しようとする画像データの内容に応じて、平均符号量の算出の際に用いる重み係数を算出することで、視点毎、ピクチャタイプ毎により細かい平均符号量の算出が可能となる。

本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

２ 符号化装置
２２ Ａ／Ｄ変換回路
２３ 画面並べ替え回路
２４ 演算回路
２５ 直交変換回路
２６ 量子化回路
２７ 可逆符号化回路
２８ バッファ
２９ 逆量子化回路
３０ 逆直交変換回路
３１ フレームメモリ
３２ 動き予測・補償回路
３３ 画像検出回路
３４ Ｑ算出回路
３７ デブロックフィルタ
１０１ａ 左Ｉピクチャ平均符号量計算部
１０１ｂ 左Ｐピクチャ平均符号量計算部
１０１ｃ 左Ｂピクチャ平均符号量計算部
１０２ａ 右Ｐ’ピクチャ平均符号量計算部
１０２ｂ 右Ｐピクチャ平均符号量計算部
１０２ｃ 右Ｂピクチャ平均符号量計算部
１０３ 平均レート計算部
１０４ 量子化値計算部
１０５ 重み係数計算部

Claims (7)

1. 複数の視点からの画像で構成される画像データを符号化する符号化部と、
   前記符号化部が符号化した画像データに対して、視点及びピクチャタイプを判別し、視点毎及びピクチャタイプ毎に過去の符号量の情報を用いて平均符号量を算出する符号量算出部と、
   前記符号量算出部が視点毎及びピクチャタイプ毎に算出した平均符号量を用いて平均ビットレートを算出する平均レート計算部と、
   を備える、画像処理装置。
2. 符号化しようとする画像データを用いて、前記符号量算出部における視点毎及びピクチャタイプ毎の平均符号量の算出に用いる重み係数を視点毎及びピクチャタイプ毎に算出する重み係数計算部をさらに備える、請求項１に記載の画像処理装置。
3. 前記重み係数算出部は、符号化しようとする画像データが、複数の視点からの画像データが含まれている期間のデータであるか否かによって前記重み係数を高低させて算出する、請求項２に記載の画像処理装置。
4. 前記重み係数算出部は、符号化しようとする画像データのシーンを検出して、動きの大小に応じて前記重み係数を高低させて算出する、請求項２に記載の画像処理装置。
5. 視点毎及びピクチャタイプ毎に算出した平均符号量を用いて前記平均レート計算部が計算した前記平均ビットレートを用いて前記符号化部における符号化に用いられる量子化値を計算する量子化値計算部をさらに備える、請求項１に記載の画像処理装置。
6. 前記画像データはフレームシーケンシャルで構成される画像データである
   請求項１に記載に画像処理装置。
7. 複数の視点からの画像が交互のフレームに記録される画像データを符号化する符号化ステップと、
   前記符号化ステップが符号化した画像データに対して、視点及びピクチャタイプを判別し、視点毎及びピクチャタイプ毎に過去の符号量の情報を用いて平均符号量を算出する符号量算出ステップと、
   前記符号量算出ステップで視点毎及びピクチャタイプ毎に算出した平均符号量を用いて平均ビットレートを算出する平均レート計算ステップと、
   を備える、画像処理方法。

Images