JP2004274125A

Movatterモバイル変換

Info

Publication number: JP2004274125A
Application number: JP2003058379A
Authority: JP
Inventors: Yoshinari Senda; 吉成千田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-03-05
Filing date: 2003-03-05
Publication date: 2004-09-30

Abstract

<P>PROBLEM TO BE SOLVED: To display a title in an appropriate position. <P>SOLUTION: A title generating part 24 generates title data D, generates a distance parameter E indicating how long distance is secured from a user for displaying a title based on the title data D on a three-dimensional display device on a decoding side, namely, how long distance is secured from a display screen of the three-dimensional display device for locating superimposed characters, and supplies superimposed character data and the distance parameter to a multiplexing part 25. The multiplexing part 25 multiplexes the superimposed character data D and the distance parameter E supplied from the superimposed character generating part 24 on encoded image data C supplied from a stereo encoding part 23 on the basis of a predetermined format and transmits a multiplexed data stream F to a decoding system via a predetermined transmission path or medium. Thus, on the three-dimensional display device, the superimposed characters can be displayed to keep a predetermined distance of depth from the user. This invention can be applied to a stereo video camera. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

Translated fromJapanese

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法に関し、特に、例えば、ステレオ動画像の符号化および復号に用いて好適な画像処理装置および方法に関する。
【０００２】
【従来の技術】
従来、ステレオ動画像の符号化方式として、さまざまな手法が提案されている。例えば、２台のカメラを用いて左右の画像を符号化する際、一方の画像には、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）等で用いられている動き補償フレーム間予測符号化方式を用い、他方の画像には、視差補償予測または視差成分を、それぞれアフィン（Ａｆｆｉｎｅ）変換を用いて冗長性を除き、符号化する方式が提案されている。
【０００３】
また、１つの視点の画像を基準画像と定め、その基準画像に対して動き補償を行うとともに、基準画像以外の視差画像に対して視差補償を行い、ブロック毎に補償方法を選択することにより、符号化しているものもある（例えば、特許文献１参照）。
【０００４】
【特許文献１】
特開平１０−１９１３９４号公報
【０００５】
上述した特許文献１に開示されている技術の場合、平面動画像に比べて、ステレオ動画像は２倍のデータレートとなることから、左右画像の相関を利用して、冗長性を削減している。
【０００６】
しかしながら、この技術では、符号化側のデータレートの削減だけが考慮されており、復号側の表示に関しては、全く考慮されていない。
【０００７】
近年、符号化技術の進歩、およびプロセッサの演算速度の向上により、符号化側でデータレートを削減することが可能になっているとともに、ＡＤＳＬ（ＡｓｙｎｃｈｒｏｎｏｕｓＤｉｇｉｔａｌＳｕｂｓｃｒｉｂｅｒＬｏｏｐ）の普及、または、記録メディアの記録容量の増大により、データレートを削減することが、必ずしも重要ではなくなってきている。
【０００８】
【発明が解決しようとする課題】
ところで、復号側でステレオ表示する場合、例えば、ステレオ動画像に字幕を重畳させて表示することがある。
【０００９】
しかしながら、このような場合、ステレオ動画像は自然画像であり、もともと視差があるので、ステレオ動画像が復号側の表示画面で表示されるときには距離感が生じるように表示されるが、字幕は人工画像であり、そもそも視差がないので、字幕が復号側の表示画面で表示されるときには無限遠にあるものとして表示されてしまうという課題があった。
【００１０】
また、ステレオ動画像を字幕とともにステレオ表示する場合においては、字幕が遠い背景の一部として表示されてしまい、ユーザは、字幕が表示画面において常に画像の手前に表示される平面表示に比べ、違和感を感じてしまうという課題があった。
【００１１】
本発明はこのような状況に鑑みてなされたものであり、字幕を適切な位置に表示することができるようにすることを目的としている。
【００１２】
【課題を解決するための手段】
本発明の第１の画像処理装置は、ステレオ画像の画像データを取得する取得手段と、ステレオ画像に合成する合成画像の合成データを発生する第１の発生手段と、合成データに基づく合成画像の奥行き方向の表示位置を表すパラメータを発生する第２の発生手段と、合成データとパラメータを、ステレオ画像の画像データに多重化する多重化手段とを備えることを特徴とする。
【００１３】
合成画像は、字幕の画像であるようにすることができる。
【００１４】
本発明の第１の画像処理方法は、ステレオ画像の画像データを取得する取得ステップと、ステレオ画像に合成する合成画像の合成データを発生する第１の発生ステップと、合成データに基づく合成画像の奥行き方向の表示位置を表すパラメータを発生する第２の発生ステップと、合成データとパラメータを、ステレオ画像の画像データに多重化する多重化ステップとを含むことを特徴とする。
【００１５】
本発明の第２の画像処理装置は、入力データから、ステレオ画像の画像データ、ステレオ画像に合成される合成画像の合成データ、および合成データに基づく合成画像の奥行き方向の表示位置を表すパラメータを分離する分離手段と、ステレオ画像の画像データを復号する復号手段と、合成画像が変形するように合成データを変形処理する変形処理手段と、ステレオ画像の画像データに、変形処理手段により変形処理された合成データを、パラメータに基づいて合成する合成手段とを備えることを特徴とする。
【００１６】
合成画像は、字幕の画像であるようにすることができる。
【００１７】
本発明の第２の画像処理方法は、入力データから、ステレオ画像の画像データ、ステレオ画像に合成される合成画像の合成データ、および合成データに基づく合成画像の奥行き方向の表示位置を表すパラメータを分離する分離ステップと、ステレオ画像の画像データを復号する復号ステップと、合成画像が変形するように合成データを変形処理する変形処理ステップと、ステレオ画像の画像データに、変形処理ステップにより変形処理された合成データを、パラメータに基づいて合成する合成ステップとを含むことを特徴とする。
【００１８】
本発明の第１の画像処理装置および方法においては、ステレオ画像の画像データが取得され、ステレオ画像に合成する合成画像の合成データが発生され、合成データに基づく合成画像の奥行き方向の表示位置を表すパラメータが発生され、合成データとパラメータがステレオ画像の画像データに多重化される。
【００１９】
本発明の第２の画像処理装置および方法においては、入力データから、ステレオ画像の画像データ、ステレオ画像に合成される合成画像の合成データ、および合成データに基づく合成画像の奥行き方向の表示位置を表すパラメータが分離され、ステレオ画像の画像データが復号され、合成画像が変形するように合成データが変形処理され、ステレオ画像の画像データに、変形処理手段により変形処理された合成データが、パラメータに基づいて合成される。
【００２０】
【発明の実施の形態】
以下に、図面を参照しながら本発明の実施の形態について説明する。
【００２１】
図１は、観察者１が、対象物である背景２および前景３を観察した場合における立体視の原理を説明する図である。ここで、観察者１の眼球間の距離をＡ１とし、観察者１から背景２までの距離をＢ１とし、観察者１から前景３までの距離をＢ２とする。図１に示されるように、観察者１から背景２までの距離Ｂ１と前景３までの距離Ｂ２では、視差が異なり、この視差が観察者１に対し、距離間を与え、これにより、立体視を可能にしている。
【００２２】
図２は、このような原理に基づき立体画像を得て、これを符号化する本発明を適用した符号化システム１１の構成を表している。符号化システム１１は、ビデオカメラ２１、ビデオカメラ２２、ステレオ符号化部２３、字幕発生部２４、および多重化部２５により構成されている。
【００２３】
水平面内で所定の距離だけ離間して左右に配置されたビデオカメラ２１，２２は、対象物である図１に示した前景３をそれぞれ同時に撮像し、撮像された画像に対応する撮像信号をステレオ符号化部２３に出力する。
【００２４】
ステレオ符号化部２３は、左右のビデオカメラ２１，２２から入力された撮像信号に対して、一方の撮像信号を、通常のＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）２またはＭＰＥＧ４等の符号化方式によって符号化し、冗長性の少ないデータにする。これに対し、他方の撮像信号は、前記一方の撮像信号との誤差分として、例えば、差分符号化、またはアフィン符号化などにより冗長性が削減され、符号化データとされる。これら両者のデータにおいて、主符号化データとしては、前記一方の符号化データが用いられ、副符号化データとしては、前記他方の符号化データが、いわゆるエンハンスドデータとして用いられ、符号化画像データＣとして多重化部２５に供給される。
【００２５】
これにより、主符号化データは、通常のＭＰＥＧ符号化データとして扱うことができ、復号側が従来の平面表示装置である場合、従来のＭＰＥＧ復号装置をそのまま使用することができる。
【００２６】
字幕発生部２４は、字幕データＤを発生するとともに、復号側の立体表示装置４５（図４）において字幕をユーザからどのくらいの距離に表示するか、すなわち、立体表示装置４５の表示画面（図示せず）からどのくらいの距離に字幕があるように表示するかを示す距離パラメータ（奥行き方向の位置を表すパラメータ）Ｅを発生し、多重化部２５に供給する。
【００２７】
例えば、字幕発生部２４は、ユーザから２ｍの距離に字幕があるように表示することを示す３つの距離パラメータＥを生成することができる。これにより、字幕は、立体表示装置４５において、ユーザから２ｍの距離にあるように表示される。従って、映画のステレオ動画像をステレオ表示する場合、たとえシーンチェンジがあったとしても、ユーザは、違和感を感じることなく、字幕を常に同じ距離（例えば、ユーザから２ｍ）で見ることができる。
【００２８】
また、字幕発生部２４は、立体表示装置４５の表示画面上を指定する特別なコードを距離パラメータＥとして発生することも可能である。これにより、立体表示装置４５において、字幕は、表示画面に表示される画像に関係なく、表示画面上にあるように表示される。すなわち、字幕は、従来の平面表示（ステレオ表示ではない表示）と同じように表示される。
【００２９】
このように、復号側では、字幕発生部２４により発生される距離パラメータＥに基づいて、ステレオ動画像とは別に字幕データＤに基づく字幕の表示画面上での表示位置（表示位置）をコントロールすることができる。
【００３０】
多重化部２５は、ステレオ符号化部２３から供給された符号化画像データＣと、字幕発生部２４から供給された字幕データＤ、並びに距離パラメータＥを、所定のフォーマットに基づいて多重化する。
【００３１】
多重化されたデータストリームＦは、図３に示されるようなフォーマットで、所定の伝送路またはメディア（いずれも図示せず）を介して復号システム３１（図４）に伝送される。図３の例では、ＭＰＥＧデータ（符号化画像データＣ）の次に音声データが配置され、その次に、字幕データＤと距離パラメータＥが配置されている。
【００３２】
図４は、図２の符号化システム１１から伝送されてきたデータストリームを復号する本発明を適用した復号システム３１の構成を表している。復号システム３１は、デマルチプレクサ４１、復号部４２、字幕変形部４３、表示制御部４４、および立体表示装置４５により構成されている。
【００３３】
デマルチプレクサ４１は、伝送路またはメディアを介して、符号化システム１１（図２）から供給されたデータストリームＦを、符号化画像データＣ、および、字幕データＤと距離パラメータＥに分離する。デマルチプレクサ４１は、分離された符号化画像データＣを復号部４２に供給し、分離された字幕データＤと距離パラメータＥを字幕変形部４３に供給する。
【００３４】
復号部４２は、デマルチプレクサ４１から入力された符号化画像データＣに対して所定の処理を施し、ステレオ動画像に復号し、表示制御部４４に供給する。字幕変形部４３は、デマルチプレクサ４１から供給された距離パラメータＥに基づいて、字幕データＤに対して所定の画像変換処理を施し、字幕データＤを右チャンネル用字幕データＤ１と左チャンネル用字幕データＤ２に変形し、表示制御部４４に供給する。
【００３５】
表示制御部４４は、復号部４２からステレオ動画像データを取得するとともに、字幕変形部４３から右チャンネル用字幕データＤ１と左チャンネル用字幕データＤ２を取得し、それらを重畳して、立体表示装置４５に供給する。立体表示装置４５は、表示制御部４４からステレオ動画像、並びに右チャンネル用字幕データＤ１と左チャンネル用字幕データＤ２の重畳データを取得し、対応する画像を図示せぬ表示画面に表示する。
【００３６】
次に、図５のフローチャートを参照して、符号化システム１１におけるステレオ動画像の符号化処理について説明する。
【００３７】
ステップＳ１において、左右のビデオカメラ２１とビデオカメラ２２は、例えば、図６に示されるように、図中、破線で示される撮影範囲６１内に存在する対象物をそれぞれ同時に撮影する。図６の例の場合、撮影される対象物には、背景２および前景３が存在する。また、図６に示されるように、「新緑の季節」という字幕６２（すなわち、字幕データＤに基づく画像）は、画面の最も下側で、かつ、手前に表示されるものとする。
【００３８】
ステップＳ２において、ステレオ符号化部２３は、ステップＳ１の処理で撮影された撮像信号に対して、ＭＰＥＧ等の符号化方式によって所定の処理を施し、冗長性の少ない符号化画像データＣを生成し、多重化部２５に供給する。
【００３９】
ステップＳ３において、字幕発生部２４は、字幕データＤを発生し、多重化部２５に供給する。ステップＳ４において、字幕発生部２４は、立体表示装置４５（図４）の表示画面（図示せず）からどのくらいの距離に字幕データＤに基づく字幕があるように表示するかを示す距離パラメータＥを発生し、多重化部２５に供給する。
【００４０】
図７は、立体表示装置４５における字幕の表示距離を表している。図７に示されるように、背景２のビルや雲などのほぼ無限遠にある物体については、視差がほとんどない。これに対して、前景３の樹木には視差がある。また、字幕６２は、表示画面（図示せず）においては前景３より手前に位置するように表示するので、字幕６２については前景３に比べより大きな視差を生じさせなければならない。この距離は、ユーザが適宜設定する。
【００４１】
ステップＳ５において、多重化部２５は、ステレオ符号化部２３から供給された符号化画像データＣ、並びに、字幕発生部２４から供給された字幕データＤと距離パラメータＥを、所定のフォーマットに基づいて多重化する。ステップＳ６において、多重化部２５は、多重化されたデータストリームを、所定の伝送路またはメディアを介して復号システム３１（図４）に伝送する。
【００４２】
このように、符号化システム１１で符号化されたデータストリームには、立体表示装置４５の表示画面からどのくらいの距離に字幕データＤがあるように表示するかを示す距離パラメータＥが重畳されるため、復号側に対し、復号時における字幕の適切な表示位置を知らせることができる。従って、復号システム３１では、距離パラメータＥに基づいて、字幕を所定の距離にステレオ表示することができる。
【００４３】
なお、ステップＳ３とステップＳ４の処理は、その順番が逆、または並行して実行するようにしてもよい。
【００４４】
次に、図８のフローチャートを参照して、復号システム３１におけるステレオ動画像の復号処理について説明する。
【００４５】
ステップＳ２１において、デマルチプレクサ４１は、伝送路またはメディアを介して、符号化システム１１から供給されたデータストリームＦから、符号化画像データＣ、並びに、字幕データＤと距離パラメータＥに分離する。デマルチプレクサ４１は、分離された符号化画像データＣを復号部４２に供給し、分離された字幕データＤと距離パラメータＥを字幕変形部４３に供給する。ステップＳ２２において、復号部４２は、デマルチプレクサ４１から入力された符号化画像データＣに対して所定の処理を施し、ステレオ動画像データに復号し、表示制御部４４に供給する。
【００４６】
ステップＳ２３において、字幕変形部４３は、デマルチプレクサ４１から供給された距離パラメータＥに基づいて、字幕データＤに対して所定の画像変換処理を施し、字幕データＤを、右チャンネル用字幕データＤ１と左チャンネル用字幕データＤ２に変形する。すなわち、字幕変形部４３は、字幕データＤが立体表示装置４５の表示画面内でユーザに対し所定の距離（距離パラメータＥにより設定されている距離）に位置するように、字幕データＤに対し適切な視差を与える変形処理を行う。
【００４７】
具体的には、例えば、字幕データＤに対して簡単なグリッド変形を用いて画像変換処理が施される。
【００４８】
図９に示されるように、字幕変形部４３にデマルチプレクサ４１から供給された字幕データＤには、本来歪みのないオリジナル字幕１５１が含まれている。字幕変形部４３は、デマルチプレクサ４１から供給された距離パラメータＥに基づいて、図９に示されるように、字幕データＤに含まれるオリジナル字幕１５１の各文字の水平成分を傾斜変形し、オリジナル字幕１５１から右チャンネル用字幕データ１５２−１と左チャンネル用字幕データ１５２−２を生成する。
【００４９】
これにより、本来歪みのないオリジナル字幕１５１に対して、あたかも左右のビデオカメラで撮影したかのように、視差が考慮された変形（右チャンネル用字幕データ１５２−１と左チャンネル用字幕データ１５２−２への変形）が行われる。従って、字幕データＤが立体表示装置４５の表示画面内でユーザに対し所定の距離に位置するように、字幕データＤに対し適切な視差を与えることができる。
【００５０】
字幕変形部４３は、右チャンネル用字幕データＤ１と左チャンネル用字幕データＤ２を表示制御部４４に供給する。
【００５１】
ステップＳ２４において、表示制御部４４は、復号部４２からステレオ動画像データを取得し、字幕変形部４３から右チャンネル用字幕データＤ１と左チャンネル用字幕データＤ２を取得すると、これらが１画面内の画像となるように合成し、立体表示装置４５に供給する。ステップＳ２５において、立体表示装置４５は、表示制御部４４から供給された、右チャンネル用字幕データＤ１と左チャンネル用字幕データＤ２が合成されたステレオ動画像データに基づく画像を図示せぬ表示画面に表示する。
【００５２】
このようにして、復号装置３１では、立体表示画面４５の表示画面において字幕を所定の距離にステレオ表示することができる。
【００５３】
以上においては、ステレオ動画像に字幕を合成されるようにしたが、字幕以外の合成画像を合成する場合にも本発明は適用することができる。
【００５４】
上述した一連の処理（図５の符号化処理と図８の符号処理）は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【００５５】
図１０は、パーソナルコンピュータの構成を表している。図１０において、ＣＰＵ２０１は、ＲＯＭ２０２に記憶されているプログラム、または記憶部２０８からＲＡＭ２０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ２０３にはまた、ＣＰＵ２０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【００５６】
ＣＰＵ２０１、ＲＯＭ２０２、およびＲＡＭ２０３は、バス２０４を介して相互に接続されている。このバス２０４にはまた、入出力インタフェース２０５も接続されている。
【００５７】
入出力インタフェース２０５には、キーボード、マウスなどよりなる入力部２０６、ＣＲＴ（ＣａｔｈｏｄｅＲａｙＴｕｂｅ）、ＬＣＤ（ＬｉｑｉｕｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）などよりなるディスプレイ、並びにスピーカなどよりなる出力部２０７、ハードディスクなどより構成される記憶部２０８、モデム、ターミナルアダプタなどより構成される通信部２０９が接続されている。通信部２０９は、インターネット（図示せず）を含むネットワークを介しての通信処理を行う。
【００５８】
入出力インタフェース２０５にはまた、必要に応じてドライブ２１０が接続され、磁気ディスク２２１、光ディスク２２２、光磁気ディスク２２３、或いは半導体メモリ２２４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部２０８にインストールされる。
【００５９】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム格納媒体は、図１０に示されるように、磁気ディスク２２１（フロッピディスクを含む）、光ディスク２２２（ＣＤ−ＲＯＭ（ＣｏｍｐａｃｔＤｉｓｋ−ＲｅａｄＯｎｌｙＭｅｍｏｒｙ），ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋ）を含む）、光磁気ディスク２２３（ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）を含む）、もしくは半導体メモリ２２４などよりなるパッケージメディア、または、プログラムが一時的もしくは永続的に格納されるＲＯＭ２２２や、記憶部２２８を構成するハードディスクなどにより構成される。プログラム格納媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【００６０】
なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００６１】
【発明の効果】
以上のように、本発明によれば、ステレオ動画像を符号化することができる。特に、復号側に、復号時における字幕の適切な表示位置を知らせることができる。
【００６２】
さらに、ステレオ動画像を復号することができる。また、復号側が字幕を適切な距離に表示することができる。
【図面の簡単な説明】
【図１】立体視の原理を説明するための図である。
【図２】本発明を適用した符号化システムの構成を示すブロック図である。
【図３】データストリームの構成を示す図である。
【図４】本発明を適用した復号システムの構成を示すブロック図である。
【図５】図２の符号化システムにおけるステレオ動画像の符号化処理を説明するフローチャートである。
【図６】撮影範囲を説明するための図である。
【図７】立体表示装置における字幕の表示距離を示す図である。
【図８】図４の復号システムにおけるステレオ動画像の復号処理を説明するフローチャートである。
【図９】図４の字幕変形部における画像変換による変形を説明するための図である。
【図１０】パーソナルコンピュータの構成を示すブロック図である。
【符号の説明】
１１符号化システム，２１，２２ビデオカメラ，２３ステレオ符号化部，２４字幕発生部，２５多重化部，３１復号システム，４１デマルチプレクサ，４２復号部，４３字幕変形部，４４表示制御部，４５立体表示装置[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image processing apparatus and method, and more particularly, to an image processing apparatus and method suitable for use in encoding and decoding stereo moving images, for example.
[0002]
[Prior art]
Conventionally, various methods have been proposed as encoding methods for stereo moving images. For example, when encoding left and right images using two cameras, one of the images uses a motion-compensated inter-frame prediction encoding method used in MPEG (Moving Picture Experts Group) or the like, while the other image uses the other. There has been proposed a method of encoding a disparity-compensated prediction or a disparity component of an image using an affine transformation to eliminate redundancy.
[0003]
Also, by defining an image of one viewpoint as a reference image, performing motion compensation on the reference image, performing disparity compensation on a disparity image other than the reference image, and selecting a compensation method for each block, Some are encoded (for example, see Patent Document 1).
[0004]
[Patent Document 1]
JP 10-191394 A
In the case of the technology disclosed inPatent Document 1 described above, a stereo moving image has a data rate that is twice that of a plane moving image. I have.
[0006]
However, in this technique, only reduction of the data rate on the encoding side is considered, and display on the decoding side is not considered at all.
[0007]
In recent years, advances in coding technology and improvements in the processing speed of processors have made it possible to reduce the data rate on the coding side, and the spread of ADSL (Asynchronous Digital Subscriber Loop) or the spread of recording media With the increase in recording capacity, reducing the data rate is not always important.
[0008]
[Problems to be solved by the invention]
By the way, when stereo display is performed on the decoding side, for example, subtitles may be superimposed on a stereo moving image and displayed.
[0009]
However, in such a case, since the stereo moving image is a natural image and originally has a parallax, when the stereo moving image is displayed on the display screen on the decoding side, the stereo moving image is displayed so as to give a sense of distance, but the caption is artificial. Since the image is an image and has no parallax in the first place, there is a problem that when the subtitle is displayed on the display screen on the decoding side, it is displayed as being at infinity.
[0010]
In addition, when a stereo moving image is displayed in stereo along with subtitles, the subtitles are displayed as a part of a distant background, and the user feels uncomfortable compared to the flat display in which the subtitles are always displayed in front of the image on the display screen. There was a problem of feeling.
[0011]
The present invention has been made in view of such a situation, and an object of the present invention is to enable a subtitle to be displayed at an appropriate position.
[0012]
[Means for Solving the Problems]
A first image processing apparatus according to the present invention includes: an obtaining unit that obtains image data of a stereo image; a first generating unit that generates synthetic data of a synthetic image to be synthesized with the stereo image; It is characterized by comprising a second generating means for generating a parameter representing a display position in the depth direction, and a multiplexing means for multiplexing the combined data and the parameter with the image data of the stereo image.
[0013]
The composite image may be a caption image.
[0014]
A first image processing method according to the present invention includes an obtaining step of obtaining image data of a stereo image, a first generating step of generating synthesized data of a synthesized image to be synthesized with the stereo image, and a step of generating a synthesized image based on the synthesized data. The method includes a second generation step of generating a parameter representing a display position in the depth direction, and a multiplexing step of multiplexing the combined data and the parameter with image data of a stereo image.
[0015]
The second image processing device according to the present invention is configured to convert, from input data, image data of a stereo image, synthetic data of a synthetic image synthesized with the stereo image, and a parameter representing a display position in the depth direction of the synthetic image based on the synthetic data. Separation means for separating, decoding means for decoding image data of the stereo image, transformation processing means for transforming the synthesized data so that the synthesized image is deformed, and transformation processing means for transforming the image data of the stereo image by the transformation processing means. Combining means for combining the combined data based on the parameters.
[0016]
The composite image may be a caption image.
[0017]
According to a second image processing method of the present invention, from input data, image data of a stereo image, synthetic data of a synthetic image synthesized with the stereo image, and a parameter representing a display position in the depth direction of the synthetic image based on the synthetic data are obtained. A separation step of separating, a decoding step of decoding image data of the stereo image, a deformation processing step of deforming the synthesized data so that the synthesized image is deformed, and a deformation processing step of transforming the stereo image data into image data. A combining step of combining the combined data based on the parameters.
[0018]
In the first image processing apparatus and method of the present invention, image data of a stereo image is obtained, synthetic data of a synthetic image to be synthesized with the stereo image is generated, and a display position in the depth direction of the synthetic image based on the synthetic data is determined. Generated parameters are generated and the combined data and parameters are multiplexed into the image data of the stereo image.
[0019]
In the second image processing apparatus and method according to the present invention, from input data, image data of a stereo image, synthetic data of a synthetic image synthesized with the stereo image, and a display position in the depth direction of the synthetic image based on the synthetic data are determined. The parameters to be represented are separated, the image data of the stereo image is decoded, and the synthesized data is deformed so that the synthesized image is deformed. It is synthesized based on
[0020]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0021]
FIG. 1 is a diagram illustrating the principle of stereoscopic vision when anobserver 1 observes abackground 2 and a foreground 3 that are objects. Here, the distance between the eyes of theobserver 1 is A1, the distance from theobserver 1 to thebackground 2 is B1, and the distance from theobserver 1 to the foreground 3 is B2. As shown in FIG. 1, the parallax is different between the distance B1 from theobserver 1 to thebackground 2 and the distance B2 from the foreground 3, and this parallax gives the observer 1 a distance, thereby providing a stereoscopic view. Is possible.
[0022]
FIG. 2 shows a configuration of an encoding system 11 to which the present invention is applied, which obtains a stereoscopic image based on such a principle and encodes it. The encoding system 11 includes avideo camera 21, avideo camera 22, astereo encoding unit 23, acaption generation unit 24, and amultiplexing unit 25.
[0023]
Thevideo cameras 21 and 22 arranged on the left and right sides at a predetermined distance in the horizontal plane simultaneously capture the foreground 3 shown in FIG. 1 which is the target object, respectively, and convert an imaging signal corresponding to the captured image into a stereo image. Output to theencoding unit 23.
[0024]
Thestereo encoder 23 encodes one of the image signals input from the left andright video cameras 21 and 22 using an encoding method such as a normal MPEG (Moving Picture Experts Group) 2 or MPEG4. , Make the data less redundant. On the other hand, the other image signal is reduced as redundancy from the one image signal by, for example, differential encoding or affine encoding to be encoded data. In both of these data, the one encoded data is used as main encoded data, and the other encoded data is used as so-called enhanced data as sub-encoded data. Is supplied to themultiplexing unit 25.
[0025]
Thus, the main encoded data can be handled as normal MPEG encoded data, and when the decoding side is a conventional flat display device, the conventional MPEG decoding device can be used as it is.
[0026]
Thecaption generation unit 24 generates caption data D and determines how far the caption is displayed from the user on the decoding-side stereoscopic display device 45 (FIG. 4), that is, the display screen of the stereoscopic display device 45 (shown in FIG. 4). The distance parameter (parameter indicating the position in the depth direction) E indicating how far the subtitles should be displayed from the subtitles is generated and supplied to themultiplexing unit 25.
[0027]
For example, thecaption generation unit 24 can generate three distance parameters E indicating that the caption is displayed such that the caption is displayed at a distance of 2 m from the user. Thereby, the caption is displayed on thestereoscopic display device 45 so as to be at a distance of 2 m from the user. Therefore, when displaying a stereo moving image of a movie in stereo, even if there is a scene change, the user can always see the subtitles at the same distance (for example, 2 m from the user) without feeling uncomfortable.
[0028]
Further, thecaption generation unit 24 can also generate a special code specifying a display screen of thestereoscopic display device 45 as the distance parameter E. Thus, in thestereoscopic display device 45, the caption is displayed as if it were on the display screen, regardless of the image displayed on the display screen. That is, the caption is displayed in the same manner as the conventional flat display (display other than stereo display).
[0029]
Thus, on the decoding side, based on the distance parameter E generated by thecaption generation unit 24, the display position (display position) of the caption based on the caption data D on the display screen is controlled separately from the stereo moving image. be able to.
[0030]
The multiplexingunit 25 multiplexes the encoded image data C supplied from thestereo encoding unit 23, the subtitle data D supplied from thesubtitle generating unit 24, and the distance parameter E based on a predetermined format.
[0031]
The multiplexed data stream F is transmitted to the decoding system 31 (FIG. 4) via a predetermined transmission path or medium (neither is shown) in a format as shown in FIG. In the example of FIG. 3, audio data is arranged next to the MPEG data (encoded image data C), followed by subtitle data D and a distance parameter E.
[0032]
FIG. 4 shows a configuration of adecoding system 31 to which the present invention is applied, which decodes a data stream transmitted from the encoding system 11 of FIG. Thedecoding system 31 includes ademultiplexer 41, adecoding unit 42, acaption transformation unit 43, adisplay control unit 44, and astereoscopic display device 45.
[0033]
Thedemultiplexer 41 separates the data stream F supplied from the encoding system 11 (FIG. 2) into encoded image data C, subtitle data D, and a distance parameter E via a transmission path or a medium. Thedemultiplexer 41 supplies the separated encoded image data C to thedecoding unit 42, and supplies the separated subtitle data D and the distance parameter E to thesubtitle transformation unit 43.
[0034]
Thedecoding unit 42 performs predetermined processing on the encoded image data C input from thedemultiplexer 41, decodes the encoded image data C into a stereo moving image, and supplies the stereo moving image to thedisplay control unit 44. Thecaption transformation unit 43 performs a predetermined image conversion process on the caption data D based on the distance parameter E supplied from thedemultiplexer 41, and converts the caption data D into the right channel caption data D1 and the left channel caption data. It is transformed into D2 and supplied to thedisplay control unit 44.
[0035]
Thedisplay control unit 44 acquires the stereo moving image data from thedecoding unit 42, acquires the right channel subtitle data D1 and the left channel subtitle data D2 from thesubtitle deforming unit 43, and superimposes them on the stereoscopic display device. 45. Thestereoscopic display device 45 acquires a stereo moving image and superimposed data of the right channel subtitle data D1 and the left channel subtitle data D2 from thedisplay control unit 44, and displays the corresponding image on a display screen (not shown).
[0036]
Next, an encoding process of a stereo moving image in the encoding system 11 will be described with reference to a flowchart of FIG.
[0037]
In step S1, the left andright video cameras 21 and 22 simultaneously capture, for example, as shown in FIG. 6, an object existing within animaging range 61 indicated by a broken line in the figure. In the case of the example in FIG. 6, abackground 2 and a foreground 3 are present in an object to be photographed. Also, as shown in FIG. 6, thecaption 62 “the season of fresh green” (that is, an image based on the caption data D) is displayed at the bottom of the screen and in front.
[0038]
In step S2, thestereo encoding unit 23 performs predetermined processing on the imaging signal captured in the processing in step S1 by an encoding method such as MPEG to generate encoded image data C with less redundancy. , To the multiplexingunit 25.
[0039]
In step S3, thecaption generation unit 24 generates caption data D and supplies the caption data D to themultiplexing unit 25. In step S4, thecaption generation unit 24 sets a distance parameter E indicating how far from the display screen (not shown) of the stereoscopic display device 45 (FIG. 4) the caption based on the caption data D is displayed. Generated and supplied to themultiplexing unit 25.
[0040]
FIG. 7 shows a display distance of a caption on thestereoscopic display device 45. As shown in FIG. 7, there is almost no parallax for an object at almost infinity, such as a building or a cloud in thebackground 2. In contrast, the trees in the foreground 3 have parallax. Also, since thesubtitles 62 are displayed on the display screen (not shown) so as to be located closer to the foreground 3, thesubtitles 62 must generate a larger parallax than the foreground 3. This distance is appropriately set by the user.
[0041]
In step S5, the multiplexingunit 25 converts the encoded image data C supplied from thestereo encoding unit 23, and the subtitle data D and the distance parameter E supplied from thesubtitle generating unit 24, based on a predetermined format. Multiplex. In step S6, the multiplexingunit 25 transmits the multiplexed data stream to the decoding system 31 (FIG. 4) via a predetermined transmission path or medium.
[0042]
As described above, the distance parameter E indicating how far from the display screen of thestereoscopic display device 45 the caption data D is displayed is superimposed on the data stream encoded by the encoding system 11. , The decoding side can be notified of the appropriate display position of the caption at the time of decoding. Therefore, in thedecoding system 31, the caption can be stereoscopically displayed at a predetermined distance based on the distance parameter E.
[0043]
The processing of step S3 and step S4 may be performed in the reverse order or in parallel.
[0044]
Next, decoding processing of a stereo moving image in thedecoding system 31 will be described with reference to the flowchart in FIG.
[0045]
In step S21, thedemultiplexer 41 separates the encoded image data C, the subtitle data D, and the distance parameter E from the data stream F supplied from the encoding system 11 via a transmission path or a medium. Thedemultiplexer 41 supplies the separated encoded image data C to thedecoding unit 42, and supplies the separated subtitle data D and the distance parameter E to thesubtitle transformation unit 43. In step S22, thedecoding unit 42 performs predetermined processing on the encoded image data C input from thedemultiplexer 41, decodes the encoded image data C into stereo moving image data, and supplies the stereo moving image data to thedisplay control unit 44.
[0046]
In step S23, thecaption transformation unit 43 performs a predetermined image conversion process on the caption data D based on the distance parameter E supplied from thedemultiplexer 41, and converts the caption data D into the right channel caption data D1. It is transformed into subtitle data D2 for the left channel. That is, thecaption deforming unit 43 appropriately applies the caption data D to the user on the display screen of thestereoscopic display device 45 at a predetermined distance (the distance set by the distance parameter E). Perform a deformation process that gives a great parallax.
[0047]
Specifically, for example, image conversion processing is performed on the caption data D using a simple grid transformation.
[0048]
As shown in FIG. 9, the subtitle data D supplied from thedemultiplexer 41 to thesubtitle transformation unit 43 includes anoriginal subtitle 151 that is originally free from distortion. Thesubtitle transformation unit 43 obliquely transforms the horizontal component of each character of theoriginal subtitle 151 included in the subtitle data D, based on the distance parameter E supplied from thedemultiplexer 41, as shown in FIG. 151, the subtitle data 152-1 for the right channel and the subtitle data 152-2 for the left channel are generated.
[0049]
As a result, theoriginal subtitle 151 having no distortion is transformed in consideration of the parallax as if photographed by the left and right video cameras (the subtitle data for right channel 152-1 and the subtitle data for left channel 152- 2). Therefore, appropriate parallax can be given to the subtitle data D so that the subtitle data D is located at a predetermined distance to the user within the display screen of thestereoscopic display device 45.
[0050]
Thesubtitle transformation unit 43 supplies the right channel subtitle data D1 and the left channel subtitle data D2 to thedisplay control unit 44.
[0051]
In step S24, thedisplay control unit 44 acquires the stereo moving image data from thedecoding unit 42, and acquires the right channel subtitle data D1 and the left channel subtitle data D2 from thesubtitle deforming unit 43. The images are synthesized so as to form an image and supplied to thestereoscopic display device 45. In step S25, thestereoscopic display device 45 displays, on a display screen (not shown), an image based on the stereo moving image data in which the subtitle data D1 for the right channel and the subtitle data D2 for the left channel supplied from thedisplay control unit 44 are combined. indicate.
[0052]
In this way, thedecoding device 31 can display the caption stereoscopically at a predetermined distance on the display screen of thestereoscopic display screen 45.
[0053]
In the above description, subtitles are combined with a stereo moving image. However, the present invention can be applied to a case where a combined image other than subtitles is combined.
[0054]
The series of processes described above (the encoding process in FIG. 5 and the encoding process in FIG. 8) can be executed by hardware or can be executed by software. When a series of processing is executed by software, a program constituting the software may execute various functions by installing a computer built into dedicated hardware or installing various programs. It is installed in a possible, for example, a general-purpose personal computer from a network or a recording medium.
[0055]
FIG. 10 shows a configuration of a personal computer. In FIG. 10, aCPU 201 executes various processes according to a program stored in aROM 202 or a program loaded from astorage unit 208 into aRAM 203. TheRAM 203 also appropriately stores data necessary for theCPU 201 to execute various processes.
[0056]
TheCPU 201, theROM 202, and theRAM 203 are mutually connected via abus 204. An input /output interface 205 is also connected to thebus 204.
[0057]
The input /output interface 205 includes aninput unit 206 including a keyboard and a mouse, a display including a CRT (Cathode Ray Tube), an LCD (Liquid Crystal Display), anoutput unit 207 including a speaker, and a storage including a hard disk. Acommunication unit 209 including aunit 208, a modem, a terminal adapter, and the like is connected. Thecommunication unit 209 performs communication processing via a network including the Internet (not shown).
[0058]
Adrive 210 is connected to the input /output interface 205 as necessary, and amagnetic disk 221, anoptical disk 222, a magneto-optical disk 223, asemiconductor memory 224, or the like is appropriately mounted. It is installed in thestorage unit 208 as needed.
[0059]
As shown in FIG. 10, a program storage medium that is installed in a computer and stores a program that can be executed by the computer includes a magnetic disk 221 (including a floppy disk), an optical disk 222 (CD-ROM (Compact Disk)). A package medium including a read only memory (DVD) (including a digital versatile disk), a magneto-optical disk 223 (including an MD (mini-disk)), or asemiconductor memory 224, or a program temporarily or permanently. And a hard disk constituting the storage unit 228. The storage of the program in the program storage medium is performed using a wired or wireless communication medium such as a local area network, the Internet, or digital satellite broadcasting via an interface such as a router or a modem as necessary.
[0060]
In this specification, the steps of describing a program stored in a program storage medium may be performed in chronological order according to the described order, or may be performed in parallel, even if not necessarily performed in chronological order. Alternatively, it also includes individually executed processing.
[0061]
【The invention's effect】
As described above, according to the present invention, a stereo moving image can be encoded. In particular, it is possible to notify the decoding side of an appropriate display position of the caption at the time of decoding.
[0062]
Further, a stereo moving image can be decoded. Also, the decoding side can display the caption at an appropriate distance.
[Brief description of the drawings]
FIG. 1 is a diagram for explaining the principle of stereoscopic vision.
FIG. 2 is a block diagram illustrating a configuration of an encoding system to which the present invention has been applied.
FIG. 3 is a diagram showing a configuration of a data stream.
FIG. 4 is a block diagram illustrating a configuration of a decoding system to which the present invention has been applied.
5 is a flowchart illustrating a stereo moving image encoding process in the encoding system of FIG. 2;
FIG. 6 is a diagram for explaining a photographing range.
FIG. 7 is a diagram illustrating a display distance of a caption in a stereoscopic display device.
FIG. 8 is a flowchart illustrating a decoding process of a stereo moving image in the decoding system of FIG. 4;
FIG. 9 is a diagram for explaining a transformation by image conversion in the caption transformation unit of FIG. 4;
FIG. 10 is a block diagram illustrating a configuration of a personal computer.
[Explanation of symbols]
Reference Signs List 11 encoding system, 21 and 22 video camera, 23 stereo encoding unit, 24 caption generation unit, 25 multiplexing unit, 31 decoding system, 41 demultiplexer, 42 decoding unit, 43 caption transformation unit, 44 display control unit, 45 3D display device

Claims

Translated fromJapanese

ステレオ画像の画像データを取得する取得手段と、
前記ステレオ画像に合成する合成画像の合成データを発生する第１の発生手段と、
前記合成データに基づく合成画像の奥行き方向の表示位置を表すパラメータを発生する第２の発生手段と、
前記合成データと前記パラメータを、前記ステレオ画像の画像データに多重化する多重化手段と
を備えることを特徴とする画像処理装置。Acquiring means for acquiring image data of a stereo image,
First generating means for generating synthetic data of a synthetic image to be synthesized with the stereo image;
Second generating means for generating a parameter representing a display position in the depth direction of the composite image based on the composite data;
An image processing apparatus comprising: a multiplexing unit that multiplexes the combined data and the parameter into image data of the stereo image.

前記合成画像は、字幕の画像である
ことを特徴とする請求項１に記載の画像処理装置。The image processing apparatus according to claim 1, wherein the composite image is a caption image.

ステレオ画像の画像データを取得する取得ステップと、
前記ステレオ画像に合成する合成画像の合成データを発生する第１の発生ステップと、
前記合成データに基づく合成画像の奥行き方向の表示位置を表すパラメータを発生する第２の発生ステップと、
前記合成データと前記パラメータを、前記ステレオ画像の画像データに多重化する多重化ステップと
を含むことを特徴とする画像処理方法。An acquisition step of acquiring image data of a stereo image,
A first generating step of generating synthetic data of a synthetic image to be synthesized with the stereo image;
A second generation step of generating a parameter representing a display position in a depth direction of a composite image based on the composite data;
A multiplexing step of multiplexing the composite data and the parameter with image data of the stereo image.

入力データから、ステレオ画像の画像データ、前記ステレオ画像に合成される合成画像の合成データ、および前記合成データに基づく合成画像の奥行き方向の表示位置を表すパラメータを分離する分離手段と、
前記ステレオ画像の画像データを復号する復号手段と、
前記合成画像が変形するように前記合成データを変形処理する変形処理手段と、
前記ステレオ画像の画像データに、前記変形処理手段により変形処理された前記合成データを、前記パラメータに基づいて合成する合成手段と
を備えることを特徴とする画像処理装置。Separating means for separating, from the input data, image data of a stereo image, synthesized data of a synthesized image synthesized with the stereo image, and a parameter indicating a display position in a depth direction of the synthesized image based on the synthesized data;
Decoding means for decoding the image data of the stereo image;
Transformation processing means for transforming the composite data so that the composite image is transformed;
An image processing apparatus comprising: a synthesizing unit configured to synthesize the synthesized data subjected to the deformation processing by the deformation processing unit with the image data of the stereo image based on the parameter.

前記合成画像は、字幕の画像である
ことを特徴とする請求項４に記載の画像処理装置。The image processing apparatus according to claim 4, wherein the composite image is a caption image.

入力データから、ステレオ画像の画像データ、前記ステレオ画像に合成される合成画像の合成データ、および前記合成データに基づく合成画像の奥行き方向の表示位置を表すパラメータを分離する分離ステップと、
前記ステレオ画像の画像データを復号する復号ステップと、
前記合成画像が変形するように前記合成データを変形処理する変形処理ステップと、
前記ステレオ画像の画像データに、前記変形処理ステップにより変形処理された前記合成データを、前記パラメータに基づいて合成する合成ステップと
を含むことを特徴とする画像処理方法。A separation step of separating, from the input data, image data of a stereo image, synthesized data of a synthesized image synthesized with the stereo image, and a parameter indicating a display position in a depth direction of the synthesized image based on the synthesized data;
A decoding step of decoding image data of the stereo image,
A transformation processing step of transforming the composite data so that the composite image is transformed;
A synthesizing step of synthesizing, based on the parameters, the synthesized data deformed in the deformation processing step with the image data of the stereo image.