JP2012023488A - Image processor, image processing method, display device, and program - Google Patents
Image processor, image processing method, display device, and programDownload PDFInfo
- Publication number
- JP2012023488A JP2012023488AJP2010158751AJP2010158751AJP2012023488AJP 2012023488 AJP2012023488 AJP 2012023488AJP 2010158751 AJP2010158751 AJP 2010158751AJP 2010158751 AJP2010158751 AJP 2010158751AJP 2012023488 AJP2012023488 AJP 2012023488A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- stereoscopic
- display
- image
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
Translated fromJapanese本発明は、表示装置において立体視を実現するための技術に関する。 The present invention relates to a technique for realizing stereoscopic vision in a display device.
近年では、携帯電話機、パーソナルコンピュータ或いはテレビジョンなどの、表示機能を有する電子機器において、立体感がある画像を表示することが可能なディスプレイが実装されつつある。一方で、このような立体感のある画像を表示するための画像データを生成する機能を備えた電子機器も普及しつつある。例えば、一定の距離を隔てて設けられた２つのカメラで同時に被写体を撮影して１組の画像データを生成するといったものが知られている。また、特に被写体が静止している場合には、１つのカメラの位置を移動させてそれぞれ１回ずつ撮影することで、上記のような１組の画像データを生成することも可能である。これら１組の画像は、人間の右目と左目にそれぞれ対応しており、ステレオ画像と呼ばれている。 In recent years, a display capable of displaying a stereoscopic image is being mounted on an electronic device having a display function such as a mobile phone, a personal computer, or a television. On the other hand, electronic devices having a function of generating image data for displaying an image having such a stereoscopic effect are also becoming popular. For example, it is known that a set of image data is generated by simultaneously photographing a subject with two cameras provided at a certain distance. In particular, when the subject is stationary, it is also possible to generate a set of image data as described above by moving the position of one camera and shooting each time once. These one set of images correspond to the human right eye and left eye, respectively, and are called stereo images.
このようなステレオ画像以外にも、一定の距離を隔てて設けられた３以上の複数のカメラで同時に被写体を撮影して得られた１組の画像や、１つのカメラを移動させて３回以上撮影することで得られた１組の画像などが、立体感のある画像を表示するものとして知られている。また、レンジセンサによる計測処理や所定の画像処理等を経て取得された被写体の深度情報を含む単一または複数の画像も、立体視を実現するものである。これら画像の画像データは、いずれも、利用者の左目及び右目に異なる映像を提示して立体感のある画像（立体画像）を表示可能とする画像データであり、以下では、立体画像データと呼ぶこととする。 In addition to such stereo images, a set of images obtained by simultaneously photographing a subject with three or more cameras provided at a fixed distance, or a single camera moved three times or more A set of images obtained by shooting is known as displaying a stereoscopic image. A single image or a plurality of images including depth information of a subject acquired through measurement processing by a range sensor, predetermined image processing, and the like also realize stereoscopic viewing. The image data of these images is image data that can display different images (stereoscopic images) by presenting different images to the left and right eyes of the user, and is hereinafter referred to as stereoscopic image data. I will do it.
このように、エンドユーザがステレオ画像を含む各種の立体画像データを作成し得る環境が整いつつあるが、これを表示する電子機器においては、ディスプレイの大きさや、利用者の視点からディスプレイまでの距離（視距離という）などの表示環境に応じて、画像の立体感が変化する。このため、立体画像データの生成時に想定していた表示環境と、それを現実に表示する電子機器における表示環境とが整合していないと、例えば立体感が乏しくて迫力が無い画像が表示されるとか、逆に、立体感が強すぎて両目で見た画像を一つの画像として認識すること（融像という）が困難になる場合がある。さらに、ディスプレイが立体視を前提とした表示方式であるか否かとか、また、立体視を前提とした表示方式であったときの視点数なども、立体画像の見え方に大きな影響を与える。このような理由から、立体視を前提とした立体画像データを生成する際には、それを現実に表示する表示装置におけるディスプレイの物理的サイズ、表示方式、視点数または視距離等の、様々な表示環境を予め正確に特定しておかないと、好ましい立体視が実現できない。 As described above, an environment in which various kinds of stereoscopic image data including a stereo image can be created by an end user is being prepared. However, in an electronic device that displays this, the size of the display and the distance from the user's viewpoint to the display The stereoscopic effect of the image changes according to the display environment such as (viewing distance). For this reason, if the display environment assumed at the time of generating stereoscopic image data does not match the display environment in the electronic device that actually displays it, for example, an image with a poor stereoscopic effect and no power is displayed. On the other hand, there is a case where it is difficult to recognize an image viewed with both eyes as one image (referred to as fusion) because the stereoscopic effect is too strong. Further, whether or not the display is a display method based on stereoscopic vision, and the number of viewpoints when the display method is based on stereoscopic vision, have a great influence on how a stereoscopic image is seen. For these reasons, when generating stereoscopic image data on the premise of stereoscopic vision, there are various types such as the physical size of the display, the display method, the number of viewpoints, or the viewing distance in the display device that actually displays it. Unless the display environment is accurately specified in advance, a preferable stereoscopic view cannot be realized.
例えば特許文献１には、ディスプレイを有する電子機器が自身のディスプレイの表示環境に適合するように画像データを変換する技術が開示されている。特許文献２には、ステレオ画像の拡大または縮小時に、最大視差と最小視差の情報を用いた視差調整を行って、過度な立体感を抑制する技術が開示されている。 For example, Patent Document 1 discloses a technique for converting image data so that an electronic device having a display is adapted to the display environment of the display. Patent Document 2 discloses a technique for suppressing an excessive stereoscopic effect by performing parallax adjustment using information on maximum parallax and minimum parallax when a stereo image is enlarged or reduced.
特許文献１に記載の技術は、ディスプレイを有する電子機器自身が画像データの変換を行うため、電子機器にとってその変換にかかる処理負担が大きいという問題がある。特にこの電子機器が携帯電話機などのリソースに乏しい小型の電子機器である場合には、このような処理負担の増大は無視できない。また、例えばパーソナルコンピュータに接続されたディスプレイを新たなものに交換するような場合を想定すると、特許文献１に記載の技術では、新しいディスプレイの表示環境を逐一入力又は指定するという煩雑な作業が利用者に強いられることになる。また、特許文献２に記載の技術は、画像の拡大時または縮小時においてのみ視差調整を実現するものに過ぎず、その適用範囲が限定的であるため、例えば、世の中に流通している様々な表示環境の電子機器において好ましい立体視を実現する手段として活用するには不十分である。 The technique described in Patent Document 1 has a problem that the processing load for the conversion is large for the electronic device because the electronic device itself having the display converts the image data. In particular, when the electronic device is a small electronic device with limited resources such as a mobile phone, such an increase in processing load cannot be ignored. For example, assuming that a display connected to a personal computer is replaced with a new one, the technique described in Patent Document 1 uses a complicated operation of inputting or specifying a new display display environment one by one. It will be forced by the person. In addition, the technique described in Patent Document 2 is merely a technique for adjusting parallax only when an image is enlarged or reduced, and its application range is limited. For example, various techniques distributed in the world are available. It is insufficient for use as a means for realizing a preferable stereoscopic view in an electronic device in a display environment.
そこで、本発明の目的は、様々な表示環境において好ましい立体視を実現することを目的とする。 Accordingly, an object of the present invention is to realize preferable stereoscopic vision in various display environments.
上述の課題を解決するため、本発明は、利用者の左目及び右目にそれぞれ異なる画像を提示可能な立体画像データを受信する受信手段と、画像を表示する表示装置における表示環境を特定する特定手段と、前記受信手段によって受信された立体画像データに対し、前記特定手段によって特定された表示環境に応じた画像データ変換処理を施す画像データ変換手段と、前記画像データ変換手段によって画像データ変換処理が施された立体画像データを前記表示装置に送信する送信手段とを備えることを特徴とする画像処理装置を提供する。 In order to solve the above-described problem, the present invention provides a receiving unit that receives stereoscopic image data that can present different images to the left eye and the right eye of a user, and a specifying unit that specifies a display environment in a display device that displays an image. Image data conversion means for performing image data conversion processing corresponding to the display environment specified by the specifying means on the stereoscopic image data received by the receiving means, and image data conversion processing by the image data conversion means. An image processing apparatus comprising: a transmission unit configured to transmit applied stereoscopic image data to the display device.
前記表示装置における表示環境として、画像の立体視に対応した表示装置であることが前記特定手段によって特定された場合、前記画像データ変換手段が行う画像データ変換処理には、前記表示装置の表示環境に応じて前記立体画像データにおける右目と左目に提示する画像の視差量を調整する処理が含まれるようにしてもよい。 As the display environment in the display device, when the specifying unit specifies that the display device is compatible with stereoscopic viewing of an image, the image data conversion process performed by the image data conversion unit includes the display environment of the display device. Accordingly, processing for adjusting the parallax amount of the image presented to the right eye and the left eye in the stereoscopic image data may be included.
前記表示装置における表示環境として、２視点よりも視点数が多い多視点での画像の立体視に対応した表示装置であることが前記特定手段によって特定された場合、前記画像データ変換手段が行う変換処理には、前記立体画像データに含まれる各オブジェクトの深度を特定する処理と、特定した当該深度に基づいて前記多視点の視点数分の立体画像データを前記受信された立体画像データから生成する処理とが含まれるようにしてもよい。 When the specifying unit specifies that the display device is a display device that supports stereoscopic viewing of images from multiple viewpoints having more viewpoints than two viewpoints, the conversion performed by the image data conversion unit The processing includes processing for specifying the depth of each object included in the stereoscopic image data, and generating stereoscopic image data for the number of viewpoints of the multi-viewpoint from the received stereoscopic image data based on the specified depth. Processing may be included.
前記表示装置における表示環境として、画像の立体視に対応した表示装置でないことが前記特定手段によって特定された場合、前記画像データ変換手段が行う変換処理には、前記立体画像データに含まれる各オブジェクトの深度を特定する処理と、特定した当該深度に基づいて、視点がそれぞれ異なる立体画像データを前記受信された立体画像データから生成する処理とが含まれるようにしてもよい。 When it is specified by the specifying means that the display environment in the display device is not a display device that supports stereoscopic viewing of an image, each object included in the stereoscopic image data is included in the conversion process performed by the image data conversion means. And a process of generating stereoscopic image data with different viewpoints from the received stereoscopic image data based on the specified depth.
前記表示装置における表示環境として、画像の立体視に対応した表示装置でないことが前記特定手段によって特定された場合、前記画像データ変換手段が行う変換処理には、前記立体画像データに含まれる各オブジェクトの深度を特定する処理と、特定した当該深度に基づいて、視点がそれぞれ異なる立体画像データを補間により生成する処理とが含まれるようにしてもよい。 When it is specified by the specifying means that the display environment in the display device is not a display device that supports stereoscopic viewing of an image, each object included in the stereoscopic image data is included in the conversion process performed by the image data conversion means. And a process of generating stereoscopic image data having different viewpoints by interpolation based on the specified depth may be included.
前記表示装置における表示環境として、前記受信された立体画像データにおける視点数よりも少ない視点での画像の立体視に対応した表示装置であることが前記特定手段によって特定された場合、前記画像データ変換手段が行う画像データ変換処理には、前記受信された立体画像データに含まれる複数の画像から、当該表示装置における視点数分の画像を選択する処理が含まれるようにしてもよい。 When the specifying unit specifies that the display device is a display device that supports stereoscopic viewing of an image at a viewpoint smaller than the number of viewpoints in the received stereoscopic image data, as the display environment of the display device, the image data conversion The image data conversion process performed by the means may include a process of selecting images for the number of viewpoints in the display device from a plurality of images included in the received stereoscopic image data.
前記表示装置における表示環境として、画像の立体視に対応した表示装置であることが前記特定手段によって特定された場合、前記画像データ変換手段が行う画像データ変換処理には、前記立体画像データに含まれるオブジェクトの深度を特定する処理と、特定した当該深度に基づいて前記表示装置で提示する画像の視点数より多い数の画像データを前記受信された立体画像データから生成する処理と、生成された複数の画像データから前記表示装置で提示する画像の視点数分の画像データを選択する処理とが含まれるようにしてもよい。 When the specifying unit specifies that the display device is a display device that supports stereoscopic viewing of images, the image data conversion process performed by the image data converting unit is included in the stereoscopic image data. A process for identifying the depth of the object to be generated, a process for generating, from the received stereoscopic image data, a larger number of image data than the number of viewpoints of the image presented on the display device based on the identified depth. Processing for selecting image data corresponding to the number of viewpoints of an image presented on the display device from a plurality of image data may be included.
また、本発明は、画像処理装置において、利用者の左目及び右目にそれぞれ異なる画像を提示可能な立体画像データを受信するステップと、画像処理装置において、画像を表示する表示装置における表示環境を特定するステップと、画像処理装置において、受信された前記立体画像データに対して、特定された前記表示環境に応じた画像データ変換処理を施すステップと、画像処理装置において、前記画像データ変換処理が施された立体画像データを前記表示装置に送信するステップとを備えることを特徴とする画像処理方法を提供する。 The present invention also includes a step of receiving stereoscopic image data capable of presenting different images to the left eye and right eye of the user in the image processing device, and specifying a display environment in the display device displaying the image in the image processing device. Performing an image data conversion process in accordance with the specified display environment on the received stereoscopic image data in the image processing apparatus, and performing the image data conversion process in the image processing apparatus. Providing the processed stereoscopic image data to the display device.
また、本発明は、画像の立体視に対応していない表示手段と、立体画像データ及び当該立体画像データが表す画像に含まれる各オブジェクトの深度とを取得する取得手段と、
基準方向に対する自装置の傾きを検出する検出手段と、取得した前記立体画像データが表す画像に含まれる各オブジェクトをその深度に応じて３次元空間に投影することで３次元モデルを構築し、視点がそれぞれ異なる複数の立体画像データを補間により生成するレンダリング手段と、前記検出手段により検出された傾きに応じて、前記レンダリング手段により生成された複数の立体画像データを選択的に前記表示手段に表示させる表示制御手段とを備えることを特徴とする表示装置を提供する。The present invention also provides a display unit that does not support stereoscopic viewing of an image, an acquisition unit that acquires stereoscopic image data and the depth of each object included in the image represented by the stereoscopic image data,
A detection unit that detects an inclination of the own apparatus with respect to a reference direction, and a three-dimensional model is constructed by projecting each object included in the image represented by the acquired stereoscopic image data to a three-dimensional space according to the depth, and a viewpoint Rendering means for generating a plurality of stereoscopic image data different from each other by interpolation, and a plurality of stereoscopic image data generated by the rendering means is selectively displayed on the display means in accordance with the inclination detected by the detection means And a display control means for providing the display device.
また、本発明は、画像の立体視に対応していない表示手段を備えるコンピュータに、立体画像データ及び当該立体画像データが表す画像に含まれる各オブジェクトの深度とを取得する取得手段と、基準方向に対する自装置の傾きを検出する検出手段と、取得した前記立体画像データが表す画像に含まれる各オブジェクトをその深度に応じて３次元空間に投影することで３次元モデルを構築し、視点がそれぞれ異なる複数の立体画像データを補間により生成するレンダリング手段と、前記検出手段により検出された傾きに応じて、前記レンダリング手段により生成された複数の立体画像データを選択的に前記表示手段に表示させる表示制御手段とを実現させるためのプログラムを提供する。 Further, the present invention provides an acquisition unit that acquires stereoscopic image data and the depth of each object included in the image represented by the stereoscopic image data in a computer including a display unit that does not support stereoscopic viewing of an image, and a reference direction A detecting means for detecting the inclination of the own apparatus with respect to the image, and a three-dimensional model is constructed by projecting each object included in the image represented by the acquired stereoscopic image data onto a three-dimensional space according to the depth, and each viewpoint is A rendering unit that generates a plurality of different stereoscopic image data by interpolation, and a display that selectively displays the plurality of stereoscopic image data generated by the rendering unit on the display unit according to the inclination detected by the detection unit A program for realizing the control means is provided.
本発明によれば、様々な表示環境の表示装置において好ましい立体視を実現することが可能となる。 According to the present invention, it is possible to realize preferable stereoscopic vision in display devices in various display environments.
以下、本発明の実施形態について説明する。
＜構成＞
図１は、実施形態にかかる通信システム１の全体構成を示す図である。通信システム１は、利用者によって所持される移動通信端末１１０、１３０と、広範なエリアに設けられた移動通信網１００と、この移動通信網１００に接続された画像データ変換装置１２０とを備えている。なお、この通信システム１において移動通信端末は多数存在し得るが、図１では、説明の便宜のため、被写体を撮影する撮影装置として機能する移動通信端末１１０と、その被写体の画像を表示する表示装置として機能する移動通信端末１３０のみを示している。Hereinafter, embodiments of the present invention will be described.
<Configuration>
FIG. 1 is a diagram illustrating an overall configuration of a communication system 1 according to the embodiment. The communication system 1 includes
移動通信端末１１０，１３０は、例えば通話及びデータ通信が可能な携帯電話機などのコンピュータであり、移動通信網１００を介して他の移動通信端末１１０との間で通話やデータ通信を行ったり、移動通信網１００を介して画像データ変換装置１２０との間でデータ通信を行う。画像データ変換装置１２０は、例えばデータ通信が可能なサーバ装置などのコンピュータであり、主に画像データの変換処理等を行う画像処理装置として機能する。移動通信網１００は、移動通信端末１１０，１３０に通話サービス及びデータ通信サービスを提供するネットワークシステムである。この移動通信網１００は、移動通信端末１１０，１３０と無線通信を行う基地局、網内のルーティングを行う交換局、及び移動通信端末１１０，１３０の位置登録などを行う制御局などの各種ノードと、これらのノード間を相互に接続する通信線とを備えている。 The
図２は、画像データ変換装置１２０のハードウェアの構成を示すブロック図である。画像データ変換装置１２０は、制御部１１と、記憶部１２と、通信部１３とを備えている。制御部１１は、ＣＰＵ（Central Processing Unit）などの演算装置と、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などのメモリとを備えている。ＣＰＵがＲＡＭをワークエリアとして用いてＲＯＭや記憶部１２に記憶されたプログラムを実行することによって、画像データ変換装置１２０の各部の動作を制御する。記憶部１２は、ＨＤＤ（Hard Disk Drive）等の、大容量で不揮発性の記憶装置であり、制御部１１が実行するプログラムや画像データなどを記憶する。通信部１３は、移動通信網１００を介してデータ通信を行うインタフェース装置である。 FIG. 2 is a block diagram illustrating a hardware configuration of the image
図３は、移動通信端末１１０，１３０のハードウェアの構成を示すブロック図である。移動通信端末１１０，１３０の構成は共通であり、いずれも、制御部１５と、無線通信部１６と、操作部１７と、ディスプレイ部１８と、音声入出力部１９と、撮影部２０と、センサ部２１とを備えている。制御部１５は、ＣＰＵ、ＲＯＭ及びＲＡＭのほか、書き込み可能な不揮発性の記憶手段として、ＥＥＰＲＯＭ（Electronically Erasable and Programmable ROM）やバックアップ電源を備えたＳＲＡＭ（Static Random Access Memory）を備えている。ＣＰＵがＲＡＭをワークエリアとして用いてＲＯＭやＥＥＰＲＯＭ等に記憶されたプログラムを実行することにより、移動通信端末１１０，１３０の各部の動作を制御する。無線通信部１６は、アンテナや無線通信回路を備えており、移動通信網１００の基地局との間で無線通信を行う。操作部１７は、複数のキーやタッチスクリーンなどの操作子を備え、利用者の操作に応じた操作信号を制御部１５に供給する。制御部１５は、この操作信号に応じた処理を行う。 FIG. 3 is a block diagram illustrating a hardware configuration of the
ディスプレイ部１８は、液晶パネルや液晶駆動回路を備えた表示装置であり、制御部１５からの指示に応じて各種の情報を表示する。このディスプレイ部１８における表示環境は、移動通信端末の機種ごとに様々に異なっている。ここでいう表示環境とは、立体視を前提として人間の右目と左目にそれぞれ対応した、異なる視点の画像を表示する能力に関する環境のことをいう。音声入出力部１９は、小型のマイクロホンやスピーカを備えており、移動通信端末１１０，１３０における音声の入出力を行う。撮影部２０は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子と、ＡＳＩＣ（Application Specific Integrated Circuit）などの画像信号処理回路とを備え、撮像素子によって２つ以上の異なる視点から撮影された画像を１組とした画像データを生成する。具体的には、例えば、撮像部２０において複数の撮像素子が一定の距離を隔てて設けられており、被写体を同時に撮影するものであってもよいし、また、被写体が静止している場合には、１つの撮像素子が異なる視点から被写体を撮影するものであってもよい。センサ部２１は、移動通信端末１１０，１３０の、或る基準方向に対する傾きの方向及び量を検出する（以下では単に、傾きを検出する、という）手段であり、例えば加速度センサ、ジャイロセンサ、地磁気センサまたは撮像素子などである。 The
図４は、画像データ変換装置１２０及び移動通信端末１１０，１３０の機能的な構成を示すブロック図である。これら画像データ変換装置１２０及び移動通信端末１１０，１３０において、各々の制御部１１，１５がプログラムを実行し、自装置又は自端末の各部の動作を制御することによって、図４に示した各機能を実現する。 FIG. 4 is a block diagram showing functional configurations of the image
移動通信端末１１０において、画像データ生成部１１１は、主に制御部１５及び撮影部２０によって実現される機能であり、送信部１１２は、主に制御部１５及び無線通信部１６によって実現される機能である。例えば、画像データ生成部１１１は、２つ以上の異なる視点から被写体をそれぞれ静止画として撮影して立体画像データを生成する。また、画像データ生成部１１１は、深度情報を含む、単視点または複数視点の画像を表す立体画像データを生成するようにしてもよい。送信部１１２は、利用者によって指定された宛先である移動通信端末１３０に対し、この画像データを電子メールに添付するなどして送信する。このとき、送信部１１２は、立体画像データをファイル形式にして電子メールに添付するが、このファイル形式を立体画像データであることを意味するものにしておく。例えば、２視点から被写体を静止画として撮影したステレオ画像の場合は、その拡張子が「.MPO」、「.JPS」、「.STJ」、「.SSI」等のファイル形式である。 In the
移動通信端末１３０において、機種情報記憶部１３２は主に制御部１５によって実現される機能であり、アップロード部１３３、ダウンロード部１３４及び受信部１３１は主に制御部１５及び無線通信部１６によって実現される機能であり、表示部１３５は、主に制御部１５、ディスプレイ部１８及びセンサ部２１によって実現される機能である。受信部１３１は、移動通信端末１１０から送信された電子メールに添付されているデータを受信すると、このデータのファイル形式を参照して、立体画像データに対応するファイル形式であるか否かを判断する。機種情報記憶部１３２は、移動通信端末１３０の機種を特定し得る機種情報を記憶している。この機種情報は、例えば移動通信端末１３０に割り当てられ、制御部１５のＲＯＭに記憶されている個体識別情報である。この固体識別情報の上位ビット列が機種情報そのものを意味しているか、或いは、各々の固体識別情報がどのような機種の移動通信端末のものであるかが予め分かっている。アップロード部１３３は、受信した立体画像データ及び機種情報を画像データ変換装置１２０にアップロードする。ダウンロード部１３４は、画像データ変換装置１２０から画像データをダウンロードする。表示部１３５は、ダウンロードされた画像データに応じた画像を表示する。 In the
画像データ変換装置１２０において、受信部１２１、機種情報取得部１２２及び送信部１２６は、主に制御部１１及び通信部１３によって実現される機能であり、表示環境特定部１２３、変換要否判断部１２４及び画像データ変換部１２５は主に制御部１１及び記憶部１２によって実現される機能である。 In the image
受信部１２１は、移動通信端末１３０から送信されてくる立体画像データを受信し、変換要否判断部１２４に渡す。機種情報取得部１２２は、移動通信端末１３０から送信されてくる機種情報を受信し、表示環境特定部１２３に渡す。表示環境特定部１２３は、この機種情報から、その機種情報の送信元である移動通信端末１３０における表示環境を特定する。このため、表示環境特定部１２３（ハードウェアとしては記憶部１２）は、図５に示すような、移動通信端末の全機種の表示環境を表す機種別表示環境情報を記憶している。この機種別表示環境情報には、機種の別を意味する機種情報の一例である機種名と、その機種に該当する移動通信端末のディスプレイ部１８の表示面の物理的サイズと、そのディスプレイ部１８の解像度と、そのディスプレイ部１８が３Ｄディスプレイ（画像の立体視に対応したディスプレイ）であるか又は２Ｄディスプレイ（画像の立体視に対応していない通常のディスプレイ）であるかと、３Ｄディスプレイの方式及びその視点数と、そのディスプレイ部１８において予め想定されている視距離である想定視距離と、画像の表示に関係する物理量を検知するセンサに関するセンサ情報とが含まれている。３Ｄディスプレイの方式としては、視差バリア方式とか、レンチキュラー方式とか、時分割方式などが知られている。表示環境特定部１２３は、この機種別表示環境情報を参照して、取得した機種情報に対応する表示環境を特定する。 The receiving
変換要否判断部１２４は、立体画像データに対して画像データ変換部１２５が画像データ変換処理を施す必要があるか否かを判断する。画像データ変換処理が必要ないと判断する場合とは、表示環境特定部１２３が特定した表示環境が、“移動通信端末１３０のディスプレイ部１８が２Ｄディスプレイであり且つセンサ部２１がない（つまり機種別表示環境情報にセンサ情報が含まれていない）”と判断した場合である。それ以外の場合には、立体画像データに対して画像データ変換処理を施す必要があると判断されるが、この場合、画像データ変換部１２５は、移動通信端末１３０において適切な立体視を実現するため、その表示環境に応じた画像データ変換処理を行う。一方、立体画像データに対して画像データ変換処理を施す必要がないと判断された場合には、画像データ変換部１２５は、この立体画像データに含まれる画像のうち、いずれかの視点以外の画像を削除するとか、各視点の画像をアニメーション合成するなどして、２Ｄディスプレイでの表示に対応した１つの画像データ（例えば、ＪＰＥＧ(Joint Photographic Experts Group)、ビットマップ、或いはアニメーションＧＩＦ(Graphic Interchange Format)などの形式の画像データ）を生成する。送信部１２６は、画像データ変換部１２５から供給される変換処理後の画像データを、上記の機種情報及び立体画像データの送信元である移動通信端末１３０に送信する。 The conversion
＜動作＞
次に実施形態の動作を説明する。以下では、立体画像データとして、２視点から被写体を静止画として撮影したステレオ画像の画像データを用いる場合を例に挙げて、動作説明を行う。
図６は、移動通信端末１３０の制御部１５の動作を示す図である。まず移動通信端末１１０において、ステレオ画像である立体画像データが生成され、この立体画像データが移動通信端末１１０から移動通信端末１３０に送信されてくる。この立体画像データは、移動通信端末１１０が予め想定している表示環境に対応したものであり、本動作例では、２視点の３Ｄディスプレイという表示環境に対応したものとなっている。移動通信端末１３０の制御部１５は、移動通信端末１１０から送信される立体画像データを受信して取得すると（ステップＳ１）、この立体画像データのファイル形式を参照して、ステレオ画像に対応するファイル形式であるか否かを判断する（ステップＳ２）。前述のようなステレオ画像に対応するファイル形式である場合には（ステップＳ２；ＹＥＳ）、制御部１５は、機種情報を読み出して取得し（ステップＳ３）、立体画像データと機種情報とを画像データ変換装置１２０にアップロードする（ステップＳ４）。より具体的には、まず制御部１５は、立体画像データの送信に先立って、画像データ変換装置１２０に対してＨＴＴＰ（Hyper Text Transfer Protocol）リクエストを送信する。このＨＴＴＰリクエストヘッダには、ユーザエージェントと呼ばれる領域があるから、制御部１５は、このユーザエージェントに、機種情報を記述することで、これを画像データ変換装置１２０に通知する。<Operation>
Next, the operation of the embodiment will be described. In the following, the operation will be described by taking as an example a case where image data of a stereo image obtained by capturing a subject as a still image from two viewpoints is used as the stereoscopic image data.
FIG. 6 is a diagram illustrating the operation of the
次に、制御部１５は、上記ＨＴＴＰリクエストに対する画像データ変換装置１２０からの応答を受け取ると、立体画像データを画像データ変換装置１２０に送信する。この後、画像データ変換装置１２０によって画像データ変換処理がなされる。移動通信端末１３０の制御部１５は、画像データ変換装置１２０によって画像データ変換処理がなされた画像データを、その画像データ変換装置１２０からダウンロードし（ステップＳ５）、これを解釈して、立体視が可能な画像をディスプレイ部１８に表示する（ステップＳ６）。なお、制御部１５は、ステップＳ１にて取得した画像データがステレオ画像（立体画像データ）に対応するものでない場合には（ステップＳ２；ＮＯ）、これを解釈して、通常どおりの画像をディスプレイ部１８に表示する（ステップＳ６）。 Next, when receiving a response from the image
次に、図７は、画像データ変換装置１２０の制御部１１の動作を示す図である。制御部１１は、移動通信端末１３０から立体画像データ及び機種情報を受信して取得すると（ステップＳ１１）、受信した機種情報から、その機種情報の送信元である移動通信端末１３０の表示環境を特定し、特定した表示環境に基づいて、受信した画像データに画像データ変換処理を施す必要があるか否かを判断する（ステップ１２）。前述したように、移動通信端末の表示環境が２Ｄディスプレイであり且つセンサ部２１が無いというケース以外の場合には、受信した画像データに画像データ変換処理を施す必要があると判断される。立体画像データに対して画像データ変換処理を施す必要があると判断された場合には（ステップＳ１３；ＹＥＳ）、制御部１１は、画像データ変換処理を行う（ステップＳ１４）。そして、制御部１１は、画像データ変換処理を経て得た画像データを移動通信端末１３０に送信する（ステップＳ１５）。一方、前述したように、表示環境が２Ｄディスプレイであり且つセンサ部２１が無い場合には、画像データに対して画像データ変換処理を施す必要がないと判断されて（ステップＳ１３；ＮＯ）、制御部１１は、前述した所定の処理を実施する。つまり、制御部１２は、１つの視点の画像にするか又は各視点の画像をアニメーション合成するなどした上で、ファイル形式をＪＰＥＧ、ビットマップ、或いはアニメーションＧＩＦなどに変換してから（ステップＳ１６）、これを移動通信端末１３０に送信する（ステップＳ１５）。 Next, FIG. 7 is a diagram illustrating the operation of the
次に、図８は、上記のステップＳ１４における画像データ変換処理の詳細を示す図である。まず、制御部１１は、立体画像データに対して平行化処理を実行する（ステップＳ２１）。これは、ステレオ画像に含まれる１組の画像どうしの縦ズレを小さくするために行われる処理である。制御部１１は、図９に示すように、ステレオ画像に含まれる画像のうち、左目に対応する画像（左画像という）と右目に対応する画像（右画像という）とが、利用者の視点から見て上下方向（Ｘ方向）にずれている場合には、いずれか一方の画像（ここでは右画像）をＸ軸方向にズレ量に応じた量だけ移動させることで、ズレを小さくする。制御部１１は、この平行化処理を行うために、左画像と右画像との間で互いに対応する特徴点を求める必要があるが、これには、例えばＳＩＦＴ法(Scale-Invariant Feature Transform)やＳＵＲＦ(Speeded-Up Robust Features)法などの、画像から特徴点を抽出するための周知の手法を用いればよい。制御部１１は、この特徴点の対応関係からエピポーラ拘束条件を用いて得られた基礎行列（Fundamental Matrix）を用いた演算を行って、Ｘ軸方向のずれを小さくした立体画像データを得る。なお、あらかじめ撮影部２０に対するキャリブレーション処理を経て、撮影部２０の内部環境に関するパラメータ及び外部環境に関するパラメータを制御部１１が取得できている場合は、上記のような特徴点の対応関係を取得しなくても平行化処理を実現可能である。 Next, FIG. 8 is a diagram showing details of the image data conversion process in step S14. First, the
次に、制御部１１は、平行化処理を施した立体画像データにおいて、画像に含まれるオブジェクトの深度に関する情報（深度情報）を取得し、その深度情報から、ステレオ画像の最大視差及び最小視差を特定する（ステップＳ２２）。図１０は、画像中のオブジェクトの深度と視差との関係を説明するための模式図であり、ディスプレイ部１８の表示面に平行な方向から見たときの様子を表している。図１０において、利用者の視点から見たときのディスプレイ部１８の左右方向（Ｙ方向）のサイズをｓ[cm]、左右の目の間隔をe[cm]、ディスプレイ部１８の表示面から、左右の目を結んだ線分までの距離（視距離）をｄ[cm]、最大視差をＤｍａｘ[pixel]、最小視差をＤｍｉｎ[pixel]とする。このステレオ画像によって実現される仮想的な３次元空間において、最も大きい飛び出し量を持つ（深度が浅い）点と、最も大きい奥行き量を持つ（深度が深い）点と、ディスプレイ部１８の表示面上の点とに対する、左右の目の輻輳角をそれぞれα、β、γとする。制御部１１は、ステレオ画像から特定し得る深度情報から、そのステレオ画像に含まれるオブジェクトの、表示面からの最大飛び出し量ｐ[cm]および最大奥行き量ｑ[cm]を特定し、さらに、図示のような幾何学的関係から最大視差Ｄｍａｘ及び最小視差Ｄｍｉｎを算出する。最大飛び出し量ｐに対応する最大視差Ｄｍａｘは正の値をとり、最大奥行き量ｑに対応する最小視差Ｄｍｉｎは負の値をとる。なお、ステレオ画像から深度情報を求める手法としては、例えばピクセルマッチング、ブロックマッチング、グラフカット、または、動的計画法といった手法が知られているので、制御部１１はこれらを用いればよい。また、立体画像データがそもそも深度情報を含む単視点の画像を表す画像データである場合は、制御部１１は上記処理を行わず、その立体画像データが有する深度情報をそのまま用いればよい。 Next, the
図８の説明に戻り、制御部１１は、図６のステップＳ３にて取得した機種情報に基づいて、移動通信端末１３０のディスプレイ部１８が２視点の３Ｄディスプレイであるか否かを判断する（ステップＳ２３）。移動通信端末１３０のディスプレイ部が２視点の３Ｄディスプレイである場合には（ステップＳ２３；ＹＥＳ）、制御部１１は、移動通信端末１３０のディスプレイ部１８の表示面の物理的サイズに応じて、右目と左目の視差量を調整する視差調整処理を行う（ステップＳ２４）。具体的には、制御部１１は、まず、移動通信端末１３０のディスプレイ部１８において快適に立体視を行い得る最大視差及び最小視差の範囲である適正視差範囲を特定する。制御部１１は、この適正視差範囲の具体的な数値については、例えば３Ｄコンソーシアムガイドライン（http://www.3dc.gr.jp/jp/scmt_wg_rep/3dc_guideJ_20100420.pdf）で定義される「快適な立体視」が可能となる視差量に基づいて求めればよい。図１０において、輻輳角の差の絶対値|α-γ|及び|γ-β|を視差角と呼ぶ。上記３Ｄコンソーシアムガイドラインにおいては、これらを各々１度以内にすることが推奨されている。また、３Ｄコンソーシアムガイドラインによれば、輻輳角の差|α-β|も１度以内であることが推奨されている。 Returning to the description of FIG. 8, the
ここで、図１０においては、γ＝２ｔａｎ-1（ｅ／２ｄ）という数式が成り立つ。また、ディスプレイの左右方向（Ｙ方向）の解像度をｒ[pixel]として、最大視差Ｄｍａｘのときに最大飛び出し量ｐとなるという条件から、Ｄｍａｘ＝２ｐ・ｒ／ｓ・ｔａｎ（α／２）いう数式が成り立つ。ここで、輻輳角の差が１度以内という上記３Ｄコンソーシアムガイドラインに基づくと、α＝γ+１が限界条件であるから、制御部１１は、これを上記の数式に代入することで、適正視差範囲における最大視差Ｄｍａｘを求めることができる。制御部１１は、同様にして、適正視差範囲における最小視差Ｄｍｉｎも求めることができる。そして、制御部１１は、図８のステップＳ２２で特定したステレオ画像の深度情報から求められた最大視差及び最小視差が、この適正視差範囲を超えていなければ、移動通信端末１３０において過度な立体感は発生しないと判断し、視差調整処理を行わない。一方、制御部１１は、ステップＳ２２で特定したステレオ画像の深度情報から求められた最大視差及び最小視差が、この適正視差範囲を超えていれば、視差調整処理を行う。なお、制御部１１は、適切な見え方となる輻輳角の条件を用いて最大視差Ｄｍａｘを求め、ステレオ画像の最大視差が適性視差範囲内だがその大きさをもう少し大きくしたいというような場合にも、ステレオ画像の最大視差が最大視差Ｄｍａｘになるように視差調整を行ってもよい。Here, in FIG. 10, a mathematical formula of γ = 2 tan−1 (e / 2d) holds. Further, assuming that the resolution in the horizontal direction (Y direction) of the display is r [pixel] and that the maximum pop-out amount is p at the maximum parallax Dmax, Dmax = 2p · r / s · tan (α / 2). The mathematical formula holds. Here, based on the 3D consortium guideline that the convergence angle difference is within 1 degree, α = γ + 1 is a limit condition. Therefore, the
この視差調整処理には、２つの方法があることが知られている。１つは、ステレオ画像に含まれる１組の画像のうち、いずれか一方を左右方向（Ｙ方向）にシフトして、最大視差及び最小視差の差を適正視差範囲に収める方法である。この方法は、最大視差及び最小視差のいずれか一方が適正視差範囲を超え、かつ、いずれか一方の画像をシフトした場合に、シフト後のステレオ画像における最大視差及び最小視差が適正視差範囲に収まる場合に好適である。この方法は、比較的簡易な手法である点がメリットであるが、いずれか一方の画像全体をシフトするため、視差の正負が逆転し、本来表現したかった立体の凹凸が逆になってしまう可能性があることが知られている。もう１つの視差調整の方法としては、ステレオ画像に含まれるオブジェクトごとにその深度を求めて、その深度に応じた量だけ各々のオブジェクトをシフトする方法である。この方法による処理は、後述する補間処理を行って補間した画像と補間前のステレオ画像から、適正視差に収まる２枚の画像を選択して、これらを新たにステレオ画像とするということに相当する。この方法では、上述した画像全体のシフトとは異なり、同じ深度を持つオブジェクト単位でシフトするから、上記のような視差の正負の逆転は起きない。よって、本来表現したかった立体の凹凸を維持したまま、全体的な立体感を調整し得るという効果がある。 It is known that there are two methods for this parallax adjustment processing. One is a method in which one of a pair of images included in a stereo image is shifted in the left-right direction (Y direction) so that the difference between the maximum parallax and the minimum parallax falls within an appropriate parallax range. In this method, when either one of the maximum parallax and the minimum parallax exceeds the appropriate parallax range, and one of the images is shifted, the maximum parallax and the minimum parallax in the stereo image after the shift are within the proper parallax range. It is suitable for the case. The advantage of this method is that it is a relatively simple method, but because one of the entire images is shifted, the sign of the parallax is reversed, and the three-dimensional unevenness originally intended to be reversed is reversed. It is known that there is a possibility. As another parallax adjustment method, a depth is obtained for each object included in the stereo image, and each object is shifted by an amount corresponding to the depth. The processing by this method is equivalent to selecting two images that fit within the appropriate parallax from the image interpolated by performing the interpolation processing described later and the stereo image before interpolation, and making these new stereo images. . In this method, unlike the above-described shift of the entire image, the shift is performed in units of objects having the same depth, and thus the above-described reversal of the parallax does not occur. Therefore, there is an effect that the overall three-dimensional effect can be adjusted while maintaining the three-dimensional unevenness originally desired to be expressed.
図８の説明に戻り、移動通信端末１３０のディスプレイ部１８が多視点の３Ｄディスプレイであるときの動作を説明する。この場合、ステップＳ２３において２視点の３Ｄディスプレイではないと判断されるから（ステップＳ２３；ＮＯ）、制御部１１は、２視点よりも多い数の多視点の３Ｄディスプレイであるとして、補間処理を行う（ステップＳ２５）。補間処理とは、多視点に対応するべく、移動通信端末１１０において実際には撮影されていない視点から見たときの画像を、実際に撮影された視点から見たときの画像と、その画像に含まれるオブジェクトの深度情報とを元に予測的に生成することで、撮影された画像における視点数（ステレオ画像の場合は２）よりも多い視点数の画像を得る処理である。まず、制御部１１は、機種情報から特定される表示環境や上記の適正視差量に基づいて、移動通信端末１１０において実際には撮影されていない視点である仮想視点を決める。例えば５視点の３Ｄディスプレイに提示する画像をステレオ画像から生成する場合は、制御部１１は、図１１に模式的に示すように、ステレオ画像に含まれている、２視点に対応する１組の画像５３ａ，５３ｅから、仮想視点に対応する画像（仮想視点画像という）５３ｂ，５３ｃ，５３ｄを生成する。５視点の３Ｄディスプレイには、この５３ａ〜５３ｅの画像が提示される。なお、図１１では２視点のステレオ画像から間の３視点分の画像を補間し合計５視点としているが、画像の深度情報を持っていれば、入力画像の視点数や、補間する仮想視点の数に制限はない。 Returning to the description of FIG. 8, the operation when the
ここで、より具体的な補間処理の内容を説明すると、以下のとおりである。制御部１１は、特定した深度情報に基づき、３次元空間における各オブジェクトの視差を求め、さらに、このオブジェクトが仮想視点からどのように見えるかを３次元的に予測する。つまり、制御部１１は、深度情報から求められた視差を元に、仮想視点画像における各画素に投影されるオブジェクトが、実際に撮影された画像のどの画素に投影されているかを特定し、特定した後者の画素（参照画素という）の輝度を元に、仮想視点画像における各画素の輝度を決定して、仮想視点画像を生成する。制御部１１は、輝度を決定する際に、参照画素が一つの場合は、その参照画素の輝度をコピーして仮想視点画像における各画素の輝度を決定するし、参照画素が複数の場合は、線形補間等の処理を実施して仮想視点画像における各画素の輝度を決定する。 Here, a more specific content of the interpolation processing will be described as follows. The
図１２を参照しながら、具体的な例を上げて説明する。これは、一定の距離を隔てて配置された２つの撮像素子から撮影された画像５３ａ，５３ｅから、２つの撮像素子の中間にあると仮想した仮想視点（以下、中間視点という）より見たときの画像５３ｃを補間によって求める例である。ここで、予め特定された深度情報から画像５３ａ，５３ｅ間の視差がＤ[pixel]であると分かっている場合、中間視点から見たときの仮想視点画像５３ｃのオブジェクトは、その半分であるＤ／２の視差を、画像５３ａ，５３ｅに対してそれぞれ有する。よって、制御部１１は、仮想視点画像５３ｃのオブジェクトに含まれる画素６３ｃの輝度を求める場合は、画像５３ａ，５３ｅにおいてそれぞれＤ／２の視差を持つ画素６３ａ，６３ｅを参照画素とし、この参照画素の輝度を元に画素６３ｃの輝度を決定する。輝度決定に関しては、前述のように線形補間等の処理を用いればよい。例えば図１２の例において線形補間を用いる場合は、制御部１１は、画素６３ｃの輝度＝（画素６３ａの輝度／２）＋（画素６３ｅの輝度／２）という数式で画素６３ｃの輝度を求めればよい。制御部１１は、中間視点から見たときの仮想視点画像に含まれる各画素に対し、上記と同様の処理を実施することで、画像５３ｃを生成する。 A specific example will be described with reference to FIG. This is when the
また、制御部１１は次のようにしてもよい。例えば、移動通信端末１３０のディスプレイ部１８が２Ｄディスプレイで、さらにセンサ部２１によってディスプレイ部１８の表示面に対する利用者の正対方向のズレを認識できる場合は、制御部１１は、ステレオ画像から特定した各オブジェクトの深度情報に基づき、例えば仮想視点を±３０度の範囲において円弧状に１度ずつずらしたときの仮想視点画像を上記のような補間処理を用いて生成する。この場合には、合計６１枚の画像を表す画像データが生成される。このときの動作の概念図を図１３に示す。この図の例では仮想視点が５つであり、図示のように円弧状の仮想視点画像７３ａ〜７３ｅが制御部１１によって生成される。
以上のようにして得られた画像データは移動通信端末１３０に送信される。The
The image data obtained as described above is transmitted to the
移動通信端末１３０において、制御部１５は、受信した画像データを解釈してディスプレイ部１８に表示する。移動通信端末１３０が２視点の３Ｄディスプレイに対応した機種であり、かつ、受信した画像データが平行化処理や視差調整処理の施された、２視点の３Ｄディスプレイに対応したステレオ画像を表すものである場合には、制御部１５がこの画像データに応じた画像を表示するだけで、利用者にとって好ましい立体視が可能となる。また、受信した画像データが多視点の３Ｄディスプレイに対応したステレオ画像を表すものである場合には、制御部１５は、センサ部２１によって検出された移動通信端末１３０の傾きに応じて、この画像データに含まれる多視点の画像データのうちいずれか２つを選択して表示することで、表示面に対して移動する利用者の視線に応じた立体視、いわゆる運動視差に応じた立体視が可能となる。また、移動通信端末１３０のディスプレイ部１８が２Ｄディスプレイであっても、センサ部２１がある場合には、センサ部２１によって検出された移動通信端末１３０の傾きに応じて、この画像データに含まれる多視点の画像データのうち、移動通信端末１３０で提示する画像の視点数分のものを選択して表示することで、表示面に対する利用者の視線に応じた擬似的な立体視、つまり運動視差に応じた擬似的な立体視が可能となる。これはつまり、図１３で例示した円弧状に補間された仮想視点画像７３ａ〜７３ｅを移動通信端末１３０の傾きに応じて選択的に表示することに相当する。 In the
次に、受信した画像データに３以上の多視点の画像が含まれる場合について説明する。まず、移動通信端末１３０のディスプレイ部１８が、２視点の３Ｄディスプレイである場合、制御部１５は、上記のような複数の多視点画像から適正視差範囲内の画像を２つ（つまり移動通信端末１３０のディスプレイ部１８における視点数分）だけ選択して、ステレオ画像を生成する。この画像選択の際には、前述したステレオ画像の視差調整時と同様に、制御部１５は、異なる視点の画像間の最大視差・最小視差に基づいて適正視差範囲に収まる画像を選択する。 Next, a case where three or more multi-viewpoint images are included in the received image data will be described. First, when the
また、移動通信端末１３０が、受信した画像データにおける視点数よりも少ない視点数の、多視点の３Ｄディスプレイである場合、制御部１５は、複数の多視点画像から適正視差範囲内の画像を、移動通信端末１３０のディスプレイ部１８における視点数分だけ選択する。この画像選択の際には、前述したステレオ画像の視差調整時と同様に、制御部１５は、異なる視点の画像間の最大視差・最小視差に基づいて適正視差範囲に収まる画像を選択する。 Further, when the
また、移動通信端末１３０が、受信した画像データにおける視点数よりも多い視点数の、多視点の３Ｄディスプレイである場合、または、受信した画像データにおける視点数よりも少ない視点数の多視点の３Ｄディスプレイであって、上記画像データにおける最大視差及び最小視差が適正視差範囲を超えている場合は、制御部１５は、多視点画像に対して補間処理を行って、適正視差範囲に収まる画像であって、ディスプレイ部１８における視点数分の画像を生成する。このとき用いられる補間アルゴリズムは前述したステレオ画像の補間処理と同様のものである。 In addition, when the
以上説明した実施形態によれば、様々な表示環境において好ましい立体視を実現することができる。また、画像データ変換装置１２０が画像データの変換処理を行うので、表示端末としての移動通信端末１３０のリソースが乏しい場合であっても、移動通信端末１３０の処理負担は、自身が画像データ変換処理を行う場合に比べて小さくなる。 According to the embodiment described above, preferable stereoscopic vision can be realized in various display environments. In addition, since the image
＜変形例＞
上述した実施形態は次のような変形が可能である。以下の変形例を互いに組み合わせて実施してもよい。
＜変形例１＞
画像データ変換装置１２０が立体画像データから、その立体画像データに含まれる各オブジェクトの深度のみを求めて、それを立体画像データとともに、表示装置としての移動通信端末１３０に送信するようにしてもよい。この場合、移動通信端末１３０が、立体視に対応していない２Ｄディスプレイであるときには、次のような処理を行う。図１４は、この場合の移動通信端末１３０の機能的構成を示すブロック図である。移動通信端末１３０において、制御部１５がプログラムを実行して各部の動作を制御することによって、図１４に示した各機能を実現する。端末傾き検出部１４４は、センサ部２１によって実現され、或る基準方向に対する、移動通信端末１３０の傾きの量及び方向を検出する。３次元モデル生成部１４３は、画像データ変換装置１２０から送信されてくる立体画像データ及び深度を取得し、取得した立体画像データが表す画像に含まれる各オブジェクトの各画素をその深度に応じて３次元空間に投影し、その３次元空間における各オブジェクトの位置・輝度を求めることで３次元モデルを構築する。レンダリング部１４７は、各オブジェクトを、例えば±３０度の範囲において１度ずつ視点をずらして見たときにどのように見えるかを予測してレンダリングを行う。レンダリングとは、３次元モデルに対し、ある仮想的な視点を設定してその視点からの画像を生成することを言う。このとき、例えばオブジェクトの一部または全部をコピーして、新たな視点で見えるはずのオブジェクトの面に貼り付けるなどの、補間アルゴリズムを用いてレンダリングを行う。これにより、視点がそれぞれ異なる複数の立体画像データが生成されることになる。表示部１４８は、レンダリング部１４７で得られた複数の立体画像データから、端末傾き検出部１４４によって検出された移動通信端末１３０の傾きの量及び方向に応じた画像データを選択し、選択した画像データに応じた画像を表示する。なお、端末傾き取得部１４４は、センサ部２１によって検出された値に対し、図１５に示すように、ローパスフィルタを適用したり、ヒステリシス特性を持たせることで、検出値の微小な増減によって視点が細かくぶれながら移動するチャタリングを防止することができる。このようなローパスフィルタやヒステリシス特性は、実施形態で説明した内容に対しても適用可能である<Modification>
The embodiment described above can be modified as follows. The following modifications may be implemented in combination with each other.
<Modification 1>
The image
＜変形例２＞
実施形態では、表示装置としての移動通信端末１３０が、撮影装置としての移動通信端末１１０から立体画像データを受信してから、画像データ変換装置１２０にその立体画像データを送信するようにしていた。これを、撮影装置としての移動通信端末１１０が、立体画像データの宛先である表示装置としての移動通信端末１３０の機種情報とともに、立体画像データを画像データ変換装置１２０に送信し、これに応じて画像データ変換装置１２０から得た画像データを移動通信端末１３０に送信するようにしてもよい。このようにすれば、表示装置としての移動通信端末１３０は、画像データ変換装置１２０に立体画像データを送信する手間が省ける。<Modification 2>
In the embodiment, the
＜変形例３＞
実施形態では、画像データ変換装置１２０が、表示装置としての移動通信端末１３０から受信した立体画像データに画像データ変換処理を施していたが、移動通信端末１３０自身が画像データ変換処理を行ってもよい。このようにすれば、表示装置としての移動通信端末１３０は、画像データ変換装置１２０に立体画像データを送信する手間が省ける。<Modification 3>
In the embodiment, the image
＜変形例４＞
実施形態では、画像データ変換装置１２０が、表示装置としての移動通信端末１３０から受信した立体画像データに画像データ変換処理を施していたが、撮影装置としての移動通信端末１１０が立体画像データに画像データ変換処理を行ってから移動通信端末１３０に送信してもよい。<Modification 4>
In the embodiment, the image
＜変形例５＞
画像データ変換装置１２０が立体画像データから深度のみを求めて、それを、表示装置としての移動通信端末１３０に送信するようにしてもよい。この場合、移動通信端末１３０は、受信した深度に関する情報に基づいて、画像データ変換装置１２０に代わって実施形態で説明した視差調整や補間処理を行う。このようにすれば、移動通信端末１３０が画像データ変換装置１２０から受信するデータのサイズを減らすことができる。<
The image
＜変形例６＞
実施形態及び上記の変形例２，５において、表示装置としての移動通信端末１３０の通信環境や移動通信端末１３０のスペックに応じて、画像データ変換処理を、画像データ変換装置１２０と移動通信端末１３０とで役割分担して行ってもよい。例えば、移動通信端末１３０のスペックが高い場合は、深度のみを画像データ変換装置１２０で特定し、視差調整や補間処理を移動通信端末１３０で行う。これにより、多視点の３Ｄディスプレイや２Ｄディスプレイにおいては、画像データ変換装置１２０と移動通信端末１３０との間で多視点の画像データを送受信する必要がないため、通信にかかるデータ量を削減することが可能となる。また、実施形態及び変形例２，５において、既に一度生成して送信した立体画像データを、別の表示装置に送信する際に、画像データ変換装置１２０において、以前に特定した深度や視差調整処理の結果等を保有していれば、これを再度利用してもよい。これにより、画像データ変換装置１２０における処理量を減らすことが可能となる。<Modification 6>
In the embodiment and the
＜変形例７＞
例えば、移動通信網１００などのネットワーク上のサーバ装置に、移動通信端末の機種ごとに、前述した画像データ変換処理に含まれる処理である視差調整等が既に施され、適正視差範囲内に最適化された立体画像データが予め記憶されていてもよい。この場合、表示装置としての移動通信端末１３０がそのサーバ装置に対して、ＨＴＴＰリクエストのユーザエージェントに機種情報を記述して通知し、サーバ装置が、通知された機種情報に対応する立体画像データを移動通信端末１３０に送信する。このようにすれば、ダウンロードするたびにリアルタイムで画像データ変換処理を行う必要が無くなり、多くの利用者が見る画像（例えば立体視が可能なプロモーションビデオ等）を配信する際にサーバ装置の処理負担を軽減することができる。<Modification 7>
For example, the server apparatus on the network such as the
＜変形例８＞
図６のステップ２の判断において、利用者が操作部１７を用いて自らの意思で、ステレオ画像か否か、つまり、画像データ変換装置１２０による処理を行うか否かを選択するようにしてもよい。このようにすれば、利用者自らの意思により、移動通信端末において、立体画像データを変換することなくそのまま表示させることが可能となる。<Modification 8>
In the determination of step 2 in FIG. 6, the user may use the
＜変形例９＞
表示装置や撮影装置は、実施形態で例示した携帯電話機以外に、例えばノートパソコン、デジタルフォトフレームまたはテレビジョンなどの電子機器であってもよい。
画像データ変換装置１２０の機能を分散化して複数の装置が実装してもよい。
立体画像データは、１つのカメラ（単眼カメラ）で少しずれた位置で二回以上撮影した１組の画像であっても、３以上の複数のカメラで同時に撮影した画像でも、レンジセンサによる計測処理や所定の画像処理等を経て取得された被写体の深度情報を含む単一又は複数の画像であってもよい。
移動通信端末１１０から移動通信端末１３０へ画像データを送信するときの形態は、実施形態で例示した電子メールのほか、ブルートゥース（登録商標）、ＩｒＤＡ（Infrared Data Association）または無線ＬＡＮなどのデータ授受手段を用いてもよい。また、メモリーカードやＨＤＭＩ等の物理Ｉ／Ｏなどのデータ授受手段を用いてもよい。
また、立体画像データは静止画に限らず、動画であってもよい。<Modification 9>
In addition to the mobile phone exemplified in the embodiment, the display device and the photographing device may be electronic devices such as a notebook computer, a digital photo frame, or a television.
A plurality of devices may be implemented by distributing the function of the image
Three-dimensional image data can be measured by a range sensor, whether it is a set of images taken twice or more at a position slightly shifted by a single camera (monocular camera), or images taken simultaneously by three or more cameras. Alternatively, it may be a single image or a plurality of images including depth information of the subject acquired through predetermined image processing or the like.
The mode for transmitting image data from the
Further, the stereoscopic image data is not limited to a still image but may be a moving image.
＜変形例１０＞
上述した実施形態におけるプログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で、画像データ変換装置や移動通信端末に提供し得る。この場合には、記録媒体を読み取るインターフェースをこれらの画像データ変換装置や移動通信端末に設ければよい。また、ネットワーク経由でこれらの画像データ変換装置や移動通信端末にダウンロードさせることも可能である。<Modification 10>
The program in the above-described embodiment is stored in a computer-readable recording medium such as a magnetic recording medium (magnetic tape, magnetic disk, etc.), an optical recording medium (optical disk, etc.), a magneto-optical recording medium, or a semiconductor memory. It can be provided to a data converter or a mobile communication terminal. In this case, an interface for reading the recording medium may be provided in these image data conversion devices and mobile communication terminals. It is also possible to download these image data conversion devices and mobile communication terminals via a network.
１・・・通信システム、１１０，１３０・・・移動通信端末、１２０・・・画像データ変換装置、１１・・・制御部、１２・・・記憶部、１３・・・通信部、１５・・・制御部、１６・・・無線通信部、１７・・・操作部、１８・・・ディスプレイ部、１９・・・音声入出力部、２０・・・撮影部、２１・・・センサ部。DESCRIPTION OF SYMBOLS 1 ...
Claims (10)
Translated fromJapanese画像を表示する表示装置における表示環境を特定する特定手段と、
前記受信手段によって受信された立体画像データに対し、前記特定手段によって特定された表示環境に応じた画像データ変換処理を施す画像データ変換手段と、
前記画像データ変換手段によって画像データ変換処理が施された立体画像データを前記表示装置に送信する送信手段と
を備えることを特徴とする画像処理装置。Receiving means for receiving stereoscopic image data capable of presenting different images to the left and right eyes of the user;
A specifying means for specifying a display environment in a display device for displaying an image;
Image data conversion means for performing image data conversion processing according to the display environment specified by the specifying means, on the stereoscopic image data received by the receiving means;
An image processing apparatus comprising: transmission means for transmitting stereoscopic image data subjected to image data conversion processing by the image data conversion means to the display device.
ことを特徴とする請求項１に記載の画像処理装置。As the display environment in the display device, when the specifying unit specifies that the display device is compatible with stereoscopic viewing of an image, the image data conversion process performed by the image data conversion unit includes the display environment of the display device. The image processing apparatus according to claim 1, further comprising: a process of adjusting a parallax amount of an image presented to the right eye and the left eye in the stereoscopic image data according to.
ことを特徴とする請求項１または２に記載の画像処理装置。When the specifying unit specifies that the display device is a display device that supports stereoscopic viewing of images from multiple viewpoints having more viewpoints than two viewpoints, the conversion performed by the image data conversion unit The processing includes processing for specifying the depth of each object included in the stereoscopic image data, and generating stereoscopic image data for the number of viewpoints of the multi-viewpoint from the received stereoscopic image data based on the specified depth. The image processing apparatus according to claim 1, wherein a processing is included.
ことを特徴とする請求項１〜３のいずれかに記載の画像処理装置。When it is specified by the specifying means that the display environment in the display device is not a display device that supports stereoscopic viewing of an image, each object included in the stereoscopic image data is included in the conversion process performed by the image data conversion means. The processing for specifying the depth of the image and the processing for generating the stereoscopic image data having different viewpoints from the received stereoscopic image data based on the specified depth are included. The image processing apparatus according to any one of the above.
ことを特徴とする請求項１〜３のいずれかに記載の画像処理装置。When it is specified by the specifying means that the display environment in the display device is not a display device that supports stereoscopic viewing of an image, each object included in the stereoscopic image data is included in the conversion process performed by the image data conversion means. The image according to any one of claims 1 to 3, further comprising: a process for identifying a depth of the image and a process for generating stereoscopic image data having different viewpoints by interpolation based on the identified depth. Processing equipment.
ことを特徴とする請求項１または２に記載の画像処理装置。When the specifying unit specifies that the display device is a display device that supports stereoscopic viewing of an image at a viewpoint smaller than the number of viewpoints in the received stereoscopic image data, as the display environment of the display device, the image data conversion The image data conversion process performed by the means includes a process of selecting images corresponding to the number of viewpoints in the display device from a plurality of images included in the received stereoscopic image data. 2. The image processing apparatus according to 2.
ことを特徴とする請求項１、２または６のいずれかに記載の画像処理装置。When the specifying unit specifies that the display device is a display device that supports stereoscopic viewing of images, the image data conversion process performed by the image data converting unit is included in the stereoscopic image data. A process for identifying the depth of the object to be generated, a process for generating, from the received stereoscopic image data, a larger number of image data than the number of viewpoints of the image presented on the display device based on the identified depth. The image processing apparatus according to claim 1, further comprising a process of selecting image data corresponding to the number of viewpoints of an image presented on the display device from a plurality of image data.
画像処理装置において、画像を表示する表示装置における表示環境を特定するステップと、
画像処理装置において、受信された前記立体画像データに対して、特定された前記表示環境に応じた画像データ変換処理を施すステップと、
画像処理装置において、前記画像データ変換処理が施された立体画像データを前記表示装置に送信するステップと
を備えることを特徴とする画像処理方法。In the image processing apparatus, receiving stereoscopic image data capable of presenting different images to the left and right eyes of the user,
Identifying a display environment in a display device for displaying an image in the image processing device;
In the image processing device, a step of performing image data conversion processing according to the specified display environment on the received stereoscopic image data;
An image processing method comprising: a step of transmitting stereoscopic image data subjected to the image data conversion process to the display device.
立体画像データ及び当該立体画像データが表す画像に含まれる各オブジェクトの深度とを取得する取得手段と、
基準方向に対する自装置の傾きを検出する検出手段と、
取得した前記立体画像データが表す画像に含まれる各オブジェクトをその深度に応じて３次元空間に投影することで３次元モデルを構築し、視点がそれぞれ異なる複数の立体画像データを補間により生成するレンダリング手段と、
前記検出手段により検出された傾きに応じて、前記レンダリング手段により生成された複数の立体画像データを選択的に前記表示手段に表示させる表示制御手段と
を備えることを特徴とする表示装置。Display means that do not support stereoscopic viewing of images;
Acquisition means for acquiring stereoscopic image data and the depth of each object included in the image represented by the stereoscopic image data;
Detecting means for detecting the inclination of the device relative to a reference direction;
Rendering by constructing a 3D model by projecting each object included in the image represented by the acquired stereoscopic image data onto a 3D space according to the depth, and generating a plurality of stereoscopic image data with different viewpoints by interpolation Means,
And a display control means for selectively displaying a plurality of stereoscopic image data generated by the rendering means on the display means in accordance with the inclination detected by the detection means.
立体画像データ及び当該立体画像データが表す画像に含まれる各オブジェクトの深度とを取得する取得手段と、
基準方向に対する自装置の傾きを検出する検出手段と、
取得した前記立体画像データが表す画像に含まれる各オブジェクトをその深度に応じて３次元空間に投影することで３次元モデルを構築し、視点がそれぞれ異なる複数の立体画像データを補間により生成するレンダリング手段と、
前記検出手段により検出された傾きに応じて、前記レンダリング手段により生成された複数の立体画像データを選択的に前記表示手段に表示させる表示制御手段と
を実現させるためのプログラム。In a computer having a display means that does not support stereoscopic viewing of images,
Acquisition means for acquiring stereoscopic image data and the depth of each object included in the image represented by the stereoscopic image data;
Detecting means for detecting the inclination of the device relative to a reference direction;
Rendering by constructing a 3D model by projecting each object included in the image represented by the acquired stereoscopic image data onto a 3D space according to the depth, and generating a plurality of stereoscopic image data with different viewpoints by interpolation Means,
A display control means for selectively displaying a plurality of stereoscopic image data generated by the rendering means on the display means in accordance with the inclination detected by the detection means.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010158751AJP2012023488A (en) | 2010-07-13 | 2010-07-13 | Image processor, image processing method, display device, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010158751AJP2012023488A (en) | 2010-07-13 | 2010-07-13 | Image processor, image processing method, display device, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012023488Atrue JP2012023488A (en) | 2012-02-02 |
Family
ID=45777394
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010158751APendingJP2012023488A (en) | 2010-07-13 | 2010-07-13 | Image processor, image processing method, display device, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012023488A (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013161590A1 (en)* | 2012-04-27 | 2013-10-31 | 株式会社日立メディコ | Image display device, method and program |
| JP2014072748A (en)* | 2012-09-28 | 2014-04-21 | Dainippon Printing Co Ltd | Stereoscopic display device and stereoscopic display system |
| WO2016035724A1 (en)* | 2014-09-05 | 2016-03-10 | 株式会社Ｌｉｖｅ２Ｄ | Program, information processing device, control method and recording medium |
| JP2016051918A (en)* | 2014-08-28 | 2016-04-11 | 任天堂株式会社 | Information processing terminal, information processing program, information processing terminal system, and information processing method |
| WO2017082076A1 (en)* | 2015-11-11 | 2017-05-18 | ソニー株式会社 | Encoding device and encoding method, and decoding device and decoding method |
| JPWO2017082077A1 (en)* | 2015-11-11 | 2018-08-30 | ソニー株式会社 | Image processing apparatus and image processing method |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006115246A (en)* | 2004-10-15 | 2006-04-27 | Canon Inc | Image processing program for stereoscopic display, image processing apparatus, and stereoscopic display system |
| JP2007047294A (en)* | 2005-08-08 | 2007-02-22 | Nippon Hoso Kyokai <Nhk> | Stereoscopic image display device |
| JP2008146221A (en)* | 2006-12-07 | 2008-06-26 | Sony Corp | Image display system |
| WO2009157198A1 (en)* | 2008-06-26 | 2009-12-30 | パナソニック株式会社 | Recording medium, reproducing device, recording device, reproducing method, recording method, and program |
| JP2010072477A (en)* | 2008-09-19 | 2010-04-02 | Toshiba Tec Corp | Image display apparatus, image display method, and program |
| WO2010038365A1 (en)* | 2008-09-30 | 2010-04-08 | パナソニック株式会社 | Recording medium, reproduction device, system lsi, reproduction method, spectacle, and display device associated with 3d video |
- 2010
- 2010-07-13JPJP2010158751Apatent/JP2012023488A/enactivePending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006115246A (en)* | 2004-10-15 | 2006-04-27 | Canon Inc | Image processing program for stereoscopic display, image processing apparatus, and stereoscopic display system |
| JP2007047294A (en)* | 2005-08-08 | 2007-02-22 | Nippon Hoso Kyokai <Nhk> | Stereoscopic image display device |
| JP2008146221A (en)* | 2006-12-07 | 2008-06-26 | Sony Corp | Image display system |
| WO2009157198A1 (en)* | 2008-06-26 | 2009-12-30 | パナソニック株式会社 | Recording medium, reproducing device, recording device, reproducing method, recording method, and program |
| JP2010072477A (en)* | 2008-09-19 | 2010-04-02 | Toshiba Tec Corp | Image display apparatus, image display method, and program |
| WO2010038365A1 (en)* | 2008-09-30 | 2010-04-08 | パナソニック株式会社 | Recording medium, reproduction device, system lsi, reproduction method, spectacle, and display device associated with 3d video |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9437037B2 (en) | 2012-04-27 | 2016-09-06 | Hitachi Medical Corporation | Image display device, method and program |
| JP2013232730A (en)* | 2012-04-27 | 2013-11-14 | Hitachi Medical Corp | Image display device, method and program |
| WO2013161590A1 (en)* | 2012-04-27 | 2013-10-31 | 株式会社日立メディコ | Image display device, method and program |
| JP2014072748A (en)* | 2012-09-28 | 2014-04-21 | Dainippon Printing Co Ltd | Stereoscopic display device and stereoscopic display system |
| US10004990B2 (en) | 2014-08-28 | 2018-06-26 | Nintendo Co., Ltd. | Information processing terminal, non-transitory storage medium encoded with computer readable information processing program, information processing terminal system, and information processing method |
| JP2016051918A (en)* | 2014-08-28 | 2016-04-11 | 任天堂株式会社 | Information processing terminal, information processing program, information processing terminal system, and information processing method |
| JP2016057691A (en)* | 2014-09-05 | 2016-04-21 | 株式会社Ｌｉｖｅ２Ｄ | Program, information processor and recording medium |
| US10417811B2 (en) | 2014-09-05 | 2019-09-17 | Live2D Inc. | Recording medium, information processing apparatus, and control method |
| WO2016035724A1 (en)* | 2014-09-05 | 2016-03-10 | 株式会社Ｌｉｖｅ２Ｄ | Program, information processing device, control method and recording medium |
| JP2018182755A (en)* | 2015-11-11 | 2018-11-15 | ソニー株式会社 | Encoding apparatus and encoding method, decoding apparatus and decoding method |
| JPWO2017082077A1 (en)* | 2015-11-11 | 2018-08-30 | ソニー株式会社 | Image processing apparatus and image processing method |
| JPWO2017082076A1 (en)* | 2015-11-11 | 2018-07-26 | ソニー株式会社 | Encoding apparatus and encoding method |
| WO2017082076A1 (en)* | 2015-11-11 | 2017-05-18 | ソニー株式会社 | Encoding device and encoding method, and decoding device and decoding method |
| RU2721678C2 (en)* | 2015-11-11 | 2020-05-21 | Сони Корпорейшн | Encoding device and encoding method, decoding device and decoding method |
| CN113286137A (en)* | 2015-11-11 | 2021-08-20 | 索尼公司 | Encoding device and encoding method, and decoding device and decoding method |
| JP7009996B2 (en) | 2015-11-11 | 2022-01-26 | ソニーグループ株式会社 | Image processing device and image processing method |
| US11716487B2 (en) | 2015-11-11 | 2023-08-01 | Sony Corporation | Encoding apparatus and encoding method, decoding apparatus and decoding method |
| CN113286137B (en)* | 2015-11-11 | 2024-02-02 | 索尼公司 | Encoding apparatus and encoding method, and decoding apparatus and decoding method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6805861B2 (en) | Image processing equipment, image processing system, image processing method and program | |
| US11671712B2 (en) | Apparatus and methods for image encoding using spatially weighted encoding quality parameters | |
| US9167224B2 (en) | Image processing device, imaging device, and image processing method | |
| JP2011090400A (en) | Image display device, method, and program | |
| CN103078924A (en) | Visual field sharing method and equipment | |
| JP5923595B2 (en) | Image processing apparatus and method, and imaging apparatus | |
| JP7371264B2 (en) | Image processing method, electronic equipment and computer readable storage medium | |
| JP2012023488A (en) | Image processor, image processing method, display device, and program | |
| US9609302B2 (en) | Image processing device, imaging device, image processing method, and recording medium | |
| EP4298599A1 (en) | Image processing method, recording medium, image processing apparatus, and image processing system | |
| JP2006033476A (en) | Imaging device, display device, and imaging display device | |
| JP5564633B2 (en) | Stereoscopic image display control apparatus, imaging apparatus including the same, and stereoscopic image display control method | |
| JP5547356B2 (en) | Imaging apparatus, method, storage medium, and program | |
| KR102765081B1 (en) | Server, device and method for providing virtual reality service | |
| JP2013201688A (en) | Image processing apparatus, image processing method, and image processing program | |
| JP2011055043A (en) | Information recorder and program | |
| JP2009230635A (en) | Image data generating device, image data generating method and image data generating program | |
| JP2005130021A (en) | Stereoscopic vision image generating apparatus and image distribution server | |
| EP3429186B1 (en) | Image registration method and device for terminal | |
| WO2012157516A1 (en) | Video presentation system, video presentation method, program, and recording medium | |
| JP2008262487A (en) | Imaging unit, and method for generating and recording synchronization file | |
| JP2025109226A (en) | Electronic device, electronic device control method, program, and storage medium | |
| JP5255676B2 (en) | Image transmitting / receiving system, portable image receiving apparatus, image transmitting apparatus, and program | |
| JP2022113478A (en) | Integral stereoscopic display system and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20130214 | |
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20131028 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20131105 | |
| A521 | Written amendment | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20131211 | |
| A02 | Decision of refusal | Free format text:JAPANESE INTERMEDIATE CODE: A02 Effective date:20140204 |