本発明は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像（非立体画像）から奥行き推定データを生成する、奥行き推定データ生成装置、擬似立体画像生成装置、奥行き推定データ生成方法及び奥行き推定データ生成プログラムに関する。 The present invention relates to a depth estimation data generation device and a pseudo stereoscopic image generation device that generate depth estimation data from an image (non-stereo image) to which depth information is not given explicitly or implicitly like a stereo image. The present invention relates to a depth estimation data generation method and a depth estimation data generation program.
立体表示システムにおいては、非立体画像の擬似立体視による鑑賞を可能にするために、通常の静止画もしくは動画、即ち立体を表すための奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像（非立体画像）から、擬似的な立体画像を生成する処理が行われる。このような技術の一例として、例えば特許文献１に開示された擬似立体画像生成装置がある。特許文献１記載の技術は、できる限り現実に近いシーン構造の決定を行うために、基本となる複数種類のシーン構造のそれぞれについて奥行き値を示す複数種類の基本奥行きモデルを用いて、画面上部の高域成分評価部と画面下部の高域成分評価部からの入力非立体画像の高域成分評価値に応じて合成比率を決定し、その合成比率に応じて複数種類の基本奥行きモデルを合成する。そして加算器において、合成した基本奥行きモデルと非立体画像のＲ信号とを重畳し、最終的な奥行き推定データを生成し、この奥行き推定データを元にした処理を非立体画像の画像信号に施すことで、立体感を感じさせる別視点画像の画像信号を生成している。 In a stereoscopic display system, a normal still image or moving image, that is, depth information for representing a stereoscopic image, is explicitly or implicitly like a stereo image in order to enable viewing of a non-stereo image by pseudo-stereoscopic vision. In addition, a process for generating a pseudo stereoscopic image from an image (non-stereoscopic image) that is not given in FIG. As an example of such a technique, there is a pseudo-stereoscopic image generation apparatus disclosed in Patent Document 1, for example. In order to determine a scene structure that is as realistic as possible, the technique described in Patent Document 1 uses a plurality of basic depth models that indicate depth values for each of a plurality of basic scene structures. The composition ratio is determined according to the high-frequency component evaluation value of the input non-stereo image from the high-frequency component evaluation unit and the high-frequency component evaluation unit at the bottom of the screen, and multiple types of basic depth models are synthesized according to the composition ratio . The adder superimposes the synthesized basic depth model and the R signal of the non-stereo image to generate final depth estimation data, and performs processing based on the depth estimation data on the image signal of the non-stereo image. Thus, an image signal of another viewpoint image that gives a three-dimensional feeling is generated.
特許文献１の手法では、複数種類の基本奥行モデルを物理法則的な一般論、経験知、視覚心理的知見を用いて推定し生成している。しかし、コンピュータ・グラフィックスや画像に挿入されたテロップなどは、上記で用いている推定に当てはまらない事があり その推定結果から３Ｄ画像を生成すると違和感や破綻の多い画像となってしまう。このような画像の違和感や破綻を抑えるためには、全体の３Ｄ効果を弱める方向に設定しなくてはならない場合があり、更なる改善が望まれていた。 In the method of Patent Document 1, a plurality of types of basic depth models are estimated and generated using physical law general theory, empirical knowledge, and visual psychological knowledge. However, computer graphics and telops inserted into images may not be applied to the estimation used above, and if a 3D image is generated from the estimation results, the image will be uncomfortable or broken. In order to suppress such a sense of incongruity and failure of the image, it may be necessary to set the direction in which the overall 3D effect is weakened, and further improvement has been desired.
本発明は上記課題を鑑みてなされてもので、違和感が少なく破綻の目立たない２Ｄ３Ｄ変換が可能となる奥行き推定データを生成する、奥行き推定データ生成装置、擬似立体画像生成装置、奥行き推定データ生成方法及び奥行き推定データ生成プログラムを提供することを目的とする。 Although the present invention has been made in view of the above problems, a depth estimation data generation device, a pseudo-stereoscopic image generation device, and a depth estimation data generation method for generating depth estimation data capable of 2D3D conversion with less sense of incongruity and inconspicuous failure And a depth estimation data generation program.
上記の目的を達成するために本発明は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像から奥行き推定データを生成する奥行き推定データ生成装置（１０）であって、前記非立体画像信号に基づき、仮奥行き推定データを生成する仮奥行き推定データ生成部（１１，１２，１３，１４，１５，１６，１７，１９）と、前記非立体画像がカメラで撮影した画像か否かを判定する判定部（２１）と、前記判定部の判定結果に応じて前記仮奥行き推定データのゲインを調整して奥行き推定データを生成する第２加算部（２２）とを備えたことを特徴とする奥行き推定データ生成装置を提供する。In order to achieve the above object, the present invention provides a depth estimation data generation apparatus (10) that generates depth estimation data from a non-stereoscopic image to which depth information is not given explicitly or implicitly like a stereo image. And a temporary depth estimation data generation unit (11, 12, 13, 14, 15, 16, 17, 19) for generating temporary depth estimation data based on the non-stereo image signal, and the non-stereo image A determination unit (21) that determines whether the image is captured by a camera, and a second addition unit (22) that adjusts the gain of the temporary depth estimation data according to the determination result of the determination unit to generate depth estimation data. And a depth estimation data generation apparatus characterized by comprising:
また、上記の目的を達成するために本発明は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像から奥行き推定データを生成する奥行き推定データ生成方法であって、前記非立体画像信号に基づき、仮奥行き推定データを生成する仮奥行き推定データ生成ステップと、前記非立体画像がカメラで撮影した画像か否かを判定する判定ステップと前記判定ステップの判定結果に応じて前記仮奥行き推定データのゲインを調整して奥行き推定データを生成する第２加算ステップとを有することを特徴とする奥行き推定データ生成方法を提供する。 In order to achieve the above object, the present invention provides a depth estimation data generation method for generating depth estimation data from a non-stereo image in which depth information is not given explicitly or implicitly like a stereo image. A temporary depth estimation data generation step for generating temporary depth estimation data based on the non-stereoscopic image signal, a determination step for determining whether the non-stereoscopic image is an image taken by a camera, and the determination step A depth estimation data generation method comprising: a second addition step of generating depth estimation data by adjusting a gain of the temporary depth estimation data according to a determination result.
また、上記の目的を達成するために本発明は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像から奥行き推定データを生成する機能をコンピュータに実現させる奥行き推定データ生成プログラムであって、前記非立体画像信号に基づき、仮奥行き推定データを生成する仮奥行き推定データ生成処理と、前記非立体画像がカメラで撮影した画像か否かを判定する判定処理と、前記判定ステップの判定結果に応じて前記仮奥行き推定データのゲインを調整して奥行き推定データを生成する第２加算処理とを有することを特徴とする奥行き推定データ生成プログラムを提供する。 In order to achieve the above object, the present invention realizes a computer with a function of generating depth estimation data from a non-stereoscopic image to which depth information is not given explicitly or implicitly like a stereo image. A depth estimation data generation program for generating temporary depth estimation data generation processing for generating temporary depth estimation data based on the non-stereoscopic image signal, and a determination for determining whether the non-stereoscopic image is an image captured by a camera There is provided a depth estimation data generation program comprising: a process; and a second addition process for generating depth estimation data by adjusting a gain of the temporary depth estimation data according to a determination result of the determination step.
本発明によれば、違和感が少なく破綻の目立たない２Ｄ３Ｄ変換が可能となる奥行き推定データを生成する、奥行き推定データ生成装置、擬似立体画像生成装置、奥行き推定データ生成方法及び奥行き推定データ生成プログラムを提供することができる。 According to the present invention, there is provided a depth estimation data generation device, a pseudo stereoscopic image generation device, a depth estimation data generation method, and a depth estimation data generation program that generate depth estimation data that enables 2D3D conversion with less sense of incongruity and inconspicuous failure. Can be provided.
次に、本発明の実施の形態について図面と共に詳細に説明する。
図１に示すように、本実施の形態の擬似立体画像生成装置１は、奥行き推定データ生成部１０と、別視点画像生成部５０より構成される。Next, embodiments of the present invention will be described in detail with reference to the drawings.
As shown in FIG. 1, the pseudo-stereoscopic image generation apparatus 1 according to the present embodiment includes a depth estimation data generation unit 10 and another viewpoint image generation unit 50.
奥行き推定データ生成部１０は、画像入力部１１と、画面上部の高域成分評価部１２と、画面下部の高域成分評価部１３と、フレームメモリ１４、１５及び１６と、合成部１７と、第１加算部１９と、ホワイトノイズ候補検出部２０と、判定部２１と、第２加算部２２とを有し、奥行き推定データを生成する。また、画像入力部１１と、画面上部の高域成分評価部１２と、画面下部の高域成分評価部１３と、フレームメモリ１４、１５及び１６と、合成部１７と、第１加算部１９は本発明の仮奥行きデータ生成部として機能する。 The depth estimation data generation unit 10 includes an image input unit 11, a high-frequency component evaluation unit 12 at the top of the screen, a high-frequency component evaluation unit 13 at the bottom of the screen, frame memories 14, 15 and 16, a synthesis unit 17, It has the 1st addition part 19, the white noise candidate detection part 20, the determination part 21, and the 2nd addition part 22, and produces | generates depth estimation data. The image input unit 11, the high frequency component evaluation unit 12 at the top of the screen, the high frequency component evaluation unit 13 at the bottom of the screen, the frame memories 14, 15 and 16, the synthesis unit 17, and the first addition unit 19 It functions as a temporary depth data generation unit of the present invention.
画像入力部１１は、フレームメモリを備えており、入力した非立体画像信号である１フレーム分の画像信号を一時記憶した後、その１フレーム分の画像信号を画面上部の高域成分評価部１２、画面下部の高域成分評価部１３、ホワイトノイズ候補検出部２０にそれぞれ供給する。画像入力部１１に入力される非立体画像信号は一視点の画像信号であり、ここでは一例として右目画像として表示されるべき右目用画像信号であるものとする。画像入力部に入力する画像の信号方式は問わない。 The image input unit 11 includes a frame memory. After temporarily storing an image signal for one frame that is an input non-stereo image signal, the image signal for the one frame is stored in a high-frequency component evaluation unit 12 at the top of the screen. , And supplied to the high frequency component evaluation unit 13 and the white noise candidate detection unit 20 at the bottom of the screen. The non-stereoscopic image signal input to the image input unit 11 is a one-viewpoint image signal, and here, as an example, is a right-eye image signal to be displayed as a right-eye image. The signal system of the image input to the image input unit is not limited.
画面上部の高域成分評価部１２は、１フレーム分の右目用画像信号における画面の上部約２０％にあたる領域内での高域成分を求めて、画面上部の高域成分評価値として算出する。そして、画面上部の高域成分評価部１２は、画面上部の高域成分評価値を合成部１７に供給する。画面下部の高域成分評価部１３は、１フレーム分の右目用画像信号における画面の下部約２０％領域内にあたる領域内での高域成分を求めて、画面下部の高域成分評価値として算出する。そして、画面下部の高域成分評価部１３は、画面下部の高域成分評価値を合成部１７に供給する。 The high frequency component evaluation unit 12 at the top of the screen obtains a high frequency component in an area corresponding to about 20% of the top of the image signal for the right eye for one frame, and calculates it as a high frequency component evaluation value at the top of the screen. Then, the high frequency component evaluation unit 12 at the top of the screen supplies the high frequency component evaluation value at the top of the screen to the synthesis unit 17. The high-frequency component evaluation unit 13 at the bottom of the screen obtains a high-frequency component in an area corresponding to the lower 20% region of the screen in the right-eye image signal for one frame, and calculates it as a high-frequency component evaluation value at the bottom of the screen. To do. Then, the high frequency component evaluation unit 13 at the bottom of the screen supplies the high frequency component evaluation value at the bottom of the screen to the synthesis unit 17.
一方、フレームメモリ１４は基本奥行きモデルタイプ１、フレームメモリ１５は基本奥行きモデルタイプ２、フレームメモリ１６は基本奥行きモデルタイプ３の画像を予め格納している。これらの基本奥行きモデルタイプ１〜３の画像は、それぞれ非立体画像信号を基に奥行き推定データを生成して擬似立体画像信号を生成するための基本となるシーンの画像を示す。フレームメモリ１４〜１６は、本発明の基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを記憶する記憶部として機能する。 On the other hand, the frame memory 14 stores basic depth model type 1, the frame memory 15 stores basic depth model type 2, and the frame memory 16 stores basic depth model type 3 images in advance. The images of these basic depth model types 1 to 3 indicate scene images serving as a basis for generating pseudo stereoscopic image signals by generating depth estimation data based on non-stereo image signals, respectively. The frame memories 14 to 16 function as a storage unit that stores a plurality of basic depth models indicating depth values for each of a plurality of scene structures serving as a basis of the present invention.
上記の基本奥行きモデルタイプ１の画像は、球面状の凹面による奥行きモデルの画像で、図２に示すような立体構造の画像を示す。多くの場合に、この基本奥行きモデルタイプ１の画像が使用される。オブジェクトが存在しないシーンにおいては、画面中央を一番遠距離に設定することにより、違和感の少ない立体感及び快適な奥行き感が得られるからである。 The image of the basic depth model type 1 is a depth model image having a spherical concave surface, and an image having a three-dimensional structure as shown in FIG. In many cases, this basic depth model type 1 image is used. This is because, in a scene in which no object exists, setting the center of the screen to the farthest distance can provide a three-dimensional effect with less discomfort and a comfortable depth feeling.
また、上記の基本奥行きモデルタイプ２の画像は、基本奥行きモデルタイプ１の画像の上部を球面でなく、アーチ型の円筒面に置き換えたもので、図３に立体構造を示すような、上部を円筒面（軸は垂直方向）で下部を凹面（球面）としたモデルの画像である。 In addition, the above basic depth model type 2 image is obtained by replacing the upper part of the basic depth model type 1 image with an arch-shaped cylindrical surface instead of a spherical surface. It is an image of a model in which a cylindrical surface (axis is a vertical direction) and a lower surface is a concave surface (spherical surface).
更に、上記の基本奥行きモデルタイプ３の画像は、図４に立体構造を示すような、上部を平面とし、下部をその平面から連続し、下に行くほど手前側に向かう円筒面状としたもので、上部が平面、下部が円筒面（軸は水平方向）としたモデルの画像である。基本奥行きモデルタイプ発生手段を構成するフレームメモリ１４〜１６に格納されている、これら基本奥行きモデルタイプ１〜３の画像は、合成部１７へ供給される。 Furthermore, the basic depth model type 3 image is a cylindrical surface that has a three-dimensional structure as shown in FIG. 4, with the upper part being a plane, the lower part being continuous from the plane, and going down toward the front. The upper part is a plane image and the lower part is a cylindrical surface (the axis is the horizontal direction). The images of the basic depth model types 1 to 3 stored in the frame memories 14 to 16 constituting the basic depth model type generating unit are supplied to the synthesis unit 17.
合成部１７は、まず、画面上部の高域成分評価部１２から供給された画面上部の高域成分評価値と、画面下部の高域成分評価部１３から供給された画面下部の高域成分評価値とに基づいて、画像のシーンを考慮することなく、予め定められた方法により、基本奥行きモデルタイプ１の合成比率ｋ１、基本奥行きモデルタイプ２の合成比率ｋ２、基本奥行きモデルタイプ３の合成比率ｋ３を算定する。なお、３つの合成比率ｋ１〜ｋ３の合計値は常に「１」である。 The synthesizing unit 17 firstly evaluates the high frequency component at the top of the screen supplied from the high frequency component evaluation unit 12 at the top of the screen and the high frequency component at the bottom of the screen supplied from the high frequency component evaluation unit 13 at the bottom of the screen. Based on the value, the composition ratio k1 of the basic depth model type 1, the composition ratio k2 of the basic depth model type 2, and the composition ratio of the basic depth model type 3 by a predetermined method without considering the scene of the image Calculate k3. The total value of the three synthesis ratios k1 to k3 is always “1”.
図５は、合成比率の決定条件の一例を示す。図５は、横軸に示す画面上部の高域成分評価値（以下、上部の高域成分評価値と略す）と、縦軸に示す画面下部の高域成分評価値（以下、下部の高域成分評価値と略す）の各値と、予め指定された値ｔｐｓ、ｔｐｌ、ｂｍｓ、ｂｍｌとの兼ね合いにより合成比率が決定されることを示す。この合成比率の決定条件は一例であり、これに限定されるものではない。 FIG. 5 shows an example of conditions for determining the composition ratio. FIG. 5 shows a high-frequency component evaluation value at the top of the screen indicated by the horizontal axis (hereinafter abbreviated as the high-frequency component evaluation value at the top) and a high-frequency component evaluation value at the bottom of the screen indicated by the vertical axis (hereinafter, the high frequency component at the bottom). It is shown that the composition ratio is determined based on the balance between each value of the component evaluation value (abbreviated as component evaluation value) and the predesignated values tps, tpl, bms, and bml. The condition for determining the composition ratio is an example, and the present invention is not limited to this.
図５において、複数のタイプが記載されている領域については、高域成分評価値に応じて線形に合成される。例えば、図５において、「ｔｙｐｅ１／２」の領域では、下記のように（上部の高域成分評価値）と（下部の高域成分評価値）との比率で基本奥行きモデルタイプ１の値であるＴｙｐｅ１と基本奥行きモデルタイプ２の値であるＴｙｐｅ２の比率が決定され、基本奥行きモデルタイプ３の値であるｔｙｐｅ３は比率の決定には用いられない。 In FIG. 5, regions where a plurality of types are described are synthesized linearly according to the high frequency component evaluation value. For example, in the region of “type 1/2” in FIG. 5, the value of the basic depth model type 1 is the ratio of (upper high-frequency component evaluation value) and (lower high-frequency component evaluation value) as follows. A ratio between Type 1 and Type 2 which is a value of basic depth model type 2 is determined, and Type 3 which is a value of basic depth model type 3 is not used for determining the ratio.
Ｔｙｐｅ１：Ｔｙｐｅ２：Ｔｙｐｅ３
＝（上部の高域成分評価値−ｔｐｓ）：（ｔｐｌ−上部の高域成分評価値）：０
また、図５において、「Ｔｙｐｅ１／２／３」の領域では、Ｔｙｐｅ１／２とＴｙｐｅ１／３との平均を採用して、下記のようにＴｙｐｅ１／２／３の値が決定される。Type1: Type2: Type3
= (Upper high-frequency component evaluation value-tps): (tpl-Upper high-frequency component evaluation value): 0
In FIG. 5, in the “Type 1/2/3” region, the average of Type 1/2 and Type 1/3 is adopted, and the value of Type 1/2/3 is determined as follows.
Ｔｙｐｅ１：Ｔｙｐｅ２：Ｔｙｐｅ３
＝（上部の高域成分評価値−ｔｐｓ）＋（下部の高域成分評価値−ｂｍｓ）：（ｔｐｌ−上部の高域成分評価値）：（ｂｍｌ−下部の高域成分評価値）
なお、合成比率ｋ１、ｋ２、ｋ３は次式で算出される。Type1: Type2: Type3
= (Upper high-frequency component evaluation value-tps) + (Lower high-frequency component evaluation value-bms): (tpl-Upper high-frequency component evaluation value): (bml-Lower high-frequency component evaluation value)
The synthesis ratios k1, k2, and k3 are calculated by the following equations.
ｋ１＝Ｔｙｐｅ１／（Ｔｙｐｅ１＋Ｔｙｐｅ２＋Ｔｙｐｅ３）
ｋ２＝Ｔｙｐｅ２／（Ｔｙｐｅ１＋Ｔｙｐｅ２＋Ｔｙｐｅ３）
ｋ３＝Ｔｙｐｅ３／（Ｔｙｐｅ１＋Ｔｙｐｅ２＋Ｔｙｐｅ３）
合成部１７は、続いて、上記のように算出した合成比率ｋ１〜ｋ３が示す比率で、基本奥行きモデルタイプ１〜３の画像を合成して、背景を構成する曲面の奥行きデータ（以下、合成奥行きデータともいう）を生成する。合成部１７は、本発明の算定部および合成部として機能する。
第一加算部１９は、合成部１７から供給される合成奥行きデータと、画像入力部１１から供給される画像信号のＲ信号成分とを加算して仮奥行き推定データを生成する。k1 = Type1 / (Type1 + Type2 + Type3)
k2 = Type2 / (Type1 + Type2 + Type3)
k3 = Type3 / (Type1 + Type2 + Type3)
Subsequently, the combining unit 17 combines the images of the basic depth model types 1 to 3 at the ratio indicated by the combining ratios k1 to k3 calculated as described above, and calculates the depth data of the curved surface constituting the background (hereinafter referred to as combining). (Also referred to as depth data). The synthesis unit 17 functions as a calculation unit and a synthesis unit of the present invention.
The first adding unit 19 adds the combined depth data supplied from the combining unit 17 and the R signal component of the image signal supplied from the image input unit 11 to generate temporary depth estimation data.
Ｒ信号成分を使用する理由の一つは、順光に近い環境で、かつ、テクスチャの明るさの度合い（明度）の変化が大きくない条件下で、Ｒ信号成分の大きさが原画像の凹凸と一致する確率が高いという経験則による。すなわち、このＲ信号成分は、入力非立体画像の原画像の凹凸に略対応した信号レベルを示す信号成分である。なお、テクスチャとは、画像を構成する要素であり、単一の画素もしくは画素群で構成される。
また、Ｒ信号成分を使用するもう一つの理由として、赤色及び暖色は色彩学における前進色であり、寒色系よりも奥行きが手前に認識されるという特徴があり、この奥行きを手前に配置することで立体感を強調することが可能であるということである。One of the reasons for using the R signal component is that the size of the R signal component is uneven in the original image in an environment that is close to direct light and in which the change in the brightness level (brightness) of the texture is not large. According to the rule of thumb that there is a high probability of matching. That is, this R signal component is a signal component indicating a signal level substantially corresponding to the unevenness of the original image of the input non-stereo image. Note that a texture is an element constituting an image, and is composed of a single pixel or a group of pixels.
Another reason for using the R signal component is that red and warm colors are advanced colors in chromaticity, and the depth is recognized in front of the cold color system. It is possible to emphasize the stereoscopic effect.
本実施形態で説明した仮奥行き推定データ生成の流れは一例であり、これに限定されるものではない。例えば入力画像によってはＲ成分を加算することを省略しても効果的な仮奥行き推定データが得られる場合がある。また、画像全体が人物のアップの場合等は、合成奥行きモデル生成を省略して、入力画像のＲ成分のみから、有効な仮奥行き推定データを生成することも可能である。 The flow of provisional depth estimation data generation described in the present embodiment is an example, and the present invention is not limited to this. For example, depending on the input image, effective provisional depth estimation data may be obtained even if the addition of the R component is omitted. Also, when the entire image is a person up, it is possible to omit the synthetic depth model generation and generate effective temporary depth estimation data only from the R component of the input image.
ホワイトノイズ候補検出部２０は、画像に含まれるホワイトノイズ候補を検出する。図６にホワイトノイズ候補検出部２０の構成例を示す。ホワイトノイズ候補検出部２０は、フレームメモリ３１、減算器３２、ノイズレベル比較部３３、高域フィルタ３４、高域成分検出部３５、論理積部３６から構成される。 The white noise candidate detection unit 20 detects white noise candidates included in the image. FIG. 6 shows a configuration example of the white noise candidate detection unit 20. The white noise candidate detection unit 20 includes a frame memory 31, a subtractor 32, a noise level comparison unit 33, a high-pass filter 34, a high-frequency component detection unit 35, and a logical product unit 36.
フレームメモリ３１は、ホワイトノイズ候補検出部２０に入力した画像信号を１フレーム分遅延させる。減算器３２は、現フレームの画像信号から１フレーム遅延した画像信号を減算し、差分の絶対値を差分信号として出力する。
ホワイトノイズ自体は微小な信号であるため、ノイズレベル比較部３３では、減算器３２から受け取った差分信号の値を所定の閾値と比較し、閾値より小さい値の信号のみを出力する。この時比較する値は、Ｒ，Ｇ，Ｂのいずれかの信号レベルでも良いし、Ｒ，Ｇ，Ｂの２つ以上の信号レベルの組み合わせから算出した値でも良い。また、閾値は設計値として任意に設定可能である。The frame memory 31 delays the image signal input to the white noise candidate detection unit 20 by one frame. The subtracter 32 subtracts the image signal delayed by one frame from the image signal of the current frame, and outputs the absolute value of the difference as a difference signal.
Since the white noise itself is a minute signal, the noise level comparison unit 33 compares the value of the difference signal received from the subtractor 32 with a predetermined threshold value and outputs only a signal having a value smaller than the threshold value. The value to be compared at this time may be a signal level of any one of R, G, and B, or may be a value calculated from a combination of two or more signal levels of R, G, and B. The threshold can be arbitrarily set as a design value.
ホワイトノイズが広い空間周波数帯域を持つのに対し、動画像自体の変化は、極小の画素のみ変化することは少なく、その周囲と共に変化することがほとんどである。このため高域フィルタ３４により動画像自体の変化による成分を減衰させて高域成分を抽出する。高域成分検出部３５では高域フィルタ３４で抽出した高域成分信号を検出し、信号の値が所定の閾値以上となる信号成分を検出する。この時比較する値は、Ｒ，Ｇ，Ｂのいずれかの信号レベルでも良いし、Ｒ，Ｇ，Ｂの２つ以上の信号レベルの組み合わせから算出した値でも良い。また、閾値は設計値として任意に設定可能である。論理積部３６は、ノイズレベル比較器３３から受け取った信号と高域成分検出部３５から受け取った信号の論理積を取り、ホワイトノイズ候補信号として出力する。 While white noise has a wide spatial frequency band, the change of the moving image itself rarely changes only for a very small pixel, and almost always changes with its surroundings. For this reason, the high-pass filter 34 extracts the high-frequency component by attenuating the component due to the change of the moving image itself. The high frequency component detector 35 detects the high frequency component signal extracted by the high frequency filter 34 and detects a signal component whose signal value is equal to or greater than a predetermined threshold value. The value to be compared at this time may be a signal level of any one of R, G, and B, or may be a value calculated from a combination of two or more signal levels of R, G, and B. The threshold can be arbitrarily set as a design value. The logical product unit 36 calculates the logical product of the signal received from the noise level comparator 33 and the signal received from the high frequency component detection unit 35 and outputs the logical product as a white noise candidate signal.
判定部２１は、ホワイトノイズ候補信号の画面内での偏り度合いを判定し、ホワイトノイズであるか否かを判定する。カメラで撮影された画像は、撮像素子の熱電子の影響やAD変換器の変換誤差などにより、画像全体にランダムで微小なノイズ(ホワイトノイズ)を含んでいる。一方、ＣＧなど最初からデジタル信号処理された画像は、意図して挿入されない限りこのようなノイズ成分を含んでいない。第２加算部２２は、判定部２１の判定結果に基づき、ホワイトノイズが無いと判定された画像領域について、第１加算部１９から受け取った仮奥行き推定データの奥行きデータのゲインを下げ、奥行き推定データとして、別視点画像生成部５０に出力する。 The determination unit 21 determines the degree of bias of the white noise candidate signal in the screen and determines whether or not it is white noise. An image photographed by the camera contains random and minute noise (white noise) in the entire image due to the influence of thermoelectrons of the image sensor or the conversion error of the AD converter. On the other hand, an image digitally processed from the beginning, such as CG, does not contain such a noise component unless it is intentionally inserted. The second addition unit 22 lowers the gain of the depth data of the temporary depth estimation data received from the first addition unit 19 for the image area determined to have no white noise based on the determination result of the determination unit 21, and performs depth estimation. The data is output to the different viewpoint image generation unit 50 as data.
ホワイトノイズ検出処理の流れを、図７から図１３を使って説明する。図７から図１３は、２種類の入力画像に対する各処理工程に於ける処理状態を比較した図であり、各図で（ａ）は入力画像がＣＧ画像であった場合の処理状態を示し、（ｂ）は入力画像がＣＧ画像に対してカメラでの撮影時と同様のノイズ成分を付加した画像であった場合の処理状態を示す。 The flow of white noise detection processing will be described with reference to FIGS. FIG. 7 to FIG. 13 are diagrams comparing processing states in each processing step for two types of input images. In each figure, (a) shows a processing state when the input image is a CG image. (B) shows a processing state when the input image is an image in which a noise component similar to that at the time of photographing with the camera is added to the CG image.
図７は入力画像を示し、図８は入力画像をフレームメモリ３１で１フレーム分遅延させた画像を示す。すなわち、図８の画像は、図７の画像の１フレーム前の画像である。図９は、図７の画像と図８の画像の差分の絶対値をとった差分信号による画像である。図１０は、減算器３２から出力された差分信号からノイズレベル比較部３３にて閾値より小さい値の信号を抜き出し、２値化した信号画像である。図１１は、減算器３２から出力された差分信号を広域フィルタ３４に通し、更に、閾値以上の値となる信号を抜き出して２値化した信号画像である。 FIG. 7 shows an input image, and FIG. 8 shows an image obtained by delaying the input image by one frame in the frame memory 31. That is, the image of FIG. 8 is an image one frame before the image of FIG. FIG. 9 is an image based on a difference signal obtained by taking the absolute value of the difference between the image of FIG. 7 and the image of FIG. FIG. 10 is a signal image obtained by extracting a signal having a value smaller than the threshold value from the difference signal output from the subtractor 32 and binarizing the extracted signal. FIG. 11 is a signal image obtained by passing the difference signal output from the subtractor 32 through the wide-area filter 34 and extracting a signal having a value equal to or greater than the threshold value and binarizing it.
図１２は、ノイズレベル比較部３３から出力された信号と、高域成分比較部３５から出力された信号に対し、論理積部３６で論理積を取った信号画像であり、この論理積信号がホワイトノイズ候補信号となる。図１２から判るように、（ａ）のＣＧ画像では、ホワイトノイズ候補は少なく、また特定の場所に偏っている。一方ＣＧ画像にカメラでの撮影時と同様のノイズ成分を付加した（ｂ）の画像では、ホワイトノイズ候補が多く、また画像全体に分散している。判定部２１では、ホワイトノイズ候補の量と、画面内での分散度合いから、ホワイトノイズの有無を判定する。 FIG. 12 is a signal image obtained by ANDing the signal output from the noise level comparison unit 33 and the signal output from the high frequency component comparison unit 35 by the logical product unit 36. White noise candidate signal. As can be seen from FIG. 12, in the CG image of (a), there are few white noise candidates and they are biased to specific places. On the other hand, in the image of (b) in which a noise component similar to that at the time of shooting with the camera is added to the CG image, there are many white noise candidates and are dispersed throughout the image. The determination unit 21 determines the presence or absence of white noise from the amount of white noise candidates and the degree of dispersion in the screen.
ホワイトノイズ判定動作の一例を説明する。判定部２１では、ホワイトノイズ候補検出部２０から受け取ったホワイトノイズ候補信号画像を図１３の（ａ）、（ｂ）のように、格子状のエリアに分割し、その分割されたエリア毎にホワイトノイズ候補の量をカウントし、その平均値と分散値を求める。図１３（ｃ）は図１３（ａ）のホワイトノイズ候補信号に対し、格子状のエリアに分割したエリア毎にホワイトノイズ候補の量をカウントし、その平均値と分散値を求めた例であり、平均値は３．２０、分散値は８．２５と算出されている。図１３（ｄ）は図１３（ｂ）のホワイトノイズ候補信号に対し、格子状のエリアに分割したエリア毎にホワイトノイズ候補の量をカウントし、その平均値と分散値を求めた例であり、平均値は９．０５、分散値は３．７２と算出されている。 An example of the white noise determination operation will be described. The determination unit 21 divides the white noise candidate signal image received from the white noise candidate detection unit 20 into grid-like areas as shown in FIGS. 13A and 13B, and whites each divided area. The amount of noise candidates is counted, and an average value and a variance value are obtained. FIG. 13C is an example in which the amount of white noise candidates is counted for each area divided into grid-like areas and the average value and the variance value are obtained with respect to the white noise candidate signal of FIG. The average value is calculated to be 3.20, and the variance value is calculated to be 8.25. FIG. 13D is an example in which the amount of white noise candidates is counted for each area divided into grid-like areas and the average value and the variance value are obtained with respect to the white noise candidate signal of FIG. The average value is calculated as 9.05, and the variance value is calculated as 3.72.
判定部２１は、ホワイトノイズ候補の量の平均値が所定の閾値より少ないか、または分散値が所定の閾値より大きい場合、カメラによる実写画像ではないと判定する。この時、平均値の閾値および分散値の閾値は設計値として任意に設定可能である。また、ほぼエリア全体にホワイトノイズが存在しているが、特定のエリアにのみ極端にホワイトノイズ候補が少ない場合、カメラによる実写画像にテロップ領域が存在すると判定する。例えば、図１３（ｄ）において、ホワイトノイズ候補の平均値は９．０５と大きいので、この画像全体はカメラによる実写画像と判定する。しかし、分割された画像内の領域によっては、ホワイトノイズ候補の数が０や１のように極端に少ない領域が存在する。この時、ホワイトノイズ候補が極端に少ない領域をテロップ領域と判定する。 When the average value of the amount of white noise candidates is smaller than a predetermined threshold value or the variance value is larger than the predetermined threshold value, the determination unit 21 determines that the image is not a real image taken by the camera. At this time, the threshold value of the average value and the threshold value of the dispersion value can be arbitrarily set as design values. If white noise is present in almost the entire area, but there are extremely few white noise candidates only in a specific area, it is determined that a telop area is present in a real image taken by the camera. For example, in FIG. 13D, since the average value of white noise candidates is as large as 9.05, the entire image is determined to be a real image taken by the camera. However, depending on the region in the divided image, there are regions where the number of white noise candidates is extremely small, such as 0 or 1. At this time, an area with extremely few white noise candidates is determined as a telop area.
第２加算部２２は、判定部２１の判定結果に基づき、カメラによる実写画像ではないと判定された場合、第１の加算部１９から受け取った仮奥行き推定データに対し、画像全体の奥行きデータのゲインを下げ、奥行き推定データとして出力する。また、カメラによる実写画像にテロップ領域が存在すると判定された場合、第１の加算部１９から受け取った仮奥行き推定データに対し、テロップ領域と判定された領域のみ、奥行きデータのゲインを下げて、奥行き推定データとして出力する。 Based on the determination result of the determination unit 21, the second addition unit 22 determines the depth data of the entire image with respect to the temporary depth estimation data received from the first addition unit 19 when it is determined that the image is not a real image captured by the camera. The gain is lowered and output as depth estimation data. Further, when it is determined that a telop area exists in the actual image taken by the camera, the gain of the depth data is reduced only for the area determined as the telop area with respect to the temporary depth estimation data received from the first addition unit 19. Output as depth estimation data.
以上の処理により、ＣＧ画やメニュー表示等の様にデジタル的に作成された画像に対し、奥行きデータのゲインを下げ、より適切な２Ｄ３Ｄ変換を行える奥行き推定データを生成することができる。 Through the above processing, it is possible to generate depth estimation data that can reduce the gain of depth data and perform more appropriate 2D3D conversion on images digitally created such as CG images and menu displays.
奥行き推定データ生成部１０により生成した奥行き推定データを基に、別視点の画像を生成することが可能になる。例えば、左に視点移動する場合、画面より手前に表示するものについては、近い物ほど画像を見る者の内側（鼻側） に見えるので、内側すなわち右に対応部分のテクスチャを奥行きに応じた量だけ移動する。
画面より奥に表示するものについては、近い物ほど画像を見る者の外側に見えるので、左に対応部分のテクスチャを奥行きに応じた量だけ移動する。これを左目画像、原画を右目画像とすることでステレオペアが構成される。Based on the depth estimation data generated by the depth estimation data generation unit 10, an image of another viewpoint can be generated. For example, when moving the viewpoint to the left, for objects that are displayed in front of the screen, the closer the object, the closer to the viewer (in the nose side), the more visible the texture of the corresponding part on the inside, that is, on the right. Just move.
As for objects to be displayed at the back of the screen, the closer the object is to the outside of the viewer, the corresponding texture is moved to the left by an amount corresponding to the depth. A stereo pair is formed by using this as the left-eye image and the original image as the right-eye image.
図１に戻り、別視点画像生成部５０について説明する。
別視点画像生成部５０は、テクスチャシフト部５１、オクルージョン補償部５２、ポスト処理部５３で構成され、ステレオペア画像として左目画像５４および右目画像５５を出力する。テクスチャシフト部５１は、奥行き推定データ生成部１０から受け取った奥行き推定データに応じた量だけ右目画像のテクスチャシフトを行い、右目視点とは別視点の画像を生成する。Returning to FIG. 1, the different viewpoint image generation unit 50 will be described.
The different viewpoint image generation unit 50 includes a texture shift unit 51, an occlusion compensation unit 52, and a post processing unit 53, and outputs a left eye image 54 and a right eye image 55 as stereo pair images. The texture shift unit 51 performs texture shift of the right eye image by an amount corresponding to the depth estimation data received from the depth estimation data generation unit 10, and generates an image of a viewpoint different from the right eye viewpoint.
テクスチャシフトを行うことによる画像中の位置関係変化によりテクスチャの存在しない部分すなわちオクルージョンが発生する場合がある。このような部分については、オクルージョン補償部５２において、入力画像 の対応部分で充填する、若しくは公知の文献（ 山田邦男， 望月研二， 相澤清晴， 齊藤隆弘： ” 領域競合法により分割された画像のテクスチャの統計量に基づくオクルージョン補償" , 映情学誌, Ｖｏｌ.５６，Ｎｏ．５，ｐｐ．８６３〜８６６（２００２．５）） に記載の手法で充填する。
オクルージョン補償部５２でオクルージョン補償した画像は、ポスト処理部５３により、平滑化などのポスト処理を施すことにより、それ以前の処理において発生したノイズなどを軽減することによって左目画像５４を生成し、入力画像を右目画像５５とすることによりステレオペアが構成される。これらの左目画像５４と右目画像５５とは、ステレオ表示装置２へと出力される。A portion where there is no texture, that is, occlusion may occur due to a change in the positional relationship in the image due to texture shift. For such a part, the occlusion compensation unit 52 fills in the corresponding part of the input image, or a well-known document (Kunio Yamada, Kenji Mochizuki, Kiyoharu Aizawa, Takahiro Saito: “Image texture divided by the region competition method” Occlusion compensation based on the statistic of ”, Eiji Jakugaku, Vol. 56, No. 5, pp. 863-866 (2002.5)).
The image subjected to occlusion compensation by the occlusion compensation unit 52 is subjected to post-processing such as smoothing by the post-processing unit 53, thereby generating a left-eye image 54 by reducing noise generated in the previous processing, A stereo pair is formed by using the right eye image 55 as the image. These left eye image 54 and right eye image 55 are output to the stereo display device 2.
なおステレオペア画像の生成に関しては、左右反転することで左目画像を原画とし、右目画像を別視点画像として生成してもよい。
また、上記処理においては、右目画像もしくは左目画像のどちらかを入力画像、他方を生成された別視点画像とするようなステレオペア画像を構成しているが、左右どちらについても別視点画像を用いる、すなわち、右に視点移動した別視点画像と左に視点移動した別視点画像を用いてステレオペア画像を構成することも可能である。
なお、本実施形態では別視点画像生成部として２視点での例を説明しているが、２視点以上の表示が可能な表示装置にて表示する場合、その視点数に応じた数の別視点画像を生成する複数視点画像生成装置を構成することも可能である。Regarding the generation of the stereo pair image, the left-eye image may be generated as an original image and the right-eye image may be generated as a different viewpoint image by reversing left and right.
In the above processing, a stereo pair image is formed in which either the right-eye image or the left-eye image is used as the input image and the other is generated as another viewpoint image. That is, it is also possible to configure a stereo pair image using another viewpoint image moved to the right and another viewpoint image moved to the left.
In this embodiment, an example with two viewpoints is described as the different viewpoint image generation unit. However, when displaying on a display device capable of displaying two or more viewpoints, the number of different viewpoints according to the number of viewpoints is displayed. It is also possible to configure a multi-viewpoint image generation device that generates an image.
上記のステレオ表示装置２は、偏光メガネを用いたプロジェクションシステム、時分割表示と液晶シャッタメガネを組み合わせたプロジェクションシステム若しくはディスプレイシステム、レンチキュラ方式のステレオディスプレイ、アナグリフ方式のステレオディスプレイ、ヘッドマウントディスプレイなどを含む。
また、上記のように２視点以上の表示が可能な表示装置を用いた多視点立体画像表示システムの構築も可能である。また、本立体表示システムにおいては音声出力を装備する形態のものも考えられる。この場合、静止画等音声情報を持たない画像コンテンツについては、画像にふさわしい環境音を付加するような態様のものが考えられる。The stereo display device 2 includes a projection system using polarized glasses, a projection system or display system combining time-division display and liquid crystal shutter glasses, a lenticular stereo display, an anaglyph stereo display, a head mounted display, and the like. .
In addition, as described above, it is possible to construct a multi-viewpoint stereoscopic image display system using a display device that can display two or more viewpoints. Further, the present stereoscopic display system may be configured to be equipped with an audio output. In this case, for image content that does not have audio information, such as still images, an aspect in which an environmental sound suitable for an image is added can be considered.
なお、本発明は、ハードウェアにより図１の構成の奥行きデータ生成部、ステレオペア生成部を構成する場合に限定されるものではなく、コンピュータプログラムによるソフトウェアにより実現することもできる。この場合、コンピュータプログラムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワーク経由でコンピュータに取り込まれてもよい。 Note that the present invention is not limited to the case where the depth data generation unit and the stereo pair generation unit configured as shown in FIG. 1 are configured by hardware, and can also be realized by software using a computer program. In this case, the computer program may be taken into the computer from a recording medium or may be taken into the computer via a network.
１ 擬似立体画像生成装置
１０ 奥行き推定データ生成部、１１ 画像入力部
１２ 画面上部の高域成分評価部、１３ 画面下部の高域成分評価部
１４、１５、１６ フレームメモリ、１７ 合成部、１９ 第１加算部
２０ ホワイトノイズ候補検出部、２１ 判定部、２２ 第２加算部
３１ フレームメモリ、３２ 減算部、３３ ノイズレベル比較部
３４ 高域フィルタ、３５ 高域成分検出部、３６ 論理積部
５０ 別視点画像生成部、５１ テクスチャシフト部
５２ オクルージョン補償部、５３ ポスト処理部DESCRIPTION OF SYMBOLS 1 Pseudo three-dimensional image production | generation apparatus 10 Depth estimation data production | generation part, 11 Image input part 12 High frequency component evaluation part of the screen upper part, 13 High frequency component evaluation part 14, 15, and 16 frame lower part of a screen 1 addition unit 20 white noise candidate detection unit, 21 determination unit, 22 second addition unit 31 frame memory, 32 subtraction unit, 33 noise level comparison unit 34 high pass filter, 35 high pass component detection unit, 36 logical product unit 50 Viewpoint image generation unit, 51 Texture shift unit 52 Occlusion compensation unit, 53 Post processing unit
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012282318AJP6056459B2 (en) | 2012-12-26 | 2012-12-26 | Depth estimation data generation apparatus, pseudo stereoscopic image generation apparatus, depth estimation data generation method, and depth estimation data generation program |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012282318AJP6056459B2 (en) | 2012-12-26 | 2012-12-26 | Depth estimation data generation apparatus, pseudo stereoscopic image generation apparatus, depth estimation data generation method, and depth estimation data generation program |
| Publication Number | Publication Date |
|---|---|
| JP2014127799A JP2014127799A (en) | 2014-07-07 |
| JP6056459B2true JP6056459B2 (en) | 2017-01-11 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012282318AActiveJP6056459B2 (en) | 2012-12-26 | 2012-12-26 | Depth estimation data generation apparatus, pseudo stereoscopic image generation apparatus, depth estimation data generation method, and depth estimation data generation program |
| Country | Link |
|---|---|
| JP (1) | JP6056459B2 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007228153A (en)* | 2006-02-22 | 2007-09-06 | Seiko Epson Corp | Color conversion apparatus, color conversion method, and color conversion program |
| JP5178490B2 (en)* | 2008-12-17 | 2013-04-10 | キヤノン株式会社 | Image processing apparatus, image processing method, and computer program |
| JP2011066540A (en)* | 2009-09-15 | 2011-03-31 | Toshiba Corp | Video processing apparatus and video processing method |
| JP5304714B2 (en)* | 2010-04-09 | 2013-10-02 | 株式会社Ｊｖｃケンウッド | Pseudo stereoscopic image generation apparatus and camera |
| Publication number | Publication date |
|---|---|
| JP2014127799A (en) | 2014-07-07 |
| Publication | Publication Date | Title |
|---|---|---|
| US9277207B2 (en) | Image processing apparatus, image processing method, and program for generating multi-view point image | |
| TWI545934B (en) | Method and system for processing an input three dimensional video signal | |
| JP5402483B2 (en) | Pseudo stereoscopic image creation device and pseudo stereoscopic image display system | |
| US20110210969A1 (en) | Method and device for generating a depth map | |
| US20130250053A1 (en) | System and method for real time 2d to 3d conversion of video in a digital camera | |
| US9154762B2 (en) | Stereoscopic image system utilizing pixel shifting and interpolation | |
| TWI531212B (en) | System and method of rendering stereoscopic images | |
| TW201242335A (en) | Image processing device, image processing method, and program | |
| CN101729791A (en) | Apparatus and method for image processing | |
| US20130208088A1 (en) | Three-dimensional image processing apparatus, three-dimensional imaging apparatus, and three-dimensional image processing method | |
| JP4214529B2 (en) | Depth signal generation device, depth signal generation program, pseudo stereoscopic image generation device, and pseudo stereoscopic image generation program | |
| JP5692051B2 (en) | Depth estimation data generation apparatus, generation method and generation program, and pseudo stereoscopic image generation apparatus, generation method and generation program | |
| JP5127973B1 (en) | Video processing device, video processing method, and video display device | |
| US20130076745A1 (en) | Depth estimation data generating apparatus, depth estimation data generating method, and depth estimation data generating program, and pseudo three-dimensional image generating apparatus, pseudo three-dimensional image generating method, and pseudo three-dimensional image generating program | |
| JP4214527B2 (en) | Pseudo stereoscopic image generation apparatus, pseudo stereoscopic image generation program, and pseudo stereoscopic image display system | |
| US8976175B2 (en) | Depth estimation data generating device, computer readable recording medium having depth estimation data generating program recorded thereon, and pseudo-stereo image display device | |
| JP6056459B2 (en) | Depth estimation data generation apparatus, pseudo stereoscopic image generation apparatus, depth estimation data generation method, and depth estimation data generation program | |
| JP2012084961A (en) | Depth signal generation device, pseudo stereoscopic image signal generation device, depth signal generation method, pseudo stereoscopic image signal generation method, depth signal generation program, and pseudo stereoscopic image signal generation program | |
| JP5459231B2 (en) | Pseudo stereoscopic image generation apparatus, pseudo stereoscopic image generation program, and pseudo stereoscopic image display apparatus | |
| JP5500092B2 (en) | Depth estimation data generation device, depth estimation data generation program, and pseudo-stereoscopic image display device | |
| JP5888140B2 (en) | Depth estimation data generation apparatus, pseudo stereoscopic image generation apparatus, depth estimation data generation method, and depth estimation data generation program | |
| JP5786807B2 (en) | Depth information generation device, depth information generation method, depth information generation program, pseudo stereoscopic image generation device | |
| JP5780214B2 (en) | Depth information generation device, depth information generation method, depth information generation program, pseudo stereoscopic image generation device | |
| JP5362071B2 (en) | Video processing device, video display device, and video processing method | |
| JP2014072640A (en) | Depth estimation data generation device, pseudo three-dimensional image generation device, depth estimation data generation method and depth estimation data generation program |
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20150331 | |
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20160411 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20160419 | |
| A521 | Written amendment | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20160620 | |
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20161108 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20161121 | |
| R150 | Certificate of patent or registration of utility model | Ref document number:6056459 Country of ref document:JP Free format text:JAPANESE INTERMEDIATE CODE: R150 |