JP2024165249A - Shadow area detection device and shadow area detection method - Google Patents
Shadow area detection device and shadow area detection methodDownload PDFInfo
- Publication number
- JP2024165249A JP2024165249AJP2023081280AJP2023081280AJP2024165249AJP 2024165249 AJP2024165249 AJP 2024165249AJP 2023081280 AJP2023081280 AJP 2023081280AJP 2023081280 AJP2023081280 AJP 2023081280AJP 2024165249 AJP2024165249 AJP 2024165249A
- Authority
- JP
- Japan
- Prior art keywords
- shadow
- image
- distance
- coordinate
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
Translated fromJapanese本発明は、影領域検出装置及び影領域検出方法に関する。The present invention relates to a shadow area detection device and a shadow area detection method.
従来、被写体の色情報及び被写体までの距離情報を取得可能な深度カメラ（ＲＧＢＤカメラ）があった。このような深度カメラを用いて取得された情報に基づき、三次元点群データ又はメッシュデータ等の三次元モデルを生成することが行われている。生成された三次元モデルは、例えば、メタバース空間に合成される。メタバース空間においては、同一のメタバース空間に合成された他の三次元モデルの存在による影が、三次元モデルに追加される場合がある。ここで、深度カメラを用いて現実の世界に存在する被写体の三次元モデルを生成しようとした場合、撮影時の環境光による影が存在すると、メタバース空間に存在する光源の方向と一致しないため、外観に違和感が生じる場合がある。また深度カメラを用いて得られる距離情報によれば、影部分の暗い映像の距離精度が得られないといった課題があった。そこで、深度カメラにより測距された距離情報の精度を向上させるために、偏光センサの情報を用いて法線ベクトルを生成し、補正する技術があった（特許文献１を参照）。Conventionally, there has been a depth camera (RGBD camera) capable of acquiring color information of a subject and distance information to the subject. Based on information acquired using such a depth camera, a three-dimensional model such as three-dimensional point cloud data or mesh data is generated. The generated three-dimensional model is, for example, synthesized in a metaverse space. In the metaverse space, a shadow due to the presence of another three-dimensional model synthesized in the same metaverse space may be added to the three-dimensional model. Here, when attempting to generate a three-dimensional model of a subject existing in the real world using a depth camera, if there is a shadow due to the ambient light at the time of shooting, the direction of the shadow does not match the direction of the light source existing in the metaverse space, and therefore the appearance may be unnatural. In addition, there was a problem that the distance information obtained using the depth camera could not obtain the distance accuracy of the dark image in the shadow area. Therefore, in order to improve the accuracy of the distance information measured by the depth camera, there was a technology that generates and corrects a normal vector using information from a polarization sensor (see Patent Document 1).
しかしながら上述したような従来技術によれば、距離情報の精度を向上させることはできるかもしれないが、色情報（ＲＧＢ情報）を補正することはできない。したがって、生成される三次元モデルには、影が重畳してしまっており、メタバース空間に合成した場合に、影の影響により暗くなっている部分（以下、影部分と記載する。）が違和感を生じさせるといった問題があった。ここで、影による外観上の違和感を軽減するためには、周囲の色より暗い色となっている影部分の色情報を修正することが考えられる。しかしながら、周囲の色より暗い部分であるからといって、当該部分が影の影響により暗くなっているのか、被写体が有する本来の色であるのかを判定することは難しく、影部分の色情報を補正することは困難であった。However, while the above-mentioned conventional technology may be able to improve the accuracy of distance information, it is not possible to correct color information (RGB information). Therefore, the generated three-dimensional model has a shadow superimposed on it, and when it is synthesized into the metaverse space, there is a problem that the parts that are darkened by the influence of the shadow (hereinafter referred to as the shadow parts) create an unnatural feeling. Here, in order to reduce the unnatural appearance caused by the shadow, it is possible to correct the color information of the shadow parts that are darker than the surrounding color. However, just because a part is darker than the surrounding color, it is difficult to determine whether the part is darker due to the influence of the shadow or is the original color of the subject, and it has been difficult to correct the color information of the shadow parts.
そこで本発明は、このような状況に鑑みてなされたものであって、影の影響により被写体の色情報が暗くなっている部分を検出することが可能な影領域検出装置の提供を目的とする。The present invention was made in consideration of these circumstances, and aims to provide a shadow area detection device that can detect areas of a subject where the color information is darkened due to the influence of a shadow.
［１］本発明の一態様は、被写体の情報を二次元平面上の各座標に有する画像を取得する画像取得部と、取得した前記画像の各座標について、各座標が有する前記被写体の情報に基づき、複数の領域に区分する領域区分け部と、前記被写体を、複数の異なる偏光角度を有する偏光フィルタをそれぞれ介して撮像された複数の偏光画像を取得する偏光画像取得部と、前記領域区分け部により区分された前記画像の領域についての情報と、前記偏光画像とに基づいて、前記画像の各座標について影部分と推定される座標の候補を検出する影候補検出部とを備える影領域検出装置である。[1] One aspect of the present invention is a shadow area detection device that includes an image acquisition unit that acquires an image having information about a subject at each coordinate on a two-dimensional plane, a region division unit that divides each coordinate of the acquired image into a plurality of regions based on the information about the subject that each coordinate has, a polarized image acquisition unit that acquires a plurality of polarized images of the subject captured through polarizing filters having a plurality of different polarization angles, and a shadow candidate detection unit that detects candidates for coordinates estimated to be shadow areas for each coordinate of the image based on the information about the image regions divided by the region division unit and the polarized images.
［２］また、本発明の一態様は、上記［１］に記載の影領域検出装置において、前記画像取得部により取得される前記画像には、前記被写体の色に関する情報を二次元平面上の各座標に有するＲＧＢ画像が含まれ、前記領域区分け部は、前記ＲＧＢ画像の各座標について、各座標が有する色情報に基づき、複数の領域に区分する色領域区分け部を更に備えるものである。[2] In one aspect of the present invention, in the shadow region detection device described in [1] above, the image acquired by the image acquisition unit includes an RGB image having information about the color of the subject at each coordinate on a two-dimensional plane, and the region division unit further includes a color region division unit that divides each coordinate of the RGB image into a plurality of regions based on the color information that each coordinate has.
［３］また、本発明の一態様は、上記［２］に記載の影領域検出装置において、前記影候補検出部により、影候補と推定された座標が有する画素値を、影候補と推定されなかった座標が有する画素値に基づいた値に置き換える影補正部を更に備えるものである。[3] In one aspect of the present invention, the shadow area detection device described in [2] above further includes a shadow correction unit that replaces pixel values of coordinates estimated to be shadow candidates by the shadow candidate detection unit with values based on pixel values of coordinates that are not estimated to be shadow candidates.
［４］また、本発明の一態様は、上記［１］から［３］のいずれかに記載の影領域検出装置において、前記画像取得部により取得される前記画像には、前記被写体までの距離に関する情報を二次元平面上の各座標に有する距離画像が含まれ、前記領域区分け部は、前記距離画像の各座標について、各座標が有する距離情報に基づき、複数の領域に区分する距離領域区分け部を更に備えるものである。[4] In one aspect of the present invention, in the shadow region detection device described in any one of [1] to [3] above, the image acquired by the image acquisition unit includes a distance image having information on the distance to the subject at each coordinate on a two-dimensional plane, and the region division unit further includes a distance region division unit that divides each coordinate of the distance image into a plurality of regions based on the distance information held by each coordinate.
［５］また、本発明の一態様は、被写体の情報を二次元平面上の各座標に有する画像を取得する画像取得工程と、
取得した前記画像の各座標について、各座標が有する前記被写体の情報に基づき、複数の領域に区分する領域区分け工程と、
前記被写体を、複数の異なる偏光角度を有する偏光フィルタをそれぞれ介して撮像された複数の偏光画像を取得する偏光画像取得工程と、
前記領域区分け工程により区分された前記画像の領域についての情報と、取得された前記偏光画像とに基づいて、前記画像の各座標について影部分と推定される座標の候補を検出する影候補検出工程と
を有する影領域検出方法である。 [5] Also, one aspect of the present invention provides an image capturing step of capturing an image having information of a subject at each coordinate on a two-dimensional plane;
a region dividing step of dividing each coordinate of the acquired image into a plurality of regions based on information of the subject held by each coordinate;
a polarization image acquisition step of acquiring a plurality of polarization images of the subject through a plurality of polarization filters each having a different polarization angle;
and a shadow candidate detection step of detecting candidates for coordinates estimated to be shadow areas for each coordinate of the image, based on information about the image regions divided by the region division step and the acquired polarized image.
本発明によれば、影の影響により被写体の色情報が暗くなっている部分を検出することができる。The present invention makes it possible to detect areas of a subject where the color information is darkened due to the influence of shadows.
本発明の態様に係る影領域検出装置について、好適な実施の形態を掲げ、添付の図面を参照しながら以下、詳細に説明する。なお、以下で説明する実施形態は一例に過ぎず、本発明が適用される実施形態は、以下の実施形態に限られない。また、本願でいう「ＸＸに基づいて」とは、「少なくともＸＸに基づく」ことを意味し、ＸＸに加えて別の要素に基づく場合も含む。また、「ＸＸに基づいて」とは、ＸＸを直接に用いる場合に限定されず、ＸＸに対して演算や加工が行われたものに基づく場合も含む。「ＸＸ」は、任意の要素（例えば、任意の情報）である。また、以下の図面においては、各構成をわかりやすくするために、各構造における縮尺および数等を、実際の構造における縮尺および数等と異ならせる場合がある。A preferred embodiment of the shadow region detection device according to the present invention will be described in detail below with reference to the accompanying drawings. Note that the embodiment described below is merely an example, and the embodiment to which the present invention is applied is not limited to the following embodiment. In addition, "based on XX" in this application means "based on at least XX" and includes cases where it is based on other elements in addition to XX. In addition, "based on XX" is not limited to cases where XX is directly used, but also includes cases where it is based on XX that has been subjected to calculation or processing. "XX" is any element (for example, any information). In addition, in the following drawings, the scale and number of each structure may be different from the scale and number of the actual structure in order to make each configuration easier to understand.
［第１実施形態］
まず、図１から図１０を参照しながら、第１実施形態に係る影領域検出システム１について説明する。[First embodiment]
First, a shadow
図１は、第１実施形態に係る影領域検出システムが検出する影について説明するための図である。図１（Ａ）は、被写体としての物体Ａについて、ＲＧＢ画像を撮像する場合の一例を示している。図中には、撮像されるＲＧＢ画像の画角を示す。ここで、図示するような画角でＲＧＢ画像を撮像する際、画角の外には物体Ｂが存在するものとする。この場合、太陽等の光源と、物体Ｂとの影響により、物体ＡのＲＧＢ画像には影が映し出されていることが分かる。影の部分は、物体Ａの本来の色情報より、暗くなる（すなわち、輝度が低くなる）。Figure 1 is a diagram for explaining the shadows detected by the shadow area detection system according to the first embodiment. Figure 1(A) shows an example of capturing an RGB image of object A as a subject. The figure shows the angle of view of the captured RGB image. Here, when capturing an RGB image with the angle of view shown in the figure, it is assumed that object B exists outside the angle of view. In this case, it can be seen that a shadow is projected in the RGB image of object A due to the influence of a light source such as the sun and object B. The shadow portion is darker (i.e., has lower brightness) than the original color information of object A.
図１（Ｂ）は、物体Ａと同様の形状を有するが、異なる色情報を有する物体Ｂを示す。同図には、物体Ｂが本来有する色情報を示している。換言すれば、物体Ｂは、影の影響によることなく、図示するような色情報を有している。図１（Ａ）に示す物体Ａの色情報と、図１（Ｂ）に示す物体Ｂの色情報とは、互いに同一又は類似する。このように、ＲＧＢ画像を見ただけでは、周囲より暗い部分（すなわち、輝度が低い部分）が、被写体本来の色なのか、図１（Ａ）に示すように、画像に映らない物体による影の色なのか、判断できない場合がある。Figure 1(B) shows object B, which has a similar shape to object A, but different color information. This figure shows the color information that object B originally has. In other words, object B has color information as shown, without the influence of shadows. The color information of object A shown in Figure 1(A) and the color information of object B shown in Figure 1(B) are the same or similar to each other. In this way, just by looking at an RGB image, it may not be possible to determine whether a part that is darker than the surroundings (i.e., a part with low brightness) is the original color of the subject, or the color of a shadow cast by an object not reflected in the image, as shown in Figure 1(A).
将来メタバース空間等のヴァーチャル空間に合成することを前提とした三次元モデルを生成する際、被写体である物体が有する色情報のうち、どの部分が影の部分であるかが分かると、色情報を補正したうえで三次元モデルを生成することが可能となる。本実施形態に係る影領域検出システム１によれば、物体を撮像して得られた色情報のうち影である領域を検出することができる。When generating a three-dimensional model that is intended to be synthesized in a virtual space such as the metaverse in the future, if it is known which parts of the color information of the subject object are shadow parts, it is possible to generate a three-dimensional model after correcting the color information. The shadow
図２は、第１実施形態に係る影領域検出システムの機能構成の一例について示す機能構成図である。同図を参照しながら、影領域検出システム１の機能構成の一例について説明する。影領域検出システム１は、影領域検出装置１０と、記憶装置２１と、記憶装置２２と、測距センサ３１と、ＲＧＢセンサ３２と、偏光センサ３３とを備える。FIG. 2 is a functional configuration diagram showing an example of the functional configuration of the shadow area detection system according to the first embodiment. With reference to the diagram, an example of the functional configuration of the shadow
記憶装置２１は、影領域検出装置１０の処理に要するパラメータ等を記憶する。記憶装置２１に記憶されたパラメータ等は、ユーザ等により適宜書き換えられるものであってもよいし、時間帯、気温又は天気等の環境情報に応じて変化するものであってもよい。記憶装置２２は、影領域検出装置１０により検出された影領域を特定するための情報を記憶する。なお、記憶装置２１及び記憶装置２２は、いずれも影領域検出装置１０に含まれていてもよい。The
測距センサ３１は、被写体の三次元情報を取得する。具体的には、測距センサ３１は、被写体までの距離を複数の点において測定することにより、距離画像を取得する。測距センサ３１は、例えばＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式を用いて、被写体に対して二次元的に光を照射し、反射光を受光するまでの時間に基づいて距離を計測するものであってもよい。測距センサ３１は、取得した距離画像を、影領域検出装置１０に出力する。The
ＲＧＢセンサ３２は、測距センサ３１による測距対象である被写体と同一の被写体についてのＲＧＢ画像を撮像する。測距センサ３１により取得される距離画像の座標と、ＲＧＢセンサ３２により取得されるＲＧＢ画像の座標とは、互いに対応するものであることが好適である。なお、測距センサ３１及びＲＧＢセンサ３２は、不図示の深度カメラ（ＲＧＢＤカメラ）が備える構成要件であってもよい。ＲＧＢセンサ３２は、例えばベイヤーパターンに配列されたＲＧＢ各色のフィルタを有するフォトダイオードを複数備え、ＲＧＢ各色の輝度情報を取得する。ＲＧＢセンサ３２は、取得したＲＧＢ画像を例えばＲＡＷ画像として影領域検出装置１０に出力する。The
偏光センサ３３は、測距センサ３１による測距対象であり、ＲＧＢセンサ３２による撮像対象である被写体と同一の被写体についての偏光画像を取得する。偏光センサ３３は、複数の異なる偏光角度を有する偏光フィルタ（偏光子）をそれぞれ介して撮像された複数の偏光画像を撮像する。偏光センサ３３は、取得した偏光画像を影領域検出装置１０に出力する。The
影領域検出装置１０は、画像取得部１１１と、リサイズ部１１３と、色相・輝度計算部１１５と、領域区分け部１１９と、偏光画像取得部１３１と、偏光角算出部１３２と、リサイズ部１３３と、影候補検出部１５０とを備える。これらの各機能部は、例えば、電子回路を用いて実現される。また、各機能部は、必要に応じて、半導体メモリや磁気ハードディスク装置などといった記憶手段を内部に備えてよい。また、各機能を、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有するコンピュータおよびソフトウェアによって実現するようにしてもよい。The shadow
画像取得部１１１は、被写体の情報を二次元平面上の各座標に有する画像を取得する。当該画像には、被写体の色に関する情報を二次元平面上の各座標に有するＲＧＢ画像と、被写体までの距離に関する情報を二次元平面上の各座標に有する距離画像とが含まれる。すなわち、画像取得部１１１は、ＲＧＢ画像又は距離画像のうち、少なくとも一方を取得する。具体的には、画像取得部１１１は、ＲＧＢセンサ３２からＲＧＢ画像を取得する。画像取得部１１１は、取得したＲＧＢ画像を、ディベイヤー（ディモザイク）処理し、ＲＧＢ各色の画像信号を得る。また、画像取得部１１１は、測距センサ３１から距離画像を取得する。The
リサイズ部１１３は、画像取得部１１１から距離画像に関する情報を取得する。リサイズ部１１３は、距離画像の解像度と、ＲＧＢ画像から得られるＲＧＢ各色の解像度とが互いに異なる場合に、距離画像をリサイズ（アップコンバート）し、互いに同じ解像度に合わせる。なお、リサイズ部１１３は、画像取得部１１１からＲＧＢ各色の画像信号を取得し、ＲＧＢ各色の画像信号をリサイズ（ダウンコンバート）することにより、互いに同じ解像度に合わせてもよい。The resizing
領域区分け部１１９は、リサイズ部１１３により互いに同じ解像度に合わせられた距離画像と、ＲＧＢ画像とを取得する。領域区分け部１１９は、取得した画像の各座標について、各座標が有する被写体の情報に基づき、複数の領域に区分する。領域区分け部１１９は、具体的には、距離領域区分け部１１６と、色領域区分け部１１７と、物体領域区分け部１１８とを備える。距離領域区分け部１１６は、距離画像に基づいた領域区分け処理を行う。距離領域区分け部１１６は、距離画像の各座標について、各座標が有する距離情報に基づき、複数の領域に区分するということもできる。色領域区分け部１１７は、ＲＧＢ画像に基づいた領域区分け処理を行う。色領域区分け部１１７は、ＲＧＢ画像の各座標について、各座標が有する色情報に基づき、複数の領域に区分するということもできる。物体領域区分け部１１８は、距離領域区分け部１１６により行われた領域区分け結果と、色領域区分け部１１７により行われた領域区分け結果とに基づいた領域区分け処理を行う。領域区分け処理とは、画像が有する各座標を、画像に存在する複数の物体それぞれについての領域に区分けする処理である。領域区分け処理においては、同一の物体の中の同系色の領域には同一の識別番号（ＩＮＤＥＸ番号）が付される。The
まず、距離領域区分け部１１６により行われる領域区分け処理について説明する。距離領域区分け部１１６は、リサイズ部１１３により距離画像がリサイズされ、ＲＧＢ各色の画像信号と互いに同じ解像度に合わせられた距離画像を取得する。また、距離領域区分け部１１６は、記憶装置２１から、距離領域区分け処理に用いられるパラメータであるＤＴＨ１ｍａｘと、ＤＴＨ１ｍｉｎと、ＤＴＨ２と、ＤＴＨ３とを取得する。First, the region division process performed by the distance
ＤＴＨ１ｍａｘとは、被写体の背景の距離データについて、影検出の領域から除去するための距離を設定するものである。換言すれば、ＤＴＨ１ｍａｘとは、被写体の奥行き方向の最大値であるということもできる。ＤＴＨ１ｍｉｎとは、被写体の手前の距離データについて、影検出の領域から除去するための距離を設定するものである。換言すれば、ＤＴＨ１ｍｉｎとは、被写体の手前方向の最大値であるということもできる。ＤＴＨ２とは、隣り合う座標の距離値が、同一平面のものか否かを判定するための閾値である。ＤＴＨ３とは、センサに起因する大きなランダムノイズや、デッドピクセル等に基づく異常値を除去するための閾値である。距離領域区分け部１１６は、これらのパラメータを用いて、被写体の物体の領域について区分け処理を行い、各領域に距離ＩＮＤＥＸ番号を付していく。これは、同じ物体であれば隣接するピクセルの距離値は、大きく離れていないという考え方を基本とするものである。距離ＩＮＤＥＸ番号とは、距離情報に基づきピクセルごとに付される番号であり、同一の物体であると推定されるピクセルには、同一の番号が付されるものである。DTH1max is a distance setting for removing distance data of the subject's background from the shadow detection area. In other words, DTH1max is the maximum value in the depth direction of the subject. DTH1min is a distance setting for removing distance data in front of the subject from the shadow detection area. In other words, DTH1min is the maximum value in the front direction of the subject. DTH2 is a threshold for determining whether the distance values of adjacent coordinates are on the same plane or not. DTH3 is a threshold for removing abnormal values due to large random noise caused by the sensor and dead pixels. The distance
距離領域区分け部１１６により、距離ＩＮＤＥＸ番号が付されていく動作を、図３、図４Ａ及び図４Ｂを参照しながら詳細に説明する。The operation of assigning distance INDEX numbers by the distance
図３は、第１実施形態に係る距離領域区分け部による距離領域区分け処理について説明するための図である。同図は、画像取得部１１１により取得された距離画像（Ｄｅｐｔｈデータ画像）を、説明のため少ないピクセル数で表したものである。同図において、距離画像の値（距離値）を、グレーの濃さにより表している。具体的には、色が濃い部分程近くに存在する物体を示し、色が薄い部分程遠くに存在する物体を示している。図３（Ａ）は、各座標に、説明のために用いる各座標を識別するための番号を付したものを示している。図３（Ｂ）は、距離領域区分け部１１６により付された距離ＩＮＤＥＸ番号を示している。Figure 3 is a diagram for explaining the distance area division process by the distance area division unit according to the first embodiment. In this figure, the distance image (depth data image) acquired by the
図４Ａ及び図４Ｂ（以下、単に図４と記載する場合がある）は、第１実施形態に係る距離領域区分け部による距離領域区分け処理の一例を示すフローチャートである。図示するフローチャートは、図３に示す距離画像の左上端ピクセルから、水平方向、垂直方向のスキャンで順序処理を行う場合の処理の流れを示したものである。図４に示すフローチャートは、図３に示した矢印のような順次走査で処理するようにループする。Figures 4A and 4B (hereinafter sometimes simply referred to as Figure 4) are a flowchart showing an example of distance area division processing by the distance area division unit according to the first embodiment. The illustrated flowchart shows the flow of processing when sequential processing is performed by scanning in the horizontal and vertical directions from the upper left pixel of the distance image shown in Figure 3. The flowchart shown in Figure 4 loops so as to process by sequential scanning as indicated by the arrows shown in Figure 3.
まず、距離領域区分け部１１６は、距離画面から３×３ピクセルの領域の距離値（Ｄｅｐｔｈデータ）を取得する（ステップＳ１１１）。ここで、取得した３×３ピクセルの中には、センサのノイズやデッドピクセルにより突出して１ピクセルだけ周囲と違うデータが含まれることがある。距離領域区分け部１１６は、まずステップＳ１１２及びステップＳ１１３において、このようなデータに距離ＩＮＤＥＸ番号をつける。具体的には、距離領域区分け部１１６は、３×３ピクセルの中心だけ周囲ピクセル全てと比較して、距離値の差が、＋ＤＴＨ３以上又は－ＤＴＨ３以下であるか否かを判定する（ステップＳ１１２）。距離領域区分け部１１６は、距離値に所定の差があると判定した場合（すなわちステップＳ１１２；ＹＥＳ）、３×３ピクセルの中心ピクセルの距離ＩＮＤＥＸ番号を、左隣の距離ＩＮＤＥＸ番号とする（ステップＳ１１３）。なお、一番左上の３×３領域で、まだ距離ＩＮＤＥＸ番号が振られていない場合は、距離ＩＮＤＥＸ番号を０にする。距離領域区分け部１１６は、距離値に所定の差が無いと判定した場合（すなわちステップＳ１１２；ＮＯ）、処理をステップＳ１１４に進める。First, the distance
図３（Ａ）を見ると、中心部分にＦと付された座標が存在する。当該座標のピクセルは、周辺との距離値の差が±ＤＴＨ３であったとする。このような場合、当該座標のピクセルは、左隣のピクセルの距離ＩＮＤＥＸ番号となる。具体的には、図３（Ｂ）に示した通り、距離ＩＮＤＥＸ番号が左隣の距離ＩＮＤＥＸ番号と同様、１と判定されている。判定された距離ＩＮＤＥＸ番号は一時記憶部（不図示）に記憶され、次のピクセルに移り、フローの始めにループする。なお、以下に説明する処理についても、距離ＩＮＤＥＸ番号をピクセルごとに付していき、付された距離ＩＮＤＥＸ番号は、一時記憶部に記憶されるものとする。Looking at Figure 3 (A), there is a coordinate labeled F in the center. The pixel at that coordinate has a distance value difference of ±DTH3 from the surrounding pixels. In such a case, the pixel at that coordinate becomes the distance INDEX number of the pixel to the left. Specifically, as shown in Figure 3 (B), the distance INDEX number is determined to be 1, just like the distance INDEX number of the pixel to the left. The determined distance INDEX number is stored in a temporary storage unit (not shown), and the process moves to the next pixel and loops to the beginning of the flow. Note that in the process described below, a distance INDEX number is assigned to each pixel, and the assigned distance INDEX numbers are stored in the temporary storage unit.
ステップＳ１１２がＮＯの場合は、次に、距離領域区分け部１１６は、ステップＳ１１４及びステップＳ１１５において、被写体の奥に存在する背景や、被写体の手前に存在する余計な物体を影検出の対象から除外する処理を行う。具体的に、距離領域区分け部１１６は、距離閾値ＤＴＨ１ｍａｘ、及びＤＴＨ１ｍｉｎを用いた判定を行う。ＤＴＨ１ｍａｘとは、被写体より遠くにある物体を影検出の対象から除外するための閾値である。また、ＤＴＨ１ｍｉｎとは、被写体より近くにある物体を影検出の対象から除外するための閾値である。まず、距離領域区分け部１１６は、３×３ピクセルの中心ピクセルの距離値が、ＤＴＨ１ｍｉｎ以下又はＤＴＨ１ｍａｘ以上であるかを判定する（ステップＳ１１４）。距離領域区分け部１１６は、距離値が閾値を超えていた場合（すなわちステップＳ１１４；ＹＥＳ）、中心ピクセルの距離ＩＮＤＥＸ番号を、０とする（ステップＳ１１５）。また、距離領域区分け部１１６は、距離値が閾値を超えていない場合（すなわちステップＳ１１４；ＮＯ）、処理をステップＳ１１６に進める。具体的に、図３（Ａ）に示す一例では、数字が付されていない座標については、ＤＴＨ１ｍａｘを超えた部分、すなわち被写体の奥に存在する背景であると判定された部分を示している。また、３３乃至３９の番号が付されている部分が、ＤＴＨ１ｍｉｎ以下の部分、すなわち被写体の手前に存在する余計な物体であると判定された部分を示している。このような部分は、図３（Ｂ）に示す通り、距離ＩＮＤＥＸ番号は０となる。If step S112 is NO, then in steps S114 and S115, the distance
ステップＳ１１４がＮＯの場合は、次に、距離領域区分け部１１６は、ステップＳ１１６及びステップＳ１１７において、新たに検出された物体に対して距離ＩＮＤＥＸ番号を付す。換言すれば、距離領域区分け部１１６は、物体の輪郭部分に対して新たな距離ＩＮＤＥＸ番号を付していくということもできる。具体的に、距離領域区分け部１１６は、左上のピクセルから、水平方向に順次スキャンを行っていくため、あるピクセルをスキャンする場合には、３×３ピクセルのうち、上部３ピクセルと、左１ピクセルについては、既にスキャンが完了しているということができる。距離領域区分け部１１６は、このようにスキャンが完了しているピクセルのうち、まだ０以外の距離ＩＮＤＥＸ番号が無いか判定する（ステップＳ１１６）。距離領域区分け部１１６は、まだ０以外の距離ＩＮＤＥＸ番号が無い場合（すなわちステップＳ１１６；ＹＥＳ）、当該ピクセルに距離ＩＮＤＥＸ番号を付す（ステップＳ１１７）。また、距離領域区分け部１１６は、まだ０以外の距離ＩＮＤＥＸ番号が有る場合（すなわちステップＳ１１６；ＮＯ）、処理をステップＳ１１８に進める。このような作業を行うことにより、距離領域区分け部１１６は、３×３の中央ピクセルについて、これまで付されていなかったピクセルについて、距離ＩＮＤＥＸ番号を付すことができる。図示する一例において、図３（Ａ）の１が付されているピクセルは、左上からスキャンしていき、初めて物体があると判定されたピクセルであるため、距離ＩＮＤＥＸ番号として１が付されている。また、２２が付されているピクセルは、すでに距離ＩＮＤＥＸ番号が３まで付されている状況において、付されたものであるため、距離ＩＮＤＥＸ番号として４が付されている。If step S114 is NO, then the distance
ステップＳ１１６がＮＯの場合は、次に、距離領域区分け部１１６は、ステップＳ１１８乃至ステップＳ１２１において、物体であると判定された部分が同一平面上に存在するか否かを判定する。すなわち、距離領域区分け部１１６は、ステップＳ１１８乃至ステップＳ１２１において、同一の距離ＩＮＤＥＸ番号を付すか、異なる距離ＩＮＤＥＸ番号を付すかを判定する。ここで、ステップＳ１１８の処理が行われる場合とは、３×３ピクセルのうち、すでにスキャンして距離ＩＮＤＥＸ番号が付された上部３ピクセルと左１ピクセルにおいて、０以外の距離ＩＮＤＥＸ番号がある場合ということができる。このような場合において、距離領域区分け部１１６は、３×３ピクセルの中心ピクセルがすでに距離ＩＮＤＥＸ番号が付されているものと同じ平面のものかどうか、ＤＴＨ２の閾値レベルに基づいて判定を行う。If step S116 is NO, then the distance
距離領域区分け部１１６は、具体的には、上部３ピクセルと左１ピクセルの距離値のいずれかが、３×３の中央ピクセルの距離値の－ＤＴＨ２～＋ＤＴＨ２以内であるか否かを判定する（ステップＳ１１８）。距離領域区分け部１１６は、上部３ピクセルと左１ピクセルの距離値のいずれかが、３×３の中央ピクセルの距離値の－ＤＴＨ２～＋ＤＴＨ２以内であれば（すなわち、ステップＳ１１８；ＹＥＳ）、互いに同じ平面とみなし、互いに同じ距離ＩＮＤＥＸ番号を付す。このとき、中心ピクセルの距離値に対して、－ＤＴＨ２～＋ＤＴＨ２内のものが複数ピクセルある場合、それらのピクセルは全て、その中で一番若い距離ＩＮＤＥＸ番号とする（ステップＳ１１９）。また、上部３ピクセルと左１ピクセルにおいて、すでに距離ＩＮＤＥＸ番号が付されており、距離ＩＮＤＥＸ番号が書き換えられた場合、これまでスキャンして距離ＩＮＤＥＸ番号が記憶されている座標を参照し、同じ距離ＩＮＤＥＸ番号を有する各座標についても全て書き換える（ステップＳ１２１）。Specifically, the distance
図示する一例において、図３（Ａ）の座標が２、６、１２、及び１３のピクセルは、座標が１８のピクセルについてスキャン処理を行うまでは、距離ＩＮＤＥＸ番号が２とされていたが、座標が１８のピクセルについての判定を行うときに、距離ＩＮＤＥＸ番号が１に振り直されている。これは、座標が１７のピクセルの距離値が、－ＤＴＨ２～＋ＤＴＨ２以内であったためである。その際、図３（Ｂ）に示すように、３×３ピクセルの領域外のすでに距離ＩＮＤＥＸ番号が２として記憶されていた座標が２、６、１２、及び１３の各ピクセルについても、距離ＩＮＤＥＸ番号が１に振り直されている。このように処理をした後、次のピクセル処理に移る。In the illustrated example, the pixels with
距離領域区分け部１１６は、上部３ピクセルと左１ピクセルの距離値のいずれかが、３×３の中央ピクセルの距離値の－ＤＴＨ２～＋ＤＴＨ２以内でなければ（すなわち、ステップＳ１１８；ＮＯ）、対象のピクセルの距離ＩＮＤＥＸ番号を、今まで付してきた距離ＩＮＤＥＸ番号以外の番号に更新して、新たな距離ＩＮＤＥＸ番号とする（ステップＳ１２０）。例えば図３（Ａ）に示す座標が７のピクセルについて、このピクセルのスキャン処理時において、距離ＩＮＤＥＸ番号は２である。しかしながら、左のピクセル（すなわち座標が６のピクセル）と、左上のピクセル（すなわち座標が２のピクセル）との距離値が、－ＤＴＨ２～＋ＤＴＨ２以内に入らない場合、距離ＩＮＤＥＸ番号が更新され、距離ＩＮＤＥＸ番号が３として記憶される（ステップＳ１２０）。また、距離領域区分け部１１６は、当該処理が行われた後、次のピクセルの処理に移る（ステップＳ１２２）。If any of the distance values of the top three pixels and the left pixel is not within -DTH2 to +DTH2 of the distance value of the central pixel of the 3x3 pixel (i.e., step S118; NO), the distance
距離領域区分け部１１６は、以上のような流れで、すべてのピクセルをスキャンしていく。すなわち、本実施形態においては、複数回の判定が行われた結果、距離ＩＮＤＥＸ番号が更新されていく。図３（Ｂ）では、全てのピクセルについて、最終的に得られた結果を示している。The distance
図２に戻り、距離領域区分け部１１６は、最終的に得られた距離ＩＮＤＥＸ番号についての情報を物体領域区分け部１１８に出力する。Returning to FIG. 2, the distance
次に、色領域区分け部１１７により行われる領域区分け処理について説明する。色領域区分け部１１７は、画像取得部１１１により取得されたＲＧＢ画像に基づくＲＧＢ各色の信号と、リサイズ部１１３により距離画像がリサイズされ、ＲＧＢ各色の画像信号と互いに同じ解像度に合わせられた距離画像とを取得する。また、色領域区分け部１１７は、色領域区分け処理に用いられるパラメータであるＷＴＨと、ＤＴＨ１ｍｉｎと、ＤＴＨ１ｍａｘと、ＨＵＥＴＨと、ＳＡＴＴＨとを取得する。ＤＴＨ１ｍｉｎ及びＤＴＨ１ｍａｘは、距離領域区分け部１１６により行われる距離領域区分け処理と同様のパラメータであってもよい。Next, the region division process performed by the color
ＷＴＨとは、ＲＧＢセンサの突出したノイズや、デッドピクセル等に基づく異常値を除外するための閾値である。ＷＴＨは、温度に応じて変動する値であってもよい。ＨＵＥＴＨとは、色で領域を区分けするための、色相についての閾値である。ＳＡＴＴＨとは、色飽和についての閾値である。色領域区分け部１１７は、これらのパラメータを用いて、被写体の物体の領域について区分け処理を行い、各領域に色ＩＮＤＥＸ番号を付していく。これは、同じ物体で同じ色であれば、たとえそれが影と影でない部分であったとしても、両者は互いに似た色相に収まるという考え方を基本とするものである。色ＩＮＤＥＸ番号とは、色相情報に基づきピクセルごとに付される番号であり、同一の物体の中の同系色であると推定されるピクセルには、同一の番号が付されるものである。距離ＩＮＤＥＸ番号と、色ＩＮＤＥＸ番号とは、互いに異なるアプローチによりそれぞれ同一の物体の距離による領域と色による領域に領域分けをしたものである。WTH is a threshold value for removing abnormal values due to prominent noise of the RGB sensor, dead pixels, etc. WTH may be a value that varies according to temperature. HUETH is a threshold value for hue for dividing regions by color. SATTH is a threshold value for color saturation. The color
なお、色相を判断できない場合、例えば色のない黒、グレー、白の物体は、色の飽和がノイズレベル程度に小さい。したがって、本実施形態において、ある色飽和レベル以下のものは、白黒グレーの同じ物体としている。When the hue cannot be determined, for example in the case of colorless black, gray, or white objects, the color saturation is as low as the noise level. Therefore, in this embodiment, objects below a certain color saturation level are considered to be the same black, white, and gray objects.
色領域区分け部１１７により、色ＩＮＤＥＸ番号が付されていく動作を、図５、図６Ａ及び図６Ｂを参照しながら詳細に説明する。The operation of assigning color INDEX numbers by the color
図５は、第１実施形態に係る色領域区分け部による色領域区分け処理について説明するための図である。同図は、画像取得部１１１により取得されたＲＧＢ画像を、説明のため少ないピクセル数で表したものである。同図では、画素値をグレーの濃さにより表している。図５（Ａ）は、各座標に、説明のために用いる各座標を識別するための番号を付している。図５（Ｂ）は、色領域区分け部１１７により付された色ＩＮＤＥＸ番号を示している。Figure 5 is a diagram for explaining the color region division process by the color region division unit according to the first embodiment. In this figure, the RGB image acquired by the
図６Ａ及び図６Ｂ（以下、単に図６と記載する場合がある）は、第１実施形態に係る色領域区分け部による色領域区分け処理の一例を示すフローチャートである。図示するフローチャートは、図５に示すＲＧＢ画像の左上端ピクセルから、水平方向、垂直方向のスキャンで順序処理を行う場合の処理の流れを示したものである。図５に示した矢印のような順次走査で処理するように、図６に示すフローチャートはループする。Figures 6A and 6B (hereinafter sometimes simply referred to as Figure 6) are a flowchart showing an example of color region division processing by the color region division unit according to the first embodiment. The illustrated flowchart shows the flow of processing when sequential processing is performed by scanning horizontally and vertically from the upper left pixel of the RGB image shown in Figure 5. The flowchart shown in Figure 6 loops so that processing is performed by sequential scanning as indicated by the arrows shown in Figure 5.
まず、色領域区分け部１１７は、入力されたＲＧＢ各色の信号を、輝度Ｙ、色相ＨＵＥ、色飽和ＳＡＴに変換する。当該変換には、例えば次（１）式から（５）式のような数式が用いられてもよい。First, the color
Ｙ＝０．２１２６×Ｒ＋０．７１５２×Ｇ＋０．０７２２×Ｂ・・・（１）
Ｐｂ＝－０．１１４６×Ｒ－０．３８５４×Ｇ＋０．５０００×Ｂ・・・（２）
Ｐｒ＝０．５０００×Ｒ－０．４５４２×Ｇ－０．０４５８×Ｂ・・・（３）
ＨＵＥ＝ＡＴＡＮ（Ｐｒ／Ｐｂ）・・・（４）
ＳＡＴ＝ＳＱＲＴ（ＰＢ＾２＋Ｐｒ＾２）・・・（５） Y=0.2126×R+0.7152×G+0.0722×B...(1)
Pb=-0.1146×R-0.3854×G+0.5000×B...(2)
Pr=0.5000×R-0.4542×G-0.0458×B...(3)
HUE=ATAN(Pr/Pb)...(4)
SAT=SQRT(PB^2+Pr^2)...(5)
色領域区分け部１１７は、これら（１）式から（５）式を用いて、３×３の全てのピクセルについて、ＨＵＥ、ＳＡＴ、及びＹを算出しておく（ステップＳ２１１）。また、色領域区分け部１１７は、３×３ピクセルの中心ピクセルの距離値（Ｄｅｐｔｈ値）についても取得しておく。The color
次に、色領域区分け部１１７は、ステップＳ２１２及びステップＳ２１３において、ＲＧＢセンサに起因するノイズのうち突出して大きいノイズや、デッドピクセル等に基づく異常値を有するピクセル、及び白キズ、黒キズと呼ばれる画素欠陥を有するピクセルの処理を行う。具体的には、色領域区分け部１１７は、まず、３×３ピクセルの中心ピクセルにおけるＲＧＢ各色の信号と、３×３の周辺８ピクセルのＲＧＢ各色の信号とを比較する（ステップＳ２１２）。周辺８ピクセルにおいて、画素値が中心ピクセルの＋ＷＴＨ以上、又は―ＷＴＨ以下であるチャンネルが一つでもある場合（すなわち、ステップＳ２１２；ＹＥＳ）、色領域区分け部１１７は、当該中心ピクセルをデッドピクセルとみなし、左隣の色ＩＮＤＥＸ番号とする（ステップＳ２１３）。なお、一番左上の３×３領域において、まだ色ＩＮＤＥＸ番号が付されていない場合は、色ＩＮＤＥＸ番号を０とする。Next, in steps S212 and S213, the color
図示する一例において、図５（Ａ）では、Ｗと示したピクセルが、周辺よりＲＧＢ値が±ＷＴＨより離れているものとする。この場合、色領域区分け部１１７は、隣のピクセルの色ＩＮＤＥＸ番号をＷと示したピクセルの色ＩＮＤＥＸ番号とする。図５（Ｂ）を見ると、図５（Ａ）においてＷと示したピクセルの色ＩＮＤＥＸ番号は、隣のピクセル（すなわち、座標が１６であるピクセル）の色ＩＮＤＥＸ番号と同様となっている。判定された色ＩＮＤＥＸ番号は一時記憶部（不図示）に記憶され、次のピクセルに移り、フローの始めにループする。なお、以下に説明する処理についても、色ＩＮＤＥＸ番号をピクセルごとに付していき、付された色ＩＮＤＥＸ番号は、一時記憶部に記憶されるものとする。In the illustrated example, in FIG. 5(A), the pixel marked W has an RGB value that is farther away from the surrounding pixels by ±WTH. In this case, the color
ステップＳ２１２がＮＯの場合は、次に、色領域区分け部１１７は、ステップＳ２１４及びステップＳ２１５において、被写体の奥に存在する背景や、被写体の手前に存在する余計な物体を影検出の対象から除外する処理を行う。具体的に、色領域区分け部１１７は、距離閾値ＤＴＨ１ｍａｘ、及びＤＴＨ１ｍｉｎを用いた判定を行う。まず、色領域区分け部１１７は、中心ピクセルの距離値が、ＤＴＨ１ｍｉｎ以下又はＤＴＨ１ｍａｘ以上であるかを判定する（ステップＳ２１４）。色領域区分け部１１７は、距離値が閾値を超えていた場合（すなわちステップＳ２１４；ＹＥＳ）、中心ピクセルの色ＩＮＤＥＸ番号を、０とする（ステップＳ２１５）。また、色領域区分け部１１７は、距離値が閾値を超えていない場合（すなわちステップＳ２１４；ＮＯ）、処理をステップＳ２１６に進める。具体的に、図５（Ａ）に示す一例では、数字が付されていない座標については、ＤＴＨ１ｍａｘを超えた部分、すなわち被写体の奥に存在する背景であると判定された部分を示している。また、３５乃至４１の番号が付されている部分が、ＤＴＨ１ｍｉｎ以下の部分、すなわち被写体の手前に存在する余計な物体であると判定された部分を示している。このような部分は、図５（Ｂ）に示す通り、色ＩＮＤＥＸ番号は０となる。If step S212 is NO, then in steps S214 and S215, the color
ステップＳ２１４がＮＯの場合は、次に、色領域区分け部１１７は、ステップＳ２１６及びステップＳ２１７において、新たに検出された物体に対して色ＩＮＤＥＸ番号を付す。換言すれば、物体の輪郭部分に対して新たな色ＩＮＤＥＸ番号を付していくということもできる。具体的に、色領域区分け部１１７は、左上のピクセルから、水平方向に順次スキャンを行っていくため、あるピクセルをスキャンする場合には、３×３ピクセルのうち、上部３ピクセルと、左１ピクセルについては、既にスキャンが完了しているということができる。色領域区分け部１１７は、このようにスキャンが完了しているピクセルのうち、まだ０以外の色ＩＮＤＥＸ番号が無いか判定する（ステップＳ２１６）。色領域区分け部１１７は、まだ０以外の色ＩＮＤＥＸ番号が無い場合（すなわちステップＳ２１６；ＹＥＳ）、当該ピクセルに色ＩＮＤＥＸ番号を付す（ステップＳ２１７）。また、色領域区分け部１１７は、まだ０以外の距離ＩＮＤＥＸ番号が有る場合（すなわちステップＳ２１６；ＮＯ）、処理をステップＳ２１８に進める。このような作業を行うことにより、色領域区分け部１１７は、３×３の中央ピクセルについて、これまで付されていなかったピクセルについて、色ＩＮＤＥＸ番号を付すことができる。図示する一例において、図５（Ａ）の１が付されているピクセルは、左上からスキャンしていき、初めて物体があると判定されたピクセルであるため、距離ＩＮＤＥＸ番号として１が付されている。また、２４が付されているピクセルは、すでに距離ＩＮＤＥＸ番号が３まで付されている状況において、付されたものであるため、距離ＩＮＤＥＸ番号として４が付されている。If step S214 is NO, then in steps S216 and S217, the color
ステップＳ２１６がＮＯの場合は、次に、色領域区分け部１１７は、ステップＳ２１８及びステップＳ２１９において、画素値が白黒グレーの付近のものか否かを判定する。白黒グレーの付近のものか否かの判定には、ＳＡＴＴＨの閾値が用いられる。具体的に、色領域区分け部１１７は、上部３ピクセルと左１ピクセルのいずれかに１以上の色ＩＮＤＥＸ番号が付されているピクセルが少なくとも１以上存在し、上部３ピクセルと左１ピクセルのＳＡＴ（上述した（５）式を参照）がＳＡＴＴＨ以内であるか否かを判定する（ステップＳ２１８）。この条件に該当するピクセルが１つでも存在する場合（すなわち、ステップＳ２１８；ＹＥＳ）、これらのピクセルは同じ色とみなされ、同じ色ＩＮＤＥＸ番号が付される。このとき、ＳＡＴＴＨ内のものが複数ピクセルある場合はそれらのピクセルは全て、その中で一番若い距離ＩＮＤＥＸ番号とする（ステップＳ２１９）。図示する一例において、図５（Ａ）の７が付されているピクセル及び８が付されているピクセルは、スキャン処理が行われるまでの間、色ＩＮＤＥＸ番号は４であった。しかしながら、８が付されているピクセルについてのスキャン処理がおこなわれると、左の７が付されているピクセルのＳＡＴ値がＳＡＴＴＨ以内であったため、色ＩＮＤＥＸ番号が２に振り直されている。ここで、もし３×３領域以外において、既に色ＩＮＤＥＸ番号が４として付されているものが記憶されていれば、同時に色ＩＮＤＥＸ番号を２として振り直し、記憶し直す。色領域区分け部１１７は、このような処理を行い次のピクセルに移る。If step S216 is NO, then in steps S218 and S219, the color
ステップＳ２１8がＮＯの場合は、次に、色領域区分け部１１７は、ステップＳ２２０乃至ステップＳ２２３において、同じ色相のものであるか否かを判定する。すなわち、色領域区分け部１１７は、ステップＳ２２０乃至ステップＳ２２３において、同一の色ＩＮＤＥＸ番号を付すか、異なる色ＩＮＤＥＸ番号を付すかを判定する。ここで、ステップＳ２２０の処理が行われる場合とは、３×３ピクセルのうち、すでにスキャンして色ＩＮＤＥＸ番号が付された上部３ピクセルと左１ピクセルにおいて、０以外の色ＩＮＤＥＸ番号がある場合ということができる。このような場合において、色領域区分け部１１７は、３×３ピクセルの中心ピクセルがすでに色ＩＮＤＥＸ番号が付されているものと同じ色相のものかどうか、ＨＵＥＴＨの閾値レベルに基づいて判定を行う。If step S218 is NO, then the color
色領域区分け部１１７は、具体的には、上部３ピクセルと左１ピクセルのＨＵＥ値のいずれかが、３×３の中央ピクセルのＨＵＥ値の－ＨＵＥＴＨ～＋ＨＵＥＴＨ以内であるか否かを判定する（ステップＳ２２０）。色領域区分け部１１７は、上部３ピクセルと左１ピクセルのＨＵＥ値のいずれかが、３×３の中央ピクセルのＨＵＥ値の－ＨＵＥＴＨ～＋ＨＵＥＴＨ以内であれば（すなわち、ステップＳ２２０；ＹＥＳ）、互いに同じ色相とみなし、互いに同じ色ＩＮＤＥＸ番号を付す。このとき、中心ピクセルの色相に対して、－ＨＵＥＴＨ～＋ＨＵＥＴＨ内のものが複数ピクセルある場合、それらのピクセルは全て、その中で一番若い色ＩＮＤＥＸ番号とする（ステップＳ２２１）。また、上部３ピクセルと左１ピクセルにおいて、すでに色ＩＮＤＥＸ番号が付されており、色ＩＮＤＥＸ番号が書き換えられた場合、これまでスキャンして色ＩＮＤＥＸ番号が記憶されている座標を参照し、同じ色ＩＮＤＥＸ番号を有する各座標についても全て書き換える（ステップＳ２２３）。Specifically, the color
図示する一例において、図５（Ａ）の座標が６及び１４のピクセルは、座標が２０のピクセルについてスキャン処理を行うまでは、色ＩＮＤＥＸ番号が３とされていたが、座標が２０のピクセルについての判定を行うときに、色ＩＮＤＥＸ番号が１に振り直されている。これは、座標が１９のピクセルのＨＵＥ値が、－ＨＵＥＴＨ～＋ＨＵＥＴＨ以内であったためである。その際、図５（Ｂ）に示すように、３×３ピクセルの領域外のすでに色ＩＮＤＥＸ番号が３として記憶されていた座標が６及び１４の各ピクセルについても、色ＩＮＤＥＸ番号が１に振り直されている。このように処理をした後、次のピクセル処理に移る（ステップＳ２２４）。In the illustrated example, the pixels with
色領域区分け部１１７は、上部３ピクセルと左１ピクセルのＨＵＥ値のいずれかが、３×３の中央ピクセルのＨＵＥ値の－ＨＵＥＴＨ～＋ＨＵＥＴＨ以内でなければ（すなわち、ステップＳ２２０；ＮＯ）、対象のピクセルの色ＩＮＤＥＸ番号を、今まで付してきた色ＩＮＤＥＸ番号以外の番号に更新して、新たな色ＩＮＤＥＸ番号とする（ステップＳ２２２）。例えば図５（Ａ）の座標が３４のピクセルについて、このピクセルのスキャン処理時において、色ＩＮＤＥＸ番号は１である。しかしながら、左のピクセル（すなわち座標が３３のピクセル）、左上のピクセル（すなわち座標が２８のピクセル）、及び上のピクセル（すなわち座標が２９のピクセル）のＨＵＥ値が、－ＨＵＥＴＨ～＋ＨＵＥＴＨ以内に入らない場合、色ＩＮＤＥＸ番号が更新され、色ＩＮＤＥＸ番号が５として記憶される（ステップＳ２２２）。また、距離領域区分け部１１６は、当該処理が行われた後、次のピクセルの処理に移る（ステップＳ２２４）。If the HUE values of the top three pixels and the left pixel are not within -HUETH to +HUETH of the HUE value of the central pixel of the 3x3 matrix (i.e., step S220; NO), the color
色領域区分け部１１７は、以上のような流れで、すべてのピクセルをスキャンしていく。すなわち、本実施形態においては、複数回の判定が行われた結果、色ＩＮＤＥＸ番号が更新されていく。図５（Ｂ）では、全てのピクセルについて、最終的に得られた結果を示している。The color
図２に戻り、色領域区分け部１１７は、最終的に得られた色ＩＮＤＥＸ番号についての情報を物体領域区分け部１１８に出力する。Returning to FIG. 2, the color
物体領域区分け部１１８は、距離領域区分け部１１６から、距離ＩＮＤＥＸ番号についての情報を取得し、色領域区分け部１１７から、色ＩＮＤＥＸ番号についての情報を取得する。物体領域区分け部１１８は取得した情報に基づき、最終的な物体の領域区分けを行う。The object
図７は、第１実施形態に係る物体領域区分け部による物体領域区分け処理について説明するための図である。同図を参照しながら、物体領域区分け部１１８により行われる物体領域区分け処理の一例について説明する。物体領域区分け部１１８は、色ＩＮＤＥＸ番号を基準として考え、色ＩＮＤＥＸ番号が０以外のピクセル部分に対して、ＯＢＪ＿ＩＮＤＥＸ番号を付していく。ここで、物体領域区分け部１１８が、（距離ＩＮＤＥＸ番号ではなく）色ＩＮＤＥＸ番号を基準とするのは、（測距センサ３１と比較して）ＲＧＢセンサ３２の方が、ノイズの影響を受けにくく、物体の境界が比較的なめらかであるためである。なお、本実施形態は、この一例に限定されるものではなく、物体領域区分け部１１８は、距離ＩＮＤＥＸ番号を基準として考えてもよい。FIG. 7 is a diagram for explaining the object region division process by the object region division unit according to the first embodiment. With reference to the figure, an example of the object region division process performed by the object
物体領域区分け部１１８は、まず色ＩＮＤＥＸ番号が０以外であるピクセル部分の色ＩＮＤＥＸ番号を上位として、距離ＩＮＤＥＸ番号を下位として、ＯＢＪ＿ＩＮＤＥＸ番号をふっていく。例えば、色ＩＮＤＥＸ番号が２であり、距離ＩＮＤＥＸ番号が３である場合、ＯＢＪ＿ＩＮＤＥＸ番号は、２＿３となる。このように、全てのピクセルについて、ＯＢＪ＿ＩＮＤＥＸ番号をふっていく。全てのピクセルについてＯＢＪ＿ＩＮＤＥＸ番号を振った結果を、図７（Ａ）として示す。The object
次に、物体領域区分け部１１８は、３×３ピクセルの領域ごとにＯＢＪ＿ＩＮＤＥＸ番号をスキャンしていき、その３×３ピクセルの中心のＯＢＪ＿ＩＮＤＥＸ番号について、上位の桁が０以外であり下位の桁が０の場合、周囲３×３ピクセルのうち上位の桁が同じ番号であり、下位の桁が同じ番号のピクセルの数が一番多い番号をふり、それをＯＢＪ＿ＩＮＤＥＸ番号として更新する。もし周囲にこの条件があてはまらなかった場合は、番号を０＿０としてＯＢＪ＿ＩＮＤＥＸ番号とする。なお、この条件が当てはまるピクセルは、図７（Ａ）においてはＯＢＪ＿ＩＮＤＥＸ番号が２＿０であるピクセルに相当する。当該ピクセルは、図７（Ｂ）に示すように、２＿３に更新される。なお、３×３ピクセルの中心のＯＢＪ＿ＩＮＤＥＸ番号の上位の桁が０以外であり、かつ下位の桁が０である条件にあてはまらなかった場合、ＯＢＪ＿ＩＮＤＥＸ番号の更新を行わない。このようにして、最終的な物体領域区分けがなされたＯＢＪ＿ＩＮＤＥＸ番号を得る。Next, the object
図２に戻り、物体領域区分け部１１８は、最終的な物体領域区分けがなされたＯＢＪ＿ＩＮＤＥＸ番号を、影候補１検出部１５１及び影候補２検出部１５２に出力する。以下の説明において、影候補１検出部１５１及び影候補２検出部１５２を含む構成を、影候補検出部１５０と記載する場合がある。影候補検出部１５０は、領域区分け部１１９により区分された画像の領域についての情報と、偏光画像取得部１３１により取得された偏光画像とに基づいて、画像の各座標について影部分と推定される座標の候補を検出するということもできる。Returning to FIG. 2, the object
影候補１検出部１５１は、次に同じＯＢＪ＿ＩＮＤＥＸ番号が付されたピクセル群の中から、影と推定される候補（以下、影候補と記載する）を検出する。物体領域区分け部１１８からＯＢＪ＿ＩＮＤＥＸ番号を取得し、記憶装置２１からＹＴＨを取得する。ここで、ＹＴＨとは、ＲＧＢの輝度信号Ｙと、影の暗さとの差があるか否かの区分けを行うための閾値である。ＹＴＨは、処理対象となる画像が撮像された時間（すなわち、画像取得部１１１が画像を取得する時間）や天気等に応じて変動する値であってもよい。The
影候補１検出部１５１は、まず、ＯＢＪ＿ＩＮＤＥＸ番号を左上からスキャンしていき、同じＯＢＪ＿ＩＮＤＥＸ番号が、番号ごとに何ピクセル存在するかを検出する。影候補１検出部１５１は、次に、同じＯＢＪ＿ＩＮＤＥＸ番号を有するピクセルの個数が５個以下の場合は、物体が小さすぎて影はないものとして扱う。この場合、影候補１検出部１５１は、出力信号である影候補１の値を０にする。影候補１検出部１５１は、同じＯＢＪ＿ＩＮＤＥＸ番号を有するピクセルの個数が６個以上である場合、６個のうち輝度Ｙの明るさ順に上位から３個の輝度値の平均を算出する。影候補１検出部１５１は、算出した平均輝度値から、ＹＴＨ低い輝度値のピクセルが存在すれば、当該ピクセルは影部分であるとみなし、出力信号である影候補１の値を１にする。影候補１検出部１５１は、算出した平均輝度値のうち、ＹＴＨ低い輝度値を有するピクセルが存在しない場合、影は存在しないものとみなし、影候補１を０とする。影候補１検出部１５１は、このようにして得た影候補１を、影候補２検出部１５２に出力する。なお、出力信号である影候補１とは、ＯＢＪ＿ＩＮＤＥＸ番号ごとに存在する値である。The
次に、偏光画像取得部１３１、偏光角算出部１３２及びリサイズ部１３３の機能について説明する。偏光角算出部１３２及びリサイズ部１３３の機能の前提となる事項して、偏光センサ３３の構成の一例について説明する。Next, we will explain the functions of the polarized
図８は、第１実施形態に係る偏光センサの構成の一例について説明するための図である。偏光センサ３３は、図８（Ａ）に示すように、マイクロレンズアレイ３３１と、偏光板アレイ３３２と、ピクセルアレイ３３３とを備える。マイクロレンズアレイ３３１は複数のマイクロレンズを備え、偏光板アレイ３３２は複数の偏光子（偏光板）を備え、ピクセルアレイ３３３は複数のピクセル（画素）を備える。図示するように偏光子は、ピクセルごとに偏光角度が４５度ずつ変えて実装されている。図８（Ｂ）には、偏光子ごとの偏光角度を示している。図示するように、偏光センサ３３は、４個のピクセルにより、０度、４５度、９０度、１３５度の偏光度を把握できる。Figure 8 is a diagram for explaining an example of the configuration of the polarization sensor according to the first embodiment. As shown in Figure 8 (A), the
図２に戻り、偏光画像取得部１３１は、このような偏光センサ３３により撮像された偏光画像を取得する。当該偏光画像には、４つの偏光方向の信号が含まれる。当該偏光画像は、被写体を、複数の異なる偏光角度を有する偏光フィルタを介して撮像された画像であるということもできる。このような偏光センサ３３から得られた４つの偏光方向の信号から、その偏光角度を求めることは広く知られており、例えば下記の（６）式から（８）式を用いた計算により求めることができる。なお、偏光センサ３３から得られる４つの偏光角度の信号を、Ｈ０、Ｈ４５、Ｈ９０、及びＨ１３５と記載する。Returning to FIG. 2, the polarized
Ｑ＝Ｈ０－Ｈ９０・・・（６）
Ｕ＝Ｈ４５－Ｈ１３５・・・（７） Q=H0-H90...(6)
U=H45-H135...(7)
この場合の偏光角度ＡｏＬＰは、次の（８）式により求めることができる。In this case, the polarization angle AoLP can be calculated using the following equation (8).
ＡｏＬＰ＝１／２ＡＴＡＮ（Ｕ／Ｑ）・・・（８）AoLP=1/2ATAN(U/Q)...(8)
偏光角算出部１３２は、上述した（６）式から（８）式を用いた計算を行うことにより、ＡｏＬＰを得る。The polarization
リサイズ部１３３は、ＲＧＢセンサ３２と同じ画素分の偏光角度の画素数になるように、リサイズを行う。The resizing
ここで、ある被写体の光部分と影部分とでは、同じ物体でも偏光角度が大きく異なる性質があることに注目する。影は光の当たり方が違うためにできるものである。したがって、影部分の偏光角度は、光の当たっている部分の偏光角度と異なるものとなる。Here, it is important to note that the polarization angle of the light and shadow parts of a subject can be very different, even for the same object. Shadows are created when light hits the subject in different ways. Therefore, the polarization angle of the shadow parts will be different from the polarization angle of the light-hit parts.
図９は、第１実施形態に係る偏光センサにより得られた偏光角度の信号に基づき、色分けした場合の一例である。図９（Ａ）は、偏光センサから得られた４つの偏光角度の各信号を示す。図９（Ｂ）は、これらの信号から、上記の式（８）を用いて偏光角度ＡｏＬＰを算出し、その角度を色分けした場合の一例である。図示するように、影部分と、影ではない部分とは、同じ物体であっても、偏光角度が異なることが分かる。Figure 9 shows an example of color coding based on the polarization angle signals obtained by the polarization sensor according to the first embodiment. Figure 9(A) shows the signals for the four polarization angles obtained from the polarization sensor. Figure 9(B) shows an example of color coding the polarization angle AoLP calculated from these signals using equation (8) above. As shown in the figure, it can be seen that the polarization angles are different between the shadowed and non-shadowed parts even if they are the same object.
図２に戻り、影候補１と、偏光センサ３３により得られた情報とに基づき、最終的な影候補を検出する処理について説明する。Returning to Figure 2, we will now explain the process of detecting the final shadow candidate based on
影候補２検出部１５２は、影候補１検出部１５１から影候補１を取得し、物体領域区分け部１１８からＯＢＪ＿ＩＮＤＥＸ番号を取得する。また、影候補２検出部１５２は、記憶装置２１からＤＥＧＴＨを取得する。ＤＥＧＴＨとは、偏光角度の差があるかどうかの判定に用いられる閾値である。影候補２検出部１５２は、同じ番号のＯＢＪ＿ＩＮＤＥＸ番号の中から、影候補１の信号が１である部分について、平均の偏光角度ＡｏＬＰを算出する。具体的に、影候補２検出部１５２は、偏光角算出部１３２により偏光角度ＡｏＬＰが算出され、リサイズ部１３３によりリサイズが行われた後の情報から、影候補１の信号が１である部分に対応する部分の偏光角度ＡｏＬＰを抽出してもよい。影候補２検出部１５２は、算出した偏光角度ＡｏＬＰを、ＡｏＬＰ＿Ｓｈａｄｏｗ１として記憶する。次に、影候補２検出部１５２は、同じＯＢＪ＿ＩＮＤＥＸ番号の中から影候補１の信号が０の部分の平均の偏光角度ＡｏＬＰを算出する。影候補２検出部１５２は、算出した偏光角度ＡｏＬＰを、ＡｏＬＰ＿Ｓｈａｄｏｗ０とする。The
次に、影候補２検出部１５２は、算出したＡｏＬＰ＿Ｓｈａｄｏｗ１と、ＡｏＬＰ＿Ｓｈａｄｏｗ０との角度差の差分を算出する。また、影候補２検出部１５２は、算出した差分がＤＥＧＴＨ以上であるか否かを算出する。影候補２検出部１５２は、算出した差分がＤＥＧＴＨ以上である部分を、最終的な影部分と判断して、ＳＨＡＤＯＷ信号を１として出力する。また、影候補２検出部１５２は、算出した差分がＤＥＧＴＨ以下であれば、ＳＨＡＤＯＷ信号を０にする。このＳＨＡＤＯＷ信号は、画素ごとに存在するものであり、ＲＧＢ画像及び距離画像の解像度と一致するものである。すなわち、画素ごとのＳＨＡＤＯＷ信号を含む情報をＳＨＡＤＯＷ画像ということもできる。Next, the
図１０は、第１実施形態に係るＳＨＡＤＯＷ画像の一例を示す図である。図示するＳＨＡＤＯＷ画像は、図３、図５及び図７に対応するものである。１は、影部分を示しており、０は影でない部分を示している。本実施形態によれば、図示するようなＳＨＡＤＯＷ画像を参照することにより、ＲＧＢ画像及び距離画像の画素ごとに、影であるか否かの判断をすることができるようになる。Figure 10 is a diagram showing an example of a SHADOW image according to the first embodiment. The SHADOW image shown corresponds to Figures 3, 5, and 7. 1 indicates a shadow area, and 0 indicates a non-shadow area. According to this embodiment, by referring to a SHADOW image as shown in the figure, it becomes possible to determine whether or not each pixel in the RGB image and the distance image is a shadow.
なお、ＳＨＡＤＯＷ画像は、ＲＧＢ画像及び距離画像と対応付けて記憶されることが好適である。ＳＨＡＤＯＷ信号が、ＲＧＢ画像及び距離画像と対応付けて記憶されることにより、三次元モデルを形成するような場合であっても、ＳＨＡＤＯＷ画像を参照することにより、どの部分が元の被写体の影であるか把握することが容易になる。It is preferable that the SHADOW image is stored in association with the RGB image and the distance image. By storing the SHADOW signal in association with the RGB image and the distance image, it becomes easy to determine which parts are the shadows of the original subject by referring to the SHADOW image, even in cases where a three-dimensional model is formed.
なお、本実施形態に係るＲＧＢ画像、距離画像、及びＳＨＡＤＯＷ画像は、連続的なフレームをとらえて、動画として扱ってもよい。Note that the RGB image, distance image, and shadow image according to this embodiment may be captured as successive frames and treated as a video.
［実施形態１のまとめ］
以上説明した実施形態によれば、影領域検出装置１０は、画像取得部１１１を備えることにより、被写体の情報を二次元平面上の各座標に有する画像を取得し、領域区分け部１１９を備えることにより、取得した画像の各座標について、各座標が有する被写体の情報に基づき、複数の領域に区分し、偏光画像取得部１３１を備えることにより、被写体を、複数の異なる偏光角度を有する偏光フィルタをそれぞれ介して撮像された複数の偏光画像を取得し、影候補検出部１５０を備えることにより、領域区分け部１１９により区分された画像の領域についての情報と、偏光画像取得部１３１により取得された偏光画像とに基づいて、画像の各座標について影部分と推定される座標の候補を検出する。すなわち、本実施形態によれば、影の影響により被写体の色情報が暗くなっている部分を検出することができる。本実施形態によれば、影の影響により被写体の色情報が暗くなっている部分を検出することができるため、三次元モデルを生成しようとした場合に、検出された影部分の色情報を補正することにより、影による影響を低減した三次元モデルを生成することができる。[Summary of the First Embodiment]
According to the embodiment described above, the shadow
また、上述した実施形態によれば、画像取得部１１１により取得される画像には、被写体の色に関する情報を二次元平面上の各座標に有するＲＧＢ画像が含まれ、領域区分け部１１９は、ＲＧＢ画像の各座標について、各座標が有する色情報に基づき、複数の領域に区分する。すなわち、本実施形態によれば、高解像度なＲＧＢ画像と、偏光画像とに基づいて影候補を検出する。したがって、本実施形態によれば、高解像度なＲＧＢ画像に基づいて影候補を検出するため、精度よく、影候補を検出することができる。Furthermore, according to the above-described embodiment, the image acquired by the
また、上述した実施形態によれば、画像取得部１１１により取得される画像には、被写体までの距離に関する情報を二次元平面上の各座標に有する距離画像が含まれ、領域区分け部１１９は、距離画像の各座標について、各座標が有する距離情報に基づき、複数の領域に区分する。すなわち、本実施形態によれば、距離画像と偏光画像とに基づいて影候補を検出する。距離画像によれば、同一の物体であるか否かを精度よく判定することができる。したがって、本実施形態によれば、精度よく、影候補を検出することができる。Furthermore, according to the above-described embodiment, the image acquired by the
［実施形態２及び実施形態３］
次に、図１１から図１４を参照しながら、第２実施形態及び実施形態３に係る影領域検出システム１Ａについて説明する。実施形態２及び実施形態３においては、上述したＳＨＡＤＯＷ画像を用いて、ＲＧＢ画像及び距離画像における影の部分を補正する。実施形態２においては、ＲＧＢ画像の影補正を行い、実施形態３においては、距離画像の影補正を行う。以下、実施形態２及び実施形態３において共通の事項について、説明する。[
Next, a shadow
図１１は、第２実施形態に係る影領域検出システムの機能構成の一例について示す機能構成図である。同図を参照しながら、影領域検出システム１Ａの機能構成の一例について説明する。影領域検出システム１Ａは、影補正部１６１を更に備える点において影領域検出システム１とは異なる。影領域検出システム１Ａの説明において、影領域検出システム１と同様の構成については同様の符号を付すことにより説明を省略する場合がある。FIG. 11 is a functional configuration diagram showing an example of the functional configuration of a shadow area detection system according to the second embodiment. An example of the functional configuration of shadow
影補正部１６１は、影候補２検出部１５２からＳＨＡＤＯＷ信号を取得し、リサイズ部１１３からリサイズが行われた距離画像を取得し、画像取得部１１１からＲＧＢ信号を取得する。影補正部１６１は、影候補検出部１５０により、影候補と推定された座標が有する画素値又は距離値の少なくとも一方を、影候補と推定されなかった座標が有する画素値又は距離値の少なくとも一方に置き換えることにより、影部分を補正する。具体的には、影補正部１６１は、取得した情報に基づき、ピクセルごとに、同じＯＢＪ＿ＩＮＤＥＸ番号の影ではない部分から何ピクセル離れているかを水平、垂直方向ごと求める。具体的には、影補正部１６１は、ＳＨＡＤＯＷ信号が１である影部分のピクセルに対し、左右水平方向のどちらかにＯＢＪ＿ＩＮＤＥＸ番号が同じものがある場合は、それが水平方向に何ピクセル離れているかを算出し、算出した値をＳＨＡＤＯＷ＿ＨＤＩＳＴＡＮＣＥとする。このとき左右の方向が分かるように、右にある場合はプラス、左にある場合はマイナスになるように符号をつける。左右水平方向にＯＢＪ＿ＩＮＤＥＸ番号が同じ番号のものがある場合は、近い距離の番号をＳＨＡＤＯＷ＿ＨＤＩＳＴＡＮＣＥに入れる。また、左右方向に同じＯＢＪ＿ＩＮＤＥＸ番号が無い場合は、ＳＨＡＤＯＷ＿ＨＤＩＳＴＡＮＣＥを０にする。The
また、影補正部１６１は、ＳＨＡＤＯＷ信号が１である影部分のピクセルに対し、上下垂直方向のどちらかにＯＢＪ＿ＩＮＤＥＸ番号が同じものがある場合は、それが垂直に何ピクセル離れているかを算出し、算出した値をＳＨＡＤＯＷ＿ＶＤＩＳＴＡＮＣＥとする。このとき上下の方向が分かるように、下にある場合はプラス、上にある場合はマイナスになるように符号をつける。上下垂直方向にＯＢＪ＿ＩＮＤＥＸ番号が同じ番号のものがある場合は、近い距離の番号をＳＨＡＤＯＷ＿ＶＤＩＳＴＡＮＣＥに入れる。また、上下方向に同じＯＢＪ＿ＩＮＤＥＸ番号が無い場合は、ＳＨＡＤＯＷ＿ＶＤＩＳＴＡＮＣＥを０にする。Furthermore, if there is a pixel in the shadow area with a SHADOW signal of 1 that has the same OBJ_INDEX number either above or below the pixel in the vertical direction, the
図１２は、第２実施形態に係る影補正部による影補正処理について説明するための図である。図１２（Ａ）は、上記の方法に従って算出されたＳＨＡＤＯＷ＿ＨＤＩＳＴＡＮＣＥの一例を示している。また、図１２（Ｂ）は、上記の方法に従って算出されたＳＨＡＤＯＷ＿ＶＤＩＳＴＡＮＣＥの値を表示している。Figure 12 is a diagram for explaining the shadow correction process by the shadow correction unit according to the second embodiment. Figure 12 (A) shows an example of SHADOW_HDISTANCE calculated according to the above method. Also, Figure 12 (B) shows the value of SHADOW_VDISTANCE calculated according to the above method.
図１３は、第２実施形態に係る影補正部の機能構成の一例について示す機能構成図である。同図を参照しながら、影補正部１６１の機能構成の一例について説明する。影補正部１６１は、影距離算出部１６１１と、ローパスフィルタ１６１２と、減算部１６１３と、置換部１６１４と、ローパスフィルタ１６１５と、加算部１６１６とを備える。FIG. 13 is a functional configuration diagram showing an example of the functional configuration of the shadow correction unit according to the second embodiment. With reference to the same figure, an example of the functional configuration of the
影距離算出部１６１１は、上述した方法により、ＳＨＡＤＯＷ＿ＨＤＩＳＴＡＮＣＥとＳＨＡＤＯＷ＿ＶＤＩＳＴＡＮＣＥとを算出する。影距離算出部１６１１は、算出した値を、ローパスフィルタ１６１２、置換部１６１４、及びローパスフィルタ１６１５に出力する。The shadow
置換部１６１４は、ＳＨＡＤＯＷ＿ＨＤＩＳＴＡＮＣＥとＳＨＡＤＯＷ＿ＶＤＩＳＴＡＮＣＥの絶対値が距離の近い方の方向の距離ピクセル数の影ではない部分について、ＲＧＢ信号又は距離信号に置き換える。ここで、方向はＳＨＡＤＯＷ＿ＨＤＩＳＴＡＮＣＥと、ＳＨＡＤＯＷ＿ＶＤＩＳＴＡＮＣＥの符号により判断される。ただし、ＳＨＡＤＯＷ＿ＨＤＩＳＴＡＮＣＥとＳＨＡＤＯＷ＿ＶＤＩＳＴＡＮＣＥのどちらかに０がある場合は、０でない方の方向と、距離の影ではない部分のＲＧＢ信号又は距離信号に置き換える。The
ローパスフィルタ１６１５は、置換部１６１４の出力に対して、フィルタをかける。ローパスフィルタ１６１５は、ＳＨＡＤＯＷ＿ＨＤＩＳＴＡＮＣＥとＳＨＡＤＯＷ＿ＶＤＩＳＴＡＮＣＥの値に応じて、フィルタのかかり具合を変える。ローパスフィルタ１６１５は、距離が遠いほどフィルタがかかり、なめらかにする。The low-
図１４は、第２実施形態に係るＬＰＦの機能構成の一例について示す機能構成図である。同図を参照しながら、ローパスフィルタＬＰＦの機能構成の一例について説明する。ローパスフィルタ１６１２及びローパスフィルタ１６１５は、いずれも図示するような機能構成を有しており、互いに同一の機能構成を有していてもよい。以下、ローパスフィルタ１６１２及びローパスフィルタ１６１５を互いに区別しない場合は、ローパスフィルタＬＰＦと記載する場合がある。FIG. 14 is a functional configuration diagram showing an example of the functional configuration of an LPF according to the second embodiment. With reference to the same figure, an example of the functional configuration of the low-pass filter LPF will be described. Low-
ローパスフィルタＬＰＦは、３ＴＡＰ水平ＬＰＦ４１１乃至３ＴＡＰ水平ＬＰＦ４１４と、ＨＳＥＬ４２と、３ＴＡＰ垂直ＬＰＦ４３１乃至３ＴＡＰ水平ＬＰＦ４３４と、ＶＳＥＬ４４とを備える。ローパスフィルタＬＰＦは、まず、ＲＧＢ信号又は距離信号について、水平方向のＬＰＦ処理を行う。ＨＳＥＬ４２は、ＳＨＡＤＯＷ＿ＨＤＩＳＴＮＡＣＥの絶対値に基づき、３ＴＡＰ水平ＬＰＦを通さないスルーの状態、１回通った状態、２回通った状態、３回通った状態、４回通った状態、のいずれかに切り替える。具体的に、ＨＳＥＬ４２は、ＳＨＡＤＯＷ＿ＨＤＩＳＴＡＮＣＥが０の場合はスルー、１の場合は１回通った状態、２の場合は２回通った状態、３の場合は３回通った状態、というように切り替えてもよい。なお、ＨＳＥＬ４２は、ＳＨＡＤＯＷ＿ＨＤＩＳＴＡＮＣＥが4以上の場合は４回通った状態に切り替えてもよい。The low-pass filter LPF includes 3TAP
なお、３ＴＡＰ水平ＬＰＦ４１１乃至３ＴＡＰ水平ＬＰＦ４１４は、それぞれ、以下の（９）式に示すようなものであってもよい。Note that the 3TAP
Ｈ３ＴＡＰＬＰＦ＝０．２５Ｚ＾（－１）＋０．５Ｚ＾０＋０．２５Ｚ＾１・・・（９）
なお、Ｚは１ピクセル分のスキャン時間である。 H3TAPLPF=0.25Z^(-1)+0.5Z^0+0.25Z^1...(9)
It should be noted that Z is the scan time for one pixel.
垂直についても水平と同様の処理が行われる。具体的には、ＶＳＬ４４は、ＳＨＡＤＯＷ＿ＶＤＩＳＴＮＡＣＥの絶対値に基づき、３ＴＡＰ垂直ＬＰＦを通さないスルーの状態、１回通った状態、２回通った状態、３回通った状態、４回通った状態のいずれかに切り替える。具体的に、ＶＳＥＬ４４は、ＳＨＡＤＯＷ＿ＶＤＩＳＴＡＮＣＥが０の場合はスルー、１の場合は１回通った状態、２の場合は２回通った状態、３の場合は３回通った状態、というように切り替えてもよい。なお、ＶＳＥＬ４４は、ＳＨＡＤＯＷ＿ＶＤＩＳＴＡＮＣＥが4以上の場合は４回通った状態に切り替えてもよい。The same processing is performed for the vertical direction as for the horizontal direction. Specifically, VSL44 switches to one of the following states: through (not passing through the 3TAP vertical LPF), through once, through twice, through three times, or through four times, based on the absolute value of SHADOW_VDISTANCE. Specifically, VSEL44 may switch between through when SHADOW_VDISTANCE is 0, through once when SHADOW_VDISTANCE is 1, through twice when SHADOW_VDISTANCE is 2, and through three times when SHADOW_VDISTANCE is 3. Note that VSEL44 may switch to the four-times pass state when SHADOW_VDISTANCE is 4 or greater.
なお、３ＴＡＰ垂直ＬＰＦ４３１乃至３ＴＡＰ水平ＬＰＦ４３４は、それぞれ、以下の（１０）式に示すようなものであってもよい。In addition, the 3TAP
Ｖ３ＴＡＰＬＰＦ＝０．２５Ｚ＾（－１）＋０．５Ｚ＾０＋０．２５Ｚ＾１・・・（１０）
なお、Ｚは１ライン分のスキャン時間である。 V3TAPLPF=0.25Z^(-1)+0.5Z^0+0.25Z^1...(10)
It should be noted that Z is the scan time for one line.
ローパスフィルタ１６１５は、このようにしてＬＰＦをかけた信号を、ＳＨＡＤＯＷ＿ＬＰＦとして出力する。The low-
影補正部１６１は、ローパスフィルタ１６１２を備えることにより、置き換えられていない状態（置換部１６１４を通過する前の状態）のＲＧＢ信号又は距離信号に、同様のＬＰＦをかけてもよい。ローパスフィルタ１６１２を通過した信号は、減算部１６１３により、ローパスフィルタ１６１２を通過する前のＲＧＢ信号又は距離信号から減算されることにより、高い周波数の信号を取り出すことができる。減算された信号は、加算部１６１６により、ローパスフィルタ１６１５から出力されたＳＨＡＤＯＷ＿ＬＰＦと加算され、出力される。このように高周波数成分をもとの信号から取り出したものを加算することにより、影補正をしても精細感が失われないようにすることができる。By including a low-
影補正部１６１は、以上のような処理により影補正を行い、影の影響を低減したＲＧＢ信号又は距離信号を、記憶装置２２に記憶させる。なお、影補正部１６１により行われる補正処理は、ＲＧＢ値又は距離値のいずれか一方の補正処理であってもよい。測距センサ３１から得られた距離信号は、影のような暗い部分の距離精度が正しく出ない傾向になるので、（ＲＧＢ画像を補正せず）距離値だけを補正したとしても、影部分の距離精度を上げる目的としては有効である。The
なお、本実施形態に係るＲＧＢ画像、距離画像、及びＳＨＡＤＯＷ画像は、連続的なフレームをとらえて、動画として扱ってもよい。Note that the RGB image, distance image, and shadow image according to this embodiment may be captured as successive frames and treated as a video.
［実施形態２及び実施形態３のまとめ］
以上説明した実施形態によれば、影領域検出装置１０Ａは、影候補検出部１５０により、影候補と推定された座標が有する画素値を、影候補と推定されなかった座標が有する画素値に基づいた値に置き換える。したがって、本実施形態によれば、影の影響により被写体の色情報が暗くなっている部分を検出し、影でない部分のＲＧＢ値に基づき補正することができる。また、本実施形態によれば、影部分の距離値を、影でない部分の距離値に基づき補正することができる。[Summary of the second and third embodiments]
According to the embodiment described above, the shadow
［実施形態４］
次に、図１５及び図１６を参照しながら、実施形態４について説明する。本実施形態においては、上述した実施形態１乃至実施形態３に係る影領域検出システムを備えた撮像装置について説明する。ここで、ＲＧＢセンサ、偏光センサ、及びＴＯＦセンサは、それぞれ同じレンズで同じ光軸で撮影されると、それぞれのピクセルのずれがなくなる。このような構成を採用することにより、より正確な影検出及び影補正が可能になる。本実施形態においては、プリズムを用いて、同光軸上にＲＧＢセンサ、偏光センサ、及びＴＯＦセンサを配置した場合の一例について説明する。[Embodiment 4]
Next, a fourth embodiment will be described with reference to Figs. 15 and 16. In this embodiment, an imaging device including the shadow area detection system according to the first to third embodiments will be described. Here, when the RGB sensor, the polarization sensor, and the TOF sensor are photographed with the same lens and on the same optical axis, there is no misalignment between the pixels. By adopting such a configuration, more accurate shadow detection and shadow correction are possible. In this embodiment, an example will be described in which the RGB sensor, the polarization sensor, and the TOF sensor are arranged on the same optical axis using a prism.
図１５は、第３実施形態に係る影領域検出システムを備える撮像装置の第１の配置例を示す断面図である。同図を参照しながら、第１の配置例である撮像装置５１について説明する。撮像装置５１は、偏光解消板５１１と、偏光センサ５１２と、無偏光ハーフミラー５１３と、可視光/赤外分離ダイクロコート５１４と、ＴｏＦセンサ５１５と、ＲＧＢセンサ５１６とを備える。Figure 15 is a cross-sectional view showing a first example of the arrangement of an imaging device equipped with a shadow area detection system according to the third embodiment. With reference to the figure, an
図示するように、偏光センサ５１２は、可視光/赤外分離ダイクロコート５１４による偏光変化の影響がない第一射出に配置される。さらに、第１射出面に偏光解消板５１１を配置することにより、第１プリズム内の全反射による偏光状態の変化を解消させる。また、ハーフミラーとして、無偏光ハーフミラー５１３が用いられる。具体的に、無偏光ハーフミラー５１３は、金属膜又は誘電体膜が用いられてもよい。可視光/赤外分離ダイクロコート５１４は、可視光と近赤外光を分離する。分離された結果、近赤外光を通した第３射出面には、ＴｏＦセンサ５１５が配置され、可視光を通した第２射出面には、ＲＧＢセンサ５１６が配置される。As shown in the figure, the
図１６は、第３実施形態に係る影領域検出システムを備える撮像装置の第２の配置例を示す断面図である。同図を参照しながら、第２の配置例である撮像装置５２について説明する。撮像装置５２は、無偏光可視光/赤外分離ダイクロコート５２１と、ＴｏＦセンサ５２２と、無偏光ハーフミラー５２３と、偏光センサ５２４と、ＲＧＢセンサ５２５とを備える。Figure 16 is a cross-sectional view showing a second example of the arrangement of an imaging device equipped with a shadow area detection system according to the third embodiment. With reference to the figure, the
図示するように、撮像装置５２において、偏光センサ５２４は、第１プリズムの全反射の影響を受けない第３射出面に配置される。ハーフミラーとして、無偏光ハーフミラー５２３が用いられる。具体的に、無偏光ハーフミラー５２３は、金属膜又は誘電体膜が用いられてもよい。無偏光可視光/赤外分離ダイクロコート５２１には、波長による位相差を抑えた無偏光のダイクロコートが使用される。無偏光可視光/赤外分離ダイクロコート５２１に反射した近赤外光が通る第１射出面にはＴｏＦセンサ５２２が配置され、可視光が通る第２射出面には、ＲＧＢセンサ５２５が配置される。As shown in the figure, in the
［第４実施形態のまとめ］
以上説明した実施形態によれば、上述したようなプリズム構成を用いることにより、上述した実施形態１乃至実施形態３に係る影領域検出システムを備えた撮像装置を構成するにあたり、ＲＧＢセンサ、偏光センサ、及びＴｏＦセンサが、それぞれ同じレンズで同じ光軸で撮影されることができる。したがって、それぞれのピクセルのずれを軽減することができ、より正確な影検出、及び影補正をすることができる。[Summary of the Fourth Embodiment]
According to the above-described embodiment, by using the above-described prism configuration, when configuring an imaging device equipped with the shadow area detection system according to the above-described
なお、上述した実施形態における各装置が備える各部の機能全体あるいはその一部は、これらの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。The functions of each unit of each device in the above-described embodiments, in whole or in part, may be realized by recording a program for realizing these functions on a computer-readable recording medium, and reading and executing the program recorded on the recording medium into a computer system. Note that the term "computer system" here includes hardware such as the OS and peripheral devices.
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶部のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。Furthermore, "computer-readable recording medium" refers to portable media such as flexible disks, optical magnetic disks, ROMs, and CD-ROMs, as well as storage units such as hard disks built into computer systems. Furthermore, "computer-readable recording medium" may also include devices that dynamically store programs for a short period of time, such as communication lines when transmitting programs via networks such as the Internet or communication lines such as telephone lines, and devices that store programs for a certain period of time, such as volatile memory within a computer system that serves as a server or client in such cases. Furthermore, the above-mentioned programs may be ones that realize some of the functions described above, or may be ones that can realize the functions described above in combination with programs already recorded in the computer system.
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。また、上述した各実施形態を適宜組み合わせてもよい。Although the embodiments of the present invention have been described above, the present invention is not limited to the above-mentioned embodiments, and various modifications can be made without departing from the spirit of the present invention. In addition, the above-mentioned embodiments may be combined as appropriate.
１…影領域検出システム、１０…影領域検出装置、１１１…画像取得部、１１３…リサイズ部、１１５…色相・輝度計算部、１１６…距離領域区分け部、１１７…色領域区分け部、１１８…物体領域区分け部、１１９…領域区分け部、１３１…偏光画像取得部、１３２…偏光角算出部、１３３…リサイズ部、１５０…影候補検出部、１５１…影候補１検出部、１５２…影候補２検出部、２１…記憶装置、２２…記憶装置、３１…測距センサ、３２…ＲＧＢセンサ、３３…偏光センサ、１６１影補正部、１６１１…影距離算出部、１６１２…ローパスフィルタ、１６１３…減算部、１６１４…置換部、１６１５…ローパスフィルタ、１６１６…加算部、５１…撮像装置、５２…撮像装置1...Shadow area detection system, 10...Shadow area detection device, 111...Image acquisition unit, 113...Resizing unit, 115...Hue/brightness calculation unit, 116...Distance area division unit, 117...Color area division unit, 118...Object area division unit, 119...Area division unit, 131...Polarized image acquisition unit, 132...Polarization angle calculation unit, 133...Resizing unit, 150...Shadow candidate detection unit, 151...
Claims (5)
Translated fromJapanese取得した前記画像の各座標について、各座標が有する前記被写体の情報に基づき、複数の領域に区分する領域区分け部と、
前記被写体を、複数の異なる偏光角度を有する偏光フィルタをそれぞれ介して撮像された複数の偏光画像を取得する偏光画像取得部と、
前記領域区分け部により区分された前記画像の領域についての情報と、前記偏光画像とに基づいて、前記画像の各座標について影部分と推定される座標の候補を検出する影候補検出部と
を備える影領域検出装置。 an image acquisition unit that acquires an image having information of a subject at each coordinate on a two-dimensional plane;
a region dividing unit that divides each coordinate of the acquired image into a plurality of regions based on information of the subject that each coordinate has;
a polarization image acquisition unit that acquires a plurality of polarization images of the subject through a plurality of polarization filters having different polarization angles;
a shadow candidate detection unit that detects candidates for coordinates estimated to be shadow areas for each coordinate of the image based on information about the areas of the image divided by the area division unit and the polarized image.
前記領域区分け部は、前記ＲＧＢ画像の各座標について、各座標が有する色情報に基づき、複数の領域に区分する色領域区分け部を更に備える
請求項１に記載の影領域検出装置。 the image acquired by the image acquisition unit includes an RGB image having information about the color of the subject at each coordinate on a two-dimensional plane;
The shadow region detection device according to claim 1 , wherein the region dividing section further comprises a color region dividing section that divides each coordinate of the RGB image into a plurality of regions based on color information that each coordinate has.
請求項２に記載の影領域検出装置。 The shadow region detection device according to claim 2 , further comprising a shadow correction unit that replaces pixel values of coordinates estimated as a shadow candidate by the shadow candidate detection unit with values based on pixel values of coordinates that are not estimated as a shadow candidate.
前記領域区分け部は、前記距離画像の各座標について、各座標が有する距離情報に基づき、複数の領域に区分する距離領域区分け部を更に備える
請求項１から請求項３のいずれか一項に記載の影領域検出装置。 the image acquired by the image acquisition unit includes a distance image having information about a distance to the subject at each coordinate on a two-dimensional plane;
The shadow region detection device according to claim 1 , further comprising a distance region dividing section that divides each coordinate of the distance image into a plurality of regions based on distance information that each coordinate has.
取得した前記画像の各座標について、各座標が有する前記被写体の情報に基づき、複数の領域に区分する領域区分け工程と、
前記被写体を、複数の異なる偏光角度を有する偏光フィルタをそれぞれ介して撮像された複数の偏光画像を取得する偏光画像取得工程と、
前記領域区分け工程により区分された前記画像の領域についての情報と、取得された前記偏光画像とに基づいて、前記画像の各座標について影部分と推定される座標の候補を検出する影候補検出工程と
を有する影領域検出方法。 an image acquisition step of acquiring an image having information of a subject at each coordinate on a two-dimensional plane;
a region dividing step of dividing each coordinate of the acquired image into a plurality of regions based on information of the subject held by each coordinate;
a polarization image acquisition step of acquiring a plurality of polarization images of the subject through a plurality of polarization filters each having a different polarization angle;
and a shadow candidate detection step of detecting candidates for coordinates estimated to be shadow areas for each coordinate of the image based on information about the image regions divided by the region division step and the acquired polarized image.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023081280AJP2024165249A (en) | 2023-05-17 | 2023-05-17 | Shadow area detection device and shadow area detection method |
| PCT/JP2024/014390WO2024236944A1 (en) | 2023-05-17 | 2024-04-09 | Shadow region detection device and shadow region detection method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023081280AJP2024165249A (en) | 2023-05-17 | 2023-05-17 | Shadow area detection device and shadow area detection method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2024165249Atrue JP2024165249A (en) | 2024-11-28 |
Family
ID=93519368
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023081280APendingJP2024165249A (en) | 2023-05-17 | 2023-05-17 | Shadow area detection device and shadow area detection method |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2024165249A (en) |
| WO (1) | WO2024236944A1 (en) |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009019886A1 (en)* | 2007-08-07 | 2009-02-12 | Panasonic Corporation | Normal information generating device and normal information generating method |
| JP6663223B2 (en)* | 2016-01-07 | 2020-03-11 | キヤノン株式会社 | Image processing apparatus and method, and imaging apparatus |
| JP2018098583A (en)* | 2016-12-09 | 2018-06-21 | キヤノン株式会社 | Image processing apparatus and method, and imaging device |
| US11250586B2 (en)* | 2017-06-06 | 2022-02-15 | Sony Interactive Entertainment Inc. | Information processing apparatus and information processing method |
| JP2022070696A (en)* | 2020-10-27 | 2022-05-13 | セイコーエプソン株式会社 | 3D shape measurement method and 3D shape measurement device |
| JP2023005997A (en)* | 2021-06-30 | 2023-01-18 | キヤノン株式会社 | Image processing device and image processing method |
- 2023
- 2023-05-17JPJP2023081280Apatent/JP2024165249A/enactivePending
- 2024
- 2024-04-09WOPCT/JP2024/014390patent/WO2024236944A1/enactivePending
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024236944A1 (en) | 2024-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2018247216B2 (en) | Systems and methods for liveness analysis | |
| US10762606B2 (en) | Image processing apparatus and method for generating high quality image | |
| EP0932114B1 (en) | A method of and apparatus for detecting a face-like region | |
| JP5342036B2 (en) | Method for capturing 3D surface shapes | |
| US9767545B2 (en) | Depth sensor data with real-time processing of scene sensor data | |
| TWI459324B (en) | Modifying color and panchromatic channel cfa image | |
| TWI430184B (en) | Edge mapping incorporating panchromatic pixels | |
| US20080062409A1 (en) | Image Processing Device for Detecting Chromatic Difference of Magnification from Raw Data, Image Processing Program, and Electronic Camera | |
| JP7024736B2 (en) | Image processing equipment, image processing method, and program | |
| JP4466015B2 (en) | Image processing apparatus and image processing program | |
| CN107018407B (en) | Information processing device, evaluation chart, evaluation system, and performance evaluation method | |
| EP4327547B1 (en) | Selective image signal processing | |
| JP7156624B2 (en) | Depth map filtering device, depth map filtering method and program | |
| JPH1062140A (en) | Method and device for reconstruction of shape | |
| JP2005165387A (en) | Screen streak defect detection method and apparatus, and display device | |
| JP4466017B2 (en) | Image processing apparatus and image processing program | |
| JP2024165249A (en) | Shadow area detection device and shadow area detection method | |
| JP2021182670A (en) | Image processing device, imaging device, image processing method, and program | |
| JP2011155365A (en) | Image processing apparatus and image processing method | |
| JP2004219072A (en) | Screen streak defect detection method and device | |
| CN112907454B (en) | Method, device, computer equipment and storage medium for acquiring image | |
| JP2013200840A (en) | Video processing device, video processing method, video processing program, and video display device | |
| JP4466016B2 (en) | Image processing apparatus and image processing program | |
| CN115696040B (en) | Focusing method and device, electronic device, and computer-readable storage medium | |
| WO2024134935A1 (en) | Three-dimensional information correction device and three-dimensional information correction method |