







本発明は、入力された画像から顔などの特定のオブジェクトを検出するための技術に関する。 The present invention relates to a technique for detecting a specific object such as a face from an input image.
入力された画像から顔などの特定オブジェクトを検出する方法として、例えば非特許文献1が知られている。非特許文献1には、顔の解析に効率的かつ効果的なハールと呼ばれる画像の特徴の組、アダブースト(AdaBoost)に基づく特徴選択プロセス、学習及び検出用のカスケード式アーキテクチャの3つの新しい方式による高精度なオブジェクト検出手法が記載されている。 For example, Non-Patent
非特許文献1におけるオブジェクト検出では、複数のステージで構成されたオブジェクト判別器を用いる。1回の判別処理では、入力画像から切り出された1つの小領域に対し、このオブジェクト判別器によりその領域が検出対象とするオブジェクトであるかないかを判別する。 In object detection in
各ステージで、ハール特徴に応じた特徴量の総和をステージ毎の出力値として求め、閾値と比較して、オブジェクトであるかどうかの判別を行う。ある閾値以下であればオブジェクトではないと判別して判別処理を打ち切る。一方、閾値以上であればステージクリアと判定して、次のステージによる判別処理へと移行する。オブジェクト判別器内の全てのステージの判別処理をクリアした場合、オブジェクトがあると判定する。 At each stage, the sum of the feature values corresponding to the Haar features is obtained as an output value for each stage, and compared with a threshold value to determine whether the object is an object. If it is below a certain threshold value, it is determined that the object is not an object, and the determination process is terminated. On the other hand, if it is equal to or greater than the threshold value, it is determined that the stage is cleared, and the process proceeds to determination processing by the next stage. When the discrimination processing for all stages in the object discriminator is cleared, it is determined that there is an object.
以上の処理を、入力画像から切り出される全ての小領域に対して繰り返すことで、高精度にオブジェクトが検出できる。 By repeating the above processing for all the small regions cut out from the input image, the object can be detected with high accuracy.
さらに非特許文献2には、上記処理結果によりオブジェクトがあると判定した領域に対して、各ステージでの出力値の総和を「オブジェクトらしさ」として求めて閾値と比較することで、誤ってオブジェクトとして判定したケースを誤検出として削減する方式での処理(この処理を、『オブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理』という)が記載されている。 Furthermore, in
また、非特許文献3には、非特許文献2のアイディアを拡張し、検出位置周辺での顔らしさも含めて加重平均を求めて閾値と比較して誤検出を低減する方式での処理(この処理を『検出位置隣接周辺での「オブジェクトらしさ」総和を使った誤検出低減処理』という)が記載されている。また非特許文献3には、検出位置隣接周辺での「オブジェクトらしさ」総和を使った誤検出低減処理は、オブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理に比べて高い性能を示すことが記載されている。 Further, Non-Patent Document 3 expands the idea of
本願発明者は、オブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理や、検出位置隣接周辺での「オブジェクトらしさ」総和を使った誤検出低減処理の製品への採用について検討したところ、以下の課題が見いだされた。 The inventor of the present application examined the adoption of a false detection reduction process using the “object-likeness” sum of only the object detection positions and a false detection reduction process using the “object-likeness” summation around the detection position in the product. However, the following issues were found.
オブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理や、検出位置隣接周辺での「オブジェクトらしさ」総和を使った誤検出低減処理においては、顔等のオブジェクト検出における誤検出を削減することができるものの、実際にはオブジェクトが存在するにもかかわらずそれを検出できないケース(「オブジェクト検出漏れ」という)の割合が急増することがある。これについて本願発明者が検討したところ、上記オブジェクト検出漏れの割合が急増するのは、入力画像からオブジェクト判定の対象となる小領域を所定のずらし幅でずらしながら切り出していく際の「位置ずらし幅」の割合に起因することが見いだされた。本願発明者の実験によれば、例えばオブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理では、ずらし幅が大きい場合のオブジェクト検出漏れの割合が急激に増加し、検出位置隣接周辺での「オブジェクトらしさ」総和を使った誤検出低減処理においては、ずらし幅が小さい場合のオブジェクト検出漏れの割合が急激に増加することが確認されている。 Reduces false detection in detection of objects such as faces in the false detection reduction process using the “object-likeness” sum of only the object detection positions and the false detection reduction process using the “object-likeness” summation around the detection position. The percentage of cases where an object exists but cannot be detected even though the object actually exists (referred to as “object detection omission”) may increase rapidly. The inventor of the present application examined this, and the ratio of the object detection omission increases rapidly because the “position shift width” is obtained when a small area to be subjected to object determination is cut out from the input image with a predetermined shift width. ”Was found to be due to the percentage of According to the experiment of the present inventor, for example, in the false detection reduction process using the “object-likeness” summation of only the object detection position, the ratio of the object detection omission when the shift width is large increases rapidly, In the false detection reduction process using the “object-likeness” sum in FIG. 5, it has been confirmed that the ratio of the object detection omission when the shift width is small increases rapidly.
本発明の目的は、オブジェクト検出漏れの割合を急増させることなく、オブジェクトの誤検出を低減するための技術を提供することにある。 An object of the present invention is to provide a technique for reducing erroneous detection of an object without rapidly increasing the rate of object detection omission.
本発明の前記並びにその他の目的と新規な特徴は本明細書の記述及び添付図面から明らかになるであろう。 The above and other objects and novel features of the present invention will be apparent from the description of this specification and the accompanying drawings.
本願において開示される発明のうち代表的なものの概要を簡単に説明すれば下記の通りである。 The following is a brief description of an outline of typical inventions disclosed in the present application.
すなわち、本発明にかかるオブジェクト検出方法は、入力画像からオブジェクト判定の対象となる小領域を所定のずらし幅でずらしながら切り出していく第1処理と、上記入力画像における上記小領域毎の特徴量を算出する第2処理と、上記特徴量の算出結果に基づいて上記小領域毎にオブジェクトか非オブジェクトかを判別する第3処理とを含む。さらに、上記第3処理におけるオブジェクト判定の誤りを低減するための第1誤検出低減処理と、上記第1誤検出低減処理とは異なる方式により、上記第3処理におけるオブジェクト判定の誤りを低減するための第2誤検出低減処理とを、誤検出低減方式切り替え部により、上記小領域を切り出す際のずらし幅に応じて選択的に実行させる。 That is, in the object detection method according to the present invention, a first process of cutting out a small area that is a target of object determination from an input image while shifting it with a predetermined shift width, and a feature amount for each small area in the input image A second process for calculating, and a third process for determining whether each of the small areas is an object or a non-object based on the calculation result of the feature amount. Further, in order to reduce the error in the object determination in the third process by a method different from the first erroneous detection reduction process for reducing the error in the object determination in the third process and the first erroneous detection reduction process. The second erroneous detection reduction process is selectively executed by the erroneous detection reduction method switching unit according to the shift width when the small area is cut out.
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば下記のとおりである。 The effects obtained by the representative ones of the inventions disclosed in the present application will be briefly described as follows.
すなわち、オブジェクト検出漏れの割合を急増させることなく、オブジェクトの誤検出を低減するための技術を提供することができる。 That is, it is possible to provide a technique for reducing the erroneous detection of an object without rapidly increasing the object detection omission ratio.
1.実施の形態の概要
先ず、本願において開示される発明の代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面中の参照符号はそれが付された構成要素の概念に含まれるものを例示するに過ぎない。1. First, an outline of a typical embodiment of the invention disclosed in the present application will be described. Reference numerals in the drawings referred to in parentheses in the outline description of the representative embodiments merely exemplify what are included in the concept of the components to which the reference numerals are attached.
〔1〕本発明の代表的な実施の形態に係るオブジェクト検出方法は、オブジェクト検出装置(900)で実施される。そして本発明の代表的な実施の形態に係るオブジェクト検出方法は、入力画像からオブジェクト判定の対象となる小領域を所定のずらし幅でずらしながら切り出していく第1処理と、上記入力画像における上記小領域毎の特徴量を算出する第2処理と、上記特徴量の算出結果に基づいて上記小領域毎にオブジェクトか非オブジェクトかを判別する第3処理とを含む。さらに、上記第3処理におけるオブジェクト判定の誤りを低減するための第1誤検出低減処理と、上記第1誤検出低減処理とは異なる方式により、上記第3処理におけるオブジェクト判定の誤りを低減するための第2誤検出低減処理とを、誤検出低減方式切り替え部(105)により、上記小領域を切り出す際のずらし幅に応じて選択的に実行させる。 [1] An object detection method according to a representative embodiment of the present invention is implemented by an object detection apparatus (900). The object detection method according to the representative embodiment of the present invention includes a first process of cutting out a small area that is an object determination target from an input image while shifting the image by a predetermined shift width, and the small image in the input image. A second process for calculating a feature amount for each region; and a third process for determining whether the small region is an object or a non-object based on the calculation result of the feature amount. Further, in order to reduce the error in the object determination in the third process by a method different from the first erroneous detection reduction process for reducing the error in the object determination in the third process and the first erroneous detection reduction process. The second false detection reduction process is selectively executed by the false detection reduction method switching unit (105) according to the shift width when the small area is cut out.
上記のように、オブジェクト検出漏れの割合が急増するのは、入力画像からオブジェクト判定の対象となる小領域を所定のずらし幅でずらしながら切り出していく際の「位置ずらし幅」の割合に起因している。例えばオブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理では、上記小領域を切り出す際のずらし幅が大きい場合のオブジェクト検出漏れの割合が急激に増加し、検出位置隣接周辺での「オブジェクトらしさ」総和を使った誤検出低減処理においては、上記小領域を切り出す際のずらし幅が小さい場合のオブジェクト検出漏れの割合が急激に増加することが確認されている。 As described above, the ratio of the object detection omission increases rapidly because of the ratio of the “position shift width” when the small area that is the object determination target is cut out from the input image with a predetermined shift width. ing. For example, in the false detection reduction process using the “object-likeness” summation of only the object detection positions, the ratio of object detection omissions when the shift width when cutting out the small area is large increases rapidly, In the false detection reduction process using the “object-likeness” sum, it has been confirmed that the rate of object detection omission increases rapidly when the shift width when cutting out the small area is small.
そこで、発明の代表的な実施の形態に係るオブジェクト検出方法では、上記第3処理におけるオブジェクト判定の誤りを低減するための第1誤検出低減処理と、上記第1誤検出低減処理とは異なる方式により、上記第3処理におけるオブジェクト判定の誤りを低減するための第2誤検出低減処理とを、誤検出低減方式切り替え部(105)により、上記小領域を切り出す際のずらし幅に応じて選択的に実行させる。このように第1誤検出低減処理と第2誤検出低減処理とを上記小領域を切り出す際のずらし幅に応じて選択的に実行させることによって、オブジェクト検出漏れの割合を急増させることなく、オブジェクトの誤検出を低減することができる。 Therefore, in the object detection method according to the representative embodiment of the invention, the first false detection reduction process for reducing the object determination error in the third process is different from the first false detection reduction process. Thus, the second erroneous detection reduction process for reducing the object determination error in the third process is selectively performed according to the shift width when the small area is cut out by the erroneous detection reduction method switching unit (105). To run. As described above, the first erroneous detection reduction process and the second erroneous detection reduction process are selectively executed according to the shift width when the small area is cut out, so that the object detection omission ratio is not increased rapidly. False detection can be reduced.
〔2〕上記〔1〕において、上記第1誤検出低減処理には、オブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理が含まれる。上記第2誤検出低減処理には、オブジェクト検出位置周辺での「オブジェクトらしさ」総和を使った誤検出低減処理が含まれる。このとき上記入力画像から小領域を切り出す際の位置ずらし幅の割合が所定の閾値より大きい場合には、上記誤検出低減方式切り替え部により上記第1誤検出低減処理が選択され、入力画像から小領域を切り出す際の位置ずらし幅の割合が上記閾値より大きくない場合には、誤検出低減方式切り替え部により上記第2誤検出低減処理が選択される。 [2] In the above [1], the first false detection reduction process includes a false detection reduction process using the “object-likeness” sum of only the object detection positions. The second erroneous detection reduction process includes an erroneous detection reduction process using the “object-likeness” summation around the object detection position. At this time, if the ratio of the position shift width when the small area is cut out from the input image is larger than a predetermined threshold value, the first erroneous detection reduction process is selected by the erroneous detection reduction method switching unit, and a small amount is selected from the input image. When the ratio of the position shift width at the time of cutting out the area is not larger than the threshold value, the second erroneous detection reduction process is selected by the erroneous detection reduction method switching unit.
上記のようにオブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理では、上記小領域を切り出す際のずらし幅が大きい場合のオブジェクト検出漏れの割合が急激に増加し、検出位置隣接周辺での「オブジェクトらしさ」総和を使った誤検出低減処理においては、上記小領域を切り出す際のずらし幅が小さい場合のオブジェクト検出漏れの割合が急激に増加することが確認されている。 As described above, in the false detection reduction process using the “object-likeness” summation of only the object detection positions, the ratio of object detection omissions increases sharply when the shift width when extracting the small area is large, and adjacent detection positions In the false detection reduction process using the “object-likeness” summation in the vicinity, it has been confirmed that the rate of object detection omission increases rapidly when the shift width when cutting out the small area is small.
そこで、入力画像から小領域を切り出す際のずらし幅が大きい場合には、検出位置隣接周辺での「オブジェクトらしさ」総和を使った誤検出低減処理を選択的に実行し、入力画像から小領域を切り出す際のずらし幅が小さい場合には、オブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理を選択的に実行する。このようにすることで、オブジェクト検出漏れの割合を急増させることなく、オブジェクトの誤検出を低減することができる。 Therefore, if the shift width when extracting a small area from the input image is large, the false detection reduction process using the “object-likeness” summation around the detection position is selectively performed, and the small area is extracted from the input image. When the shift width at the time of cutting is small, the false detection reduction process using the “object-likeness” sum of only the object detection positions is selectively executed. By doing so, it is possible to reduce erroneous detection of an object without rapidly increasing the rate of object detection omission.
〔3〕本発明の代表的な実施の形態に係るオブジェクト検出装置(900)は、入力画像からオブジェクト判定の対象となる小領域を所定のずらし幅でずらしながら切り出していく第1処理と、上記入力画像における上記小領域毎の特徴量を算出する第2処理と、上記特徴量の算出結果に基づいて上記小領域毎にオブジェクトか非オブジェクトかを判別する第3処理とを実行する。このようなオブジェクト検出装置において、上記第3処理におけるオブジェクト判定の誤りを低減するための第1誤検出低減処理と、上記第1誤検出低減処理とは異なる方式により、上記第3処理におけるオブジェクト判定の誤りを低減するための第2誤検出低減処理とを選択的に実行可能な誤差検出低減部(106)を設ける。さらに上記ブジェクト検出装置において、上記小領域を切り出す際のずらし幅に応じて、上記誤差検出低減部における上記第1誤検出低減処理と第2誤検出低減処理とを切り替え可能な誤検出低減方式切り替え部(105)を設ける。 [3] An object detection apparatus (900) according to a representative embodiment of the present invention includes a first process of cutting out a small area that is a target of object determination from an input image while shifting it with a predetermined shift width; A second process for calculating the feature quantity for each small area in the input image and a third process for determining whether the small area is an object or a non-object based on the calculation result of the feature quantity are executed. In such an object detection device, the object determination in the third process is performed by a method different from the first error detection reduction process for reducing the error in the object determination in the third process and the first error detection reduction process. An error detection reduction unit (106) capable of selectively executing the second erroneous detection reduction process for reducing the error is provided. Further, in the object detection device, switching of an erroneous detection reduction method capable of switching between the first erroneous detection reduction process and the second erroneous detection reduction process in the error detection reduction unit according to a shift width when the small region is cut out. Part (105) is provided.
上記のように、オブジェクト検出漏れの割合が急増するのは、入力画像からオブジェクト判定の対象となる小領域を所定のずらし幅でずらしながら切り出していく際の「位置ずらし幅」の割合に起因している。このことから、上記誤検出低減方式切り替え部により、上記ブジェクト検出装置において、上記小領域を切り出す際のずらし幅に応じて、上記誤差検出低減部における上記第1誤検出低減処理と第2誤検出低減処理とを切り替えることによって、オブジェクト検出漏れの割合を急増させることなく、オブジェクトの誤検出を低減することができるようになる。 As described above, the ratio of the object detection omission increases rapidly because of the ratio of the “position shift width” when the small area that is the object determination target is cut out from the input image with a predetermined shift width. ing. From this, the first detection error reduction processing and the second detection error in the error detection reduction unit according to the shift width when the small area is cut out in the object detection device by the error detection reduction method switching unit. By switching to the reduction process, it is possible to reduce the erroneous detection of the object without rapidly increasing the ratio of the object detection omission.
〔4〕上記第1誤検出低減処理は、オブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理を含み、上記第2誤検出低減処理は、オブジェクト検出位置周辺での「オブジェクトらしさ」総和を使った誤検出低減処理を含む。このとき、上記誤検出低減方式切り替え部は、上記入力画像から小領域を切り出す際の位置ずらし幅の割合が所定の閾値より大きい場合には、上記第1誤検出低減処理を選択し、入力画像から小領域を切り出す際の位置ずらし幅の割合が上記閾値より大きくない場合には、上記第2誤検出低減処理を選択するように構成することができる。 [4] The first false detection reduction process includes a false detection reduction process using the sum of the “object-likeness” only at the object detection position, and the second false detection reduction process includes the “object-likeness around the object detection position. Including false detection reduction processing using the sum. At this time, the error detection reduction method switching unit selects the first error detection reduction process when the ratio of the position shift width when the small area is cut out from the input image is larger than a predetermined threshold, and the input image When the ratio of the position shift width when cutting out the small area from the image is not larger than the threshold value, the second erroneous detection reduction process can be selected.
上記のようにオブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理では、上記小領域を切り出す際のずらし幅が大きい場合のオブジェクト検出漏れの割合が急激に増加し、検出位置隣接周辺での「オブジェクトらしさ」総和を使った誤検出低減処理においては、上記小領域を切り出す際のずらし幅が小さい場合のオブジェクト検出漏れの割合が急激に増加することが確認されている。
このため、上記誤検出低減方式切り替え部により、上記入力画像から小領域を切り出す際の位置ずらし幅の割合が所定の閾値より大きい場合には、上記第1誤検出低減処理を選択し、入力画像から小領域を切り出す際の位置ずらし幅の割合が上記閾値より大きくない場合には、上記第2誤検出低減処理を選択することによって、オブジェクト検出漏れの割合を急増させることなく、オブジェクトの誤検出を低減することができるようになる。As described above, in the false detection reduction process using the “object-likeness” summation of only the object detection positions, the ratio of object detection omissions increases sharply when the shift width when extracting the small area is large, and adjacent detection positions In the false detection reduction process using the “object-likeness” summation in the vicinity, it has been confirmed that the rate of object detection omission increases rapidly when the shift width when cutting out the small area is small.
For this reason, when the ratio of the position shift width when the small area is cut out from the input image is larger than a predetermined threshold by the erroneous detection reduction method switching unit, the first erroneous detection reduction process is selected and the input image is selected. If the ratio of the position shift width when the small area is cut out from the image is not larger than the threshold value, by selecting the second erroneous detection reduction process, the erroneous detection of the object is prevented without increasing the ratio of the object detection omission. Can be reduced.
〔5〕上記〔4〕において、外部から与えられた情報に従って、上記誤検出低減方式切り替え部における処理のパラメータ制御を行う設定制御部(1020)を設けることができる。 [5] In the above [4], a setting control unit (1020) for performing parameter control of processing in the erroneous detection reduction method switching unit can be provided according to information given from the outside.
上記設定制御部によって、上記誤検出低減方式切り替え部における処理のパラメータ制御を行うことができるので、オブジェクト検出装置において、安定に誤検出を低減しつつ、誤検出低減の程度とオブジェクト検出漏れの程度を制御することが可能となる。 Since the parameter control of the process in the erroneous detection reduction method switching unit can be performed by the setting control unit, the degree of false detection reduction and the degree of object detection omission while stably reducing false detection in the object detection device. Can be controlled.
2.実施の形態の詳細
実施の形態について更に詳述する。2. Details of Embodiments Embodiments will be further described in detail.
<実施の形態1>
図6には、本発明にかかるオブジェクト検出装置の構成例が示される。<
FIG. 6 shows a configuration example of the object detection apparatus according to the present invention.
図6に示されるオブジェクト検出装置900は、特に制限されないが、例えば監視カメラやデジタルカメラなどの撮像装置901によって得られた画像から対象となるオブジェクトを検出する機能を有する。オブジェクト検出装置900の検出結果(オブジェクト)は、出力装置908に出力される。この出力装置908としては、例えばディスプレイや、プリンタ、パーソナルコンピュータなどを挙げることができる。ディスプレイによれば、オブジェクト検出装置900の検出結果を表示することができる。プリンタによれば、オブジェクト検出装置900の検出結果を印刷することができる。パーソナルコンピュータによれば、オブジェクト検出装置900の検出結果を処理したり、適宜の記憶媒体に記録することができる。 The
上記オブジェクト検出装置900は、特に制限されないが、画像入力部909、画像メモリ902、CPU(Central Processing Unit)903、RAM(Random Access Memory)904、ROM(Read Only Memory)905、検出結果記録部906、及びインタフェース(I/F)907を含む。そしてオブジェクト検出装置900は、公知の半導体集積回路製造技術により、例えば単結晶シリコン基板などの一つの半導体基板に形成される。 The
画像入力部909、画像メモリ902、CPU903、RAM904、ROM905、検出結果記録部906、及びインタフェース(I/F)907は、バス910によって、互いに信号のやり取りが可能に結合されている。画像入力部909は、上記撮影部901によって得られた画像をオブジェクト検出装置900の内部に取り込む。画像メモリ902は、上記画像入力部909を介して取り込まれた画像を記憶する。CPU903は、所定のプログラムを実行することにより、上記画像メモリ902内の画像を取り込んでオブジェクト検出処理を実行したり、オブジェクト検出装置900における各部の動作を制御する。RAM904は、上記CPU903でのオブジェクト検出処理の作業領域などに利用される。ROM905には、上記CPU903で実行されるプログラムや、上記CPU903でのオブジェクト検出処理で参照される各種データが格納される。検出結果記録部906には、上記CPU903でのオブジェクト検出処理結果が記録される。インタフェース907は、上記検出結果記録部906内のオブジェクト検出処理結を所定のデータ形式に変換してから上記出力装置908へ出力する。 The
図1には、上記CPU903が所定のプログラムを実行することにより機能的に実現されるオブジェクト検出部の構成例が示される。 FIG. 1 shows a configuration example of an object detection unit that is functionally realized by the
上記CPU903によって機能的に実現されるオブジェクト検出部は、図1に示されるように、特徴評価部102、オブジェクト判定部104、誤検出低減方式切り替え部105、及び誤検出低減部106を含む。 The object detection unit functionally realized by the
次に、オブジェクト検出処理を詳細に説明する。 Next, the object detection process will be described in detail.
オブジェクト検出部にて検出するオブジェクトとしては、人、車、標識等、その他のオブジェクトを対象とすることができるが、ここでは、説明の便宜上、人物の正面顔を検出対象とする。 The object detected by the object detection unit may be another object such as a person, a car, or a sign, but here, for convenience of explanation, a person's front face is a detection target.
画像入力部909は、カメラなどの撮像モジュールや、あらかじめ記録された画像の再生画像等を入力画像200として受信し、顔か非顔かの判別処理を行う画像領域203を特徴評価部102に出力する。特徴パターンデータベース110には顔か非顔かを判別するための特徴パターンが格納されている。特徴パターンデータベース110は、特に制限されないが、図6におけるROM905内に形成することができる。特徴評価部102は、入力された画像領域203に対して特徴パターンデータベース110に定義された複数の特徴パターンに対する特徴量を算出する。特徴量格納部103では、特徴評価部102から得られた特徴量を格納する。特徴量格納部103は、特に制限されないが、図6におけるRAM904に形成することができる。オブジェクト判別部104では、特徴評価部102で得られた複数の特徴量の値を元に、顔か非顔かの判別処理を行う。その結果、顔と判別したら誤検出低減部106に結果を出力する。誤検出低減部106は、上記オブジェクト判別部104での判別結果を取り込んで、オブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理と、検出位置隣接周辺での「オブジェクトらしさ」総和を使った誤検出低減処理とを選択的に実行することができる。誤検出低減方式切り替え部105では画像入力部909から得られた入力画像から小領域を切り出す際の「位置ずらし幅」の割合に基づいて、オブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理と、検出位置隣接周辺での「オブジェクトらしさ」総和を使った誤検出低減処理とのいずれを使用するかを誤検出低減部106に指示する。誤検出低減部106は、誤検出低減方式切り替え部105からの指示に応じた誤検出低減処理を行う。 The
次に、図1に示される画像入力部909の動作の詳細について図2を参照しながら説明する。 Next, details of the operation of the
画像入力部909を介して取り込まれた入力画像200に対して、検出すべき顔201、202は任意の位置に任意の大きさで存在する。これに対応するため画像入力部909では、入力画像からオブジェクト判定の対象となる小領域を所定のずらし幅でずらしながら切り出していく。例えば入力画像200上の複数位置で複数の大きさの画像領域(オブジェクト判定の対象となる小領域)203を例えばラスタスキャン状に切り出していく。切り出された画像領域は、特徴評価部102に伝達される。この特徴評価部102以降では、ある1枚の入力画像200中の複数の画像領域に対して顔か非顔かの判別処理が行われることになる。これによって、入力画像200中の任意の場所に存在する任意の大きさの顔を検出することができる。 With respect to the
図1の特徴パターンデータベース110について説明する。 The
特徴パターンデータベース110には顔判別に用いる複数の画像特徴パラメータが定義される。図3には、定義される画像特徴パターンの一例が示される。図3に示される特徴パターンは、黒矩形301と白矩形302から構成されており、この矩形内の画素値の総和の差分によって特徴量をもとめる。図4には、この特徴パラメータを定義した顔判別パラメータテーブル400の一例が示される。顔と非顔を判別するためN(Nは、正の整数)個の画像特徴hi(i∈N)が定義されており、各特徴に対して顔判定を行う際の重みα、右斜め横顔判定を行う際の重みβ、左斜め横顔判定を行う際の重みγがそれぞれ定義されている。The
図1の特徴評価部102の動作の詳細について説明する。 Details of the operation of the
特徴評価部102では、入力された画像領域203に対する複数の特徴量を算出する。特徴パターンデータベース110内に定義された画像特徴パターンhiに対して入力された画像領域203をベクトルIとすると、得られる特徴量hi(I)は、次式(数1)で求めることができる。The
RectやThreは、特徴パラメータとされる。特徴評価部102では、上記の演算によってN個の特徴量を求める。求められた特徴量は、特徴量格納部103に格納される。 Rect and Thre are feature parameters. The
尚、特徴評価部102で評価する特徴量として矩形特徴を用いた例を示したが、検出対象とするオブジェクトに応じて、EOH(Edge of Orientation Histograms)やHOG(Histogram of Orientation Gradients)などの異なる特徴量を用いても良い。 In addition, although the example using the rectangular feature as the feature amount evaluated by the
図1のオブジェクト判別部104の動作の詳細について説明する。 Details of the operation of the
オブジェクト判別部104では、各ステージで特徴評価部102にて得られた各特徴量hi(I)を元に顔尤度を算出して画像領域203が顔か非顔かの判別を行う。顔判別の例として、「AdaBoostアルゴリズムによる識別方式を挙げることができる。この判別方式では、図4の顔判別パラメータテーブル400に記述された各特徴hiに対する顔判別の重みαiを用いた線形和から、そのステージsでの顔尤度Fs(I)を次式(数2)により算出する。The
これより、オブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理による顔尤度F(A)(I)は、次式(数3)により算出される。From this, the face likelihood F(A) (I) by the false detection reduction process using the “object-likeness” summation of only the object detection positions is calculated by the following equation (Equation 3).
また、検出位置隣接周辺での「オブジェクトらしさ」総和を使った誤検出低減処理による顔尤度F(B)(I)は、次式(数4)により算出される。Further, the face likelihood F(B) (I) by the false detection reduction process using the “object-likeness” summation around the detection position adjacent area is calculated by the following equation (Equation 4).
ただしCは検出位置隣接周辺を示す。顔尤度F(A)(I),F(B)(I)が大きいほど顔らしいことを示しており、顔尤度Fが閾値ThF以上であれば顔、未満であれば非顔と判別する。オブジェクト判別部104では、判別結果が顔であれば、その結果を誤検出低減部106に出力する。誤検出低減方式切り替え部105では画像入力部909から得られた入力画像から小領域を切り出す際の「位置ずらし幅」の割合に基づいて、オブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理と、検出位置隣接周辺での「オブジェクトらしさ」総和を使った誤検出低減処理とのいずれを使用するかを誤検出低減部106に指示する。誤検出低減部106では誤検出低減方式切り替え部105からの指示に応じて、誤検出低減処理として顔尤度F(A)(I)又はF(B)(I)を算出し、閾値処理を行って最終的なオブジェクト(ここでは顔)の有無を判別する。Here, C indicates the vicinity of the detection position. KaoyudoF (A) (I), F (B) (I) indicates that seems the larger faces, a non-face is less than the face, if Kaoyudo F threshold ThF or higher Determine. If the discrimination result is a face, the
次に、図1の誤検出低減方式切り替え部105の動作の詳細について図5を参照しながら説明する。 Next, details of the operation of the erroneous detection reduction
図5には、誤検出低減方式切り替え部105において行われる処理のフローチャートが示される。 FIG. 5 shows a flowchart of processing performed in the erroneous detection reduction
ステップ501では、画像入力部909より、小領域切り出し「位置ずらし幅」Wと小領域サイズKを取得する。 In
ステップ502では、次式(数5)が成立するか否かの判別が行われる。Tswは、この判別のために設定された閾値である。上記ステップ502の判別において、成立する(Yes)と判断された場合には、ステップ503に遷移し、成立しない(No)と判断された場合には、ステップ504に遷移する。ステップ503に遷移したならば、オブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理の実行を誤検出低減部106に指示する。ステップ504に遷移したならば、検出位置隣接周辺での「オブジェクトらしさ」総和を使った誤検出低減処理の実行を誤検出低減部106に指示する。In
誤検出低減部106では、上記誤検出低減方式切り替え部105からの指示に対応する処理が実行される。このような処理が行われることで、ジェクト検出における、オブジェクト検出漏れの割合を急増させることなく、オブジェクトの誤検出を低減することができる。また、特許文献1に開示されているようなオブジェクト検出高速化方式で使用されるテクニックである「位置ずらし幅」の割合を適応的に変化させるケースでも、誤検出低減を安定に行うことができる。 In the false
<実施の形態2>
図7には、上記オブジェクト検出装置900の別の構成例が示される。図7に示されるオブジェクト検出装置900が、図5に示されるのと大きく相違するのは、設定制御部1020が設けられている点である。また、オブジェクト検出装置900の外部には入力装置1010が設けられている。入力装置1010を介して、利用用途や環境に応じたパラメータをオブジェクト検出装置900に入力することができ、この入力情報は、インタフェース907を介して設定制御部1020に伝達される。<
FIG. 7 shows another configuration example of the
上記の構成において、入力装置1010を介して、誤検出低減方式切り替え部105における誤検出低減方式切り替え処理におけるパラメータ調整の命令を入力することができる。本命令を受け取った設定制御部1020は、誤検出低減方式切り替え部105における誤検出低減方式の切り替え処理のオン/オフ制御や感度の調整などのパラメータ制御を行う。これによりオブジェクト検出装置900において、安定に誤検出を低減しつつ、誤検出低減の程度とオブジェクト検出漏れの程度を制御することが可能となる。 In the above configuration, a parameter adjustment command in the erroneous detection reduction method switching process in the erroneous detection reduction
図8には、上記入力装置1010で誤検出低減処理と誤検出低減方式切り替えにおけるパラメータ設定を行うためのパラメータ設定画面が示される。 FIG. 8 shows a parameter setting screen for performing parameter setting in the erroneous detection reduction process and the erroneous detection reduction method switching by the
図8に示されるパラメータ設定画面1100は、誤検出低減パラメータ1101と、誤検出低減方式切り替えパラメータ1102によって構成される。誤検出低減パラメータ1101で誤検出低減部106における誤検出低減の感度を制御する。誤検出低減の感度を例えば「レベル:高」に設定すると、前記顔尤度F(A)(I),F(B)(I)に対する閾値TFを厳しくすることで、誤検出判定を厳しくする。A
誤検出低減方式切り替えパラメータ1102では誤検出低減方式切り替えレベル(検出サイズに対する切り出し位置のずらし幅の比率に対する閾値Tsw)をパラメータとして設定する。こうして設定した各項目のパラメータ情報は、設定制御部1020に送られ、設定制御部1020においてCPU903でのオブジェクト検出処理に用いられる。In the erroneous detection reduction
以上本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。 Although the invention made by the present inventor has been specifically described based on the embodiments, it is needless to say that the present invention is not limited thereto and can be variously modified without departing from the gist thereof.
例えば、上記の実施形態では、CPU903が所定のプログラムを実行することによりオブジェクト検出部を機能的に実現したが、このオブジェクト検出部をハードウェアによって形成しても良いし、ソフトウェアとハードウェアの双方で構成しも良い。 For example, in the above embodiment, the object detection unit is functionally realized by the
上記では誤検出低減方式として非特許文献1および2に記載されている処理方式、すなわち、オブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理や、検出位置隣接周辺での「オブジェクトらしさ」総和を使った誤検出低減処理を選択的に実行する場合について説明したが、これに限定されない。すなわち、他の誤検出低減方式であっても、入力画像からオブジェクト判定の対象となる小領域を所定のずらし幅でずらしながら切り出す際のずらし幅の割合でオブジェクト検出漏れの性質が変化するならば、誤検出低減部106に実装して切り替え対象とすることができる。 In the above, the processing methods described in
100 オブジェクト検出部
102 特徴評価部
103 特徴量格納部
104 オブジェクト判別部
105 変化オブジェクト判別部
106 判別結果出力部
110 特徴パターンデータベース
200 入力画像
201、202 顔
203 画像領域
301、302 矩形特徴
400 顔判別パラメータテーブル
501 ステップ
901 撮像部
902 画像メモリ
903 CPU
904 RAM
905 ROM
906 計測結果記録部
907 インタフェース
908 出力装置
909 画像入力部
910 バス
1010 入力装置
1020 設定制御部
1100 パラメータ設定画面
1101 誤検出低減レベルパラメータ
1102 誤検出低減方式切り替えレベルパラメータDESCRIPTION OF SYMBOLS 100
904 RAM
905 ROM
906 Measurement
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010020087AJP2011159097A (en) | 2010-02-01 | 2010-02-01 | Method and device for detecting object |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010020087AJP2011159097A (en) | 2010-02-01 | 2010-02-01 | Method and device for detecting object |
| Publication Number | Publication Date |
|---|---|
| JP2011159097Atrue JP2011159097A (en) | 2011-08-18 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010020087AWithdrawnJP2011159097A (en) | 2010-02-01 | 2010-02-01 | Method and device for detecting object |
| Country | Link |
|---|---|
| JP (1) | JP2011159097A (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014013469A (en)* | 2012-07-04 | 2014-01-23 | Mitsubishi Electric Corp | Image processor |
| JP2021022056A (en)* | 2019-07-25 | 2021-02-18 | キオクシア株式会社 | Semiconductor image processing device |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014013469A (en)* | 2012-07-04 | 2014-01-23 | Mitsubishi Electric Corp | Image processor |
| JP2021022056A (en)* | 2019-07-25 | 2021-02-18 | キオクシア株式会社 | Semiconductor image processing device |
| JP7316867B2 (en) | 2019-07-25 | 2023-07-28 | キオクシア株式会社 | Semiconductor image processing device |
| US11715189B2 (en) | 2019-07-25 | 2023-08-01 | Kioxia Corporation | Semiconductor image processing apparatus |
| Publication | Publication Date | Title |
|---|---|---|
| US8649604B2 (en) | Face searching and detection in a digital image acquisition device | |
| KR100745981B1 (en) | Expanded Face Recognition Method and Apparatus Based on Compensatory Features | |
| US10438059B2 (en) | Image recognition method, image recognition apparatus, and recording medium | |
| JP5675233B2 (en) | Information processing apparatus, recognition method thereof, and program | |
| KR101615254B1 (en) | Detecting facial expressions in digital images | |
| KR100608595B1 (en) | Facial recognition method and device | |
| US8144943B2 (en) | Apparatus and method for detecting specific subject in image | |
| Mccullagh | Face detection by using haar cascade classifier | |
| JP4410732B2 (en) | Face image detection device, face image detection method, and face image detection program | |
| JP4724638B2 (en) | Object detection method | |
| Amjad et al. | Multiple face detection algorithm using colour skin modelling | |
| JP2008102611A (en) | Image processing device | |
| KR20170087817A (en) | Face detecting method and apparatus | |
| CN104281851B (en) | The extracting method and device of logo information | |
| JP5258506B2 (en) | Information processing device | |
| JP2014010633A (en) | Image recognition device, image recognition method, and image recognition program | |
| JP5335554B2 (en) | Image processing apparatus and image processing method | |
| KR101521136B1 (en) | Method of recognizing face and face recognition apparatus | |
| JP2011159097A (en) | Method and device for detecting object | |
| JP2006323779A (en) | Image processing method and image processing apparatus | |
| Laia et al. | Performance Improvement Of Viola-Jones Using Slicing Aided Hyper Inference (SAHI) For Multi-Face Detection | |
| JP2005071125A (en) | Subject detection apparatus, subject detection method, subject data selection program, and subject position detection program | |
| CN109993186A (en) | A head and shoulders detection method, electronic device and device with storage function | |
| WO2011092848A1 (en) | Object detection device and face detection device | |
| Sandhu et al. | Analyzing the image processing methods in order to do face detection |
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed | Free format text:JAPANESE INTERMEDIATE CODE: A300 Effective date:20130402 |