JP2009000410A - Image processing apparatus and image processing method - Google Patents
Image processing apparatus and image processing methodDownload PDFInfo
- Publication number
- JP2009000410A JP2009000410AJP2007166100AJP2007166100AJP2009000410AJP 2009000410 AJP2009000410 AJP 2009000410AJP 2007166100 AJP2007166100 AJP 2007166100AJP 2007166100 AJP2007166100 AJP 2007166100AJP 2009000410 AJP2009000410 AJP 2009000410A
- Authority
- JP
- Japan
- Prior art keywords
- standard
- analysis target
- face
- movement
- standard face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
Translated fromJapaneseDescription
Translated fromJapanese本発明は、撮像装置で撮影された人の顔画像情報に基づいて、染み、毛穴、皺等、顔の肌の変色部位の特性情報を抽出するための画像処理装置及び画像処理方法に関する。 The present invention relates to an image processing apparatus and an image processing method for extracting characteristic information of discolored parts of a facial skin such as a stain, a pore, and a wrinkle based on face image information of a person photographed by an imaging device.
美容外科やエステティックサロン等では、染み、毛穴の汚れ、皺等、顔の肌の状態を改善する美容施術の前後に、肌の状態がどの程度改善されたかを客観的に判断するため、撮像装置で人の顔画像を撮影し、撮影した顔画像に対して所定の画像処理を行なって、染み、毛穴の汚れ、皺等の状態を評価する必要がある。 In cosmetic surgery and esthetic salons, an imaging device is used to objectively determine how much the skin condition has improved before and after cosmetic treatments that improve the skin condition of the face, such as stains, pore dirt, wrinkles, etc. Thus, it is necessary to take a human face image, perform predetermined image processing on the taken face image, and evaluate the state of stain, pore dirt, wrinkles, and the like.
そのため、特許文献１では、第１デジタルイメージは肌の色を有しており、人の顔の第１デジタルイメージを生成するデジタルイメージジェネレータと、前記デジタルイメージジェネレータによって生成された人の顔の第１デジタルイメージに基づいて人の顔の視覚的な表示を生成するために、デジタルイメージジェネレータと連動するように接続されたディスプレイ装置と、前記デジタルイメージジェネレータ及び前記ディスプレイ装置と連動するように接続され、前記デジタルイメージジェネレータから第１デジタルイメージを受信すると前記ディスプレイ装置に人の顔の視覚的な表示を生成させ、実際に存在する複数の肌の欠陥の複数の位置を示す座標の組を判定するために第１デジタルイメージを分析し、第２デジタルイメージは肌の欠陥を含む領域内に実質的に存在する複数のピクセルの色を第１デジタルイメージの肌の色から視覚的に識別できる少なくとも１つの色に電子的に変換することによってデジタルイメージ内にある複数の欠陥領域を視覚的に同定するものであって、前記第１デジタルイメージ及び座標の組に基づいて第２デジタルイメージを作成し、前記ディスプレイ装置に第２デジタルイメージを表示させるコントローラとを備える人の顔に関する複数の視覚的な肌の欠陥の位置を判定する装置が提案されている。 Therefore, in
上述の装置では、ディスプレイ装置に表示された顔画像の目印に基づいて診断対象となる肌領域を画定する輪郭線を手動操作により生成し、または自動的に生成し、画定された肌領域に対して画素の色情報等に基づく画像処理により、肌の変色部位の位置等を判定するように構成されていた。
顔画像から毛穴や染み等を検出する際に、必ずしも顔画像の全体からそれらを検出するとは限らず、顔画像の部分的な領域から毛穴や染み等を検出する場合もある。頬、額、顎、鼻等、顧客が気にしている部位の毛穴や染み等が施術対象となることがあるからである。 When detecting pores, stains, and the like from a face image, they are not necessarily detected from the entire face image, and pores, stains, etc. may be detected from a partial region of the face image. This is because the pores, stains, and the like of parts that the customer cares about, such as the cheeks, forehead, chin, and nose, may be the treatment target.
そのような場合に、従来のように、撮像装置により撮影された顧客の顔画像に対して、その都度、オペレータが診断対象となる肌領域を手動操作により画定する必要があると、非常に煩雑な作業を強いられるという問題があった。人の顔の形状、大きさ、目、鼻、口等の各器官の位置関係は千差万別で、思いの外異なっているため、熟練者であっても操作時間が長くなるのである。 In such a case, it is very complicated if the operator needs to manually define the skin area to be diagnosed each time for the customer's face image captured by the imaging device as in the conventional case. There was a problem that it was forced to do difficult work. The shape and size of a person's face, and the positional relationship between the organs such as eyes, nose, and mouth are very different and unexpectedly different.
さらに、評価対象となる肌領域が常に正確に画定されるとは限らず、画定された肌領域に多少の変動が生じると、そのような肌領域に対して行なわれた画像処理の結果も変動し、客観的に美容施術の結果を評価できなくなるという問題もあった。このような問題は、肌領域を画定する輪郭線を自動的に生成する場合も同様である。 Furthermore, the skin area to be evaluated is not always accurately defined, and if some variation occurs in the defined skin area, the result of image processing performed on such skin area also varies. However, there is a problem that the result of the beauty treatment cannot be objectively evaluated. Such a problem also applies to the case of automatically generating a contour line that defines a skin region.
本発明は、上述した従来の問題点に鑑みてなされたものであり、顔画像から評価対象となる肌領域を比較的簡単な操作で画定でき、同一顧客に対して毎回肌領域を画定するような操作が不要となる画像処理装置及び画像処理方法を提供することを目的とする。 The present invention has been made in view of the above-described conventional problems. A skin area to be evaluated can be defined from a face image by a relatively simple operation, and the skin area is defined every time for the same customer. An object of the present invention is to provide an image processing apparatus and an image processing method that do not require an operation.
上述の目的を達成するため、本発明による画像処理装置の特徴構成は、特許請求の範囲の書類の請求項１に記載した通り、複数のサンプル顔画像に基づいて得られた顔を構成する標準顔要素の配置情報及び標準解析対象要素の配置情報で規定された標準顔画像と、撮像装置で撮影された解析対象顔画像を、表示部に重ね合わせて表示する顔画像表示処理部と、前記表示部に表示された解析対象顔画像の特定顔要素の表示位置に、対応する特定標準顔要素を移動させる標準顔要素移動処理部を備え、前記標準顔要素移動処理部に、前記特定標準顔要素と関連付けられた標準解析対象要素を抽出する移動要素抽出処理部と、前記移動要素抽出処理部で抽出された標準解析対象要素を、前記特定標準顔要素の移動に伴って、所定の移動関数に基づいて算出された移動方向及び移動距離だけ移動させる要素移動処理部を備え、前記標準顔要素移動処理部で移動された標準解析対象要素を、前記解析対象顔画像に対する解析対象要素として前記解析対象顔画像と関連付けて記憶部に記憶する解析対象要素生成処理部を備えている点にある。 In order to achieve the above-described object, the image processing apparatus according to the present invention is characterized by a standard configuration that constitutes a face obtained based on a plurality of sample face images, as described in
顔画像表示処理部に、複数のサンプル顔画像に基づいて予め生成された顔を構成する目、鼻、口等の標準顔要素の配置情報及び標準解析対象要素の配置情報で規定された標準顔画像と、撮像装置で撮影された依頼者の解析対象顔画像が、表示部に重ね合わせて表示される。 Standard face defined by the arrangement information of the standard face elements such as eyes, nose, mouth, etc. and the arrangement information of the standard analysis target elements constituting the face previously generated based on a plurality of sample face images in the face image display processing unit The image and the analysis target face image of the client photographed by the imaging device are displayed superimposed on the display unit.
このとき、標準顔要素移動処理部により、標準顔画像の目、鼻、口等の任意の標準顔要素が特定標準顔要素として、対応する依頼者の解析対象顔画像の目、鼻、口等の任意の特定顔要素に一致するように移動されると、当該特定標準顔要素に関連付けられた標準解析対象要素が抽出され、それらが移動関数に基づいて所定の移動量だけ移動されることにより、標準顔画像の標準解析対象要素つまり解析対象領域が、依頼者の解析対象顔画像に対応した解析対象要素つまり解析対象領域として適正に配置されるようになる。 At this time, by the standard face element movement processing unit, any standard face elements such as eyes, nose, and mouth of the standard face image are specified as specific standard face elements, and the eyes, nose, mouth, and the like of the corresponding client's analysis target face image Is moved so as to match any specific face element of, the standard analysis target elements associated with the specific standard face element are extracted, and they are moved by a predetermined amount of movement based on the movement function. The standard analysis target element of the standard face image, that is, the analysis target area, is appropriately arranged as the analysis target element corresponding to the client's analysis target face image, that is, the analysis target area.
このようにして依頼者の解析対象顔画像とマッチした解析対象要素が、解析対象要素生成処理部により当該解析対象顔画像と関連付けて記憶部に記憶される。従って、その後、撮影された依頼者の解析対象顔画像に対する解析対象要素は記憶部に記憶された解析対象要素を再利用することができる。従って、依頼者の顔画像を撮影する度に解析対象要素つまり解析対象領域を設定するための煩雑な処理を行なう必要が無くなるのである。 In this way, the analysis target element that matches the analysis target face image of the client is stored in the storage unit in association with the analysis target face image by the analysis target element generation processing unit. Accordingly, the analysis target element stored in the storage unit can be reused as the analysis target element for the analysis target face image of the photographed client. Therefore, it is not necessary to perform a complicated process for setting an analysis target element, that is, an analysis target region every time a client's face image is captured.
同第二の特徴構成は、同請求項２に記載した通り、上述の第一特徴構成に加えて、移動要素抽出処理部は、前記特定標準顔要素を中心とする所定範囲に位置する標準解析対象要素を抽出する点にある。 In the second feature configuration, as described in claim 2, in addition to the first feature configuration described above, the moving element extraction processing unit includes a standard analysis located in a predetermined range centered on the specific standard face element. The point is to extract the target element.
上述の構成によれば、移動対象となる標準解析対象要素が特定標準顔要素を中心とする所定範囲に位置する標準解析対象要素に限られるので、依頼者の解析対象顔画像に対応した解析対象要素つまり解析対象領域としてより自然且つ適正に配置されるようになる。 According to the above configuration, since the standard analysis target element to be moved is limited to the standard analysis target element located in a predetermined range centered on the specific standard face element, the analysis target corresponding to the client's analysis target face image The elements, that is, the analysis target areas are arranged more naturally and appropriately.
同第三の特徴構成は、同請求項３に記載した通り、複数のサンプル顔画像に基づいて得られた顔を構成する標準顔要素の配置情報及び標準解析対象要素の配置情報で規定された標準顔画像と、撮像装置で撮影された解析対象顔画像を、表示部に重ね合わせて表示する顔画像表示処理部と、前記表示部に表示された解析対象顔画像の特定顔要素の表示位置に、対応する特定標準顔要素を移動させる標準顔要素移動処理部を備え、前記標準顔要素移動処理部に、前記特定標準顔要素を中心とする所定範囲に位置する他の標準顔要素及び標準解析対象要素を抽出する移動要素抽出処理部と、前記移動要素抽出処理部で抽出された他の標準顔要素及び標準解析対象要素を、前記特定標準顔要素の移動に伴って、所定の移動関数に基づいて算出された移動方向及び移動距離だけ移動させる要素移動処理部を備え、前記標準顔要素移動処理部で移動された標準解析対象要素を、前記解析対象顔画像に対する解析対象要素として前記解析対象顔画像と関連付けて記憶部に記憶する解析対象要素生成処理部を備えている点にある。 As described in
顔画像表示処理部に、複数のサンプル顔画像に基づいて予め生成された顔を構成する目、鼻、口等の標準顔要素の配置情報及び標準解析対象要素の配置情報で規定された標準顔画像と、撮像装置で撮影された依頼者の解析対象顔画像が、表示部に重ね合わせて表示される。 Standard face defined by the arrangement information of the standard face elements such as eyes, nose, mouth, etc. and the arrangement information of the standard analysis target elements constituting the face previously generated based on a plurality of sample face images in the face image display processing unit The image and the analysis target face image of the client photographed by the imaging device are displayed superimposed on the display unit.
このとき、標準顔要素移動処理部により、標準顔画像の目、鼻、口等の任意の標準顔要素が特定標準顔要素として、対応する依頼者の解析対象顔画像の目、鼻、口等の任意の特定顔要素に一致するように移動されると、当該特定標準顔要素を中心とする所定範囲内の他の標準顔要素及び標準解析対象要素が抽出され、それらが移動関数に基づいて所定の移動量だけ移動されることにより、標準顔画像の標準解析対象要素つまり解析対象領域が、依頼者の解析対象顔画像に対応した解析対象要素つまり解析対象領域として適正に配置されるようになる。 At this time, by the standard face element movement processing unit, any standard face elements such as eyes, nose, and mouth of the standard face image are specified as specific standard face elements, and the eyes, nose, mouth, and the like of the corresponding client's analysis target face image Are moved so as to coincide with any specific face element, other standard face elements and standard analysis target elements within a predetermined range centered on the specific standard face element are extracted, and they are extracted based on the movement function. By moving by a predetermined amount of movement, the standard analysis target element of the standard face image, that is, the analysis target area, is appropriately arranged as the analysis target element corresponding to the analysis target face image of the client, that is, the analysis target area. Become.
このようにして依頼者の解析対象顔画像とマッチした解析対象要素が、解析対象要素生成処理部により当該解析対象顔画像と関連付けて記憶部に記憶される。従って、その後、撮影された依頼者の解析対象顔画像に対する解析対象要素は記憶部に記憶された解析対象要素を再利用することができる。従って、依頼者の顔画像を撮影する度に解析対象要素つまり解析対象領域を設定するための煩雑な処理を行なう必要が無くなるのである。 In this way, the analysis target element that matches the analysis target face image of the client is stored in the storage unit in association with the analysis target face image by the analysis target element generation processing unit. Accordingly, the analysis target element stored in the storage unit can be reused as the analysis target element for the analysis target face image of the photographed client. Therefore, it is not necessary to perform a complicated process for setting an analysis target element, that is, an analysis target region every time a client's face image is captured.
同第四の特徴構成は、同請求項４に記載した通り、上述の第三特徴構成に加えて、前記標準顔要素及び標準解析対象要素の配置情報が、複数の基準点と各基準点を接続する接続線で定義され、前記移動関数が、前記特定標準顔要素の移動前の基準点と前記他の標準顔要素または標準解析対象要素の基準点とを結ぶ要素間距離Ｌ１及び前記特定標準顔要素の基準点の移動距離ΔＬに対して、ΔＬ≦Ｌ１のときに当該他の標準顔要素の基準点の移動距離Ｌが、ΔＬ／Ｌ１を変数として導出され、前記特定標準顔要素の移動後の基準点と前記他の標準顔要素または標準解析対象要素の基準点とを結ぶ直線上で、前記特定標準顔要素の移動後の基準点が前記他の標準顔要素または標準解析対象要素の基準点から離隔するときに接近させ、前記特定標準顔要素の移動後の基準点が前記他の標準顔要素の基準点に接近するときに離隔させる関数として定義される点にある。 In the fourth feature configuration, as described in claim 4, in addition to the third feature configuration described above, the arrangement information of the standard face element and the standard analysis target element includes a plurality of reference points and reference points. An inter-element distance L1 connecting the reference point before movement of the specific standard face element and the reference point of the other standard face element or standard analysis target element and the specific standard defined by a connecting line to be connected With respect to the movement distance ΔL of the reference point of the face element, when ΔL ≦ L1, the movement distance L of the reference point of the other standard face element is derived using ΔL / L1 as a variable, and the movement of the specific standard face element On the straight line connecting the later reference point and the reference point of the other standard face element or standard analysis target element, the reference point after the movement of the specific standard face element is the other standard face element or standard analysis target element. The specific standard face is approached when separated from the reference point. Lies in the reference point after the movement of the element is defined as a function to be separated when approaching the reference point of the other standard facial elements.
標準顔画像の目、鼻、口等の任意の特定標準顔要素を、対応する依頼者の解析対象顔画像の目、鼻、口等の任意の特定顔要素に一致するように移動する際に、その周辺に存在する他の標準顔要素や標準解析対象要素を特定標準顔要素の移動に連動して移動させる必要がある。そのときの他の標準顔要素や標準解析対象要素の適正な移動量及び移動方向が移動関数により求められるのである。 When moving any specific standard face elements such as eyes, nose, mouth, etc. of the standard face image to match any specific face elements such as eyes, nose, mouth, etc. of the corresponding client's analysis target face image It is necessary to move other standard face elements and standard analysis target elements existing in the vicinity thereof in conjunction with the movement of the specific standard face elements. At this time, an appropriate amount and direction of movement of other standard face elements and standard analysis target elements are obtained by a movement function.
具体的には、標準顔要素及び標準解析対象要素の配置情報が、複数の基準点と各基準点を接続する接続線で定義される場合に、特定標準顔要素の移動前の基準点と他の標準顔要素または標準解析対象要素の基準点とを結ぶ要素間距離Ｌ１及び特定標準顔要素の基準点の移動距離ΔＬに対して、ΔＬ≦Ｌ１のときに当該他の標準顔要素の基準点の移動距離Ｌが、ΔＬ／Ｌ１を変数として導出されるので、特定標準顔要素の基準点に近い標準顔要素または標準解析対象要素の基準点ほど大きな移動量で移動され、特定標準顔要素の基準点から離隔した標準顔要素または標準解析対象要素の基準点ほど小さな移動量で移動されるようになる。 Specifically, when the arrangement information of the standard face element and the standard analysis target element is defined by a plurality of reference points and a connection line connecting each reference point, the reference point before moving the specific standard face element and others The reference point of the other standard face element when ΔL ≦ L1 with respect to the inter-element distance L1 connecting the standard face element or the reference point of the standard analysis target element and the reference point movement distance ΔL of the specific standard face element Is derived with ΔL / L1 as a variable, so that the standard face element closer to the reference point of the specific standard face element or the reference point of the standard analysis target element is moved with a larger movement amount, and The reference face of the standard face element or the standard analysis target element separated from the reference point is moved with a smaller movement amount.
つまり、特定標準顔要素の移動に伴ってその周辺の標準顔要素または標準解析対象要素の基準点が、大きく歪むことなく自然な一関係を満たした状態で整合されるのである。 In other words, as the specific standard face element moves, the reference points of the standard face elements or standard analysis target elements in the vicinity thereof are matched in a state satisfying a natural relationship without being greatly distorted.
そのような周辺の標準顔要素または標準解析対象要素の基準点は、前記特定標準顔要素の移動後の基準点と前記他の標準顔要素または標準解析対象要素の基準点とを結ぶ直線上で、前記特定標準顔要素の移動後の基準点が前記他の標準顔要素または標準解析対象要素の基準点から離隔するときに接近し、特定標準顔要素の移動後の基準点が前記他の標準顔要素の基準点に接近するときに離隔する。 The reference point of the surrounding standard face element or standard analysis target element is on a straight line connecting the reference point after movement of the specific standard face element and the reference point of the other standard face element or standard analysis target element. The reference point after movement of the specific standard face element approaches when the reference point of the other standard face element or standard analysis target element is separated, and the reference point after movement of the specific standard face element is the other standard face element. Separate when approaching the reference point of a face element.
同第五の特徴構成は、同請求項５に記載した通り、上述の第三特徴構成に加えて、前記所定範囲が、前記特定標準顔要素の移動距離ΔＬに基づいて可変に設定される点にある。 In the fifth feature configuration, as described in claim 5, in addition to the third feature configuration described above, the predetermined range is variably set based on a movement distance ΔL of the specific standard face element. It is in.
特定標準顔要素の移動距離が短いときには、特定標準顔要素のごく近辺に存在する他の標準顔要素または標準解析対象要素を移動させれば十分であるが、特定標準顔要素の移動距離が長いときには、特定標準顔要素から離れた位置に存在する他の標準顔要素または標準解析対象要素をも移動させなければ、標準顔画像が大きく不自然に歪むことになり、依頼者の解析対象顔画像とのマッチングが困難になる。そこで、特定標準顔要素の移動距離に伴い所定範囲を可変に設定することにより、影響を及ぼす範囲を変動させて、依頼者の解析対象顔画像との整合性を確保するのである。 When the movement distance of the specific standard face element is short, it is sufficient to move another standard face element or standard analysis target element that is in the immediate vicinity of the specific standard face element, but the movement distance of the specific standard face element is long. Sometimes, the standard face image will be greatly unnaturally distorted unless the other standard face elements or standard analysis target elements that are located away from the specific standard face element are moved. Matching with is difficult. Therefore, by setting the predetermined range variably according to the movement distance of the specific standard face element, the affected range is changed to ensure consistency with the analysis target face image of the client.
本発明による画像処理方法の第一の特徴構成は、同請求項６に記載した通り、複数のサンプル顔画像に基づいて得られた顔を構成する標準顔要素の配置情報及び標準解析対象要素の配置情報で規定された標準顔画像と、撮像装置で撮影された解析対象顔画像を、表示部に重ね合わせて表示する顔画像表示ステップと、前記表示部に表示された解析対象顔画像の特定顔要素の表示位置に、対応する特定標準顔要素を移動させる標準顔要素移動ステップを備え、前記標準顔要素移動ステップに、前記特定標準顔要素と関連付けられた標準解析対象要素を抽出する移動要素抽出ステップと、前記移動要素抽出ステップで抽出された標準解析対象要素を、前記特定標準顔要素の移動に伴って、所定の移動関数に基づいて算出された移動方向及び移動距離だけ移動させる要素移動ステップ部を備え、前記標準顔要素移動ステップで移動された標準解析対象要素を、前記解析対象顔画像に対する解析対象要素として前記解析対象顔画像と関連付けて記憶部に記憶する解析対象要素生成ステップを備えている点にある。 As described in claim 6, the first characteristic configuration of the image processing method according to the present invention is the arrangement information of the standard face elements constituting the face obtained from a plurality of sample face images and the standard analysis target elements. A face image display step for displaying the standard face image defined by the arrangement information and the analysis target face image captured by the imaging device on the display unit, and specifying the analysis target face image displayed on the display unit A moving element that includes a standard face element moving step that moves a corresponding specific standard face element to a display position of the face element, and that extracts a standard analysis target element associated with the specific standard face element in the standard face element moving step An extraction step, and a standard analysis target element extracted in the movement element extraction step, a movement direction and a movement distance calculated based on a predetermined movement function in accordance with the movement of the specific standard face element. An analysis unit that includes an element movement step unit that moves only in the standard face element movement step and stores the standard analysis target element moved in the standard face element movement step in the storage unit in association with the analysis target face image as an analysis target element for the analysis target face image The method has a target element generation step.
同第二の特徴構成は、同請求項７に記載した通り、上述の第一特徴構成に加えて、移動要素抽出ステップは、前記特定標準顔要素を中心とする所定範囲に位置する標準解析対象要素を抽出する点にある。 In the second feature configuration, as described in claim 7, in addition to the first feature configuration described above, the moving element extraction step includes a standard analysis object located in a predetermined range centered on the specific standard face element. The point is to extract elements.
同第三の特徴構成は、同請求項８に記載した通り、複数のサンプル顔画像に基づいて得られた顔を構成する標準顔要素の配置情報及び標準解析対象要素の配置情報を備えた標準顔画像と、撮像装置で撮影された解析対象顔画像を、表示部に重ね合わせて表示する顔画像表示ステップと、前記表示部に表示された解析対象顔画像の特定顔要素の表示位置に、対応する特定標準顔要素を移動させる標準顔要素移動ステップを備え、前記標準顔要素移動ステップに、前記特定標準顔要素を中心とする所定範囲に位置する他の標準顔要素及び標準解析対象要素を抽出する移動要素抽出ステップと、前記移動要素抽出ステップで抽出された他の標準顔要素及び標準解析対象要素を、前記特定標準顔要素の移動に伴って、所定の移動関数に基づいて算出された移動方向及び移動距離だけ移動させる要素移動ステップを備え、前記標準顔要素移動ステップで移動された標準解析対象要素を、前記解析対象顔画像に対する解析対象要素として前記解析対象顔画像と関連付けて記憶部に記憶する解析対象要素生成ステップを備えている点にある。 As described in
同第四の特徴構成は、同請求項９に記載した通り、上述した第三特徴構成に加えて、前記標準顔要素及び標準解析対象要素の配置情報が、複数の基準点と各基準点を接続する接続線で定義され、前記移動関数が、前記特定標準顔要素移動前の基準点と前記他の標準顔要素または標準解析対象要素の基準点とを結ぶ要素間距離Ｌ１及び前記特定標準顔要素の基準点の移動距離ΔＬに対して、ΔＬ≦Ｌ１のときに当該他の標準顔要素の基準点の移動距離Ｌが、ΔＬ／Ｌ１を変数として導出され、前記特定標準顔要素の移動後の基準点と前記他の標準顔要素または標準解析対象要素の基準点とを結ぶ直線上で、前記特定標準顔要素の移動後の基準点が前記他の標準顔要素または標準解析対象要素の基準点から離隔するときに接近させ、前記特定標準顔要素の移動後の基準点が前記他の標準顔要素の基準点に接近するときに離隔させる関数として定義される点にある。 In the fourth feature configuration, as described in claim 9, in addition to the third feature configuration described above, the arrangement information of the standard face element and the standard analysis target element includes a plurality of reference points and reference points. An inter-element distance L1 connecting the reference point before moving the specific standard face element and the reference point of the other standard face element or standard analysis target element and the specific standard face defined by a connecting line to be connected With respect to the movement distance ΔL of the reference point of the element, the movement distance L of the reference point of the other standard face element is derived using ΔL / L1 as a variable when ΔL ≦ L1, and after the movement of the specific standard face element The reference point after movement of the specific standard face element is a reference of the other standard face element or standard analysis target element on a straight line connecting the reference point of the other standard face element or standard analysis target element When approaching away from a point, the specific standard face Lies in the reference point after the movement of the element is defined as a function to be separated when approaching the reference point of the other standard facial elements.
同第五の特徴構成は、同請求項１０に記載した通り、上述した第四特徴構成に加えて、前記所定範囲が、前記特定標準顔要素の移動距離ΔＬに基づいて可変に設定される点にある。 In the fifth feature configuration, as described in
以上説明した通り、本発明によれば、顔画像から評価対象となる肌領域を比較的簡単な操作で画定でき、同一顧客に対して毎回肌領域を画定するような操作が不要となる画像処理装置及び画像処理方法を提供することができるようになった。 As described above, according to the present invention, the skin area to be evaluated can be demarcated from the face image by a relatively simple operation, and the image processing that does not require an operation for demarcating the skin area each time for the same customer. An apparatus and an image processing method can be provided.
以下に本発明による画像処理装置が組み込まれた画像診断システムの実施の形態を説明する。 Embodiments of an image diagnosis system incorporating an image processing apparatus according to the present invention will be described below.
図１に示すように、画像診断システムは、依頼人の顔画像を撮影する撮像装置１と、撮像装置１で撮影され、電子データに変換された依頼人の顔画像を格納するハードディスク等で構成されたメモリ２と、液晶画面を備えた表示部３と、パーソナルコンピュータに本発明を具現化するアプリケーションプログラムがインストールされた画像処理装置４を備えて構成されている。 As shown in FIG. 1, the diagnostic imaging system includes an
撮像装置１は、依頼人の顔を一定姿勢に保つ顎ガイドと頭部ガイドを備えた顔保持部１ａと、顔保持部１ａで保持された依頼人の顔を照明する照明装置１ｂと、照明装置１ｂで照明された依頼人の顔を撮影する撮像部１ｃを備えている。 The
画像処理装置４は、依頼人の顔画像領域に解析対象要素つまり解析対象領域を画定する解析対象領域生成部４ａと、解析対象領域生成部４ａで生成された解析対象要素を構成する画素群の画素値に基づいて、染み、毛穴の汚れ、皺等、肌の特性情報を抽出する肌特性抽出処理部４ｂと、肌特性抽出処理部４ｂで抽出された肌の特性情報に基づいて肌状態を診断する診断処理部４ｃを備えている。 The image processing apparatus 4 includes an analysis target
撮像装置１で撮影された依頼人の顔画像はメモリ２に格納され、画像処理装置４によってメモリ２から読み出されて表示部３に表示される。解析対象領域生成部４ａにより、表示部３に表示された依頼人の顔画像の肌に、図２に示すような解析対象要素Ｒつまり解析対象領域が画定される。解析対象要素Ｒとして、具体的には、額領域Ｒ１、頬領域Ｒ２、鼻領域Ｒ３、顎領域Ｒ４が画定されるのであるが、これに限るものではなく、目尻の周辺領域等、適宜設定することができる。 The client's face image captured by the
肌特性抽出処理部４ｂは、顔画像領域に画定された解析対象要素の構成画素データから所定範囲の肌色領域を特定し、肌色領域を構成する複数の画素の青色成分値が所定の閾値より大であるか小であるかを、ラベリング法を用いて判別し、染みｄ１、毛穴の汚れｄ２、皺ｄ３等の発生領域を抽出する。 The skin characteristic
具体的に、ラベリング処理は、染みｄ１、毛穴の汚れｄ２、皺ｄ３等、夫々に対して適切に設定された閾値で解析対象要素Ｒ内の画素を二値化処理し、解析対象要素Ｒ内で閾値より上回る画素値（ここでは、二値化処理で１に設定されている）を有する任意の画素に特定のラベルを付し、ラベルを付した画素と隣接する画素であって、同様に閾値より上回る隣接画素に同一ラベルを付す処理を、閾値より上回る隣接画素が無くなるまで繰り返す処理で、解析対象要素Ｒ内の全ての画素に対してラベリング処理を行なうことにより、染みｄ１、毛穴の汚れｄ２、皺ｄ３に対応した単一または複数の領域が抽出される。 Specifically, in the labeling process, the pixels in the analysis target element R are binarized with thresholds appropriately set for the stain d1, the pore dirt d2, the wrinkles d3, etc. A pixel having a pixel value exceeding the threshold value (here, set to 1 in the binarization process) is given a specific label, and is a pixel adjacent to the labeled pixel. By performing the labeling process on all the pixels in the analysis target element R by repeating the process of attaching the same label to adjacent pixels that exceed the threshold until there are no adjacent pixels that exceed the threshold, stain d1 and pore dirt Single or multiple regions corresponding to d2 and 皺 d3 are extracted.
診断処理部４ｃは、肌特性抽出処理部４ｂで抽出された領域の面積（画素数）、形状、画素値等に基づいて、染み、毛穴の汚れ、皺の何れであるかを判別し、解析対象要素内における夫々の位置、面積、解析対象要素Ｒに対する面積比、画素値等でなる肌特性情報を生成する。 Based on the area (number of pixels), shape, pixel value, etc. of the region extracted by the skin characteristic
このとき、表示部３に表示された顔画像のうち、肌特性抽出処理部４ｂにより抽出された変色部位の表示色を、周辺の肌領域と識別可能な色に変えて表示することにより視覚的に容易に認識できるようになる。 At this time, by changing the display color of the discolored part extracted by the skin characteristic
例えば、６００万画素の顔画像では、３×３画素程度の面積が毛穴に相当するため、それより画素数が大きな領域は染みまたは皺と判別でき、領域の直交方向の連続画素値のうち、小さい方の連続画素値が数画素から十数画素で、且つ、小さい方の連続画素値と大きい方の連続画素値が所定値以上であれば皺であると判別できる。 For example, in a face image of 6 million pixels, since an area of about 3 × 3 pixels corresponds to a pore, a region having a larger number of pixels can be determined as a stain or a wrinkle, and among the continuous pixel values in the orthogonal direction of the region, If the smaller continuous pixel value is from several pixels to several tens of pixels, and the smaller continuous pixel value and the larger continuous pixel value are greater than or equal to a predetermined value, it can be determined that it is habit.
一般に、上述した肌の特性を抽出する場合、画素を構成する赤、緑、青の各色成分のうち、青成分の値を採用することが好適である。皮膚の深層部の状況が青成分に現れるからである。従って、照明装置１ｂの光源に青色の透過フィルタや紫外線ランプを用いることが好ましい。 In general, when extracting the above-described skin characteristics, it is preferable to employ the value of the blue component among the red, green, and blue color components constituting the pixel. This is because the condition of the deep part of the skin appears in the blue component. Therefore, it is preferable to use a blue transmission filter or an ultraviolet lamp as the light source of the
解析対象領域生成部４ａにより画定された解析対象要素Ｒ、肌特性抽出処理部４ｂで抽出された肌の特性情報、及び、診断処理部４ｃで診断された診断情報は、依頼人を特定するＩＤデータ、診断日、施術内容等と関連付けられてメモリ２に格納される。 The analysis target element R defined by the analysis target
診断処理部４ｃは、メモリ２に格納された依頼人の過去の肌の特性情報と今回の特性情報に基づいて肌の状態が改善されているか否かの診断情報を生成する。医師、エスティシャン、美容カウンセラーは、当該診断情報に基づいてどのような施術または処方が好ましいか、どのような化粧品が好ましいか等を判断して、適切に対応する。 The
以下、本発明による画像処理装置または画像処理方法が採用される解析対象領域生成部４ａの構成及び動作について、図３から図７を参照しながら詳述する。 Hereinafter, the configuration and operation of the analysis target
解析対象領域生成部４ａは、図１（ｂ）に示すように、複数のサンプル顔画像を統計処理することにより得られた顔を構成する標準顔要素の配置情報及び標準解析対象要素の配置情報で規定された標準顔画像Ａ（図３（ａ）参照）と、撮像装置で撮影された解析対象顔画像Ｂ（図３（ｂ）参照）を、表示部３に重ね合わせて表示する（図３（ｃ）参照）顔画像表示処理部１０と、表示部３に表示された解析対象顔画像Ｂの特定顔要素Ｅの表示位置に、対応する特定標準顔要素ｅを移動させる標準顔要素移動処理部１２と、標準顔要素移動処理部１２で移動された標準解析対象要素ｒを、解析対象顔画像Ｂに対する解析対象要素Ｒとして解析対象顔画像Ｂと関連付けて記憶部２に記憶する解析対象要素生成処理部１８を備えている。 As illustrated in FIG. 1B, the analysis target
さらに、標準顔要素移動処理部１２に、特定標準顔要素ｅを中心とする所定範囲Ｓに位置する他の標準顔要素ｅ´及び標準解析対象要素ｒを抽出する移動要素抽出処理部１４と、移動要素抽出処理部１４で抽出された他の標準顔要素ｅ´及び標準解析対象要素ｒを、特定標準顔要素ｅの移動に伴って、所定の移動関数Ｆに基づいて算出された移動方向及び移動距離だけ移動させる要素移動処理部１６を備えている。 Further, the standard face element
標準顔要素ｅ及び標準解析対象要素ｒの配置情報は、複数の基準点ｐと各基準点ｐを接続する接続線ｑで定義され、移動関数Ｆは、特定標準顔要素ｅの移動前の基準点ｐ１と他の標準顔要素ｅ´または標準解析対象要素ｒの基準点ｐとを結ぶ要素間距離Ｌ１及び特定標準顔要素ｅの基準点の移動距離ΔＬに対して、ΔＬ≦Ｌ１のときに当該他の標準顔要素ｅ´の基準点ｐの移動距離Ｌが、ΔＬ／Ｌ１を変数として導出され、特定標準顔要素ｅの移動後の基準点ｐ２と他の標準顔要素ｅ´または標準解析対象要素ｒの基準点とを結ぶ直線上で、特定標準顔要素ｅの移動後の基準点ｐ２が他の標準顔要素ｅ´または標準解析対象要素ｒの基準点ｐから離隔するときに接近させ、特定標準顔要素ｅの移動後の基準点ｐ２が他の標準顔要素ｅ´または標準解析対象要素ｒの基準点ｐに接近するときに離隔させる関数として定義されている。 The arrangement information of the standard face element e and the standard analysis target element r is defined by a plurality of reference points p and a connection line q connecting the reference points p, and the movement function F is a reference before the movement of the specific standard face element e. When ΔL ≦ L1 with respect to the inter-element distance L1 connecting the point p1 and another standard face element e ′ or the reference point p of the standard analysis target element r and the movement distance ΔL of the reference point of the specific standard face element e The movement distance L of the reference point p of the other standard face element e ′ is derived using ΔL / L1 as a variable, and the reference point p2 after movement of the specific standard face element e and another standard face element e ′ or standard analysis When the reference point p2 after the movement of the specific standard face element e moves away from the other standard face element e 'or the reference point p of the standard analysis target element r on a straight line connecting the reference point of the target element r , The reference point p2 after the movement of the specific standard face element e is another standard face element e 'or a standard solution It is defined as a function to be separated when approaching the reference point p of the analysis target element r.
図３（ａ）に示す標準顔画像Ａは、予め収集した多数のサンプル顔画像に対して、顔を構成する輪郭、髪の生え際、眉、目、耳、鼻、口といった顔要素の大きさや相対距離を計測し、その結果を統計処理して標準的な顔要素の大きさ、位置を算出して、算出した値に基づいて標準顔要素を配置した標準顔画像を生成し、生成した標準顔画像に対して、オペレータがマウス等のポインティングデバイスを手動操作して、肌の変色等の特性の状態を探る解析対象要素ｒ、つまり解析対象領域を画定して得られた画像で、標準的な輪郭、髪の生え際、眉、目、耳、鼻、口といった顔要素、つまり標準顔要素ｅの配置情報及び標準解析対象要素ｒの配置情報で規定された画像である。 A standard face image A shown in FIG. 3A is obtained by comparing the size of face elements such as contours, hairline, eyebrows, eyes, ears, nose, and mouth constituting a face with respect to a large number of sample face images collected in advance. Relative distance is measured, and the result is statistically processed to calculate the size and position of standard face elements. Based on the calculated values, a standard face image with standard face elements arranged is generated. An image obtained by demarcating an analysis target element r, that is, an analysis target area, in which an operator manually operates a pointing device such as a mouse to search for a state of characteristics such as discoloration of the skin. This is an image defined by the face information such as the outline, the hairline, the eyebrows, the eyes, the ears, the nose and the mouth, that is, the placement information of the standard face element e and the placement information of the standard analysis target element r.
ここで、配置情報は、所定のＸ，Ｙ二次元座標系で基準点ｐが位置する座標と、接続線ｑの属性情報で構成され、属性情報には接続線ｑの両端の基準点ｐを特定する基準点特定情報と、接続線が直線か曲線か特定する線種情報、曲線の場合にはその曲率等の情報が含まれる。 Here, the arrangement information is composed of coordinates where the reference point p is located in a predetermined X, Y two-dimensional coordinate system and attribute information of the connection line q. The attribute information includes reference points p at both ends of the connection line q. Reference point specifying information to be specified, line type information to specify whether the connecting line is a straight line or a curve, and information such as curvature in the case of a curve are included.
顔画像表示処理部１０により、予めメモリ２に格納された標準顔画像Ａと解析対象顔画像Ｂが読み出されて、図３（ｃ）に示すように表示部３に重ね合わせて表示されるのである。 The standard face image A and the analysis target face image B stored in advance in the memory 2 are read out by the face image
このような標準顔要素ｅ及び標準解析対象要素ｒの配置情報は、図４（ａ）に示すように、複数の基準点ｐと各基準点ｐを接続する接続線ｑで定義されている。標準顔要素移動処理部１２は、オペレータにより基準点ｐまたは接続線ｑがマウスでドラッグ操作された状態で移動され、ドロップ操作されると、基準点ｐまたは接続線ｑをその位置まで移動処理する。 The arrangement information of the standard face element e and the standard analysis target element r is defined by a plurality of reference points p and a connection line q connecting the reference points p as shown in FIG. The standard face element
図４（ｂ）に示すように、基準点ｐが移動操作されると、当該基準点ｐのみを移動し、移動操作されなかった基準点ｐと移動操作された基準点ｐを結ぶように接続線ｑを変更し、図４（ｃ）に示すように、接続線ｑが移動操作されると、接続線ｑと当該接続線ｑにより接続された全ての基準点ｐを位置関係を保った状態で移動する。 As shown in FIG. 4B, when the reference point p is moved, only the reference point p is moved, and the reference point p that is not moved is connected to the moved reference point p. When the line q is changed and the connection line q is moved as shown in FIG. 4C, the connection line q and all the reference points p connected by the connection line q are maintained in a positional relationship. Move with.
このとき、移動要素抽出処理部１４は、図４（ｄ）に示すように、特定標準顔要素ｅを中心とする所定範囲Ｓに位置する他の標準顔要素ｅ´及び標準解析対象要素ｒを、特定標準顔要素ｅの移動に伴なって同時に移動処理する対象として抽出する。所定範囲Ｓは、特定標準顔要素ｅの移動距離、つまり、一つの基準点のみが移動されるときには当該基準点Ｐの移動距離ΔＬ、接続線ｑが移動されるときには当該接続線の移動距離ΔＬの関数で定めることができ、例えば、移動前の基準点の位置または接続線ｑの中心位置を中心として半径がＮ×ΔＬの範囲に含まれる円領域に設定される。 At this time, as shown in FIG. 4D, the moving element
また、移動前の基準点Ｐの位置または接続線ｑの中心位置を中心として一辺の長さがＮ×ΔＬの矩形領域に設定されるものであってもよい。ここに、Ｎは自然数であり、標準的には２〜３が選択されるが、対象画像の画素数により適宜変更設定するものであってもよい。 Moreover, the length of one side centering on the position of the reference point P before the movement or the center position of the connection line q may be set to a rectangular area of N × ΔL. Here, N is a natural number, and typically 2 to 3 is selected, but may be appropriately changed depending on the number of pixels of the target image.
つまり、上述した所定範囲Ｓが、特定標準顔要素ｅの移動距離ΔＬに基づいて可変に設定されるのである。従って、特定標準顔要素ｅの移動距離ΔＬが長ければそれだけ影響を受ける他の標準顔要素ｅ´及び標準解析対象要素ｒが多くなり、特定標準顔要素ｅの移動距離ΔＬが短ければそれだけ影響を受ける他の標準顔要素ｅ´及び標準解析対象要素ｒが少なくなる。尚、簡易的には、上述した所定範囲Ｓを固定範囲とすることも可能である。 That is, the predetermined range S described above is variably set based on the movement distance ΔL of the specific standard face element e. Therefore, if the movement distance ΔL of the specific standard face element e is long, the number of other standard face elements e ′ and standard analysis target elements r that are affected increases, and if the movement distance ΔL of the specific standard face element e is short, the influence is increased. Other standard face elements e ′ and standard analysis target elements r received are reduced. For simplicity, the predetermined range S described above can be set as a fixed range.
要素移動処理部１６は、移動要素抽出処理部１４で抽出された他の標準顔要素ｅ´及び標準解析対象要素ｒを、特定標準顔要素ｅの移動に伴って、上述の移動関数Ｆに基づいて算出された移動方向及び移動距離だけ移動させる。 The element
図５は、標準顔要素の眉、目（閉じた状態）、標準解析対象要素の鼻領域に対して、移動関数Ｆの特性を説明する図である。図５（ａ）に示すように、移動関数Ｆは、特定標準顔要素ｅの移動前の基準点ｐ１と他の標準顔要素ｅ´の基準点Ｐ（または接続線の中心位置）、または、特定標準顔要素ｅの移動前の基準点ｐ１と標準解析対象要素ｒの基準点ｐ（または接続線の中心位置）とを結ぶ要素間距離Ｌ１及び特定標準顔要素ｅの基準点の移動距離ΔＬに対して、ΔＬ≦Ｌ１のときに当該他の標準顔要素ｅ´の基準点ｐまたは標準解析対象要素ｒの基準点ｐの移動距離Ｌを、Ｌ＝ａ×（ΔＬ／Ｌ１）＋ｂ（ａ，ｂは定数）の数式に基づいて導出し、特定標準顔要素ｅの移動後の基準点ｐ２と他の標準顔要素ｅ´または標準解析対象要素ｒの基準点ｐとを結ぶ直線上で、特定標準顔要素ｅの移動後の基準点ｐ２が他の標準顔要素ｅ´または標準解析対象要素ｒの基準点ｐから離隔するときに接近させ、特定標準顔要素ｅの移動後の基準点ｐ２が他の標準顔要素ｅ´または標準解析対象要素ｒの基準点ｐに接近するときに離隔させる関数として定義されている。尚、本実施形態では、ａ＝１，ｂ＝０に設定しているが、解析対象画像の画素数に基づいて適宜設定すればよい。また、基準点ｐの移動距離ＬはＸ，Ｙ二次元座標系でＸ成分及びＹ成分毎に演算される。 FIG. 5 is a diagram for explaining the characteristics of the transfer function F with respect to the eyebrows and eyes (closed state) of the standard face element and the nose region of the standard analysis target element. As shown in FIG. 5 (a), the movement function F is determined by the reference point p1 before the movement of the specific standard face element e and the reference point P (or the center position of the connecting line) of the other standard face element e ', or The inter-element distance L1 connecting the reference point p1 before the movement of the specific standard face element e and the reference point p of the standard analysis target element r (or the center position of the connecting line) and the movement distance ΔL of the reference point of the specific standard face element e On the other hand, when ΔL ≦ L1, the movement distance L of the reference point p of the other standard face element e ′ or the reference point p of the standard analysis target element r is expressed as L = a × (ΔL / L1) + b (a , B are constants) on the straight line connecting the reference point p2 after the movement of the specific standard face element e and the reference point p of the other standard face element e ′ or the standard analysis target element r, Is the reference point p2 after the movement of the specific standard face element e is the reference point p of another standard face element e 'or the standard analysis target element r? It is defined as a function that allows the reference point p2 after the movement of the specific standard face element e to move away from the reference point p2 and move away from the reference point p of the other standard face element e ′ or the standard analysis target element r. Yes. In the present embodiment, a = 1 and b = 0 are set, but may be set as appropriate based on the number of pixels of the analysis target image. The movement distance L of the reference point p is calculated for each X component and Y component in the X, Y two-dimensional coordinate system.
さらに、移動関数Ｆは、ΔＬ＞Ｌ１のときに当該他の標準顔要素ｅ´の基準点ｐの移動距離ＬをΔＬに設定し、特定標準顔要素ｅの移動後の基準点ｐ２と他の標準顔要素ｅ´または標準解析対象要素ｒの基準点とを結ぶ直線上で、特定標準顔要素ｅの移動後の基準点ｐ２が他の標準顔要素ｅ´または標準解析対象要素ｒの基準点ｐから離隔するときに接近させ、特定標準顔要素ｅの移動後の基準点ｐ２が他の標準顔要素ｅ´または標準解析対象要素ｒの基準点ｐに接近するときに離隔させる関数として定義されている。つまり、図５（ｂ）に示すように、要素移動処理部１６は、ΔＬ＞Ｌ１のときには、特定標準顔要素ｅの移動前の基準点ｐ１と他の標準顔要素ｅ´の基準点ｐの離間距離を保った状態で移動させる。 Further, the movement function F sets the movement distance L of the reference point p of the other standard face element e ′ to ΔL when ΔL> L1, and the reference point p2 after the movement of the specific standard face element e and other reference face p2 On the straight line connecting the standard face element e ′ or the reference point of the standard analysis target element r, the reference point p2 after the movement of the specific standard face element e is the reference point of another standard face element e ′ or the standard analysis target element r. It is defined as a function that is approached when moving away from p, and moved away when the reference point p2 after the movement of the specific standard face element e approaches another reference face element e 'or the reference point p of the standard analysis target element r. ing. That is, as shown in FIG. 5B, when ΔL> L1, the element
ここで、ΔＬ≦Ｌ１のときに、基準点ｐまたは接続線ｑの移動操作量ΔＬが微小な値のときには、当該基準点ｐまたは接続線ｑのみを移動させ、他の標準顔要素ｅ´の基準点ｐまたは標準解析対象要素ｒの基準点ｐの位置はそのまま元の位置を維持するように移動関数Ｆを定義してもよい。 Here, when ΔL ≦ L1, if the movement amount ΔL of the reference point p or the connection line q is a minute value, only the reference point p or the connection line q is moved, and the other standard face elements e ′ are moved. The movement function F may be defined so that the position of the reference point p or the reference point p of the standard analysis target element r is maintained as it is.
例えば、顔画像の全画素数に対して予め正整数Ｋが設定され、移動操作された基準点ｐまたは接続線ｑの直近に位置する他の標準顔要素ｅ´の基準点ｐまたは標準解析対象要素ｒの基準点ｐに対する要素間距離Ｌと移動距離ΔＬにＬ１／ΔＬ≧Ｋ（Ｋは正整数）の関係があるときに、他の標準顔要素ｅ´の基準点ｐまたは標準解析対象要素ｒの基準点ｐの位置を移動させることなく、そのまま元の位置を維持するように移動関数を定義するのである。 For example, a positive integer K is set in advance with respect to the total number of pixels of the face image, and the reference point p of the other standard face element e ′ positioned closest to the moved reference point p or the connection line q or the standard analysis target When there is a relationship of L1 / ΔL ≧ K (K is a positive integer) between the inter-element distance L and the movement distance ΔL with respect to the reference point p of the element r, the reference point p of the other standard face element e ′ or the standard analysis target element The movement function is defined so as to maintain the original position as it is without moving the position of the reference point p of r.
図６に示すように、標準顔要素移動処理部１２によって、標準顔画像Ａの夫々の標準顔要素ｅが解析対象顔画像Ｂの対応する顔要素Ｅの位置に移動処理されることにより、標準顔要素ｅの移動処理に伴なって移動処理された標準解析対象要素ｒが、解析対象顔画像Ｂの解析対象要素Ｒつまり解析対象領域として画定される。 As shown in FIG. 6, the standard face element
このようにして、解析対象顔画像Ｂに画定された適切な解析対象要素Ｒが、当該依頼人を特定するＩＤデータ、診断日、施術内容等と関連付けられてメモリ２に格納される。 In this way, an appropriate analysis target element R defined in the analysis target face image B is stored in the memory 2 in association with ID data, diagnosis date, treatment contents, and the like that specify the client.
そして、それ以降に新たに当該依頼人の顔を撮影した場合には、メモリ２に格納された解析対象要素Ｒが読み出され、当該依頼人の新たな顔画像に当該解析対象要素Ｒが画定される。尚、顔画像の画素数、倍率、基準座標は、当該解析対象要素Ｒの倍率、基準座標と整合される必要があることはいうまでもない。 When the client's face is newly photographed thereafter, the analysis target element R stored in the memory 2 is read, and the analysis target element R is defined in the client's new face image. Is done. Needless to say, the number of pixels, magnification, and reference coordinates of the face image need to be matched with the magnification and reference coordinates of the analysis target element R.
以上説明した解析対象領域生成部４ａによる画像処理方法を、図７に示すフローチャートに基づいて概説する。 The image processing method by the analysis target
顔画像表示処理部１０により、顔画像表示ステップが実行され（Ｓ１）、複数のサンプル顔画像に基づいて得られた顔を構成する標準顔要素の配置情報及び標準解析対象要素の配置情報を備えた標準顔画像と、撮像装置で撮影された解析対象顔画像が表示部に重ね合わせて表示される。 A face image display step is executed by the face image display processing unit 10 (S1), and it includes arrangement information of standard face elements and arrangement information of standard analysis target elements constituting a face obtained based on a plurality of sample face images. The standard face image and the analysis target face image photographed by the imaging device are displayed superimposed on the display unit.
次に、標準顔要素移動処理部１２により、標準顔要素移動ステップが実行され（Ｓ２）、オペレータによるマウスのドラッグ操作に従って、表示部３に表示された解析対象顔画像の特定顔要素の表示位置に、対応する特定標準顔要素が移動処理される。 Next, a standard face element movement step is executed by the standard face element movement processing unit 12 (S2), and the display position of the specific face element of the analysis target face image displayed on the
マウスのドラッグ操作中に、所定時間間隔で、移動要素抽出処理部１４により移動要素抽出ステップが実行され（Ｓ３）、要素移動処理部１６により要素移動ステップ（Ｓ４）が繰り返し実行される（Ｓ５，Ｓ６）。従って、表示部３を目視するオペレータには、特定標準顔要素の移動処理中に他の標準顔要素及び標準解析対象要素が同時に連続して移動するように認識される。このとき、移動要素抽出処理部１４により移動要素抽出ステップが実行される度に所定範囲Ｓが順次変更される。 During the mouse drag operation, the moving element
移動要素抽出ステップでは、移動要素抽出処理部１４により、前記特定標準顔要素を中心とする所定範囲に位置する他の標準顔要素及び標準解析対象要素が抽出され、要素移動ステップでは、要素移動処理部１６により、移動要素抽出ステップで抽出された他の標準顔要素及び標準解析対象要素が、特定標準顔要素の移動に伴って、所定の移動関数に基づいて算出された移動方向及び移動距離だけ移動される。 In the moving element extraction step, the moving element
オペレータによりマウスがドロップ操作されると（Ｓ５）、標準顔要素移動処理部１２による標準顔要素移動処理の一単位が終了し、ステップＳ２からステップ５までの処理が標準顔要素毎に繰り返される。全ての標準顔要素が解析対象画像の顔要素位置と整合すると、一連の処理を終了し（Ｓ７）、解析対象要素生成処理部１８により解析対象要素生成ステップが実行され（Ｓ８）、標準顔要素移動ステップで移動された標準解析対象要素が、解析対象顔画像に対する解析対象要素として画定され、解析対象顔画像と関連付けて記憶部３に記憶される。 When the mouse performs a drop operation (S5), one unit of the standard face element movement process by the standard face element
上述のフローチャートでは、マウスのドラッグ操作中に、所定時間間隔で、移動要素抽出ステップ及び要素移動ステップが繰り返し実行される場合を説明したが、マウスのドロップ操作が行なわれたときに移動要素抽出ステップ及び要素移動ステップが実行されるように構成してもよい。 In the above flowchart, the case where the moving element extraction step and the element movement step are repeatedly executed at predetermined time intervals during the mouse drag operation has been described. However, when the mouse drop operation is performed, the movement element extraction step is performed. And the element moving step may be executed.
上述した実施形態では、移動要素抽出処理部が特定標準顔要素を中心とする所定範囲に位置する他の標準顔要素及び標準解析対象要素を抽出するように構成するものを説明したが、移動要素抽出処理部を、特定標準顔要素と関連付けられた標準解析対象要素のみを抽出するように構成するものであってもよい。この場合、特定標準顔要素を中心とする所定範囲に位置する標準解析対象要素を抽出するように構成することにより、より自然且つ適切に解析対象要素を配置することができる。 In the above-described embodiment, the moving element extraction processing unit has been configured to extract other standard face elements and standard analysis target elements located in a predetermined range centered on a specific standard face element. The extraction processing unit may be configured to extract only the standard analysis target element associated with the specific standard face element. In this case, the analysis target element can be arranged more naturally and appropriately by configuring so as to extract the standard analysis target element located in a predetermined range centered on the specific standard face element.
この場合には、各標準顔要素と標準解析対象要素が予め関連付けられている必要があり、例えば、標準顔要素の眉を額領域Ｒ１の標準解析対象要素と関連付け、標準顔要素の目を鼻領域Ｒ３及び頬領域Ｒ２の標準解析対象要素と関連付け、標準顔要素の口を顎領域Ｒ４の標準解析対象要素と関連付け、各標準顔要素及び標準解析対象要素が夫々の関連付け情報とともにメモリ２に格納しておけばよい。 In this case, each standard face element and the standard analysis target element need to be associated in advance. For example, the eyebrow of the standard face element is associated with the standard analysis target element in the forehead region R1, and the eyes of the standard face element are nose The standard face element is associated with the standard analysis target element of the region R3 and the cheek region R2, the mouth of the standard face element is associated with the standard analysis target element of the jaw region R4, and each standard face element and the standard analysis target element are stored in the memory 2 together with the association information. You just have to.
尚、移動関数及び標準解析対象要素を抽出する所定領域は上述と同様に構成すればよい。 In addition, what is necessary is just to comprise the predetermined area | region which extracts a transfer function and a standard analysis object element similarly to the above-mentioned.
上述した実施形態は、本発明の一例に過ぎず、本発明の作用効果を奏する範囲において各機能ブロックの具体的構成等を適宜変更設計できることは言うまでもない。 The embodiment described above is merely an example of the present invention, and it goes without saying that the specific configuration and the like of each functional block can be changed and designed as appropriate within the scope of the effects of the present invention.
２：記憶部
３：表示部
４ａ：解析対象領域生成部
１０：顔画像表示処理部
１２：標準顔要素移動処理部
１４：移動要素抽出処理部
１６：要素移動処理部
１８：解析対象要素生成処理部
Ａ：標準顔画像
Ｂ：解析対象顔画像
ｅ：標準顔要素
Ｅ：顔要素
ｒ：標準解析対象要素
Ｒ：解析対象要素2: storage unit 3:
Claims (10)
Translated fromJapanese前記表示部に表示された解析対象顔画像の特定顔要素の表示位置に、対応する特定標準顔要素を移動させる標準顔要素移動処理部を備え、
前記標準顔要素移動処理部に、前記特定標準顔要素と関連付けられた標準解析対象要素を抽出する移動要素抽出処理部と、前記移動要素抽出処理部で抽出された標準解析対象要素を、前記特定標準顔要素の移動に伴って、所定の移動関数に基づいて算出された移動方向及び移動距離だけ移動させる要素移動処理部を備え、
前記標準顔要素移動処理部で移動された標準解析対象要素を、前記解析対象顔画像に対する解析対象要素として前記解析対象顔画像と関連付けて記憶部に記憶する解析対象要素生成処理部を備えている画像処理装置。A standard face image defined by standard face element arrangement information and standard analysis target element arrangement information constituting a face obtained based on a plurality of sample face images, and an analysis target face image photographed by an imaging device, A face image display processing unit that is displayed superimposed on the display unit;
A standard face element movement processing unit for moving the corresponding specific standard face element to the display position of the specific face element of the analysis target face image displayed on the display unit;
In the standard face element movement processing unit, the moving element extraction processing unit for extracting a standard analysis target element associated with the specific standard face element, and the standard analysis target element extracted by the moving element extraction processing unit are specified. In accordance with the movement of the standard face element, an element movement processing unit that moves by a movement direction and a movement distance calculated based on a predetermined movement function,
An analysis target element generation processing unit that stores the standard analysis target element moved by the standard face element movement processing unit in the storage unit in association with the analysis target face image as an analysis target element for the analysis target face image. Image processing device.
前記表示部に表示された解析対象顔画像の特定顔要素の表示位置に、対応する特定標準顔要素を移動させる標準顔要素移動処理部を備え、
前記標準顔要素移動処理部に、前記特定標準顔要素を中心とする所定範囲に位置する他の標準顔要素及び標準解析対象要素を抽出する移動要素抽出処理部と、前記移動要素抽出処理部で抽出された他の標準顔要素及び標準解析対象要素を、前記特定標準顔要素の移動に伴って、所定の移動関数に基づいて算出された移動方向及び移動距離だけ移動させる要素移動処理部を備え、
前記標準顔要素移動処理部で移動された標準解析対象要素を、前記解析対象顔画像に対する解析対象要素として前記解析対象顔画像と関連付けて記憶部に記憶する解析対象要素生成処理部を備えている画像処理装置。A standard face image defined by standard face element arrangement information and standard analysis target element arrangement information constituting a face obtained based on a plurality of sample face images, and an analysis target face image photographed by an imaging device, A face image display processing unit that is displayed superimposed on the display unit;
A standard face element movement processing unit for moving the corresponding specific standard face element to the display position of the specific face element of the analysis target face image displayed on the display unit;
In the standard face element movement processing unit, a movement element extraction processing unit that extracts other standard face elements and standard analysis target elements located in a predetermined range centered on the specific standard face element, and the movement element extraction processing unit An element movement processing unit that moves the extracted other standard face elements and standard analysis target elements by a movement direction and a movement distance calculated based on a predetermined movement function in accordance with movement of the specific standard face element; ,
An analysis target element generation processing unit that stores the standard analysis target element moved by the standard face element movement processing unit in the storage unit in association with the analysis target face image as an analysis target element for the analysis target face image. Image processing device.
前記移動関数が、前記特定標準顔要素移動前の基準点と前記他の標準顔要素または標準解析対象要素の基準点とを結ぶ要素間距離Ｌ１及び前記特定標準顔要素の基準点の移動距離ΔＬに対して、ΔＬ≦Ｌ１のときに当該他の標準顔要素の基準点の移動距離Ｌが、ΔＬ／Ｌ１を変数として導出され、前記特定標準顔要素の移動後の基準点と前記他の標準顔要素または標準解析対象要素の基準点とを結ぶ直線上で、前記特定標準顔要素の移動後の基準点が前記他の標準顔要素または標準解析対象要素の基準点から離隔するときに接近させ、前記特定標準顔要素の移動後の基準点が前記他の標準顔要素または標準解析対象要素の基準点に接近するときに離隔させる関数として定義される請求項３記載の画像処理装置。The arrangement information of the standard face element and the standard analysis target element is defined by a plurality of reference points and connection lines connecting the reference points,
The movement function includes an inter-element distance L1 connecting the reference point before moving the specific standard face element and the reference point of the other standard face element or the standard analysis target element, and a movement distance ΔL of the reference point of the specific standard face element. On the other hand, when ΔL ≦ L1, the movement distance L of the reference point of the other standard face element is derived using ΔL / L1 as a variable, and the reference point after the movement of the specific standard face element and the other standard When the reference point after movement of the specific standard face element is separated from the reference point of the other standard face element or standard analysis target element on a straight line connecting the reference point of the face element or standard analysis target element 4. The image processing apparatus according to claim 3, wherein the reference point after the movement of the specific standard face element is defined as a function to be separated when approaching the reference point of the other standard face element or the standard analysis target element.
前記表示部に表示された解析対象顔画像の特定顔要素の表示位置に、対応する特定標準顔要素を移動させる標準顔要素移動ステップを備え、
前記標準顔要素移動ステップに、前記特定標準顔要素と関連付けられた標準解析対象要素を抽出する移動要素抽出ステップと、前記移動要素抽出ステップで抽出された標準解析対象要素を、前記特定標準顔要素の移動に伴って、所定の移動関数に基づいて算出された移動方向及び移動距離だけ移動させる要素移動ステップ部を備え、
前記標準顔要素移動ステップで移動された標準解析対象要素を、前記解析対象顔画像に対する解析対象要素として前記解析対象顔画像と関連付けて記憶部に記憶する解析対象要素生成ステップを備えている画像処理方法。A standard face image defined by standard face element arrangement information and standard analysis target element arrangement information constituting a face obtained based on a plurality of sample face images, and an analysis target face image photographed by an imaging device, A face image display step for displaying the image superimposed on the display unit;
A standard face element moving step of moving the corresponding specific standard face element to the display position of the specific face element of the analysis target face image displayed on the display unit;
In the standard face element moving step, a moving element extraction step for extracting a standard analysis target element associated with the specific standard face element, and a standard analysis target element extracted in the moving element extraction step are used as the specific standard face element. An element moving step unit that moves the moving direction and moving distance calculated based on a predetermined moving function with the movement of
Image processing including an analysis target element generation step of storing the standard analysis target element moved in the standard face element movement step in the storage unit in association with the analysis target face image as an analysis target element for the analysis target face image Method.
前記表示部に表示された解析対象顔画像の特定顔要素の表示位置に、対応する特定標準顔要素を移動させる標準顔要素移動ステップを備え、
前記標準顔要素移動ステップに、前記特定標準顔要素を中心とする所定範囲に位置する他の標準顔要素及び標準解析対象要素を抽出する移動要素抽出ステップと、前記移動要素抽出ステップで抽出された他の標準顔要素及び標準解析対象要素を、前記特定標準顔要素の移動に伴って、所定の移動関数に基づいて算出された移動方向及び移動距離だけ移動させる要素移動ステップを備え、
前記標準顔要素移動ステップで移動された標準解析対象要素を、前記解析対象顔画像に対する解析対象要素として前記解析対象顔画像と関連付けて記憶部に記憶する解析対象要素生成ステップを備えている画像処理方法。Display standard face image with standard face element arrangement information and standard analysis target element arrangement information that constitutes the face obtained based on multiple sample face images, and analysis target face image taken by imaging device A face image display step for displaying the image superimposed on the part;
A standard face element moving step of moving the corresponding specific standard face element to the display position of the specific face element of the analysis target face image displayed on the display unit;
The standard face element moving step is extracted by a moving element extracting step for extracting other standard face elements and standard analysis target elements located in a predetermined range centered on the specific standard face element, and the moving element extracting step. An element moving step of moving another standard face element and a standard analysis target element by a movement direction and a movement distance calculated based on a predetermined movement function in accordance with movement of the specific standard face element;
Image processing including an analysis target element generation step of storing the standard analysis target element moved in the standard face element movement step in the storage unit in association with the analysis target face image as an analysis target element for the analysis target face image Method.
前記移動関数が、前記特定標準顔要素移動前の基準点と前記他の標準顔要素または標準解析対象要素の基準点とを結ぶ要素間距離Ｌ１及び前記特定標準顔要素の基準点の移動距離ΔＬに対して、ΔＬ≦Ｌ１のときに当該他の標準顔要素の基準点の移動距離Ｌが、ΔＬ／Ｌ１を変数として導出され、前記特定標準顔要素の移動後の基準点と前記他の標準顔要素または標準解析対象要素の基準点とを結ぶ直線上で、前記特定標準顔要素の移動後の基準点が前記他の標準顔要素または標準解析対象要素の基準点から離隔するときに接近させ、前記特定標準顔要素の移動後の基準点が前記他の標準顔要素または標準解析対象要素の基準点に接近するときに離隔させる関数として定義される請求項８記載の画像処理方法。The arrangement information of the standard face element and the standard analysis target element is defined by a plurality of reference points and connection lines connecting the reference points,
The movement function includes an inter-element distance L1 connecting the reference point before moving the specific standard face element and the reference point of the other standard face element or the standard analysis target element, and a movement distance ΔL of the reference point of the specific standard face element. On the other hand, when ΔL ≦ L1, the movement distance L of the reference point of the other standard face element is derived using ΔL / L1 as a variable, and the reference point after the movement of the specific standard face element and the other standard When the reference point after movement of the specific standard face element is separated from the reference point of the other standard face element or standard analysis target element on a straight line connecting the reference point of the face element or standard analysis target element 9. The image processing method according to claim 8, wherein the reference point after the movement of the specific standard face element is defined as a function to be separated when approaching the reference point of the other standard face element or the standard analysis target element.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007166100AJP2009000410A (en) | 2007-06-25 | 2007-06-25 | Image processing apparatus and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007166100AJP2009000410A (en) | 2007-06-25 | 2007-06-25 | Image processing apparatus and image processing method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2009000410Atrue JP2009000410A (en) | 2009-01-08 |
Family
ID=40317451
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007166100AWithdrawnJP2009000410A (en) | 2007-06-25 | 2007-06-25 | Image processing apparatus and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2009000410A (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101197863B1 (en) | 2012-02-27 | 2012-11-05 | 경일대학교산학협력단 | A potable device for skin diagnosis and computer recordable medium storing a method thereof |
| JP2012249917A (en)* | 2011-06-06 | 2012-12-20 | Sony Corp | Image processing device, image processing method, image processing system, program, and recording medium |
| US20130258299A1 (en)* | 2012-04-02 | 2013-10-03 | Kazuhiro Nishimura | Exposure device, substrate processing apparatus, method for exposing substrate and substrate processing method |
| WO2014112393A1 (en)* | 2013-01-21 | 2014-07-24 | パナソニック株式会社 | Measuring device and measuring method |
| WO2015049936A1 (en)* | 2013-10-01 | 2015-04-09 | コニカミノルタ株式会社 | Organ imaging apparatus |
| WO2016151992A1 (en)* | 2015-03-26 | 2016-09-29 | パナソニックＩｐマネジメント株式会社 | Skin diagnosis device |
| JP2020075080A (en)* | 2018-11-05 | 2020-05-21 | パナソニックＩｐマネジメント株式会社 | Skin analysis device, skin analysis method, and computer program |
- 2007
- 2007-06-25JPJP2007166100Apatent/JP2009000410A/ennot_activeWithdrawn
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012249917A (en)* | 2011-06-06 | 2012-12-20 | Sony Corp | Image processing device, image processing method, image processing system, program, and recording medium |
| KR101197863B1 (en) | 2012-02-27 | 2012-11-05 | 경일대학교산학협력단 | A potable device for skin diagnosis and computer recordable medium storing a method thereof |
| US20130258299A1 (en)* | 2012-04-02 | 2013-10-03 | Kazuhiro Nishimura | Exposure device, substrate processing apparatus, method for exposing substrate and substrate processing method |
| US9152054B2 (en)* | 2012-04-02 | 2015-10-06 | Screen Semiconductor Solutions Co., Ltd. | Exposure device, substrate processing apparatus, method for exposing substrate and substrate processing method |
| WO2014112393A1 (en)* | 2013-01-21 | 2014-07-24 | パナソニック株式会社 | Measuring device and measuring method |
| WO2015049936A1 (en)* | 2013-10-01 | 2015-04-09 | コニカミノルタ株式会社 | Organ imaging apparatus |
| WO2016151992A1 (en)* | 2015-03-26 | 2016-09-29 | パナソニックＩｐマネジメント株式会社 | Skin diagnosis device |
| JP2016182235A (en)* | 2015-03-26 | 2016-10-20 | パナソニックＩｐマネジメント株式会社 | Skin diagnosis device |
| JP2020075080A (en)* | 2018-11-05 | 2020-05-21 | パナソニックＩｐマネジメント株式会社 | Skin analysis device, skin analysis method, and computer program |
| JP7361264B2 (en) | 2018-11-05 | 2023-10-16 | パナソニックＩｐマネジメント株式会社 | Skin analysis device, skin analysis method, and computer program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10818007B2 (en) | Systems and methods for determining apparent skin age | |
| JP7235895B2 (en) | Apparatus and method for visualizing cosmetic skin characteristics | |
| US9992409B2 (en) | Digital mirror apparatus | |
| EP1189536B1 (en) | Skin imaging and analysis methods | |
| JP5080060B2 (en) | Skin condition analysis method, skin condition analysis apparatus, skin condition analysis program, and recording medium on which the program is recorded | |
| US20120044335A1 (en) | Makeup simulation system, makeup simulation apparatus, makeup simulation method, and makeup simulation program | |
| JP2023052849A (en) | Apparatus and method for determining cosmetic skin attributes | |
| CN104797165A (en) | Makeup assistance device, makeup assistance method, and makeup assistance program | |
| JP2009000410A (en) | Image processing apparatus and image processing method | |
| JP2012113747A (en) | Makeup simulation system, makeup simulation device, makeup simulation method and makeup simulation program | |
| JP2015500722A (en) | Method and apparatus for detecting and quantifying skin symptoms in a skin zone | |
| ES3034281T3 (en) | Method and system for anonymizing facial images | |
| JP2007125151A (en) | Diagnostic system and diagnostic apparatus | |
| US20240032856A1 (en) | Method and device for providing alopecia information | |
| JP2009003842A (en) | Image processing apparatus and image processing method | |
| JP2006081846A (en) | Method and apparatus for estimating facial wrinkle | |
| JP2004105748A (en) | Digital zooming skin diagnosing device | |
| CN114140610B (en) | Photoelectric imaging tracing method and device | |
| JP2011118655A (en) | Apparatus and method for processing image | |
| Shih et al. | Hair segmentation and counting algorithms in microscopy image | |
| KR102737067B1 (en) | Semi-permanent makeup image recommendation and treatment system | |
| AU2021205077B2 (en) | Dermal image capture | |
| WO2024249716A1 (en) | Method and system for visualizing color gradient of human face or cosmetic skin attributes based on such color gradient | |
| JP2022088260A (en) | Skin color expression method, skin color chart, and skin color display device | |
| CN116782826A (en) | Bone estimation method, device, program, system, learned model generation method, and learned model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination | Free format text:JAPANESE INTERMEDIATE CODE: A300 Effective date:20100907 |