JP2024506454A - digital makeup palette - Google Patents
digital makeup paletteDownload PDFInfo
- Publication number
- JP2024506454A JP2024506454AJP2023540040AJP2023540040AJP2024506454AJP 2024506454 AJP2024506454 AJP 2024506454AJP 2023540040 AJP2023540040 AJP 2023540040AJP 2023540040 AJP2023540040 AJP 2023540040AJP 2024506454 AJP2024506454 AJP 2024506454A
- Authority
- JP
- Japan
- Prior art keywords
- makeup
- user
- augmented reality
- reality system
- further configured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- A—HUMAN NECESSITIES
- A45—HAND OR TRAVELLING ARTICLES
- A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
- A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
- A45D44/005—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0282—Rating or review of business operators or products
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Recommending goods or services
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Electronic shopping [e-shopping] utilising user interfaces specially adapted for shopping
- G06Q30/0643—Electronic shopping [e-shopping] utilising user interfaces specially adapted for shopping graphically representing goods, e.g. 3D product representation
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
- G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
- A—HUMAN NECESSITIES
- A45—HAND OR TRAVELLING ARTICLES
- A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
- A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
- A45D2044/007—Devices for determining the condition of hair or skin or for selecting the appropriate cosmetic or hair treatment
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
Translated fromJapanese
Description
Translated fromJapanese本願は、２０２０年１２月３０日に出願された米国非仮出願第１７／１３７，９７０号、２０２０年１２月３０日に出願された米国非仮出願第１７／１３８，０３１号、２０２１年７月２２日に出願されたフランス出願第２，１０７，９２３号、および２０２１年７月２２日に出願されたフランス出願第２，１０７，９０４号に対する優先権の利益を主張し、当該出願のすべての記載内容を援用する。 This application is filed in U.S. Nonprovisional Application No. 17/137,970 filed on December 30, 2020, U.S. Nonprovisional Application No. 17/138,031 filed on December 30, 2020, and claims the benefit of priority to French Application No. 2,107,923, filed on July 22, 2021, and French Application No. 2,107,904, filed on July 22, 2021; The contents of this document are incorporated herein by reference.
本開示は、デジタルメイクアップパレット、およびデジタルメイクアップパレットを用いてパーソナライズされた拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）の体験のための方法を対象とする。 The present disclosure is directed to digital makeup palettes and methods for personalized augmented reality experiences using digital makeup palettes.
前面カメラ付きのスマートフォンは、カメラを手元に持っている人がキャプチャされる画像を見ることができる形で、その人の写真およびビデオを撮影する機能を提供する。前面カメラを利用する、アプリとも称されるさまざまなモバイルアプリケーションが開発されている。一般的なアプリは、自撮り写真（セルフィー）と称される自画像写真を撮影し、ソーシャルメディアのコンテキストに自撮り写真を挿入し、電子メールまたは携帯メールで他人と共有するために自撮り写真を転送することを可能にするアプリである。 Smartphones with front-facing cameras provide the ability to take photos and videos of a person in such a way that the person holding the camera can see the images being captured. Various mobile applications, also referred to as apps, have been developed that utilize the front-facing camera. Common apps include taking self-portrait photos called selfies, inserting selfies into social media contexts, and sharing selfies with others via email or mobile. This is an app that allows you to transfer.
一部の化粧品会社では、化粧品の選択を支援するアプリの開発を開始している。そのアプリでは、特定のタイプのメイクアップを検索したり、またはお気に入りの製品を検索したり、もしくは以前に使用した製品を購入したりするためのツールを提供できる。一部のアプリでは、特定のタイプのメイクアップを適用する方法に関するチュートリアルを提供している。一部のアプリでは、カラーパレットを表示することで、口紅またはアイシャドウの色の選択を支援している。一部のアプリでは、衣服およびアクセサリーにマッチする色、または写真からの色の検索を支援するカラーマッチング機能を提供する。 Some cosmetics companies have started developing apps to help people choose cosmetics. The app can offer tools to search for specific types of makeup, search for favorite products, or buy previously used products. Some apps offer tutorials on how to apply certain types of makeup. Some apps help you choose a lipstick or eyeshadow color by displaying a color palette. Some apps offer color matching features to help you find colors to match clothing and accessories, or from photos.
一部の化粧品会社は、製品の試着（ｔｒｙ－ｏｎ）アプリケーションを提供することで、スマートフォン、タブレット、およびノートパソコンのカメラを利用し始めている。これらのアプリケーションの一部は、Ｗｅｂアプリケーション、つまりアプリとして実装される。これらの試着アプリケーションは、スマートフォンのカメラで自画像写真を撮影し、Ｗｅｂアプリケーションに写真をアップロードし、アップロードされた画像にバーチャルメイクアップ製品を適用することで機能する。これらの試着アプリケーションは、肌を滑らかにする、胸骨を持ち上げる、目の色を調整するなど、さまざまなオプションを提供できる。これらの試着アプリケーションは、色の濃さ（ｉｎｔｅｎｓｉｔｙ）を変更するだけでなく、任意のタイプおよび任意の色のメイクアップ製品を追加する機能をユーザに提供することができる。 Some cosmetics companies have begun to take advantage of smartphone, tablet, and laptop cameras by offering product try-on applications. Some of these applications are implemented as web applications, or apps. These try-on applications work by taking a self-portrait photo with a smartphone camera, uploading the photo to a web application, and applying virtual makeup products to the uploaded image. These try-on applications can offer a variety of options, including smoothing the skin, lifting the sternum, adjusting eye color, and more. These try-on applications can provide users with the ability to add makeup products of any type and color, as well as change the intensity of the color.
しかし、このように提供された試着アプリケーションは、写真編集ツールによってルック（ａ ｌｏｏｋ）を作成する傾向がある。以前の試着アプリケーションの一部は、アップロードされた写真から始まり、メイクアップのタイプおよび色を適用するワンステップの機能を提供し、その後メイクアップされた写真を編集できるようにする。そのようなツールは、個人のメイクアップ体験をキャプチャしない。また、以前の試着アプリケーションツールは、カスタムルックを作成しない。例えば、ユーザは金曜日のデートナイトルックを望んでいるかもしれない。以前の試着アプリケーションは金曜日のデートナイトルックを提供するかもしれないが、そのルックはユーザが考えていたものではないかもしれない。提供されたツールを用いてさらに編集を実行し、ユーザが金曜日のデートナイトルックであると考えているルックを得るよう試みてもよい。ただし、そのようなアプローチは編集ツールの機能によって制限される。ユーザは、ユーザの雰囲気またはユーザが表現したい雰囲気に基づいた金曜日のデートナイトルックを希望することがあるが、これには広範な編集が必要になることがある。 However, such provided try-on applications tend to create a look through photo editing tools. Some of the previous try-on applications start with an uploaded photo, offer one-step functionality to apply makeup type and color, and then allow the makeup-ed photo to be edited. Such tools do not capture an individual's makeup experience. Also, previous try-on application tools do not create custom looks. For example, a user may want a Friday date night look. A previous try-on application may offer a Friday date night look, but that look may not be what the user had in mind. Further editing may be performed using the tools provided to attempt to obtain a look that the user believes to be a Friday date night look. However, such an approach is limited by the capabilities of the editing tool. A user may want a Friday date night look based on the user's vibe or the vibe the user wants to express, but this may require extensive editing.
これらの以前の試着Ｗｅｂアプリケーションまたはアプリには、十分なパーソナライゼーション（ｐｅｒｓｏｎａｌｉｚａｔｉｏｎ）が欠けている。というのは、以前のバーチャル試着アプリケーションが特定のブランドの物理的なメイクアップ製品に限定されていたからである。ユーザは、頭の中で考えている、または試したい特定のルックを作成できないことがある。ユーザが非現実的なルックに失望せずにメイクアップを試すのを楽しむことができる、特定のユーザ向けのカスタム試着体験を提供する必要がある。 These previous try-on web applications or apps lack sufficient personalization. That's because previous virtual try-on applications were limited to physical makeup products from specific brands. Users may not be able to create a particular look that they have in mind or want to try. There is a need to provide a custom try-on experience for specific users, where users can enjoy trying on makeup without being disappointed by unrealistic looks.
さらに、ユーザは、シミ（ｂｌｅｍｉｓｈｅｓ）、傷跡、加齢シミ（ａｇｅ ｓｐｏｔｓ）、色素沈着過剰など、メイクアップで処置したい問題領域を抱えていることがありうる。ユーザは、頬骨、目、唇などの特定の顔の特徴部分を強調したいこともある。特定のユーザの特定の問題領域または最適な顔の特徴部分に対処するのに役立ちうるカスタム試着体験を提供する必要がある。 Additionally, users may have problem areas that they would like to treat with makeup, such as blemishes, scars, age spots, hyperpigmentation, and the like. A user may also wish to emphasize certain facial features such as cheekbones, eyes, lips, etc. There is a need to provide a custom try-on experience that can help address specific problem areas or optimal facial features for a particular user.
フォーミュラ（処方）の専用パーソナライゼーションマシンを流通させる代替手段は、製品の少量を供給して、消費者が製品をテストし、その後消費者の肌上で測定された傾向に応じて製品レシピを変更するために、サンプリングシステムをマシンに追加する必要がありうるので、時間がかかり、かつ費用がかかる。 An alternative to distributing dedicated personalization machines for formulas is to supply small quantities of the product so consumers can test the product and then modify the product recipe according to trends measured on the consumer's skin. In order to do so, a sampling system may need to be added to the machine, which is time consuming and expensive.
さらに、各消費者の肌の問題領域および顔の特徴部分のばらつきが大きすぎるため、ｅコマース用のパーソナライズされた試着サービスは、スマートフォンを有する最終消費者には拡張することができない。 Furthermore, personalized try-on services for e-commerce cannot be extended to end consumers with smartphones because the variation in skin problem areas and facial features of each consumer is too large.
前述の「背景技術」の説明は、本開示の文脈を概括的に提示することを目的としている。この「背景技術」の節に説明されている範囲で現在名前が挙げられている発明者らの研究、および出願時にそれ以外に従来技術とみなされていない可能性がある説明の態様は、明示的にも黙示的にも本発明に対する従来技術とは認められない。 The foregoing "Background" discussion is intended to generally present the context of the present disclosure. The work of currently named inventors to the extent described in this Background Section, and aspects of the description that may not otherwise be considered prior art at the time of filing, are explicitly This invention is not recognized as prior art to the present invention, neither by definition nor by implication.
メイクアップ用の拡張現実システムは、ユーザが選択可能なメイクアップ目的の１つ以上のインスタンスを生成し、ユーザが選択したメイクアップ目的情報を受信するように構成されたグラフィカルユーザインタフェースに動作可能に結合された計算回路を含むメイクアップ目的ユニットと；メイクアップ目的ユニットに動作可能に結合されたメイクアップパレットユニットであって、メイクアップパレットユニットは、ユーザが選択したメイクアップ目的情報に従ってデジタルメイクアップ製品のための少なくとも１つのデジタルメイクアップパレットを生成するように構成された計算回路を含む、メイクアップパレットユニットと；ユーザが選択したメイクアップ目的情報に従ってバーチャル試着の１つ以上のインスタンスを生成するように構成された計算回路を含む、メイクアップ目的視覚化ユニットとを含む。 The augmented reality system for makeup is operable with a graphical user interface configured to generate one or more instances of user-selectable makeup objectives and to receive user-selected makeup objective information. a makeup object unit including a coupled computational circuit; a makeup palette unit operably coupled to the makeup object unit, the makeup palette unit configured to apply digital makeup according to user-selected makeup object information; a makeup palette unit including a computational circuit configured to generate at least one digital makeup palette for a product; generate one or more instances of virtual try-on according to user-selected makeup objective information; and a make-up purpose visualization unit including a calculation circuit configured to.
メイクアップ用の拡張現実システムは、ユーザが選択可能なメイクアップ目的の１つ以上のインスタンスを生成し、ユーザが選択したメイクアップ目的情報を受信するように構成されたグラフィカルユーザインタフェースに動作可能に結合された計算回路を含むメイクアップ目的ユニットと；メイクアップ目的ユニットに動作可能に結合されたメイクアップパレットユニットであって、メイクアップパレットユニットは、デジタルメイクアップ製品用の少なくとも１つのデジタルメイクアップパレットを生成するように構成された計算回路を含む、メイクアップパレットユニットと；ユーザの顔を分析して、顔の形状、顔のランドマーク、肌の色合い、髪の色、目の色、唇の形状、まぶたの形状、ヘアスタイルおよび明るさ、のうちの１つ以上を決定し、ユーザが選択したメイクアップ目的情報と、ユーザの顔の分析に基づいて生成された少なくとも１つのデジタルメイクアップパレットとに従って、ユーザのためのカスタムバーチャル試着の１つ以上のインスタンスを自動的に作成するように構成された計算回路を含む、メイクアップ目的視覚化ユニットとを含む。 The augmented reality system for makeup is operable with a graphical user interface configured to generate one or more instances of user-selectable makeup objectives and to receive user-selected makeup objective information. a makeup object unit including a coupled computational circuit; a makeup palette unit operably coupled to the makeup object unit, the makeup palette unit comprising at least one digital makeup device for a digital makeup product; a makeup palette unit comprising a computational circuit configured to generate a palette; analyze a user's face to determine facial shape, facial landmarks, skin tone, hair color, eye color, lips; the shape of the eyelids, the shape of the eyelids, the hairstyle, and the brightness, and the at least one digital makeup is generated based on user-selected makeup purpose information and an analysis of the user's face. a palette; and a makeup objective visualization unit including a computational circuit configured to automatically create one or more instances of a custom virtual try-on for the user according to the palette.
例示的な実施形態の前述の概要の説明および以下の詳細な説明は、本開示の教示の単なる例示的な態様であり、限定的ではない。 The foregoing general description and the following detailed description of example embodiments are merely illustrative aspects of the teachings of this disclosure and are not limiting.
本開示のより完全な理解およびそれに付随する利点の多くは、添付図面と関連して考慮されるとき、以下の詳細な説明を参照することによって、よりよく理解されるように、容易に得られるであろう。 A more complete understanding of the present disclosure, and many of its attendant advantages, is readily obtained by reference to the following detailed description when considered in conjunction with the accompanying drawings. Will.
以下の詳細な説明では、本明細書の一部を形成する添付図面を参照する。図面では、文脈で別段の指示がない限り、同様の記号は通常、同様の構成要素を特定する。詳細な説明に記載される例示的な実施形態、図面、および特許請求の範囲は、限定することを意味するものではない。本提示の主題の趣旨または範囲から逸脱することなく、他の実施形態が利用されてもよく、他の変更が行われてもよい。 In the following detailed description, reference is made to the accompanying drawings, which form a part of this specification. In the drawings, similar symbols typically identify similar components, unless the context indicates otherwise. The illustrative embodiments described in the detailed description, drawings, and claims are not meant to be limiting. Other embodiments may be utilized and other changes may be made without departing from the spirit or scope of the presented subject matter.
本開示の態様は、拡張現実の構成におけるデジタルメイクアップパレットを対象とする。デジタルメイクアップパレットは、顔の単一パーツまたは顔全体のデジタルメイクアップ用の色の取り合わせである。拡張現実の構成では、ユーザがメイクアップを適用するときのステップをキャプチャでき、適用したメイクアップ用のカスタムメイクアップフィルタを作成できる。拡張現実の構成では、ステップを分析して、ユーザが問題領域および最良の特徴部分と考えるものを特定できる。分析の結果を用いて、カスタム推奨を改善することができる。拡張現実の構成では、機械学習モデルを用いて分析を実行できる。機械学習モデルには、問題領域および最良の特徴部分を推定する人工ニューラルネットワークが含まれることがある。 Aspects of the present disclosure are directed to digital makeup palettes in augmented reality configurations. A digital makeup palette is an assortment of colors for digital makeup of a single part of the face or the entire face. Augmented reality configurations can capture the steps a user takes when applying makeup and create custom makeup filters for the applied makeup. In augmented reality configurations, steps can be analyzed to identify problem areas and what the user considers to be the best features. The results of the analysis can be used to improve custom recommendations. In augmented reality configurations, analysis can be performed using machine learning models. Machine learning models may include artificial neural networks that estimate the problem domain and the best features.
図１は、本開示の例示的な態様による、システムの図である。実施形態には、ソフトウェアアプリケーション、またはモバイルアプリケーション（アプリ）が含まれる。この開示の目的上、以下では、用語アプリはソフトウェアアプリケーションまたはモバイルアプリケーションと同じ意味で使用され、メイクアップアプリケーションは、バーチャル的または物理的にデジタルメイクアップを適用するプロセスに関連して使用される。ソフトウェアアプリケーションは、デスクトップコンピュータまたはノートパソコン１０３上で実行されてもよい。モバイルアプリケーションは、タブレットコンピュータまたは他のモバイルデバイス１０１上で実行されてもよい。本開示の目的のために、ソフトウェアアプリケーションおよびモバイルアプリケーションは、モバイルアプリケーション１１１に関して説明される。それぞれの場合において、モバイルアプリケーション１１１は、それぞれのデバイス１０１、１０３にダウンロードされ、インストールされてもよい。実施形態によっては、デスクトップコンピュータまたはノートパソコン１０３は、音声入力デバイスとしてマイクロフォン１０３ａを備えて構成されてもよい。マイクロフォン１０３ａは、ＵＳＢポートまたは音声入力ポートを介して、あるいはＢｌｕｅｔｏｏｔｈ無線プロトコルを介して無線でデスクトップコンピュータまたはノートパソコン１０３に接続するデバイスであってもよい。モバイルデバイス１０１は、内蔵マイクロフォンを備えた携帯電話またはスマートフォンであってもよい。実施形態によっては、ソフトウェアアプリケーションまたはモバイルアプリケーション１１１は、クラウドサービス１０５と連携して動作する通信機能を含んでもよい。クラウドサービス１０５は、データベース管理サービス１０７および機械学習サービス１０９を含んでもよい。データベース管理サービス１０７は、クラウドサービス１０５で提供されるデータベース管理システムの任意のタイプであってもよい。例えば、データベース管理サービス１０７は、構造化照会言語（ＳＱＬ）を使用してアクセスされるデータベース、および一般にＮｏ ＳＱＬと呼ばれる、キーによってアクセスされる非構造化データベースを含んでもよい。機械学習サービス１０９は、機械学習に必要になりうるスケールアップおよび高性能コンピューティングを可能にするために、機械学習を実行してもよい。また、ソフトウェ アアプリケーションまたはモバイルアプリケーション１１１は、クラウドサービス１０５からダウンロードしてもよい。図１は、単一のクラウドサービス１０５、ノートパソコン１０３、およびモバイルデバイス１０１を示しているが、多数のモバイルデバイス、ノートパソコン、ならびにデスクトップコンピュータおよびタブレットコンピュータは、１つ以上のクラウドサービスに接続されうることを理解されたい。 FIG. 1 is a diagram of a system, according to example aspects of the disclosure. Embodiments include software applications or mobile applications (apps). For purposes of this disclosure, the term app will be used interchangeably with software application or mobile application, and makeup application will be used in connection with the process of applying digital makeup virtually or physically. The software application may run on a desktop computer or
ソフトウェアアプリケーションまたはモバイルアプリケーション１１１は、グラフィカルユーザインタフェースに動作可能に結合されたメイクアップ目的ユニットと、メイクアップ目的ユニットに結合されたメイクアップパレットユニットと、メイクアップ目的視覚化ユニットと、を含む拡張現実システムとして実装されてもよい。メイクアップ目的ユニットは、ユーザが選択可能なメイクアップ目的の１つ以上のインスタンスを生成し、ユーザが選択したメイクアップ目的情報を受信するように構成されてもよい。メイクアップパレットユニットは、ユーザが選択したメイクアップ目的情報に従って、デジタルメイクアップ製品のための少なくとも１つのデジタルメイクアップパレットを生成するように構成されてもよい。メイクアップ目的視覚化ユニットは、ユーザが選択したメイクアップ目的情報に従って、バーチャル試着の１つ以上のインスタンスを生成するように構成されてもよい。メイクアップ目的ユニット、メイクアップパレットユニット、およびメイクアップ目的視覚化ユニットのそれぞれは、モバイルコンピュータデバイス１０１、１０３からデスクトップコンピュータデバイスに至るコンピュータシステムの計算回路を含んでもよい。最小要件は、コンピュータデバイスが対話型ディスプレイデバイスを含むことである。 The software application or
図２は、モバイルコンピュータデバイスのブロック図である。一実装形態では、モバイルデバイス１０１の機能およびプロセスは、１つ以上のそれぞれの処理／計算回路２２６によって実装されてもよい。同じまたは同様の処理／計算回路２２６は、タブレットコンピュータまたはノートパソコンに含まれてもよい。デスクトップコンピュータも同様に構成されうるが、場合によっては、内蔵タッチスクリーン２２１、マイクロフォン２４１、またはカメラ２３１を含まないことがある。プロセッサが計算回路を含むのと同様に、処理回路はプログラムされたプロセッサを含む。処理回路は、特定用途向け集積回路（ＡＳＩＣ）などのデバイスおよび記載された機能を実行するように構成された従来の回路構成要素も含んでよい。注意すべきは、回路とは、回路または回路システムを指す。ここで、計算回路は、１つのコンピュータシステム内にあってもよいし、コンピュータシステムのネットワーク全体に分散されていてもよい。 FIG. 2 is a block diagram of a mobile computing device. In one implementation, the functions and processes of
次に、図２を参照して、例示的な実施形態による処理／計算回路２２６のハードウェアの記載を説明する。図２では、処理／計算回路２２６は、本明細書で説明されるプロセスを実行するモバイル処理ユニット（ＭＰＵ）２００を含む。プロセスデータおよび命令は、メモリ２０２に格納されてもよい。これらのプロセスおよび命令は、携帯記憶媒体に格納されてもよいし、またはリモートでも格納されてもよい。処理／計算回路２２６は、モバイルデバイス１０１のネットワークサービスに固有の情報を含む交換可能な加入者識別モジュール（ＳＩＭ）２０１を有してもよい。 Referring now to FIG. 2, a hardware description of processing/
さらに、その進歩は、本発明プロセスの命令が格納されるコンピュータ読み取り可能媒体の形態に限定されない。例えば、命令は、フラッシュメモリ、セキュアデジタルランダムアクセスメモリ（ＳＤＲＡＭ）、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、プログラマブル読み取り専用メモリ （ＰＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、ソリッドステートハードディスク、または、例えば、サーバもしくはコンピュータなどの処理／計算回路２２６が通信する任意の他の情報処理デバイスに格納されてもよい。 Furthermore, the advances are not limited to the form of computer readable medium on which the instructions of the inventive process are stored. For example, instructions can be used in flash memory, secure digital random access memory (SDRAM), random access memory (RAM), read only memory (ROM), programmable read only memory (PROM), erasable programmable read only memory (EPROM), electrical It may be stored in an erasable programmable read only memory (EEPROM), a solid state hard disk, or any other information handling device with which processing/
さらに、その進歩は、ＭＰＵ２００と、Ａｎｄｒｏｉｄ、Ｍｉｃｒｏｓｏｆｔ（登録商標）Ｗｉｎｄｏｗｓ（登録商標）１０ Ｍｏｂｉｌｅ、Ａｐｐｌｅ ｉＯＳ（登録商標）および当業者に公知の他のシステムなどのモバイルオペレーティングシステムとを組み合わせて実行されるユーティリティアプリケーション、バックグラウンドデーモン、またはオペレーティングシステムのコンポーネント、あるいはこれらの組み合わせとして提供されてもよい。 Additionally, the advancements are implemented in combination with the
処理／計算回路２２６を実現するために、ハードウェア要素は、当業者に公知のさまざまな回路要素によって実現されうる。例えば、ＭＰＵ２００は、Ｑｕａｌｃｏｍｍモバイルプロセッサ、Ｎｖｉｄｉａモバイルプロセッサ、米国インテル社のＡｔｏｍ（登録商標）プロセッサ、Ｓａｍｓｕｎｇモバイルプロセッサ、またはＡｐｐｌｅ Ａ７モバイルプロセッサであってもよいか、または当業者によって認識できる他のプロセッサタイプであってもよい。あるいは、当業者であれば理解できるように、ＭＰＵ２００は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジックデバイス（ＰＬＤ）上で、または個別の論理回路を使用して実装されうる。さらに、ＭＰＵ２００は、上述した発明的プロセスの命令を実行するために並行して協働する複数のプロセッサとして実装されてもよい。 To implement the processing/
図２の処理／計算回路２２６は、ネットワーク２２４とインタフェースするための、米国インテル社からの「インテルイーサネットプロ」ネットワークインタフェースカードなどのネットワークコントローラ２０６も含む。理解できるように、ネットワーク２２４は、インターネットなどの公衆ネットワーク、またはＬＡＮまたはＷＡＮネットワークなどのプライベートネットワーク、あるいはそれらの任意の組み合わせとすることができ、さらにＰＳＴＮまたはＩＳＤＮサブネットワークも含むことができる。ネットワーク２２４は、イーサネットネットワークなどの有線でありうる。処理回路は、３Ｇ、４Ｇ、および５Ｇ無線モデム、ＷｉＦｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＧＰＳ、または他の公知の無線通信形式を含む無線通信のためのさまざまなタイプの通信プロセッサを含んでもよい。 The processing/
処理／計算回路２２６は、ＭＰＵ２００によって管理されうるユニバーサルシリアルバス（ＵＳＢ）コントローラ２２５を含む。 Processing/
処理／計算回路２２６は、ディスプレイ２１０とインタフェースするための、米国ＮＶＩＤＩＡ社のＮＶＩＤＩＡ（登録商標）ＧｅＦｏｒｃｅ（登録商標）ＧＴＸまたはＱｕａｄｒｏ（登録商標）グラフィックスアダプタなどのディスプレイコントローラ２０８をさらに含む。Ｉ／Ｏインタフェース２１２は、音量制御などのためのボタン２１４とインタフェースする。Ｉ／Ｏインタフェース２１２およびディスプレイ２１０に加えて、処理／計算回路２２６は、マイクロフォン２４１および１つ以上のカメラ２３１をさらに含んでもよい。マイクロフォン２４１は、音声をデジタル信号に処理するための関連回路２４０を有してもよい。同様に、カメラ２３１は、カメラ２３１の画像取り込み動作を制御するためのカメラコントローラ２３０を含んでもよい。例示的な態様では、カメラ２３１は電荷結合素子（ＣＣＤ）を含んでもよい。処理／計算回路２２６は、音声出力信号を生成するための音声回路２４２を含んでもよく、また、オプションの音声出力ポートを含んでもよい。 Processing/
パワーマネージメントおよびタッチスクリーンコントローラ２２０は、処理／計算回路２２６およびタッチ制御によって使用される電力を管理する。通信バス２２２は、業界標準アーキテクチャ（ＩＳＡ）、拡張業界標準アーキテクチャ（ＥＩＳＡ）、ビデオエレクトロニクス標準協会（ＶＥＳＡ）、周辺コンポーネントインタフェース（ＰＣＩ）、または同様のものであってもよく、処理／計算回路２２６のすべてのコンポーネントを相互接続するためのものである。ディスプレイ２１０、ボタン２１４、ならびにディスプレイコントローラ２０８、パワーマネージメントコントローラ２２０、ネットワークコントローラ２０６、およびＩ／Ｏインタフェース２１２の一般的な特徴および機能の説明については、これらの特徴は公知であり、簡潔にするために本明細書では省略する。 Power management and touch screen controller 220 manages power used by processing/
図３Ａ、図３Ｂは、カスタムルック、ならびに顔の問題領域および最良の顔の特徴部分の特別な処理を作成する方法のフローチャートである。図３Ａは、本開示の例示的な態様による、ユーザがデジタルパレットを有するバーチャルメイクアップ製品を適用することによってカスタムルックを作成する方法のフローチャートである。 3A and 3B are flowcharts of a method for creating custom looks and special treatments of facial problem areas and best facial features. FIG. 3A is a flowchart of a method for a user to create a custom look by applying virtual makeup products with a digital palette, according to an example aspect of the present disclosure.
開示された実施形態は、デジタルメイクアップパレットを含む。デジタルメイクアップパレットは、デジタルメイクアップ用のバーチャルパレットである。本開示では、用語バーチャルメイクアップおよびデジタルメイクアップは同じ意味で使用されることがある。デジタルメイクアップでは、色の取り合わせを有し、そこから選択できる。特定のデジタルメイクアップは、関連付けられたメイクアップ適用ジェスチャおよび通常適用される１つ以上の顔パーツを有してよく、デジタルメイクアップパレットには、カバレッジ、色合い、仕上がりなどの特性が含まれる。物理的なメイクアップ製品とは異なり、デジタルメイクアップは化学組成に由来する色に限定されず、より広範囲の色を含むことがある。また、デジタルメイクアップは、色温度、露出、コントラスト、彩度のさまざまなフィルタの適用、ならびにＲＧＢおよびＨＣＬ値の制御など、ディスプレイデバイスの特性を使用して生成されるカバレッジ、色合い、仕上がりを利用する場合がある。 The disclosed embodiments include a digital makeup palette. A digital makeup palette is a virtual palette for digital makeup. In this disclosure, the terms virtual makeup and digital makeup may be used interchangeably. Digital makeup has an assortment of colors from which you can choose. A particular digital makeup may have an associated makeup application gesture and one or more facial parts to which it is typically applied, and a digital makeup palette includes characteristics such as coverage, tint, finish, etc. Unlike physical makeup products, digital makeup is not limited to colors derived from chemical composition and may include a wider range of colors. Digital makeup also takes advantage of the coverage, tint, and finish produced using the characteristics of the display device, such as applying various filters for color temperature, exposure, contrast, and saturation, as well as controlling RGB and HCL values. There are cases where
カバレッジは、通常、デジタルメイクアップに含まれる顔料の割合に基づいたデジタルメイクアップの実際のカバレッジである。カバレッジは通常、ファンデーションメイクアップに関係するが、補正メイクアップまたはプライマーを指す場合もある。ライトカバーメイクアップには、約１８％未満の顔料が含まれる場合がある。ミディアムカバー製品には、約１８％から２３％の顔料が含まれる場合がある。フルカバーメイクアップには最大約３５％の顔料が含まれる場合がある。一部のメイクアップ製品には、より多量の顔料が含まれている場合がある。実施形態によっては、デジタルメイクアップのカバレッジは、バーチャルメイクアップの単一のブラシストロークを表す不透明フィルタとして実装される。 Coverage is usually the actual coverage of digital makeup based on the percentage of pigments included in the digital makeup. Coverage usually relates to foundation makeup, but can also refer to corrective makeup or primer. Light coverage makeup may contain less than about 18% pigment. Medium coverage products may contain about 18% to 23% pigment. Full coverage makeup may contain up to about 35% pigment. Some makeup products may contain higher amounts of pigment. In some embodiments, digital makeup coverage is implemented as an opacity filter that represents a single brushstroke of virtual makeup.
デジタルメイクアップの色合いは、色白から浅黒い色（ｄａｒｋ）まで、場合によっては非常に色白から濃い色（ｄｅｅｐ）、さらには非常に濃いものにまでおよびうる。色合いは、肌の色などの単一の色を表す場合がある。１つ以上の実施形態では、デジタルメイクアップの色合いは、表示色の範囲、例えば、ＲＧＢ値に従って表示される赤色の色合いとして実装される。 Digital makeup shades can range from fair to dark, and in some cases from very fair to deep to very dark. A hue may represent a single color, such as skin tone. In one or more embodiments, digital makeup shades are implemented as shades of red that are displayed according to a display color range, e.g., RGB values.
デジタルメイクアップの仕上がりには、マット（くすんだ）、クリーム（光沢のあるまたは光沢のある）、フロスト（反射）、およびグリッター（グリッター粒子）などの一般的な仕上がりが含まれる場合がある。仕上がりは、反射される光の量によって定義される場合がある。マットは光をほとんど反射しない。クリームはパールのような光沢を保つ。フロストおよびグリッターは最も多くの光を反射する。１つ以上の実施形態では、デジタルメイクアップの仕上がりは色の輝度（明るさ）として実現される。マットは輝度値が低くてもよく、欠陥を隠す。フロストはより大きな輝度を発してもよい。 Digital makeup finishes may include common finishes such as matte (dull), cream (shiny or glossy), frost (reflective), and glitter (glitter particles). Finish may be defined by the amount of light reflected. Matte reflects very little light. The cream maintains a pearl-like shine. Frost and glitter reflect the most light. In one or more embodiments, digital makeup results are realized as color intensity (brightness). Matte can have low brightness values and hides imperfections. Frost may emit greater brightness.
デジタルメイクアップは、ぼかし、色温度、および彩度などのさまざまなフィルタを含んでもよい。欠陥のある領域にぼかしを適用して、欠陥を目立たなくしてもよい。 Digital makeup may include various filters such as blur, color temperature, and saturation. A blur may be applied to the defective area to make the defect less noticeable.
メイクアップパレットを取得する前に、Ｓ３０１では、ユーザは、モバイルデバイス、タブレット、ノートパソコン、またはデスクトップコンピュータ上でアプリ１１１を立ち上げてもよい。アプリ１１１は、メイクアップ目的ユニットを介して、ユーザがどのようなタイプのルックを作成したいかを質問することができる。ユーザがこの質問に答えるのを支援するために、アプリ１１１は、事前定義されたメイクアップルックのリストを生成してよく、ユーザは、事前定義されたメイクアップルックを選択してよい。事前定義されたメイクアップルックには、いくつか例を挙げると、シーズンルック（春、夏、秋）、イベントルック（金曜日のデートナイト、ガールズナイトアウト、特別なデート、義母との外出、休暇、パーティ、大晦日、ブライダル、プロム）、完了までの時間に基づくルック（クイックメイクアップ、平均的なメイクアップ、ゆっくりと時間をかけたメイクアップ）、ムードルック（陽気、ハッピー、私に気づいて）、スタイル（ナチュラル、イブニング、グラマー、ゴシック、オフィス）、美的ルック（ＶＳＣＯ、ｅＧｉｒｌ、ソフトガール）を含むことができる。 Prior to obtaining the makeup palette, at S301, a user may launch the
さらに、アプリ１１１は、メイクアップ目的ユニットを介して、メイクアップを使用する経験レベルを定義するようにユーザに質問してよい。ユーザの経験レベルには、初心者／新人レベル、経験豊富なレベル、専門家レベル、およびプロフェッショナルが含まれうる。初心者／新人レベルは、メイクアップを適用した経験がほとんどない、またはまったくないユーザであってもよい。経験豊富なレベルは、以前にメイクアップを適用したことがあり、したがってある程度の経験を有するユーザであってもよい。専門家レベルは、１年以上など、一定期間メイクアップを適用しており、メイクアップを適切に適用する方法を学ぶための措置を講じているユーザであってもよい。プロフェッショナルレベルは、他のユーザにメイクアップを適用するユーザであってもよい。実施形態によっては、アプリ１１１は、ユーザがユーザプロファイルを作成するために使用してもよいインタフェースを提供してよく、とりわけ、ユーザの経験レベルを入力することを含むことができる。 Additionally, the
アプリ１１１は、選択されたルックおよびユーザの経験レベルを出発点として利用してよい。例えば、メイクアップを適用することが初めてのユーザは、試してみたいと思うだろうし、メイクアップを適用することに関して学びたいと思うかもしれない。以前にメイクアップを適用した経験があり、知識および創造性を広げたいと考えている経験豊富なユーザは、新しいメイクアップ製品またはメイクアップルックを試してみたいと思うかもしれない。専門家ユーザはメイクアップを適用した豊富な経験を有しているかもしれないが、自分の創造性を広げて、プロのメイクアップアーティストによって作成されるような品質のルックを取得したいと考えているであろう。その後、アプリ１１１は、後の段階で推奨事項を提供する際に、選択されたルックおよびユーザの経験レベルを使用してもよい。
Ｓ３０３では、アプリ１１１は、アプリ１１１にカスタムルックを提供させるか、またはユーザが自分の顔画像にバーチャルメイクアップを適用するかの選択をユーザに提供してよい。実施形態によっては、Ｓ３０５では、メイクアップパレットユニットは、少なくとも１つのデジタルメイクアップパレットを生成してよい。特に、ユーザは、例えば、アプリ１１１ストアからデジタルメイクアップをダウンロードすることによって、またはデジタルメイクアップを提供するウェブサイトからダウンロードすることによって、特定のバーチャルメイクアップ用のデジタルメイクアップパレットを取得してよい。１つ以上の実施形態では、ユーザは、デジタルメイクアップパレットをメイクアップルックのバリエーションに合わせて変更してよい。例えば、ユーザは、ＶＳＣＯガールルックなどのメイクアップルックのためにデジタルメイクアップパレットを変更して、多かれ少なかれドラマチックにしてよい。あまりドラマチックではないルックには、メイクアップルックに対して異なるデジタルメイクアップパレットを取得することを要する場合があるか、または顔パーツ、例えば、唇、まぶた、鼻に対して異なるデジタルメイクアップを取得することを要する場合がある。 At S303, the
図４は、メイクアップを適用する方法を選択する機能を含むアプリ１１１のグラフィカルユーザインタフェースの一例である。実施形態によっては、ユーザは、アプリ１１１にカスタムルックを実行させるか、またはユーザがデジタルメイクアップを適用するかについて決定する（Ｓ３０３）前に、デジタルメイクアップパレットを取得してもよい（Ｓ３０５）。図４に戻って参照すると、ユーザインタフェース４００は、ファンデーション４０１ａ、アイシャドウ４０１ｂ、およびコンシーラー４０１ｃなど、ユーザが取得した製品４０１を表示できる。ユーザインタフェース４００は、カスタムルックを作成する（４０３）、または１つ以上のバーチャルメイクアップを手動で適用することによってルックを作成する（４０５）など、機能の選択をユーザに提供することができる（図３ＡのＳ３０３を参照）。 FIG. 4 is an example of a graphical user interface for
実施形態によっては、アプリ１１１は、事前定義されたルックのリストをユーザに提供してよく、ユーザは、事前定義されたルックを出発点として選択してよい。事前定義されたルックを選択すると、アプリ１１１は、選択されたルックに対する推奨デジタルメイクアップおよび／またはデジタルメイクアップパレットのセットをユーザに提供できる。ユーザは、推奨のセットに基づいて、データベース１０７からか、またはメイクアップ提供者から、例えばメイクアップ提供者のウェブサイトから、デジタルメイクアップおよびデジタルメイクアップパレットを取得してよい。 In some embodiments, the
図５は、デジタルメイクアップパレットを取得する方法のフローチャートである。図５を参照すると、Ｓ５０１では、ユーザは、メイクアップ目的ユニットを介して、所望のルックを入力し、Ｓ５０３では、メイクアップ経験のレベルを入力する。Ｓ５０５では、ユーザはメイクアップパレットユニットを介してデジタルメイクアップパレットを取得する。所望のルック（本明細書ではバーチャル試着とも呼ぶ）は、事前定義されたルックのリストから選択しても、事前定義されたルックを反映するルック名として入力してもよい。場合によっては、ユーザは、事前定義されたルックを持たない新しいルック、または事前定義されたルックの変更であるルックを入力することがある。 FIG. 5 is a flowchart of a method for obtaining a digital makeup palette. Referring to FIG. 5, at S501, a user inputs a desired look via a makeup destination unit, and at S503, a user inputs a level of makeup experience. In S505, the user obtains a digital makeup palette via the makeup palette unit. The desired look (also referred to herein as a virtual try-on) may be selected from a list of predefined looks or entered as a look name that reflects the predefined look. In some cases, a user may enter a new look that does not have a predefined look, or a look that is a modification of a predefined look.
デジタルメイクアップパレットは、特定のタイプのメイクアップルックを作成するためのパレットであってもよい。デジタルメイクアップパレットは、物理的なメイクアップ製品と同様にメイクアップ会社から購入しても、またはデジタルメイクアップ製品を専門とするＷｅｂサイトから取得してもよい。図６は、本開示の例示的な態様によるデジタルメイクアップパレットを有するユーザインタフェースを示す。ユーザインタフェースは、特定のメイクアップルック６０３および特定のユーザ経験レベル６０５用のデジタルメイクアップパレット６０１を含んでもよい。デジタルメイクアップパレット６０１は、特定の色、カバレッジ、色合い、および仕上がりの、特定のデジタルメイクアップを選択するためのボタンを含んでもよい。ユーザ経験レベル６０５は、一般的なアプリケーションから精密なアプリケーションまでの範囲で、スライドバーによって制御されてもよい。ユーザインタフェースは、メイクアップアプリケータツール６０７を選択するためのボタンを含んでもよい。 A digital makeup palette may be a palette for creating a specific type of makeup look. Digital makeup palettes may be purchased from makeup companies in the same way as physical makeup products, or obtained from websites that specialize in digital makeup products. FIG. 6 illustrates a user interface with a digital makeup palette according to example aspects of the disclosure. The user interface may include a
デジタルメイクアップパレットには１つ以上の特定のデジタルメイクアップが含まれており、物理的なメイクアップと同様に、特定の色、カバレッジ、色合い、仕上がりを備えている。物理的なメイクアップとは異なり、カバレッジは不透明フィルタとして実装されてよく、色合いはＲＧＢ値の範囲として実装され、仕上がりは色の濃度または色の明るさであってよい。 A digital makeup palette contains one or more specific digital makeups, similar to physical makeup, with specific colors, coverage, shades, and finishes. Unlike physical makeup, coverage may be implemented as an opaque filter, tint as a range of RGB values, and finish may be the intensity of a color or the brightness of a color.
デジタルメイクアップパレットも、汎用のメイクアップパレットであってもよい。さらに、デジタルメイクアップパレットは、顔の一部に対する特定のバーチャルメイクアップ用であってもよい。図７は、１つ以上のバーチャルメイクアップ用の入れ物および１つ以上のメイクアップアプリケータツール用の入れ物を有するユーザインタフェースを示す。バーチャルメイクアップは、製品７０１、または１つ以上のメイクアップ提供者のウェブサイトから取得された製品であってもよい。バーチャルメイクアップ製品は、ユーザ７０３のメイクアップバッグに格納されてもよい。ユーザエクスペリエンスレベル７０５は、一般的なアプリケーションから精密なアプリケーションまでの範囲で、スライドバーによって制御されてもよい。メイクアップアプリケータツールは、入れ物７０７に格納されてもよい。特定のバーチャルメイクアップ製品を適用するために、さまざまなメイクアップアプリケータツールを使用してよい。アプリケータツールのタイプには、ブラシ、スポンジメイクアップアプリケータ、メイクアップアプリケータパフが含まれうる。ブラシにはさまざまな幅があってよく、角度のついた先端、平らな先端、または尖った先端を有してよい。マスカラブラシなどの特殊なブラシには剛毛がある。一般的なスポンジアプリケータは、先端が１つまたは２つ付いたスポンジ綿棒である。一部のスポンジは平らな楕円形である。一部のスポンジはくさび形をしている場合がある。パフにはさまざまなサイズと素材があってよい。一部のメイクアップ製品は、メイクアップペンシル、例えばアイブロウペンシル、アイライナーペンシル、およびリップライナーペンシルの形態である。コンシーラーおよびハイライター製品には、ペンのようなディスペンサーが内蔵されている場合がある。 The digital makeup palette may also be a general-purpose makeup palette. Additionally, the digital makeup palette may be for specific virtual makeup on a portion of the face. FIG. 7 shows a user interface with one or more containers for virtual makeup and one or more containers for makeup applicator tools. The virtual makeup may be a
バーチャルメイクアップには、スタイラス、マウス、内蔵モーションセンサを備えた物理的なアプリケータツール、さらにはユーザの指を使用した実際の物理的なジェスチャに従って動作するように構成されうるアプリケータツールが含まれる場合がある。物理的ジェスチャを行って、バーチャルブラシにスタイラスの動きおよび力に応じたブラシストロークを適用させてもよい。実施形態によっては、スタイラスは、タッチスクリーン上の力の量によって、その力に見合った太さを有する線が生成されるモバイルデバイスの３Ｄタッチ画面上で使用されうる。実施形態によっては、スタイラスは、メイクアップアプリケータの形態をとり、ユーザがスタイラスを使用して顔画像にバーチャル的にメイクアップを適用するときに、ブラシストロークの動きおよび力を検出するための動きセンサおよび力センサの両方を含んでもよい。 Virtual makeup includes a stylus, a mouse, a physical applicator tool with a built-in motion sensor, and even an applicator tool that can be configured to operate according to real physical gestures using the user's fingers. There may be cases where Physical gestures may be made to cause the virtual brush to apply brush strokes in response to stylus movement and force. In some embodiments, a stylus may be used on a 3D touch screen of a mobile device where the amount of force on the touch screen produces a line with a commensurate thickness. In some embodiments, the stylus takes the form of a makeup applicator and includes motion to detect the movement and force of brushstrokes as the user uses the stylus to virtually apply makeup to the facial image. It may include both a sensor and a force sensor.
ユーザが独自のカスタムルックを作成することを選択した場合（Ｓ３０３で自分で行う）、Ｓ３０７で、モバイルデバイス１０１またはノートパソコン１０３上で実行されているモバイルアプリケーション１１１は、内蔵カメラ機能を使用してユーザの顔画像をキャプチャすることができる。実施形態によっては、カメラ２３１は、ユーザのビデオをキャプチャするために使用される。実施形態によっては、カメラ２３１は、わずかに異なる方向からおよび／または異なる明るさの条件でユーザの顔のいくつかの画像を取り込むために使用される。代替として、以前にキャプチャされた１つの画像、複数の画像、またはビデオがモバイルアプリケーション１１１にアップロードされてもよい。さらに、以前にキャプチャされた１つの画像、複数の画像、またはビデオは、外部カメラ装置を使用して撮影されてもよいし、モバイルデバイスもしくはノートパソコンの内部記憶デバイスからかまたは外部記憶デバイスから取得されてもよい。 If the user chooses to create their own custom look (which they do at S303), at S307 the
実施形態によっては、画像がキャプチャされると、Ｓ３０９では、モバイルアプリケーション１１１は、顔認識を実行し、唇、目、鼻、耳、および髪を含む顔画像内のパーツおよびその位置を識別してもよい。顔認識を実行するために、モバイルアプリケーション１１１は、明るさを改善するなど、画像特徴を改善するために画像処理操作を実行してよい。例えば、ユーザは、ユーザの背後から明るい光や日光が差し込んだときに、不注意に自分の写真を撮ってしまう可能性がある。モバイルアプリケーション１１１は、ユーザの顔画像を明るくしうる。画質を向上させるために、他の画像処理操作が実行される場合がある。 In some embodiments, once the image is captured, at S309 the
図８は、顔分析ステップのより詳細なフローチャートである。 FIG. 8 is a more detailed flowchart of the face analysis step.
Ｓ８０１では、キャプチャされた画像を分析して顔形状を決定してもよい。１つ以上の実施形態では、キャプチャされたユーザの顔の顔形状は、機械学習モデルを使用して検出されてもよい。機械学習モデルは、既知の顔形状を有する顔画像を使用して顔形状を分類するようにトレーニングされてもよい。最近、画像分類は、人間の脳の視覚皮質が物体を認識する際にどのように機能するかにヒントを得た、一種のニューラルネットワークを使用して実行されている。ニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ）として知られるネットワークのファミリーである。画像分類には他のアプローチも提案されており、改良が続けられている。画像分類に使用されうる他のアプローチには、線形回帰、デシジョンツリー、ランダムフォレスト、およびサポートベクターマシンなどがある。実施形態によっては、機械学習モデルは、クラウドサービス１０５の機械学習サービス１０９を使用してリモートでトレーニングされうる。 In S801, the captured image may be analyzed to determine the face shape. In one or more embodiments, the facial shape of the captured user's face may be detected using a machine learning model. A machine learning model may be trained to classify facial shapes using facial images with known facial shapes. Recently, image classification has been performed using a type of neural network inspired by how the human brain's visual cortex works when recognizing objects. Neural networks are a family of networks known as convolutional neural networks (CNNs). Other approaches to image classification have been proposed and continue to be improved. Other approaches that may be used for image classification include linear regression, decision trees, random forests, and support vector machines. In some embodiments, machine learning models may be trained remotely using
１つ以上の実施形態では、顔形状を分類するために使用されうる機械学習モデルのアーキテクチャはＣＮＮである。図９は、顔形状を分類するためのＣＮＮのブロック図である。ＣＮＮの次元および活性化関数は、利用可能な処理能力および必要な精度に応じて変化する可能性がある。次元には、チャネルの数、各層のニューロンの数、および層の数が含まれる。考えられる活性化関数には、ロジスティック関数、正規化線形ユニットなどが含まれる。 In one or more embodiments, the machine learning model architecture that may be used to classify facial shapes is a CNN. FIG. 9 is a block diagram of a CNN for classifying facial shapes. The dimensions and activation functions of the CNN can vary depending on the available processing power and required accuracy. Dimensions include the number of channels, the number of neurons in each layer, and the number of layers. Possible activation functions include logistic functions, normalized linear units, etc.
畳み込みニューラルネットワーク（ＣＮＮ）は、いくつかの種類の層で構成されてもよい。畳み込み構成要素９０３は、畳み込み層９０３ａ、プーリング層９０３ｃ、および正規化線形ユニット層９０３ｂから構成されうる。畳み込み層９０３ａは、与えられたすべての空間位置で特徴部分の特別な位置を検出する２次元活性化マップを開発するためのものである。プーリング層９０３ｃは、ダウンサンプリングの一形態として機能する。正規化線形ユニット層９０３ｂは、畳み込み層自体の受容野に影響を与えることなく、活性化関数を適用して、決定関数およびネットワーク全体の非線形特性を増加させる。全結合層９０５は、前の層間のすべての活性化への接続を有するニューロンを含む。損失層は、ネットワークトレーニングが予測された層と真の層との間の偏差にどのようにペナルティを与えるかを指定する。損失層９０７は、相互に排他的なクラスのセット内のクラスを検出する。損失層の１つのタイプはソフトマックス関数であり、複数のクラスのそれぞれに出力値を提供する。 Convolutional neural networks (CNNs) may be composed of several types of layers.
実施形態によっては、損失層９０７はソフトマックス関数であってもよい。ソフトマックス関数は、各クラスの確率値を提供する。例示的な実施形態では、クラス９０９は、正方形、長方形、円形、長円形、楕円形、ひし形、三角形、およびハート面の形状を含むことができる。 In some embodiments,
Ｓ８０３では、モバイルアプリケーション１１１は、顔の特徴部分およびランドマークをさらに分析しうる。顔の形状と同様に、キャプチャされたユーザの顔の特徴部分およびランドマークは、機械学習モデルを使用して検出されうる。機械学習モデルは、顔のランドマークを検出するようにトレーニングされうる。顔形状分類を用いて、図９と同様のＣＮＮアーキテクチャを顔のランドマーク検出に使用してもよい。分類への他のアプローチも使用してよい。 At S803, the
図１０は、顔のランドマーク検出のための深層学習ニューラルネットワークの図である。図９のアーキテクチャと同様に、深層学習ニューラルネットワークは畳み込みニューラルネットワークである。深層学習ニューラルネットワークのトレーニングを改善するために、残差接続が含まれてもよい。１つ以上の実施形態では、ネットワーク内の初期の層に対して残差接続が行われる、反転された残差構造が含まれてもよい。図１０のアーキテクチャに関して、ネットワークは、１００３および１００５の２段として提供される。第１の段１００３は、特徴抽出を行うための畳み込みの段である。第２の段１００５は、関心領域内で予測を実行する。 FIG. 10 is a diagram of a deep learning neural network for facial landmark detection. Similar to the architecture of Figure 9, the deep learning neural network is a convolutional neural network. Residual connections may be included to improve training of deep learning neural networks. One or more embodiments may include an inverted residual structure where residual connections are made to earlier layers in the network. Regarding the architecture of FIG. 10, the network is provided as two stages, 1003 and 1005. The
第１の段１００３のアーキテクチャは、入力顔画像１００１が提供されると、畳み込み演算および最大プーリング演算を実行する畳み込みセクション１００３ａを含む。畳み込みセクション１００３ａは、反転残差構造（ｉｎｖｅｒｔｅｄ ｒｅｓｉｄｕａｌ ｓｔｒｕｃｔｕｒｅ）１００３ｂに接続されている。マスク層１００３ｃは、反転残差構造１００３ｂに接続されている。マスク層１００３ｃのサイズは、ランドマークの数（例えば、２×Ｌ、ランドマークの数）に基づく。マスク層１００３ｃは、入力オブジェクトの空間レイアウトを符号化する。 The architecture of the
第２の段１００５のアーキテクチャは、第１の段１００３の反転残差構造１００３ｂに接続された反転残差構造１００５ｂを含む。また、第１の段１００３のマスク層１００３ｃは、反転残差構造１００５ｂの結果に適用され、ＲＯＩおよび連結ブロック１０１１における関心領域のトリミングを実行するための入力として提供される。ＲＯＩおよび連結ブロック１０１１は、反転残差構造１００５ｂ内のチャネルの数およびランドマークの数に基づく。予測ブロック１０１３は、マスク層１００５ｃ内のランドマークおよびおおよその位置を予測する。第２の段１００３の関心領域の予測は、画像全体に対してマスク１００３ｃによって推定されたランドマークと結合されて、出力層１００７内の出力ランドマークを取得する。 The architecture of the
１つ以上の実施形態では、顔のランドマークには、目、鼻、唇、頬骨、眉毛を含む目の周囲の領域、まぶた、および髪が含まれる。実施形態によっては、ランドマークには顔の異常の可能性が含まれる場合がある。 In one or more embodiments, facial landmarks include the eyes, nose, lips, cheekbones, area around the eyes including eyebrows, eyelids, and hair. In some embodiments, landmarks may include potential facial anomalies.
各層の具体的な次元および層の数は、所望の精度、機械学習モデルを実行するハードウェア、機械学習モデルのトレーニング時間などのパラメータに依存する場合がある。機械学習モデルは、クラウドサービス１０５の機械学習サービス１０９を使用してトレーニングされてもよい。 The specific dimensions of each layer and the number of layers may depend on parameters such as the desired accuracy, the hardware on which the machine learning model is run, and the training time of the machine learning model. Machine learning models may be trained using
顔の特徴部分の分析Ｓ８０３は、唇の形状の検出Ｓ８０５、まぶたの形状の検出Ｓ８０７、および髪型の検出Ｓ８０９をさらに含むことができる。検出されたランドマークは、唇、目、および髪型の輪郭を計算するために使用できる。さらに、肌の色Ｓ８１１および肌の質感Ｓ８１３などの他の顔の特徴も顔画像から決定されうる。肌の色および肌の質感は、画像処理技術を使用して決定される場合がある。肌の色合いのタイプとしては、色白、明るい、普通、濃いなどが挙げられうるが、これらに限定されない。皮膚の質感のタイプとしては、柔らかい、滑らかな、粗い、革のようなものが挙げられるが、これらに限定されない。 The facial feature analysis S803 can further include lip shape detection S805, eyelid shape detection S807, and hairstyle detection S809. The detected landmarks can be used to calculate the contours of lips, eyes, and hairstyle. Additionally, other facial features such as skin color S811 and skin texture S813 may also be determined from the facial image. Skin color and skin texture may be determined using image processing techniques. Skin tone types may include, but are not limited to, fair, light, normal, dark, and the like. Skin texture types include, but are not limited to, soft, smooth, rough, and leathery.
顔画像の追加の特徴は、明るさ（ｌｉｇｈｔｉｎｇ）（画像の明るさ（ｉｍａｇｅ ｂｒｉｇｈｔｎｅｓｓ））であってもよい。Ｓ８１５では、画像処理技術を使用して画像の明るさ（明るさ）を決定してよい。明るさは、画像内で知覚される光の総量の尺度として定義されうる。実施形態によっては、画像の明るさは、キャプチャされたときの初期の明るさレベルから増加または減少することがある。 An additional feature of the facial image may be lighting (image brightness). At S815, image processing techniques may be used to determine the brightness (brightness) of the image. Brightness may be defined as a measure of the total amount of light perceived within an image. In some embodiments, the brightness of the image may increase or decrease from the initial brightness level when it was captured.
Ｓ８１７では、過去のルックの好みをデータベース１０７から取得してよい。過去のルックの好みには、色、カバレッジ、色合い、仕上がり、および過去のルックに使用された適用ジェスチャなどのデジタルメイクアップの特性を含むことができる。過去のユーザの好みは、顔の特定のパーツのデジタルメイクアップの特性を含んでよく、特定のルックに適用されたデジタルメイクアップの選択も含むことができる。 In S817, past look preferences may be acquired from the
Ｓ３１１では、ユーザインタフェースは、バーチャルメイクアップを選択する機能を含んでよい。図１１は、適用するバーチャルメイクアップを選択するための例示的なユーザインタフェースである。ユーザインタフェース画面１１００は、ポインタ１１０３を使用してバーチャルメイクアップを選択するための指示を含むメッセージ１１０１を含んでもよい。 At S311, the user interface may include the ability to select virtual makeup. FIG. 11 is an example user interface for selecting virtual makeup to apply.
Ｓ３１３では、バーチャルメイクアップが選択されると、モバイルアプリケーション１１１は、選択されたバーチャルメイクアップをアクティブにする機能を実行できる。バーチャルメイクアップは、アプリケータのスワイプジェスチャおよびバーチャルメイクアップが適用される顔の典型的な領域を含む、バーチャルメイクアップの特性を取得することによってアクティブにされてもよい。実施形態によっては、バーチャルメイクアップに関連付けられたデータは、カバレッジ、色合い、および仕上がりを含むことができる。 At S313, once a virtual makeup is selected, the
Ｓ３１５では、モバイルアプリケーション１１１は、バーチャルメイクアップを適用する方法についての推奨案が必要かどうかをユーザに質問するメッセージを表示できる。推奨メッセージの要求を表示するためのユーザインタフェースの例を図１２に示す。 At S315, the
図１２は、ユーザがメイクアップを適用するか、モバイルアプリケーションがメイクアップを適用する方法を推奨するかを選択するための例示的なユーザインタフェースである。ユーザインタフェース１２００は、バーチャルメイクアップ１２０５を適用する方法に関する推奨案を選択するためのボタン１２０３を表示できる。ユーザインタフェース１２００は、代替として、スタイラスまたはマウスをスワイプして顔画像１２０７にバーチャルメイクアップを適用するようにユーザに指示するボタン１２０１を表示してもよい。 FIG. 12 is an example user interface for a user to select whether to apply makeup or whether the mobile application recommends how to apply makeup.
ユーザが推奨案を取得しないことを選択した場合（Ｓ３１５でＮＯ）、Ｓ３１７では、ユーザは、バーチャルメイクアップを適用する顔画像上の位置を指定してもよい。Ｓ３２１では、ユーザは、メイクアップ目的視覚化ユニットを介して、スタイラスまたはマウスを使用して顔の位置でスワイプを行うことによってバーチャルメイクアップを適用してよい。図１３は、モバイルデバイス１０１上の例示的なユーザインタフェースである。ボタン１２０１が選択されると、ユーザインタフェースは、顔画像１３０１およびデジタルメイクアップパレット１３０３を表示してよい。ユーザは、デジタルメイクアップパレット１３０３から色１３０３ｂを選択し、スタイラス１３１０のスワイプジェスチャを使用して、バーチャルメイクアップ１３０３ａを特定の位置１３０５に適用してよい。モバイルデバイス１０１上の画面は、顔の特徴部分の表示を調整するために顔画像１３０１を拡大または縮小するために使用できるズーム機能を含むタッチスクリーンであってもよい。実施形態によっては、タッチスクリーンのモードを切り替えて、画像を動かすことなくスタイラスを使用して顔画像にバーチャルメイクアップを適用できるようにしてもよい。 If the user chooses not to obtain a recommendation (NO in S315), in S317 the user may specify a position on the face image to which virtual makeup is to be applied. At S321, the user may apply virtual makeup by making swipes at facial locations using a stylus or mouse via the makeup objective visualization unit. FIG. 13 is an example user interface on
もう１つの決定では、ユーザが推奨案を取得することを選択した場合（Ｓ３１５でＹＥＳ）、Ｓ３１９では、モバイルアプリケーション１１１は、バーチャルメイクアップを適用する顔画像上の位置を示す。 In another determination, if the user chooses to obtain recommendations (YES at S315), at S319 the
図１４は、レコメンダシステムの図である。レコメンダシステム１４００は、バーチャルメイクアップを適用する方法を示すために使用されうる（図３ＡのＳ３１９）。レコメンダシステム１４００は、画像データおよびメイクアップフィルタのインデックス付きデータベース１４０５に基づいて動作する。レコメンダシステム１４００は、推奨案を検索してランク付けする推奨エンジン１４０７を含む。特定のバーチャルメイクアップを適用する場合、推奨案は、ユーザがステップＳ３０１で入力したルックおよびバーチャルメイクアップに関するものであってもよい。実施形態によっては、推奨案は、ユーザの好みまたはお気に入りに基づいて取得されてもよい。個人的なユーザの好みは、アプリ１１１が最初にセットアップされるときにユーザが入力したメイクアップの特性であってもよい。お気に入りは、ユーザがお気に入りとしてフラグを立てたメイクアップの特性である場合がある。個人の好みおよびお気に入りは、顔の特定のパーツまたは顔全体に関するものであってもよい。 FIG. 14 is a diagram of the recommender system.
実施形態によっては、推奨エンジン１４０７は、ルックフィーチャマトリクス（ｌｏｏｋ－ｆｅａｔｕｒｅ ｍａｔｒｉｘ）を使用しうる。図１５は、本開示の例示的な態様による非限定的なルックフィーチャマトリクスを示す。図１５のルックフィーチャマトリクスは、簡潔にするために２つのタイプのバーチャルメイクアップを示す部分マトリクスである。いくつか例を挙げると、ファンデーション、マスカラ、コンシーラー、チークパウダー、アイブロウペンシルを含むがこれらに限定されない、他のタイプのバーチャルメイクアップがマトリクスに含まれてもよい。ルックフィーチャマトリクスは、モバイルデバイスのアプリ１１１に格納され、所望の特徴のベクトルと比較されてもよい。所望の特徴は、現在のユーザの好みであり、ユーザの現在の経験レベルおよび所望のルックを考慮してもよい。推奨エンジン１４０７は、１つ以上の類似性メトリック（ｓｉｍｉｌａｒｉｔｙ ｍｅｔｒｉｃｓ）およびスコアリングアルゴリズムを使用して、推奨案をランク付けできる。一実施形態では、推奨エンジン１４０７は、バーチャルメイクアップの特定の特性を推奨されるものから変更することによって創造性を促進するために、推奨案を高める特徴のセットを生成できる。例えば、推奨エンジン１４０７が、取得した複数の推奨案の中から１つの推奨案を上位にランク付けした場合、類似性スコアを高めるために１つ以上の特性を変更してもよい。あるいは、推奨エンジン１４０７は、色合いまたは仕上がりなど、取得された推奨案における１つ以上の特性を、１つ上または１つ下に変更（例えば、色合いを、記憶された色合いより１レベル上または１レベル下に変更）してよい。１つ以上の実施形態では、推奨エンジン１４０７は、ユーザの経験レベルに基づいてアプリケーションジェスチャを多かれ少なかれ正確になるように調整することができる。 In some embodiments, recommendation engine 1407 may use a look-feature matrix. FIG. 15 illustrates a non-limiting look feature matrix according to example aspects of the disclosure. The look feature matrix of FIG. 15 is a partial matrix that shows two types of virtual makeup for the sake of brevity. Other types of virtual makeup may be included in the matrix, including, but not limited to, foundation, mascara, concealer, cheek powder, and eyebrow pencil, to name a few. The look feature matrix may be stored in the
推奨エンジン１４０７は、１つ以上の推奨案を推奨ユーザインタフェース（Ｓ３１９）に出力できる。推奨ユーザインタフェース（Ｓ３１９）は、選択された推奨案の適用を示す一連のビデオフレームを表示することができる。 Recommendation engine 1407 can output one or more recommendations to a recommendation user interface (S319). A recommendation user interface (S319) may display a series of video frames illustrating application of the selected recommendation.
１つ以上の実施形態では、推奨用のビデオフレームは、ユーザの顔画像と、データベース１４０５に格納されている１つ以上のメイクアップフィルタとを使用して生成されてもよい。インデックス付きデータベース１４０５は、ビデオフレームのシーケンスを作成するために使用される１つ以上のメイクアップフィルタを提供してよい。図１６は、顔画像内の所望の特徴部分およびオリジナルの特徴部分に基づいて顔画像を作成するために使用されうるブレンドプロセスを示す。 In one or more embodiments, video frames for recommendations may be generated using the user's facial image and one or more makeup filters stored in
顔の特徴部分のブレンドは以下のように行われる。
１．所望の特徴部分１６０１は、オリジナルの特徴部分の色とマッチするように再色付けされ１６０３、再色付けされた特徴部分１６０５が得られる。
２．再色付けされた特徴部分１６０５は、特徴マスク１６０７によって乗算される。
３．オリジナルの特徴部分１６０９は、特徴マスクの逆の数（ｉｎｖｅｒｓｅ）１６１１（すなわち、０から１の範囲の各マスク値を１から引いたもの）によって乗算される。
４．結果として得られる２および３の画像は１６１３ピクセルごとに追加され、最終的にブレンドされた特徴部分の画像１６１５が作成される。 Blending of facial features is performed as follows.
1. The desired
2.
3. The
4. The resulting
オリジナルの特徴部分の境界は、顔分析ステップＳ３０９の間に決定されていてもよい。ビデオフレームのシーケンスは、特定の顔パーツにバーチャルメイクアップを適用する方法を示すアニメーションとして生成されうる。 The original feature boundaries may have been determined during the face analysis step S309. A sequence of video frames may be generated as an animation illustrating how to apply virtual makeup to particular facial parts.
Ｓ３２１では、ユーザは、特定のタイプのアプリケータとして描画するように構成されたスタイラスまたはマウスを使用して、顔画像の顔の位置で１回以上のスワイプを行うことによって、バーチャルメイクアップで示された適用を模倣してメイクアップを適用してよい。 At S321, the user applies the virtual makeup by making one or more swipes at the facial position of the facial image using a stylus or mouse configured to draw as a particular type of applicator. Make-up may be applied to mimic the applied application.
図１７は、本開示の例示的な態様による、バーチャルメイクアップを適用するステップのフローチャートである。Ｓ１７０１では、ユーザは、ユーザインタフェースと対話して、バーチャルメイクアップを適用するための開始点を選択またはタッチしてよい。Ｓ１７０３では、ユーザは、バーチャルメイクアップを適用するためのジェスチャを実行してよい。ジェスチャは、スワイプ動作、線描画動作、またはタップ動作であってもよい。スワイプ動作は、例えば、まつ毛にマスカラを塗る場合に行われてもよい。より厚いアプリケータをスワイプ動作で使用すると、アイシャドウなどのより広いストロークを適用できる。線描画動作は、例えばアイライナーを塗るために使用できる。口紅を塗るには、太い線で線描画動作を使用してよい。タップ動作を使用してフェイスパウダーを塗ってもよい。 FIG. 17 is a flowchart of steps for applying virtual makeup, according to example aspects of the present disclosure. At S1701, a user may interact with a user interface to select or touch a starting point for applying virtual makeup. At S1703, the user may perform a gesture to apply virtual makeup. The gesture may be a swipe motion, a line drawing motion, or a tap motion. A swiping motion may be performed, for example, when applying mascara to eyelashes. Using a thicker applicator in a swiping motion allows you to apply wider strokes, such as eyeshadow. Line drawing operations can be used, for example, to apply eyeliner. To apply lipstick, you may use line drawing motions with thick lines. You may also apply face powder using a tapping motion.
１つ以上の実施形態では、Ｓ１７０５では、ジェスチャをユーザの経験レベルに基づいて分析し、ジェスチャが誤って、すなわち間違いとして適用されたかどうかを判定してよい。初心者ユーザの場合、経験豊富なユーザよりも大きなエラーが許容される場合がある。そのような場合、経験豊富なユーザにとって許容量（ｔｏｌｅｒａｎｃｅ ａｍｏｕｎｔ）を越えたジェスチャは間違いと判断される可能性があるが、初心者ユーザの場合には許容量が大きくなる可能性がある。初心者ユーザによるジェスチャがより高い許容量を越えた場合、そのジェスチャはエラーであると判定される可能性がある。Ｓ１７０７では、アプリ１１１は、ジェスチャが誤って、すなわち間違いとして適用されたか否かを判定する。ジェスチャが許容量を越えて行われたと判定された場合（Ｓ１７０７でＹＥＳ）、Ｓ１７０９では、ジェスチャが間違って適用された可能性があることをユーザに通知するため、および／またはジェスチャが適切に適用されたことを確認するためにユーザに質問するための、通知メッセージが表示されてもよい。アプリは、Ｓ１７１１で、バーチャルメイクアップの適用をやり直すオプションをユーザに提供できる。間違いがない場合（Ｓ１７０７でＮＯ）、またはユーザがバーチャルメイクアップをやり直さないことを選択した場合（Ｓ１７１１でＮＯ）、アプリ１１１は次のステップＳ３２３に進む。 In one or more embodiments, at S1705, the gesture may be analyzed based on the user's level of experience to determine whether the gesture was applied incorrectly, ie, by mistake. Novice users may have a greater tolerance for error than experienced users. In such a case, a gesture that exceeds the tolerance amount may be judged as a mistake by an experienced user, but the tolerance amount may be large for a novice user. If a gesture by a novice user exceeds the higher tolerance, the gesture may be determined to be an error. In S1707, the
実施形態によっては、領域およびスワイプ動作は、顔の特徴部分内に留まるように制限または制御されうる。例えば、スタイラスが画面に触れると、モバイルアプリケーション１１１は、その位置が顔の特徴部分内にあるものとして検出できる。スタイラスが移動すると、スワイプが画面上に描画されうるが、例えば、顔分析ステップＳ３０９で決定されたように顔パーツの境界の外側には描画されない。メイクアップ製品のカバレッジ、色合い、および仕上がりなどの特性に合わせてスクリーン上に描画してもよい。画面上の描画は、一般的なアプリケーションのジェスチャおよび顔の領域に従って実行することができる。 In some embodiments, regions and swiping motions may be limited or controlled to stay within facial features. For example, when the stylus touches the screen, the
Ｓ３２３では、モバイルアプリケーション１１１は、ユーザがバーチャルメイクアップを適用するときの領域およびスワイプの動きをモバイルデバイス１０１、１０３のメモリ２０２に記録できる。図１８は、メイクアップを適用しながら領域およびスワイプを記録するステップのフローチャートである。図１８を参照すると、Ｓ１８０１では、モバイルアプリケーション１１１は、バーチャルメイクアップが適用される顔画像上の位置およびスワイプの数を含む、メモリ内の各ステップおよび関連データを追跡および記録することができる。 At S323, the
Ｓ３２５では、モバイルアプリケーション１１１は、ユーザの顔の問題領域または最良の特徴部分を推定するために、バーチャルメイクアップの記録された位置およびスワイプならびにバーチャルメイクアップの特徴部分を分析する。位置は顔の特徴部分にマッピングされてもよい。図１９は、問題領域または最良の特徴部分を推定するために、メイクアップを適用するユーザのステップを分析するステップのフローチャートである。図１９を参照すると、Ｓ１９０１では、モバイルアプリケーション１１１は、メイクアップスワイプを分析して、潜在的な問題領域を特定してよい。潜在的な問題領域には、シミ、傷跡、加齢シミ、および色素沈着過剰などが含まれる場合がある。潜在的な問題領域は、ユーザが問題であると考える顔の領域、または望ましくない特徴部分である可能性がある。言い換えれば、潜在的な問題領域は、ユーザが外観を隠すかまたは変更することを望む領域である可能性がある。 At S325, the
モバイルアプリケーション１１１は、顔の特徴部分の特定の位置における異常なスワイプジェスチャを検出することによって、潜在的な問題領域を特定できる。異常なスワイプジェスチャには、方向の突然の変更や、誤って行われたわけではない力の突然の変更が含まれる場合がある。モバイルアプリケーション１１１は、ユーザがデジタルメイクアップパレットから異なるバーチャルメイクアップまたは代替色を特定の顔の領域に適用すること（すなわち、異なるカバレッジ特性および／または異なる色合いを有するバーチャルメイクアップ）を検出することによって、潜在的な問題領域を特定することができる。
Ｓ１９０３では、モバイルアプリケーション１１１は、メイクアップスワイプを分析して、最良の顔の特徴部分を特定してよい。最良の顔の特徴部分には、頬骨、目の色、まつ毛、唇の形状、またはユーザが強調したい任意の特徴部分が含まれうる。モバイルアプリケーション１１１は、同じ顔の特徴部分に対する平均的なメイクアップの適用から閾値量だけ異なる顔の特徴部分に対するメイクアップの適用の変化を検出することによって、最良の顔の特徴部分を検出できる。例えば、モバイルアプリケーション１１１は、顔領域に適用される色の典型的な色合いおよび／または仕上がりとは異なる色合いおよび／または仕上がりの色の適用を検出することによって、最良の顔の特徴部分を検出できる。目の色の場合、モバイルアプリケーション１１１は、特定のアイシャドウの色の適用を検出することによって、目の色が最良の顔の特徴部分であることを検出することができる。 At S1903,
Ｓ１９０５では、モバイルアプリケーション１１１は、特定された問題領域および最良の顔の特徴を、以前に格納された推奨案と比較できる。モバイルアプリケーション１１１は、いくつかの新たな問題領域が存在する可能性があるか、またはいくつかの問題領域がもはや問題領域になりうるものではないと判定できる。モバイルアプリケーション１１１は、潜在的な問題領域として以前に考えられていた問題領域の重要性を高めることができる。 At S1905, the
Ｓ１９０７では、推奨エンジン１４０７が検証された問題領域を有する推奨案に高いスコアを割り当てるように、比較の結果を使用して推奨案を調整してもよい。新しい問題領域および最良の顔の特徴部分、あるいは、もはや潜在的でない問題領域または最良の顔の特徴部分である、問題領域および最良の顔の特徴部分を用いて、推奨案が新しいまたはもはや潜在的でないものへの変更を支援する可能性がある場合、推奨案を調整してもよい。 At S1907, the results of the comparison may be used to adjust the recommendations such that the recommendation engine 1407 assigns a higher score to recommendations that have verified problem areas. New problem areas and best facial features, or problem areas and best facial features that are no longer potential. Recommendations may be adjusted if they have the potential to support changes to something that is not.
ユーザは、問題領域を補正したり、最良の特徴部分を強調したりする方法で、デジタルメイクアップパレットからバーチャルメイクアップを適用してよい。１つ以上の実施形態では、問題領域の不完全性をぼかすためのフィルタを適用することによって、問題領域を補正してよい。例えば、顔画像内のシミを含む領域をぼかすことによって、シミを目立たなくしてよい。 A user may apply virtual makeup from a digital makeup palette in a way that corrects problem areas or emphasizes best features. In one or more embodiments, the problem region may be corrected by applying a filter to blur imperfections in the problem region. For example, the stain may be made less noticeable by blurring the area containing the stain in the facial image.
上述のとおり、潜在的な問題領域は、ユーザが問題であると考える顔の領域、または望ましくない特徴部分である可能性がある。最良の顔の特徴部分には、頬骨、目の色、まつ毛、唇の形状、またはユーザが強調したい任意の特徴部分が含まれる。 As mentioned above, potential problem areas may be areas of the face that the user considers problematic or undesirable features. Best facial features include cheekbones, eye color, eyelashes, lip shape, or any feature the user wants to emphasize.
Ｓ３２７では、モバイルアプリケーション１１１は、検証された問題領域、検証された最良の顔の特徴部分、およびユーザメイクアップアプリケーションを将来のカスタム推奨としてデータベース１４０５に格納することができる。 At S327, the
図３Ｂを参照すると、Ｓ３３１では、ユーザは、別のバーチャルメイクアップに対してバーチャルメイクアップを適用するステップを繰り返すことを選択してもよい。所望のバーチャルメイクアップがすべて適用された後、ユーザは、Ｓ３３５で、データベース１０７に作成されたルックを保存することを選択してよい（Ｓ３３３でＹＥＳ）。Ｓ３３７では、ユーザは、Ｓ３３９で作成されたルックをソーシャルメディアプラットフォームまたはライブビデオを有する他のプラットフォームに移動／公開することを選択してもよい（Ｓ３３７でＹＥＳ）。１つ以上の実施形態では、ルックは、別の顔画像に適用されうるメイクアップフィルタとして格納されてもよい。 Referring to FIG. 3B, at S331, the user may choose to repeat the steps of applying virtual makeup for another virtual makeup. After all desired virtual makeup has been applied, the user may elect to save the created look in the
図２０は、メイクアップルックを格納するための例示的なユーザインタフェースである。ユーザインタフェース２０００は、完成した顔画像２００１を表示し、完成した顔画像を保存する機能のためのボタン２００３を提供してよい。完成した顔画像は、基礎となる顔画像、および完成した顔画像を再作成するために基礎となる顔画像に適用されうる１つ以上のフィルタとして格納されてもよい。実施形態によっては、完成した顔画像は、基礎となる顔画像およびメイクアップ製品の記録されたスワイプとして格納されてもよい。ユーザインタフェース２０００は、完成した顔画像をソーシャルメディアプラットフォームまたはビデオ会議プラットフォームなどのライブビデオまたは静止画像を提供するプラットフォームに移動する機能のためのボタン２００５をさらに提供できる。ソーシャルメディアプラットフォームには、いくつか例を挙げると、Ｆａｃｅｂｏｏｋ、Ｌｉｎｋｅｄ－ｉｎ、Ｉｎｓｔａｇｒａｍ、ＹｏｕＴｕｂｅ、Ｓｎａｐｃｈａｔ、ＴｉｋＴｏｋが含まれる。ビデオ会議プラットフォームには、いくつか例を挙げると、Ｍｉｃｒｏｓｏｆｔ Ｔｅａｍｓ、ＦａｃｅＴｉｍｅ、Ｇｏｏｇｌｅ ＨａｎｇｏｕｔｓもしくはＧｏｏｇｌｅ Ｍｅｅｔ、およびＺｏｏｍが含まれる。 FIG. 20 is an example user interface for storing makeup looks. The
実施形態によっては、完成した顔画像を再作成するための１つ以上のメイクアップフィルタが、ソーシャルメディアプラットフォームまたはビデオ会議プラットフォームに提供されてもよい。１つ以上のフィルタを別のベース画像に適用して、新しい完成した顔画像を取得してもよい。 In some embodiments, one or more makeup filters may be provided on the social media platform or video conferencing platform to recreate the completed facial image. One or more filters may be applied to another base image to obtain a new completed facial image.
実施形態によっては、Ｓ３１５では、ユーザは、デジタルメイクアップパレットおよびキャプチャされた顔画像を別のユーザに転送してよい。そのような場合、他のユーザがメイクアップアプリケーションを行っている間に、Ｓ３２１からＳ３２７を行ってもよい。他のユーザは、メイクアップの適用において、より高いレベルの経験を持つ人でもよいし、またはオリジナルのユーザが好みうるタイプのメイクアップルックを作成できるとオリジナルのユーザが信じている人であってもよい。 In some embodiments, at S315, the user may transfer the digital makeup palette and the captured facial image to another user. In such a case, S321 to S327 may be performed while another user is applying the makeup application. The other users may be people with a higher level of experience in applying makeup, or who the original user believes can create the type of makeup look the original user would prefer. Good too.
図２１は、デジタルパレットのカスタムアプリケーション方法のフローチャートである。ユーザがカスタムメイクアップルックを作成することを選択すると（Ｓ３０３のカスタム）、Ｓ２１０１では、ユーザは、ユーザの顔の１つの画像、複数の画像、またはビデオをキャプチャするように指示されてもよい。モバイルデバイス１０１のカメラ２３１、または外部カメラは、ユーザの顔の１つの画像またはビデオをキャプチャするために使用されてもよい。Ｓ２１０３では、モバイルアプリケーション１１１は、キャプチャされたユーザの顔を分析してもよい。図２２は、カスタムメイクアップアプリケーションの作成状況を示すための例示的なユーザインタフェースである。図８は、上述のとおり、顔分析ステップのより詳細なフローチャートである。図９は、上述のとおり、顔形状を分類するためのＣＮＮのブロック図である。ＣＮＮの次元および活性化関数は、利用可能な処理能力および所望の精度に応じて変化する可能性がある。次元には、チャネル、各層の大きさ、および層の数が含まれる。活性化関数には、ロジスティック関数、正規化線形ユニットなどが含まれる。図１０は、上述のとおり、顔のランドマーク検出のための深層学習ニューラルネットワークの図である。 FIG. 21 is a flowchart of a digital palette custom application method. If the user selects to create a custom makeup look (Custom at S303), at S2101 the user may be instructed to capture an image, multiple images, or a video of the user's face.
Ｓ２１０５では、顔分析（Ｓ２１０３および図８）によって特定された顔の特徴部分および過去のルックの好みに基づいて、データベース１０７から１つ以上のメイクアップフィルタが選択／検索されてもよい。格納されているメイクアップ顔フィルタのいくつかは、（Ｓ３０３で「自分で行う」を選択したときに）ユーザによって以前に作成されたフィルタであってもよい。メイクアップフィルタのいくつかは、共通のルックであってもよい。 At S2105, one or more makeup filters may be selected/retrieved from
図２３は、メイクアップフィルタの選択方法のフローチャートである。Ｓ２３０１では、Ｓ２１０３の分析結果から顔形状が取得される。Ｓ２３０３では、Ｓ２１０３の分析結果からランドマークが取得される。Ｓ２３０５では、Ｓ２１０３の分析から肌、髪、目、顔の色、および明るさの特徴が取得される。Ｓ２３０７では、デジタルメイクアップパレットの過去のルックの好みが取得されてもよい。Ｓ２３０９では、ランドマーク、顔の形状、肌の色、髪型、まぶたの形状、過去の好みに対して可能な顔フィルタがデータベース１０７から取得される。Ｓ２３１１では、取得された顔フィルタのサブセットを選択してよい。選択基準は、可能な顔フィルタの中からランダムな選択、過去のルックの好みに最もよく適合する顔フィルタの選択、ユーザにカスタムルックを与えるために過去のルックの好みとは異なるがユーザに異なるクリエイティブなルックの選択肢を提供できる少なくとも１つの顔フィルタの選択、を含むことができる。 FIG. 23 is a flowchart of a makeup filter selection method. In S2301, the face shape is acquired from the analysis result in S2103. In S2303, landmarks are acquired from the analysis results in S2103. In S2305, characteristics of skin, hair, eyes, facial color, and brightness are obtained from the analysis in S2103. At S2307, past look preferences for the digital makeup palette may be obtained. In S2309, possible face filters are acquired from the
Ｓ２１０７では、取得されたメイクアップフィルタを顔画像に重ねて、１つ以上のカスタムルックを取得してよい。オーバーレイプロセスには、顔の形状および顔のランドマークに基づいてメイクアップフィルタを位置合わせすることが含まれてもよい。図１６のブレンドプロセスを用いて、所望の特徴と顔画像内のオリジナルな特徴とに基づいて顔画像を作成することによってオーバーレイプロセスを実行してよい。 In S2107, the acquired makeup filter may be superimposed on the facial image to obtain one or more custom looks. The overlay process may include aligning the makeup filter based on the shape of the face and facial landmarks. The blending process of FIG. 16 may be used to perform the overlay process by creating a facial image based on the desired features and the original features in the facial image.
Ｓ２１１１では、ユーザは、モバイルアプリケーション１１１によって作成されたルックをデータベース１０７に保存することを選択してもよい（Ｓ２１０９でＹＥＳ）。Ｓ２１１３では、ユーザは、（Ｓ２１１３でＹＥＳ）を選択し、Ｓ２１１５では、作成されたメイクアップルックをソーシャルメディアプラットフォームまたはビデオ会議プラットフォームに移動／公開することを選択してもよい。 At S2111, the user may choose to save the look created by the
図２４は、メイクアップルックを格納するための例示的なユーザインタフェースである。ユーザインタフェース２４００は、完成した顔画像２４０１を表示し、それぞれの完成した顔画像を保存する機能のボタン２４０３を提供しうる。完成した顔画像は、基礎となる顔画像、および完成した顔画像を再作成するために基礎となる顔画像に適用されうる１つ以上のメイクアップフィルタとして格納されてもよい。実施形態によっては、完成した顔画像は、基礎となる顔画像およびメイクアップ製品の記録されたスワイプとして格納されてもよい。ユーザインタフェース２４００は、完成した顔画像をソーシャルメディアプラットフォームまたはビデオ会議プラットフォームに移動する機能のためのボタン（不図示）をさらに提供しうる。ソーシャルメディアプラットフォームには、いくつか例を挙げると、Ｆａｃｅｂｏｏｋ、Ｌｉｎｋｅｄ－ｉｎ、Ｉｎｓｔａｇｒａｍ、Ｓｎａｐｃｈａｔ、ＹｏｕＴｕｂｅ、ＴｉｋＴｏｋが含まれる。ビデオ会議プラットフォームの例には、Ｍｉｃｒｏｓｏｆｔ Ｔｅａｍｓ、ＦａｃｅＴｉｍｅ、Ｇｏｏｇｌｅ ＨａｎｇｏｕｔｓもしくはＧｏｏｇｌｅ Ｍｅｅｔ、およびＺｏｏｍが含まれる。 FIG. 24 is an example user interface for storing makeup looks.
本発明の多数の変更および変形は、上記の教示に照らして可能である。例えば、さまざまな消費者の肌の色合いおよび質感から収集されるデータは、一人以上の消費者への人工ニューラルネットワークのスケーリングを可能にするであろう。人工ニューラルネットワークは、製品の色合いごとに、新しい化粧品のフォーミュラのレンダリングを予測することができるであろう。 Many modifications and variations of the present invention are possible in light of the above teachings. For example, data collected from various consumer skin tones and textures would enable scaling of artificial neural networks to more than one consumer. Artificial neural networks would be able to predict the rendering of new cosmetic formulas for each shade of the product.
１つ以上の実施形態では、強化学習などの機械学習の形式を使用して、ユーザが何を問題領域であると考えているか、およびユーザが最良の顔の特徴部分としてどの領域を強調したいかを学習してよい。 In one or more embodiments, a form of machine learning, such as reinforcement learning, is used to determine what the user considers to be the problem areas and which areas the user would like to emphasize as the best facial features. It is good to learn.
図２５は、強化学習アーキテクチャのタイプのブロック図である。注目すべきは、いくつか例を挙げると、深層強化学習、Ｑラーニング、ディープＱネットワークなど、強化学習用にさまざまなアーキテクチャおよびアルゴリズムが開発されている。本開示では、強化学習の一般的な説明が提供されており、強化学習へのさまざまなアプローチに適用されることが理解されるべきである。 FIG. 25 is a block diagram of a type of reinforcement learning architecture. Notably, a variety of architectures and algorithms have been developed for reinforcement learning, including deep reinforcement learning, Q-learning, and deep Q networks, to name a few. It should be understood that this disclosure provides a general description of reinforcement learning and applies to a variety of approaches to reinforcement learning.
教師あり学習とは異なり、強化学習は機械学習の一形態であり、出力を事前に知る必要はない。代わりに、アクターによって出力されたアクションは、そのアクションが適切であったかどうかを示す報酬をもたらす。強化学習システムには、環境内で移動アクションを指示するアクターが関与する場合があり、アクションの選択により、特定の値のスコアの形で報酬が得られる場合がある。移動アクションにより、環境が新しい状態になる。スコアはアクターにフィードバックされ、機械学習コンポーネントが調整される。移動アクションの例は、環境内のアクターが新しい場所に移動してタスクを実行するアクションであってよく、そのタスクによりアクターのスコア値が増加する。スコアの増加は、移動アクションが有益であったことを裏付けるものとなる。次の移動アクションは、環境内のアクターが新しい位置に到達しない移動を行い、その後負のスコアをもたらすか、または少なくともスコア値を増加させないアクションである可能性がある。スコアの低下は負の影響としてフィードバックされ、機械学習コンポーネントは、環境の状態を考慮すると、アクターによって指示された移動アクションが適切な選択ではなかったことを学習するように調整されてもよい。したがって、アクターが動作アクションを指示し続けるにつれて、強化学習を採用し続けることができる。 Unlike supervised learning, reinforcement learning is a form of machine learning that does not require knowing the output in advance. Instead, actions output by an actor yield rewards that indicate whether the action was appropriate. Reinforcement learning systems may involve an actor directing movement actions within an environment, and the choice of action may result in a reward in the form of a score of a particular value. A move action brings the environment into a new state. The scores are fed back to the actors and the machine learning components are adjusted. An example of a movement action may be an action in which an actor within the environment moves to a new location and performs a task that increases the actor's score value. An increase in score confirms that the move action was beneficial. The next movement action may be an action in which an actor in the environment performs a movement that does not reach a new position and subsequently results in a negative score, or at least does not increase the score value. A decrease in score is fed back as a negative impact, and the machine learning component may be tuned to learn that the movement action directed by the actor was not an appropriate choice given the state of the environment. Therefore, reinforcement learning can continue to be employed as the actor continues to direct behavioral actions.
図２５に関して、エージェント２５１０は、人工ニューラルネットワーク２５１３を介して、離散時間ステップでその環境２５２０と対話する。各時間ｔで、エージェント２５１０は通常、関連する報酬を持つ観察を受信する。次に、エージェントは利用可能なアクションのセットからアクションを選択し、その後、環境２５２０に送信される。環境２５２０は新しい状態に移行し、その移行に関連する報酬が決定される。強化学習エージェント２５１０の目標は、できるだけ多くの報酬を収集することである。エージェント２５１０は、以前のアクションの履歴に応じて任意のアクションを（おそらくランダムに）選択することができる。 With respect to FIG. 25,
一実施形態では、強化学習システムを、ユーザが何を問題領域であると考えているか、およびユーザが最良の顔の特徴部分としてどの領域を強調したいかを学習するように構成してもよく、２つの強化学習プロセスとして提供してよい。図２６は、本開示の例示的な態様による、機械学習システムのフロー図である。上述したように、強化学習は一般に、報酬２５２０ａのフィードバックを通じて学習を行う。実施形態によっては、フィードバックは、ユーザが顔画像にメイクアップ製品を適用するときに、モバイルアプリケーション１１１との音声対話の形で提供されうる。音声フィードバックは、マイクロフォン１０３ａ、２４１を使用して提供することができ、その音声フィードバックは、音声回路２４２を介して出力される質問および発言に応答して提供されうる。 In one embodiment, the reinforcement learning system may be configured to learn what the user considers to be problem areas and which areas the user would like to emphasize as the best facial features; It may be provided as two reinforcement learning processes. FIG. 26 is a flow diagram of a machine learning system, according to example aspects of the disclosure. As mentioned above, reinforcement learning generally performs learning through reward 2520a feedback. In some embodiments, feedback may be provided in the form of an audio interaction with the
一実施形態では、強化学習システム２６００は、複数の強化学習モデルの形態をとることができる。１つの強化学習モデル２６０３は、顔画像に対するメイクアップ製品の１回または一連のスワイプ２６０１に基づいて問題領域を検出しうる。強化学習システム２６００は、「問題領域にメイクアップを適用していますか？」などの質問をすることによって、問題領域の検出を検証してよい（すなわち、報酬をフィードバックしてよい）。別の強化学習モデル２６０５は、顔画像に対するメイクアップ製品の１回または一連のスワイプ２６０１に基づいて最良の顔の特徴部分を検出してよい。強化学習システム２６００は、「最良の顔の特徴部分にメイクアップを適用していますか？」などの質問をすることによって、最良の顔の特徴部分の検出を検証してよい（すなわち、報酬をフィードバックしてよい）。強化学習システムは、問題領域の位置や最良の顔の特徴の情報を利用して、「シミにメイクアップを適用していますか？」または「目の色を強調するためにメイクアップを適用していますか？」など、より具体的な質問を提供する場合がある。 In one embodiment,
図２６の強化学習システム２６００は一連の機械学習モデルであるが、代替アプローチは、最初に１つまたは一連のスワイプを問題領域、最良の顔の特徴部分、またはそのどちらでもないものとして分類し、最初の分類の結果を強化学習モデル２６０３、強化学習モデル２６０５のいずれかに提供する、またはどちらのモデルにも提供しない、機械学習コンポーネントを含むことであってもよい。 Although the
ユーザによる応答は、強化学習システムに報酬を適用するために使用されてもよい。報酬は、ユーザの応答に応じて正または負のスコアになる場合がある。スコアは、それぞれの機械学習モデル２６０３または２６０５のパラメータを調整するために使用されるであろう。 Responses by the user may be used to apply rewards to the reinforcement learning system. The reward may be a positive or negative score depending on the user's response. The scores will be used to adjust the parameters of the respective machine learning model 2603 or 2605.
強化学習と同様の継続学習を実行して、問題領域を検出したり、最良の顔の特徴部分を検出したりする別のアプローチは、回帰分析である。回帰分析の利点は、計算が速いことである。ただし、非線形回帰分析のモデルは、予測可能なデータ予測により適している。メイクアップスワイプのデータは、問題領域や最良の特徴部分以外の理由で行われることがあるため、明確に予測することが難しい場合がある。 Another approach that performs continuous learning similar to reinforcement learning to detect problem areas or find the best facial features is regression analysis. The advantage of regression analysis is that it is computationally fast. However, nonlinear regression analysis models are better suited for predictable data prediction. Makeup swipe data can be difficult to predict with certainty, as it may be done for problem areas or reasons other than the best features.
一実施形態では、用語「ａ」、「ａｎ」などは、別様に示されない限り、概して、「１つ以上」の意味を有する。 In one embodiment, the terms "a," "an," etc. generally have the meaning of "one or more," unless indicated otherwise.
一実施形態では、用語「約」、「近似」、「おおよそ」、および類似の用語は、概して、２０％、１０％、または好ましくは５％のマージン内の特定された値、およびそれらの間の任意の値を含む範囲を指す。 In one embodiment, the terms "about," "approximate," "approximately," and similar terms generally refer to specified values within a margin of 20%, 10%, or preferably 5%, and between them. Refers to a range that includes any value of .
その結果として、添付の特許請求の範囲内で、本発明は、本明細書に具体的に記載される以外の方法で実施されうることを理解されたい。 Consequently, it is to be understood that within the scope of the appended claims, the invention may be practiced otherwise than as specifically described herein.
上記の開示はまた、以下に列挙される実施形態を包含する。 The above disclosure also encompasses the embodiments listed below.
（１）メイクアップ用の拡張現実システム。拡張現実システムは、ユーザが選択可能なメイクアップ目的の１つ以上のインスタンスを生成し、ユーザが選択したメイクアップ目的情報を受信するように構成されたグラフィカルユーザインタフェースに動作可能に結合された計算回路を含むメイクアップ目的ユニットと；メイクアップ目的ユニットに動作可能に結合されたメイクアップパレットユニットであって、メイクアップパレットユニットは、ユーザが選択したメイクアップ目的情報に従ってデジタルメイクアップ製品用の少なくとも１つのデジタルメイクアップパレットを生成するように構成された計算回路を含む、メイクアップパレットユニットと；ユーザが選択したメイクアップ目的情報に従ってバーチャル試着の１つ以上のインスタンスを生成するように構成された計算回路を含む、メイクアップ目的視覚化ユニットとを含む。 (1) Augmented reality system for makeup. The augmented reality system includes a computation operatively coupled to a graphical user interface configured to generate one or more instances of user-selectable makeup objectives and to receive user-selected makeup objective information. a makeup object unit including circuitry; a makeup palette unit operably coupled to the makeup object unit, the makeup palette unit configured to provide at least one digital makeup product according to user-selected makeup object information; a makeup palette unit comprising a computational circuit configured to generate one digital makeup palette; configured to generate one or more instances of virtual try-on according to user-selected makeup objective information; and a make-up purpose visualization unit, including a calculation circuit.
（２）メイクアップ目的視覚化ユニットの計算回路は、ユーザの顔の少なくとも一部を含むユーザの１つ以上のデジタル画像を受信し、ユーザの顔画像を分析して顔パーツを特定し、ユーザの顔画像にデジタルメイクアップ製品を適用するユーザによる少なくとも１つのジェスチャを追跡し、メモリ内に記録し、少なくとも１つのジェスチャを分析してユーザの顔の問題領域を推定するか、または特定の顔の特徴部分の強調を推定し、推定された問題領域または推定された強調された顔の特徴部分を、適用されたカバレッジ、色合い、および仕上がりとともにメモリ内に格納するようにさらに構成される、特徴（１）に記載のメイクアップ用の拡張現実システム。 (2) the computing circuitry of the makeup purpose visualization unit receives one or more digital images of the user including at least a portion of the user's face, analyzes the facial images of the user to identify facial parts, and track and record in memory at least one gesture by a user applying a digital makeup product to a facial image of the user; analyze the at least one gesture to estimate problem areas on the user's face; or the feature further configured to estimate enhancement of the feature portion of the feature and store the estimated problem region or the estimated enhanced facial feature portion in memory along with applied coverage, tint, and finish; The augmented reality system for makeup according to (1).
（３）メイクアップ目的視覚化ユニットの計算回路は、ユーザが選択したメイクアップ目的情報と一致する少なくとも１つの変更を含むユーザの顔の一部のバーチャル表現を生成するようにさらに構成される、特徴（２）に記載のメイクアップ用の拡張現実システム。 (3) the computational circuitry of the makeup purpose visualization unit is further configured to generate a virtual representation of a portion of the user's face that includes at least one modification consistent with the user-selected makeup purpose information; The augmented reality system for makeup according to feature (2).
（４）タッチスクリーンをさらに備え、ユーザによる少なくとも１つのジェスチャは、タッチスクリーン上の１回以上のスワイプを含み、メイクアップ目的視覚化ユニットの計算回路は、１回以上のスワイプを検出し、選択された色をユーザの顔の画像内の位置に適用するようにさらに構成される、特徴（２）または（３）に記載のメイクアップ用の拡張現実システム。 (4) further comprising a touch screen, wherein the at least one gesture by the user includes one or more swipes on the touch screen, and the computational circuitry of the makeup purpose visualization unit detects and selects the one or more swipes; The augmented reality system for makeup according to feature (2) or (3), further configured to apply the colored color to a location within the image of the user's face.
（５）メイクアップ目的視覚化ユニットの計算回路は、タッチスクリーン上の１回以上のスワイプを検出し、ユーザの顔画像内の位置にある顔パーツの境界によって限定される画像の領域に選択された色を適用するようにさらに構成される、特徴（４）に記載のメイクアップ用の拡張現実システム。 (5) The computational circuitry of the makeup purpose visualization unit detects one or more swipes on the touch screen and selects a region of the image bounded by the boundaries of the facial parts located in the user's facial image. The augmented reality system for make-up according to feature (4), further configured to apply colored colors.
（６）メイクアップ目的視覚化ユニットの計算回路は、メイクアップの適用におけるユーザの経験レベルを受信し、タッチスクリーン上の１回以上のスワイプを検出し、スワイプによって示された顔パーツの位置でユーザの顔画像の領域に選択された色を適用し、顔パーツは境界を有し、適用された色を分析して、１回以上のスワイプが境界から許容量を越えているかどうかを判定するようにさらに構成され、許容量はメイクアップの適用におけるユーザの経験レベルに基づく、特徴（２）または（３）に記載のメイクアップ用の拡張現実システム。 (6) The computing circuitry of the makeup purpose visualization unit receives the user's experience level in applying makeup, detects one or more swipes on the touch screen, and at the location of the facial part indicated by the swipe. applying a selected color to an area of the user's facial image, the facial feature having a border, and analyzing the applied color to determine if one or more swipes are beyond the allowed amount from the border; The augmented reality system for makeup according to feature (2) or (3), further configured to: and wherein the tolerance is based on the user's level of experience in applying makeup.
（７）タッチスクリーンは、スクリーンに加えられる圧力の量を感知する３次元タッチスクリーンであり、ユーザによる少なくとも１つのジェスチャは、スクリーン上で一定の圧力で３次元タッチスクリーン上でのスワイプを含み、計算回路は、１回以上のスワイプおよびスワイプの圧力を検出し、圧力に応じた厚さで選択された色をユーザの顔画像内の位置に適用するようにさらに構成される、特徴（４）または（５）に記載のメイクアップ用の拡張現実システム。 (7) the touch screen is a three-dimensional touch screen that senses the amount of pressure applied to the screen, and the at least one gesture by the user includes a swipe on the three-dimensional touch screen with a constant pressure on the screen; feature (4), wherein the computational circuitry is further configured to detect one or more swipes and swipe pressure and apply the selected color to a location in the user's facial image with a thickness responsive to the pressure; Or the augmented reality system for makeup according to (5).
（８）メイクアップ目的視覚化ユニットの計算回路は、ジェスチャを分析して、問題領域強化学習モデルを使用して問題領域を推定するようにさらに構成される、特徴（２）または（３）に記載のメイクアップ用の拡張現実システム。 (8) The computational circuitry of the makeup objective visualization unit is further configured to analyze the gesture and estimate the problem area using the problem area reinforcement learning model, according to feature (2) or (3). Augmented reality system for makeup described.
（９）メイクアップ目的視覚化ユニットの計算回路は、ジェスチャを分析して、最良の特徴部分強化学習モデルを使用して顔の特徴部分の強調を推定するようにさらに構成される、特徴（２）または（３）に記載のメイクアップ用の拡張現実システム。 (9) the computational circuitry of the makeup purpose visualization unit is further configured to analyze the gesture and estimate enhancement of the facial feature using the best feature reinforcement learning model; ) or the augmented reality system for makeup according to (3).
（１０）メイクアップ目的視覚化ユニットの計算回路は、ジェスチャ識別機械学習モデルを使用して、問題領域に対するジェスチャと強調された顔の特徴部分に対するジェスチャとを区別するようにさらに構成される、特徴（２）または（３）に記載のメイクアップ用の拡張現実システム。 (10) the computational circuitry of the makeup purpose visualization unit is further configured to distinguish between gestures for the problem area and gestures for the highlighted facial feature using a gesture identification machine learning model; The augmented reality system for makeup according to (2) or (3).
（１１）メイクアップ目的視覚化ユニットの計算回路は、モバイルデバイスの音声出力機能を使用して、ユーザの顔画像にデジタルメイクアップ製品を適用する方法についての推奨を希望するかどうかをユーザに質問するようにさらに構成される、特徴（２）または（３）に記載のメイクアップ用の拡張現実システム。 (11) The computational circuitry of the makeup purpose visualization unit asks the user whether he or she would like recommendations on how to apply digital makeup products to the user's facial image using the voice output feature of the mobile device. The augmented reality system for make-up according to feature (2) or (3), further configured to:
（１２）メイクアップパレットユニットの計算回路は、複数のデジタルメイクアップ製品用の複数のプリセットサブカルチャーパレットからサブカルチャーパレットを取得するように構成される、特徴（１）から（１１）のいずれかに記載のメイクアップ用の拡張現実システム。 (12) Any of features (1) to (11), wherein the calculation circuitry of the makeup palette unit is configured to obtain a subculture palette from a plurality of preset subculture palettes for a plurality of digital makeup products. Augmented reality system for makeup described in.
（１３）メイクアップ目的視覚化ユニットの計算回路は、ユーザの顔を多かれ少なかれドラマチックにするための少なくとも１つの変更を含む、サブカルチャーパレットを使用してユーザの顔のバーチャル表現を生成するようにさらに構成される、特徴（１２）に記載のメイクアップ用の拡張現実システム。 (13) the computational circuitry of the makeup objective visualization unit is configured to generate a virtual representation of the user's face using the subculture palette, including at least one modification to make the user's face more or less dramatic; The augmented reality system for makeup according to feature (12), further comprising:
（１４）メイクアップ目的視覚化ユニットの計算回路は、ユーザの顔の一部をぼかすことによってシミを除去するための少なくとも１つの変更を含む、サブカルチャーパレットを使用してユーザの顔のバーチャル表現を生成するようにさらに構成される、特徴（１２）または（１３）に記載のメイクアップ用の拡張現実システム。 (14) The computational circuitry of the makeup objective visualization unit uses a subculture palette to represent a virtual representation of the user's face, including at least one modification for removing blemishes by blurring a portion of the user's face. The augmented reality system for make-up according to feature (12) or (13), further configured to generate.
（１５）メイクアップ目的視覚化ユニットの計算回路は、ユーザの顔のバーチャル表現をライブビデオ用のプラットフォームに転送するようにさらに構成される、特徴（１）から（１４）のいずれかに記載の拡張現実システム。 (15) The computing circuitry of the makeup purpose visualization unit is further configured to transfer the virtual representation of the user's face to a platform for live video. Augmented reality system.
（１６）メイクアップ目的視覚化ユニットの計算回路は、ユーザの顔の少なくとも一部を含むユーザの１つ以上のデジタル画像を、第２のユーザのための第２のメイクアップ目的視覚化ユニットに送信するようにさらに構成され、第２のメイクアップ目的視覚化ユニットの計算回路は、ユーザの顔画像を分析して顔パーツを特定し、ユーザの顔画像にデジタルメイクアップ製品を適用する第２のユーザによる少なくとも１つのジェスチャを追跡し、メモリ内に記録し、少なくとも１つのジェスチャを分析して、ユーザの顔の問題領域を推定するか、または特定の顔の特徴部分の強調を推定し、推定された問題領域または推定された強調された顔の特徴部分を、適用されたカバレッジ、色合いおよび仕上がりとともにそのメモリ内に格納するように構成される、特徴（１）から（１５）のいずれかに記載のメイクアップ用の拡張現実システム。 (16) the computational circuitry of the makeup purpose visualization unit transmits one or more digital images of the user, including at least a portion of the user's face, to a second makeup purpose visualization unit for a second user; the computing circuitry of the second makeup objective visualization unit is further configured to transmit a second makeup objective visualization unit for analyzing the facial image of the user to identify facial parts and applying digital makeup products to the facial image of the user; tracking and recording in memory at least one gesture by a user of the user, and analyzing the at least one gesture to estimate problem areas of the user's face or to estimate enhancement of particular facial features; any of features (1) to (15) configured to store in its memory an estimated problem region or an estimated enhanced facial feature portion with applied coverage, tint and finish; Augmented reality system for makeup described in.
（１７）第２のメイクアップ目的視覚化ユニットの計算回路は、メイクアップの適用における第２のユーザ経験レベルを受信し、タッチスクリーン上の１回以上のスワイプを検出し、スワイプによって示された顔パーツの位置にあるユーザの顔画像の領域に選択された色を適用し、顔パーツは境界を有し、適用された色を分析して、１回以上のスワイプが境界から許容量を越えているかどうかを判定するようにさらに構成され、許容量はメイクアップの適用における第２のユーザの経験レベルに基づく、特徴（１６）に記載のメイクアップ用の拡張現実システム。 (17) the computational circuitry of the second makeup objective visualization unit receives a second user experience level in applying makeup, detects one or more swipes on the touch screen, and detects the one or more swipes indicated by the swipe. Applies the selected color to an area of the user's facial image at the location of the facial feature, the facial feature has a border, and analyzes the applied color to determine if one or more swipes exceed the allowed amount from the border. The augmented reality system for make-up according to feature (16), further configured to determine whether the second user has applied the make-up, and wherein the acceptable amount is based on the second user's level of experience in applying make-up.
（１８）第２のメイクアップ目的視覚化ユニットの計算回路は、ジェスチャを分析して、問題領域強化学習モデルを使用して問題領域を推定するようにさらに構成される、特徴（１６）または（１７）に記載のメイクアップ用の拡張現実システム。 (18) the computational circuitry of the second makeup objective visualization unit is further configured to analyze the gesture and estimate the problem domain using the problem domain reinforcement learning model; The augmented reality system for makeup according to 17).
（１９）第２のメイクアップ目的視覚化ユニットの計算回路は、ジェスチャを分析して、最良の特徴部分強化学習モデルを使用して顔の特徴部分の強調を推定するようにさらに構成される、特徴（１６）から（１８）のいずれかに記載のメイクアップ用の拡張現実システム。 (19) the computational circuitry of the second makeup objective visualization unit is further configured to analyze the gesture and estimate facial feature enhancement using the best feature reinforcement learning model; The augmented reality system for makeup according to any one of features (16) to (18).
（２０）第２のメイクアップ目的視覚化ユニットの計算回路は、ジェスチャ識別機械学習モデルを使用して、問題領域に対するジェスチャと強調された顔の特徴部分に対するジェスチャとを区別するようにさらに構成される、特徴（１６）から（１９）のいずれかに記載のメイクアップ用の拡張現実システム。 (20) The computational circuitry of the second makeup objective visualization unit is further configured to distinguish between gestures for the problem area and gestures for the highlighted facial feature using the gesture identification machine learning model. The augmented reality system for makeup according to any one of features (16) to (19).
（２１）メイクアップ用の拡張現実システムであって、ユーザが選択可能なメイクアップ目的の１つ以上のインスタンスを生成し、ユーザが選択したメイクアップ目的情報を受信するように構成されたグラフィカルユーザインタフェースに動作可能に結合された計算回路を含むメイクアップ目的ユニットと；メイクアップ目的ユニットに動作可能に結合されたメイクアップパレットユニットであって、メイクアップパレットユニットは、デジタルメイクアップ製品用の少なくとも１つのデジタルメイクアップパレットを生成するように構成された計算回路を含む、メイクアップパレットユニットと；ユーザの顔を分析して、顔形状、顔のランドマーク、肌の色合い、髪の色、目の色、唇の形状、まぶたの形状、ヘアスタイルおよび明るさのうちの１つ以上を特定し、ユーザが選択したメイクアップ目的情報と、ユーザの顔の分析に基づいて生成された少なくとも１つのデジタルメイクアップパレットとに従って、ユーザのためのカスタムバーチャル試着の１つ以上のインスタンスを自動的に作成するように構成された計算回路を含むメイクアップ目的視覚化ユニットとを含む、拡張現実システム。 (21) An augmented reality system for makeup, the graphical user configured to generate one or more instances of user-selectable makeup objectives and to receive user-selected makeup objective information. a makeup object unit including a computing circuit operably coupled to the interface; a makeup palette unit operably coupled to the makeup object unit, the makeup palette unit comprising at least one computer for digital makeup products; a makeup palette unit including a computational circuit configured to generate a digital makeup palette; analyze the user's face to determine facial shape, facial landmarks, skin tone, hair color, and eyes; identifying one or more of color, lip shape, eyelid shape, hairstyle, and brightness, and at least one makeup purpose information selected by the user and generated based on an analysis of the user's face. An augmented reality system comprising a digital makeup palette and a makeup objective visualization unit that includes a computational circuit configured to automatically create one or more instances of a custom virtual try-on for a user according to.
（２２）少なくとも１つのデジタルメイクアップパレットは、カバレッジ、色合い、および仕上がりを有する複数の色を含む、特徴（２１）に記載のメイクアップ用の拡張現実システム。 (22) The augmented reality system for makeup according to feature (21), wherein the at least one digital makeup palette includes a plurality of colors with coverage, tint, and finish.
（２３）メイクアップ目的視覚化ユニットの計算回路は、ユーザの顔の少なくとも一部を含むユーザの１つ以上のデジタル画像を受信し、ユーザの顔画像を分析して顔パーツを特定するようにさらに構成される、特徴（２１）または（２２）に記載のメイクアップ用の拡張現実システム。 (23) the computing circuitry of the makeup purpose visualization unit is configured to receive one or more digital images of the user including at least a portion of the user's face, and to analyze the facial image of the user to identify facial parts. The augmented reality system for makeup according to feature (21) or (22), further comprising:
（２４）メイクアップ目的視覚化ユニットの計算回路は、顔パーツを明確にするために、１つ以上のデジタル画像内の明るさを補正するようにさらに構成される、特徴（２３）に記載のメイクアップ用の拡張現実システム。 (24) The computational circuitry of the makeup purpose visualization unit is further configured to correct brightness within the one or more digital images to clarify facial parts. Augmented reality system for makeup.
（２５）メイクアップ目的視覚化ユニットの計算回路は、取得された少なくとも１つのデジタルメイクアップパレットに基づいて少なくとも１つのメイクアップフィルタを選択し、少なくとも１つのメイクアップフィルタを使用してユーザのためのカスタムバーチャル試着を作成するようにさらに構成される、特徴（２１）から（２４）のいずれかに記載のメイクアップ用の拡張現実システム。 (25) The calculation circuit of the makeup purpose visualization unit selects at least one makeup filter based on the obtained at least one digital makeup palette, and uses the at least one makeup filter for the user. The augmented reality system for makeup according to any of features (21) to (24), further configured to create a custom virtual try-on of.
（２６）少なくとも１つのメイクアップフィルタは、以前に記録されたジェスチャを使用して形成される、特徴（２５）に記載のメイクアップ用の拡張現実システム。 (26) The augmented reality system for makeup according to feature (25), wherein the at least one makeup filter is formed using previously recorded gestures.
（２７）少なくとも１つのメイクアップフィルタは、以前に格納された推定の問題領域および推定された強調された顔の特徴部分を使用して形成される、特徴（２６）に記載のメイクアップ用の拡張現実システム。 (27) The at least one makeup filter for makeup according to feature (26) is formed using a previously stored estimated problem region and an estimated enhanced facial feature. Augmented reality system.
（２８）メイクアップ目的視覚化ユニットの計算回路は、過去のルックの好みに基づいて少なくとも１つのメイクアップフィルタを選択するようにさらに構成される、特徴（２６）または（２７）に記載のメイクアップ用の拡張現実システム。 (28) Make-up according to feature (26) or (27), wherein the calculation circuit of the make-up purpose visualization unit is further configured to select at least one make-up filter based on past look preferences. Augmented reality system for up.
（２９）メイクアップ目的視覚化ユニットの計算回路は、ユーザの顔の一部をぼかすことによってシミを除去することを含む、ユーザのためのカスタムバーチャル試着を作成するようにさらに構成される、特徴（２３）または（２４）に記載のメイクアップ用の拡張現実システム。 (29) the computational circuitry of the makeup objective visualization unit is further configured to create a custom virtual try-on for the user, including removing blemishes by blurring a portion of the user's face; The augmented reality system for makeup according to (23) or (24).
（３０）メイクアップ目的視覚化ユニットの計算回路は、１つ以上のインスタンスをメモリ内に保存する機能を備え、カスタムバーチャル試着の１つ以上のインスタンスを表示するようにさらに構成される、特徴（２１）から（２９）のいずれかに記載のメイクアップ用の拡張現実システム。 (30) the computational circuitry of the makeup objective visualization unit is capable of storing one or more instances in memory and is further configured to display one or more instances of the custom virtual try-on; The augmented reality system for makeup according to any one of 21) to (29).
（３１）メイクアップ目的視覚化ユニットの計算回路は、複数のデジタルメイクアップパレットに基づいて作成されたカスタムバーチャル試着の１つ以上のインスタンスをメモリに格納するようにさらに構成される、特徴（２１）から（３０）のいずれかに記載のメイクアップ用の拡張現実システム。 (31) the computational circuitry of the makeup objective visualization unit is further configured to store in memory one or more instances of custom virtual try-ons created based on the plurality of digital makeup palettes; ) to (30).
（３２）メイクアップ目的視覚化ユニットの計算回路は、カスタムバーチャル試着を、ライブビデオを提供するプラットフォームに転送するようにさらに構成される、特徴（２１）から（３１）のいずれかに記載のメイクアップ用の拡張現実システム。 (32) Makeup according to any of features (21) to (31), wherein the computing circuitry of the makeup purpose visualization unit is further configured to transfer the custom virtual try-on to a platform providing live video. Augmented reality system for up.
（３３）複数のメイクアップフィルタを含むインデックス付きデータベースを含むレコメンダシステムをさらに備え、レコメンダシステムは、デジタルメイクアップの適用方法を示す要求に応じて、インデックス付きデータベースから１つ以上のメイクアップフィルタを取得し、顔画像を取得された１つ以上のメイクアップフィルタとブレンドすることによってビデオフレームのシーケンスを生成し、ビデオフレームのシーケンスを表示するように構成される、特徴（２１）から（３２）のいずれかに記載のメイクアップ用の拡張現実システム。 (33) further comprising a recommender system including an indexed database including a plurality of makeup filters, wherein the recommender system selects one or more makeups from the indexed database in response to a request indicating how to apply digital makeup. from feature (21), configured to obtain a filter, generate a sequence of video frames by blending the facial image with the obtained one or more makeup filters, and display the sequence of video frames; The augmented reality system for makeup according to any one of 32).
（３４）インデックス付きデータベースはメイクアップフィルタの複数のカテゴリを含み、レコメンダシステムは、メイクアップフィルタの複数のカテゴリのうちの１つのカテゴリにデジタルメイクアップを適用する要求に応じて、インデックス付きデータベースから１つ以上のメイクアップフィルタを取得するようにさらに構成される、特徴（３３）に記載のメイクアップ用の拡張現実システム。 (34) the indexed database includes a plurality of categories of makeup filters; The augmented reality system for makeup according to feature (33), further configured to obtain one or more makeup filters from.
（３５）メイクアップフィルタのカテゴリがサブカルチャーメイクアップルックであり、メイクアップ目的ユニットの計算回路は、ユーザが選択可能なメイクアップ目的の１つ以上のインスタンスとしてサブカルチャーメイクアップルックを生成するように構成され、メイクアップ目的視覚化ユニットの計算回路は、ユーザが選択したサブカルチャーメイクアップルックに従って、ユーザのためのカスタムバーチャル試着の１つ以上のインスタンスを自動的に作成するように構成される、特徴（３４）に記載のメイクアップ用の拡張現実システム。 (35) the category of the makeup filter is a subculture makeup look, and the computational circuitry of the makeup objective unit is configured to generate the subculture makeup look as one or more instances of user-selectable makeup objectives; and the computational circuitry of the makeup objective visualization unit is configured to automatically create one or more instances of a custom virtual try-on for the user according to the subculture makeup look selected by the user. , the augmented reality system for makeup according to feature (34).
（３６）メイクアップ目的視覚化ユニットの計算回路は、１つ以上のインスタンスの中からカスタムバーチャル試着のインスタンスを選択し、カスタムバーチャル試着の選択されたインスタンスを、ライブビデオを提供するプラットフォームに転送するようにさらに構成される、特徴（３５）に記載のメイクアップ用の拡張現実システム。 (36) the computational circuitry of the makeup objective visualization unit selects an instance of the custom virtual try-on from among the one or more instances and transfers the selected instance of the custom virtual try-on to a platform providing live video; The augmented reality system for makeup according to feature (35), further configured to:
（３７）メイクアップ目的視覚化ユニットの計算回路は、カスタムバーチャル試着の１つ以上のインスタンスとしてメイクアップフィルタを作成し、作成された複数のメイクアップフィルタの中から１つのメイクアップフィルタを選択し、選択されたメイクアップフィルタをライブビデオに適用するようにさらに構成される、特徴（３６）に記載のメイクアップ用の拡張現実システム。 (37) The computational circuitry of the makeup purpose visualization unit creates makeup filters as one or more instances of the custom virtual try-on and selects one makeup filter from among the plurality of created makeup filters. , the augmented reality system for makeup according to feature (36), further configured to apply the selected makeup filter to the live video.
（３８）選択されたメイクアップフィルタは、ユーザが選択した複数のサブカルチャーメイクアップルックの中の１つのサブカルチャーメイクアップルック用であり、メイクアップ目的視覚化ユニットの計算回路は、選択されたメイクアップフィルタをライブビデオに適用してサブカルチャーメイクアップルックを実現するようにさらに構成される、特徴（３７）に記載の拡張現実システム。 (38) The selected makeup filter is for one subculture makeup look among the plurality of subculture makeup looks selected by the user, and the calculation circuit of the makeup purpose visualization unit selects the selected makeup filter. The augmented reality system of feature (37), further configured to apply makeup filters to the live video to achieve a subculture makeup look.
Claims (38)
Translated fromJapaneseユーザが選択可能なメイクアップ目的の１つ以上のインスタンスを生成し、ユーザが選択したメイクアップ目的情報を受信するように構成されたグラフィカルユーザインタフェースに動作可能に結合された計算回路を含むメイクアップ目的ユニットと；
前記メイクアップ目的ユニットに動作可能に結合されたメイクアップパレットユニットであって、前記メイクアップパレットユニットは、前記ユーザが選択したメイクアップ目的情報に従ってデジタルメイクアップ製品用の少なくとも１つのデジタルメイクアップパレットを生成するように構成された計算回路を含む、メイクアップパレットユニットと；
前記ユーザが選択したメイクアップ目的情報に従って、バーチャル試着の１つ以上のインスタンスを生成するように構成された計算回路を含むメイクアップ目的視覚化ユニットと
を備える、メイクアップ用の拡張現実システム。 An augmented reality system for makeup, comprising:
A makeup device that includes a computational circuit operably coupled to a graphical user interface configured to generate one or more instances of user-selectable makeup objectives and to receive user-selected makeup objective information. With the objective unit;
a makeup palette unit operably coupled to the makeup purpose unit, the makeup palette unit configured to store at least one digital makeup palette for digital makeup products according to the user-selected makeup purpose information; a makeup palette unit including a computing circuit configured to generate;
and a make-up purpose visualization unit configured to generate one or more instances of virtual try-on according to the user-selected make-up purpose information.
前記ユーザの顔の少なくとも一部を含む前記ユーザの１つ以上のデジタル画像を受信し、
前記ユーザの顔画像を分析して顔パーツを特定し、
前記ユーザの顔画像に前記デジタルメイクアップ製品を適用する前記ユーザによる少なくとも１つのジェスチャを追跡し、メモリ内に記録し、
前記少なくとも１つのジェスチャを分析して、前記ユーザの顔の問題領域を推定するか、または特定の顔の特徴部分の強調を推定し、
前記推定された問題領域または前記推定された強調された顔の特徴部分を、適用されたカバレッジ、色合い、および仕上がりとともに前記メモリ内に格納する
ようにさらに構成される、請求項１に記載のメイクアップ用の拡張現実システム。 The calculation circuit of the makeup purpose visualization unit is:
receiving one or more digital images of the user including at least a portion of the user's face;
Analyzing the user's facial image to identify facial parts;
tracking and recording in memory at least one gesture by the user applying the digital makeup product to an image of the user's face;
analyzing the at least one gesture to estimate problem areas of the user's face or to estimate enhancement of particular facial features;
The makeup of claim 1, further configured to store the estimated problem areas or the estimated enhanced facial features in the memory along with applied coverage, tint, and finish. Augmented reality system for up.
前記ユーザが選択したメイクアップ目的情報と一致する少なくとも１つの変更を含む、前記ユーザの顔の一部のバーチャル表現を生成するようにさらに構成される、請求項２に記載のメイクアップ用の拡張現実システム。 The calculation circuit of the makeup purpose visualization unit is:
3. The extension for makeup of claim 2, further configured to generate a virtual representation of a portion of the user's face that includes at least one modification consistent with makeup objective information selected by the user. reality system.
前記ユーザによる前記少なくとも１つのジェスチャは、前記タッチスクリーン上の１回以上のスワイプを含み、
前記メイクアップ目的視覚化ユニットの前記計算回路は、前記１回以上のスワイプを検出し、選択された色を前記ユーザの顔の前記画像内の位置に適用するようにさらに構成される、請求項２に記載のメイクアップ用の拡張現実システム。 Also equipped with a touch screen,
the at least one gesture by the user includes one or more swipes on the touch screen;
5. The computational circuitry of the makeup objective visualization unit is further configured to detect the one or more swipes and apply a selected color to a location in the image of the user's face. Augmented reality system for makeup according to item 2.
メイクアップの適用におけるユーザの経験レベルを受信し、
前記タッチスクリーン上の前記１回以上のスワイプを検出し、
前記スワイプによって示された顔パーツの位置で前記ユーザの顔の前記画像の領域に前記選択された色を適用し、前記顔パーツは境界を有し、
前記適用された色を分析して、前記１回以上のスワイプが前記境界から許容量を越えているかどうかを判定するようにさらに構成され、前記許容量は、メイクアップの適用における前記ユーザの経験レベルに基づく、請求項２に記載のメイクアップ用の拡張現実システム。 The calculation circuit of the makeup purpose visualization unit is:
receive the user's experience level in applying makeup;
detecting the one or more swipes on the touch screen;
applying the selected color to an area of the image of the user's face at the location of the facial feature indicated by the swipe, the facial feature having a border;
further configured to analyze the applied color to determine whether the one or more swipes exceed a tolerance from the boundary, the tolerance being dependent on the user's experience in applying makeup. Augmented reality system for makeup according to claim 2, based on levels.
前記ユーザによる前記少なくとも１つのジェスチャは、前記スクリーン上である特定の圧力で前記３次元タッチスクリーン上でのスワイプを含み、
前記計算回路は、前記１回以上のスワイプおよび前記スワイプの前記圧力を検出し、前記圧力に応じた厚さで前記選択された色を前記ユーザの顔の前記画像内の位置に適用するようにさらに構成される、請求項４に記載のメイクアップ用の拡張現実システム。 the touch screen is a three-dimensional touch screen that senses the amount of pressure applied to the screen;
the at least one gesture by the user includes a swipe on the three-dimensional touch screen with a certain pressure on the screen;
The calculation circuit is configured to detect the one or more swipes and the pressure of the swipe, and apply the selected color to a location in the image of the user's face with a thickness responsive to the pressure. 5. The augmented reality system for makeup according to claim 4, further comprising:
前記ユーザの顔を多かれ少なかれドラマチックにするための少なくとも１つの変更を含む、前記サブカルチャーパレットを使用して前記ユーザの前記顔のバーチャル表現を生成するようにさらに構成される、請求項１２に記載のメイクアップ用の拡張現実システム。 The calculation circuit of the makeup purpose visualization unit is:
13. The subculture palette of claim 12, further configured to generate a virtual representation of the user's face using the subculture palette, including at least one modification to make the user's face more or less dramatic. Augmented reality system for makeup.
前記ユーザの顔の前記一部をぼかすことによってシミを除去するための少なくとも１つの変更を含む、サブカルチャーパレットを使用して前記ユーザの前記顔のバーチャル表現を生成するようにさらに構成される、請求項１２に記載のメイクアップ用の拡張現実システム。 The calculation circuit of the makeup purpose visualization unit is:
further configured to generate a virtual representation of the face of the user using a subculture palette, including at least one modification to remove blemishes by blurring the portion of the user's face; Augmented reality system for makeup according to claim 12.
前記ユーザの前記顔の前記バーチャル表現をライブビデオ用のプラットフォームに転送するようにさらに構成される、請求項１に記載の拡張現実システム。 The calculation circuit of the makeup purpose visualization unit is:
The augmented reality system of claim 1, further configured to transfer the virtual representation of the face of the user to a platform for live video.
前記ユーザの顔の少なくとも一部を含む前記ユーザの１つ以上のデジタル画像を、第２のユーザのための第２のメイクアップ目的視覚化ユニットに送信するようにさらに構成され、
前記第２のメイクアップ目的視覚化ユニットの計算回路は：
前記ユーザの顔画像を分析して顔パーツを特定し、
前記ユーザの顔の前記画像に前記デジタルメイクアップ製品を適用する前記第２のユーザによる少なくとも１つのジェスチャを追跡し、メモリ内に記録し、
前記少なくとも１つのジェスチャを分析して、前記ユーザの顔の問題領域を推定するか、または特定の顔の特徴部分の強調を推定し、
前記推定された問題領域または前記推定された強調された顔の特徴部分を、適用されたカバレッジ、色合いおよび仕上がりとともに前記メモリに格納するように構成される、請求項１に記載のメイクアップ用の拡張現実システム。 The calculation circuit of the makeup purpose visualization unit is:
further configured to transmit one or more digital images of the user including at least a portion of the user's face to a second makeup purpose visualization unit for a second user;
The calculation circuit of the second makeup purpose visualization unit is:
Analyzing the user's facial image to identify facial parts;
tracking and recording in memory at least one gesture by the second user applying the digital makeup product to the image of the user's face;
analyzing the at least one gesture to estimate problem areas of the user's face or to estimate enhancement of particular facial features;
The make-up device of claim 1, configured to store the estimated problem areas or the estimated enhanced facial features in the memory along with applied coverage, tint and finish. Augmented reality system.
メイクアップの適用における前記第２のユーザの経験レベルを受信し、
前記タッチスクリーン上の前記１回以上のスワイプを検出し、
前記スワイプによって示された顔パーツの位置で前記ユーザの顔の前記画像の領域に前記選択された色を適用し、前記顔パーツは境界を有し、
前記適用された色を分析して、前記１回以上のスワイプが前記境界から許容量を越えているかどうかを判定するようにさらに構成され、前記許容量はメイクアップの適用における前記第２のユーザの経験レベルに基づく、請求項１６に記載のメイクアップ用の拡張現実システム。 The calculation circuit of the second makeup purpose visualization unit is:
receiving the second user's experience level in applying makeup;
detecting the one or more swipes on the touch screen;
applying the selected color to an area of the image of the user's face at the location of the facial feature indicated by the swipe, the facial feature having a border;
further configured to analyze the applied color to determine whether the one or more swipes exceed a tolerance amount from the boundary, the tolerance amount being applied to the second user in applying makeup. 17. The augmented reality system for makeup according to claim 16, based on the experience level of.
ユーザが選択可能なメイクアップ目的の１つ以上のインスタンスを生成し、ユーザが選択したメイクアップ目的情報を受信するように構成されたグラフィカルユーザインタフェースに動作可能に結合された計算回路を含むメイクアップ目的ユニットと；
前記メイクアップ目的ユニットに動作可能に結合されたメイクアップパレットユニットであって、前記イクアップパレットユニットはデジタルメイクアップ製品用の少なくとも１つのデジタルメイクアップパレットを生成するように構成された計算回路を含む、メイクアップパレットユニットと；
ユーザの顔を分析して顔形状、顔のランドマーク、肌の色合い、髪の色、目の色、唇の形状、まぶたの形状、ヘアスタイルおよび明るさのうちの１つ以上を特定し、前記ユーザが選択したメイクアップ目的情報と、前記ユーザの顔の前記分析に基づいて生成された前記少なくとも１つのデジタルメイクアップパレットに従って、ユーザのためのカスタムバーチャル試着の１つ以上のインスタンスを自動的に作成するように構成された、計算回路を含むメイクアップ目的視覚化ユニットと
を備える、メイクアップ用の拡張現実システム。 An augmented reality system for makeup, comprising:
A make-up device comprising computational circuitry operably coupled to a graphical user interface configured to generate one or more instances of user-selectable make-up objectives and to receive user-selected make-up objective information. With the objective unit;
a makeup palette unit operably coupled to the makeup destination unit, the makeup palette unit including a computing circuit configured to generate at least one digital makeup palette for a digital makeup product; A makeup palette unit, including;
analyzing the user's face to identify one or more of facial shape, facial landmarks, skin tone, hair color, eye color, lip shape, eyelid shape, hairstyle, and brightness; automatically generating one or more instances of a custom virtual try-on for a user according to makeup objective information selected by the user and the at least one digital makeup palette generated based on the analysis of the user's face; an augmented reality system for make-up, comprising: a make-up object visualization unit configured to create a make-up object;
前記ユーザの顔の少なくとも一部を含む前記ユーザの１つ以上のデジタル画像を受信し、
前記ユーザの顔画像を分析して顔パーツを特定するようにさらに構成される、請求項２１に記載のメイクアップ用の拡張現実システム。 The calculation circuit of the makeup purpose visualization unit is:
receiving one or more digital images of the user including at least a portion of the user's face;
22. The augmented reality system for makeup of claim 21, further configured to analyze facial images of the user to identify facial features.
前記顔パーツを明確にするために、前記１つ以上のデジタル画像の明るさを補正するようにさらに構成される、請求項２３に記載のメイクアップ用の拡張現実システム。 The calculation circuit of the makeup purpose visualization unit is:
24. The augmented reality system for makeup of claim 23, further configured to correct brightness of the one or more digital images to clarify the facial features.
前記少なくとも１つのメイクアップフィルタを使用して、前記ユーザの前記カスタムバーチャル試着を作成するようにさらに構成される、請求項２１に記載のメイクアップ用の拡張現実システム。 the calculation circuit of the makeup objective visualization unit selects at least one makeup filter based on the obtained at least one digital makeup palette;
22. The augmented reality system for makeup of claim 21, further configured to create the custom virtual try-on of the user using the at least one makeup filter.
前記レコメンダシステムは：
デジタルメイクアップを適用する方法を示す要求に応じて、前記インデックス付きデータベースから１つ以上のメイクアップフィルタを取得し；
前記顔画像を、前記取得された１つ以上のメイクアップフィルタとブレンドすることによってビデオフレームのシーケンスを生成し；
前記ビデオフレームのシーケンスを表示するように構成される、請求項２１に記載のメイクアップ用の拡張現実システム。 It further includes a recommender system that includes an indexed database containing multiple makeup filters,
The recommender system is:
retrieving one or more makeup filters from the indexed database in response to a request indicating how to apply digital makeup;
generating a sequence of video frames by blending the facial image with the obtained one or more makeup filters;
22. The augmented reality system for make-up according to claim 21, configured to display the sequence of video frames.
前記レコメンダシステムは：
前記メイクアップフィルタの複数のカテゴリのうちの１つのカテゴリにデジタルメイクアップを適用する要求に応じて、前記インデックス付きデータベースから１つ以上のメイクアップフィルタを取得するようにさらに構成される、請求項３３に記載のメイクアップ用の拡張現実システム。 the indexed database includes multiple categories of makeup filters;
The recommender system is:
5. The method of claim 1, further configured to retrieve one or more makeup filters from the indexed database in response to a request to apply digital makeup to one of the plurality of categories of makeup filters. The augmented reality system for makeup according to No. 33.
前記メイクアップ目的ユニットの前記計算回路は、ユーザが選択可能なメイクアップ目的の前記１つ以上のインスタンスとして前記サブカルチャーメイクアップのルックを生成するように構成され、
前記メイクアップ目的視覚化ユニットの前記計算回路は、前記ユーザが選択したサブカルチャーメイクアップルックに従って、ユーザのためのカスタムバーチャル試着の１つ以上のインスタンスを自動的に作成するように構成される、請求項３４に記載のメイクアップ用の拡張現実システム。 the makeup filter category is subculture makeup look;
the calculation circuitry of the makeup objective unit is configured to generate the subculture makeup look as the one or more instances of user-selectable makeup objectives;
the computational circuitry of the makeup objective visualization unit is configured to automatically create one or more instances of a custom virtual try-on for a user according to a subculture makeup look selected by the user; Augmented reality system for makeup according to claim 34.
前記メイクアップ目的視覚化ユニットの前記計算回路は、前記選択されたメイクアップフィルタを前記ライブビデオに適用して、前記サブカルチャーメイクアップルックを実現するようにさらに構成される、請求項３７に記載の拡張現実システム。 the selected makeup filter is for one subculture makeup look among a plurality of subculture makeup looks selected by the user;
38. The computational circuitry of the makeup objective visualization unit is further configured to apply the selected makeup filter to the live video to achieve the subculture makeup look. augmented reality system.
Applications Claiming Priority (9)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/138,031 | 2020-12-30 | ||
| US17/137,970US11321882B1 (en) | 2020-12-30 | 2020-12-30 | Digital makeup palette |
| US17/138,031US12136173B2 (en) | 2020-12-30 | 2020-12-30 | Digital makeup palette |
| US17/137,970 | 2020-12-30 | ||
| FR2107904AFR3125612B1 (en) | 2021-07-22 | 2021-07-22 | DIGITAL MAKEUP PALETTE |
| FR2107923 | 2021-07-22 | ||
| FR2107904 | 2021-07-22 | ||
| FR2107923AFR3125611A1 (en) | 2021-07-22 | 2021-07-22 | digital makeup palette |
| PCT/US2021/061654WO2022146615A1 (en) | 2020-12-30 | 2021-12-02 | Digital makeup palette |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2024506454Atrue JP2024506454A (en) | 2024-02-14 |
| JP7721649B2 JP7721649B2 (en) | 2025-08-12 |
Family
ID=79164968
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023540040AActiveJP7721649B2 (en) | 2020-12-30 | 2021-12-02 | Digital Makeup Palette |
Country Status (4)
| Country | Link |
|---|---|
| EP (1) | EP4272050A1 (en) |
| JP (1) | JP7721649B2 (en) |
| KR (1) | KR20230117240A (en) |
| WO (1) | WO2022146615A1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2025181286A1 (en)* | 2024-02-29 | 2025-09-04 | L'oréal | Apparatus, systems and methods for an effects rendering pipeline, including makeup effects, video conference streamlining and vto ui option configuration/selection and looks |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002117365A (en)* | 2000-10-10 | 2002-04-19 | Tokyo Sogo Kenkyusho:Kk | Make-up simulation service device |
| JP2009064423A (en)* | 2007-08-10 | 2009-03-26 | Shiseido Co Ltd | Makeup simulation system, makeup simulation device, makeup simulation method, and makeup simulation program |
| JP2010017360A (en)* | 2008-07-10 | 2010-01-28 | Sega Corp | Game device, game control method, game control program, and recording medium recording the program |
| KR20120066773A (en)* | 2010-12-15 | 2012-06-25 | 고스트리트(주) | A method of virtual make-up using mobile device |
| WO2015029371A1 (en)* | 2013-08-30 | 2015-03-05 | パナソニックＩｐマネジメント株式会社 | Makeup assistance device, makeup assistance method, and makeup assistance program |
| WO2017110041A1 (en)* | 2015-12-25 | 2017-06-29 | パナソニックＩｐマネジメント株式会社 | Makeup part creation device, makeup part usage device, makeup part creation method, makeup part usage method, makeup part creation program, and makeup part usage program |
| US20180075524A1 (en)* | 2016-09-15 | 2018-03-15 | GlamST LLC | Applying virtual makeup products |
| JP2018077766A (en)* | 2016-11-11 | 2018-05-17 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8908904B2 (en)* | 2011-12-28 | 2014-12-09 | Samsung Electrônica da Amazônia Ltda. | Method and system for make-up simulation on portable devices having digital cameras |
| US10192359B2 (en)* | 2014-01-31 | 2019-01-29 | Empire Technology Development, Llc | Subject selected augmented reality skin |
| US20160093081A1 (en)* | 2014-09-26 | 2016-03-31 | Samsung Electronics Co., Ltd. | Image display method performed by device including switchable mirror and the device |
| US10553006B2 (en)* | 2014-09-30 | 2020-02-04 | Tcms Transparent Beauty, Llc | Precise application of cosmetic looks from over a network environment |
| CN112036261A (en)* | 2020-08-11 | 2020-12-04 | 海尔优家智能科技（北京）有限公司 | Gesture recognition method and device, storage medium and electronic device |
- 2021
- 2021-12-02KRKR1020237024133Apatent/KR20230117240A/enactivePending
- 2021-12-02JPJP2023540040Apatent/JP7721649B2/enactiveActive
- 2021-12-02EPEP21835070.0Apatent/EP4272050A1/enactivePending
- 2021-12-02WOPCT/US2021/061654patent/WO2022146615A1/ennot_activeCeased
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002117365A (en)* | 2000-10-10 | 2002-04-19 | Tokyo Sogo Kenkyusho:Kk | Make-up simulation service device |
| JP2009064423A (en)* | 2007-08-10 | 2009-03-26 | Shiseido Co Ltd | Makeup simulation system, makeup simulation device, makeup simulation method, and makeup simulation program |
| JP2010017360A (en)* | 2008-07-10 | 2010-01-28 | Sega Corp | Game device, game control method, game control program, and recording medium recording the program |
| KR20120066773A (en)* | 2010-12-15 | 2012-06-25 | 고스트리트(주) | A method of virtual make-up using mobile device |
| WO2015029371A1 (en)* | 2013-08-30 | 2015-03-05 | パナソニックＩｐマネジメント株式会社 | Makeup assistance device, makeup assistance method, and makeup assistance program |
| WO2017110041A1 (en)* | 2015-12-25 | 2017-06-29 | パナソニックＩｐマネジメント株式会社 | Makeup part creation device, makeup part usage device, makeup part creation method, makeup part usage method, makeup part creation program, and makeup part usage program |
| US20180075524A1 (en)* | 2016-09-15 | 2018-03-15 | GlamST LLC | Applying virtual makeup products |
| JP2018077766A (en)* | 2016-11-11 | 2018-05-17 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7721649B2 (en) | 2025-08-12 |
| EP4272050A1 (en) | 2023-11-08 |
| WO2022146615A1 (en) | 2022-07-07 |
| KR20230117240A (en) | 2023-08-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12136173B2 (en) | Digital makeup palette | |
| US11776187B2 (en) | Digital makeup artist | |
| CN111968248B (en) | Intelligent cosmetic method and device based on virtual image, electronic equipment and storage medium | |
| JP6956389B2 (en) | Makeup support device and makeup support method | |
| TWI773096B (en) | Makeup processing method and apparatus, electronic device and storage medium | |
| TWI573093B (en) | Method of establishing virtual makeup data, electronic device having method of establishing virtual makeup data and non-transitory computer readable storage medium thereof | |
| US11961169B2 (en) | Digital makeup artist | |
| CN110738620B (en) | Intelligent makeup method, makeup mirror and storage medium | |
| CN109690617A (en) | System and method for digital vanity mirror | |
| CN108932654A (en) | A kind of virtually examination adornment guidance method and device | |
| JP2025103007A (en) | Digital Makeup Artist | |
| US11321882B1 (en) | Digital makeup palette | |
| JP7721649B2 (en) | Digital Makeup Palette | |
| US12342923B2 (en) | Augmented reality cosmetic design filters | |
| CN115393552A (en) | Beauty makeup interaction platform providing digital makeup trial and makeup method | |
| CN114021022A (en) | Method, device, vehicle and storage medium for acquiring makeup information | |
| KR20020069595A (en) | System and method for producing caricatures | |
| JP7727839B2 (en) | Augmented reality makeup design filters | |
| US20250261743A1 (en) | Smart Makeup Compact |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20230818 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20240820 | |
| A601 | Written request for extension of time | Free format text:JAPANESE INTERMEDIATE CODE: A601 Effective date:20241119 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20250120 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20250128 | |
| A601 | Written request for extension of time | Free format text:JAPANESE INTERMEDIATE CODE: A601 Effective date:20250422 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20250619 | |
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20250701 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20250730 | |
| R150 | Certificate of patent or registration of utility model | Ref document number:7721649 Country of ref document:JP Free format text:JAPANESE INTERMEDIATE CODE: R150 |