KR20240098867A - Apparatus for generating face image of cartoon character - Google Patents

Abstract

The present invention relates to an apparatus for generating a face image of a cartoon character, which comprises: a background removing module for removing a background from a portrait; a cartoon converting module for converting the portrait from which the background is removed into a cartoon style to generate a cartoon image; and a facial expression converting module for converting a facial expression or an angle of a target face of the cartoon image according to facial expression information to generate a new image.

Description

Translated fromKorean

만화 캐릭터 얼굴 이미지 생성 장치{APPARATUS FOR GENERATING FACE IMAGE OF CARTOON CHARACTER}Cartoon character face image generating device {APPARATUS FOR GENERATING FACE IMAGE OF CARTOON CHARACTER}

본 발명은 만화 캐릭터 얼굴 이미지 생성 장치에 관한 것으로서, 보다 상세하게는 인물 사진에서 배경을 제거하고 배경이 제거된 인물 사진을 만화 스타일로 변환하여 카툰 이미지를 생성한 후, 표정 정보에 따라 카툰 이미지의 대상 얼굴의 표정이나 각도를 변환하여 새로운 이미지를 생성하는 만화 캐릭터 얼굴 이미지 생성 장치에 관한 것이다.The present invention relates to a cartoon character face image generating device, and more specifically, to remove the background from a portrait photo and convert the portrait photo with the background removed into a cartoon style to create a cartoon image, and then create a cartoon image according to facial expression information. This relates to a cartoon character face image generating device that generates a new image by converting the expression or angle of the target face.

실제 촬영한 사진을 만화 형식으로 영상 변환을 하는 기술은 디지털콘텐츠 분야에서 아바타 생성 등에 많이 활용되고 있다. 이러한 기술은 3D 아바타 캐릭터를 생성하기 위해 3D 스캐너와 같은 전용 장비를 사용하거나 여러 각도에서 촬영한 여러 장의 이미지를 합성하여 만화 캐릭터 이미지를 생성하거나, 2D 인물 사진 한 장으로 만화 캐릭터 이미지를 생성한다.Technology that converts actual photos into cartoon format is widely used in the digital content field for creating avatars. These technologies use dedicated equipment such as a 3D scanner to create a 3D avatar character, create a cartoon character image by compositing multiple images taken from multiple angles, or create a cartoon character image from a single 2D portrait.

최근엔 카메라로 촬영한 인물 사진을 만화 스타일로 변환하는 기술과 더불어 만화 캐릭터 이미지의 표정을 다른 감정을 나타낸는 표정으로 변형하는 기술도 제시되고 있다. 예컨대, 얼굴 재연(facial reenactment) 기술은 원본 얼굴(source face) 모습(표정/각도)을 대상 얼굴에 나타낸게 하되 대상 얼굴(target face) 모습의 외모와 신원을 바꾸지 않는 조건으로 새로운 얼굴을 합성한다.Recently, in addition to technology for converting portraits taken with a camera into a cartoon style, technology has also been proposed for transforming the facial expressions of cartoon character images into facial expressions expressing different emotions. For example, facial reenactment technology displays the appearance (expression/angle) of the source face on the target face, but synthesizes a new face under the condition that the appearance and identity of the target face are not changed. .

본 발명의 배경기술은 대한민국 공개특허공보 10-2008-0033033호(2008.04.16)의 '만화제작 서비스 시스템 및 그 서비스 방법, 및 만화를 이용한 강좌 서비스 시스템 및 그 방법'에 개시되어 있다.The background technology of the present invention is disclosed in Korean Patent Publication No. 10-2008-0033033 (April 16, 2008) titled 'Cartoon production service system and service method, and lecture service system and method using comics'.

본 발명은 인물 사진으로부터 만화 캐릭터 이미지를 만들고 미리 학습된 인공지능 모델을 이용하여 사용자가 선택한 표정으로부터 해당 캐릭터 이미지의 표정과 얼굴 각도를 변경한 새로운 이미지를 생성하는 만화 캐릭터 얼굴 이미지 생성 장치를 제공하는 데 그 목적이 있다.The present invention provides a cartoon character face image generating device that creates a cartoon character image from a portrait photo and uses a pre-learned artificial intelligence model to generate a new image by changing the expression and facial angle of the character image from the facial expression selected by the user. There is a purpose.

본 발명의 일부 실시 예에 따른 만화 캐릭터 얼굴 이미지 생성 장치는 인물 사진에서 배경을 제거하는 배경 제거 모듈; 상기 배경이 제거된 인물 사진을 만화 스타일로 변환하여 카툰 이미지를 생성하는 카툰 변환 모듈; 및 표정 정보에 따라 상기 카툰 이미지의 대상 얼굴의 표정이나 각도를 변환하여 새로운 이미지를 생성하는 표정 변환 모듈을 포함하는 것을 특징으로 한다.An apparatus for generating a cartoon character face image according to some embodiments of the present invention includes a background removal module for removing the background from a portrait photo; a cartoon conversion module that generates a cartoon image by converting the portrait photo with the background removed into a cartoon style; and an expression conversion module that generates a new image by converting the expression or angle of the target face of the cartoon image according to expression information.

본 발명의 일측면에 따른 만화 캐릭터 얼굴 이미지 생성 장치는 인물 사진에서 배경을 제거하고 배경이 제거된 인물 사진을 만화 스타일로 변환하여 카툰 이미지를 생성한 후, 생성된 이미지에서 표정 정보에 따라 카툰 이미지의 대상 얼굴의 표정이나 각도를 변환하여 새로운 이미지를 생성한다.An apparatus for generating a cartoon character face image according to an aspect of the present invention generates a cartoon image by removing the background from a portrait photo and converting the portrait photo with the background removed into a cartoon style, and then generates a cartoon image according to facial expression information in the generated image. Create a new image by converting the expression or angle of the target face.

본 발명의 일측면에 따른 만화 캐릭터 얼굴 이미지 생성 장치는 인물 사진의 배경을 제거하여 결과 이미지의 외형 및 표정 변환의 정확도를 높일 수 있고, 사용자가 원하는 만화 배경에 바로 삽입하여 카툰 컷을 완성할 수 있도록 한다.The cartoon character face image generating device according to one aspect of the present invention can improve the accuracy of the appearance and expression conversion of the resulting image by removing the background of the portrait photo, and can complete the cartoon cut by directly inserting it into the cartoon background desired by the user. Let it happen.

본 발명의 일측면에 따른 만화 캐릭터 얼굴 이미지 생성 장치는 딥러닝 모델을 활용하여 펜아트(pen artwork) 이미지를 생성하고 채색하여 만화 이미지의 품질을 높일 수 있다.A cartoon character face image generating device according to one aspect of the present invention can improve the quality of cartoon images by generating and coloring pen art images using a deep learning model.

본 발명의 일측면에 따른 만화 캐릭터 얼굴 이미지 생성 장치는 스케치 이미지는 고해상도 이미지로 유지하고 채색 이미지로부터는 초해상화를 통해 고해상도 영상을 생성하므로 최종적으로 고품질의 영상을 합성할 수 있다.The cartoon character face image generating device according to one aspect of the present invention maintains the sketch image as a high-resolution image and generates a high-resolution image from the colored image through super-resolution, so that a high-quality image can be synthesized.

본 발명의 일측면에 따른 만화 캐릭터 얼굴 이미지 생성 장치는 최종 표정 변환된 카툰 이미지에 대해서도 초해상화를 통해 고해상도 영상을 생성할 수 있다.The cartoon character face image generating device according to one aspect of the present invention can generate a high-resolution image through super-resolution even for the cartoon image whose final expression has been converted.

도 1은 본 발명의 일 실시 예에 따른 만화 캐릭터 얼굴 이미지 생성 장치의 블럭 구성도이다.
도 2는 본 발명의 일 실시 예에 따른 만화 캐릭터 얼굴 이미지 생성 과정의 예시도이다.
도 3은 본 발명의 일 실시 예에 따른 만화 캐릭터 얼굴 이미지 생성 방법의 순서도이다.
도 4는 본 발명의 일 실시 예에 따른 사진 기반 카툰 캐릭터 이미지 생성 예를 나타낸 도면이다.
도 5는 본 발명의 일 실시 예에 따른 카툰 캐릭터 이미지에 대한 표정 변경 예를 나타낸 도면이다.
도 6은 본 발명의 일 실시 예에 따른 원본 이미지의 표정과 각도로 대상 얼굴의 표정과 각도를 변환하는 예를 나타낸 도면이다.
도 7은 본 발명의 일 실시 예가 단말에 적용된 예를 나타낸 도면이다.
도 8은 본 발명의 일 실시 예에 따른 웹서비스 방식으로 구현된 결과물을 나타낸 도면이다.1 is a block diagram of an apparatus for generating a cartoon character face image according to an embodiment of the present invention.
Figure 2 is an exemplary diagram of a process for generating a cartoon character face image according to an embodiment of the present invention.
Figure 3 is a flowchart of a method for generating a cartoon character face image according to an embodiment of the present invention.
Figure 4 is a diagram showing an example of creating a photo-based cartoon character image according to an embodiment of the present invention.
Figure 5 is a diagram showing an example of changing the facial expression of a cartoon character image according to an embodiment of the present invention.
Figure 6 is a diagram illustrating an example of converting the expression and angle of a target face to the expression and angle of the original image according to an embodiment of the present invention.
Figure 7 is a diagram showing an example of an embodiment of the present invention applied to a terminal.
Figure 8 is a diagram showing the result implemented in the web service method according to an embodiment of the present invention.

이하에서는 본 발명의 일 실시 예에 따른 만화 캐릭터 얼굴 이미지 생성 장치의 실시 예를 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로, 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Below, an example of an apparatus for generating a cartoon character face image according to an embodiment of the present invention will be described. In this process, the thickness of lines or sizes of components shown in the drawings may be exaggerated for clarity and convenience of explanation. In addition, the terms described below are terms defined in consideration of functions in the present invention, and may vary depending on the intention or custom of the user or operator. Therefore, definitions of these terms should be made based on the content throughout this specification.

본 발명의 일 실시 예에 따른 만화 캐릭터 얼굴 이미지 생성 장치는 인물 사진에서 배경을 제거하고 배경이 제거된 인물 사진을 만화 스타일로 변환하여 카툰 이미지를 생성한 후, 표정 정보에 따라 카툰 이미지의 대상 얼굴의 표정이나 각도를 변환하여 새로운 이미지를 생성한다.An apparatus for generating a cartoon character face image according to an embodiment of the present invention generates a cartoon image by removing the background from a portrait photo and converting the portrait photo with the background removed into a cartoon style, and then generates a cartoon image of the target face of the cartoon image according to facial expression information. Create a new image by changing the facial expression or angle.

도 1은 본 발명의 일 실시 예에 따른 만화 캐릭터 얼굴 이미지 생성 장치의 블럭 구성도이다.1 is a block diagram of an apparatus for generating a cartoon character face image according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 만화 캐릭터 얼굴 이미지 생성 장치는 인물 사진에서 배경을 제거하는 배경 제거 모듈(100), 배경이 제거된 인물 사진을 만화 스타일로 변환하여 카툰 이미지를 생성하는 카툰 변환 모듈(200), 및 표정 정보에 따라 카툰 이미지의 대상 얼굴의 표정이나 각도를 변환하여 새로운 이미지를 생성하는 표정 변환 모듈(300)을 포함한다. 배경 제거 모듈(100), 카툰 변환 모듈(200) 및 표정 변환 모듈(300)은 프로세서(미도시)에 의해 구동되어 상기 각각의 동작을 수행할 수 있다. 또한, 배경 제거 모듈(100), 카툰 변환 모듈(200) 및 표정 변환 모듈(300)은 각각 기능 로직으로 구현되어 프로세서(미도시)에 의해 실행되도록 구성될 수도 있다.Referring to FIG. 1, the apparatus for generating a cartoon character face image according to an embodiment of the present invention includes abackground removal module 100 that removes the background from a portrait photo, and a cartoon image by converting the portrait photo with the background removed into a cartoon style. It includes acartoon conversion module 200 that generates a cartoon image, and anexpression conversion module 300 that generates a new image by converting the expression or angle of the target face of the cartoon image according to expression information. Thebackground removal module 100,cartoon conversion module 200, and facialexpression conversion module 300 may be driven by a processor (not shown) to perform each of the above operations. Additionally, thebackground removal module 100, thecartoon conversion module 200, and the facialexpression conversion module 300 may each be implemented with functional logic and configured to be executed by a processor (not shown).

본 발명의 일 실시 예에 따른 만화 캐릭터 얼굴 이미지 생성 장치는 스마트폰, 태블릿 PC, 노트북 컴퓨터 등과 같이 영상을 촬영할 수 있는 다양한 디바이스에 적용될 수 있다.The device for generating a cartoon character face image according to an embodiment of the present invention can be applied to various devices that can capture images, such as smartphones, tablet PCs, and laptop computers.

도 2는 본 발명의 일 실시 예에 따른 만화 캐릭터 얼굴 이미지 생성 과정의 예시도이다.Figure 2 is an exemplary diagram of a process for generating a cartoon character face image according to an embodiment of the present invention.

도 2를 참조하면, 배경 제거 모듈(100)은 도 2의 (a)와 같은 인물 사진을 입력받고, 도2의 (b)와 같이 인물 사진에서 배경을 제거한다.Referring to FIG. 2, thebackground removal module 100 receives a photo of a person as shown in (a) of FIG. 2 and removes the background from the photo of the person as shown in (b) of FIG. 2.

카툰 변환 모듈(200)은 배경이 제거된 인물 사진을 도 2의 (c)와 같이 만화 스타일로 변환하여 카툰 이미지를 생성한다.Thecartoon conversion module 200 generates a cartoon image by converting a photo of a person with the background removed into a cartoon style, as shown in (c) of FIG. 2.

표정 변환 모듈(300)은 딥러닝 기술을 사용하여 도 2의 (e)와 같이 전혀 다른 사용자의 표정이 담긴 표정 정보, 예컨대 얼굴 이미지를 레퍼런스(원본 얼굴)로 하여 대상 얼굴 즉, 도 2의 (c)의 외형이나 신원을 유지하면서 도 2의 (e)의 표정을 흉내내는 도 2의 (d)와 같은 새로운 이미지를 생성한다. 이때, 표정 변환 모듈(300)은 도 2의 (c)와 (e)의 얼굴 특징점(랜드마크)의 대응관계를 찾은 후 이미지 리샘플링 방식으로 이미지를 변형한 후 화질 개선 필터를 적용한다.The facialexpression conversion module 300 uses deep learning technology to convert facial expression information containing a completely different user's expression, such as a face image, as a reference (original face), as shown in (e) of FIG. 2, to the target face, that is, (in FIG. 2). A new image such as (d) in Figure 2 is created that mimics the facial expression of (e) in Figure 2 while maintaining the appearance or identity of c). At this time, the facialexpression conversion module 300 finds the correspondence between the facial feature points (landmarks) in (c) and (e) of Figure 2, transforms the image using an image resampling method, and then applies an image quality improvement filter.

이하, 본 발명의 일 실시 예에 따른 만화 캐릭터 얼굴 이미지 생성 방법을 도 3 내지 도 8을 참조하여 설명한다.Hereinafter, a method for generating a cartoon character face image according to an embodiment of the present invention will be described with reference to FIGS. 3 to 8.

도 3은 본 발명의 일 실시 예에 따른 만화 캐릭터 얼굴 이미지 생성 방법의 순서도이다.Figure 3 is a flowchart of a method for generating a cartoon character face image according to an embodiment of the present invention.

도 3을 참조하면, 먼저 배경 제거 모듈(100)은 인물 사진을 입력받는다(S100).Referring to FIG. 3, first, thebackground removal module 100 receives a photo of a person (S100).

배경 제거 모듈(100)은 외부의 디바이스(미도시)로부터 인물 사진을 입력받거나, 내부의 메모리로부터 인물 사진을 읽어들일 수 있다.Thebackground removal module 100 may receive a photo of a person from an external device (not shown) or read a photo of a person from an internal memory.

배경 제거 모듈(100)은 인물 사진의 배경을 제거한다(S200).Thebackground removal module 100 removes the background of a portrait photo (S200).

배경 제어 모듈에 의해 인물 사진의 배경이 제거됨에 따라, 표정이나 각도가 변환된 결과 이미지의 외형이나 표정 변환의 정확도가 개선되고, 사용자가 원하는 만화 배경에 바로 삽입되어 카툰 컷이 완성될 수 있다.As the background of the portrait is removed by the background control module, the accuracy of the appearance or expression conversion of the image is improved as a result of the expression or angle conversion, and the cartoon cut can be completed by directly inserting it into the user's desired cartoon background.

배경 제거 모듈(100)은 중요 물체 검출(SOD, Salient Object Detection) 기법을 이용하여 배경을 제거한다. 중요 물체 검출 기법은 사진에서 가장 중요하다고 판단되는 물체가 차지하는 영역만 분할한다. 중요 물체 검출 기법은 다른 배경 제거 알고리즘들에 비해 인물사진 배경 제거 작업에 매우 효과적이다.Thebackground removal module 100 removes the background using Salient Object Detection (SOD) technique. The important object detection technique divides only the area occupied by the most important object in the photo. The important object detection technique is very effective in removing the background of portrait photos compared to other background removal algorithms.

배경 제거 모듈(100)은 상기한 중요 물체 검출 기법을 이용하여 인물 사진에서 배경을 제거하고 인물 영역만 남긴다.Thebackground removal module 100 removes the background from a portrait photo using the above-described important object detection technique and leaves only the portrait area.

배경 제거 모듈(100)은 피처 맵(feature map)의 해상도를 줄이지 않고도 특징을 추출할 수 있는 이중의 U자형 구조(U2-Net)를 이용함으로써 인물 사진의 해상도를 높이고 계산 시간을 감소시킨다.Thebackground removal module 100 increases the resolution of portrait photos and reduces calculation time by using a dual U-shaped structure (U2-Net) that can extract features without reducing the resolution of the feature map.

배경을 제거하기 위해 사용되는 방법은 상기한 중요 물체 검출 기법에 한정되는 것은 아니다.The method used to remove the background is not limited to the above-described important object detection technique.

카툰 변환 모듈(200)은 배경 제거 모듈(100)에 의해 배경이 제거된 인물 사진을 만화 스타일로 변환하여 카툰 이미지를 생성한다(S300).Thecartoon conversion module 200 generates a cartoon image by converting a human photo from which the background has been removed by thebackground removal module 100 into a cartoon style (S300).

즉, 카툰 변환 모듈(200)은 배경을 제거하기 전의 인물 사진으로부터 검정색 펜으로 그린 듯한 스케치 이미지를 생성한다. 카툰 변환 모듈(200)은 배경이 제거된 원본 사진과 스케치 이미지를 입력으로 받아 만화적인 채색 기법으로 채색한 채색 이미지를 생성한다.That is, thecartoon conversion module 200 creates a sketch image that appears to have been drawn with a black pen from a photo of a person before removing the background. Thecartoon conversion module 200 receives an original photo and a sketch image with the background removed as input and generates a colored image colored using a cartoon-like coloring technique.

카툰 변환 모듈(200)은 채색 이미지 위에 스케치 이미지를 덧그리는 방식으로 카툰 이미지를 생성한다.Thecartoon conversion module 200 creates a cartoon image by drawing a sketch image on the colored image.

카툰 변환 모듈(200)은 스케치 이미지는 고해상도 이미지를 유지하고, 채색 이미지는 초해상화를 통해 고해상도 영상을 생성하여 최종적으로 고품질의 영상을 합성할 수 있도록 한다.Thecartoon conversion module 200 maintains a high-resolution image for the sketch image and generates a high-resolution image through super-resolution for the colored image, thereby allowing the final synthesis of a high-quality image.

일반적으로, 다양한 카툰 변환 방식이 제시되고 있지만, 전통적으로 만화를 제작하는 방식은 검정색 선화(스케치)를 그린 후 그 이미지에 색상과 명암을 넣는 방법이므로, 카툰 변환 모듈(200)은 이러한 방식과 유사하게 고품질의 선화 이미지를 생성한 후 색을 입히는 방식을 이용할 수 있다.In general, various cartoon conversion methods are proposed, but the traditional method of creating comics is to draw black line drawings (sketch) and then add color and lightness to the image, so thecartoon conversion module 200 is similar to this method. You can use the method of creating a high-quality line drawing image and then coloring it.

표정 변환 모듈(300)은 표정 정보를 입력받는다(S400).The facialexpression conversion module 300 receives facial expression information (S400).

표정 정보는 인물의 얼굴 표정이나 각도에 대한 표정 아이콘이나 또는 얼굴 이미지(원본 얼굴, source face)일 수 있다.Expression information may be an expression icon for the person's facial expression or angle, or a face image (source face).

표정 정보는 인물의 얼굴 표정이나 각도를 나타낼 수 있는 것이라면 특별히 한정되는 것은 아니다.Expression information is not particularly limited as long as it can represent the facial expression or angle of the person.

참고로, 본 실시예에서는 표정 변환 모듈(300)이 표정 정보를 카툰 변환 모듈(200)이 카툰 이미지를 생성한 후에 입력받는 것을 예시로 설명하였으나, 본 발명의 기술적 범위는 이에 한정되는 것은 아니다.For reference, in this embodiment, the facialexpression conversion module 300 receives facial expression information after thecartoon conversion module 200 generates a cartoon image. However, the technical scope of the present invention is not limited thereto.

예컨대, 표정 정보는 카툰 변환 모듈(200)이 카툰 이미지를 생성하기 전에 미리 입력받을 수 있고, 미리 저장될 수도 있다.For example, facial expression information may be received in advance before thecartoon conversion module 200 generates a cartoon image, and may be stored in advance.

표정 변환 모듈(300)은 표정 정보에 따라 카툰 이미지의 대상 얼굴의 표정이나 각도를 변환하여 새로운 이미지를 생성한다(S500).The facialexpression conversion module 300 generates a new image by converting the expression or angle of the target face of the cartoon image according to the facial expression information (S500).

새로운 이미지는 카툰 변환 모듈(200)에서 생성된 카툰 이미지의 대상 얼굴로 토대로 생성되는 표정 변환 만화 이미지로서, 표정 정보, 즉 표정 아이콘 또는 얼굴 이미지를 흉내내는 새로운 표정의 결과 이미지(얼굴 이미지)이다.The new image is an expression converted cartoon image created based on the target face of the cartoon image generated by thecartoon conversion module 200, and is a result image (face image) of a new expression that mimics expression information, that is, an expression icon or a face image.

즉, 표정 변환 모듈(300)은 대상 얼굴과 얼굴 이미지(표정 정보 중 얼굴 이미지를 예시로 설명한다) 각각에 대해서 특징점(랜드마크) 예컨대 60여 개를 추출한다.That is, theexpression conversion module 300 extracts, for example, about 60 feature points (landmarks) for each of the target face and face image (a face image among expression information is explained as an example).

표정 변환 모듈(300)은 대상 얼굴의 특징점과 얼굴 이미지의 특징점의 대응관계를 분석하고, 이미지 재추출(resampling)을 통하여 얼굴 이미지에 따라 변환된 표정과 각도의 새로운 이미지를 생성한다.Theexpression conversion module 300 analyzes the correspondence between the feature points of the target face and the feature points of the face image, and generates a new image with the expression and angle converted according to the face image through image resampling.

이 때, 표정 변환 모듈(300)은 딥러닝 알고리즘을 사용하여 대상 얼굴 이미지에서 보이지 않았던 입속이나 옆얼굴과 같은 영역이 새로운 이미지에서 자연스럽게 보일 수 있도록 학습된 영상에서 재추출할 수 있다.At this time, the facialexpression conversion module 300 can use a deep learning algorithm to re-extract areas such as the inside of the mouth or the side face that were not visible in the target face image from the learned image so that they appear naturally in the new image.

또한, 표정 변환 모듈(300)은 현재 연산 장비에 탑재된 메모리나 GPU(Graphic Processor Unit) 성능의 한계로 고해상도의 영상을 원본 해상도 그대로 처리할 수 없기 때문에 내부적으로는 256x256 정도의 해상도로 낮추어 계산한 후 카툰 이미지에 적합한 초해상화 기법을 통해 고해상도의 표정 변환 만화 이미지를 최종적으로 생성한다.In addition, the facialexpression conversion module 300 cannot process high-resolution images at the original resolution due to limitations in the performance of the memory or GPU (Graphic Processor Unit) mounted on current computing equipment, so it internally lowers the resolution to about 256x256. Afterwards, a high-resolution facial expression conversion cartoon image is finally created through a super-resolution technique suitable for cartoon images.

도 4는 본 발명의 일 실시 예에 따른 사진 기반 카툰 캐릭터 이미지 생성 예를 나타낸 도면이다.Figure 4 is a diagram showing an example of creating a photo-based cartoon character image according to an embodiment of the present invention.

도 4를 참조하면, 일반적인 배경에서 촬영한 인물 사진을 카툰 이미지로 생성하는 예로서, 원본 사진(배경이 제거되기 전의 인물 사진), 딥러닝 기술을 토대로 배경이 제거된 인물 사진, 배경이 제거된 인물 사진으로 생성된 펜화(선화) 이미지, 및 원본 사진(배경이 제거되기 전의 인물 사진)을 레퍼런스 이미지로 하여 해당 스케치 이미지(펜화(선화) 이미지)에 만화 형식으로 채색이 수행된 사진 기반의 캐릭터 이미지가 단계적으로 도시되었다.Referring to Figure 4, as an example of creating a cartoon image from a portrait taken against a general background, the original photo (a portrait before the background is removed), a portrait with the background removed based on deep learning technology, and a cartoon image with the background removed A photo-based character in which the corresponding sketch image (pen drawing (line drawing) image) is colored in a cartoon format using a pen drawing (line drawing) image created from a photo of a person, and the original photo (a photo of the person before the background is removed) as a reference image. The images are shown step by step.

도 5는 본 발명의 일 실시 예에 따른 카툰 캐릭터 이미지에 대한 표정 변경 예를 나타낸 도면이다.Figure 5 is a diagram showing an example of changing the facial expression of a cartoon character image according to an embodiment of the present invention.

도 5에는 카툰 이미지를 입력으로 받아 생성된 다양한 표정의 캐릭터 이미지가 도시되었다. 캐릭터 이미지의 랜드마크로 볼 수 있는 특징점들과 얼굴 이미지의 특징점들 간의 대응관계를 토대로 재추출(resampling)되어 기하학적 변형을 통해 생성된 새로운 이미지가 도시되었다.Figure 5 shows character images with various facial expressions created by receiving cartoon images as input. A new image created through geometric transformation is shown by resampling based on the correspondence between feature points that can be viewed as landmarks in the character image and feature points in the face image.

도 6은 본 발명의 일 실시 예에 따른 원본 이미지의 표정과 각도로 대상 얼굴의 표정과 각도를 변환하는 예를 나타낸 도면이다.Figure 6 is a diagram showing an example of converting the expression and angle of a target face to the expression and angle of the original image according to an embodiment of the present invention.

도 6을 참조하면, 대상 얼굴의 신상이나 외형을 바꾸지 않고도 얼굴 이미지의 표정과 각도를 모사한 새로운 이미지가 생성된 예가 도시되었다.Referring to FIG. 6, an example is shown in which a new image is created that replicates the expression and angle of a facial image without changing the identity or appearance of the target face.

카툰 이미지에서는 실제 얼굴 사진과 달리 얼굴에 대한 세부 정보가 부족하고 과장이나 생략된 정보가 많아 얼굴의 랜드마크가 추출되기 어렵다.Unlike real face photos, cartoon images lack detailed information about the face and contain a lot of exaggerated or omitted information, making it difficult to extract facial landmarks.

그러나 카툰 변환 모듈(200)은 인물 사진에서 펜 아트를 세밀하게 추출하였기 때문에 채색을 하지 않아도 얼굴의 랜드마크 정보를 추출할 수 있다. 복수 개의 세밀한 랜드마크 추출 정보에 의해, 표정이 다른 실제 얼굴 이미지와 대응관계가 보다 정밀하게 검색될 수 있다. 또한 카툰 변환 모듈(200)은 이러한 대응관계를 이용하여 이미지 재추출 방식으로 변형함으로써, 원본 이미지의 표정과 각도가 표현될 수 있고, 딥러닝 기술을 토대로 원래 이미지에는 없었던 영역까지 정보가 채워져 초해상화를 통해 고품질의 결과 이미지가 획득될 수 있다.However, because thecartoon conversion module 200 extracts the pen art in detail from the portrait, landmark information of the face can be extracted without coloring. By using a plurality of detailed landmark extraction information, actual face images with different expressions and corresponding relationships can be searched more precisely. In addition, thecartoon conversion module 200 uses this correspondence to transform the image using an image re-extraction method, so that the facial expression and angle of the original image can be expressed, and based on deep learning technology, information is filled into areas that were not in the original image, resulting in super-resolution. Through this process, high-quality resulting images can be obtained.

도 7은 본 발명의 일 실시 예가 단말에 적용된 예를 나타낸 도면이다.Figure 7 is a diagram showing an example of an embodiment of the present invention applied to a terminal.

본 실시 예에 따른 만화 캐릭터 얼굴 이미지 생성 장치는 스마트폰, 태블릿PC, 노트북 등에 탑재될 수 있다.The cartoon character face image generating device according to this embodiment can be mounted on a smartphone, tablet PC, laptop, etc.

이 경우, 스마트폰, 태블릿PC, 노트북 장착된 카메라로 사용자가 자신의 사진을 촬영하며, 만화 캐릭터 얼굴 이미지 생성 장치는 해당 촬영된 인물 사진에서 배경을 제거하고 펜화를 생성한다. 이어 고품질의 펜화 이미지를 유지하면서 카툰 방식의 채색 이미지 결과를 표시한다.In this case, the user takes a picture of himself or herself with a camera mounted on a smartphone, tablet PC, or laptop, and the cartoon character face image creation device removes the background from the captured portrait and creates a pen drawing. Next, the results of the cartoon-style coloring image are displayed while maintaining the high-quality pen drawing image.

이후, 만화 캐릭터 얼굴 이미지 생성 장치가 변경할 표정을 선택할 수 있도록 표정 아이콘을 통한 인터페이스를 제공하면, 사용자는 원하는 표정을 골라 자신의 얼굴로 제작된 다양한 표정을 짓는 만화 형식의 이미지를 획득할 수 있다.Afterwards, when the cartoon character face image generating device provides an interface through an expression icon to select an expression to change, the user can select the desired expression and obtain a cartoon-type image showing various expressions created with his or her face.

도 8은 본 발명의 일 실시 예에 따른 웹서비스 방식으로 구현된 결과물을 나타낸 도면이다.Figure 8 is a diagram showing the result implemented in the web service method according to an embodiment of the present invention.

도 8에는 사진 촬영부터 배경제거, 선화 생성, 채색, 표정 변환을 수행한 결과 화면이 도시되었다.Figure 8 shows a screen showing the results of photo taking, background removal, line drawing creation, coloring, and facial expression conversion.

이러한 결과 화면의 이미지는 최종적으로 원하는 카툰 배경에 삽입될 수 있으며, 사용자는 자신의 얼굴로 제작된 카툰 컷을 완성할 수 있다.The image on the resulting screen can be ultimately inserted into the desired cartoon background, and the user can complete the cartoon cut made with his or her face.

본 발명은 도면에 도시된 실시 예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.The present invention has been described with reference to the embodiments shown in the drawings, but these are merely illustrative, and those skilled in the art will recognize that various modifications and other equivalent embodiments are possible therefrom. You will understand. Therefore, the scope of technical protection of the present invention should be determined by the scope of the patent claims below.

100: 배경 제거 모듈
200: 카툰 변환 모듈
300: 표정 변환 모듈100: Background removal module
200: Cartoon conversion module
300: Facial expression conversion module

Claims (1)

Translated fromKorean

인물 사진에서 배경을 제거하는 배경 제거 모듈;
상기 배경이 제거된 인물 사진을 만화 스타일로 변환하여 카툰 이미지를 생성하는 카툰 변환 모듈; 및
표정 정보에 따라 상기 카툰 이미지의 대상 얼굴의 표정이나 각도를 변환하여 새로운 이미지를 생성하는 표정 변환 모듈을 포함하는 만화 캐릭터 얼굴 이미지 생성 장치.
a background removal module to remove backgrounds from portraits;
a cartoon conversion module that generates a cartoon image by converting the portrait photo with the background removed into a cartoon style; and
A cartoon character face image generating device comprising an expression conversion module that generates a new image by converting the expression or angle of the target face of the cartoon image according to expression information.

Images