KR20120128094A - Face recognition apparatus, control method thereof, face recognition method - Google Patents

Abstract

Translated fromKorean

기억되어 있는 화상에 포함되어 있는 얼굴 화상과, 얼굴 사전에 등록되어 있는 인물의 등록 얼굴 화상을 비교해서 유사도를 산출하고, 그 산출된 유사도가 매우 높지 않은 미리 정한 범위에 산출된 유사도가 있는 얼굴 화상을 얼굴 화상 리스트로부터 추출한다. 그리고, 그 추출된 화상을 얼굴 사전에 등록함으로써, 많은 화상으로부터 그 인물을 효율적으로 검색 가능하게 하는 얼굴 사전을 작성하기 쉽게 한다.Similarity is calculated by comparing the face image included in the stored image with the registered face image of the person registered in the face dictionary, and the face image having the similarity calculated in a predetermined range in which the calculated similarity is not very high. Is extracted from the face image list. By registering the extracted image in the face dictionary, it is easy to create a face dictionary that enables the person to be searched efficiently from many images.

Description

Translated fromKorean

얼굴 인식 장치, 그 제어 방법, 및 얼굴 인식 방법{FACE RECOGNITION APPARATUS, CONTROL METHOD THEREOF, FACE RECOGNITION METHOD}Face recognition device, control method thereof, and face recognition method {FACE RECOGNITION APPARATUS, CONTROL METHOD THEREOF, FACE RECOGNITION METHOD}

본 발명은 얼굴 인식 기능을 이용해서 화상 중의 인물을 판별하기 위한 얼굴 인식 장치에 관한 것이다.The present invention relates to a face recognition apparatus for discriminating a person in an image using a face recognition function.

화상 브라우저에서 제공된 얼굴 인식 기능에 의해 자동적으로 인물마다 화상을 관리하는 기능이 보급되고 있다. 그렇지만, 동일 인물의 복수의 얼굴 화상을 얼굴 사전에 등록하기 위해서는 반복적으로 얼굴 화상을 등록하는 것이 필요하게 된다.A function of automatically managing images for each person by the face recognition function provided by the image browser is prevalent. However, in order to register a plurality of face images of the same person in the face dictionary, it is necessary to repeatedly register the face images.

예를 들면, 일본국 공개특허공보 특개 2005-174308호에서는, 얼굴 사전에 얼굴 화상을 등록하는 작업의 수고를 경감하기 위해서, 얼굴 인식 기능을 사용하여, 최초로 등록된 인물과 동일 인물이라고 생각되는 얼굴 화상을, 유사한 순으로 소트하고, 소트한 화상의 일람을 유저에 제시하는 방법이 제안되어 있다. 유저는 제시된 얼굴 화상 일람으로부터 본인의 얼굴 화상을 선택하고, 선택된 얼굴 화상이 본인의 것이라고 확정하며, 화상 브라우저는 얼굴 화상을 얼굴 사전에 추가 등록한다. 얼굴 화상이 추가 등록된 시점에서 얼굴 사전이 갱신되고, 보다 높은 정밀도로 얼굴 인식한 결과, 동일 인물이라고 생각되는 얼굴 화상의 일람을 다시 유저에 제시한다.For example, Japanese Laid-Open Patent Publication No. 2005-174308 uses a face recognition function to reduce the effort of registering a face image in the face dictionary, so that the face is considered to be the same person as the first person registered. A method of sorting images in a similar order and presenting a list of sorted images to a user has been proposed. The user selects his own face image from the list of presented face images, determines that the selected face image is his or her, and the image browser further registers the face image in the face dictionary. When the face image is additionally registered, the face dictionary is updated, and as a result of face recognition with higher precision, a list of face images that are considered to be the same person is presented to the user again.

또한, 얼굴 인식 기능의 특성으로서, 비슷한 얼굴 화상을 등록하면, 인식 정밀도가 약간만 향상된다는 것을 잘 알고 있다.Also, as a characteristic of the face recognition function, it is well understood that the registration accuracy is slightly improved by registering similar face images.

상기한 바와 같이, 얼굴 사전에 이미 등록된 얼굴 화상에 대하여 유사도가 매우 높은 동일 인물의 얼굴 화상을 새롭게 등록해도, 인식 정밀도를 효율적으로 향상시킬 수 없다. 인식 정밀도를 효율적으로 향상시키기 위해서는, 오히려 서로 매우 닮지 않은 동일 인물의 얼굴 화상을 등록하는 것이 좋다. As described above, even if a face image of the same person having a very high similarity is newly registered with respect to the face image already registered in the face dictionary, the recognition accuracy cannot be improved efficiently. In order to efficiently improve the recognition accuracy, it is better to register the face images of the same person who are not very similar to each other.

그렇지만, 얼굴 사전에 등록해야 할 얼굴 화상으로서, 서로 매우 닮지 않은 동일 인물의 얼굴 화상을 찾기 위해서는 긴 시간이 걸린다. 또한 매우 닮지 않은 동일 인물의 얼굴 화상을 얼굴 사전에 등록하는 것에 의해 인식 정밀도가 효율적으로 향상되는 것을 모르는 유저는, 서로 매우 닮지 않은 동일 인물의 얼굴 화상을 찾는 것마저 하지 않을 가능성이 있다.However, as face images to be registered in the face dictionary, it takes a long time to find face images of the same person who are not very similar to each other. In addition, a user who does not know that the recognition accuracy is effectively improved by registering a face image of the same person who is not very similar to the face dictionary may not even look for a face image of the same person who is very similar to each other.

본 발명의 일 측면은, 상기의 문제의 모두 또는 적어도 하나를 해결하기 위한 것이다.One aspect of the present invention is to solve all or at least one of the above problems.

본 발명의 일 측면에 의하면, 얼굴 인식 장치는, 촬영 화상 내의 인물의 얼굴 화상을 해석해서 얼굴의 특징량을 추출하는 특징량 추출 수단과, 상기 특징량 추출 수단으로 추출된 특징량을, 인물명과 관련지어서 얼굴 사전을 생성하는 얼굴 사전 생성 수단과, 상기 얼굴의 특징량을 상기 얼굴 사전에 등록되어 있는 인물명과 관련지어서, 얼굴의 특징량을 새롭게 추가하는 추가 수단과, 또 다른 촬영 화상 내의 인물의 얼굴 화상을 해석해서 추출한 얼굴의 특징량과 상기 얼굴 사전에 등록되어 있는 얼굴의 특징량을 비교해서 유사도를 산출하고, 상기 유사도가 미리 정한 범위 내에 있는 얼굴 화상을, 상기 얼굴 사전에 추가하는 후보로서 표시부에 표시하는 표시 제어 수단을 구비한다.According to an aspect of the present invention, the face recognition apparatus includes a feature amount extracting means for extracting a feature amount of a face by analyzing a face image of a person in a captured image, and the feature amount extracted by the feature amount extracting means from a person name and A face dictionary generating means for generating a face dictionary in association with the face, additional means for newly adding a feature amount of the face by associating the feature amount of the face with a person name registered in the face dictionary, Similarity is calculated by comparing the feature amount of the face extracted by analyzing the face image with the feature amount of the face registered in the face dictionary, and as a candidate for adding the face image having the similarity within a predetermined range to the face dictionary. Display control means to display on a display part is provided.

본 발명의 또 다른 특징은 첨부된 도면을 참조하여 이하의 예시적인 실시예의 설명으로부터 분명해질 것이다.
Further features of the present invention will become apparent from the following description of exemplary embodiments with reference to the attached drawings.

도 1은 일 실시예에 따른 퍼스널 컴퓨터를 나타내는 블럭도다.
도 2는 일 실시예에 따른 얼굴 검색 다이얼로그를 도시한 도면이다.
도 3은 일 실시예에 따른 얼굴 사전 편집 대상 인물 선택 다이얼로그를 도시한 도면이다.
도 4는 일 실시예에 따른 얼굴 사전 다이얼로그와 얼굴 후보 화상 일람 다이얼로그를 도시한 도면이다.
도 5는 일 실시예에 따른 얼굴 화상 리스트의 구성을 도시한 도면이다.
도 6은 일 실시예에 따른 얼굴 사전의 구성을 도시한 도면이다.
도 7은 제1 실시예에 따른 얼굴 사전 등록 화상 후보 추출 처리의 플로차트다.
도 8은 제1 실시예에 따른 인식 정밀도 향상 얼굴 화상 추출 처리의 상세한 플로차트를 도시한 도면이다.
도 9는 일 실시예에 따른 얼굴 화상 추가 전의 얼굴 검색 다이얼로그의 동작 예를 도시한 도면이다.
도 10은 일 실시예에 따른 얼굴 사전 다이얼로그와 얼굴 후보 화상 일람 다이얼로그의 동작 예를 도시한 도면이다.
도 11은 일 실시예에 따른 얼굴 화상 추가 후의 얼굴 검색 다이얼로그의 동작 예를 도시한 도면이다.
도 12는 제1 실시 예의 변형 예에 따른 인식 정밀도 향상 얼굴 화상 추출 처리의 상세한 플로차트를 도시한 도면이다.
도 13은 제1 실시 예의 다른 변형 예에 따른 인식 정밀도 향상 얼굴 화상 추출 처리의 상세한 플로차트를 도시한 도면이다.
도 14는 제1 실시 예의 다른 변형 예에 따른 인식 정밀도 향상 얼굴 화상 추출 처리의 상세한 플로차트를 도시한 도면이다.
도 15는 제1 실시 예의 다른 변형 예에 따른 인식 정밀도 향상 얼굴 화상 추출 처리의 상세한 플로차트를 나타내는 도면이다.
도 16은 제2 실시 예에 따른 인식 정밀도 향상 얼굴 화상 추출 처리의 상세한 플로차트를 도시한 도면이다.
도 17은 제2 실시 예에 따른 얼굴 사전 다이얼로그와 얼굴 후보 화상 일람 다이얼로그를 도시한 도면이다.
도 18은 제2 실시 예의 변형 예에 따른 얼굴 사전 다이얼로그와 얼굴 후보 화상 일람 다이얼로그를 도시한 도면이다.1 is a block diagram illustrating a personal computer according to an exemplary embodiment.
2 is a diagram illustrating a face search dialog according to an exemplary embodiment.
3 is a diagram illustrating a face pre-editing person selection dialog according to an exemplary embodiment.
4 is a diagram illustrating a face dictionary dialog and a face candidate image list dialog according to an embodiment.
5 is a diagram illustrating a configuration of a face image list according to an exemplary embodiment.
6 is a diagram illustrating a configuration of a face dictionary according to an embodiment.
7 is a flowchart of face pre-registered image candidate extraction processing according to the first embodiment.
Fig. 8 is a diagram showing a detailed flowchart of the recognition accuracy improvement face image extraction process according to the first embodiment.
9 is a diagram illustrating an example of an operation of a face search dialog before adding a face image, according to an exemplary embodiment.
10 is a diagram illustrating an example of operations of a face dictionary dialog and a face candidate image list dialog according to an embodiment.
11 illustrates an example of an operation of the face search dialog after adding a face image according to an exemplary embodiment.
12 is a diagram showing a detailed flowchart of the recognition accuracy improvement face image extraction process according to the modification of the first embodiment.
Fig. 13 is a diagram showing a detailed flowchart of the recognition accuracy improvement face image extraction process according to another modification of the first embodiment.
14 is a diagram showing a detailed flowchart of the recognition accuracy improvement face image extraction process according to another modification of the first embodiment.
Fig. 15 is a diagram showing a detailed flowchart of the recognition accuracy improvement face image extraction process according to another modification of the first embodiment.
16 is a detailed flowchart of a recognition accuracy improvement face image extraction process according to the second embodiment.
17 is a diagram illustrating a face dictionary dialog and a face candidate image list dialog according to the second embodiment.
18 is a diagram illustrating a face dictionary dialog and a face candidate image list dialog according to a modification of the second embodiment.

본 발명의 다양한 예시적인 실시예, 특징, 및 측면에 대해서 도면을 참조하면서 설명한다.Various exemplary embodiments, features, and aspects of the present invention will be described with reference to the drawings.

제1 실시 예First embodiment

이하의 실시 예에 있어서, 화상 브라우저는, 화상 파일의 관리, 화상의 표시, 및 화상 파일에 부속되는 섬네일 화상의 일람의 표시를 행하는 기능 등을 갖는 어플리케이션이다. 또한, 이하의 실시예에서는, 화상의 인물의 얼굴을 해석하여, 예를 들면 눈?코?입, 및 얼굴의 형상 및 색 등의 특징을 소정의 연산을 통해서 파라미터화한 것을 "얼굴 특징량"이라고 칭한다.In the following embodiments, the image browser is an application having a function of managing an image file, displaying an image, and displaying a list of thumbnail images attached to the image file. In addition, in the following embodiment, the face of the person of an image is analyzed, and the parameterized features, such as eye, nose, mouth, and the shape and color of a face through predetermined | prescribed calculation, "face feature amount". It is called.

또한, 상기의 얼굴 특징량에 관한 정보의 데이터 베이스를, 번호나 파일명을 이용해서 관리 가능하게 형성한 데이터베이스 파일을 "얼굴 사전"이라고 칭한다.The database file in which the database of the information on the facial feature amounts described above is manageable using a number and a file name is referred to as a "face dictionary".

본 실시예의 얼굴 인식 장치는, 하드 디스크 등의 기억장치 내의 화상 파일의 화상에 포함되는 얼굴을 인식하고, 인물마다 얼굴을 관리하는 기능을 포함하고 있다. 제1의 실시예에서는, 얼굴 사전에 얼굴을 등록할 때에, 유저에 인식 정밀도가 효율적으로 향상하는 얼굴 화상 후보의 일람을 표시하는 얼굴 인식 장치에 대해서 설명한다.The face recognition apparatus of this embodiment includes a function of recognizing a face included in an image of an image file in a storage device such as a hard disk, and managing a face for each person. In the first embodiment, a face recognition apparatus for displaying a list of face image candidates for efficiently recognizing a recognition accuracy to a user when registering a face in a face dictionary will be described.

얼굴 인식 장치로서 동작하는 화상 브라우저Image browser operating as a face recognition device

우선, 본 발명의 일 실시예에 따른 얼굴 인식 장치로서 동작하는 퍼스널 컴퓨터에 관하여 설명한다.First, a personal computer operating as a face recognition apparatus according to an embodiment of the present invention will be described.

도 1은 본 발명의 일 실시예에 따른 퍼스널 컴퓨터를 나타내는 블럭도다. 퍼스널 컴퓨터는 소정의 제어 프로그램을 실행함으로써, 이하에 설명하는 얼굴 인식 처리를 실현하고, 퍼스널 컴퓨터는 얼굴 인식 장치로서 기능한다.1 is a block diagram illustrating a personal computer according to an embodiment of the present invention. The personal computer implements the face recognition processing described below by executing a predetermined control program, and the personal computer functions as a face recognition device.

도 1에 있어서, CPU(Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ)(101)는 퍼스널 컴퓨터 전체의 제어를 담당한다. ROM(Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ)(102)에는 CPU(101)의 동작 처리 순서(예를 들면 퍼스널 컴퓨터의 전원을 ON으로 했을 때의 처리의 프로그램과 기본 입출력 처리의 프로그램 등)이 기억되어 있다. RAM(Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ)(103)은, CPU(101)의 메인 메모리로서 기능한다. RAM(103)은 후술의 처리를 실현하기 위한 제어 프로그램을 포함하는 각종 처리를 실행할 때의 워크 에어리어(work area)를 제공한다. 표시부(104)는, CPU(101)의 제어 하에서 각종 표시를 행한다. 예를 들면, 표시부(104)는 화상 브라우저의 어플리케이션을 이용해서 섬네일을 일람방식으로 표시한다. 하드디스크 드라이브(Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ)(105)에는, 화상 브라우저의 제어 프로그램이 저장되어 있다. 또한, 화상 브라우저가 관리하는 화상 파일과 얼굴 사전도 하드 디스크(105) 내에 저장되어 있다. DVD(Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ)(106)에 착탈가능한 광학 기록매체를 장착하여, 광학 기록매체에 기록된 데이터를 판독하는 것을 가능하게 한다. 입력장치(107)는 화상 브라우저의 각종 조작을 행하기 위한 마우스나 키보드이다. 기록 매체 장착 유닛(미디어 드라이브)(108)에 착탈가능한 기록 매체를 장착하여 데이터를 기록하거나 기록된 데이터를 판독한다. 시스템 버스(어드레스 버스, 데이터버스 및 제어 버스로부터 이루어진다)(109)는 상기의 각 유닛 간을 접속한다.In Fig. 1, theCPU 101 is responsible for the control of the entire personal computer. In theROM 102, the operation processing sequence of the CPU 101 (e.g., a program for processing when the personal computer is turned on, a program for basic input / output processing, and the like) are stored. TheRAM 103 functions as a main memory of theCPU 101. TheRAM 103 provides a work area at the time of executing various processes including a control program for realizing the process described later. Thedisplay unit 104 performs various displays under the control of theCPU 101. For example, thedisplay unit 104 displays thumbnails in a list manner using an application of an image browser. The control program of the image browser is stored in the hard disk drive (HarDdDixD). The image file and the face dictionary managed by the image browser are also stored in thehard disk 105. A removable optical recording medium is mounted on a DVD (DVD) 106 to make it possible to read data recorded on the optical recording medium. Theinput device 107 is a mouse or a keyboard for performing various operations of the image browser. A removable recording medium is mounted in the recording medium mounting unit (media drive) 108 to record data or to read recorded data. A system bus (consisting of an address bus, a data bus and a control bus) 109 connects the above units.

얼굴 인식 장치의 유저 인터페이스User Interface of Face Recognition Device

본 발명의 일 실시예에 따른 얼굴 인식 장치로서 동작하는 화상 브라우저의 유저 인터페이스를 도 2과 도 3과 도 4를 참조해서 상세하게 설명한다. 일반적으로, 화상 브라우저에는, 특정한 폴더에 유지되어 있는 화상의 일람 표시 기능 이외에, 촬영 일시를 관리하는 기능과 화상의 촬영 장소에 따라 관리하는 기능이 있다. 제1의 실시예에서는, 본 발명의 화상 브라우저가 가지는 기능 중, 얼굴 인식 기능에 대해서 설명한다.A user interface of an image browser operating as a face recognition apparatus according to an embodiment of the present invention will be described in detail with reference to FIGS. 2, 3, and 4. In general, the image browser has not only a function of displaying a list of images held in a specific folder, but also a function of managing shooting date and time and a function of managing according to the shooting location of the image. In the first embodiment, the face recognition function will be described among the functions of the image browser of the present invention.

도 2는 본 발명의 일 실시예에 따른 얼굴 검색 다이얼로그를 도시한 도면이다. 도 3은 본 발명의 일 실시예에 따른 얼굴 사전 편집 대상 인물 선택 다이얼로그를 도시한 도면이다. 도 4는 본 발명의 일 실시예에 따른 얼굴 사전 다이얼로그와 얼굴 후보 화상 일람 다이얼로그를 도시한 도면이다.2 is a diagram illustrating a face search dialog according to an embodiment of the present invention. 3 is a diagram illustrating a face pre-editing person selection dialog according to an embodiment of the present invention. 4 is a diagram illustrating a face dictionary dialog and a face candidate image list dialog according to an embodiment of the present invention.

CPU(101)는 퍼스널 컴퓨터의 표시부(104)에 얼굴 검색 다이얼로그(201)를 표시한다. 유저가 얼굴 검색 다이얼로그의 종료 버튼(202)을 누르면, CPU(101)는 화상 브라우저에 있어서의 얼굴 검색 다이얼로그를 종료한다. 참조번호 203은 인물명 입력 텍스트 박스다. 참조번호 204는 얼굴 검색 다이얼로그에 있어서의 얼굴 화상 일람 표시 에어리어다. 인물명 입력 텍스트 박스(203)에 인물의 이름이 입력되어서 검색 커멘드의 실행이 지시되면, CPU(101)는 인물명 입력 텍스트 박스(203)에 입력된 인물의 이름을 취득한다. 하드 디스크 내의 특정한 폴더로부터, 그 인물의 화상을 내부에 포함하는 화상으로서 유저에 의해 확정된 화상(얼굴 사전 등록 화상), 및 그 인물과 유사한 인물의 화상을 포함하는 화상이 되는 CPU(101)에 의해 판정되는 화상(예를 들면, 소정값 이상의 유사도를 가지는 화상)을 모두 얼굴 화상 일람 표시 에어리어(204)에 표시한다. 참조번호 209는 사전 등록 버튼이다. 유저가 사전 등록 버튼(209)을 누르면, CPU(101)는 도 3의 얼굴 사전 편집 대상 인물 선택 다이얼로그(301)를 표시한다.TheCPU 101 displays theface search dialog 201 on thedisplay unit 104 of the personal computer. When the user presses theend button 202 of the face search dialog, theCPU 101 ends the face search dialog in the image browser.Reference numeral 203 denotes a person name input text box.Reference numeral 204 denotes a face image list display area in the face search dialog. When the name of the person is input in the person nameinput text box 203 and execution of the search command is instructed, theCPU 101 acquires the name of the person entered in the person nameinput text box 203. From a specific folder in the hard disk to theCPU 101, which is an image containing an image of the person therein, which is an image including the image (face pre-registration image) determined by the user and an image of a person similar to that person. All of the images (for example, images having a similarity or higher than a predetermined value) determined by the display are displayed in the face imagelist display area 204.Reference numeral 209 denotes a pre-registration button. When the user presses thepre-registration button 209, theCPU 101 displays the face pre-editingperson selection dialog 301 of FIG.

참조번호 301은 얼굴 사전 편집 대상 인물 선택 다이얼로그이다. 유저에 의해 종료 버튼(302)이 눌러지면, CPU(101)는 얼굴 사전 편집 대상 인물 선택 다이얼로그(301)를 닫고, 얼굴 검색 다이얼로그(201)로 천이한다. 참조번호 303은 얼굴 사전 편집 대상 인물 선택 리스트 박스다. 사전 등록 버튼(209)이 눌러져, 얼굴 사전 편집 대상 인물 선택 다이얼로그(301)가 표시된 시점에서, CPU(101)는 얼굴 사전으로부터, 이미 얼굴 사전에 등록되어 있는 모든 인물명의 리스트를 취득하고, 얼굴 사전 편집 대상 인물 선택 리스트 박스(303)에 그 리스트를 표시한다. 유저가 마우스를 조작하여, 얼굴 사전 편집 대상 인물 선택 리스트 박스(303)에 표시되어 있는 인물 중, 특정한 인물을 선택하면, CPU(101)는 선택된 인물명의 표시 상태를 선택 상태(도 3에서는 반전 표시)로 변경한다. 참조번호 304는 얼굴 사전 편집 대상 인물 선택 다이얼로그(301)의 OK 버튼이다. 유저가 OK 버튼(304)을 누르면, CPU(101)는 얼굴 사전 편집 대상 인물 선택 리스트 박스(303)에서 선택 상태인 인물명을 취득하고, 얼굴 사전 편집 대상 인물 선택 다이얼로그를 닫는다. 그리고, CPU(101)는 취득한 인물명에 대응하는 얼굴 사전 다이얼로그(401)와 얼굴 후보 화상 일람 다이얼로그(405)를 표시한다.Reference numeral 301 denotes a face pre-editing person selection dialog. When theend button 302 is pressed by the user, theCPU 101 closes the face pre-editingperson selection dialog 301 and transitions to theface search dialog 201.Reference numeral 303 denotes a face pre-editing person selection list box. When thepre-registration button 209 is pressed and the face pre-editingperson selection dialog 301 is displayed, theCPU 101 acquires a list of all person names already registered in the face dictionary from the face dictionary, and the face dictionary The list is displayed in the person to be editedselection list box 303. When the user operates a mouse and selects a specific person among the persons displayed in the face pre-editing personselection list box 303, theCPU 101 selects the display state of the selected person name (inverted display in Fig. 3). To).Reference numeral 304 is an OK button on the face pre-editingperson selection dialog 301. When the user presses theOK button 304, theCPU 101 acquires the person name in the selection state from the face pre-editing personselection list box 303, and closes the face pre-editing person selection dialog. TheCPU 101 displays theface dictionary dialog 401 and the face candidateimage list dialog 405 corresponding to the acquired person name.

참조번호 402는 종료 버튼이다. 유저가 종료 버튼(402)을 누르면, CPU(101)는 얼굴 사전 다이얼로그(401)와 얼굴 후보 화상 일람 다이얼로그(405)를 닫고, 얼굴 검색 다이얼로그(201)로 천이한다. 참조번호 403은 얼굴 사전 다이얼로그(401)에 있어서의 얼굴 사전 등록된 화상 일람 표시 에어리어이다. 선택된 특정한 인물에 대해서 유저가 이미 얼굴 사전에 등록한 얼굴 화상을 CPU(101)가 얼굴 사전으로부터 취득하고, 얼굴 화상의 일람을 얼굴 사전 등록된 화상 일람 표시 에어리어(403)에 표시한다. 예로서, 도 4에서는 CPU(101)가 얼굴 사전으로부터 취득한 인물 A의 얼굴로서 얼굴 화상(404)을 표시한다. 참조번호 406은 얼굴 후보 화상 일람 표시 에어리어이다. 유저가 지정한 특정한 인물을 닮았다고 CPU(101)가 판정한 얼굴 화상을 HDD(105)로부터 취득하고, 얼굴 화상의 일람을 얼굴 후보 화상 일람 표시 에어리어(406)에 표시한다. 예로서, 도 4에서는 CPU(101)가 HDD(105)로부터 취득한 얼굴 후보 화상으로서 얼굴 화상 407, 얼굴 화상 408, 얼굴 화상 409가 표시되어 있다.Reference numeral 402 denotes an end button. When the user presses theend button 402, theCPU 101 closes theface pre-dialog 401 and the face candidateimage list dialog 405 and transitions to theface search dialog 201.Reference numeral 403 denotes a face pre-registered image list display area in theface dictionary dialog 401. TheCPU 101 acquires a face image that the user has already registered in the face dictionary for the selected specific person from the face dictionary, and displays a list of face images in the face list registered imagelist display area 403. For example, in FIG. 4, theCPU 101 displays theface image 404 as the face of the person A acquired from the face dictionary.Reference numeral 406 denotes a face candidate image list display area. The face image determined by theCPU 101 to resemble a specific person designated by the user is acquired from theHDD 105, and a list of face images is displayed in the face candidate imagelist display area 406. FIG. For example, in FIG. 4, aface image 407, aface image 408, and aface image 409 are displayed as face candidate images acquired by theCPU 101 from theHDD 105.

유저가 얼굴 후보 화상 일람 표시 에어리어(406)에 표시되어 있는 얼굴 화상 407을 본인이라고 시각적으로 인정하고 얼굴 화상 407을 얼굴 사전에 등록하는 경우, 유저는 얼굴 화상 407을 마우스를 이용해서 선택한 뒤, 얼굴 사전 등록된 화상 일람 에어리어(403)에 드래그&드롭(410)의 조작을 행한다. 유저에 의한 드래그&드롭(410)의 조작에 응답해서, CPU(101)는, 얼굴 화상 407의 얼굴을 얼굴 사전 편집 대상 인물 선택 다이얼로그(303)로 선택한 인물명의 얼굴로서 얼굴 사전에 등록한다(얼굴 사전 생성).When the user visually acknowledges theface image 407 displayed in the face candidate imagelist display area 406 as the user and registers theface image 407 in the face dictionary, the user selects theface image 407 using the mouse, and then the face The drag & drop 410 is operated to the pre-registeredimage list area 403. In response to the drag & drop 410 operation by the user, theCPU 101 registers the face of theface image 407 in the face dictionary as the face of the person name selected by the face pre-editing person selection dialog 303 (face). Dictionary generation).

얼굴 화상 리스트의 구성Composition of face image list

본 발명의 일 실시예에 따른 얼굴 화상 리스트의 구성을 도 5를 참조해서 설명한다.The configuration of the face image list according to an embodiment of the present invention will be described with reference to FIG.

도 5에서, 얼굴 화상 리스트(501)는, HDD(105)의 특정한 폴더에 저장되어 있는 모든 화상에 포함되는 얼굴과 그 얼굴과 관련된 정보를 유지한다. 얼굴 ID(얼굴 식별자)(502)는, HDD(105) 내의 촬영 화상 내의 인물을 식별하기 위해서 할당된 고유의 번호다. 참조번호 503은 섬네일로서의 얼굴 화상이며, 얼굴 ID(502)에 대응한 HDD(105) 내의 화상에 포함되어 있는 인물의 얼굴 부분의 영역을 특정한 크기(도 5에서는 세로 120 픽셀, 가로 96 픽셀의 크기)로 정규화한 것이다. 얼굴 사전 다이얼로그(401)와 얼굴 후보 화상 일람 표시 에어리어(406)에 얼굴 화상을 표시할 때에 CPU(101)가 얼굴 화상(503)을 사용한다. 얼굴 특징량(504)은, 바이너리 데이터로서 얼굴 화상 리스트(501)에 기억되어 있다. 얼굴 특징량(504)은, 화상에 포함되는 인물의 얼굴을 CPU(101)가 해석해서 눈, 코, 입이나 얼굴의 형상을 파라미터화한 바이너리 데이터다. 참조번호 505는 얼굴 ID(502)의 얼굴을 포함하는 화상의 파일명이다. 즉, 이 파일명의 화상 내에 얼굴 ID(502)의 얼굴이 있다.In Fig. 5, theface image list 501 holds faces included in all images stored in a specific folder of theHDD 105 and information related to those faces. The face ID (face identifier) 502 is a unique number assigned to identify a person in a captured image in theHDD 105.Reference numeral 503 denotes a face image as a thumbnail, and the size of the face portion of the person included in the image in theHDD 105 corresponding to theface ID 502 has a specific size (120 pixels in FIG. 5 and 96 pixels in width). Normalized to). TheCPU 101 uses theface image 503 when displaying the face image in theface dictionary dialog 401 and the face candidate imagelist display area 406. Thefacial feature amount 504 is stored in theface image list 501 as binary data. Thefacial feature amount 504 is binary data in which theCPU 101 analyzes the face of the person included in the image and parameterizes the shape of the eyes, nose, mouth or face.Reference numeral 505 denotes a file name of an image including the face offace ID 502. That is, the face of theface ID 502 exists in the image of this file name.

얼굴 화상 리스트(501) 내의 정보는, 유저가 검색 대상 범위 폴더로서, 화상 브라우저로 설정한 특정한 폴더의 정보에 의거하여 미리 CPU(101)가 특정한 폴더 내의 모든 화상을 해석해서 생성한 정보이다.The information in theface image list 501 is information that theCPU 101 analyzes and generates in advance all the images in the specific folder based on the information of the specific folder set by the image browser as the search target range folder.

얼굴 사전의 구성The composition of the face dictionary

도 6은 본 발명의 일 실시예에 따른 얼굴 사전의 구성을 도시한 도면이다.6 is a diagram illustrating a configuration of a face dictionary according to an embodiment of the present invention.

얼굴 사전 테이블(601)은, CPU(101)가 얼굴의 정보를 관리하기 위해서 HDD(105) 내에 보유되어 있다. 참조번호 602는 인물명의 칼럼이다. 유저가 관리 대상의 인물명을 얼굴 사전에 등록했을 때에, CPU(101)가 관리 대상의 인물명을 얼굴 사전 테이블(601)의 인물명(602)의 칼럼에 기록한다. 참조번호 603은 얼굴 ID의 칼럼이다. 유저가 관리 대상의 얼굴 ID(502)을 얼굴 사전에 등록했을 때에, CPU(101)가 관리 대상의 얼굴 ID(502)를 얼굴 사전 테이블(601)의 얼굴 ID(603)의 칼럼에 기록한다. 참조번호 604는 얼굴 특징량의 칼럼이다. 유저가 얼굴 화상 리스트(501)에 의해 관리되어 있는 얼굴 ID(502)의 얼굴을 얼굴 사전에 등록할 때에, CPU(101)가 얼굴 ID(502)의 얼굴 특징량(504)을 얼굴 사전 테이블(601)의 얼굴 특징량(604)의 칼럼에 기록한다.The face dictionary table 601 is held in theHDD 105 in order for theCPU 101 to manage face information.Reference numeral 602 is a column of a person's name. When the user registers the person name to be managed in the face dictionary, theCPU 101 records the person name to be managed in the column of theperson name 602 of the face dictionary table 601.Reference numeral 603 is a column of face ID. When the user registers theface ID 502 to be managed in the face dictionary, theCPU 101 records theface ID 502 to be managed in the column of theface ID 603 of the face dictionary table 601.Reference numeral 604 is a column of facial feature amount. When the user registers the face of theface ID 502 managed by theface image list 501 in the face dictionary, theCPU 101 sets theface feature amount 504 of theface ID 502 in the face dictionary table ( In the column of thefacial feature amount 604 of 601.

인물명(602)의 칼럼 내의 하나의 인물명(602)에 대해서는, 복수의 얼굴 ID(502)와 그것의 얼굴 특징량(504)을 함께 그룹화할 수 있다.For oneperson name 602 in the column ofperson name 602, a plurality offace IDs 502 and their facial feature amounts 504 can be grouped together.

도 7은 본 발명의 제1 실시예에 따른 얼굴 사전 등록 화상 후보 추출 처리의 플로차트다. 도 7의 플로차트는 유저가 얼굴 후보 화상 일람 다이얼로그(405)를 열었을 때 CPU(101)가 행하는 처리를 나타낸다.7 is a flowchart of face pre-registered image candidate extraction processing according to the first embodiment of the present invention. The flowchart of FIG. 7 shows the processing performed by theCPU 101 when the user opens the face candidateimage list dialog 405.

스텝 S701에서, CPU(101)는 미리 작성된 특정 폴더의 얼굴 화상 리스트(501)를 HDD(501)로부터 메모리에 복사한다. 스텝 S702에서, CPU(101)는 얼굴 사전 편집 대상 인물 선택 리스트 박스(303)에서 선택된 인물명에 따라 HDD에 있는 얼굴 사전(601)으로부터 검색 대상이 되는 인물명(602)과 그 인물명(602)과 관련되어 있는 얼굴 ID(603)와 얼굴 특징량(604)을 취득한다 (특징량 추출). 스텝 S703에서, CPU(101)는 스텝 S702에서 취득한 얼굴 사전에 이미 등록된 얼굴 화상과 같은 얼굴 ID(603)를 가지는 얼굴 화상을, 복사된 얼굴 화상 리스트로부터 삭제한다. 스텝 S704에서, CPU(101)는 얼굴 화상 리스트 내의 각 얼굴 특징량(504)과, 얼굴 사전의 얼굴 특징량(604)을 비교하여 유사도를 산출한다. 산출된 유사도는, CPU(101)가 얼굴 화상 리스트 내의 얼굴 ID와 관련 지어서 유지된다. 또한, 얼굴 사전에 있어서 검색 대상의 인물명에 복수의 얼굴 ID와 복수의 얼굴 특징량이 관련되어 있는 경우에는, CPU는 얼굴 사전의 복수의 얼굴 특징량을 병합하고, 그 병합한 얼굴 특징량을, 얼굴 화상 리스트 내의 얼굴 특징량과 비교해서 유사도를 산출한다. 스텝 S705에서, CPU(101)는 인식 정밀도를 효율적으로 향상시키는 얼굴 화상을 추출하는 인식 정밀도 향상 얼굴 화상 추출 처리를 실행한다. 스텝 S705의 처리의 상세한 것은 후술한다.In step S701, theCPU 101 copies theface image list 501 of the specific folder created in advance from theHDD 501 to the memory. In step S702, theCPU 101 associates with theperson name 602 and theperson name 602 to be searched from theface dictionary 601 on the HDD according to the person name selected in the face dictionary editing personselection list box 303. Theface ID 603 and theface feature amount 604 are acquired (feature amount extraction). In step S703, theCPU 101 deletes from the copied face image list the face image having thesame face ID 603 as the face image already registered in the face dictionary acquired in step S702. In step S704, theCPU 101 compares eachfacial feature amount 504 in the face image list with thefacial feature amount 604 of the face dictionary to calculate a similarity degree. The calculated similarity is held in association with the face ID in the face image list by theCPU 101. In the face dictionary, when a plurality of face IDs and a plurality of face feature quantities are associated with the person name to be searched, the CPU merges the face feature quantities of the face dictionary, and the face feature amounts are merged. The similarity is calculated by comparing with the facial feature amount in the image list. In step S705, theCPU 101 executes a recognition accuracy improvement face image extraction process of extracting a face image that effectively improves the recognition accuracy. The details of the process of step S705 will be described later.

스텝 S706에서, CPU(101)는 스텝 S706에서 추출된 얼굴 화상을 후보 화상으로서 디스플레이 화면 상에 일람 표시하고, 이 플로차트를 종료한다.In step S706, theCPU 101 displays a list of face images extracted in step S706 as candidate images on the display screen, and ends this flowchart.

도 8은 본 발명의 제1 실시예에 따른 인식 정밀도 향상 얼굴 화상 추출 처리의 상세한 플로차트다. 도 8의 플로차트는 스텝 S705의 인식 정밀도 향상 얼굴 화상 추출 처리를 상세하게 기술한 것이다.8 is a detailed flowchart of the recognition accuracy improvement face image extraction process according to the first embodiment of the present invention. The flowchart of FIG. 8 describes the recognition accuracy improvement face image extraction process of step S705 in detail.

스텝 S801에서, CPU(101)는 얼굴 화상 리스트의 현재의 포인터를 얼굴 화상 리스트의 선두(도 8에서는 첫 번째)로 이동한다. 스텝 S802에서, CPU(101)는, 얼굴 화상 리스트의 현재의 포인터로부터 데이터를 취득할 수 있을 것인지 아닌지를 판정한다. 얼굴 화상 리스트의 현재의 포인터로부터 데이터를 취득할 수 있는 경우에, 플로우가 스텝 S803의 처리로 진행된다. 스텝 S802에서, 얼굴 화상 리스트의 현재의 포인터로부터 데이터를 취득할 수 없는 경우에는, CPU(101)는, 이 플로차트를 종료한다. 스텝 S803에서, CPU(101)는 얼굴 화상 리스트의 현재의 포인터의 데이터를 취득한다. 이 경우, 얼굴 화상 리스트의 데이터뿐만 아니라, 스텝 S704에서 산출되어서 얼굴 ID와 관련해서 보유된 유사도의 데이터도 취득한다. 스텝 S804에서, CPU(101)는, S803에서 취득한 유사도가 제１임계값 이상인지의 여부를 판정한다. 유사도가 제１임계값 이상이라고 판정한 경우에는, 플로우는 스텝 S805의 처리로 진행된다. 이 스텝 S804의 판정은, 같은 인물의 얼굴 화상에서도, 얼굴 화상들 중의 하나가 정면을 향하고, 다른 얼굴 화상이 옆을 보고 있기 때문에 유사도가 검색되지 않는 저유사도를 회피하기 위한 판정이다. 스텝 S804에서 유사도가 제１임계값보다 작은 경우에는, CPU(101)는 스텝 S808의 처리로 진행된다. 스텝 S805에서, CPU(101)는, S803에서 취득한 유사도가, 제１임계값보다 큰 제2임계값 이하인지의 여부를 판정한다. 유사도가 제2 임계값 이하라고 판정한 경우에는, 플로우가 스텝 S806의 처리로 진행된다. 이 스텝 S805의 판정은, 정면에서 찍은 증명용의 사진화상인 경우와 같이, 분명하게 동일 인물의 얼굴 화상을 검색하는 고유사도를 피하기 위한 판정이다. 또한, "인물 Ａ"의 인물명을 이용해서 검색을 행했을 때에, 표시된 얼굴 화상 902, 903, 904는 이 고유사도의 경우에 해당한다.In step S801, theCPU 101 moves the current pointer of the face image list to the head of the face image list (first in FIG. 8). In step S802, theCPU 101 determines whether or not data can be obtained from the current pointer of the face image list. If data can be obtained from the current pointer of the face image list, the flow advances to step S803. In step S802, when data cannot be obtained from the current pointer of the face image list, theCPU 101 ends this flowchart. In step S803, theCPU 101 acquires data of the current pointer of the face image list. In this case, not only the data of the face image list, but also the data of the similarity calculated in step S704 and retained in association with the face ID. In step S804, theCPU 101 determines whether or not the similarity acquired in S803 is equal to or greater than the first threshold value. If it is determined that the similarity is equal to or greater than the first threshold value, the flow proceeds to the process of step S805. The determination in step S804 is a determination for avoiding low similarity in which similarity is not detected because one of the face images faces the front and the other face image is looking to the side even in the face image of the same person. If the similarity is smaller than the first threshold in step S804, theCPU 101 proceeds to the processing of step S808. In step S805, theCPU 101 determines whether or not the similarity acquired in S803 is equal to or less than the second threshold value larger than the first threshold value. If it is determined that the similarity is equal to or less than the second threshold value, the flow proceeds to the process of step S806. The determination in step S805 is a determination for avoiding intrinsic aberrations in which the face image of the same person is clearly searched as in the case of the photographic image for proof taken from the front. In addition, when searching using the person name of "Person A", the displayedface images 902, 903, and 904 correspond to this case of intrinsic figure.

스텝 S805에서 CPU(101)는, 유사도가 제2 임계값보다 큰 경우에는, 스텝 S808의 처리로 진행된다.In step S805, theCPU 101 advances to step S808 when the similarity is greater than the second threshold.

스텝 S806에서, CPU(101)는, S803에서 취득한 얼굴 화상의 얼굴의 방향이 등록된 화상과 다를 것인지 아닌지를 판정한다. 얼굴 화상의 얼굴의 방향이 등록된 화상과 다른 경우에는, 플로우가 스텝 S807의 처리로 진행된다. 이 스텝 S806에서의 얼굴 화상 인식 처리는, 주지의 얼굴 인식 기능에 의해 행하는 것이 가능하다.In step S806, theCPU 101 determines whether or not the direction of the face of the face image acquired in S803 is different from the registered image. If the direction of the face of the face image is different from the registered image, the flow advances to the processing of step S807. The face image recognition processing in step S806 can be performed by a known face recognition function.

스텝 S806에서, 얼굴 화상의 얼굴의 방향이 등록된 화상과 다르지 않은 경우에는, CPU(101)는 스텝 S808의 처리로 진행된다. 이 스텝 S806에서의 얼굴 화상 인식 처리는, 주지의 얼굴 인식 기능에 의해 행하는 것이 가능하다.In step S806, when the direction of the face of the face image does not differ from the registered image, theCPU 101 proceeds to the process of step S808. The face image recognition processing in step S806 can be performed by a known face recognition function.

스텝 S807에서, CPU(101)는 얼굴 화상 리스트의 현재의 포인터를 1 증가시킨다. 그 후에, 플로우는 스텝 S802의 처리로 진행된다. 스텝 S808에서, CPU(101)는 얼굴 화상 리스트로부터 현재의 포인터에 있는 얼굴 화상을 삭제하고, 스텝 S807의 처리로 진행된다.In step S807, theCPU 101 increments the current pointer of the face image list by one. Thereafter, the flow advances to the processing of step S802. In step S808, theCPU 101 deletes the face image at the current pointer from the face image list and proceeds to step S807.

이상의 처리를 얼굴 화상 리스트에 기억되어 있는 모든 얼굴 ID에 대응하는 얼굴 화상에 대하여 행하는 것에 의해, 동일 인물의 얼굴 화상이며, 중간 정도의 유사도를 가지고 있는 화상을 추출한다. 이에 따라, 얼굴 사전에 이미 등록되어 있는 얼굴 화상과는 약간 다른 얼굴, 예를 들면 표정, 머리모양, 또는 얼굴의 방향이 다른 얼굴 화상을 찾기 쉬워진다. 그리고, 이 얼굴 화상을 얼굴 사전에 등록함으로써, 검색 히트(hit)율이 효과적으로 향상한다.By performing the above process on the face images corresponding to all the face IDs stored in the face image list, an image which is a face image of the same person and has a moderate degree of similarity is extracted. This makes it easier to find a face that is slightly different from the face image already registered in the face dictionary, for example, a face image that is different in expression, head shape, or face direction. And by registering this face image in a face dictionary, a search hit rate improves effectively.

이하, 본 발명의 제1 실시 예에 따른 얼굴 인식 장치를 사용했을 경우의 유저 인터페이스의 동작 예에 관하여 설명한다.Hereinafter, an example of the operation of the user interface in the case of using the face recognition apparatus according to the first embodiment of the present invention will be described.

도 9는 본 발명의 제1 실시예에 따른 얼굴 화상 추가 전의 얼굴 검색 다이얼로그의 동작 예를 도시한 도면이다. 도 9의 기본적인 유저 인터페이스는 도 2와 같다. 도 10은 본 발명의 제1 실시예에 따른 얼굴 사전 다이얼로그(401)와 얼굴 후보 화상 일람 다이얼로그(405)의 동작 예를 도시한 도면이다. 도 10의 기본적인 유저 인터페이스는 도 4와 같다. 도 11은 본 발명의 제1 실시예에 따른 얼굴 화상 추가 후의 얼굴 검색 다이얼로그의 동작 예를 도시한 도면이다. 도 11의 기본적인 유저 인터페이스는 도 2와 같다.9 is a diagram showing an example of the operation of the face search dialog before adding the face image according to the first embodiment of the present invention. The basic user interface of FIG. 9 is the same as that of FIG. Fig. 10 is a diagram showing an example of operation of theface dictionary dialog 401 and the face candidateimage list dialog 405 according to the first embodiment of the present invention. The basic user interface of FIG. 10 is the same as that of FIG. 4. 11 is a diagram showing an example of the operation of the face search dialog after adding a face image according to the first embodiment of the present invention. The basic user interface of FIG. 11 is the same as that of FIG.

도 9에 있어서, 유저가 화상 브라우저의 1기능인 얼굴 검색 다이얼로그(201)를 열고, 인물명 입력 텍스트 박스(203)에 인물명으로서 "인물 Ａ"를 입력한다. CPU(101)는 이 입력을 검출하면 얼굴 사전으로부터 "인물 Ａ"라고 확정한 얼굴 화상 901과, HDD(105)로부터 CPU(101)에 의해 "인물 Ａ"와 유사하다고 판정한 얼굴 화상 902, 얼굴 화상 903, 얼굴 화상 904를, 얼굴 화상 일람 표시 에어리어(204)에 표시한다. 그러나, 유저가 화상을 볼 때 "인물 Ａ"가 화상 내에 있다는 것은 분명하지만, CPU(101)가 "인물 Ａ"와 유사하다고 얼굴 화상의 얼굴을 판정하지 않았기 때문에, 얼굴 화상 일람 표시 에어리어(204)에 표시되지 않은 검색되지 않고 남아 있는 얼굴 화상 905, 906이 HDD(105) 위에 존재한다. 이 시점에서, 유저가 사전 등록 버튼(209)을 누르고, 도 3의 얼굴 사전 편집 대상 인물 선택 다이얼로그(301)를 이용해서 얼굴 사전의 편집 대상 인물명으로서 "인물 Ａ"을 선택하고, OK 버튼(304)을 누르는 것으로 한다. 그러면, CPU(101)는 도 10의 얼굴 사전 다이얼로그와 얼굴 후보 화상 일람 다이얼로그를 표시한다. 도 10의 얼굴 후보 화상 일람 다이얼로그(406)를 표시할 때에, CPU(101)는 전술의 인식 정밀도 향상 얼굴 화상 추출 처리를 실행함으로써 "인물 Ａ"와 매우 닮지 않은 얼굴 화상 1001 및 얼굴 화상 1002을 얼굴 후보 화상 일람 표시 에어리어(406)에 일람 표시한다. 여기에서, 유저가 "인물 Ａ"와 매우 닮지 않은 얼굴 화상 1001을 본인이라고 인정하고, 이 얼굴 화상 1001을 얼굴 사전 등록된 화상 일람 표시 에어리어(403)에 드래그&드롭(1003)한다. 그러면, CPU(101)는 유저에 의해 선택된 얼굴 화상 1001을 "인물 Ａ"의 얼굴로서 얼굴 사전에 등록한다.In Fig. 9, the user opens theface search dialog 201 which is one function of the image browser, and enters "Person A" as the person name in the person nameinput text box 203. When theCPU 101 detects this input, theface image 901 determined as "person A" from the face dictionary, theface image 902 determined by theCPU 101 as similar to "person A", and the face. Theimage 903 and theface image 904 are displayed in the face imagelist display area 204. However, it is clear that "person A" is in the image when the user views the image, but since theCPU 101 did not determine the face of the face image similar to "person A", the face imagelist display area 204Face images 905 and 906 that remain unsearched and not displayed on theHDD 105 exist on theHDD 105. At this point, the user presses thepre-registration button 209, selects "Person A" as the person name to be edited in the face dictionary using the face pre-editingperson selection dialog 301 of FIG. 3, and clicks theOK button 304 We shall press). Then, theCPU 101 displays the face dictionary dialog and the face candidate image list dialog shown in FIG. When displaying the face candidateimage list dialog 406 in FIG. 10, theCPU 101 performs the above-described recognition accuracy improvement face image extraction process to face theface image 1001 and theface image 1002 which are not very similar to "Person A". The list is displayed in the candidate imagelist display area 406. Here, the user recognizes that theface image 1001 that is not very similar to "person A" is the person, and drags and drops theface image 1001 to the facelist display area 403 where the face is pre-registered. Then, theCPU 101 registers theface image 1001 selected by the user in the face dictionary as the face of "Person A".

즉, 이 얼굴 후보 화상 일람 표시 에어리어(406)에 표시되어 있는 화상은, 얼굴 인식 장치가 얼굴 사전에 등록하는 것을 권장하고 있는 화상이라고도 할 수 있다. 그리고, 이 얼굴 후보 화상 일람 표시 에어리어(406)에 표시되어 있는 화상의 모두 또는 일부를 얼굴 사전에 등록함으로써, 효율적으로 그 인물의 얼굴의 검색율을 상승시킬 수 있다. 즉, 얼굴 사전에 등록하는 얼굴 화상의 수를 쓸데없이 증가시키면서, 적은 수의 화상이 검색되지 않은 채로 있는 많은 화상으로부터 대상 인물의 화상을 추출할 수 있다. 얼굴 사전에 등록하는 얼굴 화상의 수를 가능한 한 적게 감소시킴으로써 얼굴 인식 처리의 계산 부하를 대폭 삭감할 수 있다. That is, the image displayed in the face candidate imagelist display area 406 can also be said to be the image which the face recognition apparatus recommends to register in a face dictionary. Then, by registering all or part of the image displayed in the face candidate imagelist display area 406 in the face dictionary, the search rate of the face of the person can be increased efficiently. In other words, while unnecessarily increasing the number of face images registered in the face dictionary, it is possible to extract an image of a target person from many images in which a small number of images are not retrieved. By reducing the number of face images registered in the face dictionary as little as possible, the computational load of the face recognition process can be significantly reduced.

유저가 도 11의 얼굴 검색 다이얼로그(201)로 돌아가서, 재차 인물명 입력 텍스트 박스(203)를 이용해서 "인물 Ａ"의 인물명을 검색한다.The user returns to theface search dialog 201 of FIG. 11 and uses the person nameinput text box 203 to search for the person name of "Person A".

이 검색에 응답해서, CPU(101)는 갱신된 얼굴 사전에 따라 다음 화상을 표시한다. 다시 말해, "인물 A"라고 확정한 얼굴 화상 901과 얼굴 화상 1101과, HDD(105)로부터 CPU(101)가 "인물 A"와 닮았다고 판정한 얼굴 화상 902, 얼굴 화상 903, 얼굴 화상 904, 및 얼굴 화상 1102를 얼굴 화상 일람 표시 에어리어(204)에 표시한다. 즉, 얼굴 화상 1001을 얼굴 사전에 등록할 수 있으므로, 인물 A"의 인물명이 검색되었을 때에, 종래 검색되어 있었던 유사 얼굴 화상 902-904에 더해서, 새롭게 얼굴 화상 1102도 검색되어서 표시되게 된다.In response to this search, theCPU 101 displays the next image according to the updated face dictionary. In other words, theface image 901 andface image 1101 determined as "person A", theface image 902,face image 903,face image 904 determined from theHDD 105 by theCPU 101 to resemble "person A", and Theface image 1102 is displayed in the face imagelist display area 204. That is, since theface image 1001 can be registered in the face dictionary, when the person name of the person A "is retrieved, theface image 1102 is newly retrieved and displayed in addition to the similar face image 902-904 which was conventionally searched.

이상 설명한 바와 같이, 본 실시예의 얼굴 인식 장치를 사용하면, 효율적으로 인식 정밀도가 향상하는 얼굴 후보 화상이 표시된다. 따라서, 유저가 얼굴 사전에 등록해야 할 화상의 선정 작업을 반복하는 수고를 삭감하여, 보다 적은 조작 수로 인식 정밀도를 어떤 특정의 레벨까지 향상시킬 수 있다. 또한, 매우 서로 닮지 않은 동일 인물의 얼굴 화상을 얼굴 사전에 등록하는 것에 의해 인식 정밀도가 효율적으로 향상한다고 하는 얼굴 인식 기능의 특성을 유저가 몰라도, 보다 적은 동작 수로 인식 정밀도를 어떤 특정의 레벨까지 향상시킬 수 있다.As described above, when the face recognition apparatus of the present embodiment is used, face candidate images with improved recognition accuracy are displayed. Therefore, the trouble of repeating the selection process of the image which the user needs to register in the face dictionary can be reduced, and the recognition precision can be improved to a certain level with a smaller number of operations. In addition, even if the user does not know the characteristics of the face recognition function that the recognition accuracy is efficiently improved by registering the face images of the same person who are very similar to each other in the face dictionary, the recognition accuracy is improved to a certain level with a smaller number of operations. You can.

얼굴 인식 장치는, 얼굴 인식율을 효과적으로 향상시키는 얼굴의 특징량의 등록을 촉진시킨다. 한편, 얼굴 인식 장치는, 효과적으로 검색율을 향상시키지 않는 특징량의 등록을 감소시킬 수도 있다. 이에 따라, 등록된 얼굴 특징량의 데이터를 유지하기 위한 메모리나 하드 디스크의 소비량을 절약할 수 있다고 하는 효과도 제공할 수 있다. 또한, 본 발명에 의하면, 인물을 검색할 때에, 인식율 향상에 기여하지 않는 얼굴 사전에 등록된 화상의 얼굴 특징량과의 비교가 없어지므로, 인식율이 유사한 검색을 보다 고속으로 행할 수 있다.The face recognition device promotes the registration of the feature amount of the face, which effectively improves the face recognition rate. On the other hand, the face recognition apparatus can also reduce the registration of the feature amount that does not effectively improve the search rate. Thereby, the effect of saving the memory and hard disk consumption for holding data of the registered facial feature amount can also be provided. Further, according to the present invention, when searching for a person, the comparison with the facial feature amount of the image registered in the face dictionary which does not contribute to the recognition rate improvement is eliminated, so that a search having a similar recognition rate can be performed at a higher speed.

본 제1 실시예에서는, 인식 정밀도 향상 얼굴 화상 추출 처리를 인용했다. 본 실시예의 인식 정밀도 향상 얼굴 화상 추출 처리에 있어서, 인식 정밀도를 효율적으로 향상시키는 얼굴 화상후보로서, 유사도가 일정 범위에 있으며, 또한 얼굴의 방향이 얼굴 사전에 등록된 얼굴 화상과 다른 것을 사용한다. 그러나, 본 제1 실시예의 하나의 변형 예에서는, 얼굴 방향 이외의 특징량을 판정 대상으로 하는 것도 가능하다. 예를 들면, 얼굴 화상의 광원의 방향, 얼굴의 표정, 추정 연령, 및 수염 등의 얼굴 구성요소를 판정 대상으로서 이용하는 것이 생각된다. 이하, 각 변형 예를 순차적으로 설명한다. 유사도가 일정 범위에 있으며, 또한 얼굴 화상의 얼굴에 대한 조명 방법(illumination appearance)(즉, 얼굴 화상의 광원의 방향)이, 등록된 얼굴 화상과 다른 것을, 인식 정밀도를 효율적으로 향상시키는 얼굴 화상후보로서, 이용한 변형 예를 이하에 설명한다. 이 변형예에 있어서, 얼굴 인식 장치의 구성은 제1 실시 예와 같다.In the first embodiment, the recognition accuracy improvement face image extraction process is cited. Recognition Improvement Enhancement In the present embodiment, as a face image candidate for efficiently improving recognition accuracy, a similarity is in a certain range and the direction of the face is different from the face image registered in the face dictionary. However, in one modification of the first embodiment, it is also possible to make the feature amount other than the face direction a target of determination. For example, it is conceivable to use face components such as a direction of a light source of a face image, a facial expression, an estimated age, and a beard as a determination target. Hereinafter, each modification is demonstrated sequentially. The face image candidate which improves the recognition accuracy efficiently that similarity exists in a certain range, and that the illumination appearance (i.e., the direction of the light source of the face image) for the face of the face image is different from the registered face image. As an example, the modified example used will be described below. In this modification, the configuration of the face recognition apparatus is the same as in the first embodiment.

도 12는, 본 변형 예에 있어서의 인식 정밀도 향상 얼굴 화상 추출 처리의 상세한 플로차트를 도시한 도면이다. 도 12의 플로차트는 제1 실시 예에 있어서의 스텝 S705의 처리를 한층 더 상세하게 기술한 것이다.12 is a diagram showing a detailed flowchart of the recognition accuracy improvement face image extraction process in the present modification. The flowchart of FIG. 12 describes the processing of step S705 in the first embodiment in more detail.

도 12에 있어서, 스텝 S801?S805과 스텝 S807?S808의 처리는, 제1 실시 예와 같다. 스텝 S1201에서, CPU(101)는, 스텝 S803에서 취득한 얼굴 화상의 얼굴에 대한 조명 방법이 등록된 화상과 다를 것인지 아닌지를 판정한다. 얼굴 화상의 얼굴에 대한 조명 방법이 등록된 화상과 다른 경우에는, 플로우가 스텝 S807의 처리로 진행된다. 이 스텝 S1201에서의 얼굴 화상 인식 처리는, 주지의 얼굴 인식 기능으로 행하는 것이 가능하다.In Fig. 12, the processing of steps S801 to S805 and steps S807 to S808 is the same as in the first embodiment. In step S1201, theCPU 101 determines whether the illumination method for the face of the face image acquired in step S803 is different from the registered image. If the illumination method for the face of the face image is different from the registered image, the flow advances to the processing of step S807. The face image recognition processing in step S1201 can be performed by a known face recognition function.

스텝 S1201에서 얼굴 화상의 얼굴에 대한 조명 방법이 등록된 화상과 다르지 않은 경우에는, CPU(101)는 스텝 S808의 처리로 진행된다. 이상에서 설명한 바와 같이, 본 변형 예에 의하면, 이미 얼굴 사전에 등록되어 있는 얼굴 화상과 같은 그림자가 존재하는 얼굴 화상은, 얼굴 후보 화상 일람 표시 에어리어(406)에 표시되지 않는다. 그 때문에, 가령 그림자가 얼굴에 있는 얼굴 화상이 다수 HDD(105)에 존재해도, 유저는 얼굴 사전 등록 시에 유사한 그림자가 얼굴에 있는 화상을 반복해서 얼굴 사전에 등록하는 수고를 생략하는 것이 가능하게 된다.If the illumination method for the face of the face image is not different from the registered image in step S1201, theCPU 101 proceeds to the process of step S808. As described above, according to this modification, the face image in which the shadow such as the face image already registered in the face dictionary exists is not displayed in the face candidate imagelist display area 406. Therefore, even if a large number of face images with shadows on the face exist on theHDD 105, the user can omit the trouble of repeatedly registering the images with similar shadows on the face at the time of face pre-registration. do.

다음에 유사도가 일정 범위에 있으며, 또한 얼굴의 표정이, 등록된 얼굴 화상과는 다른 것을, 인식 정밀도가 효율적으로 향상하는 얼굴 화상후보로서 이용한 변형 예를 이하에 설명한다. 본 변형예에 있어서는, 얼굴 인식 장치의 구성은 제1 실시 예와 같다.Next, a variation will be described below, in which similarity is in a certain range and the facial expression differs from the registered facial image as a facial image candidate in which the recognition accuracy is efficiently improved. In this modification, the configuration of the face recognition apparatus is the same as that of the first embodiment.

도 13은, 본 변형 예에 있어서의 인식 정밀도 향상 얼굴 화상 추출 처리의 상세한 플로차트를 도시한 도면이다. 도 13의 플로차트는 제1 실시예의 스텝 S705의 처리를 한층 더 상세하게 기술한 것이다. 도 13에 있어서, 스텝 S801?S805와 스텝 S807?S808의 처리는 제1 실시 예와 같다. 스텝 S1301에서, CPU(101)는, 스텝 S803에서 취득한 얼굴 화상의 얼굴의 표정이 등록된 화상과 다른지 아닌지를 판정한다. 얼굴 화상의 얼굴의 표정이 등록된 화상과 다른 경우에는, 플로우가 스텝 S807의 처리로 진행된다. 이 스텝 S1301에서의 얼굴 화상 인식 처리는, 주지의 얼굴 인식 기능으로 행하는 것이 가능하다. 스텝 S1301에서 얼굴 화상의 얼굴의 표정이 등록된 화상과 다른 경우에는, CPU(101)는 스텝 S808의 처리로 진행된다.Fig. 13 is a diagram showing a detailed flowchart of the recognition accuracy improvement face image extraction process in this modification. The flowchart of FIG. 13 describes the processing of step S705 of the first embodiment in more detail. In Fig. 13, the processing of steps S801 to S805 and steps S807 to S808 is the same as in the first embodiment. In step S1301, theCPU 101 determines whether the facial expression of the face image acquired in step S803 is different from the registered image. If the facial expression of the face image is different from the registered image, the flow advances to the processing of step S807. The face image recognition processing in step S1301 can be performed by a known face recognition function. If the facial expression of the face image is different from the registered image in step S1301, theCPU 101 proceeds to the processing of step S808.

이상에서 설명한 바와 같이, 본 변형 예에 의하면, 이미 얼굴 사전에 등록되어 있는 얼굴 화상과 비슷한 얼굴 표정을 한 얼굴 화상은, 얼굴 후보 화상 일람 표시 에어리어(406)에 표시되지 않는다. 그 때문에, 가령 비슷한 표정을 한 얼굴 화상이 다수 HDD(105)에 존재해도, 유저는 얼굴 사전 등록 시에 비슷한 표정을 한 얼굴 화상을 반복해서 얼굴 사전에 등록하는 수고를 생략하는 것이 가능하게 된다.As described above, according to this modification, the face image having a facial expression similar to the face image already registered in the face dictionary is not displayed in the face candidate imagelist display area 406. Therefore, even if a plurality of face images having similar expressions exist on theHDD 105, for example, the user can skip the trouble of repeatedly registering the face images having similar expressions in the face dictionary at the time of face pre-registration.

다음에, 인식 정밀도가 효율적으로 향상하는 얼굴 화상 후보로서, 유사도가 일정 범위 내에 있고, 또한 인물의 추정 연령이, 등록된 얼굴 화상과 다른 것을 이용하는 다음의 변형 예를 이하에 설명한다. 본 변형예에 있어서, 얼굴 인식 장치의 구성은 제1 실시 예와 같다.Next, the following modified example in which similarity is within a certain range and the estimated age of the person differs from the registered face image as a face image candidate for efficiently improving the recognition accuracy will be described below. In this modification, the configuration of the face recognition apparatus is the same as in the first embodiment.

도 14는, 본 변형 예에 있어서의 인식 정밀도 향상 얼굴 화상 추출 처리의 상세한 플로차트를 도시한 도면이다. 도 14의 플로차트는 제1 실시 예 있어서의 스텝 S705의 처리를 한층 더 상세하게 기술한 것이다. 도 14에 있어서, 스텝 S801?S805와 스텝 S807?S808의 처리는, 제1 실시 예와 같다. 스텝 S1401에서, CPU(101)는, 스텝 S803에서 취득한 얼굴 화상의 피사체 인물의 추정 연령이 등록된 화상과 다른지 아닌지를 판정한다. 얼굴 화상의 피사체 인물의 추정 연령이 등록된 화상과 다른 경우에는, 플로우가 스텝 S807의 처리로 진행된다. 이 스텝 S1401에서의 얼굴 화상 인식 처리는, 주지의 얼굴 인식 기능으로 행하는 것이 가능하다.Fig. 14 is a diagram showing a detailed flowchart of the recognition accuracy improvement face image extraction process in this modification. The flowchart of FIG. 14 describes the processing of step S705 in the first embodiment in more detail. In Fig. 14, the processes of steps S801 to S805 and steps S807 to S808 are the same as those of the first embodiment. In step S1401, theCPU 101 determines whether the estimated age of the subject person of the face image acquired in step S803 is different from the registered image. If the estimated age of the subject person in the face image is different from the registered image, the flow advances to step S807. The face image recognition processing in step S1401 can be performed by a known face recognition function.

스텝 S1401에서 얼굴 화상의 피사체 인물의 추정 연령이 등록된 화상과 다르지 않은 경우에는, CPU(101)는 스텝 S808의 처리로 진행된다.If the estimated age of the subject person in the face image does not differ from the registered image in step S1401, theCPU 101 proceeds to the process of step S808.

이상에서 설명한 바와 같이, 본 변형 예에 의하면, 이미 얼굴 사전에 등록되어 있는 인물의 얼굴 화상에서, 지금까지는 추정 연령의 얼굴 변화의 영향으로 유사도가 낮다고 판정된 화상도 얼굴 후보 화상 일람 표시 에어리어(406)에 표시되게 된다. 그 때문에, 유저는 얼굴 사전 등록시에 일부러 HDD(105)로부터 수동으로 추정 연령이 다른 동일 인물의 얼굴 화상을 찾아서 얼굴 화상을 얼굴 사전에 등록할 필요가 없다.As described above, according to this modification, in the face image of the person already registered in the face dictionary, the image determined so far that the degree of similarity is low under the influence of the face change of the estimated age is also the face candidate image list display area 406. ) Will be displayed. Therefore, the user does not need to manually search for the face image of the same person having different estimated age from theHDD 105 at the time of face pre-registration and register the face image in the face dictionary.

다음에 인식 정밀도가 효율적으로 향상하는 얼굴 화상후보로서, 유사도가 일정 범위 내에 있으며, 또한 얼굴 구성요소가, 등록된 얼굴 화상과는 다른 것을 이용하는 변형 예를 이하에 설명한다. 본 변형 예에 있어서, 얼굴 인식 장치의 구성은 제1 실시 예와 같다.Next, as a face image candidate in which the recognition accuracy is efficiently improved, a variation in which similarity is within a certain range and the face component is different from the registered face image will be described below. In this modification, the configuration of the face recognition apparatus is the same as that of the first embodiment.

도 15는 제5 변형 예의 인식 정밀도 향상 얼굴 화상 추출 처리의 상세한 플로차트를 도시한 도면이다. 도 15의 플로차트는 제1 실시 예의 스텝 S705의 처리를 한층 더 상세하게 기술한 것이다. 도 15에 있어서, 스텝 S801?S805과 스텝 S807?S808의 처리는, 제1 실시 예와 같다.15 is a diagram showing a detailed flowchart of the recognition accuracy improvement face image extraction process of the fifth modification. The flowchart of FIG. 15 describes the processing of step S705 of the first embodiment in more detail. In Fig. 15, the processing of steps S801 to S805 and steps S807 to S808 is the same as in the first embodiment.

스텝 S1501에서, CPU(101)는, 스텝 S803에서 취득한 얼굴 화상의 얼굴 구성요소가 등록된 화상의 것과 다른지 아닌지를 판정한다. 얼굴 화상의 얼굴 구성요소가 등록된 화상의 것과 다른 경우에는, 플로우는 스텝 S807의 처리로 진행된다. 이 스텝 S1501에서의 얼굴 화상 인식 처리는, 주지의 얼굴 인식 기능으로 행하는 것이 가능하다. 스텝 S1501에서 얼굴 화상의 얼굴 구성요소가 등록된 화상의 것과 다르지 않은 경우에는, CPU(101)는 스텝 S808의 처리로 진행된다.In step S1501, theCPU 101 determines whether the face component of the face image acquired in step S803 is different from that of the registered image. If the face component of the face image is different from that of the registered image, the flow advances to the processing of step S807. The face image recognition processing in this step S1501 can be performed by a known face recognition function. If the face component of the face image does not differ from that of the registered image in step S1501, theCPU 101 proceeds to the process of step S808.

이상에서 설명한 바와 같이, 본 변형 예에 의하면, 이미 얼굴 사전에 등록되어 있는 얼굴 화상이 촬영된 시점과 비교하여, 수염, 눈썹, 또는 속눈썹의 형상에 변화가 있었던 얼굴 화상이라고, 얼굴 후보 화상 일람 표시 에어리어(406)에 표시된다. 그 때문에, 유저는 얼굴 사전 등록시에 일부러 HDD(105)로부터 수동으로 얼굴 구성요소가 다른 동일 인물의 얼굴 화상을 찾아서 그 얼굴 화상을 얼굴 사전에 등록할 필요가 없다.As described above, according to this modification, the face candidate image is displayed as a face image in which the shape of the beard, the eyebrows, or the eyelashes has changed compared with the point in time when the face image already registered in the face dictionary has been photographed. Displayed inarea 406. Therefore, the user does not need to manually search for the face image of the same person having different face components from theHDD 105 at the time of face pre-registration and register the face image in the face dictionary.

제2 실시 예Second embodiment

제1 실시 예에 있어서는, 인식 정밀도가 효율적으로 향상하는 얼굴 화상 후보로서, 유사도가 일정 범위 내에 있으며, 또한 얼굴의 방향 등이 등록된 얼굴 화상과 다른 것을 이용하는 인식 정밀도 향상 얼굴 화상 추출 처리를 기술했다.In the first embodiment, a recognition accuracy improvement face image extraction process using a face image candidate in which the similarity is within a certain range and the direction of the face is different from the registered face image is described as the face image candidate for efficiently improving the recognition accuracy. .

제2 실시 예에 있어서는, 인식 정밀도가 효율적으로 향상하는 얼굴 화상 후보로서, 유사도가 일정 범위 내에 있는 얼굴 화상을 이용하는 것 이외에, 유사도가 제2 임계값을 초과하는 얼굴 화상도 얼굴 화상 후보로서 사용한다.In the second embodiment, as a face image candidate with which the recognition accuracy is efficiently improved, a face image whose similarity exceeds the second threshold is used as a face image candidate, in addition to using a face image whose similarity is within a predetermined range. .

그러나, 유사도가 제2 임계값을 초과하는 얼굴 화상을 얼굴 후보 화상 일람 다이얼로그에 일람 표시하지만, 유사도가 제2 임계값을 초과하는 얼굴 화상을, 얼굴 사전에는 등록할 수 없다. 제2 실시 예에 있어서는, 얼굴 인식 장치의 구성은 제1 실시 예와 같다.However, although a face image whose similarity exceeds the second threshold is listed in the face candidate image list dialog, the face image whose similarity exceeds the second threshold cannot be registered in the face dictionary. In the second embodiment, the configuration of the face recognition apparatus is the same as in the first embodiment.

도 16은 제2 실시 예의 인식 정밀도 향상 얼굴 화상 추출 처리의 상세한 플로차트를 도시한 도면이다. 도 16의 플로차트는 제1 실시 예의 스텝 S705의 처리를 한층 더 상세하게 기술한 것이다. 도 16에 있어서, 스텝 S801?S803과 스텝 S807의 처리는, 제1 실시 예와 같다.Fig. 16 is a diagram showing a detailed flowchart of the recognition accuracy improvement face image extraction process according to the second embodiment. The flowchart of FIG. 16 describes the processing of step S705 of the first embodiment in more detail. In FIG. 16, the process of step S801-S803 and step S807 is the same as that of 1st Example.

스텝 S804에서, CPU(101)는 S803에서 취득한 유사도가 제１임계값 이상인지 아닌지를 판정한다. 유사도가 제１임계값 이상인 경우에, CPU(101)는 스텝 S805의 처리로 진행된다. 유사도가 제１임계값보다 작은 경우에는, CPU(101)는 스텝 S1601의 처리로 진행된다.In step S804, theCPU 101 determines whether or not the similarity acquired in S803 is equal to or greater than the first threshold value. If the degree of similarity is equal to or greater than the first threshold value, theCPU 101 proceeds to the processing of step S805. If the similarity is smaller than the first threshold value, theCPU 101 proceeds to the processing of step S1601.

스텝 S805에서, CPU(101)는, S803에서 취득한 유사도가 제2 임계값 이하인지의 여부를 판정한다. 유사도가 제2임계값 이하인 경우에는, 플로우는 스텝 S806의 처리로 진행된다. 유사도가 제2 임계값보다 큰 경우에는, CPU(101)는 스텝 S1602의 처리로 진행된다.In step S805, theCPU 101 determines whether or not the similarity acquired in S803 is equal to or less than the second threshold. If the similarity is equal to or less than the second threshold value, the flow advances to the process of step S806. If the similarity is greater than the second threshold value, theCPU 101 proceeds to the processing of step S1602.

스텝 S806에서, CPU(101)는, S803에서 취득한 얼굴 화상의 얼굴의 방향이 등록된 화상과 다른지 아닌지를 판정한다. 얼굴 화상의 얼굴의 방향이 등록된 화상과 다른 경우에는, 플로우는 스텝 S807의 처리로 진행된다. 얼굴 화상의 얼굴 방향이 등록된 화상과 다르지 않은 경우에는, CPU(101)는 스텝 S1602의 처리로 진행된다.In step S806, theCPU 101 determines whether the direction of the face of the face image acquired in S803 is different from the registered image. If the direction of the face of the face image is different from the registered image, the flow advances to the processing of step S807. If the face direction of the face image does not differ from the registered image, theCPU 101 proceeds to the processing of step S1602.

스텝 S1602에서, CPU(101)는 리스트의 현재의 포인터에 있는 얼굴 화상에 플래그 정보를 추가하고, 스텝 S807의 처리로 진행된다. 스텝 S1601에서, CPU(101)는 얼굴 화상 리스트로부터 현재의 포인터에 있는 얼굴 화상을 삭제하고, 스텝 S802의 처리로 진행된다.In step S1602, theCPU 101 adds flag information to the face image at the current pointer in the list and proceeds to step S807. In step S1601, theCPU 101 deletes the face image at the current pointer from the face image list and proceeds to step S802.

도 17은 제2 실시 예에 있어서의 얼굴 사전 다이얼로그(401)와 얼굴 후보 화상 일람 다이얼로그(405)이다.Fig. 17 is aface dictionary dialog 401 and a face candidateimage list dialog 405 in the second embodiment.

유저가 도 3의 OK 버튼(304)을 누르면, CPU(101)는, 얼굴 사전 편집 대상 인물 선택 리스트 박스(303)를 이용해서 선택 상태인 인물명을 취득하고, 얼굴 사전 편집 대상 인물 선택 다이얼로그를 닫는다. 그리고, CPU(101)는 취득한 인물명에 대응한 얼굴 사전 다이얼로그(401)와 얼굴 후보 화상 일람 다이얼로그(405)를 표시한다. 이때, CPU(101)는 도 7의 얼굴 사전 등록 얼굴 화상 후보 일람 표시 처리를 행한다. 제2 실시 예에서는, 스텝 S705에서, 유사도가 일정 범위 내에 있으면서 특정한 조건을 충족시키는 얼굴 화상과, 유사도가 제2 임계값을 초과하는 얼굴 화상을 추출한다. 스텝 S706에서, CPU(101)는 유사도가 일정 범위 내에 있으면서 특정한 조건을 충족시키는 얼굴 화상과, 유사도가 제2 임계값을 초과하는 얼굴 화상을, 얼굴 후보 화상 일람 표시 에어리어(406)에 나란히 표시한다.When the user presses theOK button 304 of FIG. 3, theCPU 101 acquires the person name in the selected state using the face pre-edit target personselection list box 303, and closes the face pre-edit target person selection dialog. . Then, theCPU 101 displays theface dictionary dialog 401 and the face candidateimage list dialog 405 corresponding to the acquired person name. At this time, theCPU 101 performs a face pre-registered face image candidate list display process of FIG. 7. In the second embodiment, in step S705, a face image that satisfies a specific condition while the similarity is within a predetermined range and a face image whose similarity exceeds the second threshold value are extracted. In step S706, theCPU 101 displays, in parallel with the face candidate imagelist display area 406, a face image having similarity within a predetermined range and satisfying a specific condition and a face image whose similarity exceeds the second threshold. .

여기에서, 유저가 유사도가 제2 임계값을 초과하는 얼굴 화상을, 마우스를 이용하여 선택해서 유사도가 제2 임계값을 초과하는 얼굴 화상을 사전 등록된 화상 일람 표시 에어리어에 드래그&드롭하면, CPU(101)는 유저가 선택한 얼굴 화상에 플래그 정보가 추가되어 있는지 아닌지를 판정한다. 유저가 선택한 얼굴 화상에 플래그 정보가 추가되어 있는 경우, 유저가 드래그&드롭 조작을 완료해도, CPU(101)는 유저가 선택한 얼굴 화상을 얼굴 사전에 등록하지 않는다. 유저가 선택한 얼굴 화상에 플래그 정보가 추가되지 않은 경우에는, 유저의 드래그&드롭 조작의 완료에 응답해서, CPU(101)는 유저가 선택한 얼굴 화상을 얼굴 사전에 등록한다. 또한, 얼굴 후보 화상 일람 표시 에어리어(406)에 유사도가 제2 임계값을 초과하는 얼굴 화상을 나란히 표시할 때에, 유저에게 얼굴 사전에 등록할 수 없는 얼굴 화상을 알리기 위해서, CPU(101)는 유사도가 제2 임계값을 초과하는 얼굴 화상을 반투명하게 표시해도 된다. 또한, 유사도가 제2 임계값을 초과하는 얼굴 화상을 반투명하게 표시하는 대신에, 얼굴 화상의 프레임 색을 변경하거나 또는 얼굴 화상이 얼굴 사전에 등록할 수 없다는 것을 나타내는 아이콘이나 마크를 표시해도 된다.Here, when the user selects a face image whose similarity exceeds the second threshold by using a mouse and drags and drops a face image whose similarity exceeds the second threshold to the pre-registered image list display area, theCPU 101 determines whether flag information is added to the face image selected by the user. When flag information is added to the face image selected by the user, even if the user completes the drag & drop operation, theCPU 101 does not register the face image selected by the user to the face dictionary. When flag information is not added to the face image selected by the user, in response to the user completing the drag and drop operation, theCPU 101 registers the face image selected by the user in the face dictionary. In addition, when displaying the face images whose similarity exceeds the second threshold side by side in the face candidate imagelist display area 406, theCPU 101 notifies the face images that cannot be registered in advance in the face. May display semi-transparently a face image exceeding the second threshold. In addition, instead of displaying the face image whose similarity exceeds the second threshold semi-transparently, the frame color of the face image may be changed or an icon or mark indicating that the face image cannot be registered in the face dictionary may be displayed.

또한, 제2 실시예에서는, 특정의 조건으로서 얼굴의 방향을 인용했다. 얼굴의 방향 대신에, 얼굴 표정, 얼굴 화상의 얼굴에 대한 조명 방법, 연령, 및 얼굴 구성요소의 변화를 특정한 조건으로서 사용해도 된다.In addition, in 2nd Example, the direction of a face was quoted as a specific condition. Instead of the direction of the face, changes in the facial expression, the illumination method for the face of the face image, age, and face components may be used as specific conditions.

이상에서 설명한 바와 같이, 본 실시예의 얼굴 인식 장치를 사용하면, 인식 정밀도가 효율적으로 향상하는 얼굴 후보 화상을 유저에게 제시하고, 인식 정밀도가 효율적으로 향상하지 않지만 유사도가 매우 높은 얼굴 후보 화상도 유저에게 제시한다. 그 때문에, 유저는 넓은 범위의 유사도로 본인이라고 판정된 얼굴 화상을 시각적으로 인식할 수 있다. 또한, 본 실시예의 얼굴 인식 장치를 사용하면, 인식 정밀도가 효율적으로 향상하는 얼굴 후보 화상과, 인식 정밀도가 효율적으로 향상하지 않지만 유사도가 매우 높은 얼굴 후보 화상을 혼재해서 일람 표시할 수 있다. 그리고, 유사도가 매우 높은 얼굴 후보 화상을 얼굴 사전에 등록할 수 없기 때문에, 유저는 본인 확정 작업을 반복적으로 행할 때에, 보다 적은 수의 동작으로 인식 정밀도를 어떤 특정 레벨까지 향상시킬 수 있다.As described above, when the face recognition apparatus of the present embodiment is used, the face candidate image whose recognition accuracy is efficiently improved is presented to the user, and even if the recognition accuracy is not improved efficiently, even the face candidate image having a very high similarity is presented to the user. present. Therefore, the user can visually recognize the face image determined as the person with a wide range of similarities. In addition, when the face recognition apparatus of the present embodiment is used, a face candidate image in which recognition accuracy is efficiently improved and a face candidate image in which recognition accuracy is not efficiently improved but very high similarity can be displayed together. In addition, since a face candidate image having a very high similarity cannot be registered in the face dictionary, the user can improve the recognition accuracy up to a certain level with fewer operations when repeatedly performing the identity determination operation.

또한, 본 실시예의 얼굴 인식 장치를 사용하면, 인식 정밀도가 효율적으로 향상하는 얼굴 후보 화상과, 인식 정밀도가 효율적으로 향상하지 않지만 유사도가 매우 높은 얼굴 후보 화상을 혼재해서 일람 표시하면서, 얼굴 사전에 등록할 수 없는 얼굴 화상에 대한 정보를 유저에게 통지한다. 그 때문에, 유저는 본인 확정 작업 시에, 어느 화상이 인식 정밀도를 효율적으로 향상시키는 얼굴 후보 화상인지를 시각적으로 인식할 수 있다.If the face recognition device of the present embodiment is used, the face candidate image for which the recognition accuracy is efficiently improved and the face candidate image for which the recognition accuracy is not improved efficiently but with very high similarity are listed and registered in the face dictionary. The user is informed of the information about the face image that cannot be made. Therefore, the user can visually recognize which image is the face candidate image which improves the recognition accuracy efficiently at the time of the self-determination operation.

제2 실시 예에서는, 인식 정밀도가 효율적으로 향상하는 얼굴 후보 화상에 더해서, 유사도가 매우 높은 얼굴 후보 화상도 혼재해서 유저에게 제시했다. 이 경우의 표시 제어(도 17)의 변형 예를 이하에 설명한다.In the second embodiment, in addition to the face candidate image in which the recognition accuracy is efficiently improved, the face candidate image having a very high similarity is also presented to the user. A modification of the display control (Fig. 17) in this case will be described below.

본 변형 예에서는, 인식 정밀도가 효율적으로 향상하는 얼굴 후보 화상을, 얼굴 후보 화상 일람 표시 에어리어(406)의 선두에 우선적으로 표시하고, 유사도가 매우 높은 얼굴 후보 화상은 우선순위를 하강시키면서, 얼굴 후보 화상 일람 표시 에어리어(406)의 후방에 표시한다. 본 변형 예에 있어서는, 얼굴 인식 장치의 구성은 제2 실시 예와 같다.In this modification, the face candidate image for which the recognition accuracy is efficiently improved is preferentially displayed at the head of the face candidate imagelist display area 406, and the face candidate image having a very high similarity is the face candidate while decreasing the priority. Displayed behind the imagelist display area 406. In this modification, the configuration of the face recognition apparatus is the same as in the second embodiment.

도 18은 본 변형 예에 있어서의 얼굴 사전 다이얼로그(401)와 얼굴 후보 화상 일람 다이얼로그(405)를 도시한 도면이다.Fig. 18 is a diagram showing aface dictionary dialog 401 and a face candidateimage list dialog 405 in this modification.

유저가 도 3의 OK 버튼(304)을 누르면, CPU(101)는, 얼굴 사전 편집 대상 인물 선택 리스트 박스(303)를 이용해서 선택 상태인 인물명을 취득하고, 얼굴 사전 편집 대상 인물 선택 다이얼로그를 닫는다. 그리고, CPU(101)는 취득한 인물명에 대응한 얼굴 사전 다이얼로그(401)와 얼굴 후보 화상 일람 다이얼로그(405)를 표시한다. 이때, CPU(101)는 도 7의 얼굴 사전 등록 얼굴 화상 후보 일람 표시 처리를 행한다. 제2 실시예에서는, 스텝 S705에서, 유사도가 일정 범위 내에 있으면서 특정한 조건을 충족시키는 얼굴 화상과, 유사도가 제2 임계값을 초과하는 얼굴 화상을 추출한다. 스텝 S706에서, CPU(101)는 유사도가 일정 범위 내에 있으면서 특정한 조건을 충족시키는 얼굴 화상과, 유사도가 제2 임계값을 초과하는 얼굴 화상을, 얼굴 후보 화상 일람 표시 에어리어(406)에 나란히 표시한다.When the user presses theOK button 304 of FIG. 3, theCPU 101 acquires the person name in the selected state using the face pre-edit target personselection list box 303, and closes the face pre-edit target person selection dialog. . Then, theCPU 101 displays theface dictionary dialog 401 and the face candidateimage list dialog 405 corresponding to the acquired person name. At this time, theCPU 101 performs a face pre-registered face image candidate list display process of FIG. 7. In the second embodiment, in step S705, a face image having a similarity within a predetermined range and satisfying a specific condition and a face image having a similarity exceeding a second threshold value are extracted. In step S706, theCPU 101 displays, in parallel with the face candidate imagelist display area 406, a face image having similarity within a predetermined range and satisfying a specific condition and a face image whose similarity exceeds the second threshold. .

이때, CPU(101)는 스텝 S705에서 추출한 얼굴 화상에 대하여, 플래그 정보가 추가되어 있는지 아닌지 여부를 판정한다. 플래그 정보가 얼굴 화상에 추가되어 있지 않은 경우, CPU(101)는 이 얼굴 화상을 얼굴 후보 화상 일람 표시 에어리어(406)의 얼굴 화상의 리스트의 선두에 우선적으로 표시한다. 스텝 S705에서 추출한 얼굴 화상에 대하여, 플래그 정보가 추가되어 있는 경우에는, CPU(101)는 이 얼굴 화상을, 우선순위를 낮추면서 얼굴 후보 화상 일람 표시 에어리어(406)의 얼굴 화상의 리스트의 후방에 표시한다.At this time, theCPU 101 determines whether or not flag information is added to the face image extracted in step S705. When the flag information is not added to the face image, theCPU 101 preferentially displays this face image at the head of the list of face images in the face candidate imagelist display area 406. When the flag information is added to the face image extracted in step S705, theCPU 101 adds the face image to the rear of the list of face images in the face candidate imagelist display area 406 while lowering the priority. Display.

또한, 본 변형 예에서는, 특정의 조건으로서 제1 실시 예의 변형 예와 마찬가지로 얼굴의 방향을 인용했다. 그렇지만, 얼굴의 방향 대신에, 얼굴 표정, 얼굴 화상의 얼굴에 대한 조명 방법, 추정 연령, 및 얼굴 구성요소의 변화를 특정한 조건으로서 사용해도 된다.In addition, in this modification, the direction of a face was quoted similarly to the modification of 1st Example as a specific condition. However, instead of the direction of the face, a change in the facial expression, the illumination method for the face of the face image, the estimated age, and the face components may be used as specific conditions.

이상에서 설명한 바와 같이, 본 실시예의 얼굴 인식 장치를 사용하면, 인식 정밀도가 효율적으로 향상하는 얼굴 후보 화상을 유저에게 제시할 수 있다. 그리고, 인식 정밀도가 효율적으로 향상하지 않지만 유사도가 매우 높은 얼굴 후보 화상도 유저에게 제시하므로, 유저는 넓은 범위의 유사도로 본인이라고 판정된 얼굴 화상을 시각적으로 인식할 수 있다.As described above, by using the face recognition apparatus of this embodiment, it is possible to present the face candidate image to the user whose recognition accuracy is improved efficiently. And although the recognition precision does not improve efficiently, the face candidate image with a very high similarity is also presented to a user, and a user can visually recognize the face image judged as a person with a wide range of similarity.

또한, 본 실시예의 얼굴 인식 장치를 사용하면, 인식 정밀도가 효율적으로 향상하는 얼굴 후보 화상은 얼굴 후보 화상 일람 표시 에어리어의 얼굴 화상의 리스트의 선두에 표시되고, 인식 정밀도가 효율적으로 향상하지 않지만 유사도가 매우 높은 얼굴 후보 화상은 얼굴 후보 화상 일람 표시 에어리어의 얼굴 화상의 리스트의 후방에 표시된다. 그 때문에, 유저는 인식 정밀도를 효율적으로 향상시키는 얼굴 화상을 의식하는 않으면서, 최초로 제시된 얼굴 화상을 등록함에 따라, 인식 정밀도를 효율적으로 향상시킬 수 있다.In addition, when the face recognition apparatus of this embodiment is used, the face candidate image for which the recognition accuracy is efficiently improved is displayed at the head of the list of face images in the face candidate image list display area, and the recognition accuracy is not improved efficiently. A very high face candidate image is displayed behind the list of face images in the face candidate image list display area. Therefore, the user can efficiently improve the recognition accuracy by registering the face image presented first without being conscious of the face image which effectively improves the recognition accuracy.

본 발명의 측면들은 또한 상술한 실시예(들)의 기능들을 행하도록 메모리 디바이스 상에 기록된 프로그램을 판독 및 실행하는 시스템 또는 장치의 컴퓨터(또는 CPU 혹은 MPU와 같은 디바이스)에 의해서도 실현될 수 있고, 또 예를 들면 상술한 실시예의 기능을 행하도록 메모리 디바이스 상에 기록된 프로그램을 판독 및 실행함으로써 시스템 또는 장치의 컴퓨터에 의해 행해지는 방법의 스텝들에 의해 실현될 수 있다. 이 목적을 위해서, 이 프로그램을, 예를 들면 메모리 디바이스(예를 들면, 컴퓨터 판독가능한 매체)로서 기능을 하는 다양한 형태의 기록매체로부터 또는 네트워크를 통해서 컴퓨터에 제공한다.Aspects of the invention may also be realized by a computer (or device such as a CPU or MPU) of a system or apparatus that reads and executes a program recorded on a memory device to perform the functions of the above-described embodiment (s) and It may also be realized by steps of a method performed by a computer of a system or apparatus, for example, by reading and executing a program recorded on a memory device to perform the functions of the above-described embodiments. For this purpose, the program is provided to the computer via a network or from various forms of recording media which serve as, for example, a memory device (e.g., a computer readable medium).

본 발명은 예시적인 실시 예를 참조하면서 설명되었지만, 본 발명은 이 개시된 예시적인 실시 예에 한정되는 것이 아니라는 것이 이해될 것이다. 이하의 특허청구범위의 범주는 모든 변형 및 균등구조 및 기능을 포함하도록 가장 넓게 해석되어야 할 것이다.While the invention has been described with reference to exemplary embodiments, it will be understood that the invention is not limited to this disclosed exemplary embodiment. The scope of the following claims is to be accorded the broadest interpretation so as to encompass all such modifications and equivalent structures and functions.

Claims (11)

Translated fromKorean

촬영 화상 내의 인물의 얼굴 화상을 해석해서 얼굴의 특징량을 추출하는 특징량 추출 수단과,
상기 특징량 추출 수단으로 추출된 특징량을, 인물명과 관련지어서 얼굴 사전을 생성하는 얼굴 사전 생성 수단과,
상기 얼굴의 특징량을 상기 얼굴 사전에 등록되어 있는 인물명과 관련지어서, 얼굴의 특징량을 새롭게 추가하는 추가 수단과,
또 다른 촬영 화상 내의 인물의 얼굴 화상을 해석해서 추출한 얼굴의 특징량과 상기 얼굴 사전에 등록되어 있는 얼굴의 특징량을 비교해서 유사도를 산출하고, 상기 유사도가 미리 정한 범위 내에 있는 얼굴 화상을, 상기 얼굴 사전에 추가하는 후보로서 표시부에 표시하는 표시 제어 수단을 구비하는, 얼굴 인식 장치.
Feature amount extracting means for extracting a feature amount of a face by analyzing a face image of a person in the photographed image;
Face dictionary generation means for generating a face dictionary by associating a feature amount extracted by said feature amount extracting means with a person name;
Additional means for newly adding a feature amount of the face by associating the feature amount of the face with a person name registered in the face dictionary;
The similarity is calculated by comparing the feature amount of the face extracted by analyzing the face image of the person in another captured image and the feature amount registered in the face dictionary, and the face image having the similarity within the predetermined range is calculated. A face recognition device comprising display control means for displaying on a display unit as a candidate to be added to the face dictionary.
제 1 항에 있어서,
상기 미리 정한 범위는, 상기 산출된 유사도가 높은 유사도를 나타내는 범위와 상기 산출된 유사도가 낮은 유사도를 나타내는 범위를 포함하지 않는, 얼굴 인식 장치.
The method of claim 1,
The predetermined range does not include the range indicating the similarity with the calculated high similarity and the range indicating the similarity with the calculated similarity low.
제 1 항 또는 제 2 항에 있어서,
상기 표시 제어 수단은, 상기 산출된 유사도가 상기 미리 정한 범위 내에 있는 상기 추출된 얼굴 화상의 얼굴 방향이 상기 얼굴 사전에 등록되어 있는 얼굴 방향과 다른지 아닌지를 판정하고, 또 상기 표시 제어 수단은 상기 얼굴 방향이 상기 얼굴 사전에 등록되어 있는 얼굴 방향과 다른 얼굴 화상을, 긍정 판정을 행할 때의 추가의 후보로서 표시하는, 얼굴 인식 장치.
The method according to claim 1 or 2,
The display control means determines whether or not the face direction of the extracted face image in which the calculated similarity is within the predetermined range is different from the face direction registered in the face dictionary, and the display control means determines the face. A face recognition apparatus which displays a face image different from a face direction whose direction is registered in the face dictionary as an additional candidate when affirmative determination is made.
제 1 항 또는 제 2 항에 있어서,
상기 표시 제어 수단은, 상기 산출된 유사도가 상기 미리 정한 범위 내에 있는 얼굴 화상에 대한 광원의 방향이 상기 얼굴 사전에 등록되어 있는 얼굴 화상에 대한 광원의 방향과 다른지 아닌지를 판정하고, 또 상기 표시 제어 수단은 상기 광원의 방향이 상기 얼굴 사전에 등록되어 있는 얼굴 화상의 광원의 방향과 다른 얼굴 화상을, 긍정 판정을 행할 때의 추가의 후보로서 표시하는, 얼굴 인식 장치.
The method according to claim 1 or 2,
The display control means determines whether the direction of the light source for the face image in which the calculated similarity is within the predetermined range is different from the direction of the light source for the face image registered in the face dictionary, and the display control Means for displaying a face image in which the direction of the light source is different from the direction of the light source of the face image registered in the face dictionary as an additional candidate when affirmative determination is made.
제 1 항 또는 제 2 항에 있어서,
상기 표시 제어 수단은, 상기 산출된 유사도가 상기 미리 정한 범위 내에 있는 얼굴 화상의 얼굴 표정이 상기 얼굴 사전에 등록되어 있는 얼굴 화상의 얼굴 표정과 다른지 아닌지를 판정하고, 또 상기 표시 제어 수단은 상기 얼굴 표정이 상기 얼굴 사전에 등록되어 있는 얼굴 화상의 얼굴 표정과 다른 얼굴 화상을, 긍정 판정을 행할 때의 추가의 후보로서 표시하는, 얼굴 인식 장치.
The method according to claim 1 or 2,
The display control means judges whether or not the facial expression of the face image in which the calculated similarity is within the predetermined range is different from the facial expression of the face image registered in the face dictionary, and the display control means determines the face. A face recognition device which displays a face image different from the face expression of a face image in which an expression is registered in the face dictionary as an additional candidate when affirmative determination is made.
제 1 항 또는 제 2 항에 있어서,
상기 표시 제어 수단은, 상기 산출된 유사도가 상기 미리 정한 범위 내에 있는 얼굴 화상의 얼굴의 추정 연령이 상기 얼굴 사전에 등록되어 있는 얼굴 화상의 얼굴의 추정 연령과 다른지 아닌지를 판정하고, 또 상기 표시 제어 수단은, 상기 얼굴의 추정 연령이 상기 얼굴 사전에 등록되어 있는 상기 얼굴 화상의 얼굴의 추정 연령과 다른 얼굴 화상을, 긍정 판정을 행할 때의 추가의 후보로서 표시하는, 얼굴 인식 장치.
The method according to claim 1 or 2,
The display control means determines whether or not the estimated age of the face of the face image in which the calculated similarity is within the predetermined range is different from the estimated age of the face of the face image registered in the face dictionary, and the display control Means for displaying a face image which is different from the estimated age of the face of the face image in which the estimated age of the face is registered in the face dictionary as an additional candidate when affirmative determination is made.
제 1 항 또는 제 2 항에 있어서,
상기 표시 제어 수단은, 상기 산출된 유사도가 상기 미리 정한 범위 내에 있는 얼굴 화상에 있어서의 적어도 한 개의 얼굴 구성요소가 상기 얼굴 사전에 등록되어 있는 얼굴 화상의 얼굴 구성요소와 다른지 아닌지를 판정하고, 또 상기 표시 제어 수단은, 상기 얼굴 구성요소가 상기 얼굴 사전에 등록되어 있는 얼굴 화상의 얼굴 구성요소와 다른 얼굴 화상을, 긍정 판정을 행할 때의 추가의 후보로서 표시하는, 얼굴 인식 장치.
The method according to claim 1 or 2,
The display control means determines whether at least one face component in the face image in which the calculated similarity is within the predetermined range is different from the face component of the face image registered in the face dictionary, and And the display control means displays the face image that is different from the face component of the face image in which the face component is registered in the face dictionary as an additional candidate when affirmative determination is made.
제 1 항 또는 제 2 항에 있어서,
상기 표시 제어 수단은, 상기 산출된 유사도가 상기 높은 유사도의 범위 내에 있는 얼굴 화상을, 추가해야 하는 후보의 얼굴 화상 후방의 위치에 배치하는, 얼굴 인식 장치.
The method according to claim 1 or 2,
And the display control means arranges a face image in which the calculated similarity is within the range of the high similarity at a position behind a face image of a candidate to be added.
제 8 항에 있어서,
상기 산출된 유사도가 상기 높은 유사도의 범위 내에 있는 얼굴 화상을, 추가해야 하는 후보와 함께 표시할 때에, 상기 추가 수단은, 상기 산출된 유사도가 상기 높은 유사도의 범위 내에 있는 얼굴 화상을 상기 얼굴 사전에 등록할 수 없게 제어하는, 얼굴 인식 장치.
The method of claim 8,
When displaying the face image in which the calculated similarity is within the range of the high similarity together with the candidate to be added, the adding means is further configured to display the face image in which the calculated similarity is within the range of the high similarity to the face dictionary. Face recognition device which controls not to register.
촬영 화상 내의 인물의 얼굴 화상을 해석하여 얼굴의 특징량을 추출하는 특징량 추출 단계와,
상기 특징량 추출 단계에서 추출된 특징량을, 인물명과 관련지어서 얼굴 사전을 생성하는 얼굴 사전 생성 단계와,
상기 얼굴의 특징량을 상기 얼굴 사전에 등록되어 있는 인물명과 관련지어서 새롭게 얼굴의 특징량을 추가하는 추가 단계와,
또 다른 촬영 화상 내의 인물의 얼굴 화상을 해석해서 추출한 얼굴의 특징량과 상기 얼굴 사전에 등록되어 있는 얼굴의 특징량을 비교해서 유사도를 산출하고, 상기 유사도가 미리 정한 범위 내에 있는 얼굴 화상을, 상기 얼굴 사전에 추가해야 하는 후보로서 표시부에 표시하는 표시 제어 단계를 포함하는, 얼굴 인식 장치의 제어 방법.
A feature amount extraction step of extracting a feature amount of a face by analyzing a face image of a person in the photographed image;
A face dictionary generation step of generating a face dictionary by associating a feature amount extracted in the feature amount extraction step with a person name;
Adding a feature amount of a face newly by associating the feature amount of the face with a person name registered in the face dictionary;
The similarity is calculated by comparing the feature amount of the face extracted by analyzing the face image of the person in another captured image and the feature amount registered in the face dictionary, and the face image having the similarity within the predetermined range is calculated. And a display control step of displaying on the display unit as a candidate to be added to the face dictionary.
청구항 10에 기재된 제어 방법을 컴퓨터에 실행시키는 프로그램이 기록된 컴퓨터 판독가능한 기록 매체.A computer-readable recording medium having recorded thereon a program for causing a computer to execute the control method according to claim 10.

Images