Movatterモバイル変換


[0]ホーム

URL:


KR100587422B1 - Apparatus and Method for Iris Recognition from all direction of view - Google Patents

Apparatus and Method for Iris Recognition from all direction of view
Download PDF

Info

Publication number
KR100587422B1
KR100587422B1KR1020040056062AKR20040056062AKR100587422B1KR 100587422 B1KR100587422 B1KR 100587422B1KR 1020040056062 AKR1020040056062 AKR 1020040056062AKR 20040056062 AKR20040056062 AKR 20040056062AKR 100587422 B1KR100587422 B1KR 100587422B1
Authority
KR
South Korea
Prior art keywords
iris
subject
image
camera
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020040056062A
Other languages
Korean (ko)
Other versions
KR20050009959A (en
Inventor
김재희
박강령
배광혁
Original Assignee
학교법인연세대학교
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 학교법인연세대학교filedCritical학교법인연세대학교
Publication of KR20050009959ApublicationCriticalpatent/KR20050009959A/en
Application grantedgrantedCritical
Publication of KR100587422B1publicationCriticalpatent/KR100587422B1/en
Anticipated expirationlegal-statusCritical
Expired - Fee Relatedlegal-statusCriticalCurrent

Links

Images

Classifications

Landscapes

Abstract

Translated fromKorean

본 발명은 전 방향 인식 가능한 홍채인식 방법 및 장치에 관한 것으로서, 360도 전 방향을 감시하는 광시야 카메라를 통해 피사체의 영상을 획득함과 아울러 이동하는 대상자의 얼굴영상을 추적하는 광시야 장치와, 상기 광시야 장치에 의하여 추적된 대상자의 얼굴영상에서 홍채영상을 획득하는 홍채영상카메라를 포함한 협시야 장치와, 상기 광시야 장치를 제어하여 획득된 피사체에서 홍채인식 대상자를 선정함과 아울러 상기 광시야 장치로부터 전송된 대상자의 눈 위치정보를 바탕으로 상기 대상자의 홍채영상을 획득하도록 상기 협시야 장치를 제어하는 제어수단과, 상기 제어수단의 제어에 의해 협시야 장치로부터 획득된 홍채영상의 품질을 검사하고 통과된 홍채영상에 대하여 홍채인식을 수행하는 인식수단으로 이루어진 것을 특징으로 한다.The present invention relates to an iris recognition method and apparatus for omnidirectionally recognizing, comprising: a wide-field apparatus for acquiring an image of a subject and tracking a face image of a moving subject through a wide-field camera for monitoring a 360-degree omnidirectional direction; A narrow field of view device including an iris image camera for acquiring an iris image from a face image of the subject tracked by the wide field of view device, and selecting an iris recognition target from a subject obtained by controlling the wide field of view device; Control means for controlling the narrow field of view device to obtain the iris image of the subject based on eye position information of the subject transmitted from the device, and inspecting the quality of the iris image obtained from the narrow field device under control of the control means And recognition means for performing iris recognition on the passed iris image.

광시야, 협시야, 카메라, 홍채, 얼굴, 영상, 전 방향, 360도, 인식Wide field of view, narrow field of view, camera, iris, face, image, omnidirectional, 360 degrees, recognition

Description

Translated fromKorean
전방향 인식가능한 홍채인식방법 및 장치 {Apparatus and Method for Iris Recognition from all direction of view}Apparatus and Method for Iris Recognition from all direction of view}

도 1은 본 발명의 실시 예에 따른 전 방향 인식 가능한 홍채인식 장치의 블록 구성도이고,1 is a block diagram of an omnidirectional recognizable iris recognition device according to an embodiment of the present invention,

도 2 내지 5는 본 발명의 실시 예에 따른 광시야 장치의 전 방향 영상획득을 설명하기 위한 도이고,2 to 5 are diagrams for explaining the omnidirectional image acquisition of the wide-view device according to an embodiment of the present invention,

도 6, 7은 본 발명의 실시 예에 따른 협시야 장치의 형성도이고,6 and 7 is a view of forming a narrow field of view device according to an embodiment of the present invention,

도 8 내지 12는 본 발명의 실시 예에 따른 광시야 장치와 협시야 장치의 다양한 결합상태를 보인 도이고,8 to 12 is a view showing a variety of coupling state of the wide-field device and narrow field device according to an embodiment of the present invention,

도 13 내지 17은 본 발명의 실시 예에 따른 광시야 장치와 협시야 장치의 삼차원 공간 좌표계를 일치시키는 방법에 관한 상태도이고,13 to 17 are state diagrams relating to a method of matching a three-dimensional space coordinate system of a wide view device and a narrow field device according to an embodiment of the present invention;

도 18은 본 발명의 실시 예에 따른 삼차원 공간의 위치를 얻기 위해서 둘이상의 광시야 장치를 결합하는 방법에 관한 상태도이고,18 is a state diagram related to a method of combining two or more wide-field devices to obtain a location of a three-dimensional space according to an embodiment of the present invention.

도 19는 본 발명의 실시 예에 따른 광시야 카메라로 저해상도 카메라를 사용하였을 때 광시야 카메라에서 얼굴의 위치를 찾고 협시야 카메라에서 얼굴영상을 획득한 다음, 다시 눈의 위치를 찾는 방법에 관한 상태도이고,19 is a state diagram of a method of finding a position of a face in a wide-field camera and acquiring a face image from a narrow-field camera when using a low-resolution camera as a wide-field camera according to an embodiment of the present invention. ego,

도 20 내지 22는 본 발명의 실시예에 따른 광시야장치와 협시야장치를 이용한 홍채인식장치의 사용 상태도이고,20 to 22 is a state diagram using the iris recognition device using a wide field of view device and a narrow field of view device according to an embodiment of the present invention,

도 23, 24는 본 발명의 실시 예에 따른 홍채인식장치를 출입문에 사용할 경우의 사용 상태도이고,23 and 24 is a state diagram when using the iris recognition device according to an embodiment of the present invention in the door,

도 25는 본 발명의 실시 예에 따른 홍채인식장치를 상,하층을 이동하는 대상자의 홍채인식을 설명하기 위한 사용 상태도이고,25 is a state diagram used to explain the iris recognition of the subject to move the upper and lower iris recognition device according to an embodiment of the present invention,

도 26은 본 발명의 실시 예에 따른 전 방향 인식 가능한 홍채인식 과정의 흐름도로이다.26 is a flowchart illustrating an omnidirectional recognizable iris recognition process according to an embodiment of the present invention.

< 도면의 주요부분에 대한 부호의 설명 ><Description of Symbols for Major Parts of Drawings>

110 : 광시야 장치111 : 전 방향 렌즈부110: wide-field device 111: omnidirectional lens portion

112 : 광시야 카메라113 : 광시야 조명부112: wide-field camera 113: wide-field lighting unit

120 : 협시야 장치121 : 줌/포커스 렌즈부120: narrow field of view device 121: zoom / focus lens unit

122 : 홍채영상 카메라123 : 적외선 조명부122: iris video camera 123: infrared lighting unit

124 : 카메라 회전부 125 : 거리측정센서124: camera rotating part 125: distance measuring sensor

130 : 제어부140 : 홍채인식부130: control unit 140: iris recognition unit

201 : 쌍곡면반사기(혹은 포물면반사기)201: hyperbolic reflector (or parabolic reflector)

203 : 평면반사기210 : 기둥203: plane reflector 210: column

본 발명은 홍채인식 시스템에 관한 것으로서, 보다 상세하게는 360도 전 방향에서 여러 사용자들의 움직임을 실시간으로 감시할 뿐만 아니라, 동시에 여러 사람이 사용할 경우에도 홍채영상을 획득하여 홍채인식을 수행할 수 있도록 하는 전 방향 인식 가능한 홍채인식 방법 및 장치에 관한 것이다.The present invention relates to an iris recognition system, and more particularly, not only to monitor the movements of several users in real time in 360 degrees in real time, but also to perform iris recognition by acquiring an iris image even when used by multiple people at the same time. It relates to an omnidirectional recognizable iris recognition method and apparatus.

일반적으로 홍채인식 시스템은 홍채영상을 획득하기 위한 입력 장치와 획득된 홍채영상을 이용해 개인을 식별하는 인식 장치로 나눌 수 있다. 홍채인식 시스템에서의 인식 성능은 입력 장치를 통해 선명하고 깨끗한(안경에 의한 반사 영역이나 외부 잡음이 포함되어 있지 않은) 홍채영상을 빠르고 정확하게 취득하는 것에 많이 좌우되므로, 홍채 입력 장치의 중요성은 매우 크다고 할 수 있다.In general, an iris recognition system can be divided into an input device for acquiring an iris image and a recognition device for identifying an individual using the acquired iris image. The recognition performance in the iris recognition system is very important because the input device is highly dependent on the fast and accurate acquisition of clear and clean iris images (without the reflection area or external noise caused by the glasses). can do.

홍채영상을 획득하는 입력 장치는 편의상 다음과 같이 세 가지 방식으로 구분할 수 있다.An input device for acquiring an iris image may be classified into three methods as follows for convenience.

1) 수동식 : 사용자가 직접 장치를 손에 들고 홍채영상을 획득하는 방법이다. 가격이 저렴하나 사용자가 입력 장치를 손에 들고 눈앞에서 움직여 가면서 사용해야 하므로 영상 획득 시간도 오래 걸리고 사용이 불편하다는 문제가 있다.1) Manual: The user directly holds the device in his hand to acquire an iris image. Although the price is low, the user needs to use the input device by moving it in front of his or her eyes, so it takes a long time to acquire an image and is inconvenient to use.

2) 반자동식 : 사용자가 홍채 입력 장치에 접근하여 손으로 카메라의 높낮이를 맞추고 자신의 눈을 홍채 카메라에 위치시킴으로써 홍채영상을 획득하는 방법이다. 이는 주로 벽면에 부착되어 출입통제 보안이나 PC에서의 개인 사용자 인증 등의 용도로 사용된다. 이와 같은 반자동식 방법에는 크게 고정 초점 렌즈를 사용하는 방법과 가변 초점 렌즈(혹은 가변 초점/줌 렌즈)를 사용하는 방법이 있다.2) Semi-automatic: A user acquires an iris image by approaching the iris input device, adjusting the height of the camera with his hand, and placing his eye on the iris camera. It is mainly attached to the wall and is used for access control security or personal user authentication on PC. Such semi-automatic methods include a method of using a fixed focus lens and a method of using a variable focus lens (or a variable focus / zoom lens).

고정 초점 렌즈를 사용한 방법은 홍채 카메라에 눈의 좌우/상하 위치를 맞춘 상태에서 Z거리(카메라에서 눈까지의 거리)를 조정해 가면서 가장 초점이 잘 맞는 홍채영상을 획득하는 방법이다. 따라서 초점이 맞지 않았을 경우에 사용자는 입력 장비 앞에서 눈의 Z거리를 계속 조정해야 한다는 사용성의 불편함이 있다.The method using a fixed focus lens is a method of acquiring the most focused iris image by adjusting the Z distance (distance from the camera to the eye) while the eyes are positioned to the iris camera. Thus, when the camera is not in focus, the user may have to adjust the Z distance of the eyes in front of the input device.

가변 초점 렌즈(혹은 가변 초점/줌 렌즈)를 사용한 방식은 사용자가 자신의 눈을 홍채 카메라에 맞추고, 홍채인식이 가능한 Z거리 영역 내에 자신의 눈을 고정시키고 있으면 카메라가 자동 초점(혹은 자동 줌/초점) 기능을 수행하여 홍채영상을 자동으로 획득하는 방식이다.
3)자동식 : 카메라가 사람의 얼굴과 눈의 위치를 자동으로 파악하여 상하/좌우 회전 및 자동초점(혹은 자동 줌/초점 과정)을 통해 홍채 인식에 적합한 홍채 이미지를 자동으로 획득하는 방법이다. 반 자동식과 같이 사용자가 카메라의 높낮이를 직접 조정하거나 자신의 눈을 홍채 카메라에 정확하게 맞출 필요 없으므로 사용이 편리하다는 장점이 있으나, 홍채 인식을 위해서는 사용자의 얼굴/눈 위치 추출, 카메라의 상하/좌우 회전 및 자동 초점(혹은 자동 줌/초점 과정)이 모두 수행되어야 하므로 인식시간이 오래 걸리고 장비 가격이 비싸다는 단점이 있다. 자동식 역시 출입 통제 보안등을 위해 주로 많이 사용된다.
The use of a varifocal lens (or varifocal / zoom lens) allows the camera to autofocus (or auto zoom / Focus) function to automatically acquire the iris image.
3) Automatic: The camera automatically detects the position of a person's face and eyes and automatically acquires an iris image suitable for iris recognition through up / down / left / right rotation and auto focus (or auto zoom / focus process). Like semi-automatic, the user does not need to adjust the camera's height directly or adjust his / her eyes to the iris camera accurately. And auto focus (or auto zoom / focus process) has to be performed because it takes a long time to recognize and expensive equipment cost. Automatic is also commonly used for access control security.

현재 상기 세 가지 방식들 중에서 수동식과 반자동식 방법은 홍채영상을 획득하기 위해서 사용자의 협조(눈의 상하/좌우 위치를 맞추거나 카메라의 높낮이를 조정)가 많이 필요하다는 문제가 있다. 또한 종래의 자동식 방법에서는 광시야 장치가 하나 혹은 둘 이상의 카메라로 구성되어 있으며, 이들의 렌즈는 일반렌즈를 사용하므로 화각(angle of view)이 제한되어 있다.Among the above three methods, manual and semi-automatic methods have a problem in that a lot of cooperation of the user (aligning the top and bottom and left and right positions of the eyes or adjusting the height of the camera) is required to acquire the iris image. In addition, in the conventional automatic method, the wide field of view device is composed of one or more cameras, and since the lenses thereof use a general lens, the angle of view is limited.

따라서 기존에 개발된 자동식 방법도 반자동식 방법과 마찬가지로 사용자의 눈이 홍채 입력 장치 정면의 특정 범위 안에 위치 할 경우에만 홍채영상을 획득할 수 있다는 문제점이 있다.Therefore, the conventionally developed automatic method has a problem in that the iris image can be obtained only when the user's eyes are located within a specific range of the front of the iris input device.

최근 출입통제 및 감시 시스템에서는 실제 출입을 허가 받은 사용자만이 출입을 하는지 여부와 보안을 필요로 하는 장소에 누가 존재하는지를 감시하는 것에 대한 필요성을 증대되고 있다. 기존의 홍채 입력 장치들은 홍채영상을 촬영할 수 있는 화각이 제한되어 있으므로, 실제 출입을 허가받은 사용자가 문을 출입하고자 할 때 출입이 허가되지 않은 다른 많은 사용자들이 같이 들어가거나 허가받은 사용 자 대신에 다른 사용자가 들어가는 경우를 감시할 수 있는 방법이 제공되지 않는다.In recent years, the access control and monitoring system has increased the need to monitor whether only users who are actually authorized to enter the door and who exists in a place requiring security. Existing iris input devices have a limited angle of view for capturing iris images, so when an authorized user attempts to enter a door, many other unauthorized users enter or enter the There is no way to monitor when a user enters.

본 발명은 상기한 종래기술의 제반 문제점을 해결하기 위한 것으로, 그 목적은 광시야 장치를 이용하여 360도 전 방향에서 여러 사용자들의 움직임을 감시한 후 협시야 장치를 이용하여 대상자의 홍채영상을 획득하여 홍채인식을 수행할 수 있는 전 방향 인식 가능한 홍채인식 방법 및 장치를 제공함에 있다.The present invention is to solve the above problems of the prior art, the purpose is to monitor the movement of various users in the 360-degree direction using a wide field of view device to obtain an iris image of the subject using a narrow field of view device The present invention provides an omnidirectional recognition iris recognition method and apparatus capable of performing iris recognition.

본 발명의 다른 목적은 360도 전 방향에서 여러 대상자들의 움직임 및 허가받지 않은 대상자의 출입여부를 실시간으로 감시할 수 있도록 하는 전 방향 인식 가능한 홍채인식 방법 및 장치를 제공함에 있다.Another object of the present invention is to provide an omnidirectional recognizable iris recognition method and apparatus for monitoring the movement of various subjects in 360 degrees in all directions and access of unauthorized subjects in real time.

본 발명의 목적을 달성하기 위한 전 방향 인식 가능한 홍채인식 과정은 감시공간에서 주변 360도 전 방향을 감시하는 광시야 장치에 구비된 광시야 카메라를 통해 피사체의 영상을 획득하는 제 1 단계와, 상기 광시야 카메라에서 획득된 피사체 영상의 움직임이 감지되면 상기 피사체를 홍채인식 대상자로 판단하고 대상자의 얼굴영상을 검출하는 제 2 단계와, 상기 대상자의 얼굴영상을 추적하여 눈 위치 정보를 획득하는 제 3 단계와, 상기 대상자의 눈 위치가 검지됨에 따라 협시야 장치에 포함된 홍채영상 카메라의 광축을 상기 눈 위치로 이동시키는 제 4 단계와, 상기 대상자의 눈 위치에 맞추어 상기 홍채영상카메라의 줌 및 포커스를 조절하는 제 5 단계와, 상기 눈 위치 정보 및 상기 홍채영상카메라의 포커스를 보정한 후 홍채 영상을 획득하는 제 6 단계와, 상기 홍채영상카메라에 의하여 획득된 홍채영상의 품질을 판단하여 일정 기준을 통과할 경우 홍채영상으로 인식하는 제 7 단계를 포함하여 이루어짐을 특징으로 한다. In order to achieve the object of the present invention, the omnidirectional recognizable iris recognition process includes a first step of acquiring an image of a subject through a wide-field camera provided in a wide-field apparatus for monitoring a 360-degree omnidirectional direction in a surveillance space; A second step of determining the subject as an iris recognition target and detecting a face image of the subject when the movement of the subject image acquired by the wide-field camera is detected; and a third step of tracking eye image of the subject to obtain eye position information And a fourth step of moving the optical axis of the iris imaging camera included in the narrow field of view device to the eye position as the eye position of the subject is detected, and zooming and focusing of the iris image camera according to the eye position of the subject. A fifth step of adjusting the image; and correcting a focus of the eye position information and the iris image camera, and then obtaining a iris image. And a seventh step of determining the quality of the iris image acquired by the iris image camera and recognizing it as an iris image when passing a predetermined criterion.

본 발명의 목적을 달성하기 위한 전 방향 인식 가능한 홍채인식장치는 360도 전 방향을 감시하는 광시야 카메라를 통해 피사체의 영상을 획득함과 아울러 이동하는 대상자의 얼굴영상을 추적하는 광시야 장치와, 상기 광시야 장치에 의하여 추적된 대상자의 얼굴영상에서 홍채영상을 획득하는 홍채영상카메라를 포함한 협시야 장치와, 상기 광시야 장치를 제어하여 획득된 피사체에서 홍채인식 대상자를 선정함과 아울러 상기 광시야 장치로부터 전송된 대상자의 눈 위치정보를 바탕으로 상기 대상자의 홍채영상을 획득하도록 상기 협시야 장치를 제어하는 제어수단과, 상기 제어수단의 제어에 의해 협시야 장치로부터 획득된 홍채영상의 품질을 검사하고 통과된 홍채영상에 대하여 홍채인식을 수행하는 인식수단으로 이루어진 것을 특징으로 한다.An iris recognition device capable of recognizing omni-directional for achieving the object of the present invention is an optical field device for acquiring an image of a subject and tracking a face image of a moving subject through an optical field camera that monitors a 360 degree omnidirectional; A narrow field of view device including an iris image camera for acquiring an iris image from a face image of the subject tracked by the wide field of view device, and selecting an iris recognition target from a subject obtained by controlling the wide field of view device; Control means for controlling the narrow field of view device to obtain the iris image of the subject based on eye position information of the subject transmitted from the device, and inspecting the quality of the iris image obtained from the narrow field device under control of the control means And recognition means for performing iris recognition on the passed iris image.

이와 같이 이루어진 본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다.The present invention made as described above will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시 예에 따른 전 방향 인식 가능한 홍채인식장치의 블록 구성도로서, 360도 전 방향을 감시하는 광시야 카메라(112)를 통해 피사체의 영상을 획득함과 아울러 이동하는 대상자의 얼굴영상을 추적하는 광시야 장치(110)와, 상기 광시야 장치(110)에 의하여 추적된 대상자의 얼굴영상에서 홍채영상을 획득하는 홍채영상 카메라(122)를 포함한 협시야 장치(120)와, 상기 광시야 장치(110)를 제어하여 획득된 피사체에서 홍채인식 대상자를 선정함과 아울러 상기 광시야 장치(110)로부터 전송된 대상자의 눈 위치정보를 바탕으로 상기 대상자의 홍채영상을 획득하도록 상기 협시야 장치(120)를 제어하는 제어부(130)와, 상기 제어부(130)의 제어에 의해 협시야 장치(120)로부터 획득된 홍채영상의 품질을 검사하고 통과된 홍채영상에 대하여 홍채인식을 수행하는 홍채인식부(140)로 구성된다.1 is a block diagram of an omnidirectional recognizable iris recognition device according to an embodiment of the present invention, the image of the subject through the wide field ofview camera 112 to monitor the 360-degree direction and moving of the subject A narrow field ofview device 120 including a wide field ofview device 110 for tracking a face image, aniris image camera 122 for acquiring an iris image from a face image of a subject tracked by the wide field ofview device 110, Selecting the iris recognition subject from the subject obtained by controlling the wide field ofview device 110, and obtaining the iris image of the subject based on the eye position information of the subject transmitted from the wide field ofview device 110 Thecontrol unit 130 controls theviewing device 120 and the quality of the iris image obtained from the narrow field ofview device 120 under the control of thecontrol unit 130, and performs iris recognition on the passed iris image. It is configured to performiris recognition unit 140.

여기서, 광시야 장치(110)는 상기 광시야 카메라(112)와, 상기 광시야 카메라(112)에 수평방향으로 360도 전 영역의 영상을 획득하며 수직방향으로 쌍곡면반사기(혹은 포물면반사기)의 모양에 따른 영역의 영상을 획득하는 전 방향 렌즈부(111)와, 360도 전 방향을 가시광선 또는 적외선으로 주변을 조명하는 광시야 조명부(113)로 구성한다.Here, the wide field ofview device 110 acquires an image of the entire field of view 360 degrees in the horizontal direction to thewide field camera 112 and thewide field camera 112, and the hyperbolic reflector (or parabolic reflector) in the vertical direction. It consists of anomnidirectional lens unit 111 for acquiring an image of the area according to the shape, and a widefield illumination unit 113 for illuminating the surroundings with visible or infrared light in 360 degrees.

또한, 상기 협시야 장치(120)는 상기 제어부(130)의 제어에 의하여 대상자의 홍채영상을 획득하는 홍채영상카메라(122)와, 상기 제어부(130)의 제어에 의하여 대상자의 홍채에 대하여 줌 및 포커스를 제어하는 줌/포커스 렌즈부(121)와, 상기 제어부(130)의 제어에 의하여 상기 홍채영상 카메라(122)의 광축이 상기 대상자의 홍채를 향하도록 상기 홍채영상카메라(122)를 상하,좌우로 회전시키는 카메라 회전부(124)와, 상기 제어부(130)의 제어에 의하여 상기 홍채영상카메라(122)와 상기 대상자의 홍채까지의 거리를 측정하는 거리측정센서(125)와, 상기 제어부(130)의 제어에 의하여 상기 대상자의 홍채에 적외선 조명을 조사하는 적외선 조명부(123)로 구성된다.In addition, the narrow field ofview device 120 zooms in on theiris image camera 122 for acquiring an iris image of the subject under the control of thecontroller 130, and the subject's iris under the control of thecontroller 130. A zoom /focus lens unit 121 for controlling focus and theiris image camera 122 up and down so that the optical axis of theiris image camera 122 faces the subject's iris under the control of thecontroller 130;Camera rotating unit 124 to rotate left and right, thedistance measuring sensor 125 for measuring the distance to theiris image camera 122 and the subject's iris under the control of thecontroller 130, and thecontroller 130Infrared illumination unit 123 for irradiating infrared light to the iris of the subject by the control of).

이와 같이 구성된 본 발명 실시 예에 따른 작용을 첨부된 도 1 내지 도 10도 를 참조하여 보다 상세히 설명하면 다음과 같다.If described in more detail with reference to Figure 1 to Figure 10 attached to the operation according to the embodiment of the present invention configured as follows.

먼저, 본 발명은 광시야 장치로 360도 전 방향의 피사체를 검지하고, 협시야 장치를 이용하여 대상자의 홍채영상을 획득하여 획득된 홍채영상을 인식하여 상기 획득된 홍채영상의 대상자의 신원을 파악하도록 한다.First, the present invention detects the subject of the 360-degree omnidirectional with a wide field of view device, and acquires the iris image of the subject using the narrow field of view device to recognize the identity of the subject of the obtained iris image Do it.

도 1은 본 발명의 실시 예에 따른 전 방향 인식 가능한 홍채인식장치의 블록 구성도로서, 제어부(130)는 광시야 장치(110)의 전방향 렌즈부(111), 광시야 카메라(112) 및 광시야 조명부(113)을 제어하여 360도 전 방향에 대한 피사체를 감시하고, 협시야 장치(120)의 줌/포커스 렌즈부(121), 홍채영상 카메라(122), 적외선 조명부(123), 카메라 회전부(124) 및 거리측정센서(125)를 제어하여 대상자의 홍채영상을 검출하여 홍채 인식부(140)를 통해 홍채영상 대상자의 신원을 파악한다.1 is a block diagram of an omnidirectional recognizable iris recognition device according to an embodiment of the present invention, thecontrol unit 130 is aomnidirectional lens unit 111, a wide field ofview camera 112 of theoptical field device 110 and By controlling the wide-field illumination unit 113 to monitor the subject in the 360-degree direction, the zoom /focus lens unit 121, theiris image camera 122, theinfrared illumination unit 123, the camera of the narrow field ofview device 120 The iris image is detected by controlling therotating unit 124 and thedistance measuring sensor 125 to determine the identity of the iris image subject through theiris recognition unit 140.

여기서, 광시야 장치(110)는 여러 대상자들의 접근 파악, 얼굴 추적, 행동 감시, 인식 의도 파악, 홍채인식 대상자 선정, 얼굴 및 눈의 위치정보획득 등 목적으로 넓은 범위의 영역을 감시할 수 있는 360도 전 방향 렌즈부(111)를 사용한다.Here, the wide field ofview device 110 is 360 that can monitor a wide range of areas for the purpose of determining the access of various subjects, face tracking, behavior monitoring, recognition intention, selection of iris recognition targets, acquisition of location information of the face and eyes. Theconduction lens part 111 is used.

360도 전 방향 렌즈부(111)는 수평 방향으로 360도 전 영역의 영상을 획득할 수 있으며, 수직 방향으로는 도 2, 3에 도시된 바와 같이, 쌍곡면반사기(혹은 포물면반사기)(201)의 모양에 따라 획득할 수 있는 영역의 범위가 결정되는 렌즈로 구성되어 있다.The 360-degreeomnidirectional lens unit 111 may acquire an image of an entire 360-degree area in the horizontal direction, and as shown in FIGS. 2 and 3 in the vertical direction, a hyperbolic reflector (or parabolic reflector) 201. It consists of a lens that determines the range of the area that can be acquired according to the shape of.

즉, 쌍곡면반사기(혹은 포물면반사기)(201)는 360도 전 방향에서 존재하는 영상을 반사시켜 광시야 카메라(112)에 영상이 취득될 수 있도록 한다. 여기서, 쌍곡면 및 포물면의 모양을 변화시키면 수직 방향에서 영상을 획득할 수 있는 범위를 조정할 수 있다. 즉, 쌍곡면 및 포물면의 모양을 변화시켜 광시야 장치의 수직방향 화각을 조절 할 수 있다. 또한 도 3에 도시된 바와 같이 쌍곡면반사기(혹은 포물면반사기)(201)에 의해 반사된 영상을 다시 한번 쌍곡면반사기 (혹은 포물면반사기)에 반사시켜 쌍곡면반사기(혹은 포물면반사기)(201)안에 있는 광시야 카메라에 영상이 취득되는 방식을 사용할 수 있다.That is, the hyperbolic reflector (or parabolic reflector) 201 reflects the image existing in all directions of 360 degrees so that the image can be acquired by thewide field camera 112. Here, by changing the shape of the hyperbolic surface and the parabolic surface, it is possible to adjust the range in which the image can be acquired in the vertical direction. In other words, by changing the shape of the hyperbolic surface and parabolic surface can adjust the vertical angle of view of the wide field of view device. In addition, as shown in FIG. 3, the image reflected by the hyperbolic reflector (or parabolic reflector) 201 is once again reflected to the hyperbolic reflector (or parabolic reflector) in the hyperbolic reflector (or parabolic reflector) 201. It is possible to use a method in which an image is acquired by a wide field of view camera.

또한, 광시야 장치에서 360도 전 방향 영상 획득 장치로는 도 2, 3과 같은 쌍곡면반사기 (혹은 포물면반사기) 이외에 도 4, 5에 도시된 바와 같이, 여러 대의 협시야 카메라(112)를 결합하여 360도 전 방향 각도에서 영상을 획득할 수 있는 파노라마 영상 장치, 여러 대의 협시야 카메라와 평면 반사기를 결합하여 360도 전 방향 각도에서 영상을 획득할 수 있는 파노라마 영상 장치 등도 사용될 수 있다.In addition, as a 360-degree omnidirectional image acquisition device in the wide field of view device as shown in Figs. 4 and 5, in addition to the hyperbolic reflector (or parabolic reflector) as shown in Figs. A panoramic imaging device capable of acquiring images at 360 degrees omnidirectional angles, a panoramic imaging device capable of acquiring images at 360 degrees omnidirectional angles by combining multiple narrow-field cameras and planar reflectors may also be used.

광시야 장치(110)에는 360도 전 방향에서 전체 영역을 조명하기 위해 장비의 둘레에 조명장치(도면에 미도시)를 부착하여 사용할 수 도 있다.The wide field ofview device 110 may be used by attaching an illumination device (not shown in the drawing) around the equipment to illuminate the entire area in 360 degrees all directions.

조명으로는 가시광선 조명 혹은 적외선 조명을 사용하여 어두운 곳에서도 동작이 가능하도록 할 수 있고, 만일 장비가 실내에서 사용되어 질 경우에는 실내조명을 이용할 수도 있다.For lighting, visible light or infrared light can be used to enable operation in the dark, or indoor lighting can be used if the equipment is used indoors.

제어부(130)에서는 광시야 장치(110)를 통해 수신된 피사체의 움직임이 검출되면, 해당 피사체를 홍채영상인식을 위한 대상자로 판단하여 얼굴영상을 탐색한다.When the movement of the subject received through the wide field ofview device 110 is detected, thecontroller 130 determines the subject as an object for iris image recognition and searches for a face image.

상기 탐색된 대상자의 얼굴영상을 추적하여, 대상자가 홍채영상카메라(122)를 응시할 때 눈의 위치정보를 획득하게 된다.By tracking the searched face image of the subject, the subject obtains eye position information when gazing at theiris image camera 122.

제어부(130)에 눈의 위치정보가 획득됨에 따라 협시야 장치(120)의 각부를 제어하여 홍채영상을 획득하도록 한다.As the position information of the eye is acquired by thecontroller 130, each part of the narrow field ofview device 120 is controlled to acquire an iris image.

협시야 장치(120)는 광시야 장치(110)에서 보내준 홍채인식 대상자의 눈 위치 정보를 바탕으로 홍채인식용 카메라의 광축(optical axis) 방향을 대상자의 홍채로 향하게 하기 위해 카메라 회전부(124)를 상하/좌우로 회전시킨다.The narrow field ofview device 120 moves thecamera rotating part 124 to direct the optical axis direction of the iris recognition camera to the subject's iris based on the eye position information of the iris recognition subject sent from the wide field ofview device 110. Rotate up / down / left / right.

한편, 일정한 크기의 홍채영상을 획득하기 위한 줌/포커스 기능이 있는 줌/포커스 렌즈부(121)(혹은 포커스 기능만 있는 렌즈), 적외선 통과 필터를 장착한 카메라, 대상자 눈까지의 거리를 측정하기 위한 거리 측정 센서(거리 측정 센서가 아닌 영상처리를 이용한 거리측정 방법을 사용할 수도 있음), 그리고 홍채를 조명하기 위한 다 파장의 적외선 혹은 할로겐 조명 장치 등으로 구성되어 있다.Meanwhile, a zoom / focus lens unit 121 (or a lens having only a focus function) having a zoom / focus function for acquiring an iris image having a predetermined size, a camera equipped with an infrared pass filter, and a distance to a subject's eye are measured. It consists of a distance measuring sensor (a distance measuring method using image processing rather than a distance measuring sensor), and a multi-wavelength infrared or halogen lighting device for illuminating the iris.

홍채인식부(140)는 상기 협시야 장치(120) 내에 포함되어 질 수 도 있으며, 협시야 장치(120)와 독립적으로 존재할 수 도 있다.Iris recognition unit 140 may be included in the narrow field ofview device 120, may be present independently of the narrow field ofview device 120.

협시야 장치(120)의 카메라 회전부(124)는 하나의 카메라로 여러 위치에 존재하는 많은 대상자의 홍채영상을 획득하기 위한 고속 및 정밀 회전 기능을 포함하고 있다.Thecamera rotating unit 124 of the narrow field ofview device 120 includes a high speed and precision rotation function for acquiring iris images of many subjects existing in various positions with one camera.

홍채영상 카메라(122)에서 대상자 눈 위치까지의 거리에 따라 홍채영상의 크기가 다르므로 일정한 크기의 홍채영상을 획득하기위해 줌 카메라를 사용할 수도 있다.Since the size of the iris image is different depending on the distance from theiris image camera 122 to the subject's eye position, a zoom camera may be used to obtain an iris image having a predetermined size.

적외선 조명부(123)는 대상자의 눈에 피로를 주지 않으면서 홍채영상을 획득하기 위해 적외선 파장대의 조명(적외선 LED 혹은 할로겐 조명)을 사용한다. 가시 광선 파장대의 영향을 제거하고 적외선 파장대의 조명에 의해 반사된 홍채영상만을 획득하기 위하여 적외선 통과필터를 협시야 장치(120) 내의 홍채영상카메라 앞에 부착하거나, 도 8 내지 도 10에 도시된 바와 같이, 광시야 장치에서 전 방향 렌즈의 쌍곡면반사기 (혹은 포물면반사기)를 콜드미러(적외선은 통과 시키고 가시광선은 차단시키는 미러)로 구성하고 그 안쪽에 협시야 장치의 카메라를 구성할 경우, 콜드미러가 적외선 통과필터를 대신할 수 있다.Theinfrared lighting unit 123 uses an infrared wavelength band (infrared LED or halogen light) to obtain an iris image without giving fatigue to the subject's eyes. In order to remove the influence of the visible light wavelength band and to acquire only the iris image reflected by the illumination of the infrared wavelength band, an infrared pass filter is attached in front of the iris image camera in the narrow field ofview device 120 or as shown in FIGS. 8 to 10. In the case of a wide view device, the hyperbolic reflector (or parabolic reflector) of the omnidirectional lens is configured as a cold mirror (mirror that passes infrared rays and blocks visible light). Can replace the infrared pass filter.

도 6, 7은 협시야 장치의 구성도로서, 협시야 장치는 홍채영상 카메라(CCD 카메라 또는 CMOS 카메라도 사용할 수 있음)(122), 줌/포커스 렌즈부(혹은 포커스 렌즈)(121), 그리고 홍채영상 카메라(122)의 상하/좌우 회전을 위한 카메라 회전부(124), 거리측정센서(125) 그리고 적외선 조명부(123), 적외선 통과 필터 등으로 구성되어 있다. 협시야 장치(120)의 동작은 제어부(130)에 의해 광시야 장치(110)에서 대상자가 홍채인식을 시도할 의도가 파악 되었을 경우에 활성화 된다. 카메라 회전부(124)는 광시야 장치(110)로부터 받은 대상자의 눈 위치 정보를 가지고 협시야 장치(120) 내 홍채영상 카메라(122)의 광축(optical axis)이 대상자의 홍채를 향하도록 하는 장치이다. 홍채영상 카메라(122)가 대상자의 홍채를 향하였을 때 홍채영상 카메라에 부착된 거리측정 센서(125)를 사용하여 대상자 눈까지의 거리를 측정한다. 거리측정센서(125)를 사용하지 않고 영상 처리 방법(대상자 얼굴의 가로 혹은 세로 크기, 양 눈 사이의 거리 등)에 의해서 대상자 눈까지의 거리를 측정할 수 있다. 대상자마다 홍채영상을 획득하는 홍채영상 카메라(122)에서 대상자 눈까지의 거리가 다르기 때문에 항상 같은 크기의 홍채영상을 획득하기 위해서는 줌 카 메라를 사용해야 한다. 혹은 줌 렌즈 없이 가변/고정 초점 렌즈만을 사용할 수 도 있다. 적외선 조명부(123)는 홍채를 조명하기 위해 사용되며 대상자가 눈부심을 느끼지 않도록 적외선 파장대(700nm~ 900nm)를 사용한다.6 and 7 are schematic diagrams of the narrow-field device, the narrow-field device includes an iris imaging camera (which may also be a CCD camera or a CMOS camera) 122, a zoom / focus lens unit (or a focus lens) 121, and The camera rotates 124, thedistance measuring sensor 125, the infrared illuminatingunit 123, and the infrared passing filter for rotating theiris image camera 122 up and down and left and right. The operation of thenarrow view device 120 is activated by thecontroller 130 when the object of thewide view device 110 determines the intention of the iris recognition. Thecamera rotator 124 is an apparatus that allows the optical axis of theiris imaging camera 122 in the narrow field ofview device 120 to face the subject's iris with the eye position information of the subject received from thewide field device 110. . When theiris imaging camera 122 faces the subject's iris, the distance to the subject's eyes is measured using thedistance measuring sensor 125 attached to the iris imaging camera. The distance to the subject's eyes may be measured by an image processing method (a horizontal or vertical size of the subject's face, the distance between both eyes, etc.) without using thedistance measuring sensor 125. Since the distance from theiris image camera 122 that acquires the iris image to each subject is different for each subject, a zoom camera must be used to always obtain the same size iris image. Alternatively, only variable / fixed focus lenses can be used without zoom lenses.Infrared illumination unit 123 is used to illuminate the iris and uses an infrared wavelength band (700nm ~ 900nm) so that the subject does not feel glare.

도 8~12는 광시야 장치와 협시야 장치를 결합하는 방식에 관한 도면으로, 도 8 내지 10은 쌍곡면반사기 (혹은 포물면반사기)(201)를 콜드미러로 구성하여 쌍곡면반사기 (혹은 포물면반사기)(201) 안에 협시야 장치(122)가 들어가도록 구성한 형태이다. 여기서 콜드미러는 가시광선은 반사하고 적외선 파장대는 투과하는 거울을 의미한다. 따라서 적외선 파장대의 조명에 의한 홍채영상은 콜드미러를 투과하여 협시야 장치내의 홍채영상 카메라(122)로 입력된다.8 to 12 is a view showing a method of combining a wide-field device and a narrow field device, Figures 8 to 10 is a hyperbolic reflector (or parabolic reflector) by configuring a hyperbolic reflector (or parabolic reflector) 201 as a cold mirror The narrow field ofview device 122 is configured to enter 201). The cold mirror refers to a mirror that reflects visible light and transmits infrared light. Therefore, the iris image by the illumination of the infrared wavelength band passes through the cold mirror and is input to theiris image camera 122 in the narrow field of view device.

이는 광시야 장치의 시점(viewpoint)과 협시야 장치의 시점을 일치시키기 위한 방법이다. 도 13과 같은 하나의 광시야 장치와 협시야 장치가 결합된 형태에서는 광시야 장치만을 가지고 대상자의 눈까지 거리를 알 수 없고 광시야 장치의 시점과 협시야 장치의 시점이 일치하지 않으므로 광시야 장치에서 찾은 위치만으로 협시야 장치의 카메라를 대상자의 눈을 향하게 할 수 없다.This is a method for matching the viewpoint of the wide field device with the viewpoint of the narrow field device. In the form in which one wide field device and the narrow field device are combined as shown in FIG. 13, the distance to the eye of the subject cannot be known only with the wide field device, and the viewpoint of the wide field device and the narrow field device do not coincide. Only the position found in does not point the camera of the narrow field device toward the subject's eyes.

일예로 들어, 도 13에 나타낸 바와 같이 광시야 장치에서 제 1 피사체(101)의 눈의 방향은 알지만 거리 정보를 모르기 때문에 협시야 장치의 카메라는 상기 제 1 피사체(101)의 위치를 향할 수도 있고 제 2 피사체(102)의 위치를 향할 수도 있다. 도 14 내지 16에서 나타낸 다음과 같이 광시야 장치의 시점이 쌍곡면반사기 (혹은 포물면반사기)의 내부에 존재하므로 협시야 장치를 쌍곡면반사기(혹은 포물면반사기)의 안쪽에 위치하도록 하므로 광시야 장치와 협시야 장치의 시점을 일치 할 수 있다. 이는 도 14 내지 16에 나타낸 바와 같이 하나의 광시야 장치에서 얻은 대상자의 눈 위치만을 가지고 협시야 장치의 카메라를 눈을 향하게 할 수 있다.For example, as shown in FIG. 13, since the eye of thefirst subject 101 knows the direction of the eye of thefirst subject 101 but does not know the distance information, the camera of the narrow view apparatus may face the position of thefirst subject 101. The position of thesecond subject 102 may also be faced. 14 to 16, since the viewpoint of the wide viewing device exists inside the hyperbolic reflector (or parabolic reflector), the narrow field of view device is located inside the hyperbolic reflector (or parabolic reflector). The narrow field of view can match the point of view of the device. This may direct the camera of the narrow field device to the eye with only the eye position of the subject obtained in one wide field device as shown in FIGS. 14 to 16.

도 9, 10은 광시야 장치와 협시야 장치의 시점을 일치시킬 뿐만 아니라 장비를 소형화하고 회전장치의 무게를 가볍게 하여 상하/좌우 회전을 빠르고 떨림이 없게 하기 위하여 쌍곡면반사기(혹은 포물면반사기)(201)안에 평면반사기(203)를 사용한 형태이다. 평면 반사기(203)는 카메라 회전부(124)에 부착되어 원하는 위치의 홍채영상을 반사시켜서 협시야 장치내의 홍채영상 카메라(122)에 입력시키는 역할을 한다. 이때 쌍곡면반사기(혹은 포물면반사기)(201)를 작게 만들 수 있으므로 전체적인 장치의 크기가 작아지게 된다.9 and 10 are hyperbolic reflectors (or parabolic reflectors) to not only match the viewpoints of the wide field of view device and the narrow field of view device, but also to miniaturize the equipment and lighten the weight of the rotating device so that the up / down / left / right rotation is fast and free of vibration. Theflat reflector 203 is used in 201). Theplanar reflector 203 is attached to thecamera rotating unit 124 to reflect the iris image of the desired position and serves to input to theiris image camera 122 in the narrow field of view device. At this time, the hyperbolic reflector (or parabolic reflector) 201 can be made small, so that the overall size of the apparatus becomes small.

도 11은 광시야 장치(110)와 협시야 장치(120)를 분리시켜 구성하는 방식에 관한 도면으로서, 도 2에서 5에 도시된바와 같은 현재 상용화되고 있는 전 방향 영상 장치를 이용한 광시야 장치(110)의 하단에 협시야 장치(120)를 결합하여 360도 전 방향에서 홍채인식을 할 수 있도록 한 것이다. 이때 광시야 장치와 대상자의 눈까지의 거리를 알 수 없기 때문에 대상자의 홍채인식을 위한 광시야 장치로부터의 동작 범위(L)를 정의 하고 광시야 장치와 협시야 장치의 시점의 차이(D)를 사용하여 협시야 장치의 초기 줌배율을 홍채인식 가능한 사용자의 동작 범위로 결정하고 대상자의 눈위치로 협시야 카메라를 위치하여 초기 눈영상을 취득한 후에 다시 초기 눈영상으로부터 홍채 크기와 위치를 통해 줌배율과 카메라 회전장치의 좌우, 사하의 회전량을 계산하여 홍채가 영상의 중심으로 오고 일정한 크기를 갖도록하여 홍채영상을 취득할 수 있다.FIG. 11 is a diagram illustrating a method of separating and configuring the wide field ofview device 110 and the narrow field ofview device 120. The wide field of view device using the omnidirectional imager, which is currently commercially available as shown in FIG. The narrow field ofview device 120 is coupled to the bottom of the 110 to enable iris recognition in all directions of 360 degrees. In this case, since the distance between the wide field device and the subject's eye is unknown, the operating range (L) from the wide field device for iris recognition of the subject is defined, and the difference between the viewpoints of the wide field device and the narrow field device (D) is determined. Determine the initial zoom factor of the narrow field of view device as the user's range of iris recognition, and place the narrow-field camera at the subject's eye position to acquire the initial eye image, and then zoom again through the iris size and position from the initial eye image. The iris image can be obtained by calculating the amount of rotation of the left and right and bottom of the camera rotating apparatus so that the iris comes to the center of the image and has a constant size.

도 12는 광시야 장치를 도 18과 같이 두개이상의 광시야 장치를 결합하여 3차원 정보를 획득하는 방법이다. 이는 광시야 장치들 사이에 관계를 이용해 대상자의 눈까지의 거리를 알 수 있는 방법으로 각 광시야 장치에서 같은 대상자의 눈에 대한 위치의 차이를 이용해 거리정보를 계산한다. 따라서 두개 이상의 광시야 장치를 도 18과 결합하면 광시야 장치와 시점을 일치시키지 않고도 임의의 위치에 협시야 장치를 위치시켜도 대상자의 홍채영상을 획득할 수 있다.FIG. 12 is a method of acquiring three-dimensional information by combining two or more optical fields as shown in FIG. 18. This is a method of knowing the distance to the subject's eyes by using the relationship between the wide-field devices. The distance information is calculated by using the difference of the positions of the eyes of the same subject in each wide-field device. Therefore, when two or more wide view devices are combined with FIG. 18, an iris image of a subject may be obtained even if the narrow view device is positioned at an arbitrary position without having to match the viewpoint with the wide view device.

도 19는 광시야 장치에서 광시야 카메라를 저해상도 카메라를 사용하였을 경우에 정확한 눈 위치를 알 수 없을 경우에 이를 해결하기 위한 도시이다. 눈위치를 알 수 없을 경우의 해상도에서는 대상자의 얼굴의 위치를 획득하여 협시야 카메라를 통해 대상자의 얼굴영상을 얻고 다시 얼굴영상으로부터 눈위치를 찾은 다음에 줌과 카메라 회전장치의 좌우, 상하의 회전값을 보정하여 홍채영상을 회득할 수 있다.FIG. 19 is a diagram for solving the case where an accurate eye position is not known when a wide view camera uses a low resolution camera in a wide view device. If the eye position is unknown, the subject's face position is acquired and the subject's face image is obtained through the narrow-field camera, and the eye position is found again from the face image. By correcting the iris image can be obtained.

도 20, 21은 360도 전 방향에서 홍채인식이 가능한 홍채인식 장치의 실제 구성과 응용 분야에 대해 설명한 도면으로서, 기둥(210)에 홍채인식장치를 형성하는 방식과 도 22에 도시된 바와 같이, 천정에 홍채인식장치를 부착하는 방식 등이 있다. 그 밖에 벽에 부착하여 사용 할 수도 있다.20 and 21 are views illustrating the actual configuration and application of the iris recognition device capable of iris recognition in all directions of 360 degrees, and a method of forming an iris recognition device on thepillar 210 and as shown in FIG. 22. The iris recognition device is attached to the ceiling. It can also be attached to the wall.

도 23, 24는 본 발명의 실시 예에 의하여 출입문에 출입하는 대상자의 홍채영상 획득을 설명하기 위한 도로서, 이에 도시된 바와 같이, 출입문에 설치된 하나의 전 방향 홍채인식 시스템으로 다양한 방향에서 출입하는 다수의 대상자의 홍채영상 검출할 수 있다.23 and 24 are views for explaining the acquisition of the iris image of the target person entering and exiting the door according to an embodiment of the present invention, as shown in, entering and exiting from various directions with one omnidirectional iris recognition system installed in the door Iris images of a plurality of subjects can be detected.

도 25는 상,하로 이동중인 대상자의 홍채영상 검출을 설명하기 위한 정면도로서, 상,하층에 각각 설치된 전 방향 홍채인식시스템에 의해 상,하층을 오르내리는 대상자에 대하여 각각 홍채영상을 획득할 수 있게 된다.FIG. 25 is a front view for explaining iris image detection of a subject moving up and down, and the iris image may be acquired for each subject up and down by the omnidirectional iris recognition system installed on the upper and lower layers, respectively. do.

도 19는 본 발명의 실시 예에 따른 전 방향 인식 가능한 홍채인식 과정의 흐름도로서, 360도 전 방향 피사체의 감시와 대상자의 홍채영상을 인식하여 신원을 파악하기까지의 동작을 설명하면 다음과 같다.FIG. 19 is a flowchart illustrating an iris recognition process capable of recognizing omnidirectional directions according to an embodiment of the present invention. Hereinafter, operations of monitoring a 360-degree omnidirectional subject and recognizing an iris image of a subject will be described as follows.

먼저, 광시야 장치(110)의 광시야 조명부(113) 및 광시야 카메라(112)를 활성화시킨다.(S110)First, the widefield lighting unit 113 and thewide field camera 112 of thewide field apparatus 110 are activated.

광시야 조명부(113)와 광시야 카메라(112)가 구동됨에 따라 주변 영상을 수신하여 다중 대상자 감시를 수행하게 된다.(S111)As the wide-field lighting unit 113 and the wide-field camera 112 are driven, the surrounding image is received and the multi-object monitoring is performed.

제어부(130)에서는 광시야 장치(110)를 통해 수신된 피사체의 움직임이 검출되면, 해당 피사체를 홍채영상인식을 위한 대상자로 판단하여 얼굴영상을 탐색한다.(S112~S113)When the movement of the subject received through the wide field ofview device 110 is detected, thecontroller 130 determines the subject as an object for iris image recognition and searches for a face image. (S112 to S113).

상기 탐색된 대상자의 얼굴영상을 추적하여, 대상자가 홍채영상카메라(122)를 응시할 때 눈의 위치정보를 획득하게 된다.(S114~S116)By tracking the searched face image of the subject, the subject obtains eye position information when gazing at theiris image camera 122. (S114 to S116)

제어부(130)에 눈의 위치정보가 획득됨에 따라 협시야 장치(120)의 각부를 제어하여 홍채영상을 획득하도록 한다.As the position information of the eye is acquired by thecontroller 130, each part of the narrow field ofview device 120 is controlled to acquire an iris image.

즉, 협시야 장치(120)는 광시야 장치(110)에서 보내준 홍채인식 대상자의 눈의 위치정보를 바탕으로 홍채영상카메라(122)의 광축방향을 대상자의 홍채로 향하게 하기 위해 카메라 회전부(124)를 상하/좌우로 회전시킨다.(S121)That is, the narrow field ofview device 120 rotates thecamera rotator 124 to direct the optical axis direction of theiris image camera 122 to the subject's iris based on the position information of the eye of the iris recognition subject sent from thewide field apparatus 110. Rotate up / down / left / right (S121).

거리측정센서(125)를 구동시켜 대상자의 눈까지의 위치를 검출한다.(S122)Thedistance sensor 125 is driven to detect a position up to the eye of the subject.

적외선 조명부(123)를 구동시켜 대상자의 눈을 조사한다.(S123)Theinfrared illuminator 123 is driven to irradiate the subject's eyes.

홍채영상 카메라(122)의 줌/포커스 렌즈부(121)를 구동시켜 대상자의 홍채영상을 획득하기 위해 줌 및 포커스를 자동 조절한다.(S124)The zoom /focus lens unit 121 of theiris image camera 122 is driven to automatically adjust the zoom and focus to obtain an iris image of the subject (S124).

눈의 위치정보를 보정한 후 다시 포커스를 보정한다.(S125)(S126)After correcting the eye position information, correct the focus again (S125) (S126).

상기 포커스 보정을 맞춘 다음 홍채영상을 획득한다.(S127)After adjusting the focus correction, an iris image is acquired.

상기 획득된 홍채영상이 인식가능한 정도의 품질여부를 판단한다.(S128)It is determined whether the acquired iris image is of a quality that can be recognized (S128).

상기 획득된 홍채영상이 품질 기준값이하 일 경우에는 상기 줌/포커스 조절단계(S124)로 리턴하여 다시 홍채영상을 획득하도록 한다.If the obtained iris image is less than or equal to the quality reference value, the control returns to the zoom / focus adjusting step S124 to obtain an iris image again.

상기 획득된 홍채영상이 기준값 이상일 경우에는 홍채인식을 한 후 인식된 데이터로 대상자의 신원을 파악하고, 출입이 허가된 정상적인 대상자와 출입이 거부된 대상자 인지를 판단하여 해당 대상자의 동작을 파악한다.(S129~S132)If the acquired iris image is greater than or equal to the reference value, after identifying the iris, the identity of the subject is determined by the recognized data, and whether the normal subject is permitted to access and the subject is denied access is determined to determine the operation of the subject. (S129-S132)

본 발명은 생체 인식 방법들 가운데 홍채인식 방법을 사용하였지만 협시야 장치에서 홍채영상이 아닌 얼굴영상을 취득할 수 있으므로 얼굴인식 시스템에도 본 발명을 도입할 수 있다.Although the present invention uses the iris recognition method among the biometric methods, the present invention can be introduced to the face recognition system because the narrow field of view device can acquire a face image instead of an iris image.

이상에서 본 발명에 따른 바람직한 실시 예에 대해 설명하였으나, 광시야 장치와 협시야 장치의 설치위치 또는 구성형태에 따라 다양한 형상으로 변형이 가능하며, 본 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 특허청구범위를 벗어남이 없이 다양한 변형 예 및 수정 예를 실시할 수 있을 것으로 이해된다.Although a preferred embodiment according to the present invention has been described above, it can be modified in various shapes according to the installation position or configuration of the wide field of view device and narrow field of view device, if the person skilled in the art It is understood that various modifications and changes may be made without departing from the scope of the claims.

이상에서 설명한 바와 같이, 본 발명에 따른 전 방향 인식 가능한 홍채인식방법 및 장치는 피사체를 인식할 수 있는 범위가 360도 전 방향에 걸쳐 넓어지게 되므로, 출입 통제 및 공항, 항만 등의 출입국 관리, 시청, 경찰청 등과 같은 보안을 요구하는 공공 기관 등에 설치하여 대상자 인증을 위해 이용되어 질 수 있는 효과가 있으며, 이 밖에도 광시야 장치의 광시야 카메라를 이용하여 대상자들의 움직임을 실시간으로 감시하는 분야들에도 이용되어 질 수 있다. 또한, 출입문 통제에 사용되어질 경우에 하나의 홍채인식 장치로 출입 양 방향 모두에 사용될 수 있으므로 비용 절감의 효과가 크고, 대상자가 실제 출입하는지에 대한 감시와 다른 인증되지 않은 대상자들의 출입 여부를 동시에 감시 할 수 있는 효과가 있다. As described above, the omnidirectional recognizable iris recognition method and apparatus according to the present invention, since the range for recognizing the subject is widened 360 degrees in all directions, access control and immigration management, airport, port, etc. It can be used for certification of the target person by installing it in public institutions requiring security such as the National Police Agency, etc. In addition, it is also used in the field that monitors the movement of the subjects in real time using the wide field camera of the wide field device. Can be done. In addition, when used for door control, a single iris recognition device can be used for both entrances and exits, thus greatly reducing the cost, and simultaneously monitoring whether the person is actually entering and accessing other unauthorized persons. It can work.

Claims (20)

Translated fromKorean
삭제delete삭제delete삭제delete삭제delete삭제delete수평방향으로 쌍곡면반사기 혹은 포물면반사기의 모양에 따른 전 영역의 영상을 획득하는 전방향 렌즈부를 포함하여 이루어지고, 영상획득 가능 영역을 확대하거나 또는 위치정보를 알기 위해 적어도 하나 이상의 카메라를 결합하여 구성되어 주변 전 방향을 감시하는 광시야 카메라를 통해 피사체의 영상을 획득함과 아울러 이동하는 대상자의 얼굴영상을 추적하는 광시야 장치;It includes an omnidirectional lens unit for acquiring the image of the entire area according to the shape of the hyperbolic reflector or parabolic reflector in the horizontal direction, and is configured by combining at least one camera to enlarge the image acquisition area or to know the position information A wide field of view device for acquiring an image of a subject through a wide field of view camera that monitors an entire omnidirectional direction and tracking a face image of a moving subject;상기 광시야 장치에 부가하여 전 방향에 가시광선 또는 적외선으로 주변을 조명하는 광시야 조명부;A wide field illumination unit for illuminating the surroundings with visible or infrared light in all directions in addition to the wide field of view device;대상자의 홍채영상을 획득하는 홍채영상카메라와, 대상자의 홍채에 대하여 줌 및 포커스를 제어하는 줌/포커스 렌즈부, 상기 홍채영상카메라의 광축이 상기 대상자의 홍채를 향하도록 상기 홍채영상 카메라를 상하, 좌우로 회전시키는 카메라 회전부, 상기 홍채영상 카메라의 상부 일 측에 부착하고, 상기 제어수단의 제어에 의하여 상기 홍채영상 카메라와 상기 대상자의 홍채까지의 거리를 측정하는 거리측정센서, 상기 홍채영상 카메라의 좌우측에 각각 부착 형성되고, 상기 제어수단의 제어에 의하여 상기 대상자의 홍채에 적외선 조명을 조사하는 적외선 조명부를 포함하여 구성되어 상기 광시야 장치에 의하여 추적된 대상자의 얼굴영상에서 홍채영상을 획득하는 협시야 장치;An iris image camera for acquiring an iris image of the subject, a zoom / focus lens unit for controlling zoom and focus on the iris of the subject, and an iris image camera up and down so that the optical axis of the iris image camera faces the subject's iris; Camera rotation unit for rotating left and right, attached to the upper side of the iris image camera, the distance measuring sensor for measuring the distance to the iris image camera and the subject's iris under the control of the control means, the iris image camera It is attached to the left and right sides, respectively, and comprises an infrared illumination unit for irradiating infrared light to the iris of the subject under the control of the control means is narrowed to obtain an iris image from the face image of the subject tracked by the optical field device Viewing device;상기 광시야 장치를 제어하여 획득된 피사체에서 홍채인식 대상자를 선정함과 아울러 상기 광시야 장치로부터 전송된 대상자의 눈 위치정보를 바탕으로 상기 대상자의 홍채영상을 획득하도록 상기 협시야 장치를 제어하는 제어수단; 및A control for selecting the iris recognition subject from the subject obtained by controlling the wide view device and controlling the narrow view device to obtain an iris image of the subject based on eye position information of the subject transmitted from the wide view device. Way; And상기 제어수단의 제어에 의해 협시야 장치로부터 획득된 홍채영상의 품질을 검사하고 통과된 홍채영상에 대하여 홍채인식을 수행하는 인식수단으로 이루어진 것을 특징으로 하는 전 방향 인식 가능한 홍채인식장치.And a recognizing means for inspecting the quality of the iris image obtained from the narrow field of view device under the control of the control means and performing iris recognition on the passed iris image.삭제delete삭제delete삭제delete삭제delete삭제delete삭제delete전방향 감시하고자 하는 공간의 상부 일측에 포물면이 아래로 향하도록 고정된 쌍곡면반사기;Hyperbolic reflector fixed to the upper side of the space to be monitored in all directions facing down;상기 쌍곡면반사기 내부에서 대상자의 홍채영상을 검출하도록 부착된 협시야 장치;A narrow field of view device attached to detect the iris image of the subject inside the hyperbolic reflector;상기 쌍곡면반사기의 하단에 일정거리 이격되어 광시야 렌즈부가 상기 쌍곡면반사기를 향하도록 부착된 광시야 카메라로 형성된 것을 특징으로 하는 전 방향 인식 가능한 홍채인식장치.A wide-field recognition iris recognition device, characterized in that formed by a wide field of view camera attached to the hyperbolic surface reflector spaced apart a predetermined distance from the lower end of the hyperbolic reflector.제 13 항에 있어서,The method of claim 13,상기 쌍곡면반사기는 적외선 파장대는 통과시키고 가시광선은 반사하는 쌍곡면 형상의 콜드미러인 것을 특징으로 하는 전 방향 인식 가능한 홍채인식장치.The hyperbolic reflector is a cold mirror of the hyperbolic shape that passes through the infrared wavelength band and reflects visible light, it is possible to recognize the omnidirectional recognition.전 방향 감시하고자 하는 공간의 상부 일측에 포물면이 아래로 향하도록 고 정된 쌍곡면반사기;Hyperbolic reflector fixed on the upper side of the space to be monitored in all directions to face downward;상기 쌍곡면반사기의 외측 상부에 위치하여 홍채영상카메라의 줌/포커스렌즈부가 상기 쌍곡면반사기 내부로 향하도록 부착된 협시야 장치;A narrow field of view device positioned on an outer upper portion of the hyperbolic reflector and attached to a zoom / focus lens unit of the iris image camera toward the hyperbolic reflector;상기 쌍곡면반사기의 외부로부터 투과된 적외선 파장대의 영상을 상기 줌/포커스 렌즈부로 반사하는 홍채영상 반사기;An iris image reflector for reflecting an image of an infrared wavelength band transmitted from the outside of the hyperbolic reflector to the zoom / focus lens unit;상기 쌍곡면반사기의 하단에 일정거리 이격되어 광시야 렌즈부가 상기 쌍곡면반사기를 향하도록 부착된 광시야 카메라로 형성된 것을 특징으로 하는 전 방향 인식 가능한 홍채인식장치.A wide-field recognition iris recognition device, characterized in that formed by a wide field of view camera attached to the hyperbolic surface reflector spaced apart a predetermined distance from the lower end of the hyperbolic reflector.제 15 항에 있어서,The method of claim 15,상기 쌍곡면반사기는 적외선 파장대는 통과시키고 가시광선은 반사하는 쌍곡면형상의 콜드미러인 것을 특징으로 하는 전 방향 인식 가능한 홍채인식장치.The hyperbolic reflector is a hyper-mirror cold mirror that passes through the infrared wavelength band and reflects visible light, characterized in that the omnidirectional recognizable iris recognition device.전방향 감시하고자 하는 공간의 상부 일측에 포물면이 아래로 향하도록 고정된 포물면반사기;Parabolic reflector fixed to the upper side of the space to be monitored in the forward direction paraboloid downward;상기 포물면반사기 내부에서 대상자의 홍채영상을 검출하도록 부착된 협시야 장치;A narrow field of view device attached to detect an iris image of the subject inside the parabolic reflector;상기 포물면반사기의 하단에 일정거리 이격되어 광시야 렌즈부가 상기 포물면반사기를 향하도록 부착된 광시야 카메라로 형성된 것을 특징으로 하는 전 방향 인식 가능한 홍채인식장치.An omnidirectional recognition iris recognition device, characterized in that formed by a wide field of view camera attached to the parabolic reflector spaced apart a certain distance from the lower end of the parabolic reflector.제 17 항에 있어서,The method of claim 17,상기 포물면반사기는 적외선 파장대는 통과시키고 가시광선은 반사하는 포물면 형상의 콜드미러인 것을 특징으로 하는 전 방향 인식 가능한 홍채인식장치.The parabolic reflector is a parabolic cold mirror that passes through the infrared wavelength band and reflects visible light.전 방향 감시하고자 하는 공간의 상부 일측에 포물면이 아래로 향하도록 고정된 포물면반사기;Parabolic reflector fixed to the upper side of the space to be monitored in the forward direction paraboloid downward;상기 포물면반사기의 외측 상부에 위치하여 홍채영상카메라의 줌/포커스렌즈부가 상기 포물면반사기 내부로 향하도록 부착된 협시야 장치;A narrow field of view device positioned above the parabolic reflector and attached such that a zoom / focus lens portion of the iris image camera faces the parabolic reflector;상기 포물면반사기의 외부로부터 투과된 적외선 파장대의 영상을 상기 줌/포커스 렌즈부로 반사하는 홍채영상 반사기;An iris image reflector reflecting an image of an infrared wavelength band transmitted from the outside of the parabolic reflector to the zoom / focus lens unit;상기 포물면반사기의 하단에 일정거리 이격되어 광시야 렌즈부가 상기 쌍곡면반사기 포물면반사기를 향하도록 부착된 광시야 카메라로 형성된 것을 특징으로 하는 전 방향 인식 가능한 홍채인식장치.An omnidirectional iris recognition device, characterized in that formed by a wide-field camera spaced apart a certain distance from the lower end of the parabolic reflector attached to the hyperbolic reflector parabolic reflector.제 19 항에 있어서,The method of claim 19,상기 포물면반사기는 적외선 파장대는 통과시키고 가시광선은 반사하는 포물면 형상의 콜드미러인 것을 특징으로 하는 전 방향 인식 가능한 홍채인식장치.The parabolic reflector is a parabolic cold mirror that passes through the infrared wavelength band and reflects visible light.
KR1020040056062A2003-07-182004-07-19Apparatus and Method for Iris Recognition from all direction of viewExpired - Fee RelatedKR100587422B1 (en)

Applications Claiming Priority (2)

Application NumberPriority DateFiling DateTitle
KR10200300489842003-07-18
KR200300489842003-07-18

Publications (2)

Publication NumberPublication Date
KR20050009959A KR20050009959A (en)2005-01-26
KR100587422B1true KR100587422B1 (en)2006-06-09

Family

ID=34074868

Family Applications (1)

Application NumberTitlePriority DateFiling Date
KR1020040056062AExpired - Fee RelatedKR100587422B1 (en)2003-07-182004-07-19Apparatus and Method for Iris Recognition from all direction of view

Country Status (2)

CountryLink
KR (1)KR100587422B1 (en)
WO (1)WO2005008567A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication numberPriority datePublication dateAssigneeTitle
KR101636895B1 (en)*2014-12-302016-07-06주식회사 펀진Pupil Tracking System
CN106663187A (en)*2014-07-092017-05-10三星电子株式会社Method and device for recognizing biometric information

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication numberPriority datePublication dateAssigneeTitle
US7593550B2 (en)2005-01-262009-09-22Honeywell International Inc.Distance iris recognition
US8705808B2 (en)2003-09-052014-04-22Honeywell International Inc.Combined face and iris recognition system
WO2007101276A1 (en)*2006-03-032007-09-07Honeywell International, Inc.Single lens splitter camera
GB2450022B (en)*2006-03-032011-10-19Honeywell Int IncA combined face and iris recognition system
WO2008033784A2 (en)2006-09-152008-03-20Retica Systems, Inc.Long distance multimodal biometric system and method
US8121356B2 (en)2006-09-152012-02-21Identix IncorporatedLong distance multimodal biometric system and method
US8965063B2 (en)2006-09-222015-02-24Eyelock, Inc.Compact biometric acquisition system and method
US20080247606A1 (en)*2007-04-032008-10-09Honeywell International Inc.Agile illumination for biometric authentication
US8953849B2 (en)2007-04-192015-02-10Eyelock, Inc.Method and system for biometric recognition
WO2008131201A1 (en)2007-04-192008-10-30Global Rainmakers, Inc.Method and system for biometric recognition
US8351659B2 (en)*2007-06-142013-01-08Cubic CorporationEye detection system
KR101004629B1 (en)*2009-02-062011-01-03연세대학교 산학협력단 Non-compressive 3D face data acquisition system and method
EP2748768A4 (en)2011-08-222016-05-11Eyelock LlcSystems and methods for capturing artifact free images
CN103605965A (en)*2013-11-252014-02-26苏州大学Multi-pose face recognition method and device
CN104883548B (en)*2015-06-162018-08-14金鹏电子信息机器有限公司Monitor video face captures processing method and its system
CN106778713B (en)*2017-03-012023-09-22武汉虹识技术有限公司Iris recognition device and method for dynamic human eye tracking
CN109117692B (en)*2017-06-232024-03-29深圳荆虹科技有限公司Iris recognition device, system and method
CN109389018B (en)*2017-08-142020-12-25杭州海康威视数字技术股份有限公司Face angle recognition method, device and equipment
KR101968101B1 (en)*2018-07-122019-04-11천재두Object recognition camera module and object recognition system thereof
WO2023079862A1 (en)*2021-11-052023-05-11パナソニックIpマネジメント株式会社Imaging system, processing device, and method executed by computer in imaging system

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication numberPriority datePublication dateAssigneeTitle
US5365597A (en)*1993-06-111994-11-15United Parcel Service Of America, Inc.Method and apparatus for passive autoranging using relaxation
US5572596A (en)*1994-09-021996-11-05David Sarnoff Research Center, Inc.Automated, non-invasive iris recognition system and method
JP2000011163A (en)*1998-06-182000-01-14Matsushita Electric Ind Co Ltd Iris imaging apparatus and iris imaging method thereof
KR20020028406A (en)*2000-10-092002-04-17정인수Iris image acquisition device and iris recognition method with high recognition rates
KR200240864Y1 (en)*2001-04-262001-10-12(주)비이케이엔지니어링A surveillance camera for monitoring in every direction using a media of the optical angle and multi-montoring device using a tracking type of the camera

Cited By (2)

* Cited by examiner, † Cited by third party
Publication numberPriority datePublication dateAssigneeTitle
CN106663187A (en)*2014-07-092017-05-10三星电子株式会社Method and device for recognizing biometric information
KR101636895B1 (en)*2014-12-302016-07-06주식회사 펀진Pupil Tracking System

Also Published As

Publication numberPublication date
WO2005008567A1 (en)2005-01-27
KR20050009959A (en)2005-01-26

Similar Documents

PublicationPublication DateTitle
KR100587422B1 (en)Apparatus and Method for Iris Recognition from all direction of view
US6652099B2 (en)Apparatus for focusing iris images of both eyes
US8433103B2 (en)Long distance multimodal biometric system and method
KR100977499B1 (en) Long Range Iris Image Acquisition System Using Panning and Tilting of Mirrors
JP2002514098A (en) Device for iris acquisition image
JP2002352235A (en)Apparatus and method for adjusting focus position in iris recognition system
US20110285845A1 (en)Distant face recognition system
US20030108224A1 (en)Authentication object image-pickup method and device therefor
KR100869998B1 (en) Remote Iris Image Acquisition System
JP2002122899A (en) Iris imaging device
JP2003030659A (en) Iris authentication device and iris imaging device
WO2002093481A1 (en)Method and apparatus for picking up image of object being authenticated
EP4033400B1 (en)System for acquiring iris image to enlarge iris recognition range
CN102572249A (en)Dual-mode imaging optical system for face and iris
JP2011109630A (en)Universal head for camera apparatus
US20060228003A1 (en)Method and apparatus for detection of optical elements
KR200321670Y1 (en)Iris identification camera
KR100443674B1 (en)Distance measuring method and apparatus of iris recognition system
KR20020086976A (en)Focusing angle and distance display in iris recognition system
KR100430268B1 (en)Focusing angle display of iris recognition system
KR100410972B1 (en)Focusing distance display of iris recognition system
AU2007223336B2 (en)A combined face and iris recognition system
KR100411344B1 (en)Automatic focus adjustment method for iris recognition system
KR20210101928A (en)System for acquisiting iris image for enlarging iris acquisition range
KR20050094222A (en)Focus distance measuerment method for optical reflection in iris recognized system

Legal Events

DateCodeTitleDescription
PA0109Patent application

St.27 status event code:A-0-1-A10-A12-nap-PA0109

A201Request for examination
P11-X000Amendment of application requested

St.27 status event code:A-2-2-P10-P11-nap-X000

P13-X000Application amended

St.27 status event code:A-2-2-P10-P13-nap-X000

PA0201Request for examination

St.27 status event code:A-1-2-D10-D11-exm-PA0201

PG1501Laying open of application

St.27 status event code:A-1-1-Q10-Q12-nap-PG1501

E902Notification of reason for refusal
PE0902Notice of grounds for rejection

St.27 status event code:A-1-2-D10-D21-exm-PE0902

E13-X000Pre-grant limitation requested

St.27 status event code:A-2-3-E10-E13-lim-X000

P11-X000Amendment of application requested

St.27 status event code:A-2-2-P10-P11-nap-X000

P13-X000Application amended

St.27 status event code:A-2-2-P10-P13-nap-X000

E701Decision to grant or registration of patent right
PE0701Decision of registration

St.27 status event code:A-1-2-D10-D22-exm-PE0701

GRNTWritten decision to grant
PR0701Registration of establishment

St.27 status event code:A-2-4-F10-F11-exm-PR0701

PR1002Payment of registration fee

St.27 status event code:A-2-2-U10-U11-oth-PR1002

Fee payment year number:1

PG1601Publication of registration

St.27 status event code:A-4-4-Q10-Q13-nap-PG1601

PN2301Change of applicant

St.27 status event code:A-5-5-R10-R11-asn-PN2301

PN2301Change of applicant

St.27 status event code:A-5-5-R10-R14-asn-PN2301

PR1001Payment of annual fee

St.27 status event code:A-4-4-U10-U11-oth-PR1001

Fee payment year number:4

PR1001Payment of annual fee

St.27 status event code:A-4-4-U10-U11-oth-PR1001

Fee payment year number:5

PN2301Change of applicant

St.27 status event code:A-5-5-R10-R13-asn-PN2301

St.27 status event code:A-5-5-R10-R11-asn-PN2301

PN2301Change of applicant

St.27 status event code:A-5-5-R10-R13-asn-PN2301

St.27 status event code:A-5-5-R10-R11-asn-PN2301

PR1001Payment of annual fee

St.27 status event code:A-4-4-U10-U11-oth-PR1001

Fee payment year number:6

PR1001Payment of annual fee

St.27 status event code:A-4-4-U10-U11-oth-PR1001

Fee payment year number:7

FPAYAnnual fee payment

Payment date:20130502

Year of fee payment:8

PR1001Payment of annual fee

St.27 status event code:A-4-4-U10-U11-oth-PR1001

Fee payment year number:8

FPAYAnnual fee payment

Payment date:20140417

Year of fee payment:9

PR1001Payment of annual fee

St.27 status event code:A-4-4-U10-U11-oth-PR1001

Fee payment year number:9

FPAYAnnual fee payment

Payment date:20150428

Year of fee payment:10

PR1001Payment of annual fee

St.27 status event code:A-4-4-U10-U11-oth-PR1001

Fee payment year number:10

FPAYAnnual fee payment

Payment date:20160722

Year of fee payment:11

PR1001Payment of annual fee

St.27 status event code:A-4-4-U10-U11-oth-PR1001

Fee payment year number:11

FPAYAnnual fee payment

Payment date:20170529

Year of fee payment:12

PR1001Payment of annual fee

St.27 status event code:A-4-4-U10-U11-oth-PR1001

Fee payment year number:12

LAPSLapse due to unpaid annual fee
PC1903Unpaid annual fee

St.27 status event code:A-4-4-U10-U13-oth-PC1903

Not in force date:20180531

Payment event data comment text:Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903Unpaid annual fee

St.27 status event code:N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text:Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date:20180531

R18-X000Changes to party contact information recorded

St.27 status event code:A-5-5-R10-R18-oth-X000

P22-X000Classification modified

St.27 status event code:A-4-4-P10-P22-nap-X000


[8]ページ先頭

©2009-2025 Movatter.jp