KR102143231B1 - Health abnormality detection method using face monitoring and thermal image monitoring, health abnormality detection device and computer program for the same - Google Patents
Health abnormality detection method using face monitoring and thermal image monitoring, health abnormality detection device and computer program for the sameDownload PDFInfo
- Publication number
- KR102143231B1 KR102143231B1KR1020200036828AKR20200036828AKR102143231B1KR 102143231 B1KR102143231 B1KR 102143231B1KR 1020200036828 AKR1020200036828 AKR 1020200036828AKR 20200036828 AKR20200036828 AKR 20200036828AKR 102143231 B1KR102143231 B1KR 102143231B1
- Authority
- KR
- South Korea
- Prior art keywords
- visitor
- face
- health
- monitoring
- thermal image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
- A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
- A61B5/0008—Temperature signals
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient; User input means
- A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient; User input means
- A61B5/7465—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network
- A61B5/747—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network in case of emergency, i.e. alerting emergency services
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/48—Thermography; Techniques using wholly visual means
- G06K9/00221—
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
- G08B21/0205—Specific application combined with child monitoring using a transmitter-receiver system
- G08B21/0211—Combination with medical sensor, e.g. for measuring heart rate, temperature
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/80—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for detecting, monitoring or modelling epidemics or pandemics, e.g. flu
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J2005/0077—Imaging
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- General Physics & Mathematics (AREA)
- Physiology (AREA)
- Business, Economics & Management (AREA)
- Child & Adolescent Psychology (AREA)
- Emergency Management (AREA)
- Epidemiology (AREA)
- Data Mining & Analysis (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Nursing (AREA)
- Critical Care (AREA)
- Cardiology (AREA)
- Primary Health Care (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Emergency Medicine (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Alarm Systems (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
Description
Translated fromKorean본 발명은 얼굴 감시 및 열화상 감시를 이용한 건강 이상 감지방법, 건강 이상 감지장치 및 컴퓨터 프로그램에 관한 것으로서, 출입자에 대한 얼굴 감시 기능과 열화상을 이용한 고온 감시 기능을 함께 실행함으로써, 출입자의 건강 이상 상태를 무인화된 감시 프로세스를 통해 모니터링할 수 있도록 구성된 얼굴 감시 및 열화상 감시를 이용한 건강 이상 감지방법, 건강 이상 감지장치 및 컴퓨터 프로그램에 관한 것이다.The present invention relates to a health abnormality detection method using a face monitoring and thermal image monitoring, a health abnormality detection device, and a computer program, by executing a face monitoring function for a visitor and a high temperature monitoring function using a thermal image together, It relates to a health abnormality detection method, a health abnormality detection device, and a computer program using face monitoring and thermal image monitoring configured to monitor the state through an unmanned monitoring process.
열화상을 이용하여 사람의 신체 온도를 측정하고 건강 상태를 판단하는 기술들이 제안된 바 있다.Techniques for measuring a person's body temperature and determining health status using thermal images have been proposed.
이러한 종래기술의 일예로, 대한민국 공개특허 10-2015-0129937 (2015년11월23일 공개)은 객체 건강 상태 판단 방법 및 시스템에 관한 것으로서, 열상 카메라를 통해 적어도 하나의 객체와 적어도 하나의 흑체를 포함한 열화상을 획득하는 단계, 열화상에서 얼굴 인식을 통해 적어도 하나의 객체의 얼굴 온도를 검출하는 단계, 열화상 내 흑체의 측정 온도와 흑체의 기설정 온도의 차이를 토대로 얼굴 온도를 보정하는 단계, 및 보정된 얼굴 온도와 기준 온도 범위를 비교하여 객체의 건강 상태를 판단하는 단계하는 구성을 제안하였다.As an example of such a prior art, Korean Patent Application Laid-Open No. 10-2015-0129937 (published on November 23, 2015) relates to a method and system for determining an object health state, and includes at least one object and at least one black body through a thermal imaging camera. Acquiring a thermal image including, detecting a face temperature of at least one object through face recognition in the thermal image, correcting a face temperature based on a difference between a measured temperature of a black body in the thermal image and a preset temperature of the black body, And a step of determining the health state of the object by comparing the corrected face temperature and the reference temperature range.
또다른 종래기술의 일예로, 대한민국 등록특허 10-2053295 (2019년12월02일 등록)은 안면의 온도 분포를 이용하여 대상자의 질병 감염 여부를 판단하는 방법과 장치에 관한 것으로서, 열화상 카메라로 대상자의 열화상을 획득하고, 획득된 열화상으로부터 복수의 관심 영역의 온도를 검출하여 상기 복수의 관심 영역의 온도로부터 대상자의 질병 감염 여부를 판단하는 방법과 장치를 제안하였다.As another example of the prior art, Korean Patent Registration No. 10-2053295 (registered on Dec. 2, 2019) relates to a method and apparatus for determining whether a subject is infected with a disease using a temperature distribution on the face, using a thermal imaging camera. A method and apparatus for acquiring a thermal image of a subject, detecting temperatures of a plurality of regions of interest from the obtained thermal images, and determining whether a subject is infected with a disease from the temperatures of the plurality of regions of interest are proposed.
그런데, 상기 종래기술들은 얼굴의 온도를 측정하여 사람의 건강 상태 또는 질병 감염 여부 등을 판단할 뿐이며, 건물이나 시설의 출입 보안 관점을 고려한 구성을 제안하지 못하였다는 한계점이 있었다.However, the prior art has a limitation in that it is not possible to propose a configuration in consideration of a security point of access to a building or facility, but only to determine a person's health status or disease infection by measuring the temperature of the face.
본 발명은 상기와 같은 문제점을 감안하여 안출한 것으로서, 출입자에 대한 얼굴 감시 기능과 열화상을 이용한 고온 감시 기능을 함께 실행함으로써, 출입자의 건강 이상 상태를 무인화된 감시 프로세스를 통해 모니터링할 수 있도록 구성된 얼굴 감시 및 열화상 감시를 이용한 건강 이상 감지방법, 건강 이상 감지장치 및 컴퓨터 프로그램을 제공하는 것을 목적으로 한다.The present invention has been devised in consideration of the above problems, and is configured to monitor a visitor's health abnormality through an unmanned monitoring process by executing a face monitoring function for a visitor and a high temperature monitoring function using a thermal image together. The purpose of this study is to provide a health abnormality detection method, a health abnormality detection device, and a computer program using face monitoring and thermal image monitoring.
상기 목적을 감안한 본 발명의 일 측면에 따르면, 카메라와 열화상 센서를 구비한 건강 이상 감지장치에서 실행하는 건강 이상 감지방법으로서, 1) 출입자의 얼굴을 감지하기 위해, 카메라를 통해 수득한 카메라 영상을 감시하는 단계; 2) 고온 열분포 영역을 감지하기 위해, 열화상 센서를 통해 수득한 열화상을 감시하는 단계- 상기 카메라 영상의 영상 좌표와 상기 열화상의 화상 좌표는 서로 정합된 상태이며, 상기 고온 열분포 영역은 상기 열화상에 포함된 열분포 영역 중에서 미리 설정된 온도 이상인 것으로 판단된 영역임-; 3) 상기 2)단계를 통해 고온 열분포 영역을 감지하고, 상기 고온 열분포 영역이 상기 1)단계를 통해 감지한 출입자의 얼굴의 영역과 적어도 부분적으로 공통된 영역을 갖는 경우, 상기 출입자가 건강 이상 상태라고 판단하는 단계- 상기 건강 이상 상태는 상기 출입자의 신체 온도가 미리 설정된 온도 이상의 고온이라고 판단한 상태임-; 및 4) 상기 3)단계를 통해 상기 출입자가 건강 이상 상태라고 판단한 경우, 건강 이상 상태의 출입자가 발생했음을 알려주는 건강 이상 출입자 발생 경보를 표시수단을 통해 제공하는 단계;를 포함하여 구성된 얼굴 감시 및 열화상 감시를 이용한 건강 이상 감지방법이 개시된다.According to an aspect of the present invention in consideration of the above object, there is provided a health anomaly detection method executed in a health anomaly detection device having a camera and a thermal image sensor, comprising: 1) a camera image obtained through a camera in order to detect a person's face Monitoring; 2) Monitoring a thermal image obtained through a thermal image sensor in order to detect a high-temperature heat distribution region-the image coordinates of the camera image and the image coordinates of the thermal image are matched with each other, and the high temperature heat distribution region is Among the heat distribution regions included in the image, the region is determined to be equal to or higher than a preset temperature; 3) If the high-temperature heat distribution region is sensed through step 2), and the high-temperature heat distribution region has a region that is at least partially in common with the face region of the visitor detected through step 1), the visitor is in a state of abnormal health. Determining-the health abnormality state is a state in which it is determined that the body temperature of the visitor is higher than a preset temperature; And 4) when it is determined that the visitor is in a health abnormal state through step 3), providing a health abnormal visitor occurrence alarm through a display means indicating that the visitor in the abnormal health state has occurred; Disclosed is a health abnormality detection method using thermal image monitoring.
바람직하게 본 발명은, 상기 1)단계를 통해 출입자의 얼굴을 감지한 경우, 11) 상기 1)단계를 통해 감지한 출입자의 얼굴이 얼굴 데이터베이스에 등록된 얼굴인지를 판별하는 단계;를 더욱 포함하며, 상기 3)단계를 통해 상기 출입자가 건강 이상 상태라고 판단한 경우, 31) 상기 3)단계를 통해 건강 이상 상태라고 판단한 출입자의 얼굴 데이터베이스에 해당 출입자의 신체 온도 정보를 기록하는 단계;를 더욱 포함하여 구성된다.Preferably, the present invention further includes, when detecting the face of the visitor through the step 1), 11) determining whether the face of the visitor detected through the step 1) is a face registered in the face database; and , When it is determined that the visitor is in an abnormal health state through step 3), 31) recording the body temperature information of the visitor in the face database of the visitor who is determined to have an abnormal health state through step 3); Is composed.
바람직하게, 상기 건강 이상 출입자 발생 경보는, 건강 이상 상태라고 판단한 출입자의 얼굴을 표시수단의 화면 내에서 시각적으로 식별할 수 있는 얼굴 식별 정보 및 해당 출입자의 신체 온도 정보를 포함한다.Preferably, the health abnormality visitor occurrence alarm includes face identification information for visually identifying a visitor's face determined to be in a health abnormal state within a screen of the display means and body temperature information of the corresponding visitor.
바람직하게 본 발명은, 301) 상기 1)단계를 통해 출입자의 얼굴을 감지하지 않았는데 상기 2)단계를 통해 고온 열분포 영역을 감지한 경우, 카메라의 전방 측에 위치한 얼굴 촬영 지역으로 출입자가 이동하여 카메라 방향으로 얼굴을 향하도록 표시수단을 통해 출입자 이동 안내 지시를 출력하는 단계;를 더욱 포함하여 구성된다.Preferably, in the present invention, 301) when the face of the visitor is not detected through step 1) and the high-temperature heat distribution region is detected through step 2), the visitor moves to the face photographing area located at the front side of the camera, and the camera It is configured to further include; outputting a moving guide instruction through the display means so as to face the face in the direction.
바람직하게 본 발명은, 301') 상기 2)단계를 통해 고온 열분포 영역을 감지하였는데 상기 고온 열분포 영역이 상기 1)단계를 통해 감지한 출입자의 얼굴의 영역과 공통된 영역을 갖지 않는 경우, 카메라의 전방 측에 위치한 얼굴 촬영 지역으로 출입자가 이동하여 카메라 방향으로 얼굴을 향하도록 표시수단을 통해 출입자 이동 안내 지시를 출력하는 단계;를 더욱 포함하여 구성된다.Preferably, in the present invention, if the high-temperature heat distribution area is detected through step 2) and the high-temperature heat distribution area does not have a common area with the area of the visitor's face detected through step 1), the front of the camera And outputting a guide for moving the person through the display means so that the person moves to the face photographing area located on the side and faces the person in the camera direction.
바람직하게 본 발명은, 상기 1)단계를 통해 출입자의 얼굴을 감지한 경우, 1001) 상기 1)단계를 통해 감지한 출입자의 얼굴의 영역의 일부를 가리는 보형물이 착용되었는지를 판단하는 단계;를 더욱 포함하며, 상기 2)단계 이후, 3001) 상기 1001)단계를 통해 출입자의 얼굴에 보형물이 착용되었다고 판단하고 상기 2)단계를 통해 고온 열분포 영역을 감지하지 않은 상태에서, 출입자의 얼굴의 영역에서 상기 고온 열분포 영역보다 더욱 저온 범위로 설정된 요주의 열분포 영역을 감지한 경우, 해당 출입자에게 얼굴의 보형물을 제거하고 카메라의 전방 측에 위치한 얼굴 촬영 지역으로 이동하여 카메라 방향으로 얼굴을 향하도록 표시수단을 통해 출입자 이동 안내 지시를 출력하는 단계;를 더욱 포함하여 구성된다.Preferably, the present invention comprises the steps of 1001) determining whether an implant covering a part of the face of the visitor detected through step 1) is worn when the face of the visitor is detected through step 1). And, after step 2), in a state in which it is determined that the implant is worn on the visitor's face through step 3001) and step 2), and the high-temperature heat distribution region is not detected through step 2), the When detecting the critical heat distribution area set to a lower temperature range than the high temperature thermal distribution area, the person in question removes the facial implant to the person in question, moves to the face photographing area located in front of the camera, and uses the display means to face the face in the camera direction. And outputting the movement guide instruction.
바람직하게 본 발명은, 상기 카메라 및 열화상 센서는 상기 건강 이상 감지장치의 전면부를 향해 카메라 영상을 촬영하거나 또는 열화상을 수득하도록 설치되고, 상기 카메라 및 열화상 센서와 다른 각도에서 카메라 영상을 촬영하거나 또는 열화상을 수득하는 측면 카메라 및 측면 열화상 센서를 상기 건강 이상 감지장치가 더욱 구비하며, 상기 1)단계를 통해 출입자의 얼굴을 감지한 경우, 1001) 상기 1)단계를 통해 감지한 출입자의 얼굴의 영역의 일부를 가리는 보형물이 착용되었는지를 판단하는 단계;를 더욱 포함하며, 상기 2)단계 이후, 3002) 상기 1001)단계를 통해 출입자의 얼굴에 보형물이 착용되었다고 판단하고 상기 2)단계를 통해 고온 열분포 영역을 감지하지 않은 상태에서, 출입자의 얼굴의 영역에서 상기 고온 열분포 영역보다 더욱 저온 범위로 설정된 요주의 열분포 영역을 감지한 경우, 상기 측면 열화상 센서를 이용하여 상기 열화상 센서와 다른 각도에서 상기 2)단계를 추가 실행하는 단계; 및 3003) 상기 2)단계의 추가 실행 결과 고온 열분포 영역을 감지한 경우, 관리자 단말로 감시 현장 확인 지시를 출력하는 단계;를 더욱 포함하여 구성된다.Preferably, in the present invention, the camera and the thermal image sensor are installed to take a camera image or obtain a thermal image toward the front of the health abnormality detection device, and take a camera image from a different angle from the camera and the thermal image sensor. Or, when the health abnormality detection device further includes a side camera and a side thermal image sensor to obtain a thermal image, and the face of the visitor is detected through step 1), 1001) the visitor detected through step 1) Further comprising, and, after step 2), determining that the implant is worn on the face of the visitor through step 3002) and step 1001), and step 2) In a state in which the high-temperature heat distribution region is not detected through, when detecting a critical heat distribution region set to a lower temperature range than the high-temperature heat distribution region in the face of the visitor, the thermal image sensor is different from the thermal image sensor using the side surface thermal image sensor. Further executing step 2) at an angle; And 3003) when detecting a high-temperature heat distribution region as a result of the additional execution of step 2), outputting a monitoring site confirmation instruction to a manager terminal.
바람직하게, 상기 1)단계 내지 4)단계는 상기 카메라 영상 및 열화상에 포함된 다수 출입자에 대해 각각 함께 실행하며, 41) 상기 3)단계를 통해 상기 다수 출입자 중 일부 출입자가 건강 이상 상태라고 판단한 경우, 건강 이상 상태의 출입자와 건강 이상 상태가 아닌 출입자의 발생을 구분하여 알려주는 건강 이상 출입자 구분 발생 경보를 표시수단을 통해 제공하는 단계- 상기 건강 이상 출입자 구분 발생 경보는, 건강 이상 상태의 출입자의 얼굴과 건강 이상 상태가 아닌 출입자의 얼굴을 표시수단의 화면 내에서 상호 구분하여 시각적으로 식별할 수 있는 구분 얼굴 식별 정보 및 각각의 출입자의 신체 온도 정보를 포함함-;를 더욱 포함하여 구성된다.Preferably, the steps 1) to 4) are performed together with each of the multiple accessors included in the camera image and the thermal image, and 41) it is determined that some of the multiple accessors are in a state of abnormal health through the step 3). In case, the step of providing an alarm that distinguishes between a person in a state of health abnormality and an entry person who is not in a state of health abnormality through a display means-The alarm for identification of persons with abnormal health is The face of the visitor and the person who is not in a health condition are distinguished from each other within the screen of the display means to visually identify the face identification information and the body temperature information of each visitor. .
본 발명의 또다른 일 측면에 따르면, 하나 이상의 명령을 저장하는 메모리; 상기 메모리에 저장된 상기 하나 이상의 명령을 실행하는 프로세서; 및 카메라와 열화상 센서를 포함하고, 상기 프로세서는, 출입자의 얼굴을 감지하기 위해, 카메라를 통해 수득한 카메라 영상을 감시하고; 고온 열분포 영역을 감지하기 위해, 열화상 센서를 통해 수득한 열화상을 감시하며- 상기 카메라 영상의 영상 좌표와 상기 열화상의 화상 좌표는 서로 정합된 상태이며, 상기 고온 열분포 영역은 상기 열화상에 포함된 열분포 영역 중에서 미리 설정된 온도 이상인 것으로 판단된 영역임-; 상기 열화상 감시를 통해 고온 열분포 영역을 감지하고, 상기 고온 열분포 영역이 상기 카메라 영상 감시를 통해 감지한 출입자의 얼굴의 영역과 적어도 부분적으로 공통된 영역을 갖는 경우, 상기 출입자가 건강 이상 상태라고 판단하고- 상기 건강 이상 상태는 상기 출입자의 신체 온도가 미리 설정된 온도 이상의 고온이라고 판단한 상태임-; 상기 출입자가 건강 이상 상태라고 판단한 경우, 건강 이상 상태의 출입자가 발생했음을 알려주는 건강 이상 출입자 발생 경보를 표시수단을 통해 제공하는 것을 특징으로 하는 건강 이상 감지장치가 개시된다.According to another aspect of the invention, there is provided a memory for storing one or more instructions; A processor that executes the one or more instructions stored in the memory; And a camera and a thermal image sensor, wherein the processor monitors the camera image obtained through the camera in order to detect a face of a person entering and exiting; In order to detect the high-temperature heat distribution area, the thermal image obtained through the thermal image sensor is monitored-the image coordinates of the camera image and the image coordinates of the thermal image are in a matched state, and the high-temperature heat distribution area is included in the thermal image. It is an area judged to be higher than a preset temperature among the heat distribution areas. If the high-temperature heat distribution region is detected through the thermal image monitoring, and the high-temperature heat distribution region has a region at least partially in common with the region of the face of the visitor detected through the camera image monitoring, it is determined that the visitor is in a health abnormal state, and -The abnormal health state is a state in which it is determined that the body temperature of the visitor is higher than a preset temperature; Disclosed is a health abnormality detection device, characterized in that, when it is determined that the visitor is in a health abnormal state, a health abnormal visitor occurrence alarm notifying that a person with a health abnormal state has occurred is provided through a display means.
본 발명의 또다른 일 측면에 따르면, 하나 이상의 명령을 저장하는 메모리와 상기 메모리에 저장된 상기 하나 이상의 명령을 실행하는 프로세서를 포함하는 하드웨어와 결합되어 얼굴 감시 및 열화상 감시를 이용한 건강 이상 감지방법을 실행하도록 매체에 저장된 컴퓨터 프로그램으로서, 상기 얼굴 감시 및 열화상 감시를 이용한 건강 이상 감지방법은, 1) 출입자의 얼굴을 감지하기 위해, 카메라를 통해 수득한 카메라 영상을 감시하는 단계; 2) 고온 열분포 영역을 감지하기 위해, 열화상 센서를 통해 수득한 열화상을 감시하는 단계- 상기 카메라 영상의 영상 좌표와 상기 열화상의 화상 좌표는 서로 정합된 상태이며, 상기 고온 열분포 영역은 상기 열화상에 포함된 열분포 영역 중에서 미리 설정된 온도 이상인 것으로 판단된 영역임-; 3) 상기 2)단계를 통해 고온 열분포 영역을 감지하고, 상기 고온 열분포 영역이 상기 1)단계를 통해 감지한 출입자의 얼굴의 영역과 적어도 부분적으로 공통된 영역을 갖는 경우, 상기 출입자가 건강 이상 상태라고 판단하는 단계- 상기 건강 이상 상태는 상기 출입자의 신체 온도가 미리 설정된 온도 이상의 고온이라고 판단한 상태임-; 및 4) 상기 3)단계에서 상기 출입자가 건강 이상 상태라고 판단한 경우, 건강 이상 상태의 출입자가 발생했음을 알려주는 건강 이상 출입자 발생 경보를 표시수단을 통해 제공하는 단계;를 포함하여 구성된 것을 특징으로 하는 컴퓨터 판독가능 매체에 저장된 컴퓨터 프로그램이 개시된다.According to another aspect of the present invention, a health abnormality detection method using face monitoring and thermal image monitoring is combined with hardware including a memory storing one or more instructions and a processor that executes the one or more instructions stored in the memory. A computer program stored in a medium to be executed, the method for detecting health abnormalities using face monitoring and thermal image monitoring, the method comprising: 1) monitoring a camera image obtained through a camera in order to detect a face of a visitor; 2) Monitoring a thermal image obtained through a thermal image sensor in order to detect a high-temperature heat distribution region-the image coordinates of the camera image and the image coordinates of the thermal image are matched with each other, and the high temperature heat distribution region is Among the heat distribution regions included in the image, the region is determined to be equal to or higher than a preset temperature; 3) If the high-temperature heat distribution region is sensed through step 2), and the high-temperature heat distribution region has a region that is at least partially in common with the face region of the visitor detected through step 1), the visitor is in a state of abnormal health. Determining-the health abnormality state is a state in which it is determined that the body temperature of the visitor is higher than a preset temperature; And 4) when it is determined in step 3) that the visitor is in a state of abnormal health, providing an alarm of occurrence of a person with abnormal health, through a display means, indicating that a person with a state of health abnormality has occurred; A computer program stored on a computer-readable medium is disclosed.
이와 같은 본 발명은, 출입자에 대한 얼굴 감시 기능과 열화상을 이용한 고온 감시 기능을 함께 실행함으로써, 출입자의 건강 이상 상태를 무인화된 감시 프로세스를 통해 모니터링할 수 있다는 장점이 있다.The present invention has the advantage of being able to monitor the state of the visitor's health abnormality through an unmanned monitoring process by simultaneously executing a face monitoring function for a visitor and a high temperature monitoring function using a thermal image.
또한 본 발명은, 건물이나 시설의 출입 보안 관점에서 건강 이상이 감지된 출입자에 대한 안내 처리를 효과적으로 제공하며, 다수 출입자에 대한 안내 처리와 마스크 등의 보형물을 착용한 출입자에 대한 처리를 효과적으로 제공하는 장점이 있다.In addition, the present invention effectively provides guidance processing for visitors who have a health abnormality detected from the viewpoint of security access to buildings or facilities, and effectively provides guidance processing for multiple visitors and accessors wearing implants such as masks. There is an advantage.
도 1은 본 발명의 일실시예에 따른 건강 이상 감지장치의 구성도,
도 2는 본 발명의 일실시예에 따른 건강 이상 감지장치의 하드웨어 관점의 구성도,
도 3은 본 발명의 일실시예에 따른 건강 이상 감지장치의 정면 방향 모식도,
도 4는 본 발명의 또다른 일실시예에 따른 건강 이상 감지장치의 평면 방향 모식도,
도 5는 본 발명의 일실시예에 따른 건강 이상 감지장치의 관리 서버 연동 구성도,
도 6은 본 발명의 일실시예에 따른 건강 이상 감지방법의 흐름도,
도 7은 본 발명의 일실시예에 따른 건강 이상 감지방법에서 출입자의 얼굴에 보형물이 착용된 상태를 설명하기 위한 모식도이다.1 is a configuration diagram of a health abnormality detection device according to an embodiment of the present invention,
2 is a configuration diagram from a hardware perspective of a health abnormality detection device according to an embodiment of the present invention;
3 is a schematic front view of a health abnormality detecting device according to an embodiment of the present invention;
4 is a schematic plan view of a health abnormality detecting device according to another embodiment of the present invention;
5 is a configuration diagram of a management server linkage of a health abnormality detection device according to an embodiment of the present invention;
6 is a flowchart of a health abnormality detection method according to an embodiment of the present invention;
7 is a schematic diagram illustrating a state in which an implant is worn on the face of a visitor in a health abnormality detection method according to an embodiment of the present invention.
본 발명은 그 기술적 사상 또는 주요한 특징으로부터 벗어남이 없이 다른 여러가지 형태로 실시될 수 있다. 따라서, 본 발명의 실시예들은 모든 점에서 단순한 예시에 지나지 않으며 한정적으로 해석되어서는 안 된다.The present invention can be implemented in various other forms without departing from its technical spirit or main characteristics. Therefore, the embodiments of the present invention are merely illustrative in all respects and should not be interpreted as limiting.
제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.Terms such as first and second are used only for the purpose of distinguishing one component from other components. For example, the first component may be referred to as a second component without departing from the scope of the present invention, and similarly, the second component may be referred to as a first component.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다.When a component is referred to as being "connected" or "connected" to another component, it may be directly connected or connected to the other component, but other components may exist in the middle.
본 출원에서 사용한 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구비하다", "가지다" 등의 용어는 명세서에 기재된 구성요소 또는 이들의 조합이 존재하는 것을 표현하려는 것이지, 다른 구성요소 또는 특징이 존재 또는 부가될 가능성을 미리 배제하는 것은 아니다.The singular expression used in the present application includes a plural expression unless the context clearly indicates otherwise. In the present application, terms such as "include", "include", and "have" are intended to express the existence of elements or combinations thereof described in the specification, and the possibility of the existence or addition of other elements or features. It is not excluded in advance.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일실시예에 따른 건강 이상 감지장치의 구성도, 도 2는 본 발명의 일실시예에 따른 건강 이상 감지장치의 하드웨어 관점의 구성도, 도 3은 본 발명의 일실시예에 따른 건강 이상 감지장치의 정면 방향 모식도, 도 4는 본 발명의 또다른 일실시예에 따른 건강 이상 감지장치의 평면 방향 모식도, 도 5는 본 발명의 일실시예에 따른 건강 이상 감지장치의 관리 서버 연동 구성도이다.1 is a configuration diagram of a health abnormality detection device according to an embodiment of the present invention, Figure 2 is a configuration diagram of a hardware perspective of a health abnormality detection device according to an embodiment of the present invention, Figure 3 is an embodiment of the present invention A schematic diagram in the front direction of a health abnormality detecting device according to the present invention, FIG. 4 is a schematic diagram in a plane direction of a health abnormality detecting device according to another embodiment of the present invention, and FIG. 5 is a management of a health abnormality detecting device according to an embodiment of the present invention This is a configuration diagram of server linkage.
본 실시예의 건강 이상 감지장치(100)는, 예를 들어 건물이나 시설의 출입구에 설치되어 출입자에 대한 출입 인증과 함께 건강 이상 감지를 무인화된 감시 프로세스를 통해 실행하는 컴퓨팅 수단이다.The health
본 실시예의 건강 이상 감지장치(100)는 개별 장치 단위로 로컬 동작이 가능하지만, 바람직하게는 도 5에 예시된 것처럼 네트워크(10)를 통해 관리 서버(200) 및 관리자 단말(300)과 연동할 수 있다. 관리 서버(200)는 개별 건강 이상 감지장치(100)에서 관리하는 얼굴 정보 및 출입자 정보를 전송받아 전체 정보를 관리할 수 있다. 관리자 단말(300)은 출입자에 대한 출입 허가 여부 및 출입자 관리 업무를 담당하는 관리자가 사용하는 단말이다.The health
본 실시예의 건강 이상 감지장치(100)는 일반 영상을 촬영하는 카메라(140), 적외선을 감지하여 열화상을 촬영하는 열화상 센서(150), 각종 안내 및 판단 정보를 디스플레이하는 표시수단(170)을 구비한다. 일예로, 카메라(140)는 이미지 센서를 구비한 공지의 디지털 카메라일 수 있으며, 열화상 센서(150)는 적외선 감지 센서를 구비한 공지의 열화상 센서(열화상 카메라)일 수 있으며, 표시수단(170)은 공지의 전자식 디스플레이(예, LCD 또는 LED, OLED 등)일 수 있다. 표시수단(170)은 터치 패널 형태로 제작되어 입출력 인터페이스의 기능을 제공할 수도 있다.The health
본 실시예의 건강 이상 감지장치(100)는 기능적 관점에서, 출입자(M1,M2)의 얼굴(F)을 실시간 또는 녹화 감지하기 위해 카메라(140)를 통해 수득한 카메라 영상(C)을 감시하는 카메라 영상 감시 모듈(102), 고온 열분포 영역을 실시간 또는 녹화 감지하기 위해 열화상 센서(150)를 통해 수득한 열화상(H)을 감시하는 열화상 감시 모듈(104), 고온 열분포 영역과 출입자(M1,M2)의 얼굴(F)의 영역에 기초하여 출입자(M1,M2)의 건강 이상 상태를 판단하는 건강 이상 상태 판단 모듈(106), 출입자(M1,M2)가 건강 이상 상태라고 판단한 경우에 이에 관한 정보를 표시수단(170) 및/또는 관리자 단말(300)을 통해 제공하는 경보/알림 모듈(108), 통상의 컴퓨팅 수단 관리 기능을 제공하는 운영 모듈(110)을 포함한다.The health
또한, 본 실시예의 건강 이상 감지장치(100)는 미리 정해진 프로세스에 따라 출입자(M1,M2)의 얼굴(F)을 등록 및 관리하는 얼굴 데이터베이스(120), 출입자(M1,M2)의 개인 식별 정보 및 로그 정보를 관리하는 출입자 데이터베이스(130)를 포함한다.In addition, the health
도 2를 참조하면 하드웨어적 관점에서, 본 실시예의 건강 이상 감지장치(100)는 하나 이상의 명령을 저장하는 메모리(2) 및 상기 메모리(2)에 저장된 상기 하나 이상의 명령을 실행하는 프로세서(4)를 포함하며, 건강 이상 감지방법을 실행하도록 매체에 저장된 건강 이상 감지 애플리케이션 프로그램이 실행되는 컴퓨팅 장치이다. 본 실시예의 건강 이상 감지장치(100)는 데이터 입출력 인터페이스(6)와 통신 인터페이스(8), 데이터 표시 수단(3), 데이터 저장 수단(5)을 포함할 수 있다.Referring to FIG. 2, from a hardware point of view, the health
도 6은 본 발명의 일실시예에 따른 건강 이상 감지방법의 흐름도, 도 7은 본 발명의 일실시예에 따른 건강 이상 감지방법에서 출입자의 얼굴에 보형물이 착용된 상태를 설명하기 위한 모식도이다.6 is a flowchart of a health abnormality detection method according to an embodiment of the present invention, and FIG. 7 is a schematic diagram illustrating a state in which an implant is worn on a visitor's face in a health abnormality detection method according to an embodiment of the present invention.
1)단계에서 건강 이상 감지장치(100)는, 출입자(M1,M2)의 얼굴(F)을 감지하기 위해, 카메라(140)를 통해 수득한 카메라 영상(C)을 감시한다. 감시는 실시간으로 이뤄지며, 녹화 감시가 이뤄지는 것을 배제하지 않는다. 카메라 영상(C)의 감시는 얼굴 이외의 다른 신체 부분을 포함하여 이뤄질 수도 있다.In step 1), the health
2)단계에서 건강 이상 감지장치(100)는, 고온 열분포 영역을 감지하기 위해, 열화상 센서(150)를 통해 수득한 열화상(H)을 감시한다. 감시는 실시간으로 이뤄지며, 녹화 감시가 이뤄지는 것을 배제하지 않는다. 열화상(H)의 감시는 얼굴 이외의 다른 신체 부분을 포함하여 이뤄질 수도 있다.In step 2), the health
상기 카메라 영상(C)의 영상 좌표와 상기 열화상(H)의 화상 좌표는 서로 정합된 상태이다. 좌표가 서로 정합된 상태라는 것은 동일한 영상 좌표계에 기반하여 영상 인식 및 처리가 가능한 상태로 이해될 수 있다.The image coordinates of the camera image C and the image coordinates of the thermal image H are matched with each other. That the coordinates are matched to each other may be understood as a state in which image recognition and processing are possible based on the same image coordinate system.
상기 고온 열분포 영역은 상기 열화상(H)에 포함된 열분포 영역 중에서 미리 설정된 온도 이상인 것으로 판단된 영역이다. 미리 설정된 온도는 예를 들어 39℃와 같이 정상 체온을 벗어난 온도로 이해될 수 있으며, 구체적인 수치는 변경 가능하다.The high-temperature heat distribution region is a region determined to be equal to or higher than a preset temperature among the heat distribution regions included in the thermal image H. The preset temperature may be understood as a temperature outside the normal body temperature, such as 39°C, and a specific value may be changed.
3)단계에서 건강 이상 감지장치(100)는, 상기 2)단계를 통해 고온 열분포 영역을 감지하고, 상기 고온 열분포 영역이 상기 1)단계를 통해 감지한 출입자(M1,M2)의 얼굴(F)의 영역과 적어도 부분적으로 공통된 영역을 갖는 경우, 상기 출입자(M1,M2)가 건강 이상 상태라고 판단한다. 적어도 부분적으로 공통된 영역을 갖는다는 것은 화면 내에 공통된 좌표 영역을 갖는 것으로 이해될 수 있다.In step 3), the health
상기 건강 이상 상태는 상기 출입자(M1,M2)의 신체 온도가 미리 설정된 온도 이상의 고온이라고 판단한 상태이다.The abnormal health state is a state in which it is determined that the body temperature of the accessors M1 and M2 is higher than a preset temperature.
4)단계에서 건강 이상 감지장치(100)는, 상기 3)단계를 통해 상기 출입자(M1,M2)가 건강 이상 상태라고 판단한 경우, 건강 이상 상태의 출입자(M1,M2)가 발생했음을 알려주는 건강 이상 출입자 발생 경보를 표시수단(170)을 통해 제공한다.In step 4), the health
일예로, 상기 건강 이상 출입자 발생 경보는, 건강 이상 상태라고 판단한 출입자(M1,M2)의 얼굴(F)을 표시수단(170)의 화면 내에서 시각적으로 식별할 수 있는 얼굴 식별 정보(예, 얼굴 식별 마커) 및 해당 출입자(M1,M2)의 신체 온도 정보(예, 온도 수치값)를 포함하며, 바람직하게 스피커(180)를 이용한 음성 출력도 가능하다. 건강 이상 출입자 발생 경보를 시각적으로 또는 청각적으로 확인한 출입자는 안내되는 방식에 따라 장소 이동 또는 머무름 동작을 할 수 있으며, 관리자가 이후 출입자에 대한 이동 안내 또는 의학적 처리를 할 수 있다.As an example, the alarm for the occurrence of a person with an abnormal health condition may visually identify the face (F) of the visitor (M1, M2), which is determined to be in an abnormal health condition, within the screen of the display means 170 (e.g., face Identification marker) and body temperature information (eg, temperature numerical value) of the corresponding accessors M1 and M2, and audio output using the
한편, 건강 이상 감지장치(100)는 출입자(M1,M2)의 얼굴(F) 등록 및 식별 기능을 가질 수 있다.Meanwhile, the health
이를 위해, 상기 1)단계를 통해 출입자(M1,M2)의 얼굴(F)을 감지한 경우, 11)단계에서 건강 이상 감지장치(100)는, 상기 1)단계를 통해 감지한 출입자(M1,M2)의 얼굴(F)이 얼굴 데이터베이스(120)에 등록된 얼굴(F)인지를 더욱 판별한다.To this end, when the face (F) of the visitor (M1, M2) is detected through step 1), the health
또한, 상기 3)단계를 통해 상기 출입자(M1,M2)가 건강 이상 상태라고 판단한 경우, 31)단계에서 건강 이상 감지장치(100)는, 상기 3)단계를 통해 건강 이상 상태라고 판단한 출입자(M1,M2)의 얼굴 데이터베이스(120)에 해당 출입자(M1,M2)의 신체 온도 정보를 기록한다. 신체 온도 정보의 기록은 한 사람의 출입자에 대해 감지된 최저/최고/평균 온도값이 모두 기록될 수도 있다.In addition, when it is determined that the visitor (M1, M2) is in a health abnormality state through step 3), the health
이러한 과정을 통해 얼굴 데이터베이스(120)에 얼굴(F)이 등록된 출입자의 경우, 건강 이상 정보가 추적 관리될 수 있으며, 관리 서버(200)에서 이러한 정보를 전체적으로 관리할 수 있다.In the case of a visitor whose face F is registered in the
한편, 변형예로서, 301)단계에서 건강 이상 감지장치(100)는, 상기 1)단계를 통해 출입자(M1,M2)의 얼굴(F)을 감지하지 않았는데 상기 2)단계를 통해 고온 열분포 영역을 감지한 경우, 카메라(140)의 전방 측에 위치한 얼굴 촬영 지역(RA)으로 출입자(M1,M2)가 이동하여 카메라(140) 방향으로 얼굴(F)을 향하도록 표시수단(170)을 통해 출입자 이동 안내 지시를 출력한다.On the other hand, as a modified example, in step 301), the health
이러한 경우는, 고온 상태인 출입자가 있는데도 불구하고 얼굴이 정확하게 감지되지 않은 경우이거나, 또는 출입자의 체온이 아닌 물건의 온도로 인해 고온 열분포 영역이 감지된 경우일 수 있으므로, 정확한 확인을 위해 상기 프로세스가 실행된다.In this case, the face may not be accurately detected even though there is a person who is in a high temperature state, or a high-temperature heat distribution region may be detected due to the temperature of the object rather than the body temperature of the person. Runs.
얼굴 촬영 지역(RA)은 물리적 표시(예, 바닥 표시선) 또는 광학적 표시(예, 레이저광 표시) 등으로 안내될 수 있다.The facial area RA may be guided by a physical display (eg, a floor marking line) or an optical display (eg, a laser light display).
이후, 302)단계에서 건강 이상 감지장치(100)는, 상기 출입자 이동 안내 지시를 출력한 이후, 설정 시간 이내에 상기 고온 열분포 영역이 출입자(M1,M2)의 얼굴(F)의 영역과 적어도 부분적으로 공통된 영역을 갖는 것으로 판단하지 못한 경우, 정확한 확인을 위해 관리자 단말(300)로 감시 현장 확인 지시를 출력한다.Thereafter, in step 302, the health
또다른 변형예로서, 301')단계에서 건강 이상 감지장치(100)는, 상기 2)단계를 통해 고온 열분포 영역을 감지하였는데 상기 고온 열분포 영역이 상기 1)단계를 통해 감지한 출입자(M1,M2)의 얼굴(F)의 영역과 공통된 영역을 갖지 않는 경우, 카메라(140)의 전방 측에 위치한 얼굴 촬영 지역(RA)으로 출입자(M1,M2)가 이동하여 카메라(140) 방향으로 얼굴(F)을 향하도록 표시수단(170)을 통해 출입자 이동 안내 지시를 출력할 수 있다.As another modified example, in step 301'), the health
이러한 경우도, 고온 상태인 출입자가 있는데도 불구하고 얼굴이 정확하게 감지되지 않은 경우이거나, 또는 출입자의 체온이 아닌 물건의 온도로 인해 고온 열분포 영역이 감지된 경우일 수 있으므로, 정확한 확인을 위해 상기 프로세스가 실행된다.Even in this case, the face may not be accurately detected even though there is a person who is in a high temperature state, or a high-temperature heat distribution region may be detected due to the temperature of the object rather than the body temperature of the person. Runs.
이후, 건강 이상 감지장치(100)는 상기 302)단계를 실행한다.Thereafter, the health
한편, 변형예로서, 상기 1)단계를 통해 출입자(M1,M2)의 얼굴(F)을 감지한 경우, 1001)단계에서 건강 이상 감지장치(100)는, 상기 1)단계를 통해 감지한 출입자(M1,M2)의 얼굴(F)의 영역의 일부를 가리는 보형물(M,S)이 착용되었는지를 판단한다. 일예로 보형물(M,S)은 마스크(M), 선글라스(S) 등과 같이 얼굴 영역을 가리는 형태의 보형물이 될 수 있다. 보형물(M,S)의 착용 여부의 판단은 공지의 얼굴 인식 프로세스 기술을 이용하여 실행될 수 있으므로 상세 설명은 생략한다.On the other hand, as a modified example, when the face (F) of the visitor (M1, M2) is detected through step 1), the health
또한, 상기 2)단계 이후, 3001)단계에서 건강 이상 감지장치(100)는, 상기 1001)단계를 통해 출입자(M1,M2)의 얼굴(F)에 보형물(M,S)이 착용되었다고 판단하고 상기 2)단계를 통해 고온 열분포 영역(예, 39℃ 이상)을 감지하지 않은 상태에서, 출입자(M1,M2)의 얼굴(F)의 영역에서 상기 고온 열분포 영역보다 더욱 저온 범위(예, 38℃ 이상~39℃ 미만)로 설정된 요주의 열분포 영역을 감지한 경우, 해당 출입자(M1,M2)에게 얼굴(F)의 보형물(M,S)을 제거하고 카메라(140)의 전방 측에 위치한 얼굴 촬영 지역(RA)으로 이동하여 카메라(140) 방향으로 얼굴(F)을 향하도록 표시수단(170)을 통해 출입자 이동 안내 지시를 출력한다.In addition, after step 2), in step 3001), the health
이러한 경우는, 출입자(M1,M2)의 얼굴(F)의 영역의 일부를 가리는 보형물(M,S)에 의해 얼굴에 고온 열분포 영역(예, 39℃ 이상)이 있음에도 불구하고 감지되지 않고, 보형물 주위 또는 인접 얼굴 영역에 고온 열분포 영역보다 다소 온도가 낮지만 여전히 위험도가 내재된 저온 범위(예, 38℃ 이상~39℃ 미만)의 요주의 열분포 영역이 감지된 경우이다.In this case, even though there is a high-temperature heat distribution area (eg 39℃ or higher) on the face by the implant (M,S) that covers a part of the face (F) of the visitor (M1, M2), the implant This is the case in which a critical heat distribution area in the low temperature range (eg, 38℃ to less than 39℃) is detected in the surrounding or adjacent face area, although the temperature is somewhat lower than the high temperature heat distribution area.
이를 감안하여, 출입자(M1,M2)에게 얼굴(F)의 보형물(M,S)을 제거하도록 안내하고 더욱 정확한 촬영 및 온도 감지가 이뤄지도록 한다.In consideration of this, the visitor (M1, M2) is guided to remove the implant (M, S) of the face (F), and more accurate photographing and temperature sensing are performed.
한편, 상기 카메라(140) 및 열화상 센서(150)는 상기 건강 이상 감지장치(100)의 전면부(A1)를 향해 카메라 영상(C)을 촬영하거나 또는 열화상(H)을 수득하도록 설치될 수 있다.On the other hand, the
변형예로서, 상기 카메라(140) 및 열화상 센서(150)와 다른 각도(A2)에서 카메라 영상(C)을 촬영하거나 또는 열화상(H)을 수득하는 측면 카메라(140') 및 측면 열화상 센서(150')를 상기 건강 이상 감지장치(100)가 더욱 구비할 수 있다.As a variant, a
이러한 구성을 가진 상태에서, 상기 1)단계를 통해 출입자(M1,M2)의 얼굴(F)을 감지한 경우, 1001)단계에서 건강 이상 감지장치(100)는, 상기 1)단계를 통해 감지한 출입자(M1,M2)의 얼굴(F)의 영역의 일부를 가리는 보형물(M,S)이 착용되었는지를 판단한다.In the state of having such a configuration, when the face (F) of the visitor (M1, M2) is detected through step 1), the health
또한, 상기 2)단계 이후, 3002)단계에서 건강 이상 감지장치(100)는, 상기 1001)단계를 통해 출입자(M1,M2)의 얼굴(F)에 보형물(M,S)이 착용되었다고 판단하고 상기 2)단계를 통해 고온 열분포 영역을 감지하지 않은 상태에서, 출입자(M1,M2)의 얼굴(F)의 영역에서 상기 고온 열분포 영역보다 더욱 저온 범위로 설정된 요주의 열분포 영역을 감지한 경우, 상기 측면 열화상 센서(150')를 이용하여 상기 열화상 센서(150)와 다른 각도(A2)에서 상기 2)단계를 추가 실행한다.In addition, after step 2), in step 3002), the health
3003)단계에서 건강 이상 감지장치(100)는, 상기 2)단계의 추가 실행 결과 고온 열분포 영역을 감지한 경우, 관리자 단말(300)로 감시 현장 확인 지시를 출력한다. 본 실시예의 경우, 측면 카메라(140')를 통해 얼굴 감지가 정확하게 이뤄지지 않을 수도 있음을 감안하여 관리자가 현장에서 직접 확인하도록 한다.In step 3003), the health
이러한 경우도, 출입자(M1,M2)의 얼굴(F)의 영역의 일부를 가리는 보형물(예, 마스크)에 의해 얼굴에 고온 열분포 영역(예, 39℃ 이상)이 있음에도 불구하고 감지되지 않고, 보형물 주위 또는 인접 얼굴 영역에 고온 열분포 영역보다 다소 온도가 낮지만 여전히 위험도가 내재된 저온 범위(예, 38℃ 이상~39℃ 미만)의 요주의 열분포 영역이 감지된 경우이다.Even in this case, even though there is a high-temperature heat distribution area (eg, 39℃ or higher) on the face by an implant (eg, a mask) that covers a part of the area of the face (F) of the visitor (M1, M2), it is not detected. This is the case in which a critical heat distribution area in the low temperature range (eg, 38℃ to less than 39℃) is detected in the surrounding or adjacent face area, although the temperature is somewhat lower than the high temperature heat distribution area.
다만, 본 실시예의 경우, 출입자(M1,M2) 및 주위 사람들의 안전(예, 바이러스 감염 방지)을 우선 고려하여 얼굴(F)의 보형물(예, 마스크)을 제거하도록 안내하지 않고, 측면 열화상 센서(150')를 이용하여 상기 열화상 센서(150)와 다른 각도(A2, 예, 얼굴과 마스크 사이 틈새를 촬영할 수 있는 각도)에서 상기 2)단계를 추가 실행하여 더욱 정확한 촬영 및 온도 감지가 이뤄지도록 한다.However, in the case of this embodiment, in consideration of the safety of visitors (M1, M2) and people around them (e.g., prevention of virus infection), it is not guided to remove the implant (e.g., mask) on the face (F), but a side thermal image By using the
한편, 변형예로서, 상기 1)단계 내지 4)단계는 상기 카메라 영상(C) 및 열화상(H)에 포함된 다수 출입자(M1,M2)에 대해 각각 함께 실행할 수 있다.On the other hand, as a modified example, steps 1) to 4) may be performed together for a plurality of visitors (M1, M2) included in the camera image (C) and the thermal image (H).
41)단계에서 건강 이상 감지장치(100)는, 상기 3)단계를 통해 상기 다수 출입자(M1,M2) 중 일부 출입자(M1)가 건강 이상 상태라고 판단한 경우, 건강 이상 상태의 출입자(M1)와 건강 이상 상태가 아닌 출입자(M2)의 발생을 구분하여 알려주는 건강 이상 출입자 구분 발생 경보를 표시수단(170)을 통해 제공한다.In step 41), when it is determined that some of the accessors M1 and M2 among the plurality of accessors M1 through step 3) are in an abnormal health state, the health
일예로, 상기 건강 이상 출입자 구분 발생 경보는, 건강 이상 상태의 출입자(M1)의 얼굴(F)과 건강 이상 상태가 아닌 출입자(M2)의 얼굴(F)을 표시수단(170)의 화면 내에서 상호 구분하여 시각적으로 식별할 수 있는 구분 얼굴 식별 정보(예, 얼굴 구분 마킹) 및 각각의 출입자(M1,M2)의 신체 온도 정보를 포함한다.As an example, the alert for identification of persons with an abnormal health condition may display the face (F) of the person who is in an abnormal health condition (M1) and the face (F) of the person who is not in an abnormal health condition (M2) within the screen of the display means 170 It includes classification face identification information (eg, face classification marking) that can be distinguished from each other and visually identified, and body temperature information of each visitor (M1, M2).
42)단계에서 건강 이상 감지장치(100)는, 건강 이상 상태가 아닌 출입자(M2)에게는 출입구를 향하여 이동하도록 표시수단(170)을 통해 출입구 안내를 출력한다.In step 42), the health
바람직하게 상기 42)단계는 다음과 같이 더욱 상세하게 구성된다.Preferably, step 42) is configured in more detail as follows.
421)단계에서 건강 이상 감지장치(100)는, 건강 이상 상태가 아닌 출입자(M2)에게 마스크(M) 착용을 지시하는 마스크 착용 지시를 출력한다. 이는 건강 이상 상태가 아닌 출입자(M2)를 먼저 출입 허가하기 위한 안전 조치이다.In step 421), the health
422)단계에서 건강 이상 감지장치(100)는, 카메라 영상(C) 및 열화상(H) 영상을 통해 출입자(M2)의 얼굴(F)에 마스크(M)가 착용되었는지를 판단한다.In step 422, the health
423)단계에서 건강 이상 감지장치(100)는, 출입자(M2)의 얼굴(F)에 마스크(M)가 착용되었다고 판단한 경우, 출입자(M2)에게 출입구를 향하여 이동하도록 표시수단(170)을 통해 출입구 안내를 출력한다.In step 423, when it is determined that the mask (M) is worn on the face (F) of the person (M2), the health abnormality detection device (100) passes the display means (170) to the person (M2) to move toward the entrance. Print out the entrance guide.
이후, 43)단계에서 건강 이상 감지장치(100)는, 건강 이상 상태의 출입자(M1)에게는 이동을 중지하고 상기 41)단계의 판단 시점의 위치에서 설정 시간 동안 머무르도록 표시수단(170)을 통해 이동 중지 안내 지시를 출력한다. 설정 시간은 관리자가 후속 조치를 취하기 위한 준비 시간을 고려하여 설정한다.Thereafter, in step 43), the health
바람직하게 상기 43)단계는 431)단계를 더욱 포함할 수 있다.Preferably, step 43) may further include step 431).
431)단계에서 건강 이상 감지장치(100)는, 카메라 영상(C) 및 열화상(H)에 기초하여, 상기 설정 시간이 경과되지 않았음에도 불구하고 건강 이상 상태의 출입자(M1)가 상기 41)단계의 판단 시점의 위치에서 벗어난 것으로 판단한 경우, 표시수단(170)을 통해 무단 이탈 금지 경보를 출력하고, 또한 관리자 단말(300)로 감시 현장 확인 지시를 출력한다.In step 431), the health
상기 구성을 취하는 경우, 다수 출입자(M1,M2)에 대해 상기 1)단계 내지 4)단계를 동시 진행할 수 있으므로 건강 이상 판단 프로세스를 훨씬 빠른 속도로 효율적으로 진행할 수 있다.In the case of taking the above configuration, steps 1) to 4) can be simultaneously performed for multiple accessors (M1, M2), so that the health abnormality determination process can be efficiently performed at a much faster speed.
또한, 건강 이상 상태의 출입자(M1)와 건강 이상 상태가 아닌 출입자(M2)의 발생을 구분하여 알려주고, 각각의 출입자(M1 또는 M2)에 대해 별도의 사후 프로세스를 실행하므로, 건강 이상 상태가 아닌 출입자(M2)의 건강을 보호하면서도 출입 통제의 효율을 도모하고, 건강 이상 상태의 출입자(M1)에 대한 관리를 철저하게 하는 장점이 있다.In addition, since the occurrence of persons with abnormal health status (M1) and those with no health condition (M2) is classified and notified, a separate post process is executed for each visitor (M1 or M2). While protecting the health of the visitor (M2), it has the advantage of promoting the efficiency of access control and thorough management of the visitor (M1) in an abnormal state of health.
본 발명의 실시예 들은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램과 이를 기록한 컴퓨터 판독가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD, USB 드라이브와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.Embodiments of the present invention include programs for performing operations implemented by various computers and a computer-readable medium recording the programs. The computer-readable medium may include program instructions, data files, data structures, or the like alone or in combination. The media may be specially designed and configured for the present invention, or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs, DVDs, and USB drives, magnetic-optical media such as floppy disks, and ROM, RAM, Hardware devices specially configured to store and execute program instructions such as flash memory and the like are included. Examples of program instructions include high-level language code that can be executed by a computer using an interpreter, etc., as well as machine language codes produced by a compiler.
100: 건강 이상 감지장치
140: 카메라
150: 열화상 센서
170: 표시수단
180: 스피커
200: 관리 서버
300: 관리자 단말100: health abnormality detection device
140: camera
150: thermal image sensor
170: display means
180: speaker
200: management server
300: manager terminal
Claims (14)
Translated fromKorean1) 출입자의 얼굴을 감지하기 위해, 카메라를 통해 수득한 카메라 영상을 감시하는 단계;
2) 고온 열분포 영역을 감지하기 위해, 열화상 센서를 통해 수득한 열화상을 감시하는 단계- 상기 카메라 영상의 영상 좌표와 상기 열화상의 화상 좌표는 서로 정합된 상태이며, 상기 고온 열분포 영역은 상기 열화상에 포함된 열분포 영역 중에서 미리 설정된 온도 이상인 것으로 판단된 영역임-;
3) 상기 2)단계를 통해 고온 열분포 영역을 감지하고, 상기 고온 열분포 영역이 상기 1)단계를 통해 감지한 출입자의 얼굴의 영역과 적어도 부분적으로 공통된 영역을 갖는 경우, 상기 출입자가 건강 이상 상태라고 판단하는 단계- 상기 건강 이상 상태는 상기 출입자의 신체 온도가 미리 설정된 온도 이상의 고온이라고 판단한 상태임-; 및
4) 상기 3)단계를 통해 상기 출입자가 건강 이상 상태라고 판단한 경우, 건강 이상 상태의 출입자가 발생했음을 알려주는 건강 이상 출입자 발생 경보를 표시수단을 통해 제공하는 단계;를 포함하며,
상기 1)단계 내지 4)단계는 상기 카메라 영상 및 열화상에 포함된 다수 출입자에 대해 각각 함께 실행하며,
41) 상기 3)단계를 통해 상기 다수 출입자 중 일부 출입자가 건강 이상 상태라고 판단한 경우, 건강 이상 상태의 출입자와 건강 이상 상태가 아닌 출입자의 발생을 구분하여 알려주는 건강 이상 출입자 구분 발생 경보를 표시수단을 통해 제공하는 단계- 상기 건강 이상 출입자 구분 발생 경보는, 건강 이상 상태의 출입자의 얼굴과 건강 이상 상태가 아닌 출입자의 얼굴을 표시수단의 화면 내에서 상호 구분하여 시각적으로 식별할 수 있는 구분 얼굴 식별 정보 및 각각의 출입자의 신체 온도 정보를 포함함-;를 포함하여 구성된 것을 특징으로 하는 얼굴 감시 및 열화상 감시를 이용한 건강 이상 감지방법.
As a health abnormality detection method executed in a health abnormality detection device equipped with a camera and a thermal image sensor,
1) monitoring a camera image obtained through a camera in order to detect a person's face;
2) Monitoring a thermal image obtained through a thermal image sensor in order to detect a high-temperature heat distribution region-the image coordinates of the camera image and the image coordinates of the thermal image are matched with each other, and the high temperature heat distribution region is Among the heat distribution regions included in the image, the region is determined to be equal to or higher than a preset temperature;
3) If the high-temperature heat distribution region is sensed through step 2), and the high-temperature heat distribution region has a region that is at least partially in common with the face region of the visitor detected through step 1), the visitor is in a state of abnormal health. Determining-the health abnormality state is a state in which it is determined that the body temperature of the visitor is higher than a preset temperature; And
4) If it is determined through the step 3) that the visitor is in an abnormal health state, providing a health abnormal visitor occurrence alarm, through a display means, informing that a visitor with an abnormal health state has occurred; including,
Steps 1) to 4) are executed together with each of the multiple accessors included in the camera image and thermal image,
41) When it is determined through step 3) that some of the multiple accessors are in an abnormal health state, a health abnormality visitor classification alarm indicating the occurrence of a person who has an abnormal health state and a non-healthy state visitor is displayed. In the step of providing through-The alarm for identification of persons with abnormal health status, the face of a visitor with an abnormal health condition and a face of a visitor who is not in a health condition are distinguished from each other within the screen of the display means to visually identify the face identification Health abnormality detection method using face monitoring and thermal image monitoring, comprising: information and body temperature information of each visitor.
상기 1)단계를 통해 출입자의 얼굴을 감지한 경우,
11) 상기 1)단계를 통해 감지한 출입자의 얼굴이 얼굴 데이터베이스에 등록된 얼굴인지를 판별하는 단계;를 더욱 포함하며,
상기 3)단계를 통해 상기 출입자가 건강 이상 상태라고 판단한 경우,
31) 상기 3)단계를 통해 건강 이상 상태라고 판단한 출입자의 얼굴 데이터베이스에 해당 출입자의 신체 온도 정보를 기록하는 단계;를 더욱 포함하여 구성된 것을 특징으로 하는 얼굴 감시 및 열화상 감시를 이용한 건강 이상 감지방법.
The method of claim 1,
When the face of the visitor is detected through step 1) above,
11) determining whether the face of the visitor detected through step 1) is a face registered in the face database; further comprising,
When it is determined that the visitor is in a state of abnormal health through step 3),
31) recording the body temperature information of the visitor in the face database of the visitor who is determined to be in a health abnormal state through step 3); .
301) 상기 1)단계를 통해 출입자의 얼굴을 감지하지 않았는데 상기 2)단계를 통해 고온 열분포 영역을 감지한 경우, 카메라의 전방 측에 위치한 얼굴 촬영 지역으로 출입자가 이동하여 카메라 방향으로 얼굴을 향하도록 표시수단을 통해 출입자 이동 안내 지시를 출력하는 단계;를 더욱 포함하여 구성된 것을 특징으로 하는 얼굴 감시 및 열화상 감시를 이용한 건강 이상 감지방법.
The method of claim 1,
301) When the face of the visitor is not detected through step 1) and the high-temperature heat distribution area is detected through step 2), the person moves to the face photographing area located in front of the camera and faces the person in the camera direction. A method for detecting health abnormalities using face monitoring and thermal image monitoring, further comprising: outputting an instruction to guide the movement of the visitor through the display means.
301') 상기 2)단계를 통해 고온 열분포 영역을 감지하였는데 상기 고온 열분포 영역이 상기 1)단계를 통해 감지한 출입자의 얼굴의 영역과 공통된 영역을 갖지 않는 경우, 카메라의 전방 측에 위치한 얼굴 촬영 지역으로 출입자가 이동하여 카메라 방향으로 얼굴을 향하도록 표시수단을 통해 출입자 이동 안내 지시를 출력하는 단계;를 더욱 포함하여 구성된 것을 특징으로 하는 얼굴 감시 및 열화상 감시를 이용한 건강 이상 감지방법.
The method of claim 1,
301') When the high-temperature heat distribution area is detected through step 2) and the high-temperature heat distribution area does not have a common area with the area of the visitor's face detected through step 1), the face photographing area located in front of the camera And outputting an instruction to guide the visitor through the display means so that the person moves and faces the face in the camera direction; and a health abnormality detection method using face monitoring and thermal image monitoring, characterized in that it further comprises.
302) 상기 출입자 이동 안내 지시를 출력한 이후, 설정 시간 이내에 상기 고온 열분포 영역이 출입자의 얼굴의 영역과 적어도 부분적으로 공통된 영역을 갖는 것으로 판단하지 못한 경우, 관리자 단말로 감시 현장 확인 지시를 출력하는 단계;를 더욱 포함하여 구성된 것을 특징으로 하는 얼굴 감시 및 열화상 감시를 이용한 건강 이상 감지방법.
The method of claim 4 or 5,
302) After outputting the visitor movement guide instruction, if it is not determined that the high temperature heat distribution area has an area that is at least partially in common with the area of the visitor's face within a set time, outputting a monitoring site confirmation instruction to the administrator terminal Health abnormality detection method using face monitoring and thermal image monitoring, characterized in that it is configured to further include.
상기 1)단계를 통해 출입자의 얼굴을 감지한 경우,
1001) 상기 1)단계를 통해 감지한 출입자의 얼굴의 영역의 일부를 가리는 보형물이 착용되었는지를 판단하는 단계;를 더욱 포함하며,
상기 2)단계 이후,
3001) 상기 1001)단계를 통해 출입자의 얼굴에 보형물이 착용되었다고 판단하고 상기 2)단계를 통해 고온 열분포 영역을 감지하지 않은 상태에서, 출입자의 얼굴의 영역에서 상기 고온 열분포 영역보다 더욱 저온 범위로 설정된 요주의 열분포 영역을 감지한 경우, 해당 출입자에게 얼굴의 보형물을 제거하고 카메라의 전방 측에 위치한 얼굴 촬영 지역으로 이동하여 카메라 방향으로 얼굴을 향하도록 표시수단을 통해 출입자 이동 안내 지시를 출력하는 단계;를 더욱 포함하여 구성된 것을 특징으로 하는 얼굴 감시 및 열화상 감시를 이용한 건강 이상 감지방법.
The method of claim 1,
When the face of the visitor is detected through step 1) above,
1001) determining whether or not an implant covering a portion of the face of the visitor detected through step 1) is worn;
After step 2) above,
3001) In the state that the implant is worn on the face of the visitor through step 1001) and the high-temperature heat distribution region is not detected through step 2), the region of the visitor's face is set to a lower temperature range than the high-temperature heat distribution region. When detecting the heat distribution area of interest, removing the facial implant to the person in question, moving to the face photographing area located in front of the camera, and outputting an instruction to guide the visitor movement through the display means to face the face in the camera direction; Health abnormality detection method using face monitoring and thermal image monitoring, characterized in that it comprises more.
상기 카메라 및 열화상 센서는 상기 건강 이상 감지장치의 전면부를 향해 카메라 영상을 촬영하거나 또는 열화상을 수득하도록 설치되고, 상기 카메라 및 열화상 센서와 다른 각도에서 카메라 영상을 촬영하거나 또는 열화상을 수득하는 측면 카메라 및 측면 열화상 센서를 상기 건강 이상 감지장치가 더욱 구비하며,
상기 1)단계를 통해 출입자의 얼굴을 감지한 경우,
1001) 상기 1)단계를 통해 감지한 출입자의 얼굴의 영역의 일부를 가리는 보형물이 착용되었는지를 판단하는 단계;를 더욱 포함하며,
상기 2)단계 이후,
3002) 상기 1001)단계를 통해 출입자의 얼굴에 보형물이 착용되었다고 판단하고 상기 2)단계를 통해 고온 열분포 영역을 감지하지 않은 상태에서, 출입자의 얼굴의 영역에서 상기 고온 열분포 영역보다 더욱 저온 범위로 설정된 요주의 열분포 영역을 감지한 경우, 상기 측면 열화상 센서를 이용하여 상기 열화상 센서와 다른 각도에서 상기 2)단계를 추가 실행하는 단계; 및
3003) 상기 2)단계의 추가 실행 결과 고온 열분포 영역을 감지한 경우, 관리자 단말로 감시 현장 확인 지시를 출력하는 단계;를 더욱 포함하여 구성된 것을 특징으로 하는 얼굴 감시 및 열화상 감시를 이용한 건강 이상 감지방법.
The method of claim 1,
The camera and the thermal image sensor are installed to take a camera image or obtain a thermal image toward the front of the health abnormality detection device, and take a camera image or obtain a thermal image from a different angle from the camera and the thermal image sensor. The health abnormality detection device further comprises a side camera and a side thermal image sensor,
When the face of the visitor is detected through step 1) above,
1001) determining whether or not an implant covering a portion of the face of the visitor detected through step 1) is worn;
After step 2) above,
3002) In a state in which it is determined that the implant is worn on the visitor's face through step 1001) and the high-temperature heat distribution region is not detected through step 2), the region of the visitor's face is set to a lower temperature range than the high-temperature heat distribution region. Further performing step 2) at an angle different from that of the thermal image sensor using the side thermal image sensor when detecting a heat distribution area of interest; And
3003) When detecting a high-temperature heat distribution region as a result of the additional execution of step 2), outputting a monitoring site confirmation instruction to a manager terminal; and detecting health abnormalities using face monitoring and thermal image monitoring. Way.
42) 건강 이상 상태가 아닌 출입자에게는 출입구를 향하여 이동하도록 표시수단을 통해 출입구 안내를 출력하는 단계; 및
43) 건강 이상 상태의 출입자에게는 이동을 중지하고 상기 41)단계의 판단 시점의 위치에서 설정 시간 동안 머무르도록 표시수단을 통해 이동 중지 안내 지시를 출력하는 단계;를 더욱 포함하여 구성된 것을 특징으로 하는 얼굴 감시 및 열화상 감시를 이용한 건강 이상 감지방법.
The method of claim 1,
42) outputting an entrance guide through a display means to move toward the entrance to a person who is not in a health condition; And
43) The step of outputting a movement stop guidance instruction through a display means to stop the movement to a person in a state of health abnormality and to stay for a set time at the position at the time point of determination in step 41); characterized in that it further comprises Health abnormality detection method using face monitoring and thermal image monitoring.
상기 42)단계는,
421) 건강 이상 상태가 아닌 출입자에게 마스크 착용을 지시하는 마스크 착용 지시를 출력하는 단계;
422) 카메라 영상 및 열화상 영상을 통해 출입자의 얼굴에 마스크가 착용되었는지를 판단하는 단계; 및
423) 출입자의 얼굴에 마스크가 착용되었다고 판단한 경우, 출입자에게 출입구를 향하여 이동하도록 표시수단을 통해 출입구 안내를 출력하는 단계;를 포함하여 구성된 것을 특징으로 하는 얼굴 감시 및 열화상 감시를 이용한 건강 이상 감지방법.
The method of claim 10,
Step 42),
421) outputting a mask wearing instruction for instructing a person who is not in a health condition to wear a mask;
422) determining whether a mask is worn on the face of the visitor through the camera image and the thermal image; And
423) When it is determined that the mask is worn on the face of the visitor, outputting the entrance guide through the display means to the visitor to move toward the entrance; health abnormality detection using face monitoring and thermal image monitoring, comprising: Way.
상기 43)단계는,
431) 카메라 영상 및 열화상에 기초하여, 상기 설정 시간이 경과되지 않았음에도 불구하고 건강 이상 상태의 출입자가 상기 41)단계의 판단 시점의 위치에서 벗어난 것으로 판단한 경우, 표시수단을 통해 무단 이탈 금지 경보를 출력하고, 또한 관리자 단말로 감시 현장 확인 지시를 출력하는 단계;를 더욱 포함하여 구성된 것을 특징으로 하는 얼굴 감시 및 열화상 감시를 이용한 건강 이상 감지방법.
The method of claim 10,
Step 43),
431) Based on the camera image and thermal image, when it is determined that the person in a state of health abnormality is out of the position at the time of determination in step 41) even though the set time has not elapsed, an unauthorized departure prohibition alarm through a display means And outputting a monitoring site confirmation instruction to the manager terminal; and a health abnormality detection method using face monitoring and thermal image monitoring, characterized in that it further comprises.
상기 메모리에 저장된 상기 하나 이상의 명령을 실행하는 프로세서; 및
카메라와 열화상 센서를 포함하고,
상기 프로세서는,
출입자의 얼굴을 감지하기 위해, 카메라를 통해 수득한 카메라 영상을 감시하고;
고온 열분포 영역을 감지하기 위해, 열화상 센서를 통해 수득한 열화상을 감시하며- 상기 카메라 영상의 영상 좌표와 상기 열화상의 화상 좌표는 서로 정합된 상태이며, 상기 고온 열분포 영역은 상기 열화상에 포함된 열분포 영역 중에서 미리 설정된 온도 이상인 것으로 판단된 영역임-;
상기 열화상 감시를 통해 고온 열분포 영역을 감지하고, 상기 고온 열분포 영역이 상기 카메라 영상 감시를 통해 감지한 출입자의 얼굴의 영역과 적어도 부분적으로 공통된 영역을 갖는 경우, 상기 출입자가 건강 이상 상태라고 판단하고- 상기 건강 이상 상태는 상기 출입자의 신체 온도가 미리 설정된 온도 이상의 고온이라고 판단한 상태임-;
상기 출입자가 건강 이상 상태라고 판단한 경우, 건강 이상 상태의 출입자가 발생했음을 알려주는 건강 이상 출입자 발생 경보를 표시수단을 통해 제공하며,
상기 카메라 영상의 감시, 열화상의 감시, 건강 이상 상태의 판단 및 건강 이상 출입자 발생 경보의 제공은 상기 카메라 영상 및 열화상에 포함된 다수 출입자에 대해 각각 함께 실행하며,
상기 건강 이상 상태의 판단을 통해 상기 다수 출입자 중 일부 출입자가 건강 이상 상태라고 판단한 경우, 건강 이상 상태의 출입자와 건강 이상 상태가 아닌 출입자의 발생을 구분하여 알려주는 건강 이상 출입자 구분 발생 경보를 표시수단을 통해 제공하는 것- 상기 건강 이상 출입자 구분 발생 경보는, 건강 이상 상태의 출입자의 얼굴과 건강 이상 상태가 아닌 출입자의 얼굴을 표시수단의 화면 내에서 상호 구분하여 시각적으로 식별할 수 있는 구분 얼굴 식별 정보 및 각각의 출입자의 신체 온도 정보를 포함함-을 특징으로 하는 건강 이상 감지장치.
A memory storing one or more instructions;
A processor that executes the one or more instructions stored in the memory; And
Includes a camera and thermal image sensor,
The processor,
Monitoring a camera image obtained through a camera in order to detect a person's face;
In order to detect the high-temperature heat distribution area, the thermal image obtained through the thermal image sensor is monitored-the image coordinates of the camera image and the image coordinates of the thermal image are in a matched state, and the high-temperature heat distribution area is included in the thermal image. It is an area judged to be higher than a preset temperature among the heat distribution areas.
If the high-temperature heat distribution region is detected through the thermal image monitoring, and the high-temperature heat distribution region has a region at least partially in common with the region of the face of the visitor detected through the camera image monitoring, it is determined that the visitor is in a health abnormal state, and -The abnormal health state is a state in which it is determined that the body temperature of the visitor is higher than a preset temperature;
When it is determined that the visitor is in an abnormal health state, a health abnormal visitor occurrence alarm notifying that a visitor with an abnormal health state has occurred is provided through a display means,
Monitoring of the camera image, monitoring of the thermal image, determination of an abnormal state of health, and provision of an alarm for the occurrence of a person with abnormal health are performed together for a plurality of visitors included in the camera image and the thermal image,
When it is determined that some of the plurality of visitors are in an abnormal health state through the determination of the health abnormality state, a health abnormality visitor classification occurrence alarm indicating the occurrence of a person who has an abnormal health state and a non-healthy state visitor is displayed. Provided through-The alert for identification of persons with an abnormal health condition can visually identify the face of a visitor with an abnormal health condition and a face of a visitor who is not in an abnormal health condition in the screen of the display means. Health abnormality detection device, characterized by including information and body temperature information of each visitor.
상기 얼굴 감시 및 열화상 감시를 이용한 건강 이상 감지방법은,
1) 출입자의 얼굴을 감지하기 위해, 카메라를 통해 수득한 카메라 영상을 감시하는 단계;
2) 고온 열분포 영역을 감지하기 위해, 열화상 센서를 통해 수득한 열화상을 감시하는 단계- 상기 카메라 영상의 영상 좌표와 상기 열화상의 화상 좌표는 서로 정합된 상태이며, 상기 고온 열분포 영역은 상기 열화상에 포함된 열분포 영역 중에서 미리 설정된 온도 이상인 것으로 판단된 영역임-;
3) 상기 2)단계를 통해 고온 열분포 영역을 감지하고, 상기 고온 열분포 영역이 상기 1)단계를 통해 감지한 출입자의 얼굴의 영역과 적어도 부분적으로 공통된 영역을 갖는 경우, 상기 출입자가 건강 이상 상태라고 판단하는 단계- 상기 건강 이상 상태는 상기 출입자의 신체 온도가 미리 설정된 온도 이상의 고온이라고 판단한 상태임-; 및
4) 상기 3)단계에서 상기 출입자가 건강 이상 상태라고 판단한 경우, 건강 이상 상태의 출입자가 발생했음을 알려주는 건강 이상 출입자 발생 경보를 표시수단을 통해 제공하는 단계;를 포함하며,
상기 1)단계 내지 4)단계는 상기 카메라 영상 및 열화상에 포함된 다수 출입자에 대해 각각 함께 실행하며,
41) 상기 3)단계를 통해 상기 다수 출입자 중 일부 출입자가 건강 이상 상태라고 판단한 경우, 건강 이상 상태의 출입자와 건강 이상 상태가 아닌 출입자의 발생을 구분하여 알려주는 건강 이상 출입자 구분 발생 경보를 표시수단을 통해 제공하는 단계- 상기 건강 이상 출입자 구분 발생 경보는, 건강 이상 상태의 출입자의 얼굴과 건강 이상 상태가 아닌 출입자의 얼굴을 표시수단의 화면 내에서 상호 구분하여 시각적으로 식별할 수 있는 구분 얼굴 식별 정보 및 각각의 출입자의 신체 온도 정보를 포함함-;를 포함하여 구성된 것을 특징으로 하는 컴퓨터 판독가능 매체에 저장된 컴퓨터 프로그램.A computer program stored in a medium to execute a health abnormality detection method using face monitoring and thermal image monitoring in combination with hardware including a memory storing one or more instructions and a processor executing the one or more instructions stored in the memory,
Health abnormality detection method using the face monitoring and thermal image monitoring,
1) monitoring a camera image obtained through a camera in order to detect a person's face;
2) Monitoring a thermal image obtained through a thermal image sensor in order to detect a high-temperature heat distribution region-The image coordinates of the camera image and the image coordinates of the thermal image are matched with each other, and the high-temperature heat distribution region is Among the heat distribution regions included in the image, the region is determined to be equal to or higher than a preset temperature;
3) If the high-temperature heat distribution region is sensed through step 2), and the high-temperature heat distribution region has a region that is at least partially in common with the face region of the visitor detected through step 1), the visitor is in a state of abnormal health. Determining-the health abnormality state is a state in which it is determined that the body temperature of the visitor is higher than a preset temperature; And
4) If it is determined in step 3) that the visitor is in an abnormal health state, providing a health abnormal visitor occurrence alarm indicating that the visitor with an abnormal health state has occurred through a display means; and,
Steps 1) to 4) are executed together with each of the multiple accessors included in the camera image and thermal image,
41) When it is determined through step 3) that some of the multiple accessors are in an abnormal health state, a health abnormality visitor classification alarm indicating the occurrence of a person who has an abnormal health state and a non-healthy state visitor is displayed. In the step of providing through-The alarm for identification of persons with abnormal health status, the face of a visitor with an abnormal health condition and a face of a visitor who is not in a health condition are distinguished from each other within the screen of the display means to visually identify the face identification A computer program stored in a computer-readable medium comprising: information and body temperature information of each person.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200036828AKR102143231B1 (en) | 2020-03-26 | 2020-03-26 | Health abnormality detection method using face monitoring and thermal image monitoring, health abnormality detection device and computer program for the same |
| KR1020200097007AKR102444277B1 (en) | 2020-03-26 | 2020-08-03 | Health abnormality detection method using face monitoring and thermal image monitoring, health abnormality detection device and computer program for the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200036828AKR102143231B1 (en) | 2020-03-26 | 2020-03-26 | Health abnormality detection method using face monitoring and thermal image monitoring, health abnormality detection device and computer program for the same |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200097007ADivisionKR102444277B1 (en) | 2020-03-26 | 2020-08-03 | Health abnormality detection method using face monitoring and thermal image monitoring, health abnormality detection device and computer program for the same |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102143231B1true KR102143231B1 (en) | 2020-08-10 |
Family
ID=72049457
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200036828AActiveKR102143231B1 (en) | 2020-03-26 | 2020-03-26 | Health abnormality detection method using face monitoring and thermal image monitoring, health abnormality detection device and computer program for the same |
| KR1020200097007AActiveKR102444277B1 (en) | 2020-03-26 | 2020-08-03 | Health abnormality detection method using face monitoring and thermal image monitoring, health abnormality detection device and computer program for the same |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200097007AActiveKR102444277B1 (en) | 2020-03-26 | 2020-08-03 | Health abnormality detection method using face monitoring and thermal image monitoring, health abnormality detection device and computer program for the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (2) | KR102143231B1 (en) |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111968291A (en)* | 2020-08-26 | 2020-11-20 | 重庆康普达科技有限公司 | Face recognition intelligent column |
| CN112669316A (en)* | 2021-01-29 | 2021-04-16 | 南方电网调峰调频发电有限公司 | Power production abnormity monitoring method and device, computer equipment and storage medium |
| KR102285619B1 (en) | 2020-09-01 | 2021-08-03 | 이상훈 | A system that is using Kiosks to check pyrexia of people for prevention of epidemic |
| KR102301348B1 (en)* | 2020-12-11 | 2021-09-13 | (주)컴버스테크 | Vehicle installation type smart body temperature measurement system |
| KR102335156B1 (en) | 2021-03-18 | 2021-12-03 | 주식회사 나우시스템 | Intelligent system and method for preventing safety accidents |
| CN113837030A (en)* | 2021-09-06 | 2021-12-24 | 中国福利会国际和平妇幼保健院 | Intelligent personnel management and control method and system for epidemic situation prevention and control and computer equipment |
| KR20220021190A (en)* | 2020-08-13 | 2022-02-22 | 주식회사 코맥스 | Apparatus and method of providing lobby phone notification service based on social open data |
| KR20220023185A (en)* | 2020-08-20 | 2022-03-02 | 주식회사 현대케피코 | System for judging mask wearing and abnormality of body temperature |
| CN114152349A (en)* | 2021-11-30 | 2022-03-08 | 深圳Tcl新技术有限公司 | Temperature measuring method, temperature measuring device, storage medium and electronic equipment |
| KR20220028436A (en)* | 2020-08-28 | 2022-03-08 | 한남대학교 산학협력단 | Mask Distribution Access Control System and its Access Control Method |
| KR20220032244A (en)* | 2020-09-07 | 2022-03-15 | (주)에이쓰리시큐리티 | Disinfection system using thermal image and visible image |
| CN114267006A (en)* | 2020-09-15 | 2022-04-01 | 青岛海尔工业智能研究院有限公司 | Security monitoring method, device, system and storage medium |
| KR20220095912A (en)* | 2020-12-30 | 2022-07-07 | 인플랩 주식회사 | Real-time risk measurement system for respiratory infections of floating population in dense environments |
| KR20220107526A (en)* | 2021-01-25 | 2022-08-02 | 주식회사 포스코건설 | Apparatus and method for controlling access with measurement for body heat |
| KR20220109120A (en)* | 2021-01-28 | 2022-08-04 | 경북대학교 산학협력단 | Method and apparatus for measuring body temperature using histogram and deep learning |
| WO2022169055A1 (en)* | 2021-02-08 | 2022-08-11 | 주식회사 픽넘버 | Kiosk system having face recognition and thermal image detection functions, and access control method using same |
| KR20220122218A (en)* | 2021-02-26 | 2022-09-02 | 충남대학교산학협력단 | Automatic door system and its control method |
| KR20220138585A (en) | 2021-04-06 | 2022-10-13 | 이상훈 | A system that is using kiosks to check health events of students |
| KR20230079769A (en) | 2021-11-29 | 2023-06-07 | 주식회사 루켄 | A system that is using kiosks to check health events of students |
| KR20240095918A (en) | 2022-12-19 | 2024-06-26 | 신항범 | Method for standardization heat transfer distribution of human body temperature |
| KR20240095919A (en) | 2022-12-19 | 2024-06-26 | 신항범 | Healthcare system using human body temperature |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116077024B (en)* | 2023-02-20 | 2023-07-07 | 北京鹰之眼智能健康科技有限公司 | Data processing method, electronic device and storage medium based on head infrared image |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150129937A (en) | 2014-05-12 | 2015-11-23 | (주)유틸리온 | System and Method for Determining Health Status of Object |
| KR101729327B1 (en)* | 2015-11-10 | 2017-04-21 | 홍미선 | A monitoring system for body heat using the dual camera |
| JP2018183564A (en)* | 2017-04-26 | 2018-11-22 | パナソニックＩｐマネジメント株式会社 | Deep body temperature measuring device, deep body temperature measuring system, and deep body temperature measuring method |
| KR102053295B1 (en) | 2017-06-22 | 2019-12-06 | 주식회사 아이알웨이브 | Method and apparatus for determining infections using a face temperature distribution |
- 2020
- 2020-03-26KRKR1020200036828Apatent/KR102143231B1/enactiveActive
- 2020-08-03KRKR1020200097007Apatent/KR102444277B1/enactiveActive
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150129937A (en) | 2014-05-12 | 2015-11-23 | (주)유틸리온 | System and Method for Determining Health Status of Object |
| KR101729327B1 (en)* | 2015-11-10 | 2017-04-21 | 홍미선 | A monitoring system for body heat using the dual camera |
| JP2018183564A (en)* | 2017-04-26 | 2018-11-22 | パナソニックＩｐマネジメント株式会社 | Deep body temperature measuring device, deep body temperature measuring system, and deep body temperature measuring method |
| KR102053295B1 (en) | 2017-06-22 | 2019-12-06 | 주식회사 아이알웨이브 | Method and apparatus for determining infections using a face temperature distribution |
Cited By (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220021190A (en)* | 2020-08-13 | 2022-02-22 | 주식회사 코맥스 | Apparatus and method of providing lobby phone notification service based on social open data |
| KR102430338B1 (en)* | 2020-08-13 | 2022-08-08 | 주식회사 코맥스 | Apparatus and method of providing lobby phone notification service based on social open data |
| KR102550119B1 (en)* | 2020-08-20 | 2023-06-30 | 주식회사 현대케피코 | System for judging mask wearing and abnormality of body temperature |
| KR20220023185A (en)* | 2020-08-20 | 2022-03-02 | 주식회사 현대케피코 | System for judging mask wearing and abnormality of body temperature |
| CN111968291B (en)* | 2020-08-26 | 2022-05-17 | 重庆康普达科技有限公司 | Face recognition intelligent column |
| CN111968291A (en)* | 2020-08-26 | 2020-11-20 | 重庆康普达科技有限公司 | Face recognition intelligent column |
| KR20220028436A (en)* | 2020-08-28 | 2022-03-08 | 한남대학교 산학협력단 | Mask Distribution Access Control System and its Access Control Method |
| KR102415458B1 (en) | 2020-08-28 | 2022-06-30 | 한남대학교 산학협력단 | Mask Distribution Access Control System and its Access Control Method |
| KR102285619B1 (en) | 2020-09-01 | 2021-08-03 | 이상훈 | A system that is using Kiosks to check pyrexia of people for prevention of epidemic |
| KR102495004B1 (en)* | 2020-09-07 | 2023-02-03 | (주)에이쓰리시큐리티 | Disinfection system using thermal image and visible image |
| KR20220032244A (en)* | 2020-09-07 | 2022-03-15 | (주)에이쓰리시큐리티 | Disinfection system using thermal image and visible image |
| CN114267006A (en)* | 2020-09-15 | 2022-04-01 | 青岛海尔工业智能研究院有限公司 | Security monitoring method, device, system and storage medium |
| KR102301348B1 (en)* | 2020-12-11 | 2021-09-13 | (주)컴버스테크 | Vehicle installation type smart body temperature measurement system |
| KR102642252B1 (en)* | 2020-12-30 | 2024-02-29 | 인플랩 주식회사 | Real-time risk measurement system for respiratory infections of floating population in dense environments |
| KR20220095912A (en)* | 2020-12-30 | 2022-07-07 | 인플랩 주식회사 | Real-time risk measurement system for respiratory infections of floating population in dense environments |
| KR20220107526A (en)* | 2021-01-25 | 2022-08-02 | 주식회사 포스코건설 | Apparatus and method for controlling access with measurement for body heat |
| KR102586615B1 (en)* | 2021-01-25 | 2023-10-06 | (주)포스코이앤씨 | Apparatus and method for controlling access with measurement for body heat |
| KR20220109120A (en)* | 2021-01-28 | 2022-08-04 | 경북대학교 산학협력단 | Method and apparatus for measuring body temperature using histogram and deep learning |
| KR102508595B1 (en)* | 2021-01-28 | 2023-03-09 | 경북대학교 산학협력단 | Method and apparatus for measuring body temperature using histogram and deep learning |
| CN112669316A (en)* | 2021-01-29 | 2021-04-16 | 南方电网调峰调频发电有限公司 | Power production abnormity monitoring method and device, computer equipment and storage medium |
| WO2022169055A1 (en)* | 2021-02-08 | 2022-08-11 | 주식회사 픽넘버 | Kiosk system having face recognition and thermal image detection functions, and access control method using same |
| KR20220122218A (en)* | 2021-02-26 | 2022-09-02 | 충남대학교산학협력단 | Automatic door system and its control method |
| KR102518332B1 (en)* | 2021-02-26 | 2023-04-04 | 충남대학교산학협력단 | Automatic door system and control method thereof |
| KR102335156B1 (en) | 2021-03-18 | 2021-12-03 | 주식회사 나우시스템 | Intelligent system and method for preventing safety accidents |
| KR20220138585A (en) | 2021-04-06 | 2022-10-13 | 이상훈 | A system that is using kiosks to check health events of students |
| CN113837030A (en)* | 2021-09-06 | 2021-12-24 | 中国福利会国际和平妇幼保健院 | Intelligent personnel management and control method and system for epidemic situation prevention and control and computer equipment |
| CN113837030B (en)* | 2021-09-06 | 2024-03-22 | 中国福利会国际和平妇幼保健院 | Personnel intelligent management and control method and system for epidemic situation prevention and control and computer equipment |
| KR20230079769A (en) | 2021-11-29 | 2023-06-07 | 주식회사 루켄 | A system that is using kiosks to check health events of students |
| CN114152349B (en)* | 2021-11-30 | 2023-11-14 | 深圳Tcl新技术有限公司 | Temperature measurement method and device, storage medium and electronic equipment |
| CN114152349A (en)* | 2021-11-30 | 2022-03-08 | 深圳Tcl新技术有限公司 | Temperature measuring method, temperature measuring device, storage medium and electronic equipment |
| KR20240095918A (en) | 2022-12-19 | 2024-06-26 | 신항범 | Method for standardization heat transfer distribution of human body temperature |
| KR20240095919A (en) | 2022-12-19 | 2024-06-26 | 신항범 | Healthcare system using human body temperature |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210120785A (en) | 2021-10-07 |
| KR102444277B1 (en) | 2022-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102143231B1 (en) | Health abnormality detection method using face monitoring and thermal image monitoring, health abnormality detection device and computer program for the same | |
| KR102021999B1 (en) | Apparatus for alarming thermal heat detection results obtained by monitoring heat from human using thermal scanner | |
| US9977971B2 (en) | Role-based tracking and surveillance | |
| CN111192391B (en) | Pedestrian passageway gate control method and device based on images and/or videos | |
| CN109887234B (en) | Method and device for preventing children from getting lost, electronic equipment and storage medium | |
| CN117649734B (en) | A smart security monitoring method and system based on multi-dimensional sensors | |
| Lee et al. | Determination of workers' compliance to safety regulations using a spatio-temporal graph convolution network | |
| CN111568379A (en) | Intelligent human body radioactivity detection and epidemic prevention and control access control system | |
| WO2020167155A1 (en) | Method and system for detecting troubling events during interaction with a self-service device | |
| EP4162419A1 (en) | Automatic barcode based personal safety compliance system | |
| US12131613B2 (en) | Surveillance system for data centers and other secure areas | |
| CN110832599A (en) | Method, device and computer program for detecting optical image data of a patient environment and for identifying a patient examination | |
| CN110544312A (en) | Video display method and device in virtual scene, electronic equipment and storage device | |
| CN111554366A (en) | Human health information generation method and device, computer equipment and storage medium | |
| JP2010211514A (en) | Intruder monitoring device | |
| US20230267788A1 (en) | Face authentication method | |
| TWI674002B (en) | Operation method for security monitoring system | |
| JP4120379B2 (en) | Behavior monitoring system and program | |
| CN113611029A (en) | Monitoring method, device, access control system and readable storage medium | |
| JP6954133B2 (en) | Production control system and production control program | |
| CN114783040B (en) | Detection method and detection device for candid shooting in building | |
| EP4246464B1 (en) | Static privacy masking | |
| JP2012108777A (en) | Monitoring system, monitoring device, monitoring method and program | |
| JP7501183B2 (en) | Entrance monitoring device and entrance monitoring method | |
| KR102285619B1 (en) | A system that is using Kiosks to check pyrexia of people for prevention of epidemic |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application | Patent event code:PA01091R01D Comment text:Patent Application Patent event date:20200326 | |
| PA0201 | Request for examination | ||
| PA0302 | Request for accelerated examination | Patent event date:20200402 Patent event code:PA03022R01D Comment text:Request for Accelerated Examination Patent event date:20200326 Patent event code:PA03021R01I Comment text:Patent Application | |
| PE0902 | Notice of grounds for rejection | Comment text:Notification of reason for refusal Patent event date:20200519 Patent event code:PE09021S01D | |
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration | Patent event code:PE07011S01D Comment text:Decision to Grant Registration Patent event date:20200730 | |
| PA0107 | Divisional application | Comment text:Divisional Application of Patent Patent event date:20200803 Patent event code:PA01071R01D | |
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment | Comment text:Registration of Establishment Patent event date:20200804 Patent event code:PR07011E01D | |
| PR1002 | Payment of registration fee | Payment date:20200804 End annual number:3 Start annual number:1 | |
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee | Payment date:20230717 Start annual number:4 End annual number:4 | |
| PR1001 | Payment of annual fee | Payment date:20240801 Start annual number:5 End annual number:5 |