본 발명은 동공계와 시선추적을 활용한 능동적 시야범위 측정 방법 및 시스템에 관한 것이다.The present invention relates to a method and system for measuring an active field of view using a pupilometer and eye tracking.
현대의 사람들은 개인적, 환경적 및 습관에 따라 근시(Nearsightedness), 원시(Farsightedness), 난시 (Astigmatism) 등과 같은 이상시력 증상을 보이는 경우가 빈번하다. 사람의 안과질환은 시력이상 증상뿐만 아니라 동공이상, 안구 움직임 이상 등을 모두 포함하는 넓은 개념이다.Modern people often experience vision abnormalities such as nearsightedness, farsightedness, and astigmatism, depending on personal, environmental, and habitual factors. Human ophthalmic disease is a broad concept encompassing not only visual acuity abnormalities but also pupillary and eye movement abnormalities.
일반적으로 안과질환이 의심되면 의사나 안경사가 안과검사를 진행하고, 안과질환으로 판단될 경우 이에 대응되는 치료를 진행한다. 예를 들어, 시력이상이 발생하는 경우에는 의사 또는 안경사가 수정체를 향해 광을 조사한 후, 그 반사된 광을 통해 굴절률 정도를 확인하는 방식으로 시력검사를 진행하고, 안경을 통해 시력을 교정할 수 있게 한다.Typically, if an eye disease is suspected, a doctor or optician will perform an eye examination. If diagnosed, appropriate treatment will be administered. For example, if vision problems occur, a doctor or optician will perform a visual acuity test by shining light onto the lens and measuring the refractive index of the reflected light. This test can then be used to correct vision with glasses.
사람마다 다양한 안과질환 증세를 보이기 때문에 안과검사에는 시야검사, 사시각검사, 외안근검사, 입체시검사 또는 링카스터검사 등과 같은 다양한 검사가 있다.Because each person shows different symptoms of eye disease, there are various tests in eye examinations such as visual field test, strabismus test, extraocular muscle test, stereopsis test, or Linkaster test.
시야란 사람이 각각의 눈으로 일정한 목표물을 주시하며 동시에 볼 수 있는 외계의 한계를 시각으로 표시한 것을 말 한다. 그리고 시야검사는, 피검사자가 어느 한 점(이하, 주시점)을 응시하였을 때 눈을 움직이지 않은 채로 볼 수 있는 외계의 범위를 측정하는 것을 의미한다. 즉, 사람은 시선이 고정된 상태에서 중심시야 범위, 주변 시야의 범위 및 빛 감도역치(sensitivity threshold) 등을 측정하는 검사이다.Visual field refers to the visual limit of the external world that a person can see simultaneously while fixating a certain target with each eye. A visual field test measures the extent of the external world that a subject can see without moving their eyes when fixating on a certain point (hereinafter referred to as the fixation point). In other words, this test measures the extent of the central visual field, the extent of the peripheral visual field, and the light sensitivity threshold while maintaining a fixed gaze.
시야 측정의 목적은 시력의 범위의 한계가 정상과 비교하였을 때 전반적 또는 국소적으로 얼마나 변화하였는지 알아내는 것이다. 시야검사는 중추신경계 질환뿐만 아니라 안과적인 녹내장, 망막 및 시신경질환의 진단과 경과 관찰에 중요한 검사이다.The purpose of visual field measurement is to determine the extent to which the limits of visual acuity have changed, either globally or locally, compared to normal. Visual field testing is crucial for the diagnosis and monitoring of central nervous system diseases, as well as ophthalmic diseases such as glaucoma, retinal diseases, and optic nerve diseases.
그러나 종래 안과질환 검사방법은 공통적으로 검사자(의사 또는 안경사)가 고가의 검안장비를 이용하여 피검사자(안과질환자)의 눈 상태를 검사하는 방식으로 수작업으로 진행한다. 따라서, 검사자에 따라 피검사자의 검사 결과가 객관적이지 못하며, 시간소요가 오래 걸리고 검사자의 인건비로 인해 과다한 검사비용이 발생하는 문제가 있다.However, conventional ophthalmic examination methods commonly involve manual examinations, where an examiner (a doctor or optician) uses expensive optometry equipment to assess the eye condition of the subject (an eye disease sufferer). Consequently, the results of the examinations can be inaccurate, time-consuming, and expensive due to the examiner's labor costs.
또한, 안과질환 중 시력검사를 하는 검안장비는 종래 시력 도표를 이용한 방식에서 개선된 것이 사실이지만, 검안장비를 통해 획득한 피검사자의 검사정보를 다시 검사자가 분석한 후, 안과질환의 종류를 결정하기 때문에 피검사자의 검사정보를 토대로 안과질환을 신속하게 결정하기 어려운 문제가 있다.In addition, although it is true that the optometry equipment for visual acuity testing among ophthalmic diseases has improved from the previous method using visual acuity charts, there is a problem in that it is difficult to quickly determine the ophthalmic disease based on the examinee's examination information because the examiner analyzes the examinee's examination information obtained through the optometry equipment and then determines the type of ophthalmic disease.
또한, 검안장비로 피검사자의 안과질환을 검사하는 경우에는 피검사자가 검안장비에 마련된 고정 위치에서 검사가 완료될 때까지 움직이기 어려운 문제가 있다. 즉, 피검사자의 안과질환 검사 위치가 검사장비에 의존하기 때문에 경직된 상태에서 안과질환을 검사하는 등 피검사자의 검사 환경이 좋지 않았다. 특히, 시야검사의 경우에는, 피검사자가 지속적으로 시선을 주시점에 고정한 상태에서 여러 시야점에 서로 다른 밝기의 광을 많은 횟수로 깜빡이며 출력하면서 피검사자가 이에 반응할 수 있는지를 측정하는 과정을 거쳐야 하는데, 이러한 시야검사 도중 피검사자가 집중력을 잃고 주시점에 시선을 유지하지 못하여 검사의 정확도가 떨어지고 피검사자의 피로도가 높아지는 문제가 있다.In addition, when examining an eye disease of a subject using an ophthalmological examination device, there is a problem that the subject has difficulty moving from a fixed position provided on the ophthalmological examination device until the examination is completed. In other words, because the position of the subject for the ophthalmological examination depends on the examination device, the examination environment for the subject was not good, such as having to examine the eye disease in a stiff state. In particular, in the case of a visual field test, the subject must continuously fix his/her gaze on a fixation point and go through a process of outputting light of different brightness by blinking it many times at several visual points to see if the subject can react to it. However, during this visual field test, there is a problem that the subject loses concentration and cannot maintain his/her gaze on the fixation point, which lowers the accuracy of the test and increases the subject's fatigue.
녹내장이나 기타 시각 장애와 같은 특정 질병이나 질환을 진단하기 위해 일반적으로 사람이 고정된 자세로 물체가 배치된 여러 지점을 볼 수 있는 능력을 테스트하여 시야(Visual field)을 측정할 때 종래기술의 시야 매핑(Visual field mapping) 기술은 피검사자의 입력이 동반 되었고, 이러한 종래기술의 문제는 피검사자가 검사를 하는 동안 눈알을 움직이면 시야손상 영역 뒤쪽도 본의 아니게 보게 되므로 정확한 검사가 어려웠다. 본 발명이 이루고자 하는 기술적 과제는 이러한 피검사자의 주관적인 입력을 배제하기 위한 방법 및 시스템을 제공하는데 있다.When measuring the visual field by testing the ability of a person to see multiple points where objects are placed in a fixed posture in order to diagnose a specific disease or condition such as glaucoma or other visual impairments, the visual field mapping technology of the prior art was accompanied by input from the examinee, and the problem of this prior art was that if the examinee moved his or her eyes during the test, he or she would inadvertently look behind the damaged area of the visual field, making it difficult to conduct an accurate test. The technical problem to be achieved by the present invention is to provide a method and system for excluding such subjective input from the examinee.
일 측면에 있어서, 본 발명에서 제안하는 동공계와 시선추적을 활용한 능동적 시야범위 측정 방법은 사용자가 착용한 HMD(Head Mount Display)를 통해 타겟 이미지를 디스플레이하는 단계, 시선 추적부를 통해 시선추적(eye-tracking) 기술을 이용하여 상기 타겟 이미지에 대한 사용자의 시선 방향을 고정시키는 단계, 동공 크기 측정부를 통해 상기 타겟 이미지 내에서 빛점이 이동하는 복수의 방향에 따라 동공 크기의 변화를 측정하는 단계, 시야범위 매핑부를 통해 상기 측정된 동공 크기의 변화에 따라 상기 타겟 이미지에 대한 사용자의 시야범위를 매핑하여 시야범위 매핑 정보를 획득하는 단계 및 치료 분석 데이터 수집부를 통해 상기 시야범위 매핑 정보를 이용하여 손상된 시야 범위를 치료한 후, 시야범위 변화를 감지하고 변화된 시야범위에 따른 치료 분석 데이터를 획득하는 단계를 포함한다.In one aspect, the active visual field measurement method using a pupil system and eye tracking proposed in the present invention includes the steps of displaying a target image through an HMD (Head Mount Display) worn by a user, fixing the direction of the user's gaze with respect to the target image using eye-tracking technology through an eye tracking unit, measuring a change in pupil size according to a plurality of directions in which a light point moves within the target image through a pupil size measuring unit, obtaining visual field mapping information by mapping the user's visual field with respect to the target image according to the measured change in pupil size through a visual field mapping unit, and treating a damaged visual field using the visual field mapping information through a treatment analysis data collecting unit, and then detecting a change in the visual field and obtaining treatment analysis data according to the changed visual field.
상기 시선 추적부를 통해 시선추적 기술을 이용하여 상기 타겟 이미지에 대한 사용자의 시선 방향을 고정시키는 단계는 상기 시선추적 기술을 이용하여 사용자의 동공의 움직임, 눈의 위치 및 눈의 움직임 속도를 측정하여 상기 타겟 이미지에 대한 사용자의 시선 방향이 움직이는 경우에도 측정 시작 시 상기 타겟 이미지에 대하여 위치한 시선 방향을 유지하도록 고정시킨다.The step of fixing the direction of the user's gaze with respect to the target image using the gaze tracking technology through the above gaze tracking unit includes measuring the movement of the user's pupil, the position of the eye, and the speed of the eye movement using the gaze tracking technology, and fixing the direction of the gaze with respect to the target image at the start of measurement so that it is maintained even when the direction of the user's gaze with respect to the target image moves.
상기 동공 크기 측정부를 통해 상기 타겟 이미지 내에서 빛점이 이동하는 복수의 방향에 따라 동공 크기의 변화를 측정하는 단계는 상기 타겟 이미지를 복수의 각도로 분할하고, 상기 분할된 각각의 분할면의 일단으로부터 또 다른 일단까지 빛점을 이동시키고, 사용자가 상기 이동하는 빛점을 따라 시선을 이동할 때 사용자의 시야범위 손상 부위에 따라 변화하는 동공 크기를 측정한다.The step of measuring a change in pupil size according to a plurality of directions in which a light point moves within the target image through the pupil size measuring unit divides the target image into a plurality of angles, moves the light point from one end of each of the divided sections to another end, and measures the pupil size that changes according to a damaged area of the user's field of vision when the user moves his or her gaze along the moving light point.
상기 시야범위 매핑부를 통해 상기 측정된 동공 크기의 변화에 따라 상기 타겟 이미지에 대한 사용자의 시야범위를 매핑하여 시야범위 매핑 정보를 획득하는 단계는 사용자의 시야범위 손상 부위에 반응하여 동공이 이완하고, 사용자의 시야범위 정상 부위에 반응하여 동공이 수축하는 특징을 이용하여 시야범위 정상 부위에 반응하는 동공 수축 시작점 및 동공 수축 종료점을 연결하여 시야범위 매핑 정보를 획득한다.The step of obtaining field of view mapping information by mapping the user's field of view for the target image according to the change in the measured pupil size through the field of view mapping unit obtains field of view mapping information by connecting the start point of pupil constriction and the end point of pupil constriction that react to the normal field of view using the characteristic that the pupil relaxes in response to the damaged part of the user's field of view and contracts in response to the normal part of the user's field of view.
상기 치료 분석 데이터 수집부를 통해 상기 시야범위 매핑 정보를 이용하여 손상된 시야 범위를 치료한 후, 시야범위 변화를 감지하고 변화된 시야범위에 따른 치료 분석 데이터를 획득하는 단계는 상기 시야범위 매핑 정보를 이용하여 손상된 시야 범위를 치료하기 위해 사용자의 뇌에 전압을 인가하는 뇌자극술 치료를 통해 손상된 시야 범위를 치료한 후, 치료 전의 손상된 시야 범위와 치료 후의 손상된 시야범위의 변화를 감지하고, 변화된 시야범위에 따른 치료 분석 데이터를 획득하며, 실시간으로 변화된 시야범위를 디스플레이한다.The step of detecting a change in the visual field and obtaining treatment analysis data according to the changed visual field after treating the damaged visual field using the visual field mapping information through the above treatment analysis data collection unit includes treating the damaged visual field through brain stimulation treatment that applies voltage to the user's brain using the visual field mapping information, detecting a change in the damaged visual field before treatment and the damaged visual field after treatment, obtaining treatment analysis data according to the changed visual field, and displaying the changed visual field in real time.
또 다른 일 측면에 있어서, 본 발명에서 제안하는 동공계와 시선추적을 활용한 능동적 시야범위 측정 시스템은 사용자가 착용한 HMD에 디스플레이된 타겟 이미지에 대한 사용자의 시선 방향을 시선추적(eye-tracking) 기술을 이용하여 고정시키는 시선 추적부, 상기 타겟 이미지 내에서 빛점이 이동하는 복수의 방향에 따라 동공 크기의 변화를 측정하는 동공 크기 측정부, 상기 측정된 동공 크기의 변화에 따라 상기 타겟 이미지에 대한 사용자의 시야범위를 매핑하여 시야범위 매핑 정보를 획득하는 시야범위 매핑부 및 상기 시야범위 매핑 정보를 이용하여 손상된 시야 범위를 치료한 후, 시야범위 변화를 감지하고 변화된 시야범위에 따른 치료 분석 데이터를 획득하는 치료 분석 데이터 수집부를 포함한다.In another aspect, the active visual field measurement system utilizing a pupil system and eye tracking proposed in the present invention includes an eye tracking unit that fixes the direction of the user's gaze with respect to a target image displayed on an HMD worn by the user using eye-tracking technology, a pupil size measuring unit that measures a change in pupil size according to a plurality of directions in which a light point moves within the target image, a visual field mapping unit that obtains visual field mapping information by mapping the user's visual field with respect to the target image according to the measured change in pupil size, and a treatment analysis data collecting unit that treats a damaged visual field using the visual field mapping information and then detects a change in the visual field and obtains treatment analysis data according to the changed visual field.
본 발명의 실시예들에 따르면 뇌손상으로 인한 시야를 동공 크기 측정(pupilometry)과 시선추적(eye-tracking) 기술을 통해 사용자의 입력 없이 자동으로 빠르게 확인할 수 있다. 본 발명은 의료기기에 사용할 수 있으며 특히, 시야관련 뇌손상으로 인한 환자들을 대상으로 한다. 뇌에 전기적 자극을 통한 치료와 같이 시야 범위의 변화를 실시간으로 확인해야 하는 경우를 포함하여, 본 발명은 즉각적으로 효과적인 치료분석 데이터를 제공할 수 있다. 또한, 시선추적으로 인해 고정된 화면에서 얼마큼 개선되었는지 객관적으로 판단할 수 있고 피검사자 본인이 치료 효과를 실시간으로 확인할 수 있다. 자동화된 시스템과 시선추적 기술을 활용한 타겟 이미지 고정은 피검사자의 입력이 불필요 하므로 객관적이고 시야 매핑이 가능하다.According to embodiments of the present invention, the visual field due to brain damage can be automatically and quickly determined without user input through pupilometry and eye-tracking technology. The present invention can be used in medical devices and is particularly intended for patients with visual field-related brain damage. The present invention can provide effective treatment analysis data immediately, including in cases where changes in the visual field range must be confirmed in real time, such as in treatment using electrical stimulation of the brain. In addition, eye-tracking can objectively determine the extent of improvement on a fixed screen, and the subject can personally confirm the treatment effect in real time. Fixation of a target image using an automated system and eye-tracking technology does not require input from the subject, enabling objective visual field mapping.
도 1은 종래기술에 따른 시야장애 평가용 시야검사의 문제점을 설명하기 위한 예시도이다.
도 2는 본 발명의 일 실시예에 따른 동공계와 시선추적을 활용한 능동적 시야범위 측정 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 동공계와 시선추적을 활용한 능동적 시야범위 측정 시스템의 구성을 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 동공 크기 측정 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 시야범위 매핑 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 정상 시야범위 측정 결과를 실제 검사 결과와 비교하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 시선추적에 대한 효과를 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 뇌자극술 치료를 통한 실시간 시야범위 개선 효과를 나타내는 도면이다.Figure 1 is an example diagram illustrating a problem with a visual field test for evaluating visual field impairment according to the prior art.
FIG. 2 is a flowchart illustrating a method for measuring an active field of view using a pupil system and eye tracking according to one embodiment of the present invention.
FIG. 3 is a diagram showing the configuration of an active field of view measurement system using a pupil system and eye tracking according to one embodiment of the present invention.
FIG. 4 is a drawing for explaining a pupil size measurement process according to one embodiment of the present invention.
FIG. 5 is a diagram for explaining a field of view mapping process according to one embodiment of the present invention.
FIG. 6 is a diagram for comparing the normal field of view measurement results according to one embodiment of the present invention with actual test results.
FIG. 7 is a drawing for explaining the effect of gaze tracking according to one embodiment of the present invention.
Figure 8 is a drawing showing the effect of improving the real-time visual field range through brain stimulation treatment according to one embodiment of the present invention.
이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the attached drawings.
도 1은 종래기술에 따른 시야장애 평가용 시야검사의 문제점을 설명하기 위한 예시도이다.Figure 1 is an example diagram illustrating a problem with a visual field test for evaluating visual field impairment according to the prior art.
시야(Visual field)는 일반적으로 사람이 눈을 고정한 위치에서 볼 수 있는 전체 공간을 의미한다. 이는 정면을 쳐다 볼 때 볼 수 있는 모든 것뿐만 아니라 시야의 모서리에서 볼 수 있는 모든 것을 포함한다.The visual field generally refers to the entire space a person can see from a fixed position. This includes everything visible when looking straight ahead, as well as everything visible from the corners of the eye.
시야는 일반적으로 사람이 고정된 자세로 물체가 배치된 여러 지점을 볼 수 있는 능력을 테스트하여 측정한다. 이러한 테스트의 결과는 녹내장이나 기타 시각 장애와 같은 특정 질병이나 질환을 진단하는 데 유용할 수 있다.Visual field is typically measured by testing a person's ability to see objects at multiple points while maintaining a fixed posture. The results of these tests can be useful in diagnosing certain diseases or conditions, such as glaucoma or other visual impairments.
녹내장 또는 뇌졸중 후 발생한 시각장애 환자를 대상으로 AR/VR 기반의 능동형 시각평가 시스템을 통한 정확한 평가 필요하다.Accurate evaluation using an AR/VR-based active visual assessment system is needed for patients with visual impairment caused by glaucoma or stroke.
현재 종래기술에 따른 시야측정은 환자의 검사 반응도와 검사자의 숙련도에 따라 검사 결과가 상이하게 나타나며, 주변 시야결손의 미세한 측정이 불가능하다.Currently, visual field measurements using conventional techniques produce different test results depending on the patient's test response and the examiner's skill level, and it is impossible to measure the fine details of peripheral visual field loss.
도 1(a)와 같이 환자의 시선이 정면을 응시하는 경우, 환자의 시선 위치가 시선 고정용 시표를 향하고, 측정하고자 하는 망막 부위에 대한 시야 검사용 시표를 통해 환자의 시야를 평가할 수 있다.When the patient's gaze is directed straight ahead as in Fig. 1(a), the patient's gaze position is directed toward the fixation target, and the patient's visual field can be evaluated through the visual field test target for the retinal area to be measured.
반면에, 도 1(b)와 같이 환자의 시선이 상단 이동하는 경우, 환자의 시선 위치가 시선 고정용 시표를 벗어나고, 잘못 측정된 망막 부위를 검사하게 된다.On the other hand, when the patient's gaze moves upward as in Fig. 1(b), the patient's gaze position deviates from the fixation target, and an incorrectly measured retinal area is examined.
따라서, 본 발명에서는 손상된 시야 매핑을 피검사자의 입력 없이 정밀하게 수행할 수 있도록 3차원 측정 데이터를 확보하고자 한다. 이와 같은 데이터 수집을 이용하여 경두개 직류전기 뇌자극술(transcranial Direct Current Stimulation; tDCS)을 시행하고, 시각 재활치료 과정에서 시각장애의 회복 정도를 능동적으로 3D 이미지 환경에서 실시간 평가할 수 있다.Therefore, the present invention aims to secure 3D measurement data to enable precise mapping of damaged visual fields without subject input. Using this data collection, transcranial direct current stimulation (tDCS) can be performed, and the degree of visual impairment recovery can be actively assessed in real time in a 3D image environment during visual rehabilitation therapy.
도 2는 본 발명의 일 실시예에 따른 동공계와 시선추적을 활용한 능동적 시야범위 측정 방법을 설명하기 위한 흐름도이다.FIG. 2 is a flowchart illustrating a method for measuring an active field of view using a pupil system and eye tracking according to one embodiment of the present invention.
제안하는 동공계와 시선추적을 활용한 능동적 시야범위 측정 방법은 사용자가 착용한 HMD(Head Mount Display)를 통해 타겟 이미지를 디스플레이하는 단계(210), 시선 추적부를 통해 시선추적(eye-tracking) 기술을 이용하여 상기 타겟 이미지에 대한 사용자의 시선 방향을 고정시키는 단계(220), 동공 크기 측정부를 통해 상기 타겟 이미지 내에서 빛점이 이동하는 복수의 방향에 따라 동공 크기의 변화를 측정하는 단계(230), 시야범위 매핑부를 통해 상기 측정된 동공 크기의 변화에 따라 상기 타겟 이미지에 대한 사용자의 시야범위를 매핑하여 시야범위 매핑 정보를 획득하는 단계(240) 및 치료 분석 데이터 수집부를 통해 상기 시야범위 매핑 정보를 이용하여 손상된 시야 범위를 치료한 후, 시야범위 변화를 감지하고 변화된 시야범위에 따른 치료 분석 데이터를 획득하는 단계(250)를 포함한다.The proposed active visual field measurement method using a pupil system and eye tracking includes a step (210) of displaying a target image through an HMD (Head Mount Display) worn by a user, a step (220) of fixing the direction of the user's gaze with respect to the target image using eye-tracking technology through an eye tracking unit, a step (230) of measuring a change in pupil size according to a plurality of directions in which a light point moves within the target image through a pupil size measuring unit, a step (240) of obtaining visual field mapping information by mapping the user's visual field with respect to the target image according to the change in the measured pupil size through a visual field mapping unit, and a step (250) of detecting a change in the visual field and obtaining treatment analysis data according to the changed visual field after treating a damaged visual field using the visual field mapping information through a treatment analysis data collection unit.
단계(210)에서, 사용자가 착용한 HMD(Head Mount Display)를 통해 타겟 이미지를 디스플레이한다.In step (210), a target image is displayed through an HMD (Head Mount Display) worn by the user.
본 발명의 실시예에 따른 능동적 시야범위 측정을 위해 사용자가 VR 또는 MR 헤드셋을 착용하면(211), 타겟 이미지를 송출(212)하여 디스플레이한다.When a user wears a VR or MR headset (211) to measure an active field of view according to an embodiment of the present invention, a target image is transmitted (212) and displayed.
단계(220)에서, 시선 추적부를 통해 시선추적(eye-tracking) 기술을 이용하여 상기 타겟 이미지에 대한 사용자의 시선 방향을 고정시킨다.In step (220), the user's gaze direction with respect to the target image is fixed using eye-tracking technology through an eye-tracking unit.
본 발명의 실시예에 따르면, 시선추적 기술(221)을 이용하여 사용자의 동공의 움직임, 눈의 위치 및 눈의 움직임 속도를 측정하여 상기 타겟 이미지에 대한 사용자의 시선 방향이 움직이는 경우에도 측정 시작 시 상기 타겟 이미지에 대하여 위치한 시선 방향을 유지하도록 고정시킨다(222).According to an embodiment of the present invention, by using eye tracking technology (221), the movement of the user's pupil, the position of the eye, and the speed of the eye movement are measured, and even if the direction of the user's gaze with respect to the target image moves, the direction of the gaze positioned with respect to the target image at the start of measurement is maintained and fixed (222).
단계(230)에서, 동공 크기 측정부를 통해 상기 타겟 이미지 내에서 빛점이 이동하는 복수의 방향에 따라 동공 크기의 변화를 측정한다.In step (230), the pupil size change is measured according to multiple directions in which a light point moves within the target image through a pupil size measuring unit.
사용자의 손상된 시야 범위를 평가하기 위해 타겟 이미지를 복수의 각도로 분할하고, 상기 분할된 각각의 분할면의 일단으로부터 또 다른 일단까지 빛점을 이동시킨다(231). 이때, 동공 크기 측정 기술(232)을 이용하여 사용자의 손상된 시야 범위에 따른 동공 크기 변화를 감지한다(233).To assess the user's damaged field of vision, the target image is divided into multiple angles, and a light point is moved from one end of each of the divided sections to another end (231). At this time, pupil size measurement technology (232) is used to detect changes in pupil size according to the user's damaged field of vision (233).
단계(240)에서, 시야범위 매핑부를 통해 상기 측정된 동공 크기의 변화에 따라 상기 타겟 이미지에 대한 사용자의 시야범위를 매핑하여 시야범위 매핑 정보를 획득한다.In step (240), the user's field of view for the target image is mapped according to the change in the measured pupil size through the field of view mapping unit, thereby obtaining field of view mapping information.
사용자의 시야범위 손상 부위에 반응하여 동공이 이완하고, 사용자의 시야범위 정상 부위에 반응하여 동공이 수축하는 특징을 이용하여 사용자의 시야범위를 매핑한다(241). 시야범위 정상 부위에 반응하는 동공 수축 시작점 및 동공 수축 종료점을 연결하여 시야범위 매핑 정보를 획득한다(242).The user's field of vision is mapped using the characteristic that the pupil dilates in response to a damaged area of the user's field of vision and contracts in response to a normal area of the user's field of vision (241). The field of vision mapping information is obtained by connecting the start and end points of pupil constriction in response to a normal area of the field of vision (242).
단계(250)에서, 치료 분석 데이터 수집부를 통해 상기 시야범위 매핑 정보를 이용하여 손상된 시야 범위를 치료한 후, 시야범위 변화를 감지하고 변화된 시야범위에 따른 치료 분석 데이터를 획득한다.In step (250), after treating the damaged visual field using the visual field mapping information through the treatment analysis data collection unit, a change in the visual field is detected and treatment analysis data according to the changed visual field is obtained.
시야범위 매핑 정보를 이용하여 손상된 시야 범위를 치료하기 위해 사용자의 뇌에 전압을 인가하는 뇌자극술 치료를 시행할 수 있다(251).Brain stimulation treatment can be performed by applying voltage to the user's brain to treat damaged visual fields using visual field mapping information (251).
손상된 시야 범위를 치료한 후, 치료 전의 손상된 시야 범위(242)와 치료 후의 손상된 시야범위의 변화를 감지하고(253), 변화된 시야범위에 따른 새로운 매핑 전보를 획득하여(252), 치료 분석 데이터를 획득할 수 있다(254). 본 발명의 실시예에 따르면, 능동적 시야범위 측정 과정 및 치료 결과에 대하여 사용자가 착용한 HMD를 통해 실시간으로 변화된 시야범위를 디스플레이할 수 있다.After treating the damaged visual field, the change in the damaged visual field before treatment (242) and after treatment can be detected (253), a new mapping report according to the changed visual field can be obtained (252), and treatment analysis data can be obtained (254). According to an embodiment of the present invention, the changed visual field can be displayed in real time through an HMD worn by the user regarding the active visual field measurement process and the treatment results.
도 3은 본 발명의 일 실시예에 따른 동공계와 시선추적을 활용한 능동적 시야범위 측정 시스템의 구성을 나타내는 도면이다.FIG. 3 is a diagram showing the configuration of an active field of view measurement system using a pupil system and eye tracking according to one embodiment of the present invention.
본 실시예에 따른 동공계와 시선추적을 활용한 능동적 시야범위 측정 시스템(300)은 프로세서(310), 버스(320), 네트워크 인터페이스(330), 메모리(340) 및 데이터베이스(350)를 포함할 수 있다. 메모리(340)는 운영체제(341) 및 동공계와 시선추적을 활용한 능동적 시야범위 측정 루틴(342)을 포함할 수 있다. 프로세서(310)는 시선 추적부(311), 동공 크기 측정부(312), 시야범위 매핑부(313) 및 치료 분석 데이터 수집부(314)를 포함할 수 있다. 다른 실시예들에서 동공계와 시선추적을 활용한 능동적 시야범위 측정 시스템(300)은 도 3의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 동공계와 시선추적을 활용한 능동적 시야범위 측정 시스템(300)은 디스플레이나 트랜시버(transceiver)와 같은 다른 구성요소들을 포함할 수도 있다.The active visual field measurement system (300) using a pupillometer and eye tracking according to the present embodiment may include a processor (310), a bus (320), a network interface (330), a memory (340), and a database (350). The memory (340) may include an operating system (341) and an active visual field measurement routine (342) using a pupillometer and eye tracking. The processor (310) may include an eye tracking unit (311), a pupil size measuring unit (312), a visual field mapping unit (313), and a treatment analysis data collection unit (314). In other embodiments, the active visual field measurement system (300) using a pupillometer and eye tracking may include more components than those in FIG. 3. However, there is no need to explicitly illustrate most of the conventional components. For example, an active field of view measurement system (300) utilizing a pupilometer and eye tracking may include other components such as a display or a transceiver.
메모리(340)는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 또한, 메모리(340)에는 운영체제(341)와 동공계와 시선추적을 활용한 능동적 시야범위 측정 루틴(342)을 위한 프로그램 코드가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 드라이브 메커니즘(drive mechanism, 미도시)을 이용하여 메모리(340)와는 별도의 컴퓨터에서 판독 가능한 기록 매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록 매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록 매체(미도시)를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록 매체가 아닌 네트워크 인터페이스(330)를 통해 메모리(340)에 로딩될 수도 있다.The memory (340) is a computer-readable recording medium, and may include a random access memory (RAM), a read only memory (ROM), and a permanent mass storage device such as a disk drive. In addition, the memory (340) may store an operating system (341) and a program code for an active field of view measurement routine (342) using a pupilometer and eye tracking. These software components may be loaded from a computer-readable recording medium separate from the memory (340) using a drive mechanism (not shown). This separate computer-readable recording medium may include a computer-readable recording medium (not shown) such as a floppy drive, a disk, a tape, a DVD/CD-ROM drive, a memory card, etc. In another embodiment, the software components may be loaded into the memory (340) through a network interface (330) rather than a computer-readable recording medium.
버스(320)는 동공계와 시선추적을 활용한 능동적 시야범위 측정 시스템(300)의 구성요소들간의 통신 및 데이터 전송을 가능하게 할 수 있다. 버스(320)는 고속 시리얼 버스(high-speed serial bus), 병렬 버스(parallel bus), SAN(Storage Area Network) 및/또는 다른 적절한 통신 기술을 이용하여 구성될 수 있다.The bus (320) may enable communication and data transfer between components of an active field of view measurement system (300) utilizing a pupil system and eye tracking. The bus (320) may be configured using a high-speed serial bus, a parallel bus, a storage area network (SAN), and/or other suitable communication technology.
네트워크 인터페이스(330)는 동공계와 시선추적을 활용한 능동적 시야범위 측정 시스템(300)을 컴퓨터 네트워크에 연결하기 위한 컴퓨터 하드웨어 구성요소일 수 있다. 네트워크 인터페이스(330)는 동공계와 시선추적을 활용한 능동적 시야범위 측정 시스템(300)을 무선 또는 유선 커넥션을 통해 컴퓨터 네트워크에 연결시킬 수 있다.The network interface (330) may be a computer hardware component for connecting the active visual field measurement system (300) utilizing a pupillometer and eye tracking to a computer network. The network interface (330) may connect the active visual field measurement system (300) utilizing a pupillometer and eye tracking to a computer network via a wireless or wired connection.
데이터베이스(350)는 동공계와 시선추적을 활용한 능동적 시야범위 측정을 위해 필요한 모든 정보를 저장 및 유지하는 역할을 할 수 있다. 도 3에서는 동공계와 시선추적을 활용한 능동적 시야범위 측정 시스템(300)의 내부에 데이터베이스(350)를 구축하여 포함하는 것으로 도시하고 있으나, 이에 한정되는 것은 아니며 시스템 구현 방식이나 환경 등에 따라 생략될 수 있고 혹은 전체 또는 일부의 데이터베이스가 별개의 다른 시스템 상에 구축된 외부 데이터베이스로서 존재하는 것 또한 가능하다.The database (350) can serve to store and maintain all information necessary for measuring the active visual field using a pupillary system and eye tracking. In FIG. 3, the database (350) is illustrated as being built and included within the system (300) for measuring the active visual field using a pupillary system and eye tracking, but is not limited thereto. Depending on the system implementation method or environment, it may be omitted, or the entire database or part of the database may exist as an external database built on a separate system.
프로세서(310)는 기본적인 산술, 로직 및 동공계와 시선추적을 활용한 능동적 시야범위 측정 시스템(300)의 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(340) 또는 네트워크 인터페이스(330)에 의해, 그리고 버스(320)를 통해 프로세서(310)로 제공될 수 있다. 프로세서(310)는 시선 추적부(311), 동공 크기 측정부(312), 시야범위 매핑부(313) 및 치료 분석 데이터 수집부(314)를 위한 프로그램 코드를 실행하도록 구성될 수 있다. 이러한 프로그램 코드는 메모리(340)와 같은 기록 장치에 저장될 수 있다.The processor (310) may be configured to process computer program commands by performing basic arithmetic, logic, and input/output operations of an active visual field measurement system (300) utilizing pupillometry and eye tracking. The commands may be provided to the processor (310) by a memory (340) or a network interface (330), and via a bus (320). The processor (310) may be configured to execute program codes for an eye tracking unit (311), a pupil size measuring unit (312), a visual field mapping unit (313), and a treatment analysis data collection unit (314). These program codes may be stored in a recording device such as the memory (340).
시선 추적부(311), 동공 크기 측정부(312), 시야범위 매핑부(313) 및 치료 분석 데이터 수집부(314)는 도 2의 단계들(210~250)을 수행하기 위해 구성될 수 있다.The eye tracking unit (311), pupil size measuring unit (312), visual field mapping unit (313), and treatment analysis data collection unit (314) can be configured to perform steps (210 to 250) of FIG. 2.
동공계와 시선추적을 활용한 능동적 시야범위 측정 시스템(300)은 시선 추적부(311), 동공 크기 측정부(312), 시야범위 매핑부(313) 및 치료 분석 데이터 수집부(314)를 포함할 수 있다.An active visual field measurement system (300) utilizing a pupilometer and eye tracking may include an eye tracking unit (311), a pupil size measurement unit (312), a visual field mapping unit (313), and a treatment analysis data collection unit (314).
본 발명의 실시예에 따른 시선 추적부(311)는 사용자가 착용한 HMD에 디스플레이된 타겟 이미지에 대한 사용자의 시선 방향을 시선추적(eye-tracking) 기술을 이용하여 고정시킨다.The eye-tracking unit (311) according to an embodiment of the present invention fixes the user's gaze direction with respect to a target image displayed on an HMD worn by the user using eye-tracking technology.
본 발명의 실시예에 따르면, 능동적 시야범위 측정을 위해 사용자가 VR 또는 MR 헤드셋을 착용하면, 타겟 이미지를 송출하여 디스플레이한다.According to an embodiment of the present invention, when a user wears a VR or MR headset for active field of view measurement, a target image is transmitted and displayed.
본 발명의 실시예에 따르면, 시선추적 기술을 이용하여 사용자의 동공의 움직임, 눈의 위치 및 눈의 움직임 속도를 측정하여 상기 타겟 이미지에 대한 사용자의 시선 방향이 움직이는 경우에도 측정 시작 시 상기 타겟 이미지에 대하여 위치한 시선 방향을 유지하도록 고정시킨다.According to an embodiment of the present invention, by using eye tracking technology, the movement of the user's pupil, the position of the eye, and the speed of the eye movement are measured, and even if the direction of the user's gaze with respect to the target image moves, the direction of the gaze with respect to the target image is maintained at the start of measurement and fixed.
본 발명의 실시예에 따른 동공 크기 측정부(312)는 타겟 이미지 내에서 빛점이 이동하는 복수의 방향에 따라 동공 크기의 변화를 측정한다.The pupil size measuring unit (312) according to an embodiment of the present invention measures changes in pupil size according to multiple directions in which a light point moves within a target image.
본 발명의 실시예에 따른 동공 크기 측정부(312)는 사용자의 손상된 시야 범위를 평가하기 위해 타겟 이미지를 복수의 각도로 분할하고, 상기 분할된 각각의 분할면의 일단으로부터 또 다른 일단까지 빛점을 이동시킨다. 이때, 동공 크기 측정 기술을 이용하여 사용자의 손상된 시야 범위에 따른 동공 크기 변화를 감지한다.The pupil size measurement unit (312) according to an embodiment of the present invention divides a target image into multiple angles to assess the user's damaged field of vision, and moves a light point from one end of each of the divided sections to another end. At this time, pupil size measurement technology is used to detect changes in pupil size according to the user's damaged field of vision.
본 발명의 실시예에 따른 시야범위 매핑부(313)는 상기 측정된 동공 크기의 변화에 따라 상기 타겟 이미지에 대한 사용자의 시야범위를 매핑하여 시야범위 매핑 정보를 획득한다.The field of view mapping unit (313) according to an embodiment of the present invention obtains field of view mapping information by mapping the user's field of view for the target image according to the change in the measured pupil size.
본 발명의 실시예에 따른 시야범위 매핑부(313)는 사용자의 시야범위 손상 부위에 반응하여 동공이 이완하고, 사용자의 시야범위 정상 부위에 반응하여 동공이 수축하는 특징을 이용하여 사용자의 시야범위를 매핑한다. 시야범위 정상 부위에 반응하는 동공 수축 시작점 및 동공 수축 종료점을 연결하여 시야범위 매핑 정보를 획득한다.The field of view mapping unit (313) according to an embodiment of the present invention maps the user's field of view by utilizing the characteristic that the pupil dilates in response to a damaged area of the user's field of view and contracts in response to a normal area of the user's field of view. Field of view mapping information is obtained by connecting the start and end points of pupil constriction in response to a normal area of the field of view.
본 발명의 실시예에 따른 치료 분석 데이터 수집부(314)는 시야범위 매핑 정보를 이용하여 손상된 시야 범위를 치료한 후, 시야범위 변화를 감지하고 변화된 시야범위에 따른 치료 분석 데이터를 획득한다.The treatment analysis data collection unit (314) according to an embodiment of the present invention treats a damaged field of view using field of view mapping information, then detects a change in the field of view and obtains treatment analysis data according to the changed field of view.
본 발명의 실시예에 따른 치료 분석 데이터 수집부(314)는 시야범위 매핑 정보를 이용하여 손상된 시야 범위를 치료하기 위해 사용자의 뇌에 전압을 인가하는 뇌자극술 치료를 시행할 수 있다.The treatment analysis data collection unit (314) according to an embodiment of the present invention can perform brain stimulation treatment by applying voltage to the user's brain to treat a damaged visual field range using visual field mapping information.
본 발명의 실시예에 따른 치료 분석 데이터 수집부(314)는 손상된 시야 범위를 치료한 후, 치료 전의 손상된 시야 범위와 치료 후의 손상된 시야범위의 변화를 감지하고, 변화된 시야범위에 따른 새로운 매핑 전보를 획득하여, 치료 분석 데이터를 획득할 수 있다. 본 발명의 실시예에 따르면, 능동적 시야범위 측정 과정 및 치료 결과에 대하여 사용자가 착용한 HMD를 통해 실시간으로 변화된 시야범위를 디스플레이할 수 있다.The treatment analysis data collection unit (314) according to an embodiment of the present invention can detect changes in the damaged visual field range before and after treatment after treating the damaged visual field range, obtain new mapping information according to the changed visual field range, and obtain treatment analysis data. According to an embodiment of the present invention, the changed visual field range can be displayed in real time through an HMD worn by the user regarding the active visual field range measurement process and the treatment results.
도 4는 본 발명의 일 실시예에 따른 동공 크기 측정 과정을 설명하기 위한 도면이다.FIG. 4 is a drawing for explaining a pupil size measurement process according to one embodiment of the present invention.
본 발명의 실시예에 따르면, 먼저 사용자(다시 말해, 피검사자)의 시야범위를 측정하기 위해 사용자가 착용한 HMD(Head Mount Display)를 통해 타겟 이미지를 디스플레이할 수 있다.According to an embodiment of the present invention, first, a target image can be displayed through an HMD (Head Mount Display) worn by a user to measure the field of view of the user (i.e., the subject).
사용자가 HMD에 디스플레이된 타겟 이미지를 응시하면, 본 발명의 실시예에 따른 시선 추적부를 통해 시선추적(eye-tracking) 기술을 이용하여 상기 타겟 이미지에 대한 사용자의 시선 방향을 고정시킨다.When a user gazes at a target image displayed on an HMD, the eye-tracking technology is used to fix the user's gaze direction with respect to the target image through an eye-tracking unit according to an embodiment of the present invention.
본 발명의 실시예에 따른 시선추적 기술은 시각적 자극(예를 들어, 이미지, 비디오 또는 텍스트)을 볼 때 사람의 눈 움직임을 모니터링하고 측정하는 기술이다. 시선추적 기술은 일반적으로 작은 카메라나 적외선 센서로 구성된 아이-트래커(eye-tracker)라는 장치를 사용할 수 있다. 사용자가 어떠한 개체를 응시하면, 눈이 특정한 패턴으로 움직이는데, 이러한 움직임을 아이-트래커에 의해 측정할 수 있다. 아이-트래커는 동공의 움직임, 눈의 위치 및 눈의 움직임 속도를 측정할 수 있다. 이러한 데이터는 해당 개체를 보는 시간과 어떻게 눈이 움직이는지 등을 분석하여 해당 개체를 파악할 수 있다.Eye tracking technology according to an embodiment of the present invention monitors and measures a person's eye movements when viewing visual stimuli (e.g., images, videos, or text). Eye tracking technology typically utilizes a device called an eye tracker, which consists of a small camera or infrared sensor. When a user gazes at an object, their eyes move in a specific pattern, and this movement can be measured by the eye tracker. The eye tracker can measure pupil movement, eye position, and eye movement speed. This data can be analyzed to identify the object by analyzing factors such as the time spent looking at the object and how the eyes move.
본 발명의 실시예에 따른 시선추적 기술을 이용하여 사용자의 동공의 움직임, 눈의 위치 및 눈의 움직임 속도를 측정하여 타겟 이미지에 대한 사용자의 시선 방향이 움직이는 경우에도 측정 시작 시 상기 타겟 이미지에 대하여 위치한 시선 방향을 유지하도록 고정시킬 수 있다. 따라서 타겟 이미지에 대한 사용자의 시선 방향에 영향을 받지 않고 시야 범위를 측정할 수 있다.By using eye tracking technology according to an embodiment of the present invention, the movement of the user's pupil, the position of the eye, and the speed of the eye movement can be measured, and the direction of the user's gaze with respect to the target image can be fixed so that the direction of the gaze with respect to the target image is maintained at the start of measurement even if the direction of the user's gaze with respect to the target image moves. Therefore, the field of view can be measured without being affected by the direction of the user's gaze with respect to the target image.
이후, 본 발명의 실시예에 따른 동공 크기 측정부를 통해 상기 타겟 이미지 내에서 빛점이 이동하는 복수의 방향에 따라 동공 크기의 변화를 측정한다.Thereafter, a pupil size measurement unit according to an embodiment of the present invention measures changes in pupil size according to multiple directions in which a light point moves within the target image.
본 발명의 실시예에 따른 동공 크기 측정(Pupillometry)은 눈의 동공 크기의 변화를 측정하는 것으로, 다양한 자극 또는 조건에서 동공의 지름을 측정하는 특수 장비를 사용한다. 빛 조건이나 인지적, 감성적 작업, 약물, 생리학적 변화에 대한 반응으로서 동공 크기를 측정할 수 있다.Pupilometry, according to an embodiment of the present invention, measures changes in pupil size. It uses special equipment to measure pupil diameter under various stimuli or conditions. Pupil size can be measured in response to lighting conditions, cognitive or emotional tasks, medications, or physiological changes.
동공 크기는 빛의 변화에 민감한 홍채 근육과 감정 및 인지 자극에 대한 반응으로 자율 신경계가 조절한다. 따라서, 이러한 동공 크기 측정은 인지 및 감성적 과정, 뇌 활동 및 자율 신경계의 변화를 연구하는 심리학, 신경과학, 의학 및 안과학 등 다양한 분야에서 사용될 수 있다.Pupil size is controlled by iris muscles, which are sensitive to changes in light, and the autonomic nervous system in response to emotional and cognitive stimuli. Therefore, pupil size measurements can be used in various fields, including psychology, neuroscience, medicine, and ophthalmology, to study cognitive and emotional processes, brain activity, and changes in the autonomic nervous system.
도 4와 같이 본 발명의 실시예에 따른 타겟 이미지(410)를 복수의 각도([1], [2], [3], ..., [12])로 분할하고, 상기 분할된 각각의 분할면의 일단으로부터 또 다른 일단까지 빛점을 이동시킨다.As shown in Fig. 4, a target image (410) according to an embodiment of the present invention is divided into a plurality of angles ([1], [2], [3], ..., [12]), and a light point is moved from one end of each of the divided division surfaces to another end.
예를 들어, 각도[1]에 대한 분할면의 일단으로부터 또 다른 일단까지 이동하는 빛점 경로(421), 각도[2]에 대한 분할면의 일단으로부터 또 다른 일단까지 이동하는 빛점 경로(422), 각도[3]에 대한 분할면의 일단으로부터 또 다른 일단까지 이동하는 빛점 경로(423)와 같이 빛점을 이동시키고, 사용자가 상기 이동하는 빛점을 따라 시선을 이동할 때 사용자의 시야범위 손상 부위에 따라 변화하는 동공 크기를 측정할 수 있다.For example, a light point path (421) moving from one end of a dividing plane to another end for angle [1], a light point path (422) moving from one end of a dividing plane to another end for angle [2], and a light point path (423) moving from one end of a dividing plane to another end for angle [3] can be moved, and when the user moves his/her gaze along the moving light point, the pupil size that changes according to the damaged area of the user's visual field can be measured.
도 5는 본 발명의 일 실시예에 따른 시야범위 매핑 과정을 설명하기 위한 도면이다.FIG. 5 is a diagram for explaining a field of view mapping process according to one embodiment of the present invention.
본 발명의 실시예에 따른 시야범위 매핑 과정에서 시야범위 매핑부를 통해 도 4에서 설명된 바와 같이 측정된 동공 크기의 변화에 따라 타겟 이미지에 대한 사용자의 시야범위를 매핑하여 시야범위 매핑 정보를 획득할 수 있다.In the field of view mapping process according to an embodiment of the present invention, field of view mapping information can be obtained by mapping the user's field of view for a target image according to the change in the measured pupil size as described in FIG. 4 through the field of view mapping unit.
시야범위 매핑 정보를 획득하기 위해 도 4에서 타겟 이미지를 복수의 각도([1], [2], [3], ..., [12])로 분할하고, 상기 분할된 각각의 분할면을 도 5(a)와 같이 병렬로 나열한다.To obtain the field of view mapping information, the target image in Fig. 4 is divided into multiple angles ([1], [2], [3], ..., [12]), and each of the divided segments is arranged in parallel as in Fig. 5(a).
도 5(a)와 같이 병렬로 나열된 각각의 분할면 중 각도[1]에 대한 분할면을 참조하면, 일단으로부터 또 다른 일단까지 이동하는 빛점 경로에서 시야범위 손상 부위(512), 시야범위 정상 부위(511) 및 손상 부위와 정상 부위의 경계(513)를 표시하였다.Referring to the dividing plane for angle [1] among the dividing planes arranged in parallel as in Fig. 5(a), the damaged area (512) of the field of view, the normal area (511) of the field of view, and the boundary (513) between the damaged area and the normal area are indicated on the path of the light point moving from one end to another.
도 5(b)와 같이 측정된 동공 크기의 변화에 따라 타겟 이미지에 대한 사용자의 시야범위를 매핑할 수 있다. 도 5(b)의 검은색 부분은 시야범위 손상 부위를 나타내고, 녹색 부분은 시야범위 정상 부위를 나타낸다.As shown in Fig. 5(b), the user's field of view for the target image can be mapped based on the measured change in pupil size. The black portion of Fig. 5(b) represents the area of the field of view that is damaged, and the green portion represents the area of the field of view that is normal.
측정된 동공 크기의 변화에 따르면, 사용자가 이동하는 빛점을 따라 시선을 이동할 때 시야범위 손상 부위에 반응하여 동공이 이완(521)하고, 시야범위 정상 부위에 반응하여 동공이 수축(522)한다.According to the measured pupil size changes, when the user moves his/her gaze along the moving light spot, the pupil dilates (521) in response to the damaged area of the visual field and constricts (522) in response to the normal area of the visual field.
도 5(c)와 같이 측정된 동공 크기의 변화에 따라 타겟 이미지에 대한 사용자의 시야범위를 매핑하기 위해, 사용자의 시야범위 정상 부위에 반응하여 동공이 수축하는 특징을 이용하여 시야범위 정상 부위에 반응하는 동공 수축 시작점(531) 및 동공 수축 종료점(532)을 표시한다. 이후, 도 5(d)와 같이 병렬로 나열된 각각의 분할면을 다시 원래의 타겟 이미지 형태로 나타낸다.In order to map the user's field of view for the target image according to the change in the measured pupil size as in Fig. 5(c), the pupil constriction start point (531) and pupil constriction end point (532) that react to the normal part of the user's field of view are indicated by using the characteristic that the pupil constricts in response to the normal part of the user's field of view. Thereafter, each of the segmented surfaces arranged in parallel as in Fig. 5(d) is displayed again in the form of the original target image.
도 6은 본 발명의 일 실시예에 따른 정상 시야범위 측정 결과를 실제 검사 결과와 비교하기 위한 도면이다.FIG. 6 is a diagram for comparing the normal field of view measurement results according to one embodiment of the present invention with actual test results.
도 5(a) 내지 도 5(d)에서 설명된 바와 같이 사용자의 시야범위 손상 부위에 반응하여 동공이 이완하고, 사용자의 시야범위 정상 부위에 반응하여 동공이 수축하는 특징을 이용하여 시야범위 정상 부위에 반응하는 동공 수축 시작점 및 동공 수축 종료점을 도 6(a)와 같이 연결하여 시야범위 매핑 정보(610)를 획득할 수 있다.As described in FIGS. 5(a) to 5(d), by using the characteristic that the pupil relaxes in response to the damaged area of the user's visual field and contracts in response to the normal area of the user's visual field, the start point of pupil contraction and the end point of pupil contraction in response to the normal area of the visual field can be connected as in FIG. 6(a) to obtain visual field mapping information (610).
본 발명의 실시예에 능동적 시야범위 측정 방법으로 획득된 시야범위 매핑 정보(도 6(a) (610) 참조)는 실제 측정된 시야범위(도 6(b) (620) 참조))와 거의 일치함을 확인할 수 있다.In an embodiment of the present invention, it can be confirmed that the field of view mapping information obtained by the active field of view measurement method (see Fig. 6(a) (610)) is almost identical to the actually measured field of view (see Fig. 6(b) (620)).
도 7은 본 발명의 일 실시예에 따른 시선추적에 대한 효과를 설명하기 위한 도면이다.FIG. 7 is a drawing for explaining the effect of gaze tracking according to one embodiment of the present invention.
도 7을 참조하면, 사용자의 서로 다른 시선 방향(710, 720, 730)에 따라 시선 추적 기술을 적용한 시야 범위(711, 712, 713)를 각각 나타내었다.Referring to Figure 7, the field of view ranges (711, 712, 713) to which gaze tracking technology is applied according to different gaze directions (710, 720, 730) of the user are respectively shown.
본 발명의 실시예에 따른 시선추적 기술은 시각적 자극(예를 들어, 이미지, 비디오 또는 텍스트)을 볼 때 사람의 눈 움직임을 모니터링하고 측정하는 기술이다. 시선추적 기술은 일반적으로 작은 카메라나 적외선 센서로 구성된 아이-트래커(eye-tracker)라는 장치를 사용할 수 있다. 사용자가 어떠한 개체를 응시하면, 눈이 특정한 패턴으로 움직이는데, 이러한 움직임을 아이-트래커에 의해 측정할 수 있다. 아이-트래커는 동공의 움직임, 눈의 위치 및 눈의 움직임 속도를 측정할 수 있다. 이러한 데이터는 해당 개체를 보는 시간과 어떻게 눈이 움직이는지 등을 분석하여 해당 개체를 파악할 수 있다.Eye tracking technology according to an embodiment of the present invention monitors and measures a person's eye movements when viewing visual stimuli (e.g., images, videos, or text). Eye tracking technology typically utilizes a device called an eye tracker, which consists of a small camera or infrared sensor. When a user gazes at an object, their eyes move in a specific pattern, and this movement can be measured by the eye tracker. The eye tracker can measure pupil movement, eye position, and eye movement speed. This data can be analyzed to identify the object by analyzing factors such as the time spent looking at the object and how the eyes move.
따라서, 도 7과 같이 사용자의 시선 방향(710, 720, 730)이 이동해도, 시선 방향에 따라 시선 추적 기술을 적용하여 타겟 이미지에 대한 시선 위치를 고정시켜 시야 범위(711, 712, 713)가 일정한 것을 확인할 수 있다.Accordingly, even if the user's gaze direction (710, 720, 730) moves as shown in Fig. 7, it is possible to confirm that the field of view (711, 712, 713) is constant by applying gaze tracking technology according to the gaze direction to fix the gaze position with respect to the target image.
본 발명의 실시예에 따른 아이-트래커는 침입형과 비침입형 두 가지 종류가 있다. 침입형 아이-트래커는 사용자가 특수한 장비(예를 들어, 안경이나 헤드밴드)를 착용해야 하지만 비침입형 아이-트래커는 사용자의 눈 근처에 카메라나 센서를 배치하면서 사용자와의 물리적 접촉을 필요로 하지 않는다.Eye trackers according to embodiments of the present invention come in two types: invasive and non-invasive. Intrusive eye trackers require the user to wear special equipment (e.g., glasses or a headband), while non-invasive eye trackers place cameras or sensors near the user's eyes without requiring physical contact with the user.
본 발명의 실시예에 따른 시선추적 기술은 시장 조사, 사용성 테스트, 의료 진단 및 장애인을 위한 보조 기술 등 다양한 분야에서 사용될 수 있다.The eye tracking technology according to an embodiment of the present invention can be used in various fields such as market research, usability testing, medical diagnosis, and assistive technology for the disabled.
도 8은 본 발명의 일 실시예에 따른 뇌자극술 치료를 통한 실시간 시야범위 개선 효과를 나타내는 도면이다.Figure 8 is a drawing showing the effect of improving the real-time visual field range through brain stimulation treatment according to one embodiment of the present invention.
본 발명의 실시예에 따르면, 치료 분석 데이터 수집부를 통해 시야범위 매핑 정보를 이용하여 손상된 시야 범위를 치료한 후, 시야범위 변화를 감지하고 변화된 시야범위에 따른 치료 분석 데이터를 획득할 수 있다.According to an embodiment of the present invention, after treating a damaged visual field using visual field mapping information through a treatment analysis data collection unit, a change in the visual field can be detected and treatment analysis data according to the changed visual field can be obtained.
도 8(a)는 치료 전 사용자의 시야범위(810)를 나타내는 도면이고, 도 8(b)은 치료 후 사용자의 시야범위(820)를 나타내는 도면이다.Figure 8(a) is a drawing showing the user's field of vision (810) before treatment, and Figure 8(b) is a drawing showing the user's field of vision (820) after treatment.
본 발명의 실시예에 따른 시야범위 매핑 정보를 이용하여 손상된 시야 범위를 치료하기 위해 사용자의 뇌에 전압을 인가하는 뇌자극술 치료를 통해 손상된 시야 범위를 치료할 수 있다. 치료한 후, 치료 전의 손상된 시야 범위와 치료 후의 손상된 시야범위의 변화를 감지하고, 변화된 시야범위에 따른 치료 분석 데이터를 획득하며, 도 8(b)와 같이 실시간으로 변화된 시야범위를 디스플레이할 수 있다.According to an embodiment of the present invention, brain stimulation therapy can be used to treat damaged visual fields by applying voltage to the user's brain using visual field mapping information. After treatment, changes in the damaged visual field before and after treatment can be detected, treatment analysis data based on the changed visual field can be obtained, and the changed visual field can be displayed in real time, as shown in Figure 8(b).
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The devices described above may be implemented as hardware components, software components, and/or a combination of hardware components and software components. For example, the devices and components described in the embodiments may be implemented using one or more general-purpose computers or special-purpose computers, such as, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA), a programmable logic unit (PLU), a microprocessor, or any other device capable of executing instructions and responding to them. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to the execution of the software. For ease of understanding, the processing device is sometimes described as being used alone; however, a person skilled in the art will appreciate that the processing device may include multiple processing elements and/or multiple types of processing elements. For example, a processing device may include multiple processors, or one processor and one controller. Other processing configurations, such as parallel processors, are also possible.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing device to perform a desired operation or may, independently or collectively, command the processing device. The software and/or data may be embodied in any type of machine, component, physical device, virtual equipment, computer storage medium, or device for interpretation by the processing device or for providing instructions or data to the processing device. The software may also be distributed over networked computer systems and stored or executed in a distributed manner. The software and data may be stored on one or more computer-readable recording media.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. The method according to the embodiment may be implemented in the form of program commands that can be executed through various computer means and recorded on a computer-readable medium. The computer-readable medium may include program commands, data files, data structures, etc., alone or in combination. The program commands recorded on the medium may be those specially designed and configured for the embodiment or may be those known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, and hardware devices specially configured to store and execute program commands such as ROMs, RAMs, and flash memories. Examples of program commands include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter, etc.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.Although the embodiments have been described above by way of limited examples and drawings, those skilled in the art will appreciate that various modifications and variations can be made from the above description. For example, appropriate results can be achieved even if the described techniques are performed in a different order than the described method, and/or components of the described systems, structures, devices, circuits, etc. are combined or combined in a different form than the described method, or are replaced or substituted by other components or equivalents.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims also fall within the scope of the claims described below.
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230076804 | 2023-06-15 | ||
| KR20230076804 | 2023-06-15 |
| Publication Number | Publication Date |
|---|---|
| KR20240176408A KR20240176408A (en) | 2024-12-24 |
| KR102851406B1true KR102851406B1 (en) | 2025-08-28 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230127934AActiveKR102851406B1 (en) | 2023-06-15 | 2023-09-25 | Active Field of View Measurement Method and System Utilizing Pupillometry and Eye-Tracking |
| Country | Link |
|---|---|
| KR (1) | KR102851406B1 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023285541A1 (en)* | 2021-07-13 | 2023-01-19 | Universität Bern | Computer program, method, and apparatus for determining a plurality of functional ocular parameters |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| NZ773836A (en)* | 2015-03-16 | 2022-07-01 | Magic Leap Inc | Methods and systems for diagnosing and treating health ailments |
| KR101966164B1 (en)* | 2017-01-12 | 2019-04-05 | 고려대학교산학협력단 | System and method for ophthalmolgic test using virtual reality |
| KR101984993B1 (en) | 2018-08-24 | 2019-06-07 | 주식회사 아이피아 | Visual field examination device using personalized marker control |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023285541A1 (en)* | 2021-07-13 | 2023-01-19 | Universität Bern | Computer program, method, and apparatus for determining a plurality of functional ocular parameters |
| Publication number | Publication date |
|---|---|
| KR20240176408A (en) | 2024-12-24 |
| Publication | Publication Date | Title |
|---|---|---|
| US20240188879A1 (en) | System and method for detecting neurological disease | |
| JP7166473B2 (en) | eye examination | |
| KR102344493B1 (en) | A smart inspecting system, method and program for nystagmus using artificial intelligence | |
| JP2008503244A (en) | Apparatus and method for assessing retinal damage | |
| CN106037626A (en) | Head-mounted visual field inspector | |
| JP2025524935A (en) | Eye activity evaluation method, system, and storage medium | |
| KR102851406B1 (en) | Active Field of View Measurement Method and System Utilizing Pupillometry and Eye-Tracking | |
| US20240081636A1 (en) | Method for Visual Function Assessment Using Multistable Rivalry Paradigms | |
| US20230337909A1 (en) | Device for retinal neuromodulation therapy and extrafoveal reading in subjects affected by visual impairment | |
| US11737664B2 (en) | Perimeter | |
| Sakamoto et al. | Agreement in the detection of chiasmal and postchiasmal visual field defects between imo binocular random single-eye test and Humphrey monocular test | |
| Akar et al. | Reproducibility of the measurements of the optic nerve head topographic variables with a confocal scanning laser ophthalmoscope | |
| Lawand | Eye tracking techniques and medical applications: A comprehensive review | |
| RU2261649C1 (en) | Method for differential diagnostics of amblyopia and partial atrophy of optic nerve in children | |
| KR20220168883A (en) | Method for Screening Strabismus and Device therefor | |
| Enoch et al. | Clinical visual psychophysics measurements | |
| Hartness et al. | Automated strabismus evaluation: a critical review and meta-analysis | |
| Montero Herrera | Implementation of a test based on eye tracking technology to improve diagnosis of Alzheimer's disease | |
| Punde et al. | Early Detection of Glaucoma Using Eye Tracker Metrics | |
| 이동한 | Objective Measurement of HINTS (Head Impulse, Nystagmus, Test of Skew) in acute peripheral vestibulopathy | |
| Durajczyk et al. | Present knowledge of modern technology and virtual computer reality to assess the angle of strabismus | |
| Choudhury et al. | Assessing disease severity of diabetic retinopathy using novel graphical interpretation of flicker electroretinogram | |
| KR20230046564A (en) | Method and system for providing subconscious ophthalmologic examination based on virtual reality contents | |
| WO2025051943A1 (en) | Device and method for obtaining dynamic measurements of eye optical surfaces | |
| WO2024095261A1 (en) | System and method for diagnosis and treatment of various movement disorders and diseases of the eye |
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application | St.27 status event code:A-0-1-A10-A12-nap-PA0109 | |
| PA0201 | Request for examination | St.27 status event code:A-1-2-D10-D11-exm-PA0201 | |
| R18-X000 | Changes to party contact information recorded | St.27 status event code:A-3-3-R10-R18-oth-X000 | |
| PG1501 | Laying open of application | St.27 status event code:A-1-1-Q10-Q12-nap-PG1501 | |
| D13-X000 | Search requested | St.27 status event code:A-1-2-D10-D13-srh-X000 | |
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection | St.27 status event code:A-1-2-D10-D21-exm-PE0902 | |
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection | St.27 status event code:A-1-2-D10-D21-exm-PE0902 | |
| E13-X000 | Pre-grant limitation requested | St.27 status event code:A-2-3-E10-E13-lim-X000 | |
| P11-X000 | Amendment of application requested | St.27 status event code:A-2-2-P10-P11-nap-X000 | |
| PN2301 | Change of applicant | St.27 status event code:A-3-3-R10-R13-asn-PN2301 St.27 status event code:A-3-3-R10-R11-asn-PN2301 | |
| PE0701 | Decision of registration | St.27 status event code:A-1-2-D10-D22-exm-PE0701 | |
| PR1002 | Payment of registration fee | St.27 status event code:A-2-2-U10-U11-oth-PR1002 Fee payment year number:1 | |
| PG1601 | Publication of registration | St.27 status event code:A-4-4-Q10-Q13-nap-PG1601 |