본 발명은 주행 가능한 경로별 시각 자극을 증강 화면에 출력하고, 각 시각 자극에 의해 발생하는 뇌 신호에 기초하여 차량의 자율주행을 제어하는 뇌-컴퓨터 인터페이스(Brain-Computer Interface; BCI) 시스템에 관한 것이다.The present invention relates to a brain-computer interface (BCI) system that outputs visual stimuli for each drivable route on an augmented screen and controls autonomous driving of a vehicle based on brain signals generated by each visual stimulus.
뇌-컴퓨터 인터페이스(Brain Computer Interface; BCI)는 다양한 두뇌 활동 시 뇌에서 발생하는 전기신호, 즉 뇌 신호를 측정 및 분석하여 사용자의 의도를 파악하고 이에 따라 컴퓨터를 제어하는 기술이다.Brain Computer Interface (BCI) is a technology that measures and analyzes electrical signals generated in the brain during various brain activities, i.e. brain signals, to understand the user's intentions and control the computer accordingly.
뇌-컴퓨터 인터페이스는 사용자로 하여금 컴퓨터에 명령을 내리기 위한 임의의 동작을 수행하지 않고도 컴퓨터를 조작하게 할 수 있어, 사고나 질병에 의해 운동신경에 장애가 있는 환자들을 위해 점차 활용되고 있다.Brain-computer interfaces allow users to operate computers without performing any actions to issue commands, and are increasingly being used to help patients with motor impairments caused by accidents or disease.
특히, 뇌-컴퓨터 인터페이스는 환자가 휠체어를 스스로 제어하기 위해 활용되는데, 기존의 제어 방식에 의하면 환자가 뇌 신호를 지속적으로 발생시켜야 하는 불편함이 있다.In particular, brain-computer interfaces are utilized to enable patients to control their own wheelchairs, but existing control methods are inconvenient because they require patients to continuously generate brain signals.
구체적으로, SMR(sensorimotor rhythm)을 이용하여 휠체어를 제어하는 경우 환자는 목적지에 도달할 때까지 계속적으로 신체 동작을 상상해야 하며, SSEP(steady-state evoked potential)를 이용하여 휠체어를 제어하는 경우 환자는 목적지에 도달할 때까지 계속적으로 점멸하는 시각 자극을 바라봐야 하는 불편함이 있다.Specifically, when controlling a wheelchair using SMR (sensorimotor rhythm), the patient must continuously imagine physical movements until reaching the destination, and when controlling a wheelchair using SSEP (steady-state evoked potential), the patient must continuously look at flashing visual stimuli until reaching the destination, which is inconvenient.
본 발명은 주행 가능한 경로별 시각 자극을 증강 화면에 출력하고, 각 시각 자극에 의해 발생하는 뇌 신호에 기초하여 차량을 타겟 경로로 자율 주행시키는 것을 목적으로 한다.The purpose of the present invention is to output visual stimuli for each drivable path on an augmented screen and to autonomously drive a vehicle along a target path based on brain signals generated by each visual stimulus.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.The objectives of the present invention are not limited to those mentioned above. Other objectives and advantages of the present invention not mentioned above can be understood through the following description and will be more clearly understood through the embodiments of the present invention. Furthermore, it will be readily apparent that the objectives and advantages of the present invention can be realized by the means and combinations thereof set forth in the claims.
전술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스 시스템은 뇌 신호를 획득하는 전극, 상기 뇌 신호를 유발하는 시각 자극을 출력하는 증강현실 디스플레이, 상기 증강현실 디스플레이에서 취득된 영상에서 복수의 주행경로를 식별하고, 상기 주행경로별로 서로 다른 시각 자극을 생성하는 프로세서 및 상기 획득된 뇌 신호에 대응하는 주행경로를 따라 자율 주행하는 차량을 포함하는 것을 특징으로 한다.According to one embodiment of the present invention for achieving the above-described purpose, a brain-computer interface system is characterized by including an electrode for acquiring brain signals, an augmented reality display for outputting visual stimuli that induce the brain signals, a processor for identifying a plurality of driving paths from images acquired from the augmented reality display and generating different visual stimuli for each driving path, and a vehicle for autonomously driving along a driving path corresponding to the acquired brain signals.
일 실시예에서, 상기 뇌 신호는 SMR(sensorimotor rhythm), ERP(event related potential), SSEP(steady-state evoked potential) 중 적어도 하나인 것을 특징으로 한다.In one embodiment, the brain signal is characterized by at least one of a sensorimotor rhythm (SMR), an event related potential (ERP), and a steady-state evoked potential (SSEP).
일 실시예에서, 상기 영상은 상기 증강현실 디스플레이에 구비된 가시광 카메라 또는 라이다 센서에서 생성되는 것을 특징으로 한다.In one embodiment, the image is characterized in that it is generated from a visible light camera or lidar sensor provided in the augmented reality display.
일 실시예에서, 상기 프로세서는 상기 영상을 세그멘테이션(segmentation) 태스크를 수행하는 합성곱 신경망 모델에 입력하여 상기 복수의 주행경로를 식별하는 것을 특징으로 한다.In one embodiment, the processor is characterized in that it inputs the image into a convolutional neural network model that performs a segmentation task to identify the plurality of driving paths.
일 실시예에서, 상기 증강현실 디스플레이는 상기 프로세서에 의해 식별된 복수의 주행경로를 나타내는 그래픽을 더 출력하는 것을 특징으로 한다.In one embodiment, the augmented reality display is characterized by further outputting graphics representing a plurality of driving paths identified by the processor.
일 실시예에서, 상기 프로세서는 상기 주행경로별로 생성된 시각 자극들이 각 주행경로 상에 표시되도록 상기 증강현실 디스플레이를 제어하는 것을 특징으로 한다.In one embodiment, the processor is characterized in that it controls the augmented reality display so that visual stimuli generated for each driving route are displayed on each driving route.
일 실시예에서, 상기 프로세서는 각 주행경로별로 서로 다른 주파수로 점멸하는 시각 자극을 생성하는 것을 특징으로 한다.In one embodiment, the processor is characterized by generating visual stimuli that flash at different frequencies for each driving path.
일 실시예에서, 상기 프로세서는 각 주행경로별로 서로 다른 문자가 점멸하는 시각 자극을 생성하는 것을 특징으로 한다.In one embodiment, the processor is characterized by generating a visual stimulus in which different letters flash for each driving path.
일 실시예에서, 상기 프로세서는 각 주행경로별로 서로 다른 신체부위가 표현된 시각 자극을 생성하는 것을 특징으로 한다.In one embodiment, the processor is characterized by generating visual stimuli representing different body parts for each driving path.
일 실시예에서, 상기 프로세서는 상기 차량의 수동 제어를 위한 별도 시각 자극을 더 생성하고, 상기 차량은 상기 별도 시각 자극에 대응하는 뇌 신호에 따라 자율 주행을 중지하는 것을 특징으로 한다.In one embodiment, the processor further generates a separate visual stimulus for manual control of the vehicle, and the vehicle is characterized in that it stops autonomous driving based on a brain signal corresponding to the separate visual stimulus.
일 실시예에서, 상기 프로세서는 자발적 뇌 신호에 기초하여 상기 시각 자극의 출력 여부를 결정하는 출력제어신호를 생성하는 것을 특징으로 한다.In one embodiment, the processor is characterized in that it generates an output control signal that determines whether to output the visual stimulus based on a spontaneous brain signal.
일 실시예에서, 상기 프로세서는 상기 자발적 뇌 신호가 미리 설정된 적어도 하나의 신체부위의 동작 상상에 의한 것이면 상기 출력제어신호를 생성하는 것을 특징으로 한다.In one embodiment, the processor is characterized in that it generates the output control signal if the spontaneous brain signal is due to the imaginary motion of at least one preset body part.
본 발명은 주행 가능한 경로별 시각 자극에 의해 발생하는 뇌 신호에 기초하여 차량의 자율주행을 제어함으로써, 운동신경 장애 환자이 매우 편안하게 전동 휠체어를 제어할 수 있다는 장점이 있다.The present invention has the advantage of allowing patients with motor neuron disorders to control an electric wheelchair very comfortably by controlling autonomous driving of a vehicle based on brain signals generated by visual stimulation for each drivable path.
또한, 본 발명은 자발적 뇌 신호를 이용하여 증강 화면을 온오프함으로써 지속적인 시각 자극 노출에 의한 환자의 피로도 및 스트레스를 감소시킬 수 있다는 장점이 있다.In addition, the present invention has the advantage of reducing patient fatigue and stress caused by continuous exposure to visual stimuli by turning the augmented screen on and off using voluntary brain signals.
상술한 효과와 더불어 본 발명의 구체적인 효과는 이하 발명을 실시하기 위한 구체적인 사항을 설명하면서 함께 기술한다.In addition to the effects described above, specific effects of the present invention are described below while explaining specific details for carrying out the invention.
도 1은 본 발명의 일 실시예에 따른 증강현실 기반 자율주행 뇌-컴퓨터 인터페이스 시스템을 도시한 도면.
도 2는 본 발명의 일 실시예에 따른 증강현실 기반 자율주행 뇌-컴퓨터 인터페이스 시스템의 제어 흐름을 도시한 도면.
도 3은 도 1에 도시된 전극 모듈과 증강현실 디스플레이를 분리 도시한 도면.
도 4는 증강 현실 디스플레이에서 획득된 영상을 도시한 도면.
도 5는 도 4에 도시된 영상에서 식별된 주행경로를 도시한 도면.
도 6은 도 5에 도시된 각 주행경로를 나타내는 그래픽을 도시한 도면.
도 7 내지 도 9는 각 주행경로별로 표시되는 시각 자극들을 각각 도시한 도면.
도 10 및 도 11을 자발적 뇌파에 기초하여 증강 화면의 출력 여부를 결정하는 방법을 설명하기 위한 도면.FIG. 1 is a diagram illustrating an augmented reality-based autonomous driving brain-computer interface system according to one embodiment of the present invention.
FIG. 2 is a diagram illustrating a control flow of an augmented reality-based autonomous driving brain-computer interface system according to one embodiment of the present invention.
Figure 3 is a drawing showing the electrode module and augmented reality display shown in Figure 1 separated.
Figure 4 is a drawing illustrating an image acquired from an augmented reality display.
Figure 5 is a drawing showing the driving path identified in the image shown in Figure 4.
Figure 6 is a drawing showing a graphic representing each driving path shown in Figure 5.
Figures 7 to 9 are drawings each showing visual stimuli displayed for each driving route.
FIG. 10 and FIG. 11 are diagrams for explaining a method for determining whether to output an augmented screen based on spontaneous brain waves.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.The above-described objects, features, and advantages will be described in detail below with reference to the accompanying drawings, so that those skilled in the art can easily practice the technical idea of the present invention. In describing the present invention, if it is determined that a detailed description of known technologies related to the present invention may unnecessarily obscure the gist of the present invention, a detailed description thereof will be omitted. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the drawings, the same reference numerals are used to indicate the same or similar components.
본 명세서에서 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것으로, 특별히 반대되는 기재가 없는 한, 제1 구성요소는 제2 구성요소일 수도 있음은 물론이다.Although terms like "first" and "second" are used herein to describe various components, these components are not limited by these terms. These terms are used merely to distinguish one component from another, and unless otherwise specified, a "first" component may also be a "second" component.
또한, 본 명세서에서 "상부 (또는 하부)" 또는 구성요소의 "상 (또는 하)"에 임의의 구성이 배치된다는 것은, 임의의 구성이 상기 구성요소의 상면 (또는 하면)에 접하여 배치되는 것뿐만 아니라, 상기 구성요소와 상기 구성요소 상에 (또는 하에) 배치된 임의의 구성 사이에 다른 구성이 개재될 수 있음을 의미할 수 있다.Additionally, in this specification, the phrase "upper (or lower)" or "upper (or lower)" of any component may mean that any component is positioned not only in contact with the upper surface (or lower surface) of the component, but also that other components may be interposed between the component and any component positioned on (or below) the component.
또한, 본 명세서에서 어떤 구성요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 상기 구성요소들은 서로 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성요소 사이에 다른 구성요소가 "개재"되거나, 각 구성요소가 다른 구성요소를 통해 "연결", "결합" 또는 "접속"될 수도 있는 것으로 이해되어야 할 것이다.Additionally, when it is described herein that a component is “connected,” “coupled,” or “connected” to another component, it should be understood that the components may be directly connected or connected to each other, but that other components may be “interposed” between the components, or that each component may be “connected,” “coupled,” or “connected” through another component.
또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.Additionally, the singular expressions used herein include plural expressions unless the context clearly dictates otherwise. In this application, terms such as "consist of" or "comprises" should not be construed to necessarily include all of the various components or various steps described in the specification, and should be construed to mean that some of the components or some of the steps may not be included, or that additional components or steps may be included.
또한, 본 명세서에서, "A 및/또는 B" 라고 할 때, 이는 특별한 반대되는 기재가 없는 한, A, B 또는 A 및 B를 의미하며, "C 내지 D" 라고 할 때, 이는 특별한 반대되는 기재가 없는 한, C 이상이고 D 이하인 것을 의미한다Also, in this specification, when it says "A and/or B", it means A, B or A and B, unless otherwise specifically stated, and when it says "C to D", it means C or more and D or less, unless otherwise specifically stated.
본 발명은 주행 가능한 경로별 시각 자극을 증강 화면에 출력하고, 각 시각 자극에 의해 발생하는 뇌 신호에 기초하여 차량의 자율주행을 제어하는 뇌-컴퓨터 인터페이스(Brain-Computer Interface; BCI) 시스템에 관한 것이다. 이하, 도 1 내지 도 11을 참조하여, 본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스 시스템을 구체적으로 설명하도록 한다.The present invention relates to a brain-computer interface (BCI) system that outputs visual stimuli for each drivable route on an augmented screen and controls autonomous driving of a vehicle based on brain signals generated by each visual stimulus. Hereinafter, a brain-computer interface system according to one embodiment of the present invention will be described in detail with reference to FIGS. 1 to 11.
도 1은 본 발명의 일 실시예에 따른 증강현실 기반 자율주행 뇌-컴퓨터 인터페이스 시스템을 도시한 도면이고, 도 2는 본 발명의 일 실시예에 따른 증강현실 기반 자율주행 뇌-컴퓨터 인터페이스 시스템의 제어 흐름을 도시한 도면이다.FIG. 1 is a diagram illustrating an augmented reality-based autonomous driving brain-computer interface system according to one embodiment of the present invention, and FIG. 2 is a diagram illustrating a control flow of an augmented reality-based autonomous driving brain-computer interface system according to one embodiment of the present invention.
도 3은 도 1에 도시된 전극 모듈과 증강현실 디스플레이를 분리 도시한 도면이다.Figure 3 is a drawing showing the electrode module and augmented reality display shown in Figure 1 separated.
도 4는 증강 현실 디스플레이에서 획득된 영상을 도시한 도면이고, 도 5는 도 4에 도시된 영상에서 식별된 주행경로를 도시한 도면이며, 도 6은 도 5에 도시된 각 주행경로를 나타내는 그래픽을 도시한 도면이다.FIG. 4 is a drawing illustrating an image obtained from an augmented reality display, FIG. 5 is a drawing illustrating a driving path identified in the image illustrated in FIG. 4, and FIG. 6 is a drawing illustrating a graphic representing each driving path illustrated in FIG. 5.
도 7 내지 도 9는 각 주행경로별로 표시되는 시각 자극들을 각각 도시한 도면이다.Figures 7 to 9 are drawings each showing visual stimuli displayed for each driving route.
도 10 및 도 11을 자발적 뇌파에 기초하여 증강 화면의 출력 여부를 결정하는 방법을 설명하기 위한 도면이다.FIG. 10 and FIG. 11 are drawings for explaining a method for determining whether to output an augmented screen based on spontaneous brain waves.
도 1 및 도 2을 함께 참조하면, 본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스 시스템(1)은 전극 모듈(100), 증강현실 디스플레이(200), 프로세서(300) 및 차량(400)을 포함할 수 있다. 다만, 도 1 및 도 2에 도시된 뇌-컴퓨터 인터페이스 시스템(1)은 일 실시예에 따른 것이고, 필요에 따라 일부 구성요소가 부가, 변경 또는 삭제될 수 있다.Referring to FIGS. 1 and 2 together, a brain-computer interface system (1) according to one embodiment of the present invention may include an electrode module (100), an augmented reality display (200), a processor (300), and a vehicle (400). However, the brain-computer interface system (1) illustrated in FIGS. 1 and 2 is according to one embodiment, and some components may be added, changed, or deleted as needed.
프로세서(300)는 전극 모듈(100), 증강 현실 디스플레이 및 차량(400)과 독립적으로 구비될 수도 있고, 도 2에 도시된 것과 같이 증강현실 디스플레이(200) 내부에 구비될 수 있다. 후자의 경우, 프로세서(300)는 후술하는 동작뿐만 아니라 증강현실 디스플레이(200)를 구동하는 연산장치(computing unit)로서 기능할 수도 있다.The processor (300) may be provided independently of the electrode module (100), the augmented reality display, and the vehicle (400), or may be provided within the augmented reality display (200) as illustrated in FIG. 2. In the latter case, the processor (300) may function as a computing unit that drives the augmented reality display (200) in addition to the operations described below.
도 3을 참조하면, 일 예에서 전극 모듈(100)은 중심부가 서로 교차 연결되는 제1 및 제2 바디(120, 130)를 포함할 수 있고, 각 바디(120, 130)는 길이 확장부(140, 150)를 포함할 수 있다. 길이 확장부(140, 150)가 각 바디(120, 130) 내부로 인출입됨에 따라, 전극 모듈(100)은 사용자의 머리 크기 및 굴곡에 맞게 사용자의 머리에 밀착될 수 있다.Referring to FIG. 3, in one example, the electrode module (100) may include first and second bodies (120, 130) whose centers are cross-connected to each other, and each body (120, 130) may include a length extension portion (140, 150). As the length extension portion (140, 150) is extended into each body (120, 130), the electrode module (100) may be fitted to the user's head to fit the size and curvature of the user's head.
한편, 길이 확장부(140, 150)의 종단에는 결합부(160a, 160b)가 구비될 수 있고, 결합부(160a, 160b)는 증강현실 디스플레이(200)에 구비된 체결부(240a, 240b)에 각각 체결됨으로써, 전극 모듈(100)과 증강현실 디스플레이(200)는 결합될 수 있다.Meanwhile, a connecting portion (160a, 160b) may be provided at the end of the length extension portion (140, 150), and the connecting portions (160a, 160b) are each connected to a fastening portion (240a, 240b) provided in the augmented reality display (200), whereby the electrode module (100) and the augmented reality display (200) may be connected.
전극 모듈(100)은 뇌 신호를 획득하는 복수의 전극(110; 110a 내지 110e)을 포함할 수 있다. 복수의 전극(110a 내지 110e)은 서로 다른 위치에서 사용자의 머리(구체적으로는 뇌 영역)에 접촉되도록, 각 바디(120, 130) 내측면에 부착 배치될 수 있고, 접촉된 부분에서 발생하는 전위차에 기초하여 뇌 신호를 획득할 수 있다.The electrode module (100) may include a plurality of electrodes (110; 110a to 110e) for acquiring brain signals. The plurality of electrodes (110a to 110e) may be attached and arranged on the inner surface of each body (120, 130) so as to contact the user's head (specifically, the brain region) at different locations, and brain signals may be acquired based on a potential difference generated at the contacted portion.
한편, 본 발명에서 설명되는 뇌 신호는 두뇌 활동 시 뇌에서 발생하는 임의의 전기신호를 포함할 수 있고, 예컨대 SMR(sensorimotor rhythm), ERP(event related potential), SSEP(steady-state evoked potential) 중 적어도 하나일 수 있다.Meanwhile, the brain signal described in the present invention may include any electrical signal generated in the brain during brain activity, and may be, for example, at least one of SMR (sensorimotor rhythm), ERP (event related potential), and SSEP (steady-state evoked potential).
증강현실 디스플레이(200)는 증강 현실(Augmented Reality; AR)을 제공하기 위해, 본체(210)와, 본체(210) 전면에 구비되어 증강현실 디스플레이(200)의 전방 영상(10)을 획득하는 이미지센서(220) 및 본체(210)를 사용자의 머리에 고정하기 위한 고정부(230)를 포함할 수 있다.The augmented reality display (200) may include a main body (210), an image sensor (220) provided on the front of the main body (210) to obtain a front image (10) of the augmented reality display (200), and a fixing member (230) for fixing the main body (210) to the user's head to provide augmented reality (AR).
사용자가 증강현실 디스플레이(200)를 머리에 착용하면, 본체(210)의 내측면은 사용자의 안면, 구체적으로는 두 눈에 접촉되고, 고정부(230)는 사용자의 머리 둘레를 따라 머리를 둘러쌈으로써 증강현실 디스플레이(200)가 사용자의 머리에 고정될 수 있다.When a user wears the augmented reality display (200) on his/her head, the inner side of the main body (210) comes into contact with the user's face, specifically, both eyes, and the fixing part (230) surrounds the user's head along the circumference of the user's head, so that the augmented reality display (200) can be fixed to the user's head.
한편, 증강현실 디스플레이(200)의 고정부(230)의 내측면에는 보조 전극이 더 포함될 수 있다. 구체적으로, 도 3에 도시된 것과 같이 다수의 보조 전극(e1 내지 e9)은 서로 다른 위치에서 사용자의 머리에 접촉되도록, 고정부(230)의 내측면에 부착 배치될 수 있고, 접촉된 부분에서 발생하는 전위차에 기초하여 뇌 신호를 획득할 수 있다.Meanwhile, the inner surface of the fixing portion (230) of the augmented reality display (200) may further include auxiliary electrodes. Specifically, as illustrated in FIG. 3, a plurality of auxiliary electrodes (e1 to e9) may be attached and arranged on the inner surface of the fixing portion (230) so as to come into contact with the user's head at different locations, and brain signals may be acquired based on the potential difference generated at the contacted portion.
전극(110) 및/또는 보조 전극에서 획득된 뇌 신호는 프로세서(300)에 제공될 수 있고, 프로세서(300)는 뇌 신호에 기초하여 동작할 수 있다. 프로세서(300)의 구체적 동작에 대해서는 후술하도록 한다.Brain signals acquired from the electrode (110) and/or auxiliary electrode can be provided to the processor (300), and the processor (300) can operate based on the brain signals. The specific operation of the processor (300) will be described later.
증강현실 디스플레이(200)는 뇌 신호를 유발하는 시각 자극을 출력할 수 있다. 구체적으로, 증강현실 디스플레이(200)는 시각 자극을 포함하는 증강 화면(20)을 출력할 수 있다. 도면에는 도시되지 않았으나 본체(210)의 내측면에는 사용자의 두 눈에 대향하는 위치에 렌즈가 구비될 수 있고, 이미지센서(220)에 의해 획득된 영상(10)이 렌즈를 통해 출력될 수 있다. 이 때, 증강 화면(20)은 렌즈를 통해 실시간 영상(10)에 증강되어 함께 출력될 수 있고, 이에 따라 사용자는 전방의 영상(10)과 이에 증강된 증강 화면(20)을 함께 확인할 수 있다.The augmented reality display (200) can output visual stimuli that induce brain signals. Specifically, the augmented reality display (200) can output an augmented screen (20) including a visual stimulus. Although not shown in the drawing, a lens may be provided on the inner surface of the main body (210) at a position facing the user's two eyes, and an image (10) acquired by an image sensor (220) may be output through the lens. At this time, the augmented screen (20) may be output together with the real-time image (10) by being augmented through the lens, and thus the user can check the front image (10) and the augmented screen (20) augmented thereto together.
한편, 도 3에 도시된 증강현실 디스플레이(200)는 하나의 예시에 불과한 것이므로, 도 3에 도시된 것과 달리 증강현실 디스플레이(200)는 AR 글래스로 구현될 수도 있다. 이 경우, 사용자는 두 눈에 대향하는 투명 디스플레이를 통해 전방을 육안으로 확인할 수 있고, AR 글래스는 투명 디스플레이에 시각 자극을 출력할 수 있다. 이에 따라, 증강 화면(20)은 투명 디스플레이를 통해 전방 시야에 증강되어 함께 출력될 수 있다.Meanwhile, since the augmented reality display (200) illustrated in FIG. 3 is merely an example, unlike that illustrated in FIG. 3, the augmented reality display (200) may also be implemented as AR glasses. In this case, the user can visually check the front view through a transparent display facing both eyes, and the AR glasses can output visual stimuli to the transparent display. Accordingly, the augmented screen (20) can be output together with the front view through the transparent display in an augmented manner.
다만, 이하에서는 설명의 편의를 위해 증강현실 디스플레이(200)가 도 3에 도시된 예시, 보다 적절하게는 이미지 센서(220)를 통해 전방의 실시간 영상(10)을 획득하고, 획득된 영상(10)과 이에 오버랩(overlap)된 증강 화면(20)을 렌즈를 통해 출력하는 구조를 갖는 것으로 가정하여 설명하도록 한다.However, for the convenience of explanation, the following description assumes that the augmented reality display (200) has a structure that acquires a real-time image (10) in front through an image sensor (220) as shown in FIG. 3, and outputs the acquired image (10) and an augmented screen (20) overlapped therewith through a lens.
차량(400)은 후술하는 프로세서(300)의 제어에 따라 주행할 수 있고, 자율 주행 기능이 탑재될 수 있다. 본 발명에서 차량(400)은 내연기관 차량, 전동 차량, 전동 휠체어 등을 포함할 수 있다. 다만, 뇌-컴퓨터 인터페이스가 운동신경에 장애가 있는 환자들을 위해 활용되는 점을 고려하여, 이하에서는 차량(400)이 도 1에 도시된 것과 같이 전동 휠체어인 것으로 가정하여 설명하도록 한다.The vehicle (400) can drive under the control of the processor (300) described below and may be equipped with an autonomous driving function. In the present invention, the vehicle (400) may include an internal combustion engine vehicle, an electric vehicle, an electric wheelchair, etc. However, considering that the brain-computer interface is utilized for patients with motor neuron disorders, the following description will assume that the vehicle (400) is an electric wheelchair, as illustrated in FIG. 1.
프로세서(300)는 증강현실 디스플레이(200)에서 취득된 영상(10)에서 복수의 주행경로를 식별하고, 증강현실 디스플레이(200)가 주행경로별로 서로 다른 시각 자극을 출력하도록 제어하며, 시각 자극에 따른 뇌 신호에 기초하여 차량(400)을 제어할 수 있는데, 이하 프로세서(300)의 각 동작에 대해 구체적으로 설명하도록 한다.The processor (300) identifies multiple driving paths from an image (10) acquired from an augmented reality display (200), controls the augmented reality display (200) to output different visual stimuli for each driving path, and controls a vehicle (400) based on brain signals according to the visual stimuli. Each operation of the processor (300) will be described in detail below.
먼저, 프로세서(300)는 증강현실 디스플레이(200)에서 취득된 영상(10)에서 복수의 주행경로를 식별할 수 있다.First, the processor (300) can identify multiple driving paths from an image (10) acquired from an augmented reality display (200).
앞서 설명한 것과 같이 증강현실 디스플레이(200)는 이미지센서(220)를 포함할 수 있고, 이미지센서(220)는 전방의 영상(10)을 획득할 수 있다. 일 예에서, 이미지센서(220)는 가시광 카메라로 구현될 수 있고, 이 경우 카메라에서 획득된 영상(10)은 2차원 RGB 이미지일 수 있다. 다른 예에서, 이미지센서(220)는 라이다 센서로 구현될 수 있고, 이 경우 라이다 센서에서 획득된 영상(10)은 3차원 포인트 맵(point map)일 수 있다.As described above, the augmented reality display (200) may include an image sensor (220), and the image sensor (220) may acquire a front image (10). In one example, the image sensor (220) may be implemented as a visible light camera, in which case the image (10) acquired from the camera may be a two-dimensional RGB image. In another example, the image sensor (220) may be implemented as a lidar sensor, in which case the image (10) acquired from the lidar sensor may be a three-dimensional point map.
프로세서(300)는 증강현실 디스플레이(200)에서 취득된 영상(10)에 다양한 영상(10) 처리 알고리즘을 적용하여 영상(10) 내 복수의 주행경로를 식별할 수 있으며, 예를 들어 합성곱 신경망(Convolutional Neural Network; CNN)을 이용하여 주행경로를 식별할 수 있다.The processor (300) can identify multiple driving paths within the image (10) by applying various image (10) processing algorithms to the image (10) acquired from the augmented reality display (200), and can identify the driving paths using, for example, a convolutional neural network (CNN).
구체적으로, 프로세서(300)는 앞서 취득된 영상(10)을 세그멘테이션(segmentation) 태스크를 수행하는 합성곱 신경망에 입력하여 복수의 주행경로를 식별할 수 있다. 이 때, 합성곱 신경망으로는 FCN(Fully Convolutional Network), U-Net, DeepLab v3+, SegNet 등이 이용될 수 있다.Specifically, the processor (300) can input previously acquired images (10) into a convolutional neural network that performs a segmentation task to identify multiple driving paths. At this time, a fully convolutional network (FCN), U-Net, DeepLab v3+, SegNet, etc. can be used as the convolutional neural network.
합성곱 신경망은 영상(10)을 입력받고, 영상(10) 내 각 픽셀이 무엇인지를 나타내는 값(이하, 클래스)을 출력할 수 있다. 이를 위해, 합성곱 신경망은 미리 지도 학습(supervised learning)될 수 있다. 구체적으로, 합성곱 신경망은 학습 영상(입력 데이터)과 해당 학습 영상 내 각 픽셀의 클래스(출력 데이터)로 이루어진 훈련 데이터셋(training dataset)에 의해 지도 학습될 수 있고, 이 때 클래스는 사용자에 의해 미리 라벨링(labeling)될 수 있다.A convolutional neural network can input an image (10) and output a value (hereinafter, a class) indicating what each pixel in the image (10) is. To this end, the convolutional neural network can be subjected to supervised learning in advance. Specifically, the convolutional neural network can be subjected to supervised learning using a training dataset consisting of training images (input data) and the classes (output data) of each pixel in the training images, and the classes can be labeled in advance by a user.
도 4 및 도 5를 함께 참조하면, 프로세서(300)는 증강현실 디스플레이(200)로부터 전방의 2차원 RGB 영상(10)을 획득할 수 있고, 해당 영상(10)을 합성곱 신경망에 입력할 수 있다. 합성곱 신경망은 영상(10) 내 각 픽셀에 대한 클래스를 출력할 수 있고, 프로세서(300)는 픽셀별로 출력된 클래스에 기초하여 영상(10) 내 주행경로(road)를 식별할 수 있다.Referring to FIGS. 4 and 5 together, the processor (300) can obtain a two-dimensional RGB image (10) in front from the augmented reality display (200) and input the image (10) into a convolutional neural network. The convolutional neural network can output a class for each pixel in the image (10), and the processor (300) can identify a driving path (road) in the image (10) based on the class output for each pixel.
한편, 프로세서(300)는 사용자의 이용 편의를 위해 증강현실 디스플레이(200)가 각 주행경로를 나타내는 그래픽을 표시하도록 제어할 수 있다.Meanwhile, the processor (300) can control the augmented reality display (200) to display graphics indicating each driving route for the convenience of the user.
도 5 및 도 6을 함께 참조하면, 영상(10)에서 세 갈래의 주행경로(R1, R2, R3)가 식별된 경우, 프로세서(300)는 각 주행경로(R1, R2, R3)를 나타내는 그래픽(예컨대, 화살표)을 생성하여 증강현실 디스플레이(200)에 제공할 수 있다. 증강현실 디스플레이(200)는 제1 내지 제3 주행경로(R1, R2, R3)를 각각 나타내는 그래픽을 증강 화면(20)에 출력할 수 있다.Referring to FIGS. 5 and 6 together, when three driving paths (R1, R2, R3) are identified in the image (10), the processor (300) can generate graphics (e.g., arrows) representing each driving path (R1, R2, R3) and provide them to the augmented reality display (200). The augmented reality display (200) can output graphics representing the first to third driving paths (R1, R2, R3) to the augmented screen (20).
프로세서(300)는 주행경로별로 서로 다른 시각 자극을 생성할 수 있다. 여기서 시각 자극은 뇌 신호를 유발하기 위한 임의의 시각적 자극을 포함할 수 있고, 예컨대 숫자, 문자, 기호, 이미지 등으로 구성될 수 있다.The processor (300) can generate different visual stimuli for each driving route. Here, the visual stimuli can include any visual stimuli for inducing brain signals, and can be composed of, for example, numbers, letters, symbols, images, etc.
프로세서(300)는 주행경로별로 생성된 시각 자극들이 각 주행경로 상에 표시되도록 증강현실 디스플레이(200)를 제어할 수 있다. 도 6에 도시된 것과 같이 증강 화면(20)이 제1 내지 제3 주행경로(R1, R2, R3)를 나타내는 그래픽을 포함하는 경우, 프로세서(300)는 제1 내지 제3 주행경로(R1, R2, R3) 상에 제1 내지 제3 주행경로에 대응하는 시각 자극들이 각각 표시되도록, 증강현실 디스플레이(200)를 제어할 수 있다.The processor (300) can control the augmented reality display (200) so that visual stimuli generated for each driving route are displayed on each driving route. As illustrated in FIG. 6, when the augmented screen (20) includes graphics representing the first to third driving routes (R1, R2, R3), the processor (300) can control the augmented reality display (200) so that visual stimuli corresponding to the first to third driving routes are displayed on the first to third driving routes (R1, R2, R3).
이하에서는 각 주행별로 생성되는 시각 자극들의 예시를 설명하도록 한다.Below, we will explain examples of visual stimuli generated for each run.
도 7을 참조하면, 프로세서(300)는 각 주행경로(R1, R2, R3)별로 서로 다른 주파수로 점멸하는 시각 자극(S1, S2, S3)을 생성할 수 있고, 증강현실 디스플레이(200)는 각 시각 자극들(S1, S2, S3)을 증강 화면(20)에 출력할 수 있다. 예컨대, 제1 주행경로(R1)에 대응하는 시각 자극(S1)은 7Hz로, 제2 주행경로(R2)에 대응하는 시각 자극(S2)은 8Hz로, 제3 주행경로(R3)에 대응하는 시각 자극(S3)은 13Hz로 점멸할 수 있다.Referring to FIG. 7, the processor (300) can generate visual stimuli (S1, S2, S3) that flash at different frequencies for each driving path (R1, R2, R3), and the augmented reality display (200) can output each of the visual stimuli (S1, S2, S3) to the augmented screen (20). For example, the visual stimulus (S1) corresponding to the first driving path (R1) can flash at 7 Hz, the visual stimulus (S2) corresponding to the second driving path (R2) can flash at 8 Hz, and the visual stimulus (S3) corresponding to the third driving path (R3) can flash at 13 Hz.
도 8을 참조하면, 프로세서(300)는 각 주행경로(R1, R2, R3)별로 서로 다른 문자가 점멸하는 시각 자극(S1, S2, S3)을 생성할 수 있고, 증강현실 디스플레이(200)는 각 시각 자극들(S1, S2, S3)을 증강 화면(20)에 출력할 수 있다. 예컨대, 제1 주행경로(R1)에 대응하는 시각 자극(S1)은 점멸하는 문자 '1', 제2 주행경로(R2)에 대응하는 시각 자극(S2)은 점멸하는 문자 '2', 제3 주행경로(R3)에 대응하는 시각 자극(S3)은 점멸하는 문자 '3'으로 출력될 수 있다. 이 때, 각 문자는 순차적으로 점멸할 수 있다.Referring to FIG. 8, the processor (300) can generate visual stimuli (S1, S2, S3) in which different letters flash for each driving path (R1, R2, R3), and the augmented reality display (200) can output each of the visual stimuli (S1, S2, S3) to the augmented screen (20). For example, the visual stimulus (S1) corresponding to the first driving path (R1) can be output as a flashing letter '1', the visual stimulus (S2) corresponding to the second driving path (R2) can be output as a flashing letter '2', and the visual stimulus (S3) corresponding to the third driving path (R3) can be output as a flashing letter '3'. At this time, each letter can flash sequentially.
도 9를 참조하면, 프로세서(300)는 각 주행경로(R1, R2, R3)별로 서로 다른 신체부위가 표현된 시각 자극(S1, S2, S3)을 생성할 수 있고, 증강현실 디스플레이(200)는 각 시각 자극들(S1, S2, S3)을 증강 화면(20)에 출력할 수 있다. 예컨대, 제1 주행경로(R1)에 대응하는 시각 자극(S1)은 왼손 이미지로, 제2 주행경로(R2)에 대응하는 시각 자극(S2)은 양손 이미지로, 제3 주행경로(R3)에 대응하는 시각 자극(S3)은 오른손 이미지로 출력될 수 있다.Referring to FIG. 9, the processor (300) can generate visual stimuli (S1, S2, S3) expressing different body parts for each driving path (R1, R2, R3), and the augmented reality display (200) can output each of the visual stimuli (S1, S2, S3) to the augmented screen (20). For example, the visual stimulus (S1) corresponding to the first driving path (R1) can be output as a left-hand image, the visual stimulus (S2) corresponding to the second driving path (R2) can be output as a two-hand image, and the visual stimulus (S3) corresponding to the third driving path (R3) can be output as a right-hand image.
차량(400)은 특정 시각 자극으로부터 유발된 뇌 신호에 대응하는 주행경로를 따라 자율 주행할 수 있다. 구체적으로, 프로세서(300)는 전극으로부터 수집된 뇌 신호가 어떤 시각 자극에 의해 유발된 것인지 식별할 수 있고, 식별된 시각 자극에 대응하는 주행경로를 특정한 뒤, 특정된 주행경로를 따라 자율 주행하도록 차량(400)을 제어할 수 있다.The vehicle (400) can autonomously drive along a driving path corresponding to brain signals induced by specific visual stimuli. Specifically, the processor (300) can identify which visual stimulus induced the brain signals collected from the electrodes, specify a driving path corresponding to the identified visual stimulus, and then control the vehicle (400) to autonomously drive along the specified driving path.
다시 도 7을 참조하면, 사용자는 제1 내지 제3 주행경로(R1, R2, R3) 중 이동하고자 하는 주행경로에 따라 특정 시각 자극에 주목할 수 있고, 사용자가 주목할 때 발생하는 뇌 신호(예컨대, SSEP)는 해당 시각 자극이 점멸하는 주파수에서 피크값을 가질 수 있다. 프로세서(300)는 뇌 신호의 피크값에 기초하여 해당 뇌 신호를 유발한 시각 자극과 이에 대응하는 주행경로를 식별할 수 있다. 예를 들어, 뇌 신호의 피크값이 7Hz에서 식별된 경우 프로세서(300)는 뇌 신호에 대응하는 주행경로를 제1 주행경로(R1)로 식별할 수 있다.Referring back to FIG. 7, the user may pay attention to a specific visual stimulus according to the driving path he or she wishes to follow among the first to third driving paths (R1, R2, R3), and the brain signal (e.g., SSEP) generated when the user pays attention may have a peak value at the frequency at which the visual stimulus flashes. The processor (300) may identify the visual stimulus that caused the brain signal and the driving path corresponding thereto based on the peak value of the brain signal. For example, if the peak value of the brain signal is identified at 7 Hz, the processor (300) may identify the driving path corresponding to the brain signal as the first driving path (R1).
또한, 다시 도 8을 참조하면, 사용자는 제1 내지 제3 주행경로(R1, R2, R3) 중 이동하고자 하는 주행경로에 대응하는 어느 한 시각 자극이 점등될 때, 해당 시각 자극에 주목할 수 있고, 사용자가 주목한 시각 자극에 대한 뇌 신호(예컨대, SSEP)는 다른 시각 자극에 대한 뇌 신호의 크기보다 기준값 이상 클 수 있다. 프로세서(300)는 뇌 신호의 크기에 기초하여 해당 뇌 신호를 유발한 시각 자극과 이에 대응하는 주행경로를 식별할 수 있다. 예를 들어, 뇌 신호의 크기가 제2 주행경로(R2)에 대응하는 시각 자극(S2)이 점등될 때 가장 큰 경우 프로세서(300)는 뇌 신호에 대응하는 주행경로를 제2 주행경로(R2)로 식별할 수 있다.In addition, referring again to FIG. 8, when a visual stimulus corresponding to a driving path to be traveled among the first to third driving paths (R1, R2, R3) is illuminated, the user can pay attention to the visual stimulus, and the brain signal (e.g., SSEP) for the visual stimulus that the user has paid attention to may be greater than a reference value or larger than the size of the brain signal for the other visual stimuli. The processor (300) can identify the visual stimulus that caused the brain signal and the driving path corresponding thereto based on the size of the brain signal. For example, when the size of the brain signal is the largest when the visual stimulus (S2) corresponding to the second driving path (R2) is illuminated, the processor (300) can identify the driving path corresponding to the brain signal as the second driving path (R2).
또한, 다시 도 9를 참조하면, 사용자는 사용자는 제1 내지 제3 주행경로(R1, R2, R3) 중 이동하고자 하는 주행경로에 따라 특정 시각 자극에 표현된 신체부위의 동작을 상상할 수 있다. 사용자의 동작 상상(motor imagery)에 대응하는 뇌 신호(예컨대, SMR)는 신체부위별로 정형화된 형태를 가질 수 있고, 프로세서(300)는 뇌 신호의 형태에 기초하여 해당 뇌 신호를 유발한 시각 자극과 이에 대응하는 주행경로를 식별할 수 있다. 예를 들어, 프로세서(300)는 메모리(미도시)에 미리 저장된 신체부위별 뇌 신호의 형태와, 전극으로부터 수신된 뇌 신호의 형태의 일치도를 판단할 수 있고, 뇌 신호의 형태가 오른손의 동작 상상에 의한 뇌 신호와 일치하면 프로세서(300)는 뇌 신호에 대응하는 주행경로를 제3 주행경로(R3)로 식별할 수 있다.In addition, referring back to FIG. 9, the user can imagine the motion of a body part expressed in a specific visual stimulus according to a driving path that the user wants to move among the first to third driving paths (R1, R2, R3). The brain signal (e.g., SMR) corresponding to the user's motor imagery can have a standardized form for each body part, and the processor (300) can identify the visual stimulus that caused the brain signal and the driving path corresponding thereto based on the form of the brain signal. For example, the processor (300) can determine the degree of correspondence between the form of the brain signal for each body part pre-stored in a memory (not shown) and the form of the brain signal received from the electrode, and if the form of the brain signal matches the brain signal by the movement imagination of the right hand, the processor (300) can identify the driving path corresponding to the brain signal as the third driving path (R3).
전술한 방법에 따라 복수의 주행경로 중 타겟 주행경로가 식별되면, 프로세서(300)는 타겟 주행경로에 대응하는 주행제어신호를 생성하고, 이를 차량(400)에 제공할 수 있다. 차량(400)은 주행제어신호에 따라 타겟 주행경로를 자율 주행할 수 있으며, 자율 주행을 위해 차량(400)에는 당해 기술분야에서 이용되는 다양한 주행 기술 및/또는 알고리즘이 적용될 수 있다.When a target driving path is identified among multiple driving paths according to the method described above, the processor (300) can generate a driving control signal corresponding to the target driving path and provide it to the vehicle (400). The vehicle (400) can autonomously drive along the target driving path according to the driving control signal, and various driving technologies and/or algorithms used in the relevant technical field can be applied to the vehicle (400) for autonomous driving.
한편, 사용자는 자율 주행 대신 차량(400)을 수동으로 조작하고자 할 수 있다. 이를 고려하여, 프로세서(300)는 차량(400)의 수동 제어를 위한 별도 시각 자극을 더 생성하고, 차량(400)은 별도 시각 자극에 대응하는 뇌 신호에 따라 자율 주행을 중지할 수 있다.Meanwhile, a user may wish to manually operate the vehicle (400) instead of autonomous driving. Considering this, the processor (300) generates a separate visual stimulus for manual control of the vehicle (400), and the vehicle (400) can stop autonomous driving based on brain signals corresponding to the separate visual stimulus.
다시 도 7 내지 도 9를 참조하면, 프로세서(300)는 별도 시각 자극(S4)을 생성하고, 별도 시각 자극(S4)이 주행경로가 아닌 위치, 예컨대 영상(10)에서 사용자와 가장 가까운 위치에 표시되도록 증강현실 디스플레이(200)를 제어할 수 있다. 사용자는 수동 조작을 위해서 별도 시각 자극(S4)에 주목할 수 있고, 이로 인해 발생하는 뇌 신호에 따라 프로세서(300)는 자율 주행을 중지시키는 주행제어신호를 생성할 수 있다. 해당 주행제어신호는 차량(400)에 제공될 수 있고, 차량(400)은 주행제어신호에 따라 자율 주행을 중지할 수 있다.Referring again to FIGS. 7 to 9, the processor (300) can generate a separate visual stimulus (S4) and control the augmented reality display (200) so that the separate visual stimulus (S4) is displayed at a location other than the driving path, for example, at a location closest to the user in the image (10). The user can pay attention to the separate visual stimulus (S4) for manual operation, and the processor (300) can generate a driving control signal to stop autonomous driving based on the brain signal generated thereby. The driving control signal can be provided to the vehicle (400), and the vehicle (400) can stop autonomous driving based on the driving control signal.
별도 시각 자극(S4)은 도 7 내지 도 9에 도시된 것과 같이, 서로 다른 주파수로 점멸하는 자극이거나, 순차 점멸하는 자극이거나, 신체부위를 포함하는 자극일 수 있으며, 이들에 대응하는 뇌 신호 식별 방법에 대해서는 전술한 바 있으므로 여기서는 자세한 설명을 생략하도록 한다.The separate visual stimulus (S4) may be a stimulus that flashes at different frequencies, a stimulus that flashes sequentially, or a stimulus that includes a body part, as shown in FIGS. 7 to 9. Since the brain signal identification method corresponding to these has been described above, a detailed description thereof will be omitted here.
전술한 바와 같이, 본 발명은 주행 가능한 경로별 시각 자극에 의해 발생하는 뇌 신호에 기초하여 차량(400)의 자율주행을 제어함으로써, 운동신경 장애 환자이 매우 편안하게 전동 휠체어를 제어할 수 있다는 장점이 있다.As described above, the present invention has the advantage of allowing a patient with motor neuron disorder to control an electric wheelchair very comfortably by controlling autonomous driving of a vehicle (400) based on brain signals generated by visual stimulation for each drivable path.
한편, 영상(10) 내에서 주행 가능한 경로가 식별될 때마다 증강 화면(20)에 주행경로를 나타내는 그래픽과 시각 자극들이 출력되는 경우, 사용자에게 상당한 피로감 및 스트레스를 줄 수 있다. 이를 고려하여, 프로세서(300)는 사용자의 필요에 따라 증강 화면(20)의 출력 여부를 결정할 수 있다.Meanwhile, if graphics and visual stimuli indicating the driving path are output on the augmented screen (20) every time a drivable path is identified within the image (10), this may cause significant fatigue and stress to the user. Taking this into account, the processor (300) can determine whether to output the augmented screen (20) according to the user's needs.
구체적으로, 프로세서(300)는 자발적 뇌 신호에 기초하여 시각 자극의 출력 여부를 결정하는 출력제어신호를 생성할 수 있다. 다시 말해, 프로세서(300)는 증강 화면(20)이나, 시각 자극에 의해 유발되는 뇌 신호가 아닌, 사용자가 자발적으로 생성하는 뇌 신호를 이용하여 시각 자극을 온오프하는 출력제어신호를 생성할 수 있다.Specifically, the processor (300) can generate an output control signal that determines whether to output a visual stimulus based on a spontaneous brain signal. In other words, the processor (300) can generate an output control signal that turns the visual stimulus on and off using a brain signal voluntarily generated by the user, rather than a brain signal induced by the augmented screen (20) or the visual stimulus.
일 실시예에서, 프로세서(300)는 자발적 뇌 신호가 미리 설정된 적어도 하나의 신체부위의 동작 상상에 의한 것이면 출력제어신호를 생성할 수 있다. 또한, 프로세서(300)는 자발적 뇌 신호가 미리 설정된 복수의 신체부위에 대한 순차적 동작 상상에 의한 것이면 출력제어신호를 생성할 수도 있다.In one embodiment, the processor (300) may generate an output control signal if the voluntary brain signal is due to the imaginary motion of at least one preset body part. Furthermore, the processor (300) may generate an output control signal if the voluntary brain signal is due to the sequential imaginary motion of a plurality of preset body parts.
도 10을 참조하면, 증강현실 디스플레이(200)에서 영상(10)만이 출력되고 증강 화면(20)이 출력되지 않을 때, 프로세서(300)는 사용자가 오른쪽 손의 동작을 상상할 때의 자발적 뇌 신호 또는 왼쪽 손의 동작을 상상할 때의 자발적 뇌 신호를 전극으로부터 수신할 수 있다. 이 때, 프로세서(300)는 시각 자극을 포함하는 증강 화면(20)을 온 시키는 출력제어신호를 생성할 수 있고, 이를 증강현실 디스플레이(200)에 제공할 수 있다. 증강현실 디스플레이(200)는 출력제어신호에 따라 영상(10)에 증강 화면(20)을 증강하여 출력할 수 있다.Referring to FIG. 10, when only the image (10) is output on the augmented reality display (200) and the augmented screen (20) is not output, the processor (300) can receive, from the electrodes, a spontaneous brain signal when the user imagines a movement of the right hand or a spontaneous brain signal when the user imagines a movement of the left hand. At this time, the processor (300) can generate an output control signal that turns on the augmented screen (20) including a visual stimulus and provide the same to the augmented reality display (200). The augmented reality display (200) can augment the image (10) with the augmented screen (20) and output it according to the output control signal.
또한, 프로세서(300)는 사용자가 오른손 -> 왼손의 동작을 순차적으로 상상할 때의 자발적 뇌 신호(a), 왼손 -> 오른손의 동작을 순차적으로 상상할 때의 자발적 뇌 신호(b), 또는 왼손과 오른손의 동작을 동시에 상상할 때의 자발적 뇌 신호(c)를 전극으로부터 수신할 수 있다. 이 때에도 프로세서(300)는 시각 자극을 포함하는 증강 화면(20)을 온 시키는 출력제어신호를 생성할 수 있고, 이를 증강현실 디스플레이(200)에 제공할 수 있다. 증강현실 디스플레이(200)는 출력제어신호에 따라 영상(10)에 증강 화면(20)을 증강하여 출력할 수 있다.In addition, the processor (300) can receive, from the electrodes, a spontaneous brain signal (a) when the user sequentially imagines the motion of the right hand -> left hand, a spontaneous brain signal (b) when the user sequentially imagines the motion of the left hand -> right hand, or a spontaneous brain signal (c) when the user simultaneously imagines the motion of the left and right hands. In this case, the processor (300) can also generate an output control signal that turns on an augmented screen (20) including a visual stimulus, and provide this to the augmented reality display (200). The augmented reality display (200) can augment and output the augmented screen (20) on the image (10) according to the output control signal.
반대로 도 11을 참조하면, 증강현실 디스플레이(200)에서 영상(10)과 증강 화면(20)이 모두 출력될 때, 프로세서(300)는 사용자가 다리의 동작을 상상할 때의 자발적 뇌 신호, 왼손과 다리의 동작을 동시에 상상할 때의 뇌 신호 또는 오른손과 다리의 동작을 동시에 상상할 때의 자발적 뇌 신호를 전극으로부터 수신할 수 있다. 이 때, 프로세서(300)는 증강 화면(20)을 오프시키는 출력제어신호를 생성할 수 있고, 이를 증강현실 디스플레이(200)에 제공할 수 있다. 증강현실 디스플레이(200)는 출력제어신호에 따라 증강 화면(20)의 출력을 중지할 수 있고, 이에 따라 증강현실 디스플레이(200)에서는 영상(10)만이 출력될 수 있다.Conversely, referring to FIG. 11, when both the image (10) and the augmented screen (20) are output on the augmented reality display (200), the processor (300) can receive, from the electrodes, a spontaneous brain signal when the user imagines the movement of the legs, a brain signal when the user imagines the movement of the left hand and legs simultaneously, or a spontaneous brain signal when the user imagines the movement of the right hand and legs simultaneously. At this time, the processor (300) can generate an output control signal for turning off the augmented screen (20) and provide the same to the augmented reality display (200). The augmented reality display (200) can stop outputting the augmented screen (20) according to the output control signal, and thus, only the image (10) can be output on the augmented reality display (200).
전술한 바와 같이, 본 발명은 자발적 뇌 신호를 이용하여 증강 화면(20)을 온오프함으로써 지속적인 시각 자극 노출에 의한 환자의 피로도 및 스트레스를 감소시킬 수 있다는 장점이 있다.As described above, the present invention has the advantage of reducing patient fatigue and stress caused by continuous exposure to visual stimuli by turning the augmented screen (20) on and off using voluntary brain signals.
이상과 같이 본 발명에 대해서 예시한 도면을 참조로 하여 설명하였으나, 본 명세서에 개시된 실시 예와 도면에 의해 본 발명이 한정되는 것은 아니며, 본 발명의 기술사상의 범위 내에서 통상의 기술자에 의해 다양한 변형이 이루어질 수 있음은 자명하다. 아울러 앞서 본 발명의 실시 예를 설명하면서 본 발명의 구성에 따른 작용 효과를 명시적으로 기재하여 설명하지 않았을 지라도, 해당 구성에 의해 예측 가능한 효과 또한 인정되어야 함은 당연하다.Although the present invention has been described with reference to the drawings exemplified above, it is to be understood that the present invention is not limited to the embodiments and drawings disclosed herein, and that various modifications may be made by those skilled in the art within the scope of the technical idea of the present invention. Furthermore, even if the operational effects according to the configuration of the present invention have not been explicitly described while describing the embodiments of the present invention, it is natural that the effects predictable by the corresponding configuration should also be acknowledged.
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220176913AKR102859360B1 (en) | 2022-12-16 | 2022-12-16 | Brain-computer interface system for autonomous driving using augmented reality |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220176913AKR102859360B1 (en) | 2022-12-16 | 2022-12-16 | Brain-computer interface system for autonomous driving using augmented reality |
| Publication Number | Publication Date |
|---|---|
| KR20240095616A KR20240095616A (en) | 2024-06-26 |
| KR102859360B1true KR102859360B1 (en) | 2025-09-12 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220176913AActiveKR102859360B1 (en) | 2022-12-16 | 2022-12-16 | Brain-computer interface system for autonomous driving using augmented reality |
| Country | Link |
|---|---|
| KR (1) | KR102859360B1 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160235323A1 (en)* | 2013-09-25 | 2016-08-18 | Mindmaze Sa | Physiological parameter measurement and feedback system |
| US20160282940A1 (en)* | 2015-03-23 | 2016-09-29 | Hyundai Motor Company | Display apparatus, vehicle and display method |
| KR101723841B1 (en)* | 2015-12-17 | 2017-04-18 | 주식회사 룩시드랩스 | Apparatus for eye-brain interface and method for controlling the same |
| US20210117000A1 (en)* | 2019-10-18 | 2021-04-22 | Hyundai Motor Company | Apparatus and method for selecting item using brain wave |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102029219B1 (en)* | 2017-10-23 | 2019-10-04 | 고려대학교 산학협력단 | Method for recogniging user intention by estimating brain signals, and brain-computer interface apparatus based on head mounted display implementing the method |
| KR102177158B1 (en)* | 2019-02-12 | 2020-11-10 | 김주원 | Robot controlling system |
| KR20190078553A (en)* | 2019-06-14 | 2019-07-04 | 엘지전자 주식회사 | Method for controlling vehicle and intelligent computing device for controlling the vehilcle |
| KR102349087B1 (en)* | 2019-10-10 | 2022-01-12 | 한국과학기술연구원 | Method for controlling robot based on brain-computer interface and apparatus for controlling meal assistance robot thereof |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160235323A1 (en)* | 2013-09-25 | 2016-08-18 | Mindmaze Sa | Physiological parameter measurement and feedback system |
| US20160282940A1 (en)* | 2015-03-23 | 2016-09-29 | Hyundai Motor Company | Display apparatus, vehicle and display method |
| KR101723841B1 (en)* | 2015-12-17 | 2017-04-18 | 주식회사 룩시드랩스 | Apparatus for eye-brain interface and method for controlling the same |
| US20210117000A1 (en)* | 2019-10-18 | 2021-04-22 | Hyundai Motor Company | Apparatus and method for selecting item using brain wave |
| Publication number | Publication date |
|---|---|
| KR20240095616A (en) | 2024-06-26 |
| Publication | Publication Date | Title |
|---|---|---|
| US11819273B2 (en) | Augmented and extended reality glasses for use in surgery visualization and telesurgery | |
| EP3525066B1 (en) | Peripheral vision in a human machine interface | |
| US10037076B2 (en) | Gesture-driven modifications of digital content shown by head-mounted displays | |
| EP3140719B1 (en) | Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects | |
| Al-Rahayfeh et al. | Eye tracking and head movement detection: A state-of-art survey | |
| Lin et al. | Powered wheelchair controlled by eye-tracking system. | |
| US10298911B2 (en) | Visualization of spatial and other relationships | |
| CN111788543A (en) | Image enhancement device with gaze tracking | |
| Magee et al. | A human–computer interface using symmetry between eyes to detect gaze direction | |
| US20150168724A1 (en) | Image display apparatus, image display program, and image display method | |
| Phillips et al. | Social interaction without vision: an assessment of assistive technology for the visually impaired | |
| Pagano et al. | Ecological interface design inspired by “the meaningful environment” | |
| Qian et al. | Restoring the awareness in the occluded visual field for optical see-through head-mounted displays | |
| Singer et al. | See-thru: Towards minimally obstructive eye-controlled wheelchair interfaces | |
| Beach et al. | Eye tracker system for use with head mounted displays | |
| KR102859360B1 (en) | Brain-computer interface system for autonomous driving using augmented reality | |
| WO2023244267A1 (en) | Systems and methods for human gait analysis, real-time feedback and rehabilitation using an extended-reality device | |
| RU2227930C2 (en) | Method and system for contactless data input in computer | |
| JPH11237867A (en) | Virtual space display device | |
| KR102798438B1 (en) | Virtual reality apparatus for setting up virtual display and operation method thereof | |
| El Moucary et al. | A low-cost full-scale auto eye-tracking system for mobility-impaired patients | |
| JPH1173273A (en) | Input device for the physically handicapped | |
| US20240200962A1 (en) | Providing directional awareness indicators based on context | |
| KR20240055528A (en) | Multi-functional brain-computer interface apparatus using augmented reality | |
| CN110333756B (en) | Holographic augmented reality system for gas aesthetic design consultation |
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application | St.27 status event code:A-0-1-A10-A12-nap-PA0109 | |
| PA0201 | Request for examination | St.27 status event code:A-1-2-D10-D11-exm-PA0201 | |
| R18-X000 | Changes to party contact information recorded | St.27 status event code:A-3-3-R10-R18-oth-X000 | |
| R18-X000 | Changes to party contact information recorded | St.27 status event code:A-3-3-R10-R18-oth-X000 | |
| P22-X000 | Classification modified | St.27 status event code:A-2-2-P10-P22-nap-X000 | |
| R18-X000 | Changes to party contact information recorded | St.27 status event code:A-3-3-R10-R18-oth-X000 | |
| R18-X000 | Changes to party contact information recorded | St.27 status event code:A-3-3-R10-R18-oth-X000 | |
| R18-X000 | Changes to party contact information recorded | St.27 status event code:A-3-3-R10-R18-oth-X000 | |
| PG1501 | Laying open of application | St.27 status event code:A-1-1-Q10-Q12-nap-PG1501 | |
| R18-X000 | Changes to party contact information recorded | St.27 status event code:A-3-3-R10-R18-oth-X000 | |
| R18-X000 | Changes to party contact information recorded | St.27 status event code:A-3-3-R10-R18-oth-X000 | |
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection | St.27 status event code:A-1-2-D10-D21-exm-PE0902 | |
| E13-X000 | Pre-grant limitation requested | St.27 status event code:A-2-3-E10-E13-lim-X000 | |
| P11-X000 | Amendment of application requested | St.27 status event code:A-2-2-P10-P11-nap-X000 | |
| PE0701 | Decision of registration | St.27 status event code:A-1-2-D10-D22-exm-PE0701 | |
| PR0701 | Registration of establishment | St.27 status event code:A-2-4-F10-F11-exm-PR0701 | |
| PR1002 | Payment of registration fee | St.27 status event code:A-2-2-U10-U11-oth-PR1002 Fee payment year number:1 | |
| PG1601 | Publication of registration | St.27 status event code:A-4-4-Q10-Q13-nap-PG1601 |