KR20110083770A - Method of performing the function of the terminal according to the recognition of eye blink and the terminal applying the same - Google Patents

Abstract

PURPOSE: A method for executing function which recognizes blink of eye and a terminal thereof are provided to improve the convenience of a user. CONSTITUTION: A terminal for executing function which recognizes blink of eye comprises an eye motion detecting unit which detect the movement of the eye and a control unit which executes a practicable command. If the eye motion detection unit detects the blink, the control unit extracts an function corresponding to the eye blink.

Description

Translated fromKorean

눈 깜빡임의 인식에 따른 단말의 기능 수행 방법 및 이를 적용한 단말{METHOD FOR EXECUTING FUNCTION IN TERMINAL BY RECONGNIZING BLINK OF EYE, AND TERMINAL THEREOF}Method of performing the function of the terminal according to the blink of an eye and a terminal applying the same {METHOD FOR EXECUTING FUNCTION IN TERMINAL BY RECONGNIZING BLINK OF EYE, AND TERMINAL THEREOF}

본 발명은 단말의 기능 수행 방법에 관한 것으로, 더욱 상세하게는 사용자의 눈 깜빡임을 인식하고, 인식한 눈 깜빡임에 대응하여 특정 기능을 수행하는 눈 깜빡임의 인식에 따른 단말의 기능 수행 방법 및 이를 적용한 단말에 관한 것이다.The present invention relates to a method of performing a function of a terminal, and more particularly, to recognize a user's eye blink, and to perform a function of a terminal according to the recognition of an eye blink performing a specific function in response to the recognized eye blink, and applying the same. It relates to a terminal.

이동 통신 단말, PDA(Personal Data Assistant), PMP(Portable Multimedia Player), 노트북, 디지털 카메라, MP3 플레이어 등과 같은 단말 장치들은, 사용자가 단말의 기능을 실행시키거나 데이터를 입력하기 위하여 하나 이상의 입력 수단을 구비한다.Terminal devices such as a mobile communication terminal, a personal data assistant (PDA), a portable multimedia player (PMP), a notebook computer, a digital camera, an MP3 player, etc., provide one or more input means for the user to execute a function of the terminal or input data. Equipped.

대표적인 입력 수단으로서, 다수의 버튼으로 이루어지는 키패드를 들 수 있으며, 이는 다수의 버튼별로 서로 다른 기능이 설정되어 있어, 사용자가 손으로 특정 버튼을 누르거나, 둘 이상의 버튼을 조합하여 조작함에 의해 원하는 기능을 실행시키거나 데이터를 입력할 수 있다. 이외에 터치 패드, 터치스크린 등도 이용되는데, 이는 상기 키패드와 구현 형태에서만 차이가 있을 뿐 조작 방식은 거의 동일하다. 또한, 방향 조작이 용이하도록 개발된 조이스틱, 스크롤 휠, 마우스 등이나, 텍스트를 입력하거나 선을 그리기에 용이하도록 개발된 스타일러스(stylus) 등도 있다.As a representative input means, there is a keypad consisting of a plurality of buttons, which are different functions are set for each of a plurality of buttons, the user desired function by pressing a specific button or a combination of two or more buttons by hand Can be executed or data can be entered. In addition, a touch pad, a touch screen, or the like is also used, which differs only in the implementation form from the keypad, and the operation method is almost the same. In addition, a joystick, a scroll wheel, a mouse, and the like, which are developed for easy direction manipulation, and a stylus, which is developed for inputting text or drawing a line, are also available.

그런데, 기존에 나와 있는 대부분의 입력 장치의 입력 방식은, 사용자가 손으로 조작하는 방식으로 이루어져 있기 때문에, 손의 사용이 어려운 경우(예를 들어, 손에 장애가 있거나, 손으로 다른 일을 하고 있는 경우 등)에는 단말의 기능을 실행시키거나 데이터를 입력하는데 어려움이 있다.By the way, since the input method of most input devices described above is performed by a user's hand operation, it is difficult to use the hand (for example, the hand has a handicap or is doing other work with the hand). Case, etc.), it is difficult to execute a function of a terminal or input data.

특히, 이동통신 단말의 사용시, 통화 중에 단말에 저장된 정보(예컨대, 일정관리, 전화번호부, 메시지 수신함, 컨텐츠 보관함 등에 저장된 정보)등을 이용하는 경우가 종종 발생한다. 예를 들어, 통화 중 상대방이 지인의 전화번호를 물어보거나 상대방에게 알려줄 메시지가 메시지 수신함에 저장되어 있는 경우, 통화 도중에 전화번호부나 메시지 수신함을 실행시켜야 하는 경우가 발생한다. 이러한 경우, 기존의 단말 장치에서는, 사용자는 통화 도중에 손으로 키패드의 버튼을 여러 번 조작하여야 하기 때문에 사용자 입장에서 불편한 점이 많다.In particular, when using a mobile communication terminal, information stored in the terminal (eg, information stored in a schedule, a phone book, a message box, a content box, etc.) often occurs during a call. For example, when a caller asks for an acquaintance's phone number or a message to inform the caller is stored in the message inbox, a phone book or a message inbox may be executed during the call. In this case, in the conventional terminal device, the user has many inconveniences from the user's point of view because he has to manipulate the buttons of the keypad several times with his hand during the call.

이에, 본 발명은 사용자의 눈 깜빡임을 인식하고, 인식한 눈 깜빡임에 대응하는 기능을 수행함으로써 사용자가 눈을 깜빡이는 간단한 동작만으로 단말의 특정 기능을 실행시킬 수 있는 눈 깜빡임의 인식에 따른 단말의 기능 수행 방법 및 이를 적용한 단말을 제공하고자 한다.Accordingly, the present invention recognizes the blink of the user, and by performing a function corresponding to the recognized eye blink, the user of the terminal according to the recognition of the eye blink that can execute a specific function of the terminal only by a simple operation of blinking the eye. It is intended to provide a method of performing a function and a terminal using the same.

상기 과제를 해결하기 위한 수단으로서, 본 발명에 의한 단말은, 눈 움직임 감지부와, 제어부를 포함한다. 상기 눈 움직임 감지부는 사용자의 눈 움직임을 감지한다. 상기 제어부는 상기 눈 움직임 감지부를 통해 사용자의 눈 움직임을 모니터링하는 중에, 특정 눈 깜빡임을 인식하면, 상기 특정 눈 깜빡임에 대응하는 기능 실행 명령을 추출하고, 상기 추출한 기능 실행 명령을 실행한다.As a means for solving the above problems, the terminal according to the present invention includes an eye movement detector and a controller. The eye movement detector detects eye movement of a user. If the control unit recognizes a specific eye blink while monitoring the eye movement of the user through the eye movement detecting unit, the controller extracts a function execution command corresponding to the specific eye blink and executes the extracted function execution command.

본 발명에 의한 단말은 저장부를 더 포함할 수 있다. 상기 저장부는 눈 깜빡임과 대응하는 기능 실행 명령을 매칭하는 대응 테이블을 저장하여, 상기 제어부로 눈 깜빡임에 대응하는 기능 실행 명령을 제공한다.The terminal according to the present invention may further include a storage unit. The storage unit stores a corresponding table that matches a blinking function and a function execution command to provide a function execution command corresponding to the blinking of the eye to the controller.

본 발명에 의한 단말에 있어서, 상기 눈 움직임 감지부는 사용자의 눈 및 눈 주변을 포함하는 영상을 촬영하는 카메라로 이루어지고, 상기 제어부는 영상 처리를 통해 상기 카메라로 촬영된 영상을 분석하여, 홍채의 사라짐 또는 눈썹의 변화를 포함하는 눈 움직임을 검출하고, 이로부터 눈 깜빡임을 인식할 수 있다.In the terminal according to the present invention, the eye movement detection unit is composed of a camera for capturing an image including the eyes and the eyes of the user, the control unit analyzes the image taken by the camera through the image processing, Eye movements, including disappearance or changes in eyebrows, can be detected and eye blinks can be recognized therefrom.

본 발명에 의한 단말에 있어서, 상기 눈 움직임 감지부는 사용자의 좌,우측 눈의 주변에 근접하여 설치되어, 상기 눈 주변의 근육의 움직임을 감지하고, 감지신호를 상기 제어부로 전송하는 하나 이상의 눈 움직임 감지 센서를 포함하여 이루어지고, 상기 제어부는 상기 하나 이상의 눈 움직임 감지 센서의 감지신호를 분석하여, 눈 깜빡임을 인식할 수 있다.In the terminal according to the present invention, the eye movement detection unit is installed in close proximity to the left and right eyes of the user, one or more eye movements to detect the movement of the muscles around the eye, and transmits a detection signal to the controller Including a detection sensor, the controller may recognize the eye blink by analyzing the detection signal of the one or more eye motion detection sensor.

본 발명에 의한 단말은, 상기 하나 이상의 눈 움직임 감지 센서에서 전송된 감지신호를 수신하여 상기 제어부로 전달하는 무선 통신부를 더 포함할 수 있다.The terminal according to the present invention may further include a wireless communication unit which receives the detection signal transmitted from the one or more eye motion detection sensors and transmits it to the controller.

본 발명에 의한 단말에 있어서, 상기 하나 이상의 눈 움직임 감지 센서는 사용자가 착용하는 안경에 설치될 수 있다.In the terminal according to the present invention, the one or more eye motion sensor may be installed in the glasses worn by the user.

더하여, 본 발명은 상기 과제를 해결하기 위한 다른 수단으로서, 사용자의 눈 움직임을 모니터링하는 단계; 눈 움직임을 모니터링 중에 특정 눈 깜빡임을 인식하면, 상기 특정 눈 깜빡임에 대응하는 기능 실행 명령을 추출하는 단계; 및 상기 추출한 기능 실행 명령을 실행하는 단계;를 포함하는 눈 깜빡임의 인식에 따른 단말의 기능 수행 방법을 제공한다.In addition, the present invention provides another means for solving the above problem, the step of monitoring the eye movement of the user; Extracting a function execution command corresponding to the specific eye blink when recognizing a specific eye blink while monitoring the eye movement; And executing the extracted function execution command.

상기 모니터링하는 단계는, 카메라를 통해 사용자의 눈 및 그 주변을 포함하는 영상을 촬영하고, 상기 촬영된 영상을 분석하여, 사용자의 홍채가 사라지는 횟수 또는 눈썹의 모양 변화의 검출을 통해 사용자의 눈 움직임을 모니터링할 수 있다.The monitoring may include capturing an image including a user's eyes and its surroundings through a camera, analyzing the photographed image, and moving the user's eyes by detecting the number of times the user's iris disappears or a change in the shape of an eyebrow. Can be monitored.

상기 모니터링하는 단계는, 하나 이상의 센서를 통해 사용자의 좌측 및 우측 눈 주변의 근육의 움직임을 감지하고, 하나 이상의 센서의 감지 신호를 분석함에 의하여 눈 움직임을 모니터링할 수 있다.The monitoring may include detecting eye movements of the muscles around the user's left and right eyes through one or more sensors, and monitoring eye movements by analyzing detection signals of one or more sensors.

상기 단말의 기능 수행 방법은, 상기 사용자의 눈 움직임을 모니터링하기 전에, 눈 깜빡임과 대응하는 기능 실행 명령을 매칭시킨 대응 테이블을 구성하여 저장하는 단계를 더 포함하고, 상기 대응 테이블을 참조하여 상기 기능 명령 실행을 추출하도록 할 수 있다.The method of performing a function of the terminal may further include constructing and storing a corresponding table matching eye blinks and corresponding function execution commands before monitoring the eye movement of the user, and referring to the corresponding table. You can have it extract the command execution.

본 발명에 따르면, 단말이 사용자의 눈 깜빡임을 인식하고, 인식한 눈 깜빡임에 대응하는 기능을 수행하므로, 사용자는 손을 사용하지 않고, 눈을 깜빡이는 간단한 동작만으로 단말에서 원하는 기능을 실행시킬 수 있으며, 그 결과, 사용자의 편의성이 높아지는 우수한 효과가 있다.According to the present invention, since the terminal recognizes the user's eye blink and performs a function corresponding to the recognized eye blink, the user can execute a desired function in the terminal with a simple operation of blinking the eye without using a hand. As a result, there is an excellent effect that the user's convenience is increased.

도 1은 본 발명에 따른 단말의 기본 구조를 보인 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 단말의 상세 구성을 나타낸 블록도이다.
도 3은 본 발명에 따른 눈 깜빡임의 인식에 따른 단말의 기능 수행 방법을 보인 순서도이다.
도 4는 본 발명에 따른 단말의 기능 수행 과정의 일 예를 보인 예시도이다.1 is a block diagram showing the basic structure of a terminal according to the present invention.
2 is a block diagram showing a detailed configuration of a terminal according to an embodiment of the present invention.
3 is a flowchart illustrating a method of performing a function of a terminal according to recognition of eye blinking according to the present invention.
4 is an exemplary view illustrating an example of a function performing process of a terminal according to the present invention.

이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세하게 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, in the following description and the accompanying drawings, detailed descriptions of well-known functions or configurations that may obscure the subject matter of the present invention will be omitted. In addition, it should be noted that like elements are denoted by the same reference numerals as much as possible throughout the drawings.

도 1은 본 발명에 따른 단말의 기본 구성을 나타낸 블록도이다.1 is a block diagram showing the basic configuration of a terminal according to the present invention.

도 1을 참조하면, 본 발명에 따른 단말(100)은, 기본적으로, 눈 움직임 감지부(10)와, 제어부(20)를 포함하며, 여기에, 저장부(30)를 더 포함할 수 있다.Referring to FIG. 1, the terminal 100 according to the present invention basically includes an eyemovement detecting unit 10 and acontrol unit 20, and may further include astorage unit 30. .

먼저, 본 발명이 적용되는 단말(100)은, 하나 이상의 임의 기능을 수행하도록 구현된 사용자 장치로서, 예를 들어, 이동 통신 단말, PDA(Personal Data Assistant), PMP(Portable Multimedia Player), 노트북, 디지털 카메라, MP3 Player 등 입력 수단이 요구되는 모든 종류의 사용자 단말 장치가 될 수 있다.First, the terminal 100 to which the present invention is applied is a user device implemented to perform one or more arbitrary functions, for example, a mobile communication terminal, a personal data assistant (PDA), a portable multimedia player (PMP), a notebook computer, Any type of user terminal device requiring an input means such as a digital camera or an MP3 player can be used.

그리고, 상기 눈 움직임 감지부(10)는, 특정 눈의 깜빡임을 감지하기 위하여, 사용자의 눈 움직임을 모니터링한다. 더 구체적으로는, 사용자의 홍채가 사라지는 횟수, 눈 주위의 근육 움직임 또는 눈썹의 모양 변화 등과 같은 사용자의 눈 움직임을 모니터링한다. 이를 위하여, 상기 눈 움직임 감지부(10)는, 사용자의 눈 및 눈 주변의 영상을 촬영할 수 있는 카메라, 또는 사용자의 눈 주변의 근육의 미세한 움직임을 감지하는 하나 이상의 눈 움직임 감지 센서(예를 들어, 적외선 센서)로 구현될 수 있다. 이때, 카메라의 경우 상기 단말(100) 내에 구비될 수 있으나, 눈 움직임 감지 센서는 경우에 따라서 사용자의 눈에 근접하여야 하므로, 단말(100)과는 별도로 다른 물품(예를 들어, 안경 또는 이어폰 등)에 설치되고, 유/무선 통신 기능을 통해 상기 제어부(20)로 감지 신호를 전송하도록 구현될 수 있다.The eyemovement detecting unit 10 monitors the eye movement of the user in order to detect blinking of a specific eye. More specifically, the user's eye movements are monitored, such as the number of times the user's iris disappears, muscle movement around the eye, or changes in the shape of the eyebrows. To this end, the eyemovement detecting unit 10 may include a camera capable of capturing an image of the eye and the eyes of the user, or one or more eye motion detecting sensors (for example, detecting fine movements of muscles around the eyes of the user). , An infrared sensor). In this case, the camera may be provided in the terminal 100, but since the eye motion detection sensor should be close to the user's eye in some cases, a separate article (for example, glasses or earphones) from the terminal 100 is provided. ) And may be implemented to transmit a detection signal to thecontrol unit 20 through a wired / wireless communication function.

그리고, 상기 카메라를 이용하는 경우, 상기 카메라가 사용자의 눈 및 그 주변을 포함하는 영상을 촬영하면, 상기 촬영된 영상을 분석하여, 사용자의 눈 영역을 인식하고, 상기 인식된 눈 영역에서 홍채의 사라짐, 또는 눈썹의 모양 변화를 검출함으로써, 사용자의 눈 깜빡임을 감지할 수 있게 된다.When the camera is used, when the camera captures an image including the user's eyes and its surroundings, the captured image is analyzed to recognize the user's eye region, and the iris disappears from the recognized eye region. By detecting the shape change of the eyebrows, the eye blink of the user can be detected.

또한, 상기 눈 움직임 감지 센서를 이용하는 경우, 상기 눈 움직임 감지 센서에 의하여 감지된 눈 주변의 근육의 움직임을 분석함으로써, 사용자의 눈 깜빡임을 감지할 수 있다. 이때, 상기 눈 움직임 감지 센서는, 사용자의 눈에 근접하여 설치되는 것이 바람직하며, 이 경우, 사용자가 착용하는 안경에 설치될 수 있다. 이와 관련하여서는 다음에 더 구체적으로 설명한다.In addition, when the eye motion sensor is used, the eye blink of the user may be detected by analyzing the movement of muscles around the eye detected by the eye motion sensor. In this case, the eye motion detection sensor is preferably installed in close proximity to the eyes of the user, in this case, may be installed in the glasses worn by the user. This is described in more detail below.

상기 제어부(20)는, 상기 눈 움직임 감지부(10)에 의해 감지된 사용자의 눈 움직임을 분석하여 특정 눈 깜빡임을 인식하고, 상기 인식한 눈 깜빡임에 대응하는 기능 실행 명령을 추출하여, 상기 추출한 기능 실행 명령을 실행한다. 일 예로서, 상기 눈 움직임 감지부(10)가 카메라로 구현되는 경우, 상기 제어부(20)는 영상 처리 기술을 통해 카메라로부터 제공된 영상을 분석하여, 특정 눈의 깜빡임을 인식한다. 다른 예로서, 상기 눈 움직임 감지부(10)가 눈 움직임 감지 센서로 구현된 경우, 눈 움직임 감지 센서의 센싱값의 비교 분석을 통하여, 눈 깜빡임의 발생 여부를 인식한다. 그리고, 상기 제어부(20)는 특정 눈 깜빡임이 인식되면, 상기 인식한 특정 눈 깜빡임에 대응하는 기능 실행 명령을 추출하여, 상기 추출한 기능 실행 명령을 실행한다. 여기서, 기능 실행 명령은, 해당 단말(100)에 설정된 기능을 실행하는 명령을 말하며, 이동 통신 단말을 예로 들면, 메시지 수신 확인, 통화, 전화번호부 검색, 일정 관리, 컨텐츠 보관함 확인 등이 될 수 있다. 그리고, 특정 눈 깜빡임은, 기능 실행 명령이 설정되어 있는 눈의 깜빡임으로서, 예를 들어, 왼쪽 눈 깜빡임, 오른쪽 눈 깜빡임, 양쪽 눈 깜빡임 등이 될 수 있으며, 더하여, 일상적인 눈의 깜빡임과 구분할 수 있도록, 눈의 깜빡임이 단위 시간 내에 일정 횟수 연속하여 이루어지거나, 눈을 감는 시점과 뜨는 시점 간의 시간차가 설정된 범위 이내인 깜빡임 등으로 설정할 수 있다. 그리고 상기 제어부(20)는 이러한 특정 눈 깜빡임 중에서, 상기 인식한 특정 눈 깜빡임에 대응하는 기능 실행 명령을 추출하여 실행한다. 이때, 상기 특정 눈 깜빡임에 대하여 하나의 기능 실행 명령이 설정되어 있을 수 도 있으며, 또한, 단말(100)의 현재 동작 상태별로 서로 다른 기능 실행 명령이 해당 특정 눈 깜빡임에 대응하여 설정될 수도 있다. 예를 들어, 이동통신단말에서, 통화중 상태에서, 왼쪽 눈 깜빡임은 메시지 수신 확인 명령이 되고, 메시지 수신 확인 상태에서, 왼쪽 눈 깜빡임은 메시지 수신 확인 취소 명령이 되도록 설정할 수 있다. 이에 의하면, 간단한 눈 깜빡임 동작을 통하여, 더욱 다양한 기능을 실행시킬 수 있다.Thecontrol unit 20 analyzes the user's eye movement detected by the eyemovement detecting unit 10 to recognize a specific eye blink, extracts a function execution command corresponding to the recognized eye blink, and extracts the extracted eye action. Run the function run command. As an example, when the eyemovement detecting unit 10 is implemented as a camera, thecontroller 20 analyzes an image provided from the camera through an image processing technology and recognizes blinking of a specific eye. As another example, when theeye motion sensor 10 is implemented as an eye motion sensor, it recognizes whether eye blink occurs through a comparative analysis of sensing values of the eye motion sensor. When the specific eye blink is recognized, thecontroller 20 extracts a function execution command corresponding to the recognized specific eye blink, and executes the extracted function execution command. Here, the function execution command refers to a command for executing a function set in the corresponding terminal 100. For example, the mobile communication terminal may be a message reception confirmation, a call, a phonebook search, a schedule management, a content storage check, or the like. . The specific eye blink may be, for example, a left eye blink, a right eye blink, or both eye blinks as a blink of an eye to which a function execution command is set. The blinking of the eyes may be continuously performed a predetermined number of times within a unit time, or may be set to blinking in which the time difference between the closing time and the opening time is within a set range. Thecontroller 20 extracts and executes a function execution command corresponding to the recognized specific eye blink among the specific eye blinks. In this case, one function execution command may be set for the specific eye blink, or different function execution commands may be set corresponding to the specific eye blink for each current operation state of the terminal 100. For example, in the mobile communication terminal, in the busy state, the left eye blink may be a message acknowledgment command, and in the message acknowledgment state, the left eye blink may be a message acknowledgment cancel command. According to this, more various functions can be executed through a simple blink operation.

상기 저장부(20)는, 상기 특정 눈 깜빡임과 기능 실행 명령의 대응 테이블을 저장하고 있으며, 상기 제어부(20)에 상기 인식한 특정 눈 깜빡임에 대응하는 기능 실행 명령의 추출시, 상기 대응 테이블을 상기 제어부(20)에 제공한다. 상기 대응 테이블은, 기본적으로 특정 눈 깜박임과 대응하는 기능 실행 명령을 매칭하며, 또한, 단말의 현재 동작 상태에서 특정 눈 깜빡임에 대응한 기능 실행 명령을 매칭한다. 아래의 표 1은 상기 저장부(20)에 저장되는 대응 테이블을 예시한 것이다.Thestorage unit 20 stores a corresponding table of the specific eye blink and a function execution command, and when the function execution command corresponding to the recognized specific eye blink is extracted to thecontrol unit 20, the corresponding table is stored. It provides to thecontrol unit 20. The correspondence table basically matches a function execution command corresponding to a specific eye blink, and also matches a function execution command corresponding to a specific eye blink in a current operation state of the terminal. Table 1 below illustrates the correspondence table stored in thestorage unit 20.

단말의 동작 상태Operation state of the terminal눈 깜빡임Blinking eyes기능 실행 명령Execute command통화중calling왼쪽 눈 깜빡임Left eye blink메시지 수신함Inbox received오른쪽 눈 깜빡임Right blink전화번호부Phone book양쪽 눈 2회 연속 깜빡임Two eyes blink continuously일정 관리Schedule management메시지 수신함Inbox received왼쪽 눈 깜빡임Left eye blink메시지 확인Check message오른쪽 눈 깜빡임Right blink메시지 수신함 취소Cancel message inbox양쪽 눈 2회 연속 깜빡임Two eyes blink continuously메시지 전달Message delivery

상기 표 1을 참조하면, 단말이 통화중 상태에서, 왼쪽 눈 깜빡임은, 메시지 수신함을 실행시키라는 명령에 대응하고, 오른쪽 눈 깜빡임은 전화번호부를 실행시키라는 명령에 대응한다. 또한, 메시지 수신함을 실행한 상태에서 왼쪽 눈 깜빡임은 메시지의 내용을 확인하라는 메시지 확인 명령에 대응하고, 오른쪽 눈 깜빡임은 메시지 수신함의 실행을 취소하라는 명령에 대응한다. 이와 같이, 눈 깜빡임 및 단말의 동작 상태별로 서로 다른 기능 실행 명령을 설정하여 대응 테이블을 구현할 수 있다. 더하여, 앞서 설명한 바와 같이, 일상적인 눈 깜빡임과 구별할 수 있도록 하기 위하여, 눈을 감고 뜨는 시간 차가 1초 이상인 경우를 기능 실행을 위한 상기 눈 깜빡임이 인식된 것으로 설정할 수도 있다.Referring to Table 1, when the terminal is busy, the left eye blink corresponds to a command to execute a message inbox, and the right eye blink corresponds to a command to execute a phone book. In addition, the left eye blink corresponds to a command for confirming the contents of the message while the left eye blink corresponds to the command for canceling the execution of the message inbox. In this way, a corresponding table may be implemented by setting different function execution commands for each blinking state and an operation state of the terminal. In addition, as described above, in order to be distinguished from ordinary eye blinks, the case where the eye closing time is more than 1 second may be set as recognized by the eye blinks for executing the function.

도 2는 본 발명의 일 실시 예에 따른 단말의 상세 구성을 나타낸 것이다.2 shows a detailed configuration of a terminal according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일 실시 예에 따른 단말(200)은, 상기 눈 움직임 감지부(10)가, 사용자가 착용하는 안경에 설치되어, 사용자의 좌측 및 우측 눈 주변의 근육의 움직임을 감지하여, 감지 신호를 무선 신호로 송신하는 하나 이상의 눈 움직임 감지 센서(11,12)로 구현된다. 이때, 단말(200)은, 상기 하나 이상의 눈 움직 감지 센서(11,12)로부터 송신된 감지 신호를 수신하여 제어부(20)로 전달하는 무선 통신부(40)를 더 포함한다. 따라서, 상기 안경에 설치된 제1,2 눈 움직임 감지 센서(11,12)가 사용자의 눈 주변의 근육의 움직임을 감지하여, 감지 신호를 무선 신호 형태로 전송하고, 이를 무선 통신부(50)가 수신하여 제어부(20)로 전달한다. 상기 제어부(20)와 저장부(30)의 동작에 대해서는 앞서 도 1을 참조한 설명에서 상세하게 설명되어 있으므로, 상세 설명은 생략한다.2, the terminal 200 according to an embodiment of the present invention, the eyemovement detection unit 10 is installed in the glasses worn by the user, the movement of the muscles around the left and right eyes of the user It is implemented by one or more eye motion detection sensors (11, 12) to detect the, to transmit the detection signal as a wireless signal. In this case, the terminal 200 further includes awireless communication unit 40 which receives the detection signals transmitted from the one or more eyemovement detection sensors 11 and 12 and transmits them to thecontrol unit 20. Accordingly, the first and second eyemovement detection sensors 11 and 12 installed in the glasses detect the movement of the muscles around the user's eyes, and transmit the detection signal in the form of a wireless signal, which is received by the wireless communication unit 50. To thecontrol unit 20. Operations of thecontrol unit 20 and thestorage unit 30 are described in detail with reference to FIG. 1, and thus, detailed descriptions thereof will be omitted.

다음으로, 도 3을 참조하여, 본 발명에 따른 단말에서의 눈 깜빡임 인식에 따른 단말의 기능 수행 과정을 설명한다.Next, a process of performing a function of the terminal according to eye blink recognition in the terminal according to the present invention will be described with reference to FIG. 3.

도 3은 본 발명의 눈 깜빡임의 인식에 따른 단말의 기능 수행 방법을 도시한 순서도이다.3 is a flowchart illustrating a method of performing a function of a terminal according to recognition of eye blinking according to the present invention.

도 3을 참조하면, 본 발명에 따른 단말은, 사용자의 명령을 인지하기 위하여, 상기 눈 움직임 감지부(10)를 통해 사용자의 좌측 및 우측 눈의 움직임을 모니터링한다(S31). 더 구체적으로는, 카메라를 통해 사용자의 좌측 및 우측 눈 주변의 영상을 촬영하고, 촬영된 영상을 분석하여 홍채가 사라짐 또는 눈썹의 모양 변화를 포함하는 눈 움직임을 모니터링하거나, 센서를 통해 사용자의 좌측 및 우측 눈 주변의 근육의 움직임을 감지하여, 눈 움직임을 모니터링한다.Referring to FIG. 3, the terminal monitors the movement of the left and right eyes of the user through the eyemovement detecting unit 10 in order to recognize a user's command (S31). More specifically, the camera captures images around the user's left and right eyes, analyzes the captured images, and monitors eye movements including iris disappearance or changes in the shape of the eyebrows, or through the sensor on the left side of the user. And by detecting the movement of muscles around the right eye to monitor eye movement.

상기 눈 움직임을 모니터링하는 중에, 제어부(20)가 특정 눈 깜빡임을 인식하면(S32), 상기 저장부(30)에 저장된 대응 테이블을 검색하여, 상기 인식한 특정 눈 깜빡임에 대응하는 기능 실행 명령을 추출한다(S33). 단말의 동작 상태별로 대응하는 기능 실행 명령이 달라지는 경우에는, 현재 단말의 동작 상태를 파악하여, 상기 동작 상태 및 특정 눈 깜빡임에 대응하는 기능 실행 명령을 추출한다. 이를 위하여, 상기 대응 테이블이 상기 눈 움직임의 모니터링이 이루어지기 전에 미리 설정되어 저장부(30)에 저장된다.While monitoring the eye movement, if thecontrol unit 20 recognizes a specific eye blink (S32), thecontroller 20 searches for a corresponding table stored in thestorage unit 30, and executes a function execution command corresponding to the recognized specific eye blink. Extract (S33). If the function execution command corresponding to the operation state of the terminal is different, the operation state of the current terminal is grasped, and the function execution command corresponding to the operation state and a specific eye blink is extracted. To this end, the correspondence table is set in advance and stored in thestorage unit 30 before the eye movement is monitored.

이어서, 상기 제어부(30)는 상기 추출한 기능 실행 명령을 수행한다(S34).Subsequently, thecontroller 30 executes the extracted function execution command (S34).

이에 의하면, 사용자는 손을 사용하지 않고, 눈을 깜빡임으로써, 단말의 특정 기능을 실행시킬 수 있게 된다.According to this, the user can execute a specific function of the terminal by blinking an eye without using a hand.

도 4는 본 발명에 따른 단말의 기능 실행 과정의 예시도로서, 이동 통신 단말의 사용자 인터페이스 화면을 나타낸 것이다. 상기 도 4의 예는, 표 1에 예시한 대응 테이블을 적용한 경우의 실행 과정을 나타낸 것이다.4 is an exemplary diagram of a function execution process of a terminal according to the present invention, showing a user interface screen of a mobile communication terminal. The example of FIG. 4 shows an execution process when the correspondence table illustrated in Table 1 is applied.

도 4의 (a)에 도시된 바와 같이 이동 통신 단말이 사용자와 임의의 상대방과 통화 채널이 연결되어 있는 통화중 상태에서, 사용자의 왼쪽 눈 깜빡임이 인식되면, 상기 이동 통신 단말은 상기 표 1의 대응 테이블로부터 대응하는 기능 실행 명령을 실행하여, 도 4의 (b)와 같이 메시지 수신함을 열어 수신된 메시지 목록을 표시한다.As shown in (a) of FIG. 4, when the mobile communication terminal recognizes a user's left eye blinking in a call state in which a communication channel is connected to a user and an arbitrary counterpart, the mobile communication terminal is configured as shown in Table 1 above. The corresponding function execution command is executed from the correspondence table, and the message inbox is opened as shown in FIG. 4B to display the received message list.

이어서, 상기 이동 통신 단말은, 메시지 수신함 상태에서, 사용자의 왼쪽 눈 깜빡임을 감지하면, 메시지 수신 확인 기능을 실행하여, 도 4의 (c)와 같이 선택된 수신 메시지의 내용을 표시한다.Subsequently, when the mobile communication terminal detects the user's left eye blinking in the message receiving state, the mobile communication terminal executes a message receiving confirmation function and displays the contents of the selected received message as shown in FIG.

이상의 설명에서는, 메시지 수신 확인을 예로 들어 설명하였으나, 이에 한정되지 않고, 본 발명은 해당 단말이 가지고 있는 다양한 여러 기능 들을 실행시키기 위해 이용될 수 있다.In the above description, the message reception confirmation has been described as an example, but the present invention is not limited thereto, and the present invention may be used to execute various various functions of the corresponding terminal.

이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시 예에 대하여 개시하였으나, 여기에 개시된 실시 예외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다. 또한, 본 명세서와 도면에서 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, It will be apparent to those skilled in the art. In addition, although specific terms are used in the specification and the drawings, they are only used in a general sense to easily explain the technical contents of the present invention and to help the understanding of the present invention, and are not intended to limit the scope of the present invention.

본 발명은 이동통신 단말기, PMP, PDA, 노트북, MP3 플레이어와 같은 다양한 종류의 사용자 장치에 적용되어, 사용자의 눈 깜빡임을 인식하고, 인식한 눈 깜빡임에 대응하는 기능을 실행함으로써, 사용자가 눈을 깜빡이는 간단한 동작으로 해당 장치의 특정 기능을 실행시킬 수 있으며, 그 결과, 사용자의 편의성을 더 높일 수 있다.The present invention is applied to various types of user devices such as mobile communication terminals, PMPs, PDAs, notebook computers, and MP3 players, and recognizes eye blinks of the user, and executes a function corresponding to the recognized eye blinks, thereby allowing the user to close his eyes. It is possible to execute a specific function of the device by a simple blinking operation, and as a result, it is possible to further increase user convenience.

10 : 눈 움직임 감지부
20 : 제어부
30 : 저장부
11, 12 : 눈 움직임 감지 센서
40 : 이동 통신 단말10: eye movement detection unit
20: control unit
30: storage
11, 12: eye movement detection sensor
40: mobile communication terminal

Claims (14)

Translated fromKorean

사용자의 눈 움직임을 감지하는 눈 움직임 감지부; 및
상기 눈 움직임 감지부를 통해 사용자의 눈 움직임을 모니터링하는 중에, 특정 눈 깜빡임을 인식하면, 상기 특정 눈 깜빡임에 대응하는 기능 실행 명령을 추출하고, 상기 추출한 기능 실행 명령을 실행하는 제어부를 포함하는 단말.An eye movement detector configured to detect eye movement of a user; And
And a control unit configured to extract a function execution command corresponding to the specific eye blink and to execute the extracted function execution command when recognizing a specific eye blink while monitoring the eye movement of the user through the eye motion detection unit.제1항에 있어서,
상기 특정 눈 깜빡임과 대응하는 기능 실행 명령을 매칭시키는 대응 테이블을 저장하여, 상기 제어부로 특정 눈 깜빡임에 대응하는 기능 실행 명령을 제공하는 저장부를 더 포함하는 단말.The method of claim 1,
And a storage unit storing a corresponding table for matching the function execution command corresponding to the specific eye blink and providing the function execution command corresponding to the specific eye blink to the controller.제1항에 있어서,
상기 눈 움직임 감지부는 사용자의 눈 및 눈 주변을 포함하는 영상을 촬영하는 카메라로 이루어지고,
상기 제어부는 영상 처리를 통해 상기 카메라에서 촬영된 영상을 분석하고, 사용자의 홍채의 사라짐 또는 눈썹의 변화를 포함하는 눈 움직임을 모니터링하여, 상기 특정 눈 깜빡임을 인식하는 것을 특징으로 하는 단말.The method of claim 1,
The eye movement detection unit is composed of a camera for capturing an image including the user's eyes and the surrounding eyes,
The control unit analyzes the image taken by the camera through the image processing, and monitors the eye movement including the disappearance of the user's iris or the change of the eyebrows, the terminal characterized in that the recognition of the specific eye blink.제1항에 있어서, 상기 특정 눈 깜빡임은
눈을 감고 뜨는 데 걸리는 시간이 기설정된 기준 시간 이상인 것을 특징으로 하는 단말.The method of claim 1, wherein the specific eye blink
Terminal, characterized in that the time taken to close and open eyes is more than a predetermined reference time.제1항에 있어서, 상기 특정 눈 깜빡임은
일정 시간 이내에서 설정 횟수 이상 연속하여 눈을 깜빡인 것임을 특징으로 하는 단말.The method of claim 1, wherein the specific eye blink
Terminal characterized in that the eye blinks continuously for a predetermined number or more within a predetermined time.제1항에 있어서,
상기 눈 움직임 감지부는 사용자의 좌, 우측 눈 주변에 근접하여 설치되어, 상기 눈 주변의 근육의 움직임을 감지하고, 감지신호를 상기 제어부로 전송하는 하나 이상의 눈 움직임 감지 센서를 포함하여 이루어지고,
상기 제어부는 상기 하나 이상의 눈 움직임 감지 센서의 감지신호를 분석하여, 눈 움직임을 모니터링하는 것을 특징으로 하는 단말.The method of claim 1,
The eye movement detection unit is installed in close proximity to the left and right eyes of the user, and comprises one or more eye movement detection sensor for detecting the movement of the muscles around the eye, and transmits a detection signal to the controller,
The controller is characterized in that for monitoring the eye movement by analyzing the detection signal of the one or more eye motion detection sensor.제6항에 있어서,
상기 하나 이상의 눈 움직임 감지 센서에서 전송된 감지신호를 수신하여 상기 제어부로 전달하는 무선 통신부를 더 포함하는 것을 특징으로 하는 단말.The method of claim 6,
And a wireless communication unit which receives the detection signal transmitted from the one or more eye motion detection sensors and transmits the detected signal to the controller.제6항에 있어서,
상기 하나 이상의 눈 움직임 감지 센서는 사용자가 착용하는 안경에 설치되는 것을 특징으로 하는 단말.The method of claim 6,
The at least one eye movement sensor is characterized in that the terminal is installed in the glasses worn by the user.단말이 사용자의 눈 움직임을 모니터링하는 단계;
눈 움직임을 모니터링 중에 특정 눈 깜빡임을 인식하면, 상기 특정 눈 깜빡임에 대응하는 기능 실행 명령을 추출하는 단계; 및
상기 추출한 기능 실행 명령을 실행하는 단계;
를 포함하는 눈 깜빡임의 인식에 따른 단말의 기능 수행 방법.Monitoring, by the terminal, eye movement of the user;
Extracting a function execution command corresponding to the specific eye blink when recognizing a specific eye blink while monitoring the eye movement; And
Executing the extracted function execution command;
Method of performing a function of the terminal according to the recognition of eye blink comprising a.제9항에 있어서, 상기 모니터링하는 단계는
카메라를 통해 사용자의 눈 및 그 주변을 포함하는 영상을 촬영하고, 상기 촬영된 영상을 분석하여, 사용자의 홍채가 사라짐 또는 눈썹의 모양 변화를 포함하는 눈 움직임을 모니터링하는 단계인 것을 특징으로 하는 눈 깜빡임의 인식에 따른 단말의 기능 수행 방법.The method of claim 9, wherein the monitoring step
The step of monitoring the eye movement including the user's iris disappears or changes in the shape of the eyebrows by capturing an image including the user's eyes and its surroundings through the camera, and analyzing the photographed image Method of performing the function of the terminal according to the blinking recognition.제9항에 있어서, 상기 모니터링하는 단계는
하나 이상의 센서를 통해 사용자의 좌측 및 우측 눈 주변의 근육의 움직임을 감지하고, 상기 하나 이상의 센서의 감지 신호를 분석하여 눈 움직임을 모니터링하는 단계인 것을 특징으로 하는 눈 깜빡임의 인식에 따른 단말의 기능 수행 방법.The method of claim 9, wherein the monitoring step
Function of the terminal according to the recognition of eye blink, characterized in that the step of detecting the movement of the muscles around the left and right eyes of the user through at least one sensor, and analyzing the detection signal of the at least one sensor to monitor the eye movement. How to do it.제9항에 있어서,
상기 사용자의 눈 움직임을 모니터링하기 전에, 눈 깜빡임과 대응하는 기능 실행 명령을 매칭시킨 대응 테이블을 구성하여 저장하는 단계를 더 포함하고,
상기 대응 테이블을 참조하여 상기 기능 명령 실행을 추출하도록 하는 것을 특징으로 하는 눈 깜빡임의 인식에 따른 단말의 기능 수행 방법.10. The method of claim 9,
Before monitoring the eye movements of the user, further comprising constructing and storing a corresponding table matching the blinking eyes and corresponding function execution commands,
And extracting the execution of the function command by referring to the corresponding table.제9항에 있어서, 상기 특정 눈 깜빡임은
눈을 감고 뜨는 데 걸리는 시간이 기설정된 기준 시간 이상인 것임을 특징으로 하는 눈 깜빡임의 인식에 따른 단말의 기능 수행 방법.The method of claim 9, wherein the specific eye blink
Method for performing a function of the terminal according to the recognition of the eye blink, characterized in that the time taken to close and open the eyes is more than a predetermined reference time.제9항에 있어서, 상기 특정 눈 깜빡임은
일정 시간 이내에서 설정 횟수 이상 연속하여 눈을 깜빡인 것임을 특징으로 하는 눈 깜빡임의 인식에 따른 단말의 기능 수행 방법.The method of claim 9, wherein the specific eye blink
Method of performing a function of the terminal according to the recognition of eye blink, characterized in that the eye blinks continuously for a predetermined number of times or more within a predetermined time.

Images