KR20080028084A - EMG-based communication device and method using a mobile terminal - Google Patents

Abstract

Translated fromKorean

본 발명은 휴대 단말기를 이용하는 근전도 기반의 의사전달 장치 및 방법에 관한 것이다.The present invention relates to an EMG-based communication device and method using a mobile terminal.

이러한 본 발명은 각기 다른 값을 가지는 기준 근전도들과 수화소를 매핑시켜 저장하는 단계; 사용자의 현재 근전도를 수집하는 단계; 상기 현재 근전도와 일정 오차 이상의 유사율을 가지는 기준 근전도를 찾고, 상기 기준 근전도에 매핑되는 수화소를 추출하는 단계; 상기 수화소를 이용하여 수화 단어를 형성하는 단계; 상기 수화 단어를 이용하여 문장을 형성하는 단계; 및 상기 완성된 문장을 문자 또는 음성 중 적어도 하나로 알리는 단계;를 포함하는 것을 특징으로 한다.The present invention comprises the steps of mapping and storing the reference EMG having a different value and the hydride; Collecting a current EMG of the user; Finding a reference EMG having a similarity ratio greater than the current EMG and a predetermined error, and extracting a pixel mapped to the reference EMG; Forming a sign language word using the sign language; Forming a sentence using the sign language word; And informing the completed sentence by at least one of a text and a voice.

Description

Translated fromKorean

휴대 단말기를 이용하는 근전도 기반의 의사 전달 장치 및 방법{COMMUNICATION DEVICE AND METHOD ON THE BASIS OF ELECTROMYOGRAM USING A POTABLE DEVICE}TECHNICAL DEVICE AND METHOD ON THE BASIS OF ELECTROMYOGRAM USING A POTABLE DEVICE}

도 1은 본 발명의 실시 예에 따른 근전도 기반의 의사 전달 장치를 나타낸 도면,1 is a diagram showing an EMG-based communication device according to an embodiment of the present invention;

도 2는 본 발명의 암 밴드의 구성을 상세히 나타낸 도면,2 is a view showing in detail the configuration of the arm band of the present invention,

도 3은 본 발명의 휴대 단말기의 구성을 상세히 나타낸 도면,3 is a view showing in detail the configuration of a mobile terminal of the present invention;

도 4는 본 발명의 실시 예에 따른 근전도 기반의 의사 전달 방법을 나타낸 순서도,4 is a flowchart illustrating an EMG-based communication method according to an embodiment of the present invention;

도 5는 본 발명의 수화소를 토대로 수화 단어를 분석하는 과정을 나타낸 순서도,5 is a flowchart illustrating a process of analyzing a sign language word based on a hydration pixel of the present invention;

도 6은 본 발명의 수화 단어를 토대로 문장을 분석하는 과정을 나타낸 순서도,6 is a flowchart illustrating a process of analyzing a sentence based on a sign language word of the present invention;

도 7은 본 발명의 다른 실시 예에 따른 근전도 기반의 의사 전달 시스템을 나타낸 도면,7 is a diagram showing an EMG-based communication system according to another embodiment of the present invention;

도 8은 본 발명의 이동통신 단말기의 개략적인 구성을 나타낸 블록도.8 is a block diagram showing a schematic configuration of a mobile communication terminal of the present invention.

본 발명은 휴대 단말기를 이용하는 근전도 기반의 의사전달 장치 및 방법에 관한 것으로서, 특히 사용자의 근전도를 측정하고, 측정된 근전도와 수화에 사용되는 근전도를 상호 비교함으로써 사용자가 전달하고자 하는 의사를 상대에게 문자 또는 음성으로 전달할 수 있으며, 대화 상대자는 음성으로 이에 대한 응신을 할 경우, 문자로 변화하여 전달할 수 있는 휴대 단말기를 이용하는 근전도 기반의 의사전달 장치 및 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an EMG-based communication device and method using a mobile terminal, and in particular, measures the EMG of a user, compares the measured EMG and the EMG used for sign language, and sends a text message to a counterpart to a user to communicate. Alternatively, the present invention relates to an EMG-based communication device and method using a mobile terminal that can be transmitted by voice, and when a conversation partner responds to it by voice.

휴대 단말기는 휴대의 용이성과, 다양한 프로그램 저장이 가능하며, 활용도가 뛰어나 매우 많은 분야에서 다양하게 이용되고 있다.The portable terminal is easy to carry, can store various programs, and has excellent utility, and thus has been used in various fields.

그러나, 현재 휴대 단말기가 가지는 모든 기능은 일반 정상인을 모델로 하여 구현되어 있기 때문에, 장애인들의 사용이 거의 불가능한 실정이며, 이에 따라, 많은 수의 장애인들 휴대 단말기 사용에 있어서 차별대우를 받고 있는 것이 현실이다.However, since all functions of the mobile terminal are implemented based on the normal person, it is almost impossible for the disabled to use them, and accordingly, a large number of disabled people are discriminated against in using the mobile terminal. to be.

특히, 청각 및 언어장애인들은 앞을 볼 수 있지만, 소리를 듣지 못하고, 소리로서 의사전달을 할 수 없기 때문에, 청각 및 언어장애인들이 사용하는 언어인 수화를 통해 대화하고자 하는 상대와 직접 대면한 상태에서 감정표현 및 의사전달을 하고 있다. 이러한 특수한 상황에 놓인 장애인들은 종래의 휴대 단말기를 이용 하여 상호간의 의사전달을 할 수 없다. 즉, 기존 일반 휴대 단말기에 수화기능이 있는 것도 아니며, 기본적으로 휴대 단말기는 음성으로 의사전달을 하는 장치이기 때문에 청각 및 언어장애인들은 기존 휴대 단말기를 사용하여 멀리 떨어져 있는 사람들과 정보교환을 할 수 없는 등 인간의 기본 권리인 의사전달마저 누리지 못하는 불편함을 감소하며 살아가고 있다.In particular, hearing and speech impaired people can see ahead, but cannot hear and communicate as sound, so they are face-to-face with the person they are trying to talk to. Expressing and communicating emotions. Disabled people in such a special situation can not communicate with each other using a conventional portable terminal. That is, the existing general mobile terminal does not have a sign language function, and since the mobile terminal is basically a device for communicating by voice, hearing and speech impaired people cannot use the existing mobile terminal to exchange information with distant people. In other words, it is reducing the inconvenience of not being able to enjoy communication, which is the basic human right.

이에 따라, 상기 청각 및 언어장애인들이 이용할 수 있는 의사전달 장치 및 방법의 제안이 요구되고 있는 실정이다.Accordingly, there is a need for a proposal of a communication device and method that can be used by the hearing and speech impaired.

따라서 본 발명은 상술한 종래 기술의 문제점을 해결하기 위하여 창안된 것으로서, 본 발명의 목적은, 장애인들끼리 및 장애인과 일반인 사이에 의사전달이 가능한 휴대 단말기를 이용하는 근전도 기반의 의사전달 장치 및 방법을 제공함에 있다.Accordingly, the present invention has been made to solve the above problems of the prior art, an object of the present invention is to provide an EMG-based communication device and method using a portable terminal capable of communicating between the disabled and the disabled and the general public. In providing.

상기와 같은 목적들을 달성하기 위한 본 발명의 실시 예에 따른 장치는, 수화소와 매핑되는 기준 근전도 및 현재 수화를 수행 중인 근육의 현재 근전도를 측정하는 암 밴드; 상기 암 밴드로부터 상기 기준 근전도 및 상기 현재 근전도를 수신하여 상기 현재 근전도에 해당하는 문장을 완성하여 알리는 휴대 단말기를 포함하여 구성되는 것을 특징으로 한다.An apparatus according to an embodiment of the present invention for achieving the above object, the arm band for measuring the reference EMG mapped to the hydration and the current EMG of the muscle currently performing hydration; And a portable terminal receiving the reference EMG and the current EMG from the arm band and completing and informing a sentence corresponding to the current EMG.

상기와 같은 목적들을 달성하기 위한 본 발명의 실시 예에 따른 방법은, 각기 다른 값을 가지는 기준 근전도들과 수화소를 매핑시켜 저장하는 단계; 사용자의 현재 근전도를 수집하는 단계; 상기 현재 근전도와 일정 오차 이상의 유사율을 가지는 기준 근전도를 찾고, 상기 기준 근전도에 매핑되는 수화소를 추출하는 단계; 상기 수화소를 이용하여 수화 단어를 형성하는 단계; 상기 수화 단어를 이용하여 문장을 형성하는 단계; 및 상기 완성된 문장을 문자 또는 음성 중 적어도 하나로 알리는 단계;를 포함하는 것을 특징으로 한다.A method according to an embodiment of the present invention for achieving the above object, the step of mapping and storing the reference EMG having a different value and the hydride; Collecting a current EMG of the user; Finding a reference EMG having a similarity ratio greater than the current EMG and a predetermined error, and extracting a pixel mapped to the reference EMG; Forming a sign language word using the sign language; Forming a sentence using the sign language word; And informing the completed sentence by at least one of a text and a voice.

이하, 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기의 설명에서는 본 발명의 실시 예에 따른 동작을 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description, only the parts necessary for understanding the operation according to the embodiment of the present invention will be described, it should be noted that the description of other parts will be omitted so as not to distract from the gist of the present invention.

이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.The terms or words used in the specification and claims described below should not be construed as being limited to the ordinary or dictionary meanings, and the inventors are appropriate to the concept of terms in order to explain their invention in the best way. It should be interpreted as meanings and concepts in accordance with the technical spirit of the present invention based on the principle that it can be defined. Therefore, the embodiments described in the specification and the drawings shown in the drawings are only one of the most preferred embodiments of the present invention, and do not represent all of the technical idea of the present invention, various modifications that can be replaced at the time of the present application It should be understood that there may be equivalents and variations.

예를 들면, 이하에서는 휴대 단말기와 암 밴드 간에 근전도 송수신을 위하여 통신채널을 형성하고, 상기 통신채널을 블루투스 칩으로 형성하는 것을 이용하는 실시 예에 대하여 설명하기로 한다. 하지만, 본 발명의 휴대 단말기를 이용하는 근전도 기반의 의사전달 장치 및 방법과 이를 포함하는 대화 시스템 및 방법이 이에 한정되지는 않는다. 즉, 본 발명의 실시 예에 따른 휴대 단말기를 이용하는 근전도 기반의 의사전달 장치 및 방법과 이를 포함하는 대화 시스템 및 방법은 상술한 블루투스 뿐만 아니라, 유선 케이블이 이용될 수 있을 뿐만 아니라, 무선 중에서도, 지그비, 적외선 통신, UWB(Ultra Wide Band) 통신 등이 이용될 수 도 있으며, 상술한 기능들의 확장된 형태 및 변형된 형태들에 있어서도 다양하게 응용할 수도 있을 것이다.For example, a description will be given of an embodiment in which a communication channel is formed between the portable terminal and the arm band to transmit and receive EMG and the communication channel is formed of a Bluetooth chip. However, the EMG-based communication device and method using the mobile terminal of the present invention and the conversation system and method including the same are not limited thereto. That is, the EMG-based communication device and method using a mobile terminal according to an embodiment of the present invention and the conversation system and method including the same can not only use the above-described Bluetooth, but also a wired cable can be used, even in wireless, ZigBee Infrared communication, ultra wide band (UWB) communication, etc. may be used, and various applications may be applied to the expanded and modified forms of the above-described functions.

또한 이하에서는 발명의 요지를 명확히 하고, 그 설명 및 이해의 편의를 돕기 위하여, 수화를 우리나라에 적용되는 수화로서 김승국 교수가 "한국 수화의 심리언어학적 연구" 제3장 수화의 기호 구성 방법에서 설명하는 수화를 대표로 하여 설명하나, 본 발명이 이에 한정되는 것은 아니다. 즉, 본 발명의 휴대 단말기가 분석하고 문장으로 구성하는 수화는 외국의 각 특정 수화를 근전도와 매핑하여 동일한 문장 구성을 실시할 수 있다. 따라서, 본 발명의 수화는 근전도에 매핑되어 의사전달 수단이 될 수 있는 특정 기호로서 인식되어져야 할 것이다.In addition, in order to clarify the gist of the invention and to facilitate the explanation and understanding, the sign language is applied to Korea by Professor Seung-Kook Kim in "Psychological and Linguistic Studies of Korean Sign Language". Although a sign language will be described as a representative, the present invention is not limited thereto. That is, the sign language analyzed by the portable terminal of the present invention and composed of sentences may be configured to map the specific foreign sign language with the EMG to implement the same sentence structure. Therefore, the sign language of the present invention should be recognized as a specific symbol that can be mapped to EMG and become a communication means.

또한 본 발명의 실시 예에서는 상기 휴대 단말기를 이동통신 단말기를 예로 하여 설명하지만, 본 발명이 이에 한정되지는 않는다. 따라서 본 발명의 실시 예에 따른 상기 휴대 단말기는 음성 정보를 저장하거나, 음성 정보를 지정된 시간에 수신할 수 있는 단말기로서, 바람직하게는 디지털 방송 단말기, 개인 정보 단말 기(PDA, Personal Digital Assistant), 스마트 폰(Smart Phone), IMT-2000(International Mobile Telecommunication 2000) 단말기, WCDMA(Wideband Code Division Multiple Access) 단말기 및 UMTS(Universal Mobile Telecommunication Service) 단말기 등과 같은 모든 정보통신기기 및 멀티미디어 기기와, 그에 대한 응용에도 적용될 수 있음은 자명할 것이다.In addition, in the embodiment of the present invention, the mobile terminal will be described using a mobile communication terminal as an example, but the present invention is not limited thereto. Therefore, the portable terminal according to an embodiment of the present invention is a terminal capable of storing voice information or receiving voice information at a specified time, and preferably, a digital broadcasting terminal, a personal digital assistant (PDA), All information communication and multimedia devices such as smart phones, international mobile telecommunication 2000 (IMT-2000) terminals, wideband code division multiple access (WCDMA) terminals, and universal mobile telecommunication service (UMTS) terminals, and applications thereof It will be obvious that this can also be applied.

도 1은 본 발명의 실시 예에 따른 휴대 단말기를 이용하는 근전도 기반의 의사전달 장치를 나타낸 도면이다.1 is a diagram showing an EMG-based communication device using a mobile terminal according to an embodiment of the present invention.

상기 도 1을 참조하면, 본 발명의 실시예에 따른 휴대 단말기를 이용하는 근전도 기반의 의사전달 장치는 암 밴드(200), 휴대 단말기(100)를 포함하여 구성된다.Referring to FIG. 1, an EMG-based communication device using a portable terminal according to an embodiment of the present invention includes anarm band 200 and aportable terminal 100.

이러한 본 발명에 따른 휴대 단말기를 이용하는 근전도 기반의 의사전달 장치는 암 밴드(200)를 착용한 사용자의 기준 근전도(ST_Sig)와 현재 근전도현재 근전도(N_Sig)를 측정하고, 측정된 기준 근전도(ST_Sig)와 현재 근전도(N_Sig)를 휴대 단말기(100)에 전송한다. 이때, 기준 근전도(ST_Sig)를 수신한 휴대 단말기(100)는 상기 기준 근전도(ST_Sig)와 미리 매핑된 수화소(H_Ph)를 이용하여 문장을 완성하고, 완성된 문장을 대화 상대자에게 문자 또는 음성을 알린다. 여기서, 기준 근전도(ST_Sig)는 수화소(H_Ph)와 매핑되는 근전도를 의미하며, 현재 근전도(N_Sig)는 현재 사용자가 수화를 수행하는 동안 발생하는 근전도를 측정한 근전도를 의미한다.The EMG-based communication device using the mobile terminal according to the present invention measures the reference EMG (ST_Sig) and the current EMG current EMG (N_Sig) of the user wearing thearm band 200, and the measured reference EMG (ST_Sig) And the current EMG N_Sig to themobile terminal 100. At this time, themobile terminal 100 receiving the reference EMG ST_Sig completes the sentence using the reference EMG ST_Sig and the pre-mapped pixel H_Ph, and transmits the completed sentence to the conversation partner by text or voice. Inform. Here, the reference EMG (ST_Sig) refers to the EMG mapped to the hydration pixel (H_Ph), the current EMG (N_Sig) refers to the EMG measured the EMG generated while the current user performs the sign language.

이를 위하여 암 밴드(200)는 도 2에 도시된 바와 같이 밴드(210)와, 밴 드(210) 일측에 형성된 근전도 측정 센서(220), 측정된 기준 근전도(ST_Sig) 또는 현재 근전도(N_Sig)를 휴대 단말기(100)에 전송하기 위한 제 1 근거리 무선통신 모듈(230)을 포함하여 구성된다.To this end, thearm band 200 uses theband 210, theEMG sensor 220 formed on one side of theband 210, the measured reference EMG (ST_Sig) or the current EMG (N_Sig) as shown in FIG. 2. And a first short rangewireless communication module 230 for transmitting to theportable terminal 100.

상기 밴드(210)는 신축성이 있는 소재 또는 천 타입의 소재로 구성되어 팔의 특정 부분에 부착 또는 감기 방식으로 탈착될 수 있으며, 이하에서 설명하는 근전도 측정 센서(220)와 제 1 근거리 무선 통신 모듈(230)이 장착된다. 또한 밴드(210) 일측에는 탈착이 용이하도록 벨크로(Velcro), 스냅(Sanp), 버튼(Button) 등이 형성될 수 있다.Theband 210 may be made of an elastic material or a cloth type material, and may be attached or detached by attaching or winding to a specific part of the arm. TheEMG sensor 220 and the first short range wireless communication module described below will be described. 230 is mounted. In addition, Velcro, Snap, Button, etc. may be formed at one side of theband 210 to facilitate detachment.

상기 근전도 측정 센서(220)는 밴드(210) 일측에 고정되어 사용자의 근육의 전도를 측정할 수 있는 영역에 배치되어 기준 근전도(ST_Sig) 및 현재 근전도(N_Sig)를 측정하는 센서이다. 상기 근전도 측정 센서(220)는 사용자의 다양한 위치에 배치될 수 있으나, 탈착의 용이성 및 본 발명의 수화 사용에 따른 근육 사용 부위를 고려하여 팔에 배치되는 것이 바람직하다. 본 발명의 기준 근전도(ST_Sig) 또는 현재 근전도(N_Sig)는 바늘 근전도(nEMG)와 표면 근전도(sEMG)를 사용할 수 있으며, 근운동단위 집합체의 총체적인 시너지 활동을 정량적으로 분석할 수 있는 표면 근전도 방식이 적용되는 것이 바람직하다. 표면 근전도는 한 근육을 구성하는 많은 모터 유닛(motor unit)들의 활동전위(Motor unit Action Potential Trains : MUAPs)들을 합한 결과이다. 이러한 표면 근전도는 기준전극과 측정전극사이의 거리가 좁을수록 해당 근육부위의 활동만 모니터링하게 되며(specific-mode), 거리가 멀수록 여러 근육부위의 전반적 활동(general-mode)을 모니터링 할 수 있다. 또한 근전도 측정 센서(220)는 검출된 신호를 휴대 단말기(100)의 신호 분석시 필요한 적정한 크기를 가지도록 사용자의 일측에 부착된 전극과 센서 제어부 사이에 차동 증폭기, 1000배 증폭기, 노치 필터, 하이패스 필터, 마이크로 프로세서 유닛, 아날로그 디지털 컨버터 등을 더 포함할 수 있다.TheEMG sensor 220 is a sensor that is fixed to one side of theband 210 and is disposed in an area capable of measuring conduction of a user's muscle to measure reference EMG and current EMG. TheEMG sensor 220 may be disposed at various positions of the user, but is preferably disposed on the arm in consideration of the ease of detachment and the muscle use area according to the hydration use of the present invention. The reference EMG (ST_Sig) or the current EMG (N_Sig) of the present invention may use needle electromyography (nEMG) and surface electromyography (sEMG), and the surface electromyography method for quantitatively analyzing the overall synergistic activity of the muscle movement unit assembly It is preferable to apply. Surface EMG is the result of the sum of the motor unit Action Potential Trains (MUAPs) of many motor units that make up one muscle. The surface electromyography monitors only the activity of the corresponding muscle region as the distance between the reference electrode and the measuring electrode is narrower (specific-mode), and the general-mode of the various muscle regions can be monitored as the distance is longer. . In addition, theEMG sensor 220 is a differential amplifier, 1000 times amplifier, notch filter, high between the electrode and the sensor control unit attached to one side of the user to have the appropriate size required for the signal analysis of themobile terminal 100, the detected signal It may further include a pass filter, a microprocessor unit, an analog to digital converter.

상기 제 1 근거리 무선 통신 모듈(220)은 휴대 단말기(100)에 배치되는 제 2 근거리 무선 통신 모듈(110)과 통신채널을 형성하여 기준 근전도(ST_Sig) 또는 현재 근전도(N_Sig) 신호를 휴대 단말기(100)에 전송한다. 이러한 제 1 근거리 무선 통신 모듈(220)은 블루투스, 지그비, UWB(Ultra Wide Band) 통신, 적외선 통신 등이 이용될 수 있으나, 보급률을 고려하여 블루투스 칩으로 형성되는 것이 바람직할 것이다. 블루투스는 근거리, 일대다, 음성과 데이터 전송을 위한 무선 주파수(Radio Frequency)에 대한 표준이며, 금속이 아닌 고체를 통과해 통신할 수 있다. 상기 블루투스는, 약 10cm에서 10m에 이르는 거리 내의 단말 간 통신이 가능하고, 전파를 높이면 100m까지도 확장할 수 있다. 블루투스는 4GHz 대역의 ISM(Industrial Scientific Medical) 대역 (2.402GHz ~ 2.480GHz)을 이용하며, 1Mbps의 전송 속도와, 간섭방지를 위한 주파수 호핑 방식 (79/23 hop, 1600 hop/sec)을 이용하며, 저소비 전력(대기상태 0.3mA, 송수신시 최대 30mA)이 가능하고, 전송거리 10m 및 Option으로 100m까지 가능하다. 이러한 블루투스는 송신 파워에 따라 클래스로 구분되며, 클래스 1,2,3의 송신 파워는 각 100mW, 2.5mW, 1mW로 정의 된다. 또한 블루투스는 GFSK (Guassian Frequency Shift Keying) 변조방식을 이용하며 A-Law, u-Law PCM, CVSD의 3채널의 Voice 지원이 가능한다.The first short rangewireless communication module 220 forms a communication channel with the second short rangewireless communication module 110 disposed in themobile terminal 100 to transmit a reference EMG signal or a current EMG signal. 100). The first short rangewireless communication module 220 may use Bluetooth, Zigbee, Ultra Wide Band (UWB) communication, infrared communication, or the like, but it may be formed of a Bluetooth chip in consideration of penetration rate. Bluetooth is a standard for short-range, one-to-many, radio frequency for voice and data transmission, and can communicate through solids rather than metals. The Bluetooth can communicate between terminals within a distance of about 10 cm to 10 m, and can extend up to 100 m when the radio wave is increased. Bluetooth uses the Industrial Scientific Medical (ISM) band (2.402 GHz to 2.480 GHz) in the 4 GHz band, uses a transmission speed of 1 Mbps and a frequency hopping method (79/23 hop, 1600 hop / sec) to prevent interference. Low power consumption (0.3mA standby, max. 30mA when transmitting / receiving) is possible, and transmission distance 10m and option up to 100m are possible. Bluetooth is classified into classes according to transmission power, and transmission powers of classes 1,2 and 3 are defined as 100mW, 2.5mW, and 1mW, respectively. In addition, Bluetooth uses GFSK (Guassian Frequency Shift Keying) modulation and supports 3 channels of A-Law, u-Law PCM, and CVSD.

또한, 휴대 단말기(100)는 도 3에 도시된 바와 같이 상기 암 밴드(200)와의 통신채널 형성하여 상기 기준 근전도(ST_Sig) 또는 현재 근전도(N_Sig)를 수신하기 위한 제 2 근거리 무선통신 모듈(110)과, 상기 수신된 현재 근전도(N_Sig)를 분석하여 문자 또는 음성으로 재생하는 제어부(160), 상기 현재 근전도(N_Sig) 분석에 필요한 데이터 즉, 기준 근전도(ST_Sig)와 기준 근전도(ST_Sig)와 매핑되는 수화소(H_Ph)를 저장하는 메모리(170), 분석된 현재 근전도(N_Sig)를 문자로 표시하기 위한 표시부(150), 분석된 현재 근전도(N_Sig)를 소리로 재생하기 위한 오디오 처리부(140)를 포함하여 구성된다.Also, as illustrated in FIG. 3, themobile terminal 100 forms a communication channel with thearm band 200 to receive the reference EMG or the current EMG (N_Sig). ), Thecontroller 160 for analyzing the received current EMG (N_Sig) and reproducing it by text or voice, and mapping data necessary for analyzing the current EMG (N_Sig), that is, reference EMG (ST_Sig) and reference EMG (ST_Sig).Memory 170 for storing the hydration pixel (H_Ph), thedisplay unit 150 for displaying the analyzed current EMG (N_Sig) as a character, and theaudio processor 140 for reproducing the analyzed current EMG (N_Sig) as a sound It is configured to include.

상기 제 2 근거리 무선 통신 모듈(110)은 제 1 근거리 무선 통신 모듈(220)과 통신채널을 형성하는 무선 통신 모듈로서 제 1 근거리 무선 통신 모듈(220)과 동일한 통신모듈이 채택되는 것이 바람직하다. 즉, 제 2 근거리 무선 통신 모듈(110)은 제 1 근거리 무선 통신 모듈(220)이 블루투스 칩으로 형성되는 경우, 동일한 블루투스 칩으로 형성되는 것이 바람직하다.Preferably, the second short rangewireless communication module 110 adopts the same communication module as the first short rangewireless communication module 220 as a wireless communication module forming a communication channel with the first short rangewireless communication module 220. That is, when the first short rangewireless communication module 220 is formed of a Bluetooth chip, the second short rangewireless communication module 110 may be formed of the same Bluetooth chip.

상기 메모리(170)는 암 밴드(200)로부터 전송되는 상기 기준 근전도(ST_Sig) 신호에 각각 매핑되는 수화 관련 정보를 저장하며, 현재 측정되는 현재 근전도(N_Sig)를 일시적으로 저장할 수 있다. 이를 구체적으로 설명하면, 상기 기준 근전도(ST_Sig)는 사용자의 손 움직임을 구분하기 위한 신호로서 이용되며, 이러한 사용자의 손 움직임은 사용자가 대화 상대자에게 전달하고자 하는 수화를 동작하기 위한 움직임이다. 따라서, 기준 근전도(ST_Sig)에 따른 신호와 사용자의 수화 동작을 매핑한 후, 사용자의 현재 근전도(N_Sig) 신호에 따라 현재 사용자가 표현하 고 있는 수화 동작 및 동작의 의미를 추출할 수 있다. 이를 위하여 상기 메모리(170)는 상기 기준 근전도(ST_Sig)에 매핑되는 수화 동작 및 수화 동작이 뜻하는 의미 즉, 수화소(H_Ph)를 저장할 수 있으며, 각 수화소(H_Ph)로 형성된 수화 단어(H_WD)의 형태를 저장할 수 있다. 이러한 메모리(170)는 프로그램 영역과 데이터 영역으로 구분될 수 있으며, 상기 데이터 영역은 상술한 기준 근전도(ST_Sig)에 매핑되는 수화소(H_Ph) 및 이하에서 설명하는 수화 단어(H_WD) 등이 저장되는 영역이다. 또한, 상기 프로그램 영역은 휴대 단말기의 각 기능구현에 필요한 운영체제나 프로그램 등이 저장되는 영역이며, 상기 기준 근전도(ST_Sig)에 따른 수화소(H_Ph) 추출과, 수화소(H_Ph)를 기반으로하는 수화 단어(H_WD) 추출 및 문장(H_Set) 구성을 위한 수화 변환 프로그램(H.App)이 저장될 수 있다. 수화 변환 프로그램(H.App)은 기준 근전도(ST_Sig)와 매핑된 수화소(H_Ph)를 기반으로 사용자가 착용하는 암 밴드(200)로부터의 현재 근전도(N_Sig) 신호를 일정 문장(H_Set)으로 변환하는 프로그램이다.Thememory 170 may store sign language related information respectively mapped to the reference EMG signal transmitted from thearm band 200, and may temporarily store a current EMG currently measured. In detail, the reference EMG (ST_Sig) is used as a signal for distinguishing a user's hand movement, and the user's hand movement is a movement for operating a sign language that the user intends to transmit to a conversation partner. Therefore, after mapping the signal according to the reference EMG and the sign language operation of the user, the meaning of the sign language operation and the motion expressed by the current user may be extracted according to the current EMG signal of the user. To this end, thememory 170 may store a sign language operation meaning a sign language operation and a sign language operation mapped to the reference electromyogram ST_Sig, that is, a sign language H_Ph, and a sign language word H_WD formed of each sign language H_Ph. ) Can be saved. Thememory 170 may be divided into a program area and a data area, and the data area may store a hydration pixel H_Ph mapped to the reference electromyogram ST_Sig and a sign language word H_WD described below. Area. In addition, the program area is an area in which an operating system or a program necessary for implementing a function of the portable terminal is stored, and the sign language based on the reference EMG ST_Sig and the sign language based on the sign language H_Ph A sign language conversion program H.App for extracting a word H_WD and constructing a sentence H_Set may be stored. The sign language conversion program (H.App) converts a current EMG signal (N_Sig) from the arm band (200) worn by a user into a certain sentence (H_Set) based on the reference EMG (ST_Sig) and the mapped hydration pixel (H_Ph). It is a program.

수화소(H_Ph)는 음성언어에서 음소가 모여서 형태소, 단어, 문으로 점차 큰 모임을 만들어 가듯이, 음소와 대응하는 수화의 기본소를 의미한다.Sign language (H_Ph) refers to the basic elements of sign language corresponding to phonemes, as phonemes are gathered together in vocal language to form large groups of morphemes, words, and doors.

수화소(H_Ph)는 수형, 수위, 수동, 수향, 체동을 포함한다.The hydride H_Ph includes water type, water level, manual, water direction, and body dynamics.

수형은 의미 있는 위치에서 의미 있는 운동을 하는 한 손 또는 두 손의 결합 구도를 수형이라 한다.A tree is a combination of one or two hands that makes a meaningful movement in a meaningful position.

수위는 수화 행동의 위치 표식으로서 의미있는 결합 구도 즉 수형이 의미있는 운동을 하는 위치를 나타낸다.The water level is a location marker of sign language behavior, which means a meaningful binding structure, that is, the position where the tree performs meaningful movement.

수동은 수화 행동의 운동 성분 또는 시상으로서 특히 의미있는 위치에서 하는 의미있는 결합 구도 즉 수형의 운동을 의미한다.Passive refers to a meaningful binding composition, ie, exercise in a meaningful position, particularly as a motor component or thalamus of hydration behavior.

수형.수위.수동만이 수화의 시각적인 변별 단위가 되는 것이 아니라 손바닥 또는 손등과 손가락의 방향도 수화의 시각적인 변별 단위가 되는데 수화의 수향은 손바닥의 10개 방향과 손가락의 10개 방향으로 모두 20개가 있다.Not only water, water, and hand are the visual distinction units of sign language, but the direction of the palm or the back of the hand and fingers also becomes the visual discrimination unit of sign language. There are 20.

체동은 수화 기호 중에 손이나 손가락 이외에 다른 신체 부위의 동작을 취해 보이는 기호이다. 즉, 손이나 손가락이 아닌 다른 신체 부위의 동작을 체동이라 한다.The body is a sign of taking a gesture of other body parts besides hands and fingers. In other words, the movement of body parts other than hands or fingers is called body movement.

본 발명의 메모리(170)는 상술한 수화소(H_Ph)와, 수화소(H_Ph)로 이루어진 수화 단어(H_WD) 등을 저장한다. 수화 단어(H_WD)에는 관용구, 복합 단어, 유사 단어, 지수화 처리 단어 등이 있다. 수화 단어(H_WD)를 이용한 문장 분석은 이하에서 설명하기로 한다.Thememory 170 of the present invention stores the above-described sign language H_Ph, the sign word H_WD composed of the sign pixel H_Ph, and the like. The sign language H_WD includes idioms, compound words, similar words, and exponential processing words. Sentence analysis using the sign language word H_WD will be described below.

제어부(160)는 암 밴드(200)로부터 입력되는 기준 근전도(ST_Sig) 신호를 정량적으로 분석한 후, 상기 기준 근전도(ST_Sig)에 매핑되는 수화소(H_Ph)를 메모리(170)로부터 검색하여 찾고, 찾아낸 수화소(H_Ph)를 통합하여 하나의 수화 단어(H_WD)를 이룬 후, 수화 단어(H_WD) 중 상기 관용구, 복합 단어, 유사 단어, 지수화 처리 단어 등에 따라 각 단어들을 처리하여 하나의 문장(H_Set)을 형성하도록 제어한다.After thecontrol unit 160 quantitatively analyzes the reference EMG signal ST_Sig signal input from thearm band 200, the memory unit H_Ph mapped to the reference EMG ST_Sig is searched and found from thememory 170. The sign language H_Ph is integrated to form a sign language word H_WD, and then each word is processed according to the idiom, compound word, similar word, and exponentiation word among the sign language words H_WD to form a single sentence (H_Set). Control to form).

이를 상세히 하면, 제어부(160)는 표면 근전도 분석법 사용시 RMS(Root Mean Square), 파워 스펙트럼, Median Frequency, Mean Frequency, RMS-확률분포, RMS 상관함수(cross-correlation), MVIC Normalization.. 등을 이용하며, 특히 RMS는 근수축, 또는 근긴장 정도를 반영하며 Median Frequency는 근육의 피로도 정보를 반영한다. 또한 근육 부위간의 상호상관함수(Cross-Correlation)는 근수축 타이밍에 대한 정보로 이용된다.In detail, thecontrol unit 160 uses root mean square (RMS), power spectrum, median frequency, mean frequency, RMS-probability distribution, RMS cross-correlation, MVIC Normalization .. In particular, RMS reflects muscle contraction or muscle tone, and Median Frequency reflects muscle fatigue information. In addition, cross-correlation between muscle parts is used as information about muscle contraction timing.

제어부(160)는 암 밴드(200)로부터 전달된 현재 근전도(N_Sig) 신호를 분석하기 위해서 우선 랜덤한 길이의 전극 신호를 일정한 길이의 유효한 데이터로 추출해 주는 과정이 거친다. 이후, 데이터들을 수집하여 신경망 알고리즘을 통해 학습을 시키게 된다. 제어부(160)는 학습이 된 각 뉴런들의 연결강도로 사용자의 수화동작을 분류해 낼 수 있으며, 만약 학습 된 데이터의 내용이 다를 경우는 역전파 (Back-Propagation : BP)알고리즘을 사용하여 연결강도를 조정한다. 학습을 하기 위해서 입력 데이터와 원하는 출력 데이터가 있어야 하는 역전파 알고리즘은 다층(multilayer)이고, 피드 포워드(feedforward) 신경망에서 사용되는 학습 알고리즘이며, 학습의 방법은 지도 학습(supervised learning)이다. 제어부(160)는 조정된 연결 강도로 이후에 전송되는 현재 근전도(N_Sig) 패턴의 전극 신호가 들어올 경우의 오류율을 줄일 수 있다. 신경망 알고리즘은 뉴론을 모델링한 것으로 입력의 각 성분에 가중치(weight)를 곱한 값이 net 값이 되며, 출력은 net 값과 함수 f에 따라 달라지는 알고리즘이다. 따라서, 신경망에서의 학습이란 원하는 결과의 노드가 최대값이 나오도록 적절히 가중치를 설정하는 과정이다. 제어부(160)의 표면 근전도 인식 과정에 대하여 도 4를 참조하여 후술하기로 한다.In order to analyze the current EMG signal transmitted from thearm band 200, thecontroller 160 first extracts an electrode signal having a random length as valid data having a predetermined length. Then, the data is collected and trained through neural network algorithm. Thecontroller 160 may classify the sign language of the user by the connection strength of each trained neuron, and if the content of the learned data is different, the connection strength may be used by using a back-propagation (BP) algorithm. Adjust it. The backpropagation algorithm that requires input data and desired output data in order to learn is a multilayer, a learning algorithm used in a feedforward neural network, and the method of learning is supervised learning. Thecontroller 160 may reduce an error rate when an electrode signal having a current EMG pattern is transmitted after the adjusted connection strength. The neural network algorithm is a model of a neuron, where each component of the input is multiplied by the weight to be a net value, and the output is an algorithm that depends on the net value and the function f. Therefore, learning in neural network is a process of appropriately setting the weight so that the node of the desired result is the maximum value. The surface EMG recognition process of thecontroller 160 will be described later with reference to FIG. 4.

한편, 제어부(160)의 수화 단어(H_WD) 표현에 있어서, 관용구는 예를 들면, "학교, 공부, 부족하다" 라는 수화단어들이 입력되는 경우 "가방 끈이 짧다"라고 출력될 수 있으며, "관심없다, 가만두다" 라는 수화단어들이 입력되는 경우, "강건너 불구경"이라고 출력되는 것처럼 관용적인 표현으로 대체될 수 있는 어구이다. 복합단어는 "영화, 집"이 입력되는 경우, 해석으로 극장이 출력될 수 있는 것처럼, 다양한 의미의 언어들이 복합적으로 하나의 뜻을 이루는 경우의 어구이다. 유사단어는 "공기"와 "호흡"이 동일한 수화소를 가지며 이를 유사단어라 하고, 이러한 공기 또는 호흡은 앞뒤 단어를 판단하여 결정하게 된다. 지수화 처리는 지문자, 지숫자를 처리한다.On the other hand, in the sign language word (H_WD) expression of thecontrol unit 160, the idiom, for example, when the sign language words "school, study, lack" is input, "bag strap is short" may be output, " It is a phrase that can be replaced with an idiomatic expression, such as the expression "crossed over" when the sign language words are input, "I'm not interested." A compound word is a phrase in which a variety of languages make up a single meaning, as a movie can be output by interpretation when a movie or a house is input. Similar words, "air" and "breathing" has the same hydration and this is called a similar word, such air or breath is determined by judging the word back and forth. The exponentiation process handles fingerprints and indexes.

또한, 제어부(160)는 대화 상대자가 수화를 사용하는 사용자에게 음성으로 메시지를 전달하고자 하는 경우, 음성을 수집하여 TTS(Text to Service) 기반으로 문자로서 수화 사용자에게 제공한다.In addition, when a conversation partner wants to deliver a message to a user who uses sign language by voice, thecontroller 160 collects the voice and provides the sign language user as a text based on a Text to Service (TTS).

표시부(150)는 휴대 단말기의 각종 메뉴를 비롯하여 사용자가 입력한 정보 또는 사용자에게 제공하는 정보를 표시한다. 특히 상기 표시부(150)는 제어부(160)에 의하여 분석된 문장(H_Set)을 표시한다. 즉, 표시부(150)는 수화를 이용한 사용자의 의사전달을 문자로서 대화 상대자에게 전달한다. 또한, 표시부(150)는 대화 상대자가 수화 사용자 즉, 장애인에게 의사전달을 하기 위해 음성을 생성하는 경우, 해당 음성을 문자로서 변환하여 보여준다. 상기 표시부(150)는 액정 표시 장치(Liquid Crystal Display, 이하 'LCD'라 칭하기로 한다)로 형성될 수 있으며, 상기 LCD가 터치스크린(Touch Screen) 형태로 형성되는 경우, 상기 표시부(150)는 입력수단에 포함될 수 있다.Thedisplay unit 150 displays various menus of the portable terminal, information input by the user, or information provided to the user. In particular, thedisplay unit 150 displays the sentence (H_Set) analyzed by thecontroller 160. That is, thedisplay unit 150 transmits the user's communication using sign language as a text message to the conversation partner. In addition, thedisplay unit 150 converts and displays the voice as a text when the conversation partner generates a voice to communicate to a sign language user, that is, a disabled person. Thedisplay unit 150 may be formed of a liquid crystal display (hereinafter, referred to as an LCD). When the LCD is formed in the form of a touch screen, thedisplay unit 150 may be It may be included in the input means.

오디오 처리부(140)는 통화에 필요한 음성 등의 오디오 신호를 재생하거나, 또는 마이크로부터 입력되는 음성 등의 오디오 신호를 제어부(160)에 전달한다. 특히, 본 발명의 오디오 처리부(140)는 제어부(160)가 분석한 문장(H_Set)을 음성으로 재생하여 대화 상대자에게 전달한다.Theaudio processor 140 reproduces an audio signal such as a voice required for a call or transmits an audio signal such as a voice input from a microphone to thecontroller 160. In particular, theaudio processor 140 of the present invention reproduces the sentence H_Set analyzed by thecontroller 160 as a voice and delivers it to the conversation partner.

한편, 상술한 본 발명의 실시 예에 따른 휴대 단말기를 이용한 근전도 기반의 의사 전달 장치에 있어서, 기준 근전도(ST_Sig)와 매핑되는 수화소(H_Ph), 수화소(H_Ph)로 구성되는 수화 단어(H_WD), 수화 단어(H_WD)를 이용하여 생성되는 문장(H_Set) 등은 특정 컨텐츠 서버가 대신할 수 있다. 디사 말하여, 상기 휴대 단말기(100)는 상기 암 밴드(200)로부터 전달되는 기준 근전도(ST_Sig) 또는 현재 근전도(N_Sig) 신호를 특정 컨텐츠 서버에 전송하며, 이때, 특정 컨텐츠 서버는 상기 현재 근전도(N_Sig) 신호를 상술한 구성을 통하여 문장(H_Set)으로 구성한 후, 이 문장(H_Set)을 다시 상기 휴대 단말기(100)에 재 전송하여 문자 또는 음성으로 재생함으로써, 의사전달을 수행할 수 도 있다.Meanwhile, in the EMG-based pseudo communication apparatus using the mobile terminal according to the above-described embodiment of the present invention, a sign language word H_WD including a hydration pixel H_Ph and a hydration pixel H_Ph mapped to the reference EMG ST_Sig. ), The sentence H_Set generated using the sign language word H_WD, etc. may be replaced by a specific content server. In other words, themobile terminal 100 transmits the reference EMG signal ST_Sig or the current EMG signal N_Sig transmitted from thearm band 200 to a specific content server, wherein the specific content server transmits the current EMG ( After the N_Sig signal is composed of the sentence H_Set through the above-described configuration, the sentence H_Set may be retransmitted to theportable terminal 100 to be reproduced as text or voice, thereby performing communication.

이상에서는 본 발명의 실시 예에 따른 휴대 단말기를 이용하는 근전도 기반의 의사전달 장치 및 이를 포함하는 대화 시스템에 관하여 살펴보았다. 이하에서는 본 발명의 실시 예에 따른 휴대 단말기를 이용하는 근전도 기반의 의사전달 방법에 대하여 살펴보기로 한다.In the above, the EMG-based communication device using the mobile terminal according to the embodiment of the present invention and the conversation system including the same have been described. Hereinafter, an EMG-based communication method using a mobile terminal according to an embodiment of the present invention will be described.

도 4는 본 발명의 실시 예에 따른 휴대 단말기를 이용하는 근전도 기반의 의사전달 방법을 나타낸 순서도이다.4 is a flowchart illustrating an EMG-based communication method using a mobile terminal according to an embodiment of the present invention.

도 4를 참조하면, 본 발명의 의사 전달 방법은 먼저, 제어부(160)는 암 밴 드(200)로부터 전달된 기준 근전도(ST_Sig) 신호를 수화소(H_Ph)와 매핑한다(S101).Referring to FIG. 4, in the pseudo-delivery method of the present invention, first, thecontroller 160 maps the reference EMG signal transmitted from thearm band 200 to the hydration pixel H_Ph (S101).

상기 S101 단계에서, 상기 암 밴드(200)는 표면 근전도 방식을 이용하여 사용자의 기준 근전도(ST_Sig)를 측정하게 된다.In step S101, thearm band 200 measures the reference EMG of the user by using a surface EMG method.

다음으로, 제어부(160)는 현재 입력되는 현재 근전도(N_Sig) 신호와 매핑되는 수화소(H_Ph)를 추출하고(S102), 추출된 상기 수화소(H_Ph)를 이용하여 수화 단어(H_WD) 분석 과정을 수행한다(S103).Next, thecontroller 160 extracts a hydration pixel H_Ph mapped to a current EMG signal N_Sig currently input (S102), and analyzes a sign language word H_WD using the extracted hydration pixel H_Ph. It performs (S103).

상기 S102 단계에 있어서, 제어부(160)는 암 밴드(200)로부터 전송되는 현재 근전도(N_Sig) 신호를 수신하고, 수신된 현재 근전도(N_Sig) 신호와 매핑된 수화소(H_Ph)를 추출하게 된다. 여기서, 수화소(H_Ph)는 수화를 이루는 최소 단위로, 단어를 이루는 음소와 대비될 수 있다. 상기 S102 단계에서, 추출시, 기준 근전도(ST_Sig)와 현재 근전도(N_Sig)는 일정 오차율의 범위로 한정하여 비교하게 되며, 일정 오차율은 표현하고자 하는 수화소(H_Ph)의 개수에 따라 실험적으로 설정될 수 있다. 즉, 수화소(H_Ph)가 많은 경우에는 오차율을 좁게 설정하고, 수화소(H_Ph)가 많은 경우에는 오차율을 좁게 설정함으로써, 기준 근전도(ST_Sig)와 현재 근전도(N_Sig)가 가장 유사한 근전도를 비교하고, 그에 해당하는 수화소(H_Ph)를 추출함으로써, 사용자의 의사에 대한 오류를 최소화함과 아울러, 근전도 비교를 빠르게 실시할 수 있다. 그리고, 상기 S103 단계에 있어서, 제어부(160)는 상기 추출된 수화소(H_Ph)를 바탕으로 수화 단어(H_WD)를 형성하는데, 수화 단어(H_WD)는 뜻을 이루는 최소 단위를 의미한다. 이러한 제어부(160)의 표면 근전도 인식 과정에 따른 수화 단어(H_WD) 분석을 도 5를 참조하여 후술하기로 한다.In step S102, thecontroller 160 receives a current EMG signal transmitted from thearm band 200, and extracts a hydride pixel H_Ph mapped to the received current EMG signal. Here, the sign language H_Ph is a minimum unit for sign language, and may be contrasted with the phonemes for words. In the step S102, the extraction, the reference EMG and the current EMG (N_Sig) is compared to be limited to the range of a certain error rate, the constant error rate is to be experimentally set according to the number of hydride (H_Ph) to be expressed Can be. That is, by setting the error rate narrow when there are many hydration pixels (H_Ph) and by setting the error rate narrow when there are many hydration pixels (H_Ph), the EMG closest to the reference EMG and the current EMG (N_Sig) are compared. By extracting the corresponding pixel H_Ph, it is possible to minimize the error of the user's intention and to perform the EMG comparison quickly. In operation S103, thecontrol unit 160 forms a sign language word H_WD based on the extracted sign language H_Ph, and the sign language word H_WD means a minimum unit of meaning. The sign language H_WD analysis according to the surface EMG recognition process of thecontroller 160 will be described later with reference to FIG. 5.

다음으로, 제어부(160)는 상기 수화 단어(H_WD)를 이용하여 문장 분석 과정을 수행한다(S104).Next, thecontroller 160 performs a sentence analysis process using the sign language word H_WD (S104).

상기 S104 단계에서, 제어부(160)는 상기 S103 단계에서 형성된 수화 단어(H_WD)를 이용하여 문장 형성관계를 분석하고, 그에 따른 문장(H_Set)을 완성하게 된다. 수화 단어(H_WD)는 단어의 연속으로서, 조사, 부사, 동사 등의 품사를 따로 구분하지 않기 때문에, 전체적인 문맥을 통하여 추출된 수화 단어(H_WD)가 동사 인지, 명사인지 구분된다. 이러한 문장 분석 과정에 대하여 도 6을 참조하여 후술하기로 한다.In step S104, thecontroller 160 analyzes the sentence formation relationship using the sign language word H_WD formed in step S103, and completes the sentence H_Set accordingly. Since the sign language H_WD is a continuation of words and does not separately classify parts of speech such as search, adverbs, and verbs, the sign language H_WD extracted through the overall context is classified as a verb or a noun. This sentence analysis process will be described later with reference to FIG. 6.

다음으로, 완성된 상기 문장(H_Set)을 문자 및 음성 중 적어도 하나의 방식으로 대화 상대자에게 알린다(S105).Next, the completed sentence (H_Set) is notified to the conversation partner in at least one of the text and voice (S105).

한편, 본 발명의 휴대 단말기가 이동통신 단말기인 경우에는 상기 분석된 문장(H_Set)을 대화 상대자 이동통신 단말기에 전송하는 과정을 더 포함할 수 있다(S106).On the other hand, if the mobile terminal of the present invention is a mobile communication terminal may further include the step of transmitting the analyzed sentence (H_Set) to the conversation partner mobile communication terminal (S106).

상기 S105 단계에서, 휴대 단말기가 이동통신 단말기인 경우에는 송신측 단말기와 수신측 단말기 및 이동통신 시스템의 구성이 포함되며, 이에 따라, 송신측 단말기 사용자가 수화를 실시하면, 그에 상응하여 현재 근전도(N_Sig)를 측정하고, 측정된 현재 근전도(N_Sig)를 수화소(H_Ph)와 매핑한 후, 문장(H_Set)을 완성하여 수신측 단말기에 전송하게 된다. 또한, 송신측 단말기가 수화소(H_Ph) 및 수화 단어(H_WD)를 토대로 문장 분석을 실시하는 특정 컨테츠 서버를 이용하는 경우, 송신 측 단말기는 암 밴드(200)로부터 수신된 현재 근전도(N_Sig)를 이동통신 시스템을 통하여 상기 컨텐츠 서버에 전송한다. 이때, 컨텐츠 서버는 수신된 현재 근전도(N_Sig) 신호를 분석하여 문장(H_Set)으로 완성하고 수신측 단말기에 전송함으로써, 이동통신 단말기의 근전도를 기반으로하는 의사 전달을 수행할 수 있다.In the step S105, when the mobile terminal is a mobile communication terminal, the configuration of the transmitting terminal, the receiving terminal, and the mobile communication system is included. Accordingly, when the user of the transmitting terminal performs sign language, the current EMG ( N_Sig is measured, the measured current EMG N_Sig is mapped with the hydration pixel H_Ph, and the sentence H_Set is completed and transmitted to the receiving terminal. In addition, when the transmitting terminal uses a specific content server that performs sentence analysis based on the sign language H_Ph and the sign language word H_WD, the transmitting terminal moves the current EMG received from thearm band 200. The communication is transmitted to the content server through a communication system. In this case, the content server analyzes the received current EMG signal, completes it as a sentence (H_Set), and transmits it to the receiving terminal, thereby performing pseudo communication based on the EMG of the mobile communication terminal.

도 5는 제어부(160)의 표면 근전도 인식 과정에 따른 수화 단어(H_WD) 분석을 나타낸 순서도이다.5 is a flowchart illustrating an analysis of a sign language word H_WD according to a surface EMG recognition process of thecontroller 160.

도 5를 참조하면, 표면 근전도 인식 과정에 따른 수화 단어(H_WD)는, 먼저 제어부(160)는 근전도 신호를 수집한다(S201).Referring to FIG. 5, the sign language word H_WD according to the surface EMG recognition process, thecontroller 160 first collects an EMG signal (S201).

상기 S201 단계에서, 제어부(160)는 근거리 무선 통신 모듈을 통해 입력받은 표면 근전도(sEMG) 신호를 매개 변수로 지정한다.In step S201, thecontroller 160 specifies the surface electromyography (sEMG) signal received through the short range wireless communication module as a parameter.

다음으로, 제어부(160)는 기준 근전도(ST_Sig) 신호의 특징을 추출한다(S202).Next, thecontroller 160 extracts features of the reference EMG signal (S202).

상기 S202 단계에서, 제어부(160)는 수집된 기준 근전도(ST_Sig) 신호를 이용하여 학습할 모델의 데이터를 작성한다. 이 데이터에 기초한 데이터 작성을 모델의 학습이라고 한다. 즉, 제어부(160)는 상기 기준 근전도(ST_Sig) 신호를 수화소(H_Ph)에 각각 매핑하여 데이터를 작성한다.In step S202, thecontroller 160 prepares data of a model to be trained using the collected reference EMG signal. Creating data based on this data is called model training. That is, thecontroller 160 creates the data by mapping the reference EMG signal ST_Sig to the pixel H_Ph, respectively.

다음으로, 제어부(160)는 데이터 정규화 과정을 수행한다(S203).Next, thecontroller 160 performs a data normalization process (S203).

상기 S203 단계에서, 제어부(160)는 사용자에 의해 변동하는 패턴의 차이를 수용하기 위해, 현재 근전도(N_Sig)를 인식하기 전의 상태와 인식후 사용과정에서 얻어지는 신호를 이용하여 신호 단위 모델의 갱신을 실행한다. 즉, 제어부(160)는 기준 근전도(ST_Sig)와 수화소(H_Ph)와의 기본적인 매핑 테이블 형성 후, 실질적인 사용에 있어서, 각 사용자마다 각기 다른 기준 근전도(ST_Sig)가 검출될 수 있기 때문에, 각 사용자별로 적용될 수 있는 정규화 과정을 수행하게 된다.In step S203, thecontrol unit 160 updates the signal unit model by using a signal obtained in a state before recognizing the current EMG and a use process after recognizing the current EMG, in order to accommodate the difference in the pattern that is changed by the user. Run That is, thecontroller 160 forms a basic mapping table between the reference electromyogram ST_Sig and the hydration pixel H_Ph, and thus, in actual use, different reference electromyograms ST_Sig may be detected for each user. The normalization process can be applied.

다음으로, 제어부(160)는 데이터의 단위를 인식하는 과정을 수행한다(S204).Next, thecontroller 160 performs a process of recognizing the unit of data (S204).

상기 S204 단계에서, 제어부(160)는 실제 수화를 사용하는 사용자의 현재 근전도(N_Sig) 신호를 수집하고, 수집된 신호에 해당하는 수화소(H_Ph)를 매핑 테이블을 이용하여 추출한다.In step S204, thecontroller 160 collects a current EMG signal of a user who uses actual sign language, and extracts a hydration pixel H_Ph corresponding to the collected signal using a mapping table.

다음으로, 제어부(160)는 단어 후보 예측과 언어 제약 학습을 실시한다(S205).Next, thecontroller 160 performs word candidate prediction and language constraint learning (S205).

상기 S205 단계에서, 제어부(160)는 상기 수화소(H_Ph) 단위의 단순한 조합으로 생각해 낼 수 있는 단어열 후보의 수가 입력 신호 지속에 대해 지수함수적으로 증가되는 것을 이용하여 언어의 제약에 따라 단어의 후보 범위를 좁혀 나갈 수 있다. 여기서, 제약은 대상 언어가 갖고 있는 음운 어휘, 문법, 의미 등의 특성을 의미한다.In step S205, thecontroller 160 uses the number of word string candidates, which can be thought of as a simple combination of the pixel units H_Ph, to increase the number of word string candidates exponentially with respect to the input signal. Can narrow the candidate range. Here, the constraint refers to characteristics such as phonological vocabulary, grammar, and meaning of the target language.

다음으로, 제어부(160)는 단어 후보의 탐색을 수행하고(S206), 수화 단어(H_WD)를 결정한다.Next, thecontroller 160 searches for a word candidate (S206) and determines a sign language word H_WD.

상기 S206 단계에서, 제어부(160)는 언어의 제약 이외에, 단어 인식시 입력 신호와 인식 후보와의 대조 횟수가 많기 때문에 효율적인 탐색을 위하여, 신호나 언어면에서 보아도 낮은 인식 후보를 서서히 제거해 가면서 복수의 후보중 가장 적합한 것을 종합적으로 판단해서 적절한 단어열을 선택한다.In the step S206, since thecontroller 160 has a large number of checks between the input signal and the recognition candidate when the word is recognized, in addition to the language limitation, thecontroller 160 gradually removes the low recognition candidate even in the view of the signal or the language for efficient searching. The most appropriate candidate is judged comprehensively, and the appropriate word string is selected.

상술한 과정을 거쳐 제어부(160)는 수화소(H_Ph)로부터 수화 단어(H_WD)를 추출하게 된다. 이렇게 추출된 수화 단어(H_WD)는 이하에서 설명하는 문장 분석 과정을 통하여 하나의 문장(H_Set)으로서 형성된다.Through the above-described process, thecontroller 160 extracts the sign language word H_WD from the sign language pixel H_Ph. The sign language word H_WD thus extracted is formed as one sentence H_Set through a sentence analysis process described below.

도 6은 제어부(160)의 수화 단어(H_WD)를 이용한 문장 분석 과정을 나타낸 순서도이다.6 is a flowchart illustrating a sentence analysis process using the sign language word H_WD of thecontroller 160.

도 6을 참조하면, 수화 단어(H_WD)를 이용한 문장 분석 과정은, 먼저 제어부(160)가 수화 단어(H_WD)를 수집한다(S301).Referring to FIG. 6, in the sentence analysis process using the sign language word H_WD, thecontroller 160 first collects the sign language word H_WD (S301).

상기 S301 단계에서 제어부(160)는 상기 도 5에서 설명하는 바와 같이 기준 근전도(ST_Sig)와 매핑되는 수화소(H_Ph)를 이용하여 수화 단어(H_WD)를 수집하게 된다.In operation S301, thecontroller 160 collects a sign language word H_WD using a pixel H_Ph mapped to a reference electromyography ST_Sig as described with reference to FIG. 5.

다음으로, 제어부(160)는 수화 단어(H_WD)가 관용구인지 여부를 확인한다(S302).Next, thecontroller 160 checks whether the sign language word H_WD is an idiom (S302).

상기 S302 단계에서, 관용구 치환은 예를 들면, "학교+공부+부족하다"의 수화 단어(H_WD)들의 조합인 경우 "가방 끈이 짧다"라는 관용어구로 치환되는 것이다.In the step S302, idiom substitution is a combination of the phrase "short bag string" when the combination of the sign language words (H_WD) of "school + study + lack".

상기 S302 단계에서, 상기 수화 단어(H_WD)가 관용구인 경우에는 관용구로 치환하며(S303), 관용구가 아닌 경우에는 복합단어 치환을 실시한다(S304).In the step S302, if the sign language word (H_WD) is an idiom, it is replaced with an idiom (S303), and if it is not an idiom, compound word substitution is performed (S304).

상기 S304 단계에서, 복합단어 치환은 수집된 수화 단어(H_WD)가 "영화+집"일 경우, "극장"을 의미하는 단어로 치환되는 것이다.In the step S304, the compound word substitution is replaced with a word meaning "theater" when the collected sign language word H_WD is "movie + collection".

다음으로, 복합단어가 완료된 언어를 다시 유사 단어 치환을 실시하 고(S305), S305 단계에서 치환된 단어의 핵심 단어 여부를 확인하고(S306), 핵심 단어가 아닌 경우, 지수화 처리 과정을 수행한다(S307). 한편, S305 단계에서, 치환된 단어가 핵심 단어인 경우에는 수화 문장(H_Set)이 완성된 것으로 판단한다(S308).Next, similar word substitution is again performed on the language in which the compound word is completed (S305), and in step S305, whether or not the key word of the substituted word is checked (S306), and if it is not the key word, an indexing process is performed. (S307). On the other hand, in step S305, if the substituted word is a key word, it is determined that the sign language sentence (H_Set) is completed (S308).

상기 S305 단계에서, 유사 단어 치환은 수화 단어(H_WD)들은 동일한 단어가 다른 언어로 사용될 수 있는 것으로, 예를 들면 "공기"와 "호흡"은 동일한 수화로 표현되는 것인데, 이러한 단어를 문장(H_Set)의 앞뒤를 판단하여 치환하는 것을 의미한다.In the step S305, the similar word substitution means that the same words may be used in different languages in the sign language words H_WD. For example, "air" and "breathing" are expressed in the same sign language. ) Means to judge the front and back of the replacement.

상기 S306 단계에서, 지수화 처리는 지문자 지숫자 등의 처리를 의미하며, 상기 핵심단어는 그 자체로 문장(H_Set)으로서 의미를 가질 수 있는 단어를 의미한다.In the step S306, the exponentiation process means a process such as a fingerprint index number, and the key word itself means a word that can have a meaning as a sentence (H_Set).

한편, 본 발명의 실시 예에 따른 휴대 단말기가 이동통신 단말기인 경우 이동통신 시스템을 기반으로 송수신 단말기 간에 의사전달이 이루어지게 된다. 다시 말하여 본 발명의 다른 실시 예에 따른 이동통신 단말기를 이용하는 근전도 기반의 의사전달 장치는 도 7에 도시된 바와 같이, 암 밴드(200), 제 1 이동통신 단말기(400), 이동통신 시스템(300), 제 2 이동통신 단말기(500)의 구성을 포함하여 구성된다.On the other hand, when the mobile terminal according to an embodiment of the present invention is a mobile communication terminal, communication is performed between the transmitting and receiving terminals based on the mobile communication system. In other words, the EMG-based communication device using the mobile communication terminal according to another embodiment of the present invention, as shown in Figure 7, thearm band 200, the firstmobile communication terminal 400, the mobile communication system ( 300), the secondmobile communication terminal 500 is configured to include the configuration.

여기서, 암 밴드(200)는 본 발명의 실시 예에 따른 휴대 단말기를 이용하는 근전도 기반의 의사 전달 장치에서 설명하는 암 밴드(200)와 동일한 구성임으로 그에 관한 상세한 설명은 생략하기로 한다.Here, since thearm band 200 is the same configuration as thearm band 200 described in the EMG-based pseudo communication device using the mobile terminal according to an embodiment of the present invention, a detailed description thereof will be omitted.

본 발명의 제 1 이동통신 단말기는 도 8에 도시된 바와 같이 상기 암 밴드(200)와 통신채널을 형성하는 근거리 무선통신 모듈(410)과, 상기 암 밴드(200)로부터 수신된 현재 근전도(N_Sig)를 분석하여 문자 또는 음성으로 재생하고, 재생된 의사 정보를 이동통신 시스템(300)에 전송하는 제어부(460), 상기 현재 근전도(N_Sig) 분석에 필요한 데이터를 저장하는 메모리(470), 분석된 현재 근전도(N_Sig)를 문자로 표시하기 위한 표시부(450), 분석된 현재 근전도(N_Sig)를 소리로 재생하기 위한 오디오 처리부(440), 상기 재생된 의사 정보를 제 2 이동통신 단말기(500)에 전달하기 위하여 이동통신 시스템(300)과 통신채널을 형성하는 무선 주파수부(430)를 포함하여 구성된다.As shown in FIG. 8, the first mobile communication terminal of the present invention includes a short rangewireless communication module 410 for forming a communication channel with thearm band 200 and a current EMG received from the arm band 200. ) Is analyzed and reproduced as text or voice, and thecontrol unit 460 for transmitting the reproduced pseudo information to themobile communication system 300, thememory 470 for storing the data for the current EMG (N_Sig) analysis, the analyzed Adisplay unit 450 for displaying the current EMG N_Sig as a character, anaudio processor 440 for reproducing the analyzed current EMG N_Sig as a sound, and the reproduced pseudo information to the secondmobile communication terminal 500. It is configured to include aradio frequency unit 430 forming a communication channel with themobile communication system 300 to deliver.

설명에 앞서, 본 발명의 제 1 이동통신 단말기(400)는 상술한 휴대 단말기의 구성과 비교하여 제어부(460)의 일부 특성 및 무선주파수부(430)를 제외하고 동일한 구성임으로 이외의 구성에 대한 상세한 설명은 생략하기로 한다.Prior to the description, the firstmobile communication terminal 400 of the present invention has the same configuration except for some characteristics of thecontrol unit 460 and theradio frequency unit 430 compared to the configuration of the mobile terminal described above. Detailed description will be omitted.

제어부(460)는 상술한 휴대 단말기의 제어부 특성을 포함함과 아울러, 이동통신 시스템(300)에 상술한 의사 정보를 전달하기 위하여 통신채널 형성을 위한 무선주파수부(430) 제어를 실시한다. 즉, 제어부(460)는 무선주파수(430)를 이용한 통화호 형성 후 음성 송수신을 제어하며, 선택적으로 사용자의 현재 근전도(N_Sig)를 기반으로 생성된 문장(H_Set)을 문자 메시지로 작성하여 제 2 이동통신 단말기(500)에 전송할 수 있다.Thecontroller 460 includes the characteristics of the controller of the mobile terminal as described above, and controls theradio frequency unit 430 for forming a communication channel in order to transmit the above pseudo information to themobile communication system 300. That is, thecontroller 460 controls voice transmission / reception after the call is formed using theradio frequency 430, and optionally writes a sentence (H_Set) generated based on the user's current EMG (N_Sig) as a text message to generate a second message. It may be transmitted to themobile communication terminal 500.

무선주파수부(430)는 사용자 데이터를 외부 다른 휴대 단말기 등으로 무선 전송하거나, 또는 외부 웹 서버(Web Server)와의 연동을 통한 콘텐츠 및 상기 콘텐 츠에 관련된 제어 신호 등의 송수신 등과 관련한 일련의 통신을 담당한다. 이를 위하여 상기 무선주파수(430)는 송신되는 신호의 주파수를 상승변환 및 증폭하는 RF 송신부와, 수신되는 신호를 저잡음 증폭하고 주파수를 하강 변환하는 RF 수신부 등을 포함할 수 있다.Theradio frequency unit 430 wirelessly transmits user data to another external mobile terminal or the like, or performs a series of communication regarding transmission and reception of contents and control signals related to the content through interworking with an external web server. In charge. To this end, theradio frequency 430 may include an RF transmitter for upconverting and amplifying a frequency of a transmitted signal, and an RF receiver for low noise amplifying and downconverting a received signal.

특히, 상기 무선주파수부(430)는 본 발명의 실시 예에 따라 현재 근전도(N_Sig) 신호에 매핑되는 수화소(H_Ph) 및 수화소(H_Ph)를 기반으로 생성된 수화 단어(H_WD)와 이를 토대로 작성된 문장(H_Set)을 상기 제 2 이동통신 단말기(500)에 전송할 수 있다. 또한, 상기 무선주파수부(430)는 상기 암 밴드(200)로부터 수신한 기준 근전도(ST_Sig) 또는 현재 근전도(N_Sig) 신호를 이동통신 시스템(300)을 거쳐 특정 컨텐츠 서버에 전송할 수 도 있다. 이때, 특정 컨텐츠 서버는 상기 기준 근전도(ST_Sig) 또는 현재 근전도(N_Sig)를 기반으로 상술한 방식과 동일한 방식으로 문장(H_Set)을 구성하여 상기 제 2 이동통신 단말기(500)에 전달함으로써, 제 1 및 제 2 이동통신 단말기(400, 500) 간에 의사 전달을 수행할 수 있다.In particular, theradio frequency unit 430 is a sign language (H_WD) generated based on the hydride (H_Ph) and the hydride (H_Ph) mapped to the current EMG signal (N_Sig) according to an embodiment of the present invention and based on this The prepared sentence H_Set may be transmitted to the secondmobile communication terminal 500. In addition, theradio frequency unit 430 may transmit the reference EMG signal ST_Sig or the current EMG signal received from thearm band 200 to the specific content server through themobile communication system 300. In this case, the specific content server constructs a sentence H_Set in the same manner as the above-described method based on the reference EMG or the current EMG and transmits the sentence to the secondmobile communication terminal 500, thereby providing a first content. And pseudo communication between the secondmobile communication terminals 400 and 500.

제 2 이동통신 단말기(500)는 상기 제 1 이동통신 단말기(400)과 비교하여 근거리 무선 통신 모듈(410)의 선택적 결합을 제외하고는 동일한 구성을 가짐으로 그에 관한 상세한 설명은 생략하기로 한다.The secondmobile communication terminal 500 has the same configuration except for the selective coupling of the short rangewireless communication module 410 compared to the firstmobile communication terminal 400, and thus a detailed description thereof will be omitted.

이동통신 시스템(300)은 제 1 이동통신 단말기(400)로부터 전송되는 의사 정보를 제 2 이동통신 단말기(500)에 전달하는 역할을 수행하며, 앞서 설명한 바와 같이, 수화소(H_Ph), 수화 단어(H_WD) 및 문장(H_Set) 분석을 특정 컨텐츠 서버가 담당하는 경우 제 1 이동통신 단말기(400)로부터 기준 근전도(ST_Sig) 또는 현재 근전도(N_Sig)를 수신하여 이를 특정 컨텐츠 서버에 전달하는 역할을 수행할 수 있다.Themobile communication system 300 transmits pseudo information transmitted from the firstmobile communication terminal 400 to the secondmobile communication terminal 500. As described above, the sign language H_Ph and the sign language word are used. When the specific content server is responsible for the analysis of the H_WD and the sentence H_Set, it receives the reference EMG or the current EMG from the firstmobile communication terminal 400 and delivers it to the specific content server. can do.

이상에서 살펴본 바와 같이, 본 발명의 상세한 설명에서는 구체적인 실시 예에 관하여 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.As described above, in the detailed description of the present invention has been described with respect to specific embodiments, various modifications are possible without departing from the scope of the invention. Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined not only by the claims below, but also by the equivalents of the claims.

상술한 바와 같이 본 발명에서 제안하는 휴대 단말기를 이용하는 근전도 기반의 의사전달 장치 및 방법에 따르면, 장애인들끼리 및 장애인과 일반인 사이에 의사전달이 가능한 장치 및 방법을 제공할 수 있다.According to the EMG-based communication device and method using a mobile terminal proposed by the present invention as described above, it is possible to provide a device and method capable of communication between people with disabilities and between people with disabilities and the general public.

Claims (10)

Translated fromKorean

각기 다른 값을 가지는 기준 근전도들과 수화소를 매핑시켜 저장하는 단계;Mapping and storing reference electromyograms having different values and a pixel;사용자의 현재 근전도를 수집하는 단계;Collecting a current EMG of the user;상기 현재 근전도와 일정 오차 이상의 유사율을 가지는 기준 근전도를 찾고, 상기 기준 근전도에 매핑되는 수화소를 추출하는 단계;Finding a reference EMG having a similarity ratio greater than the current EMG and a predetermined error, and extracting a pixel mapped to the reference EMG;상기 수화소를 이용하여 수화 단어를 형성하는 단계;Forming a sign language word using the sign language;상기 수화 단어를 이용하여 문장을 형성하는 단계; 및Forming a sentence using the sign language word; And상기 완성된 문장을 문자 또는 음성 중 적어도 하나로 알리는 단계;를 포함하는 것을 특징으로 하는 휴대 단말기를 이용하는 근전도 기반의 의사 전달 방법.And notifying the completed sentence by at least one of a text and a voice.제1항에 있어서,The method of claim 1,상기 수화 단어를 형성하는 단계는Forming the sign language word상기 사용자의 특성에 대응하게 상기 기준 근전도 신호를 수화소에 각각 매핑하여 작성된 데이터의 정규화 과정을 수행하는 단계;Performing normalization of data created by mapping the reference EMG signal to a hydration pixel corresponding to the characteristics of the user;상기 데이터의 단위를 인식하는 과정을 수행하는 단계;Performing a process of recognizing the unit of data;상기 인식된 데이터의 조합에 따른 단어 후보 예측과 음운 어휘와 문법 및 의미를 포함하는 상기 수화소 특성에 따른 언어 제약 학습을 실시하는 단계;Performing language constraint learning according to the characteristics of the pixel including word candidate prediction and phonological vocabulary, grammar, and meaning according to the recognized data combination;상기 단어 후보의 탐색을 수행하는 단계; 및Performing a search for the word candidate; And상기 단어 후보 중 수화 단어를 결정하는 단계;를 포함하는 것을 특징으로 하는 휴대 단말기를 이용하는 근전도 기반의 의사 전달 방법.Determining a sign language word among the word candidates;제1항에 있어서,The method of claim 1,상기 문장을 형성하는 단계는Forming the sentence상기 수화 단어를 수집하는 단계;Collecting the sign language words;상기 수집된 수화 단어의 관용구 여부를 확인하는 단계;Confirming whether the collected sign language words are idioms;상기 확인 결과에 따라 관용구 치환하는 단계; 및Idiom substitution according to the identification result; And상기 치환된 관용구를 문장으로 결정하는 단계;를 포함하는 것을 특징으로 하는 휴대 단말기를 이용하는 근전도 기반의 의사 전달 방법.And determining the substituted idiom as a sentence.제3항에 있어서,The method of claim 3,상기 관용구 여부를 확인하는 단계에 있어서,In the step of checking whether the idiom,상기 관용구가 아닌 경우, 상기 수화 단어를 복합단어 치환 및 유사단어 치환하는 단계;If it is not the idiom, replacing the sign language word with a compound word and a similar word;상기 유사 단어 치환된 단어가 문장으로서 의미를 가지는지 여부를 확인하는 단계; 및Checking whether the similar word substituted word has a meaning as a sentence; And상기 유사 단어 치환된 단어가 문장으로서 의미를 가지는 경우 상기 유사 단 어 치환된 단어를 문장으로서 결정하거나, 상기 유사 단어 치환된 단어가 문장으로서 의미가 없는 경우, 지수화 처리를 수행하는 단계를 포함하는 것을 특징으로 하는 휴대 단말기를 이용하는 근전도 기반의 의사 전달 방법.Determining the similar word substituted word as a sentence when the similar word substituted word has a meaning as a sentence, or performing an exponentiation process when the similar word substituted word has no meaning as a sentence. EMG-based communication method using a portable terminal characterized in that.제1항에 있어서,The method of claim 1,상기 사용자에게 의사 전달을 음성으로 실시하는 단계; 및Voice communication to the user; And상기 음성을 문자로 변환하여 상기 사용자에게 전달하는 단계;를 더 포함하는 것을 특징으로 하는 휴대 단말기를 이용하는 근전도 기반의 의사 전달 방법.And converting the voice into a text and transmitting the converted text to the user. 8.제1항에 있어서,The method of claim 1,이동통신 시스템을 통한 컨텐츠 서버와 통신채널을 형성하고, 상기 기준 근전도, 수화소, 현재 근전도를 상기 컨텐츠 서버에 전송하는 단계;Establishing a communication channel with a content server through a mobile communication system and transmitting the reference EMG, a pelvic pixel, and a current EMG to the content server;상기 컨텐츠 서버가 상기 현재 근전도를 기반으로 문장을 완성하고, 완성된 문장을 타 단말기에 전송하는 단계를 더 포함하는 것을 특징으로 하는 휴대 단말기를 이용하는 근전도 기반의 의사 전달 방법.And the content server completing a sentence based on the current EMG and transmitting the completed sentence to another terminal.수화소와 매핑되는 기준 근전도 및 현재 수화를 수행 중인 근육의 현재 근전 도를 측정하는 암 밴드; 및An arm band that measures the reference EMG mapped to the hydration and the current EMG of the muscle currently undergoing hydration; And상기 암 밴드로부터 상기 기준 근전도 및 상기 현재 근전도를 수신하여 상기 현재 근전도에 해당하는 문장을 완성하여 알리는 휴대 단말기를 포함하여 구성되는 것을 특징으로 하는 휴대 단말기를 이용하는 근전도 기반의 의사 전달 장치.And a portable terminal for receiving the reference EMG and the current EMG from the arm band and completing and informing a sentence corresponding to the current EMG.제7항에 있어서,The method of claim 7, wherein상기 암 밴드는The arm band is일정 부위에 탈착이 가능하도록 구성된 밴드;A band configured to be detachable at a predetermined portion;상기 밴드 일측에 형성되어 착용자의 근전도를 측정하는 근전도 측정 센서;An EMG sensor formed on one side of the band to measure an EMG of the wearer;상기 측정된 근전도를 상기 휴대 단말기에 전송하기 위한 제 1 근거리 통신 모듈을 포함하여 구성되는 것을 특징으로 하는 휴대 단말기를 이용하는 근전도 기반의 의사 전달 장치.And a first short range communication module configured to transmit the measured EMG to the portable terminal.제7항에 있어서,The method of claim 7, wherein상기 휴대 단말기는The mobile terminal상기 암 밴드와 통신채널을 형성하는 제 2 근거리 통신 모듈;A second short range communication module for forming a communication channel with the arm band;상기 기준 근전도를 상기 수화소와 매핑한 후, 상기 수신된 현재 근전도를 상기 기준 근전도와 비교하여 해당 수화소를 추출하고, 추출된 수화소를 분석하여 문자 또는 음성으로 재생하는 제어부;A controller configured to map the reference EMG to the hydration pixel, extract the corresponding hydration by comparing the received current EMG with the reference EMG, and analyze the extracted hydride to reproduce the text or voice;상기 기준 근전도와 상기 기준 근전도와 매핑되는 수화소를 저장하는 메모리;A memory configured to store a hydride pixel mapped to the reference EMG and the reference EMG;상기 문자를 표시하기 위한 표시부;A display unit for displaying the character;상기 음성을 재생하기 위한 오디오 처리부;를 포함하여 구성되는 것을 특징으로 하는 휴대 단말기를 이용하는 근전도 기반의 의사 전달 장치.EMG-based pseudo communication device using a mobile terminal, characterized in that it comprises a;제7항에 있어서,The method of claim 7, wherein상기 문장을 수신하는 타 단말기; 및Another terminal for receiving the sentence; And상기 휴대 단말기와 상가 타 단말기 간에 통신채널을 형성하여 상기 문장을 전송하는 이동통신 시스템;을 더 구비하는 것을 특징으로 하는 휴대 단말기를 이용하는 근전도 기반의 의사 전달 장치.And a mobile communication system for transmitting the sentence by forming a communication channel between the portable terminal and another terminal.

Images