



아래의 설명은 사용자가 휴대하는 단말장치에 정보를 입력하고 해당하는 단말장치의 기능을 실행하는 데 있어서 사용자의 피부표면을 사용하는 장치 및 방법에 관한 것이다.
The following description relates to an apparatus and a method for using a user's skin surface in inputting information to a terminal device carried by the user and executing functions of the corresponding terminal device.
일상생활의 편의증대를 위해 사용자들은 다양한 전자기기들을 몸에 착용하거나 휴대하고 있다. 예를 들면, 음성 혹은 데이터 통신을 위해 많은 사람들은 스마트 기기를 휴대하고 있으며 스마트 고글과 같은 HMD(Head Mount Device)를 착용하여 음성통화뿐만 아니라 사진 혹은 동영상 촬영 및 전송에 이용하고 있다. 입는형 컴퓨터의 기술이 발전함에 따라 몸에 장착되는 장치의 개수나 종류는 점점 더 증가하는 추세이다. 이러한 장치에 있어서 사용자와의 인터페이스를 위한 입력장치는 필수적이며, 이러한 입력장치를 이용함으로써 사용자는 장치들의 다양한 기능을 사용할 수 있다.To enhance the convenience of daily life, users are wearing or carrying various electronic devices. For example, many people are carrying smart devices for voice or data communication, and wear HMD (Head Mount Device) such as smart goggles to use for voice communication as well as for photography and video transmission. As the wearable computer technology develops, the number and types of devices mounted on the body are increasingly increasing. In such an apparatus, an input apparatus for interfacing with a user is essential, and by using such an input apparatus, a user can use various functions of the apparatuses.
현재까지 사용되고 있는 대표적인 입력장치인 키보드는 다양한 정보의 입력이 가능하나 부피가 매우 크고 휴대하기가 어려운 단점이 있다. 이를 극복하기 위해 장치의 화면에 키보드를 표시하여 이를 통해 정보를 입력하는 방식이 사용되고 있으나 손목형 스마트 폰과 같이 작은 화면을 갖는 장치에는 적용하기 어렵다. 장치의 화면대신에 레이저를 이용하여 벽면이나 책상 위에 키보드를 투사하고 사용자의 손가락의 위치를 감지하여 해당위치의 키보드 정보를 입력할 수 있는 투사형의 키보드가 사용되고 있으나, 키보드를 투사하고 손가락의 위치를 감지하기 위한 센서가 필요하며, 특히 손목형 스마트 폰에서 손가락의 위치를 감지하기 위해서는 해당 센서가 평면형의 스마트 폰에서 돌출하는 형태로 구성되어야 하는 문제점이 있다. 사용자가 움직임에 따라 근육에서 나타나는 전위 변화를 감지하고 이를 통해 근육의 움직임과 팔의 움직임을 인식함으로써 특정한 정보를 입력할 수 있는 근육신경 감지 정보입력장치가 개발되었으나, 손목과 같이 근육이 양이 적은 부분에는 사용될 수 없고 대신 근육이 많은 팔뚝부위에 별도의 근육신경 감지장치를 부착하여 사용해야 하는 단점이 있다.Keyboard, which is a representative input device currently used, is capable of inputting a variety of information, but it is very bulky and difficult to carry. In order to overcome this problem, a keyboard is displayed on a screen of a device and information is inputted through the keyboard. However, it is difficult to apply to a device having a small screen such as a wrist smartphone. Instead of the screen of the device, a projection keyboard is used to project a keyboard on a wall or desk using a laser, and to detect the position of the user's finger and input keyboard information at the corresponding position. However, In particular, in order to detect the position of the finger in the wrist-type smartphone, the sensor needs to be configured to protrude from the flat-type smartphone. A muscle nerve sensory information input device capable of inputting specific information by sensing the movement of the muscles and the movement of the arms by sensing a change in the potential of the muscles as the user moves has been developed. However, But it has a disadvantage that a separate muscle neuron sensing device should be attached to the forearm region where many muscles are present.
또한 손가락을 이용하여 사용자의 피부를 접촉하는 순간 몸안에 미세한 음향신호가 발생하며 이러한 음향신호가 접촉부위의 골밀도, 근육량 및 관절여부에 따라 다른 소리를 낸다는 점에 착안하여 음향신호를 감지 후 접촉부위를 검출하는 입력장치가 개발되었다. 이러한 여러 접촉부위에 각각 특정한 정보를 할당함으로써 접촉부위를 검출한 후 해당하는 정보를 장치에 입력하는 방식으로, 손목형 스마트 폰과 같은 곳에 적용할 경우 센서를 돌출형으로 구비할 필요가 없는 장점이 있으나 손가락을 접촉한 상태에서 움직일 경우 접촉부위의 이동을 감지하지 못하는 단점이 있다.
In addition, a minute sound signal is generated in the body when the user touches the user's skin with the finger, and the sound signal is different according to the bone density, the amount of muscle and the joint of the contact part. An input device has been developed. By assigning specific information to each of the various contact areas, the contact area is detected and then the corresponding information is input to the device. Therefore, it is not necessary to provide the sensor in a protruding form when applied to a wrist-type smartphone However, there is a disadvantage in that the movement of the contact portion can not be detected when the finger is moved while being in contact with the finger.
일 실시예에 따른 사용자 휴대단말용 입력장치는 사용자의 입력을 감지하기 위한 센서가 돌출형이 아닌 평면형이고 손목과 같은 근육이 적은 부위에 장착되어 사용자의 손가락으로 입력되는 정보를 검출할 수 있으며, 사용자의 손가락을 접촉한 상태에서 움직일 때, 검출할 수 있는 장치 및 방법을 제공한다.
The input device for a user portable terminal according to an embodiment of the present invention can detect information inputted by the user's finger by mounting the sensor for sensing the user's input, The present invention provides an apparatus and method that can detect when a user's finger moves in contact with the finger.
일 실시예에 따른 사용자 휴대단말용 입력장치는, 사용자의 피부표면에 부착되어 인체에 초음파를 인가하는 초음파 발생기; 상기 초음파 발생기가 부착되는 부위와 다른 부위의 피부표면에 부착되어 상기 인가된 초음파에 의해 형성되는 피부표면의 음장을 왜곡하면서 발생하는 반사파를 수신하는 초음파 수신기; 및 상기 초음파 수신기로부터 수신된 신호의 주파수를 검출하기 위한 주파수 검출기를 포함할 수 있다.An input device for a user portable terminal according to an embodiment includes an ultrasonic generator attached to a skin surface of a user and applying ultrasonic waves to a human body; An ultrasonic receiver attached to the surface of the skin at a site other than the site to which the ultrasonic generator is attached and receiving a reflected wave generated while distorting the sound field of the skin formed by the applied ultrasonic wave; And a frequency detector for detecting a frequency of a signal received from the ultrasonic receiver.
일측에 따르면, 상기 사용자 휴대단말용 입력장치는, 주파수 검출기를 통해 수신되는 신호의 주파수를 상기 인체에 인가되는 초음파 신호의 주파수와 비교함으로써 상기 초음파 발생기, 초음파 수신기 및 초음파 발생기로부터 인체에 입력되는 초음파의 진행방향이 포함되는 면을 기준으로 상기 음장의 왜곡지점의 위치변화를 검출할 수 있다.According to one aspect of the present invention, the input device for a user portable terminal compares a frequency of a signal received through a frequency detector with a frequency of an ultrasonic signal applied to the human body, thereby detecting an ultrasonic wave input from the ultrasonic wave generator, It is possible to detect a change in the position of the distortion point of the sound field on the basis of the plane including the traveling direction of the sound field.
또 다른 일측에 따르면, 상기 사용자 휴대단말용 입력장치는, 상기 피부표면에 형성되는 음장영역의 범위를 조절하기 위해 상기 초음파 발생기가 두 개 이상 구비되고 각각의 초음파 발생기에 입력되는 신호의 위상을 조절하는 위상조절기가 추가로 구비될 수 있다.According to another aspect of the present invention, the input device for a user portable terminal includes at least two ultrasonic generators for adjusting a range of a sound field area formed on the surface of the skin, and controls the phase of signals input to the respective ultrasonic generators A phase adjuster may be additionally provided.
또 다른 일측에 따르면, 상기 사용자 휴대단말용 입력장치는, 초음파 발생기에 입력되는 신호를 증폭하기 위한 증폭기가 구비될 수 있다.According to another aspect of the present invention, the input device for user portable terminal may include an amplifier for amplifying a signal input to the ultrasonic generator.
또 다른 일측에 따르면, 상기 사용자 휴대단말용 입력장치는, 상기 초음파 수신기가 두 개 이상이 구비되고 각각의 초음파 수신기로부터 수신된 신호의 크기를 비교하는 비교기가 추가로 구비될 수 있다.According to another aspect of the present invention, the input device for a user portable terminal may further include a comparator that compares two or more of the ultrasonic receivers and compares magnitudes of signals received from the respective ultrasonic receivers.
또 다른 일측에 따르면, 상기 사용자 휴대단말용 입력장치는, 상기 비교기로부터 최대의 크기를 갖는 신호를 수신하는 초음파 수신기의 위치를 파악함으로써 상기 초음파 발생기, 초음파 수신기 및 초음파 발생기로부터 인체에 입력되는 초음파의 진행방향이 포함되는 면의 수직면을 기준으로 상기 음장의 왜곡지점의 위치변화를 검출할 수 있다.According to another aspect of the present invention, the input device for a user portable terminal detects the position of an ultrasonic receiver that receives a signal having a maximum size from the comparator, thereby detecting the position of the ultrasonic wave input from the ultrasonic generator, the ultrasonic receiver, The positional change of the distortion point of the sound field can be detected based on the vertical plane of the plane including the traveling direction.
또 다른 일측에 따르면, 상기 사용자 휴대단말용 입력장치는, 상기 초음파 수신기로부터 수신되는 신호를 증폭하기 위한 증폭기가 구비될 수 있다.According to another aspect of the present invention, the input device for user portable terminal may include an amplifier for amplifying a signal received from the ultrasonic receiver.
또 다른 일측에 따르면, 상기 사용자 휴대단말용 입력장치는, 상기 음장의 왜곡지점의 정보를 단말장치에 입력할 수 있다.According to another aspect of the present invention, the input device for a user portable terminal may input information of a distortion point of the sound field to a terminal device.
또 다른 일측에 따르면, 상기 사용자 휴대단말용 입력장치는, 사용자 피부표면에서의 초음파 반사를 줄이기 위해 상기 초음파 발생기 및 초음파 수신기 표면에 임피던스 정합층을 추가로 구비할 수 있다.According to another aspect of the present invention, the input device for a user portable terminal may further include an impedance matching layer on the surfaces of the ultrasonic generator and the ultrasonic receiver to reduce ultrasonic reflection on the surface of the user's skin.
일 실시예에 따른 사용자 휴대단말용 입력방법은, 사용자의 인체에 초음파를 인가하여 피부표면에 음장을 형상하는 단계; 상기 음장의 왜곡에 의해 발생하는 반사파를 수신하는 단계; 상기 반사파가 수신되는 경우 단말장치 내 커서를 화면의 정 중앙에 위치시키는 단계; 다수의 초음파 수신기로부터 수신되는 신호의 크기를 비교하여 상기 음장의 왜곡지점의 위치정보를 검출하는 단계; 상기 다수의 초음파 수신기로부터 수신되는 수신신호 중 가장 큰 신호에 대해 상기 인체에 인가되는 초음파의 주파수와 비교하여 상기 음장의 왜곡지점의 위치정보를 검출하는 단계; 상기 검출된 위치정보를 휴대단말에 입력하여 단말장치 내 커서를 왜곡지점의 위치변화만큼 이동시키는 단계; 및 상기 반사파가 수신되지 않는 경우 커서에 해당하는 휴대단말 기능을 실행하는 단계를 포함할 수 있다.According to an embodiment of the present invention, there is provided an input method for a user portable terminal, including the steps of: applying ultrasonic waves to a human body of a user to form a sound field on the skin surface; Receiving a reflected wave generated by distortion of the sound field; Positioning the cursor in the terminal center in the center of the screen when the reflected wave is received; Detecting position information of a distortion point of the sound field by comparing magnitudes of signals received from a plurality of ultrasonic receivers; Detecting position information of a distortion point of the sound field by comparing the largest signal among the signals received from the plurality of ultrasonic receivers with a frequency of an ultrasonic wave applied to the human body; Inputting the detected position information to the mobile terminal and moving a cursor in the terminal apparatus by a position change of the distortion point; And performing a portable terminal function corresponding to the cursor when the reflected wave is not received.
일 측에 따면, 상기 사용자 휴대단말용 입력방법은, 상기 피부표면의 음장형성 후 반사파를 수신되지 않는 경우 반사파 수신을 대기하는 단계를 더 포함할 수 있다.According to one aspect of the present invention, the input method for a user portable terminal may further include a step of waiting for reception of a reflected wave when a reflected wave is not received after a sound field is formed on the surface of the skin.
또 다른 일측에 따르면, 상기 사용자 휴대단말용 입력방법은, 상기 왜곡지점의 위치변화를 검출하면서 반사파가 계속 수신되는 경우 상기 반사파 신호의 세기를 비교하는 단계부터 다시 시작하는 단계를 더 포함할 수 있다.According to another aspect of the present invention, the input method for a user portable terminal may further include a step of starting from the step of comparing the intensity of the reflected wave signal when the reflected wave is continuously received while detecting the change of the position of the distortion point .
일 실시예에 따른 초음파를 이용한 입력 장치는, 사용자의 피부표면에 부착되어 인체에 초음파를 인가하는 적어도 하나의 초음파 발생기; 상기 인가된 초음파에 의해 발생하는 반사파를 수신하는 적어도 하나의 초음파 수신기; 및 상기 초음파 수신기로부터 수신된 신호의 주파수를 검출하기 위한 주파수 검출기를 포함할 수 있다.According to an embodiment of the present invention, there is provided an input device using ultrasonic waves, comprising at least one ultrasonic generator attached to a skin surface of a user and applying ultrasonic waves to a human body; At least one ultrasonic receiver for receiving reflected waves generated by the applied ultrasonic waves; And a frequency detector for detecting a frequency of a signal received from the ultrasonic receiver.
일 측에 따르면, 상기 초음파 발생기는, 상기 초음파의 빔폭 및 방향을 조절함으로써 정상파의 음장이 형성되는 영역을 조절할 수 있다.According to one aspect of the present invention, the ultrasonic generator can adjust a region where a sound field of a standing wave is formed by adjusting the beam width and direction of the ultrasonic wave.
또 다른 일측에 따르면, 상기 초음파 수신기는, 상기 초음파 발생기가 부착되는 부위 이외의 다른 부위의 피부표면에 부착될 수 있다.According to another aspect of the present invention, the ultrasonic receiver may be attached to a surface of the skin at a site other than the site to which the ultrasonic generator is attached.
또 다른 일측에 따르면, 상기 초음파 수신기는, 상기 수신되는 반사파의 크기가 가장 큰 반사파를 접촉지점의 수직 위치로 판단할 수 있다.According to another aspect of the present invention, the ultrasonic receiver can determine the reflected wave having the largest magnitude of the received reflected wave as a vertical position of the contact point.
또 다른 일측에 따르면, 상기 초음파 수신기는, 상기 반사파의 주파수 변이를 측정함으로써 사용자의 입력에 대한 방향과 속도를 측정할 수 있다.According to another aspect of the present invention, the ultrasonic receiver can measure a direction and a velocity of a user's input by measuring a frequency variation of the reflected wave.
일 실시예에 따른 초음파를 이용하여 입력하는 방법은, 사용자로부터 입력을 감지하는 단계; 상기 감지된 입력에 의하여 사용자의 인체에 초음파 신호를 입력하는 단계; 상기 인체의 내부로 입력된 초음파 신호를 피부 표면으로 도달시키고, 상기 피부 표면에 도달한 초음파 신호를 반사시키는 단계; 및 상기 피부 표면에 상기 입력된 초음파와 상기 반사된 초음파의 합으로 생성되는 정상파 형태의 음장이 형성되는 단계를 포함할 수 있다.According to an exemplary embodiment of the present invention, there is provided a method of input using an ultrasonic wave, comprising: sensing input from a user; Inputting an ultrasonic signal to a user's body by the sensed input; Reaching the ultrasonic signal input into the inside of the human body to the skin surface and reflecting the ultrasonic signal reaching the skin surface; And forming a standing wave type sound field on the surface of the skin, the sound field being generated by the sum of the input ultrasonic waves and the reflected ultrasonic waves.
일 측에 따르면, 상기 초음파를 이용하여 입력하는 방법은, 상기 형성된 음장에 의하여 사용자로부터 입력받을 수 있는 입력 영역이 생성되는 단계; 상기 사용자에 의하여 상기 생성된 입력 영역의 피부 표면이 접촉되고, 상기 접촉에 의하여 변이된 피부 표면의 음향 임피던스에 변이를 발생시키는 단계; 상기 발생된 음향 인피던스에 의하여 상기 피부 표면에 반사파가 형성되는 단계; 및 상기 형성된 반사파를 수신하고, 상기 수신된 반사파로부터 주파수를 검출하는 단계를 더 포함할 수 있다.According to one aspect of the present invention, there is provided a method of inputting using an ultrasonic wave, the method comprising: generating an input area through which a user can input; Causing a skin surface of the generated input area to contact the user and causing a variation in the acoustic impedance of the skin surface shifted by the contact; Forming a reflected wave on the skin surface by the generated acoustic impedance; And receiving the formed reflected wave and detecting a frequency from the received reflected wave.
또 다른 일측에 따르면, 상기 피부 표면에 상기 입력된 초음파와 상기 반사된 초음파의 합으로 생성되는 정상파 형태의 음장이 형성되는 단계는, 상기 신체에 입력된 초음파 신호의 빔폭 및 방향을 조절하고, 상기 조절된 빔폭 및 방향에 의하여 정상파의 음장이 형성되는 영역을 조절하는 단계; 및 상기 정상파의 음장이 형성되는 영역에 의하여 상기 사용자의 입력을 감지할 수 있는 입력 영역을 생성하는 단계를 포함할 수 있다.According to another aspect of the present invention, the step of forming a standing wave type sound field generated by the sum of the input ultrasonic waves and the reflected ultrasonic waves on the skin surface may include adjusting the beam width and direction of the ultrasonic signal input to the body, Adjusting a region where the sound field of the standing wave is formed by the adjusted beam width and direction; And generating an input region capable of sensing the input of the user by the region where the sound field of the standing wave is formed.
또 다른 일측에 따르면, 상기 형성된 반사파를 수신하고, 상기 수신된 반사파로부터 주파수를 검출하는 단계는, 도플러 효과에 의하여 입력의 방향에 따라 수신되는 반사파의 주파수를 변화시키는 단계; 및 정상파의 음장이 지닌 주파수와 상기 수신된 반사파의 주파수를 비교하는 단계를 포함할 수 있다.
According to another aspect of the present invention, the step of receiving the generated reflected wave and detecting the frequency from the received reflected wave includes the steps of: changing the frequency of the received reflected wave according to the direction of the input by the Doppler effect; And comparing the frequency of the sound wave of the standing wave with the frequency of the received reflected wave.
실시예에 따른 사용자 휴대단말용 입력장치는 사용자에 근접하는 전자기기들의 동기화에 있어 사용자의 심전도를 사용함으로써 매우 간단한 방법으로 동기화가 가능하며, 이로 인해 해당 전자기기들의 기능을 향상시킬 수 있다.
The input device for a user portable terminal according to the embodiment can synchronize the electronic devices close to the user in a very simple manner by using the electrocardiogram of the user, thereby improving the functions of the electronic devices.
도 1은 일실시예에 따른 사용자 휴대단말용 입력장치를 구비한 단말장치를 나타낸 도면이다.
도 2는 일실시예에 따른 사용자 휴대단말용 입력장치를 구비한 단말장치를 통하여 손가락의 수직방향으로의 위치를 검출하는 것을 나타낸 도면이다.
도 3은 일실시예에 따른 사용자 휴대단말용 입력장치의 사용자 휴대단말용 입력 방법을 나타낸 도면이다.
도 4는 일실시예에 따른 사용자 휴대단말용 입력장치의 구성을 나타낸 도면이다.1 is a block diagram illustrating a terminal device including an input device for a user portable terminal according to an exemplary embodiment of the present invention.
FIG. 2 is a diagram illustrating a position of a finger in a vertical direction through a terminal device including an input device for a user portable terminal according to an embodiment.
3 is a diagram illustrating an input method for a user portable terminal of an input device for user portable terminal according to an exemplary embodiment.
4 is a block diagram illustrating a configuration of an input device for a user portable terminal according to an exemplary embodiment.
이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings.
도 1은 일실시예에 따른 사용자 휴대단말용 입력장치를 구비한 단말장치를 나타낸 도면이다.1 is a block diagram illustrating a terminal device including an input device for a user portable terminal according to an exemplary embodiment of the present invention.
도 1은 인체의 피부 표면에 형성된 음장을 이용하는 입력장치를 구비한 단말장치(100)를 도시한 도면으로서, 단말장치(100)에는 사용자 휴대단말용 입력장치가 포함될 수 있다.1 shows a
인체(101)에 부착되어 초음파 신호(107)를 인체(101)에 입력하고 피부표면에 정상파(Standing Wave)의 음장(102)을 형성하는 초음파 생성장치(110), 상기 초음파 생성장치와는 별도로 인체(101)에 부착되어 손가락(103)의 접촉에 의해 생성되는 반사파(104)를 수신하고 반사파(104)의 주파수 변화를 감지하는 초음파 수신장치(120)로 구성될 수 있다. 이때, 정상파란 진행파에 상대되는 말로서, 예를 들면 진폭과 진동수가 같은 두 파가 서로 반대 방향으로 진행하다가 겹쳤을 때 어느 방향으로도 진행하지 않고 제자리에서 진동하는 파를 의미할 수 있다.An ultrasonic
단말장치(100)가 사용자로부터 정보를 입력 받을 경우 단말장치(100)는 초음파 생성장치(110)를 구동하여 사용자의 인체(101)에 초음파 신호(107)를 입력할 수 있다. 인체(101) 내부로 입력된 초음파 신호(107)는 인체를 통해 전송되어 피부표면에 도달할 수 있다. 피부와 공기의 음향 임피던스는 매우 큰 차이를 가지므로 피부표면에 도달한 초음파 신호(107)는 대부분 반사되며, 이로 인해 피부표면에는 입력 초음파와 반사 초음파의 합으로 생성되는 정상파 형태의 음장(102)이 형성될 수 있다.When the
초음파 생성장치(110)로부터 인체에 입력되는 초음파 신호(107)의 빔폭 및 방향을 조절함으로써 정상파의 음장(102)이 형성되는 영역을 조절할 수 있으며, 정상파의 음장(102)이 형성되는 영역이 사용자의 손가락(103)을 이용하여 정보를 입력받는 입력영역(105)이 될 수 있다. 사용자는 손가락(103)을 이용하여 입력영역(105)의 피부표면을 접촉하게 되며, 이러한 접촉에 의해 피부표면의 모양이 변함으로 피부표면의 음향 임피던스에 변이가 나타나고 이로 인해 피부표면에는 반사파(104)가 형성될 수 있다.The area where the
이후, 형성된 반사파(104)를 초음파 수신장치(120)를 이용하여 수신할 수 있다. 도플러 효과에 의해 단말장치(100)에 대비한 손가락(103) 움직임의 방향에 따라 수신되는 반사파(104)의 주파수는 달라진다. 예를 들면, 손가락(103)의 피부 접촉지점(106)이 단말장치(100) 방향으로 움직일 경우 손가락(103)에 의해 형성되는 반사파(104)의 주파수는 정상파의 음장(102)이 갖는 주파수에 비해 증가하며, 반대의 경우 해당 주파수는 감소할 수 있다. 예를 들면, 움직이는 물체의 속도를 측정하기 위해 사용되는 스피드건과 동일한 원리로서, 야구선수가 던진 공이나 달리는 자동차에 초음파나 전파를 발사하고 반사되어 돌아오는 초음파나 전파를 측정하고 이때, 도플러 효과에 의해 반사되어 돌아오는 초음파나 전파의 주파수는 물체의 움직임 방향과 속도에 따라 변화하므로 이러한 주파수 변이를 측정함으로써 해당물체의 방향과 속도를 측정할 수 있다.Thereafter, the formed
일 실시예에 따른 사용자 휴대단말용 입력 장치는 반사파의 주파수를 검출하고 이를 정상파의 음장이 갖는 주파수와 비교함으로써 손가락이 단말장치에 수평방향으로 접근하는지 아니면 멀어지는지를 검출할 수 있으며 동시에 이동하는 속도도 검출할 수 있다.The input device for a user portable terminal according to an embodiment can detect whether the finger approaches or disappears to the terminal device by detecting the frequency of the reflected wave and comparing the frequency with the frequency of the sound wave of the standing wave, Can be detected.
도 2는 일실시예에 따른 사용자 휴대단말용 입력장치를 구비한 단말장치를 통하여 손가락의 수직방향으로의 위치를 검출하는 것을 나타낸 도면이다.FIG. 2 is a diagram illustrating a position of a finger in a vertical direction through a terminal device including an input device for a user portable terminal according to an embodiment.
도 2는 도 1의 피부표면에 형성된 음장을 이용하는 사용자 휴대단말용 입력장치를 구비한 단말장치(200)를 위에서 바라본 도면으로서, 손가락(203)의 수직방향으로의 위치를 검출하기 위해 초음파 수신장치를 포함할 수 있다. 이때, 초음파 수신장치는 복수 개의 초음파 수신기(220)를 포함할 수 있다. 초음파 수신장치의 초음파 수신기(220)에 수신되는 반사파(204)의 세기는 접촉지점(206)과 초음파 수신장치 사이의 거리에 반비례한다. 예를 들면, 접촉지점(106)에서 생성되는 반사파(204)는 피부표면을 따라 전송되므로 접촉지점(206)과 초음파 수신장치의 거리가 멀 경우 전송에 따른 반사파(204)의 신호손실이 커져 초음파 수신장치는 작은 크기의 반사파(204)를 수신하게 된다.FIG. 2 is a top view of a
일 실시예에 따른 초음파 수신장치의 초음파 수신기를 다수로 배열한 뒤 각각의 초음파 수신장치를 통해 수신되는 반사파의 크기를 비교하고, 이때 가장 큰 반사파를 수신하는 초음파 수신기의 수직위치를 접촉지점의 수직위치로 판단할 수 있다.A plurality of ultrasonic receivers of the ultrasonic receiving apparatus according to an embodiment are arranged and then the magnitudes of the reflected waves received through the respective ultrasonic receiving apparatuses are compared and the vertical position of the ultrasonic receiver that receives the largest reflected wave is referred to as a vertical It can be judged as a position.
도 3은 일실시예에 따른 사용자 휴대단말용 입력장치의 사용자 휴대단말용 입력 방법을 나타낸 도면이다.3 is a diagram illustrating an input method for a user portable terminal of an input device for user portable terminal according to an exemplary embodiment.
도 3은 사용자 휴대단말용 입력장치의 입력 방법을 이용하여 접촉 지점의 수평 이동방향 및 수직 위치를 검출하고 이를 통해 단말장치에서 특정한 동작을 실행하는 순서를 나타낸 것이다. 이때, 단말장치는 통신이 가능한 전자 기기로서, 예를 들면, 스마트 폰, 웨어러블 스마트 기기 등을 포함할 수 있다.FIG. 3 shows a procedure for detecting a horizontal movement direction and a vertical position of a touch point by using an input method of a user portable terminal input device and performing a specific operation in the terminal device through the detection. At this time, the terminal device is an electronic device capable of communicating with, for example, a smart phone, a wearable smart device, and the like.
단말장치는 초음파 수신 장치의 복수 개의 초음파 수신기를 통해 반사파의 수신 상태를 주기적으로 검출하여 반사파가 수신되는지를 판단할 수 있다(S300). 이때, 반사파가 수신되지 않을 경우 반사파의 수신을 대기하고(S301), 반사파가 수신되는 경우 단말장치는 마우스 커서를 화면의 중앙에 위치시킬 수 있다(S302).The terminal device may periodically detect the reception state of the reflected wave through a plurality of ultrasonic receivers of the ultrasonic receiver to determine whether the reflected wave is received (S300). At this time, if the reflected wave is not received, the terminal waits for reception of the reflected wave (S301). If the reflected wave is received, the terminal device can place the mouse cursor at the center of the screen (S302).
단말 장치는 복수 개의 초음파 수신기에서 수신되는 반사파의 세기를 비교(S303)하고 최대의 크기를 갖는 반사파를 수신하는 초음파 수신기의 위치를 접촉지점의 수직위치로 판단할 수 있다. 그 후, 최대의 반사파 신호 크기를 갖는 초음파 수신기에서 반사파 신호의 주파수 변이를 검출하여(S304) 접촉 지점에 대한 수평 방향으로의 이동 방향과 이동 속도를 검출할 수 있다.The terminal device compares the intensity of the reflected wave received from the plurality of ultrasonic receivers (S303) and determines the position of the ultrasonic receiver that receives the reflected wave having the maximum size as the vertical position of the contact point. Thereafter, in the ultrasonic receiver having the maximum reflected wave signal amplitude, the frequency shift of the reflected wave signal is detected (S304), and the moving direction and the moving velocity in the horizontal direction with respect to the contact point can be detected.
수직 위치 및 수평으로의 이동 방향과 이동 속도에 따라 단말 장치는 표시되는 마우스 커서를 정 중앙에서 이동시킬 수 있다(S305). 단말장치는 반사파가 계속 수신되는지의 여부를 검출하여 반사파가 연속적으로 수신되는지를 판단할 수 있다(S306). 이때, 반사파가 연속적으로 수신되는 경우 상기 S303의 반사파 신호의 세기를 비교하는 단계로 돌아가 S303~S307의 과정을 수행할 수 있고, 반사파가 연속적으로 수신되지 않는 경우 마우스 커서가 현재 위치하고 있는 지점에서의 해당 메뉴를 실행함으로써 동작을 수행할 수 있다(S307). 그 후, S300 과정을 다시 수행하기 위하여 반사파의 수신을 대기함으로써 새로운 동작의 실행을 기다릴 수 있다(S301).The terminal device can move the displayed mouse cursor at the center in accordance with the vertical direction and the moving direction and the moving speed in the horizontal direction (S305). The terminal device can detect whether or not the reflected wave is continuously received and determine whether the reflected wave is continuously received (S306). In this case, if the reflected waves are continuously received, the process returns to the step of comparing the intensity of the reflected wave signal of S303, and the process of S303 to S307 may be performed. If reflected waves are not continuously received, The operation can be performed by executing the corresponding menu (S307). Thereafter, in order to perform step S300 again, it is possible to wait for execution of the new operation by waiting for reception of the reflected wave (S301).
일 실시예에 따른 사용자에 근접하는 전자기기들의 동기화에 있어 사용자의 심전도를 사용함으로써 매우 간단한 방법으로 동기화가 가능하며, 이로 인해 해당 전자기기들의 기능을 향상시킬 수 있다.Synchronization can be achieved in a very simple manner by using the user's electrocardiogram in synchronizing the electronic devices close to the user according to the embodiment, thereby improving the functions of the electronic devices.
도 4는 일실시예에 따른 사용자 휴대단말용 입력장치의 구성을 나타낸 도면이다.4 is a block diagram illustrating a configuration of an input device for a user portable terminal according to an exemplary embodiment.
도 4는 상기 순서도의 동작을 수행하기 위한 초음파 생성장치(110)와 초음파 수신장치(120)의 구성을 나타낸 도면으로, 사용자 휴대단말용 입력장치(400)는 피부 표면에 형성된 음장을 이용하는 장치로서, 초음파 생성장치(410) 및 초음파 수신장치(420)로 구성될 수 있다.FIG. 4 is a block diagram showing the configuration of the ultrasonic
초음파 생성장치(410)는 복수 개의 초음파 발생기(411), 증폭기(412) 및 위상 조절기(413)를 포함할 수 있다. 초음파 발생기(411)는 사용자의 피부 표면에 부착되어 인체(401)에 초음파를 인가할 수 있다. 초음파 생성장치(410)는 상기 피부 표면에 형성되는 음장 영역의 범위를 조절하기 위해 초음파 발생기(411)가 적어도 하나 이상이 포함될 수 있고, 각각의 초음파 발생기(411)에 입력되는 신호의 위상을 조절하는 위상 조절기(413)가 추가로 구성될 수 있다. 또한, 초음파 생성장치(410)는 초음파 발생기(411)에 입력되는 신호를 증폭하기 위한 증폭기(412)가 포함될 수 있다.The
인체(예를 들면, 피부표면)에 정상파의 음장을 형성하기 위해 인체에 초음파 신호를 인가하는 초음파 발생기(411)가 피부표면에 부착될 수 있다. 복수 개의 초음파 발생기(411)는 전기적인 입력 신호를 초음파로 변환하고 변환된 초음파를 인체에 입력할 수 있다. 이때, 증폭기(412)는 입력되는 초음파의 크기를 증가시키기 위해 전기적인 입력신호를 증폭하기 위하여 추가로 사용될 수 있다.An
또한 초음파 생성장치(410)는 입력영역의 면적을 조절할 필요가 있을 경우 인체에 입력되는 초음파의 빔폭 및 방향을 조절할 수 있으며, 이를 위해 다수의 초음파 발생기(411)과 증폭기(412)를 구비한 뒤 각각의 증폭기(412)에 입력되는 전기적 신호의 위상을 조절함으로써 배열효과에 의해 초음파의 빔폭과 방향을 조절할 수 있다. 증폭기(412)에 입력되는 전기적 신호의 위상을 조절하기 위해 위상 조절기(413)가 추가적으로 사용될 수 있다.The
초음파 수신장치(420)는 복수 개의 초음파 수신기(421), 증폭기(420), 비교기(423) 및 주파수 검출기(424)를 포함할 수 있다. 초음파 수신기(421)는 초음파 발생기(411)가 부착되는 부위와 다른 부위의 피부 표면에 부착되어 인가된 초음파에 의해 형성되는 피부 표면의 음장을 왜곡하면서 발생하는 반사파를 수신할 수 있다.The
주파수 검출기(424)는 초음파 수신기로부터 수신된 신호의 주파수를 검출할 수 있다. 주파수 검출기(424)를 통해 수신되는 신호의 주파수를 인체에 인가되는 초음파 신호의 주파수와 비교함으로써 초음파 수신기 및 초음파 발생기로부터 인체에 입력되는 초음파의 진행 방향이 포함되는 면을 기준으로 음장의 왜곡지점의 위치 변화를 검출할 수 있다.The
비교기(423)는 초음파 수신 장치(420)에 적어도 하나 이상의 초음파 수신기(421)가 포함되고, 각각의 초음파 수신기(421)로부터 수신된 신호의 크기를 비교할 수 있다. 최대의 크기를 갖는 신호를 수신하는 초음파 수신기의 위치를 파악할 수 있다.The
증폭기(422)는 초음파 수신기(421)로부터 수신되는 신호를 증폭할 수 있다.The
반사파를 수신하기 위하여 초음파 수신기(421)는 피부표면에 부착될 수 있고, 이에 따라 초음파 형태의 반사파를 전기적 신호로 변환할 수 있다. 이때, 접촉지점의 수직위치를 검출하기 위하여 복수 개의 초음파 수신기(421)가 사용될 수 있다.In order to receive the reflected wave, the
초음파 수신장치(420)에는 초음파 수신의 수신감도를 증가시키기 위하여 전기적 신호로 변환된 신호의 크기를 증가시키는 증폭기(422)가 추가로 사용될 수 있다. 비교기(423)는 각각의 초음파 수신기(121)의 출력신호를 비교하여 각각의 초음파 수신기(421)를 통해 수신된 반사파의 크기를 비교할 수 있으며, 이를 통해 단말장치(400)는 접촉지점의 수직위치를 판단할 수 있다.The
또한, 주파수 검출기(424)는 초음파 수신기(421)의 출력 신호가 갖는 주파수를 검출할 수 있고, 이를 통해 단말장치(400)는 접촉지점의 수평 방향의 이동 방향과 이동 속도를 판단할 수 있다.In addition, the
각각의 초음파 발생기(411) 및 초음파 수신기(421)는 인체(401)의 피부와 음향 임피던스 차이를 가지며 이로 인해 피부에서의 초음파 반사가 나타날 수 있다. 이러한 초음파 반사에 의한 신호 손실을 최소화하기 위해 초음파 발생기(411) 및 초음파 수신기(421)와 피부 사이에는 별도의 음향 임피던스 정합층이 사용될 수 있다.Each of the
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components. For example, the apparatus and components described in the embodiments may be implemented within a computer system, such as, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA) A programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For ease of understanding, the processing apparatus may be described as being used singly, but those skilled in the art will recognize that the processing apparatus may have a plurality of processing elements and / As shown in FIG. For example, the processing unit may comprise a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as a parallel processor.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of the foregoing, and may be configured to configure the processing device to operate as desired or to process it collectively or collectively Device can be commanded. The software and / or data may be in the form of any type of machine, component, physical device, virtual equipment, computer storage media, or device , Or may be permanently or temporarily embodied in a transmitted signal wave. The software may be distributed over a networked computer system and stored or executed in a distributed manner. The software and data may be stored on one or more computer readable recording media.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.
100: 단말장치
101: 인체
102: 음장
103: 손가락
104: 반사파
105: 입력영역
106: 접촉지점
107: 초음파 신호
110: 초음파 생성장치
120: 초음파 수신장치100: terminal device
101: Human body
102: Sound field
103: Finger
104: reflected wave
105: input area
106: contact point
107: Ultrasonic signal
110: Ultrasonic generating device
120: Ultrasonic receiving device
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140042175AKR20150117013A (en) | 2014-04-09 | 2014-04-09 | Input method and device using ultrasound |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140042175AKR20150117013A (en) | 2014-04-09 | 2014-04-09 | Input method and device using ultrasound |
| Publication Number | Publication Date |
|---|---|
| KR20150117013Atrue KR20150117013A (en) | 2015-10-19 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140042175AWithdrawnKR20150117013A (en) | 2014-04-09 | 2014-04-09 | Input method and device using ultrasound |
| Country | Link |
|---|---|
| KR (1) | KR20150117013A (en) |
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Push the limit of acoustic gesture recognition | |
| Mao et al. | Rnn-based room scale hand motion tracking | |
| EP2661663B1 (en) | Method and apparatus for tracking orientation of a user | |
| Wang et al. | Device-free gesture tracking using acoustic signals | |
| Nandakumar et al. | Fingerio: Using active sonar for fine-grained finger tracking | |
| Mao et al. | DeepRange: Acoustic ranging via deep learning | |
| US7834850B2 (en) | Method and system for object control | |
| US8139029B2 (en) | Method and device for three-dimensional sensing | |
| US9632586B2 (en) | Audio driver user interface | |
| JP2015179524A (en) | Touchless sensing and gesture recognition using continuous wave ultrasound signals | |
| KR20090078604A (en) | Position measuring device and method using broadband microphone | |
| Zhuang et al. | ReflecTrack: Enabling 3D acoustic position tracking using commodity dual-microphone smartphones | |
| CN110572600A (en) | Video processing method and electronic device | |
| CN114255781A (en) | Method, device and system for acquiring multi-channel audio signal | |
| Li et al. | Beyond-voice: Towards continuous 3D hand pose tracking on commercial home assistant devices | |
| EP3661233B1 (en) | Wearable beamforming speaker array | |
| Zayer et al. | PAWdio: Hand input for mobile VR using acoustic sensing | |
| US20230396920A1 (en) | Multi-directional wind noise abatement | |
| JP6034715B2 (en) | Motion detection device and program | |
| Chung et al. | vTrack: Virtual trackpad interface using mm-level sound source localization for mobile interaction | |
| KR20150117013A (en) | Input method and device using ultrasound | |
| Wang et al. | RAM-Hand: Robust Acoustic Multi-Hand Pose Reconstruction Using a Microphone Array | |
| WO2018047543A1 (en) | Output control device, output control method, and program | |
| Lai et al. | AcousticPose: Acoustic-Based Human Pose Estimation | |
| Kishi et al. | Recognizing object localization using acoustic markers with active acoustic sensing |
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application | Patent event code:PA01091R01D Comment text:Patent Application Patent event date:20140409 | |
| PG1501 | Laying open of application | ||
| PC1203 | Withdrawal of no request for examination | ||
| WITN | Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid |