본 발명은 음성과 무선 인터넷 및 문자서비스를 이용한 자연언어를 이용한 정보 가전기기 제어방법에 관한 것으로 특히 사용자가 원거리에서 자신의 음성을 통하여 집안에 있는 정보 가전기기의 상태를 정검하거나 정보 가전기기를 제어하고, 그 제어 결과를 무선 인터넷이나 문자서비스, 전화등으로 연락을 받을 수 있도록 한 자연언어를 이용한 정보가전 제어방법에 관한 것이다.The present invention relates to a method for controlling an information appliance using a natural language using voice, wireless internet, and text service. In particular, the user can check the state of an information appliance in a house or control the information appliance in a home through his / her voice at a distance. In addition, the present invention relates to a method of controlling information appliances using a natural language that allows the control result to be contacted by wireless Internet, text service, and telephone.
현대 사회는 단독세대를 구성한 직장인, 휴가, 출장 등으로 집을 비우고 다니는 사람들이 많아지고 있다. 일부 제품 중에는 타이머(Timer)를 설치하여 기기들의 시작시간과 종료시간을 조작하는 제품들이 나오고 있지만, 사용자가 기기의 동작을 확인할 수가 없어 실제 사용은 미미한 상황이이었다. 또한 종래에도 홈오토메이션 (Home Automation)에서 일부 정보 가전기기들을 조작하는 경우가 있었지만 그 활용이 미미하였고, 최근 들어서 인터넷(Internet)을 이용하여 정보가전을 조작하는 제품들이 나오고 있으나 아직까지 인터넷은 주로 젊은 계층에서만 널리 사용되고 있어서 기존 세대들의 경우는 그 동작이 쉽지 않아 사용이 힘들다는 단점이 있으며, 또한 인터넷이 가능한 곳에서만 사용할 수 있다는 단점이 있어 그 역시 사용이 제한적으로 이루어져 왔다. 반면에 전화는 일반적으로 남녀노소를 가리지 않고 흔히 사용하여 왔기 때문에 보급도 많이 되었을 뿐 아니라, 그 사용이 간편하여 오래전 부터 널리 이용되고 있는 상황이다. 또한 음성인식 기술이 계속 발전하여 현재에는 자연언어를 정확히 인식할 수 있는 기술이 보편화되었고, 이러한 자연언어의 인식기술은 정보 가전기기에 새로운 기능을 부여할 수 있는 환경을 조성하고 있는 것이다.In today's society, more and more people are leaving their homes for office workers, vacations, and business trips. Some products have been installed to control the start time and end time of the device by installing a timer (Timer), but the actual use was insignificant because the user can not check the operation of the device. In addition, there have been cases in which some home appliances are operated by home automation, but their use is insignificant. Recently, there are products that operate information appliances using the Internet. Because it is widely used only in the hierarchy, the existing generation has a disadvantage in that its operation is not easy and it is difficult to use, and it has a disadvantage in that it can be used only where the Internet is available. On the other hand, telephones have been widely used because they have been commonly used regardless of age or sex, and they have been widely used for a long time since they are easy to use. In addition, as voice recognition technology continues to develop, the technology for recognizing natural language is now universalized, and this natural language recognition technology is creating an environment that can give new functions to information appliances.
따라서 본 특허의 목적은 종래의 이러한 문제점을 해결하기 위하여 널리 보급되어 있는 전화를 통하여 가정에 설치된 홈서버에 연결해서 사용자의 음성을 통해 가전제품과 기타 가정 기기들의 상태를 점검하고 조작할 수 있는 방법을 제안하고자 하는 것이다. 또한 추가적으로 미리 설정된 상황이 발생하는 경우, 문자메시지, 무선인터넷, 전화 등을 통해서 사용자에게 상태를 알려줌으로써 사용자가 안심하고 기기를 제어할 수 있도록 한 정보가전 제어방법을 제공하기 위한 것이다.Therefore, the purpose of this patent is to connect to a home server installed in a home through a telephone that is widely used to solve the problems of the conventional method that can check and manipulate the status of home appliances and other home appliances through the user's voice. I would like to propose. In addition, when a predetermined situation occurs, it is to provide an information appliances control method that allows the user to control the device with confidence by informing the user through a text message, wireless Internet, telephone, and the like.
이러한 목적을 이루기 위하여 본 발명은 음성인식을 이용한 홈네트워크 제어방법에 있어서, 홈서버에 연결 후 기기 제어 모드를 확인하는 제1단계와, 기기제어 모드인 경우 입력음성을 인식하는 제2단계와, 상기 인식된 음성을 자연어 처리하여 해당 제어 명령을 확인하는 제3단계와, 상기 제어 명령에 따라 홈서버에 연결된 기기들을 제어하는 제4단계와, 상기 제어 결과나 기기의 현재 상태를 수신하여 자연어 처리에 의해 문장으로 합성하는 제5단계와, 상기 합성된 문장을 원거리에 있는 사용자를 호출하여 전달하는 제6단계로 이루어지는 자연언어를 이용한 정보가전 제어 방법을 제공하는 것을 특징으로 한다.In order to achieve the above object, the present invention provides a home network control method using voice recognition, comprising: a first step of checking a device control mode after connecting to a home server, a second step of recognizing an input voice in the device control mode; A third step of confirming a corresponding control command by processing the recognized voice in a natural language; a fourth step of controlling devices connected to a home server according to the control command; and receiving a result of the control or a current state of the device in natural language processing And a sixth step of synthesizing the sentence into sentences, and a sixth step of transmitting the synthesized sentences by calling a user at a long distance.
본 발명의 다른 목적이나 특징은 이하 설명하는 바람직한 실시예에 의해서 명백히 들어날 것이다.Other objects and features of the present invention will be apparent from the preferred embodiments described below.
도1은 본 발명의 전체 시스의 구성도1 is a configuration diagram of the entire sheath of the present invention;
도2는 홈서버의 상세 구성도2 is a detailed configuration diagram of a home server
도3는 본 발명의 동작 플로우 차트Figure 3 is an operation flow chart of the present invention
도4는 정보 가전기기 조작 상태도4 is a state diagram of the operation of the information household appliances
********* 도면 주요 부분에 대한 부호의 설명 ***************** Explanation of symbols for the main parts of the drawing ********
221 : 전화 연결부 222 : 인터넷 연결부221: telephone connection 222: Internet connection
223 : 음성인식 프로그램 224 : 음성합성 프로그램223: speech recognition program 224: speech synthesis program
225 : 문자메세지 전송 프로그램 226 : 무선 인터넷 전송 프로그램225: text message transmission program 226: wireless Internet transmission program
227 : 자연어 처리 프로그램 228 : 정보 가전 컨트롤 프로그램227: Natural Language Processing Program 228: Information Appliance Control Program
본 발명의 바람직한 실시예에 대하여 설명하면 다음과 같다.A preferred embodiment of the present invention will be described below.
도1은 본 발명의 전체적인 구성도를 나타낸 것으로 인터넷(10) 과 PDA(11) 및 휴대폰(13)을 이용한 무선 인터넷은 ADSL 케이블 등을 사용하여 홈 게이트웨이 (20)를 거쳐 홈서버(22)에 연결되며, 휴대폰(13) 및 유선 전화기(14)는 일반 전화라인을 이용하여 상기 홈서버(22)에 연결되어진다. 상기 홈서버(22)는 정보 가전기기들(21,23,24,25)과 내부 네트워크를 통해 연결되어진다. 내부 네트워크는 PLC (Power Line Communication), RS-232 및 IEEE1394 등 기존에 알려진 여러가지 네트워크 규격들을 사용할 수 있다.Figure 1 shows the overall configuration of the present invention, the wireless Internet using the Internet 10, PDA 11 and the mobile phone 13 is connected to the home server 22 via the home gateway 20 using an ADSL cable or the like. The mobile phone 13 and the landline phone 14 are connected to the home server 22 using a general telephone line. The home server 22 is connected to the information appliances 21, 23, 24, 25 through an internal network. The internal network can use a variety of known network standards such as PLC (Power Line Communication), RS-232 and IEEE1394.
도2는 홈서버(22)의 내부 구성을 나타낸 도면으로서, 외부 전화라인과 연결을 위한 전화연결부(221)와 ADSL 케이블등을 통해 인터넷과 연결되는 인터넷 연결부 (222)와 상기 전화연결부(221)를 통해 수신되는 음성을 인식하기 위한 음성인식 프로그램(223)과, 상기 인식된 음성에 대한 자언어처리를 위한 자연어 처리 프로그램 (227)과, 상기 자연어 처리 프로그램(227)의 정보를 이용하여 정보 가전기기를 제어하며, 정보 가전기기의 현재상태 및 동작여부를 확인하는 정보 가전 컨트롤 프로그램(228)과, 상기 자연어 처리 프로그램(227)의 데이타를 음성으로 합성하여 출력하는 음성합성 프로그램(224)과, 상기 자연어 처리 프로그램(227)의 데이타를 문자로 합성하여 전화라인 또는 인터넷 라인으로 전송하는 문자 메세지 전송 프로그램(225)과, 상기 자연어 처리 프로그램(227)의 데이타를 무선 인터넷으로 전송하기 위한 무선 인터넷 전송 프로그램(226)으로 구성되어 진다.FIG. 2 is a diagram illustrating an internal configuration of a home server 22. The Internet connection unit 222 and the telephone connection unit 221 are connected to the Internet through a telephone connection unit 221 and an ADSL cable for connection with an external telephone line. A voice recognition program 223 for recognizing a voice received through a voice, a natural language processing program 227 for self language processing of the recognized voice, and information of the natural language processing program 227 An information home appliance control program 228 for controlling the device and confirming the current state and operation of the information home appliance; a voice synthesis program 224 for synthesizing and outputting data of the natural language processing program 227; A text message transmission program 225 for synthesizing data of the natural language processing program 227 into text and transmitting it to a telephone line or an Internet line; and the natural language processing program. And a wireless Internet transmission program 226 for transmitting data from the RAM 227 to the wireless Internet.
이와같이 구성된 본 발명의 동작을 도3 및 도4를 참조하여 설명하면 다음과 같다. 먼저 사용자가 원거리에서 전화를 걸면 전화는 자동으로 홈서버(22)로 연결된다. 홈서버(22)로 전화 연결이 되면 정보 가전기기의 제어모드인지를 확인하여 정보 가전기기 제어모드인 경우 음성인식을 수행한다. 음성인식 프로그램(223)은 전화를 통해서 들어온 음성을 인식하여 자연언어 처리기에 전달해 준다. 자연어 처리 프로그램(227)에서는 인식된 문장을 자연언어 처리하여 정보 가전 컨트롤 프로그램 (228)으로 전달하며, 정보 가전 컨트롤 프로그램(228)은 인식된 자연어 명령에 따라 가전 기기들의 상태를 알려주거나 가전 기기 조작 명령들을 받아서 수행하는 것이다. 또한 미리 프로그램된 정보에 따라 사용자에게 특정 기기의 현재 상태나 동작 정보를 알려줄 필요가 있을 경우에는 자연어 처리 프로그램(227)을 통해 사용자에게 전달되어야 하는 상태 또는 명령 수행 결과를 문장으로 만들고 음성 합성 프로그램(224)을 통해 작성된 문장을 음성으로 합성한다. 이렇게 합성된 정보는 미리 설정한 조건에 맞는 상황이 벌어지면 사용자에게 전달하게 되는 데 문자서비스, 무선인터넷 등을 통하여 문장을 전달하거나, 전화 등을 통해서 음성합성으로 사용자에게 알려 줄 수도 있다.The operation of the present invention configured as described above will be described with reference to FIGS. 3 and 4. First, when a user makes a call from a distance, the call is automatically connected to the home server 22. When the telephone is connected to the home server 22, the controller checks whether the control mode of the information home appliance is performed, and performs voice recognition in the control mode of the information home appliance. The voice recognition program 223 recognizes the voice received through the phone and delivers it to the natural language processor. The natural language processing program 227 transmits the recognized sentence to the natural language processing program and delivers the information to the home appliance control program 228. The home appliance control program 228 notifies the state of the home appliances according to the recognized natural language command or operates the home appliance. It is to receive and execute commands. In addition, when it is necessary to inform the user of the current state or operation information of a specific device according to the pre-programmed information, the natural language processing program 227 makes a sentence or a speech synthesis program (state) of the state or command execution result to be transmitted to the user. Synthesize the sentence written through 224 into a voice. The synthesized information is transmitted to the user when a situation that meets a predetermined condition occurs. The text may be transmitted through a text service or wireless Internet, or may be notified to the user through voice synthesis through a telephone.
도4는 각각의 정보 가전기기의 제어 예를 나타낸 것으로, 사용자가 전화를 통하여 "에어콘의 상태는?" 이라고 문의하면 음성인식 및 자연어 처리한 후 정보 가전 컨트롤 프로그램(228)에서 에어콘에 현재상태를 확인한 후 "현재 전원이 꺼져 있습니다" 라는 문장을 음성으로 합성한 후 사용자에게 통보하여 주는 것이다. 또한 알람(Alarm) 등과 같이 미리 지정된 정보가 정보 가전기기로 부터 정보 가전 컨트롤 프로그램(228)에 수신되면 각 상황에 따라 미리 설정된 문장을 합성한 후 미리 지정된 사용자의 전화, 휴대폰, PDA 및 인터넷 등을 호출하여 합성된 문자 또는 음성 정보를 전달해 주는 것이다.4 shows an example of control of each information home appliance, in which a user calls " state of air conditioner " If the question is then after the voice recognition and natural language processing, the information appliance control program 228 checks the current state in the air conditioner and synthesizes the sentence "Current power is off" to voice and then informs the user. In addition, when predetermined information such as an alarm is received from the information household appliance by the information household appliance control program 228, a preset sentence is synthesized according to each situation, and then the user's phone, mobile phone, PDA, and the Internet are designated. It calls and delivers synthesized text or voice information.
이상에서 살펴본 바와 같이 본 발명을 적용할 경우 기존의 홈네트워크와는 달리 음성, 특히 자연어를 이용하여 각각의 정보 가전기기 편리하게 제어할 수 있으며, 각 기기의 현재 상태나 알람과 같은 사항을 원거리에서 확인한 후 제어명령을 내릴 수 있으므로 사용자에게 보다 편리한 홈 네트워크 솔루션을 제공할 수 있는 것이다. 특히 노인들과 같이 인터넷을 사용 할 줄 모르거나 복잡하게 제어 수순에 익숙하지 못한 사용자에게 본 발명을 적용할 경우 보다 높은 효과를 얻을 수 있다. 또한 인터넷을 연결 할 수 없는 상태에서도 전화로 간편하게 집안의 기기를 제어 할 수 있어 사용자에게 편익을 줄 수 있는 것이다.As described above, in the case of applying the present invention, unlike conventional home networks, each information home appliance can be conveniently controlled using voice, in particular, natural language. After confirming, control commands can be issued, providing a more convenient home network solution. In particular, when the present invention is applied to a user who does not use the Internet or is not familiar with the complicated control procedures such as the elderly, a higher effect can be obtained. In addition, even if you can not connect to the Internet, you can easily control the equipment in the house by phone, which can benefit the user.
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020020042185AKR20040008545A (en) | 2002-07-18 | 2002-07-18 | Method for control of information and electric appliances with natural language |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020020042185AKR20040008545A (en) | 2002-07-18 | 2002-07-18 | Method for control of information and electric appliances with natural language |
| Publication Number | Publication Date |
|---|---|
| KR20040008545Atrue KR20040008545A (en) | 2004-01-31 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020020042185AWithdrawnKR20040008545A (en) | 2002-07-18 | 2002-07-18 | Method for control of information and electric appliances with natural language |
| Country | Link |
|---|---|
| KR (1) | KR20040008545A (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060029453A (en)* | 2004-10-01 | 2006-04-06 | 홍광석 | Voice information service system using next generation wearable computer |
| KR100778172B1 (en)* | 2006-08-04 | 2007-11-22 | 주식회사 대우일렉트로닉스 | TV Phone |
| WO2016186768A1 (en)* | 2015-05-20 | 2016-11-24 | Google Inc. | Event prioritization and user interfacing for hazard detection in multi-room smart-home environment |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060029453A (en)* | 2004-10-01 | 2006-04-06 | 홍광석 | Voice information service system using next generation wearable computer |
| KR100778172B1 (en)* | 2006-08-04 | 2007-11-22 | 주식회사 대우일렉트로닉스 | TV Phone |
| WO2016186768A1 (en)* | 2015-05-20 | 2016-11-24 | Google Inc. | Event prioritization and user interfacing for hazard detection in multi-room smart-home environment |
| US9685061B2 (en) | 2015-05-20 | 2017-06-20 | Google Inc. | Event prioritization and user interfacing for hazard detection in multi-room smart-home environment |
| CN107636744A (en)* | 2015-05-20 | 2018-01-26 | 谷歌有限责任公司 | Event prioritization and user interface for hazard detection in a multiroom smart home environment |
| US10325467B2 (en) | 2015-05-20 | 2019-06-18 | Google Llc | Event prioritization and user interfacing for hazard detection in multi-room smart-home environment |
| CN107636744B (en)* | 2015-05-20 | 2020-07-03 | 谷歌有限责任公司 | Event prioritization and user interface for hazard detection in a multi-room smart home environment |
| Publication | Publication Date | Title |
|---|---|---|
| KR101909498B1 (en) | Control Station for Remote Control of Home Appliances by Recognition of Natural Language Based Command and Method thereof | |
| CN104579873B (en) | The method and system being controlled to intelligent home device | |
| GB0324906D0 (en) | Home network system | |
| EP2770445A2 (en) | Method and system for supporting a translation-based communication service and terminal supporting the service | |
| CN103051734A (en) | Remote voice control method and system for household electrical appliance and communication terminal | |
| CN109005190B (en) | Method for realizing full duplex voice conversation and page control on webpage | |
| CN109920419A (en) | Sound control method and device, electronic equipment and computer-readable medium | |
| CN103491257A (en) | Method and system for sending contact information in communication process | |
| KR20190001435A (en) | Electronic device for performing operation corresponding to voice input | |
| CN106375575A (en) | Method and device for responding to communication request | |
| EP1418740A1 (en) | Simultaneous interpretation system and method thereof | |
| KR101814171B1 (en) | Emergency call system using speech recognition | |
| CN106230714A (en) | A kind of method and device responding communication request | |
| KR100423808B1 (en) | method and apparatus for remotely controlling home electric device using home network | |
| US20050049879A1 (en) | Communication device capable of interworking between voice communications and text communications | |
| US20230254411A1 (en) | Group calling system, group calling method, and program | |
| US6324270B1 (en) | System for coordination of electronic devices | |
| KR20040008545A (en) | Method for control of information and electric appliances with natural language | |
| KR20120073557A (en) | Speech recognition based intelligent robot system | |
| JP2002132292A (en) | Home automation system by speech | |
| KR20010075866A (en) | System and Method for Internet phone and Home Automation using a very short range codeless communication system | |
| CN201114316Y (en) | Telephone control device and telephone control system | |
| KR100510122B1 (en) | Voice Recognition Home Automation System and Control Method of Home Appliance Using the Same | |
| CN111292749B (en) | Session control method and device of intelligent voice platform | |
| CN101207632A (en) | System and method for implementing intelligent home control under architecture of soft exchanging system |
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application | Patent event code:PA01091R01D Comment text:Patent Application Patent event date:20020718 | |
| PG1501 | Laying open of application | ||
| PC1203 | Withdrawal of no request for examination | ||
| WITN | Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid |