KR102348308B1 - User interaction reaction robot - Google Patents
User interaction reaction robotDownload PDFInfo
- Publication number
- KR102348308B1 KR102348308B1KR1020190148253AKR20190148253AKR102348308B1KR 102348308 B1KR102348308 B1KR 102348308B1KR 1020190148253 AKR1020190148253 AKR 1020190148253AKR 20190148253 AKR20190148253 AKR 20190148253AKR 102348308 B1KR102348308 B1KR 102348308B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- reaction
- processing unit
- robot
- user interaction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003993interactionEffects0.000titleclaimsabstractdescription206
- 238000006243chemical reactionMethods0.000titleclaimsdescription244
- 238000012545processingMethods0.000claimsabstractdescription121
- 230000004044responseEffects0.000claimsabstractdescription73
- 238000000034methodMethods0.000claimsdescription12
- 238000005516engineering processMethods0.000abstractdescription7
- 230000009471actionEffects0.000description20
- 230000008569processEffects0.000description8
- 230000006399behaviorEffects0.000description6
- 230000007423decreaseEffects0.000description6
- 238000010586diagramMethods0.000description6
- 229940079593drugDrugs0.000description6
- 239000003814drugSubstances0.000description6
- 230000002452interceptive effectEffects0.000description6
- 230000000694effectsEffects0.000description5
- 230000008451emotionEffects0.000description5
- 241000282412HomoSpecies0.000description3
- 230000008859changeEffects0.000description3
- 238000004891communicationMethods0.000description3
- 230000014509gene expressionEffects0.000description3
- 238000010191image analysisMethods0.000description3
- 230000007850degenerationEffects0.000description2
- 238000001514detection methodMethods0.000description2
- 238000011161developmentMethods0.000description2
- 230000018109developmental processEffects0.000description2
- 230000006870functionEffects0.000description2
- 238000012549trainingMethods0.000description2
- 241001465754MetazoaSpecies0.000description1
- 230000002159abnormal effectEffects0.000description1
- 230000032683agingEffects0.000description1
- 238000013500data storageMethods0.000description1
- 230000009365direct transmissionEffects0.000description1
- 239000000428dustSubstances0.000description1
- 230000035558fertilityEffects0.000description1
- 238000001914filtrationMethods0.000description1
- 238000010606normalizationMethods0.000description1
- 230000003287optical effectEffects0.000description1
- 239000007787solidSubstances0.000description1
- 238000012546transferMethods0.000description1
Images
Classifications
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/003—Controls for manipulators by means of an audio-responsive input
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/081—Touching devices, e.g. pressure-sensitive
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Toys (AREA)
Abstract
Translated fromKoreanDescription
Translated fromKorean본 발명은 사용자 인터랙션 반응 로봇 기술에 관한 것으로, 더욱 상세하게는 사용자의 인터랙션에 따라 성장하고 성장 주기 별로 인터랙션 컨텐츠를 제공할 수 있는 사용자 인터랙션 반응 로봇에 관한 것이다.The present invention relates to user interaction responsive robot technology, and more particularly, to a user interaction responsive robot that can grow according to user interaction and provide interactive content for each growth cycle.
컴퓨터에 의해 제어되는 로봇이 등장한 이래, 단순한 작업만 할 수 있었던 초기의 산업용 로봇에서부터 사람과 감정을 교류하고 걸어 다니는 최근의 로봇에 이르기까지, 로봇의 기술은 컴퓨터의 발달과 함께 고도화되어 왔다. 따라서, 인간(사람)과 같이 지능적으로 행동하는 다양한 로봇이 개발되고 있기에 로봇과 사람이 대면하는 기회는 많아질 것으로 예상되고 있다.Since the advent of computer-controlled robots, robot technology has advanced along with the development of computers, from the early industrial robots that could only perform simple tasks to the recent robots that walk and exchange emotions with people. Therefore, as various robots that act intelligently like humans (humans) are being developed, it is expected that there will be many opportunities for robots and humans to face each other.
이와 함께, 일상생활에서 사람과 함께 생활할 수 있는 로봇에 대한 관심 역시 높아지고 있다. 최근 이러한 추세에 맞게, 다양한 감정이나 행동을 표현하는 애완용 로봇이 개발되었고, 환자를 보살피기 위한 기능의 의료용 로봇이 개발되고 있다.At the same time, interest in robots that can live with people in daily life is also increasing. In line with this recent trend, pet robots that express various emotions or actions have been developed, and medical robots with a function to take care of patients are being developed.
하지만, 기존의 애완용 로봇은, 특정한 타겟 없이 보편적인 모든 사람을 대상으로 하는 로봇 기술이기 때문에, 동물을 모사하거나 사람의 감정을 흉내내는 정도로 매우 단순한 수준이므로, 실제로 사람이 로봇이 아닌 사람과 교감하는 듯한 느낌을 받을 수 없다.However, since the existing pet robot is a robot technology that targets all people universally without a specific target, it is very simple enough to imitate animals or imitate human emotions. can't get the feeling
한국공개특허 제10-2012-0061688(2012.06.13)호는 노인 복지 지원 로봇 및 그의 제어방법에 관한 것으로, 저출산과 의료의 발달로 인해 고령화 사회가 되어가는 사회 상황에서 노인 복지를 지원할 수 있는 로봇을 제공할 수 있는 기술을 개시하고 있다.Korean Patent Laid-Open No. 10-2012-0061688 (June 13, 2012) relates to a welfare support robot for the elderly and a control method thereof, and a robot that can support the welfare of the elderly in a social situation that is becoming an aging society due to low fertility and the development of medical care Disclosed is a technology that can provide
본 발명의 일 실시예는 사용자의 인터랙션에 따라 성장하고 성장 주기 별로 인터랙션 컨텐츠를 제공할 수 있는 사용자 인터랙션 반응 로봇을 제공하고자 한다.An embodiment of the present invention is intended to provide a user interaction responsive robot that can grow according to user interaction and provide interactive content for each growth cycle.
본 발명의 일 실시예는 로봇의 생애주기와 사용자 인터랙션 그리고 외부 환경을 기초로 동적으로 갱신되는 사용자 반응 모델을 이용하여 사용자와 인터랙션을 수행할 수 있는 사용자 인터랙션 반응 로봇을 제공하고자 한다.An embodiment of the present invention is to provide a user interaction responsive robot capable of performing interactions with a user using a user response model that is dynamically updated based on the life cycle of the robot, user interaction, and an external environment.
본 발명의 일 실시예는 로봇의 생애주기는 사용자와의 인터랙션을 통해 성장과 퇴행이 실시간 진행되고 로봇의 퇴행이 지속되면 사용자에게 사용자 반응 모델의 성장을 유도할 수 있는 사용자 인터랙션 반응 로봇을 제공하고자 한다.One embodiment of the present invention is to provide a user interaction responsive robot that can induce the growth of a user reaction model to the user when the life cycle of the robot is real-time growth and regression through interaction with the user and the degeneration of the robot continues. do.
실시예들 중에서, 사용자 인터랙션 반응 로봇은 사용자 인터랙션을 수신하는 사용자 인터랙션 처리부, 적어도 하나의 센서를 통해 외부 환경을 검출하는 외부 환경 처리부, 상기 사용자 인터랙션 및 상기 외부 환경을 기초로 생애주기 기반의 사용자 반응 모델을 갱신하고, 상기 생애주기 기반의 사용자 반응 모델은 단계적으로 성장 또는 쇠퇴하는 사용자 반응 모델 처리부 및 상기 사용자 인터랙션에 반응하여 상기 사용자 반응 모델에 따라 차별되게 사용자 반응 컨텐츠를 제공하는 사용자 반응 컨텐츠 처리부를 포함한다.In embodiments, the user interaction response robot includes a user interaction processing unit that receives a user interaction, an external environment processing unit that detects an external environment through at least one sensor, and a life cycle-based user reaction based on the user interaction and the external environment. A user response model processing unit that updates the model, and the life cycle-based user response model gradually grows or declines, and a user response content processing unit that responds to the user interaction and provides user response content differentially according to the user response model include
상기 사용자 인터랙션 처리부는 상기 사용자 인터랙션 반응 로봇의 특정 위치에 결합된, 터치 패널을 통해 사용자의 스트로크(stroke)를 수신하거나 또는 마이크를 통해 사용자의 대화를 수신하여 상기 사용자 반응 모델 처리부에 송신할 수 있다.The user interaction processing unit may receive a user's stroke through a touch panel coupled to a specific position of the user interaction reaction robot, or receive a user's conversation through a microphone and transmit it to the user reaction model processing unit .
상기 사용자 반응 모델 처리부는 상기 사용자 인터랙션의 수신 이전에 사용자 인증을 통해 사용자에 의해 이전에 형성된 이전 사용자 반응 모델로 복원할 수 있다.The user reaction model processing unit may restore a previous user reaction model previously formed by the user through user authentication before the reception of the user interaction.
상기 외부 환경 처리부는 상기 적어도 하나의 센서를 통해 온도, 습도 및 조도 중 적어도 하나를 수신하여 상기 사용자 반응 모델 처리부에 제공할 수 있다.The external environment processing unit may receive at least one of temperature, humidity, and illuminance through the at least one sensor and provide it to the user reaction model processing unit.
상기 외부 환경 처리부는 카메라를 통해 상기 사용자의 모습을 획득하여 상기 사용자 반응 컨텐츠에 따라 예상되는 사용자 예상 피드백의 발생 여부를 검출하고, 상기 사용자 예상 피드백이 검출된 경우에는 상기 사용자 반응 모델 처리부에 제공할 수 있다.The external environment processing unit acquires the user's appearance through a camera, detects whether an expected user feedback is generated according to the user reaction content, and provides to the user reaction model processing unit when the user expected feedback is detected can
상기 사용자 반응 모델 처리부는 상기 사용자 인터랙션을 통해 해당 생애주기에 성취될 미션의 수행 또는 반복된 실패 여부를 기초로 상기 사용자 반응 모델을 구성하는 생애주기를 성장 또는 퇴행시킬 수 있다.The user response model processing unit may grow or regress the life cycle constituting the user response model based on whether a mission to be accomplished in the corresponding life cycle is performed or failed repeatedly through the user interaction.
상기 사용자 반응 모델 처리부는 상기 생애주기가 퇴행되는 경우에는 상기 사용자와 연관된 사용자 단말에 상기 사용자 인터랙션 반응 로봇의 사용자 반응 모델을 제공하여, 상기 사용자가 상기 사용자 단말을 통해 상기 사용자 반응 모델을 다룰 수 있게 할 수 있다.When the life cycle is regressed, the user reaction model processing unit provides a user reaction model of the user interaction reaction robot to a user terminal associated with the user, so that the user can handle the user reaction model through the user terminal can do.
상기 사용자 반응 모델 처리부는 상기 사용자 인터랙션을 통해 상기 사용자 반응 모델을 구성하는 친밀도를 가감시킬 수 있다.The user reaction model processing unit may increase or decrease intimacy constituting the user reaction model through the user interaction.
상기 사용자 반응 컨텐츠 처리부는 상기 사용자 반응 모델에 있는 생애주기와 친밀도를 기초로 대화내용, 어휘, 어투 및 동작 중 적어도 하나를 결정할 수 있다.The user response content processing unit may determine at least one of conversation content, vocabulary, tone, and action based on a life cycle and intimacy in the user response model.
상기 사용자 반응 컨텐츠 처리부는 상기 사용자 반응 컨텐츠가 상기 사용자 예상 피드백을 요구하는 경우에는 상기 외부 환경 처리부가 미리 결정된 적어도 하나의 피드백 중에서 상기 사용자 예상 피드백을 검출하도록 할 수 있다.The user reaction content processing unit may allow the external environment processing unit to detect the user expected feedback from at least one predetermined feedback when the user reaction content requests the user expected feedback.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.The disclosed technology may have the following effects. However, this does not mean that a specific embodiment should include all of the following effects or only the following effects, so the scope of the disclosed technology should not be understood as being limited thereby.
본 발명의 일 실시예에 따른 사용자 인터랙션 반응 로봇은 로봇의 생애주기와 사용자 인터랙션 그리고 외부 환경을 기초로 동적으로 갱신되는 사용자 반응 모델을 이용하여 사용자와 인터랙션을 수행할 수 있다.A user interaction responsive robot according to an embodiment of the present invention may interact with a user using a user response model that is dynamically updated based on a life cycle of the robot, user interaction, and an external environment.
본 발명의 일 실시예에 따른 사용자 인터랙션 반응 로봇은 로봇의 생애주기는 사용자와의 인터랙션을 통해 성장과 퇴행이 실시간 진행되고 로봇의 퇴행이 지속되면 사용자에게 사용자 반응 모델의 성장을 유도할 수 있다.In the user interaction responsive robot according to an embodiment of the present invention, growth and regression in the life cycle of the robot proceed in real time through interaction with the user, and when the degeneration of the robot continues, the growth of the user reaction model can be induced to the user.
도 1은 본 발명에 따른 사용자 인터랙션 반응 로봇 시스템을 설명하는 도면이다.
도 2는 도 1의 사용자 인터랙션 반응 로봇의 물리적 구성을 설명하는 블록도이다.
도 3은 도 1의 사용자 인터랙션 반응 로봇의 기능적 구성을 설명하는 블록도이다.
도 4는 도 1의 사용자 인터랙션 반응 로봇에서 수행되는 사용자 인터랙션 반응 과정을 설명하는 순서도이다.
도 5는 본 발명에 따른 생애주기 모델을 설명하는 도면이다.
도 6은 본 발명에 따른 사용자 반응 모델을 설명하는 도면이다.
도 7은 본 발명에 따른 사용자 반응 모델의 일 실시예를 설명하는 예시도이다.1 is a view for explaining a user interaction reaction robot system according to the present invention.
FIG. 2 is a block diagram illustrating the physical configuration of the user interaction response robot of FIG. 1 .
3 is a block diagram illustrating a functional configuration of the user interaction response robot of FIG. 1 .
4 is a flowchart illustrating a user interaction reaction process performed in the user interaction reaction robot of FIG. 1 .
5 is a view for explaining a life cycle model according to the present invention.
6 is a view for explaining a user reaction model according to the present invention.
7 is an exemplary diagram for explaining an embodiment of a user reaction model according to the present invention.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.Since the description of the present invention is merely an embodiment for structural or functional description, the scope of the present invention should not be construed as being limited by the embodiment described in the text. That is, since the embodiment may have various changes and may have various forms, it should be understood that the scope of the present invention includes equivalents capable of realizing the technical idea. In addition, since the object or effect presented in the present invention does not mean that a specific embodiment should include all of them or only such effects, it should not be understood that the scope of the present invention is limited thereby.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.On the other hand, the meaning of the terms described in the present application should be understood as follows.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.Terms such as “first” and “second” are for distinguishing one component from another, and the scope of rights should not be limited by these terms. For example, a first component may be termed a second component, and similarly, a second component may also be termed a first component.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.When a component is referred to as being “connected to” another component, it may be directly connected to the other component, but it should be understood that other components may exist in between. On the other hand, when it is mentioned that a certain element is "directly connected" to another element, it should be understood that the other element does not exist in the middle. Meanwhile, other expressions describing the relationship between elements, that is, "between" and "between" or "neighboring to" and "directly adjacent to", etc., should be interpreted similarly.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The singular expression is to be understood as including the plural expression unless the context clearly dictates otherwise, and terms such as "comprises" or "have" refer to the embodied feature, number, step, action, component, part or these It is intended to indicate that a combination exists, and it should be understood that it does not preclude the possibility of the existence or addition of one or more other features or numbers, steps, operations, components, parts, or combinations thereof.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.In each step, identification numbers (eg, a, b, c, etc.) are used for convenience of description, and identification numbers do not describe the order of each step, and each step clearly indicates a specific order in context. Unless otherwise specified, it may occur in a different order from the specified order. That is, each step may occur in the same order as specified, may be performed substantially simultaneously, or may be performed in the reverse order.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The present invention can be embodied as computer-readable codes on a computer-readable recording medium, and the computer-readable recording medium includes all types of recording devices in which data readable by a computer system is stored. . Examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like. In addition, the computer-readable recording medium is distributed in a computer system connected to a network, so that the computer-readable code can be stored and executed in a distributed manner.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.All terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs, unless otherwise defined. Terms defined in general used in the dictionary should be interpreted as having the meaning consistent with the context of the related art, and cannot be interpreted as having an ideal or excessively formal meaning unless explicitly defined in the present application.
도 1은 본 발명에 따른 사용자 인터랙션 반응 로봇 시스템을 설명하는 도면이다.1 is a view for explaining a user interaction reaction robot system according to the present invention.
도 1을 참조하면, 사용자 인터랙션 반응 로봇 시스템(100)은 로봇 서버(110), 사용자 인터랙션 반응 로봇(130), 데이터베이스(150) 및 사용자 단말(170)를 포함할 수 있다.Referring to FIG. 1 , the user interaction
로봇 서버(110)는 사용자 인터랙션 반응 로봇(130)의 정보를 저장하고 관리할 수 있는 컴퓨터 또는 프로그램에 해당하는 서버로 구현될 수 있다. 로봇 서버(110)는 사용자 인터랙션 반응 로봇(130) 및 사용자 단말(170)과 블루투스, WiFi, 통신망 등을 통해 무선으로 연결될 수 있고, 네트워크를 통해 사용자 인터랙션 반응 로봇(130) 및 사용자 단말(170)과 데이터를 주고 받을 수 있다.The
사용자 인터랙션 반응 로봇(130)은 사용자 인터랙션에 따라 성장하고 생애주기 별로 구분되는 인터랙션 컨텐츠를 제공할 수 있는 로봇에 해당할 수 있다. 여기에서, 인터랙션 컨텐츠는 사용자의 인터랙션에 따른 로봇의 반응으로서 로봇의 동작, 음성 및 영상 재생 등을 포함할 수 있다. 로봇의 동작은 특정 행동을 위한 움직임 또는 특정 감정을 표출하는 움직임에 해당할 수 있고, 로봇의 음성은 감정 표현이나 의사 표현뿐만 아니라 정보의 제공을 위한 음성에 해당할 수 있다. 또한, 로봇에 디스플레이 모듈이 포함된 경우 해당 모듈을 통해 영상이 재생될 수 있다.The user interaction
사용자 인터랙션 반응 로봇(130)은 로봇 서버(110) 또는 사용자 단말(170) 과 블루투스, WiFi, 통신망 등을 통해 무선으로 연결될 수 있고, 네트워크를 통해 로봇 서버(110) 또는 사용자 단말(170)과 데이터를 주고 받을 수 있다.The user
일 실시예에서, 사용자 인터랙션 반응 로봇(130)은 데이터베이스(150)와 연동하여 인터랙션 컨텐츠 제공에 필요한 데이터를 저장할 수 있다. 한편, 사용자 인터랙션 반응 로봇(130)은 도 1과 달리, 데이터베이스(150)를 내부에 포함하여 구현될 수 있다. 또한, 사용자 인터랙션 반응 로봇(130)은 프로세서, 메모리, 사용자 입출력부 및 네트워크 입출력부를 포함하여 구현될 수 있으며, 이에 대해서는 도 2에서 보다 자세히 설명한다.In an embodiment, the user
데이터베이스(150)는 사용자 인터랙션에 따른 인터랙션 컨텐츠 제공 과정에서 필요한 다양한 정보들을 저장하는 저장장치에 해당할 수 있다. 데이터베이스(150)는 생애주기 별로 형성되는 사용자 반응 모델에 관한 정보를 저장할 수 있고, 사용자에게 제공되는 인터랙션 컨텐츠에 관한 정보를 저장할 수 있으며, 반드시 이에 한정되지 않고, 사용자 인터랙션 반응 로봇(130)이 사용자 인터랙션 반응 과정에서 다양한 형태로 수집 또는 가공된 정보들을 저장할 수 있다.The
사용자 단말(170)은 사용자 인터랙션 반응 로봇(130)에 관한 온라인 교육을 통해 로봇 기능의 튜닝을 수행할 수 있는 컴퓨팅 장치에 해당할 수 있고, 스마트폰, 노트북 또는 컴퓨터로 구현될 수 있으며, 반드시 이에 한정되지 않고, 태블릿 PC 등 다양한 디바이스로도 구현될 수 있다. 사용자 단말(170)은 로봇 서버(110)와 네트워크를 통해 연결될 수 있고, 복수의 사용자 단말(117)들은 로봇 서버(110)와 동시에 연결될 수 있다.The
일 실시예에서, 사용자 단말(170)은 로봇 서버(110)로부터 생애주기 별로 교육 프로그램을 수신하여 사용자 인터랙션 반응 로봇(130)에 관한 교육을 수행할 수 있다. 사용자 단말(170)을 통해 수행된 교육 내용은 로봇 서버(110)로 전송되어 로봇 서버(110)를 통해 사용자 인터랙션 반응 로봇(130)에 적용될 수 있다. 즉, 사용자 인터랙션 반응 로봇(130)은 교육 내용의 반영 결과를 기초로 실제 사용자와의 인터랙션을 수행할 수 있다.In an embodiment, the
도 2는 도 1의 사용자 인터랙션 반응 로봇의 물리적 구성을 설명하는 블록도이다.FIG. 2 is a block diagram illustrating the physical configuration of the user interaction response robot of FIG. 1 .
도 2를 참조하면, 사용자 인터랙션 반응 로봇(130)은 프로세서(210), 메모리(230), 사용자 입출력부(250) 및 네트워크 입출력부(270)를 포함하여 구현될 수 있다.Referring to FIG. 2 , the user
프로세서(210)는 사용자 인터랙션 반응 로봇(130)이 동작하는 과정에서의 각 단계들을 처리하는 프로시저를 실행할 수 있고, 그 과정 전반에서 읽혀지거나 작성되는 메모리(230)를 관리할 수 있으며, 메모리(230)에 있는 휘발성 메모리와 비휘발성 메모리 간의 동기화 시간을 스케줄할 수 있다. 프로세서(210)는 사용자 인터랙션 반응 로봇(130)의 동작 전반을 제어할 수 있고, 메모리(230), 사용자 입출력부(250) 및 네트워크 입출력부(270)와 전기적으로 연결되어 이들 간의 데이터 흐름을 제어할 수 있다. 프로세서(210)는 사용자 인터랙션 반응 로봇(130)의 CPU(Central Processing Unit)로 구현될 수 있다.The
메모리(230)는 SSD(Solid State Drive) 또는 HDD(Hard Disk Drive)와 같은 비휘발성 메모리로 구현되어 사용자 인터랙션 반응 로봇(130)에 필요한 데이터 전반을 저장하는데 사용되는 보조기억장치를 포함할 수 있고, RAM(Random Access Memory)과 같은 휘발성 메모리로 구현된 주기억장치를 포함할 수 있다.The
사용자 입출력부(250)는 사용자 입력을 수신하기 위한 환경 및 사용자에게 특정 정보를 출력하기 위한 환경을 포함할 수 있다. 예를 들어, 사용자 입출력부(250)는 터치 패드, 터치 스크린, 화상 키보드 또는 포인팅 장치와 같은 어댑터를 포함하는 입력장치 및 모니터 또는 터치스크린과 같은 어댑터를 포함하는 출력장치를 포함할 수 있다. 일 실시예에서, 사용자 입출력부(250)는 원격 접속을 통해 접속되는 컴퓨팅 장치에 해당할 수 있고, 그러한 경우, 사용자 인터랙션 반응 로봇(130)은 서버로서 수행될 수 있다.The user input/
네트워크 입출력부(270)은 네트워크를 통해 외부 장치 또는 시스템과 연결하기 위한 환경을 포함하고, 예를 들어, LAN(Local Area Network), MAN(Metropolitan Area Network), WAN(Wide Area Network) 및 VAN(Value Added Network) 등의 통신을 위한 어댑터를 포함할 수 있다.The network input/
도 3은 도 1의 사용자 인터랙션 반응 로봇의 기능적 구성을 설명하는 블록도이다.3 is a block diagram illustrating a functional configuration of the user interaction response robot of FIG. 1 .
도 3을 참조하면, 사용자 인터랙션 반응 로봇(130)은 사용자 인터랙션 처리부(310), 외부 환경 처리부(330), 사용자 반응 모델 처리부(350), 사용자 반응 컨텐츠 처리부(370) 및 제어부(390)를 포함할 수 있다.Referring to FIG. 3 , the user
사용자 인터랙션 처리부(310)는 사용자 인터랙션을 수신할 수 있다. 여기에서, 사용자 인터랙션은 사용자가 사용자 인터랙션 반응 로봇(130)을 대상으로 수행하는 다양한 행동에 해당할 수 있다. 예를 들어, 사용자 인터랙션은 로봇에 대한 물리적 접촉, 로봇과의 대화 등을 포함할 수 있으나, 반드시 이에 한정되지 않고, 터치, 영상, 음성 및 텍스트 등 로봇이 제공하는 인터페이스를 통해 로봇에게 전달되는 다양한 형태의 입력들을 포함할 수 있다. 한편, 사용자 인터랙션 처리부(310)는 다양한 형태의 사용자 인터랙션을 수신하기 위하여 마이크, 카메라 및 터치 패널 등을 포함하여 구현될 수 있다.The user
일 실시예에서, 사용자 인터랙션 처리부(310)는 사용자 인터랙션 반응 로봇(130)의 특정 위치에 결합된, 터치 패널을 통해 사용자의 스트로크(stroke)를 수신하거나 또는 마이크를 통해 사용자의 대화를 수신하여 사용자 반응 모델 처리부(350)에 송신할 수 있다. 사용자 인터랙션 반응 로봇(130)은 사용자와의 인터랙션을 학습할 수 있고, 이를 통해 사용자에 대한 응답으로서 사용자 반응 컨텐츠를 동적으로 결정할 수 있다. 사용자 인터랙션 처리부(310)는 터치 패널을 통해 사용자의 터치를 수신할 수 있고, 연속된 터치들을 하나의 스트로크(stroke)로 인식하는 제스처(gesture) 인식을 수행할 수 있다.In an embodiment, the user
또한, 사용자 인터랙션 처리부(310)는 사용자의 대화를 녹음하여 이를 디지털 신호로 변환하거나 또는 텍스트로 변환할 수 있고, 그 결과를 사용자 반응 모델 처리부(350)에 전달할 수 있다. 한편, 사용자 인터랙션 처리부(310)는 사용자로부터 수신되는 사용자 인터랙션을 유형 별로 분류할 수 있고, 유형 별로 정의된 특정 형태로 정규화할 수 있다.Also, the user
외부 환경 처리부(330)는 적어도 하나의 센서를 통해 외부 환경을 검출할 수 있다. 사용자 인터랙션 반응 로봇(130)은 적어도 하나의 센서를 포함하여 구현될 수 있으며, 외부 환경 처리부(330)는 로봇 내부에 부착된 적어도 하나의 센서를 통해 외부 환경 정보를 획득할 수 있다. 예를 들어, 사용자 인터랙션 반응 로봇(130)은 외부 환경으로서 날씨, 온도, 습도, 미세 먼지 등에 관한 센싱 정보를 획득할 수 있다. 또한, 외부 환경 처리부(330)는 획득된 센싱 정보들 중에서 필터링(filtering)을 통해 비정상적인 입력을 제거할 수 있으며, 각 센싱 정보들 별로 정규화 과정을 수행할 수 있다.The external
한편, 외부 환경 처리부(330)에 의해 검출된 외부 환경에 관한 정보는 사용자 인터랙션 반응 로봇(130)의 동작 기준으로서 활용되는 사용자 반응 모델의 구축 및 갱신에 사용될 수 있다.Meanwhile, information about the external environment detected by the external
일 실시예에서, 외부 환경 처리부(330)는 적어도 하나의 센서를 통해 온도, 습도 및 조도 중 적어도 하나를 수신하여 사용자 반응 모델 처리부(350)에 제공할 수 있다. 외부 환경 처리부(330)에 의해 제공된 온도, 습도 및 조도에 관한 정보는 사용자 반응 모델 처리부(350)에 의해 사용자 반응 모델의 구축 및 갱신에 사용될 수 있다. 이를 위하여, 사용자 인터랙션 처리부(310)는 적어도 하나의 센서로서 온도 센서, 습도 센서 및 조도 센서를 포함하여 구현될 수 있다.In an embodiment, the external
일 실시예에서, 외부 환경 처리부(330)는 카메라를 통해 사용자의 모습을 획득하여 사용자 반응 컨텐츠에 따라 예상되는 사용자 예상 피드백의 발생 여부를 검출하고, 사용자 예상 피드백이 검출된 경우에는 사용자 반응 모델 처리부(350)에 제공할 수 있다. 즉, 외부 환경 처리부(330)는 사용자 반응 컨텐츠의 유형에 따라 사용자 예상 피드백을 결정할 수 있고, 카메라를 통해 획득한 사용자 영상을 이미지 분석하여 사용자 예상 피드백의 발생 여부를 검출할 수 있다.In an embodiment, the external
여기에서, 사용자 예상 피드백은 사용자의 반응 컨텐츠에 따라 예측 가능한 사용자의 반응으로서 사용자 인터랙션 반응 로봇(130)에 대한 응답에 해당할 수 있다. 예를 들어, 사용자와 사용자 인터랙션 반응 로봇(130) 간의 대화 도중에 사용자 인터랙션 반응 로봇(130)의 터치 요청에 관한 음성이나 텍스트가 사용자 반응 컨텐츠로서 사용자에게 제공된 경우 외부 환경 처리부(330)는 사용자 예상 피드백으로서 사용자의 터치 패널에 대한 터치 동작을 예측할 수 있고, 최종적으로 해당 동작의 발생 여부를 검출하여 사용자 반응 모델 처리부(350)에 전달할 수 있다.Here, the user expected feedback may correspond to a response to the user
또한, 사용자와 사용자 인터랙션 반응 로봇(130) 간의 인터랙션 도중에 사용자 인터랙션 반응 로봇(130)의 한 손 들기 요청이 사용자 반응 컨텐츠로서 사용자에게 전달된 경우 외부 환경 처리부(330)는 카메라를 통해 사용자 예상 피드백으로서 사용자의 한 손 들기 행위를 검출할 수 있다. 즉, 외부 환경 처리부(330)는 사용자의 모습을 카메라로 촬영할 수 있고, 이미지 분석을 통해 사용자의 동작이 한 손 들기 행위에 관한 것인지를 검출할 수 있다.In addition, when a request to raise one hand of the user
또한, 사용자와 사용자 인터랙션 반응 로봇(130) 간의 인터랙션 도중에 사용자 인터랙션 반응 로봇(130)의 복약 요청이 사용자 반응 컨텐츠로서 사용자에게 전달된 경우 외부 환경 처리부(330)는 카메라를 통해 사용자 예상 피드백으로서 사용자의 복약 행위를 검출할 수 있다. 즉, 외부 환경 처리부(330)는 사용자 인터랙션 반응 로봇(130)의 복약 요청이 발생한 경우 사용자의 모습을 카메라로 촬영할 수 있고, 이미지 분석을 통해 사용자의 동작이 복약 행위에 관한 것인지를 검출할 수 있다.In addition, when the medication request of the user
특히, 외부 환경 처리부(330)는 사용자 예상 피드백으로서 사용자의 복약 행위를 검출하기 위하여, 이미지 분석을 통해 연속적으로 획득하는 사용자의 동작들에 관한 행동 패턴을 사전에 구축할 수 있다. 예를 들어, 외부 환경 처리부(330)는 카메라를 통해 획득하는 사용자의 모습으로부터 한 손을 위로 올리는 동작, 입을 벌리는 동작 및 위로 올라간 손의 손바닥이 입 근처로 이동하는 동작이 연속하여 검출되는 경우 사용자의 복약 행위가 발생한 것으로 결정할 수 있다.In particular, the external
사용자 반응 모델 처리부(350)는 사용자 인터랙션 및 외부 환경을 기초로 생애주기 기반의 사용자 반응 모델을 갱신할 수 있다. 여기에서, 사용자 반응 모델은 사용자 인터랙션 반응 로봇(130)의 행동 기준을 제공하는 학습 모델에 해당할 수 있고, 사용자와 사용자 인터랙션 반응 로봇(130) 간의 인터랙션 과정에서 수집된 정보를 기초로 학습을 통해 구축될 수 있다. 한편, 사용자 반응 모델은 사용자 단말(170)로부터 원격으로 수신되는 교육 내용을 기초로 갱신될 수 있고, 이 경우 교육 프로그램이 사용자 단말(170)에서 수행된 결과가 로봇 서버(110)를 거쳐 사용자 인터랙션 반응 로봇(130)에게 전달될 수 있다.The user reaction
또한, 사용자 반응 모델은 기본적으로 로봇의 생애주기를 하나의 특징 정보로서 포함하여 구현될 수 있으나, 필요에 따라 생애주기 별로 독립적인 모델로서 구축될 수도 있다. 이 때, 로봇의 생애주기는 로봇이 제공하는 인터랙션 컨텐츠(또는 사용자 반응 컨텐츠)에 영향을 줄 수 있으며, 인간의 성장 주기에 대응되어 정의될 수 있다. 로봇의 생애주기에 대해서는 도 5에서 보다 자세히 설명한다.In addition, the user reaction model may be implemented by basically including the life cycle of the robot as one piece of feature information, but may be constructed as an independent model for each life cycle if necessary. In this case, the life cycle of the robot may affect the interactive content (or user response content) provided by the robot, and may be defined corresponding to the human growth cycle. The life cycle of the robot will be described in more detail with reference to FIG. 5 .
한편, 사용자 반응 모델 처리부(350)는 사용자 인터랙션 및 외부 환경을 기초로 생애주기 기반의 사용자 반응 모델을 갱신할 수 있으며, 보다 구체적으로, 사용자 반응 모델 처리부(350)는 특정 시점과 연관되어 수집된 사용자 인터랙션 및 외부 환경을 기초로 사용자 인터랙션 반응 로봇(130)의 현재 생애주기에 따른 사용자 반응 모델을 갱신할 수 있다.On the other hand, the user reaction
일 실시예에서, 사용자 반응 모델 처리부(350)는 로봇의 생애주기 별로 독립적인 복수의 사용자 반응 모델들이 구축되어 있는 경우 사용자 인터랙션 및 외부 환경을 현재 생애주기의 사용자 반응 모델과 나머지 생애주기의 사용자 반응 모델들에 각각 적용할 수 있다. 이 경우, 사용자 반응 모델 처리부(350)는 현재 생애주기와 나머지 생애주기들에 대해 서로 다른 가중치를 각각 부여하여 사용자 반응 모델을 갱신할 수 있다.In one embodiment, when a plurality of independent user reaction models for each life cycle of the robot are built, the user reaction
일 실시예에서, 사용자 반응 모델 처리부(350)는 사용자 인터랙션의 수신 이전에 사용자 인증을 통해 사용자에 의해 이전에 형성된 이전 사용자 반응 모델로 복원할 수 있다. 즉, 사용자 반응 모델은 특정 시점을 기준으로 데이터베이스(150)에 저장될 수 있으며, 사용자 반응 모델 처리부(350)는 사용자 인증에 성공한 사용자의 요청에 따라 특정 시점의 사용자 반응 모델을 현재 사용자 인터랙션 반응 로봇(130)의 행동 기준으로서 적용할 수 있다. 사용자 반응 모델 처리부(350)는 기본적으로 사용자 인증 시점을 기준으로 가장 최신의 사용자 반응 모델을 사용자 인터랙션 반응 로봇(130)에 적용할 수 있고, 만약 사용자에 의해 별도의 요청이 있는 경우 해당 요청과 함께 시점 정보를 추가로 수신하여 해당 시점 정보와 연관된 사용자 반응 모델을 현재의 사용자 인터랙션 반응 로봇(130)에 적용할 수 있다.In an embodiment, the user reaction
일 실시예에서, 사용자 반응 모델 처리부(350)는 사용자 인터랙션을 통해 해당 생애주기에 성취될 미션의 수행 또는 반복된 실패 여부를 기초로 사용자 반응 모델을 구성하는 생애주기를 성장 또는 퇴행시킬 수 있다. 사용자 반응 모델 처리부(350)는 미션의 수행에 성공할 때마다 생애주기를 성장시킬 수 있고, 미션의 수행에 실패할 때마다 생애주기를 퇴행시킬 수 있다. 즉, 생애주기 기반의 사용자 반응 모델은 사용자와의 인터랙션에 따라 단계적으로 성장 또는 쇠퇴(또는 퇴행)의 과정을 거칠 수 있다.In an embodiment, the user response
또한, 사용자 반응 모델 처리부(350)는 미션의 수행 또는 실패가 연속하여 발생하는 경우 성장 또는 퇴행의 속도를 증가시킬 수 있다. 한편, 생애주기의 성장 또는 퇴행은 수치로서 정의될 수 있고, 성장 또는 퇴행에 따라 특정 점수에 도달하는 경우 생애주기의 변경이 발생할 수 있다. 예를 들어, 생애주기의 성장에 따라 100점에 도달하는 경우 생애주기가 다음 단계로 변경될 수 있고, 생애주기의 퇴행에 따라 0점에 도달하는 경우 생애주기가 이전 단계로 변경될 수 있다.In addition, the user response
일 실시예에서, 사용자 반응 모델 처리부(350)는 생애주기가 퇴행되는 경우에는 사용자와 연관된 사용자 단말(170)에 사용자 인터랙션 반응 로봇(130)의 사용자 반응 모델을 제공하여, 사용자가 사용자 단말(170)을 통해 사용자 반응 모델을 다룰 수 있게 할 수 있다. 이 때, 사용자 반응 모델의 사용자 단말(170)로의 전달은 로봇 서버(110)의 중계를 통해 이루어질 수 있으며, 구현 환경에 따라 사용자 인터랙션 반응 로봇(130)으로부터 사용자 단말(170)로의 직접적인 전송을 통해 이루어질 수 있다. 또한, 사용자 반응 모델 처리부(350)는 사용자 반응 모델과 함께 사용자 반응 모델의 교육을 위한 교육 프로그램을 제공할 수 있다.In one embodiment, the user reaction
보다 구체적으로, 사용자 반응 모델 처리부(350)는 현재 단계에서 생애주기가 퇴행하여 특정 임계 점수 이하로 떨어지는 경우 사용자 단말(170)에게 사용자 반응 모델을 제공하여 사용자에 의한 사용자 반응 모델의 성장을 간접적으로 유도할 수 있다. 사용자 반응 모델 처리부(350)는 생애주기의 퇴행이 계속하여 발생함으로써 점수 하락의 범위가 특정 기준 이상으로 증가하는 경우에도 사용자 단말(170)에게 사용자 반응 모델을 제공할 수 있다.More specifically, the user reaction
일 실시예에서, 사용자 반응 모델 처리부(350)는 사용자 인터랙션을 통해 사용자 반응 모델을 구성하는 친밀도를 가감시킬 수 있다. 사용자 반응 모델은 복수의 특징들 각각을 독립된 차원에 대응시켜 형성되는 다차원 모델에 해당할 수 있고, 특정 차원에 대응되는 특징 중 하나로서 친밀도를 포함할 수 있다. 사용자 반응 모델 처리부(350)는 사용자 인터랙션 결과를 반영하여 친밀도를 가감시킬 수 있다.In an embodiment, the user reaction
예를 들어, 사용자 반응 모델 처리부(350)는 사용자의 인터랙션이 사용자 인터랙션 반응 로봇(130)에 대한 부정적 반응으로 분류되는 경우 친밀도를 감소시킬 수 있고, 긍정적 반응으로 분류되는 경우 친밀도를 증가시킬 수 있다. 또한, 사용자 반응 모델 처리부(350)는 부정적 또는 긍정적 반응이 연속되는 경우 연속된 횟수에 따른 가중치를 부여하여 친밀도를 각각 감소 또는 증가시킬 수 있다.For example, the user reaction
사용자 반응 컨텐츠 처리부(370)는 사용자 인터랙션에 반응하여 사용자 반응 모델에 따른 사용자 반응 컨텐츠를 제공할 수 있다. 즉, 사용자 인터랙션 반응 로봇(130)은 사용자와의 인터랙션을 수행할 수 있으며, 사용자의 인터랙션에 반응하는 사용자에 대한 응답 유형은 사용자 반응 컨텐츠 처리부(370)에 의해 결정될 수 있다.The user reaction
보다 구체적으로, 사용자 반응 컨텐츠 처리부(370)는 사용자 인터랙션을 사용자 반응 모델에 입력하여 사용자 반응 컨텐츠를 결과로서 획득할 수 있다. 사용자 반응 모델은 사용자 인터랙션의 유형에 따라 동일한 유형에 속하는 사용자 반응 컨텐츠를 결과로서 출력할 수 있으나, 반드시 이에 한정되지 않는다. 만약 사용자 반응 모델이 생애주기 별로 독립적으로 구축된 경우라면 사용자 반응 컨텐츠 처리부(370)는 사용자 인터랙션 반응 로봇(130)의 현재 생애주기에 따라 사용자 반응 모델을 결정할 수 있고, 사용자 인터랙션을 사용자 반응 모델의 입력으로 제공하여 그 출력으로서 사용자 반응 컨텐츠를 획득할 수 있다.More specifically, the user reaction
일 실시예에서, 사용자 반응 컨텐츠 처리부(370)는 사용자 반응 모델에 있는 생애주기와 친밀도를 기초로 대화내용, 어휘, 어투 및 동작 중 적어도 하나를 결정할 수 있다. 즉, 사용자 반응 컨텐츠 처리부(370)는 사용자 반응 컨텐츠로서 텍스트를 출력하거나 텍스트에 대응하는 음성 및 동작을 출력할 수 있다. 이때, 사용자 반응 컨텐츠 처리부(370)는 텍스트로서 대화내용을 결정할 수 있고, 텍스트에 대응되는 음성을 형성하는 어휘 및 어투를 각각 결정할 수 있으며, 텍스트에 대응되는 동작을 결정할 수 있다. 대화내용은 복수의 문장들의 집합에서 선택될 수 있고, 각 집합은 어휘 및 어투에 따라 독립적으로 구성될 수 있다. 어휘, 어투 및 동작은 어휘 집합, 어투 집합 및 동작 집합에서 각각 결정될 수 있다.In an embodiment, the user response
일 실시예에서, 사용자 반응 컨텐츠 처리부(370)는 사용자 반응 컨텐츠가 사용자 예상 피드백을 요구하는 경우에는 외부 환경 처리부(330)가 미리 결정된 적어도 하나의 피드백 중에서 사용자 예상 피드백을 검출하도록 할 수 있다. 예를 들어, 사용자 반응 컨텐츠가 사용자의 특정 행위를 요구하는 요청에 해당하는 경우 사용자 예상 피드백은 특정 행위와 관련하여 미리 결정된 사용자의 동작들 중 어느 하나에 해당할 수 있고, 사용자 반응 컨텐츠 처리부(370)는 외부 환경 처리부(330)를 통해 해당 사용자의 동작에 관한 검출 결과를 수신할 수 있다. 즉, 사용자 반응 컨텐츠 처리부(370)는 외부 환경 처리부(330)와의 연동을 통해 사용자 예상 피드백의 검출을 처리할 수 있다.In an embodiment, when the user reaction content requests the user expected feedback, the user reaction
제어부(390)는 사용자 인터랙션 반응 로봇(130)의 전체적인 동작을 제어하고, 사용자 인터랙션 처리부(310), 외부 환경 처리부(330), 사용자 반응 모델 처리부(350) 및 사용자 반응 컨텐츠 처리부(370) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.The
도 4는 도 1의 사용자 인터랙션 반응 로봇에서 수행되는 사용자 인터랙션 반응 과정을 설명하는 순서도이다.4 is a flowchart illustrating a user interaction reaction process performed in the user interaction reaction robot of FIG. 1 .
도 4를 참조하면, 사용자 인터랙션 반응 로봇(130)은 사용자 인터랙션 처리부(310)를 통해 사용자 인터랙션을 수신할 수 있다(단계 S410). 사용자 인터랙션 반응 로봇(130)은 외부 환경 처리부(330)를 통해 적어도 하나의 센서를 통해 외부 환경을 검출할 수 있다(단계 S430).Referring to FIG. 4 , the user
또한, 사용자 인터랙션 반응 로봇(130)은 사용자 반응 모델 처리부(350)를 통해 사용자 인터랙션 및 외부 환경을 기초로 생애주기 기반의 사용자 반응 모델을 갱신할 수 있다(단계 S450).In addition, the user
일 실시예에서, 사용자 반응 모델 처리부(350)는 생애주기의 퇴행이 계속되는 시간(T)이 생애주기 단계별 기준시간(Ts), 현재 생애주기의 지속시간(Tc), 전체 생애주기 경과시간(Tt) 및 전체 퇴행 횟수(nt)에 대한 현재 생애주기의 퇴행 횟수(nc)의 비율(nc/nt)을 기초로 산출되는 임계 시간(Tthreshold)을 초과하는 경우 사용자와 연관된 사용자 단말(170)에 사용자 인터랙션 반응 로봇(130)의 사용자 반응 모델을 제공할 수 있다.In an embodiment, the user response
일 실시예에서, 사용자 반응 모델 처리부(350)는 생애주기의 퇴행이 계속되는 시간(T)이 다음의 수학식을 통해 산출되는 임계 시간(Tthreshold)을 초과하는 경우 사용자와 연관된 사용자 단말(170)에 사용자 인터랙션 반응 로봇(130)의 사용자 반응 모델을 제공할 수 있다.In one embodiment, the user response
[수학식][Equation]
(여기에서, T: 생애주기의 퇴행이 계속되는 시간, Ts: 생애주기 단계별 기준시간, Tc: 현재 생애주기의 지속시간, Tt: 전체 생애주기 경과시간, nt: 전체 퇴행 횟수, nc: 현재 생애주기의 퇴행 횟수, Tthreshold: 임계 시간)(here, T: time during which the regression of the life cycle continues, Ts : the reference time for each stage of the life cycle, Tc : the duration of the current life cycle, Tt : the elapsed time of the entire life cycle, nt : the total number of regression, nc : the number of regressions in the current life cycle, Tthreshold : critical time)
또한, 사용자 인터랙션 반응 로봇(130)은 사용자 반응 컨텐츠 처리부(370)를 통해 사용자 인터랙션에 반응하여 사용자 반응 모델에 따른 사용자 반응 컨텐츠를 제공할 수 있다(단계 S470).In addition, the user
도 5는 본 발명에 따른 생애주기 모델을 설명하는 도면이다.5 is a view for explaining a life cycle model according to the present invention.
도 5를 참조하면, 사용자 인터랙션 반응 로봇(130)은 사용자 반응 모델 처리부(350)를 통해 사용자 인터랙션 및 외부 환경을 기초로 생애주기 기반의 사용자 반응 모델을 갱신할 수 있고, 사용자 반응 컨텐츠 처리부(370)를 통해 사용자 인터랙션에 반응하여 사용자 반응 모델에 따른 사용자 반응 컨텐츠를 제공할 수 있다.Referring to FIG. 5 , the user
도 5에서, 사용자 인터랙션 반응 로봇(130)은 생애주기 별로 형성된 프로그램에 따라 사용자와 인터랙션을 수행할 수 있다. 일 실시예에서, 사용자 인터랙션 반응 로봇(130)은 현재의 생애주기 단계가 특징 정보로서 반영된 사용자 반응 모델을 통해 사용자 인터랙션을 제공할 수 있다. 즉, 사용자 반응 모델은 로봇의 현재 생애주기가 특징 정보로서 하나의 차원에 대응하여 형성될 수 있다.In FIG. 5 , the user
한편, 사용자 인터랙션 반응 로봇(130)의 생애주기는 신생아기(4주 이내), 영·유아기(0 ~ 6세), 학령기(7 ~ 18세), 청·장년기(19 ~ 64세) 및 노년기(66세 이상)에 대응하는 단계들로 정의될 수 있다. 생애주기는 각 단계에서의 특징이 사용자 인터랙션 반응 로봇(130)이 제공하는 사용자 반응 컨텐츠에 영향을 줄 수 있다. 즉, 사용자 인터랙션 반응 로봇(130)은 사용자 반응 모델에 따라 사용자 반응 컨텐츠를 결정할 수 있으며, 사용자 반응 모델은 로봇의 현재 생애주기를 하나의 특징 정보로서 포함하여 구축될 수 있다. 따라서, 사용자 인터랙션 반응 로봇(130)은 동일한 사용자 반응에도 불구하고 현재의 생애주기 단계에 따라 전혀 다른 사용자 반응 컨텐츠를 제공할 수 있다.On the other hand, the life cycle of the user
한편, 사용자 인터랙션 반응 로봇(130)은 사용자와의 인터랙션을 통해 성장 또는 퇴행의 과정을 진행할 수 있다. 즉, 사용자 인터랙션 반응 로봇(130)은 사용자와의 인터랙션을 통해 성장이 계속되는 경우 생애주기가 다음 단계로 변경될 수 있다. 반대로, 사용자 인터랙션 반응 로봇(130)은 사용자와의 인터랙션이 일정 기간 발생하지 않는 경우 퇴행이 진행될 수 있고 계속된 퇴행에 따라 생애주기가 이전 단계로 변경될 수 있다. 사용자 인터랙션 반응 로봇(130)은 생애주기 단계의 변경에 따라 갱신된 사용자 반응 모델을 통해 사용자와의 인터랙션을 수행할 수 있다.On the other hand, the user
도 6은 본 발명에 따른 사용자 반응 모델을 설명하는 도면이다.6 is a view for explaining a user reaction model according to the present invention.
도 6을 참조하면, 사용자 인터랙션 반응 로봇(130)은 사용자 반응 컨텐츠 처리부(370)를 통해 사용자 인터랙션에 반응하여 사용자 반응 모델에 따른 사용자 반응 컨텐츠를 제공할 수 있다. 이 때, 사용자 반응 모델은 다양한 특징 정보를 포함하여 정의될 수 있으며, 특히 각 특징 정보는 하나의 차원에 대응하는 다차원 모델로서 표현될 수 있다.Referring to FIG. 6 , the user
일 실시예에서, 사용자 반응 모델은 각 특징 정보를 성분으로 하는 특징 벡터에 관한 학습 모델로서 구현될 수 있다. 즉, 사용자 반응 모델은 특징 벡터를 학습하여 그에 대응되는 사용자 반응 컨텐츠를 출력으로 제공할 수 있다. 이 때, 사용자 반응 모델의 출력은 미리 정의된 복수의 사용자 반응 컨텐츠에 관한 확률 정보에 해당할 수 있다.In an embodiment, the user response model may be implemented as a learning model with respect to a feature vector having each feature information as a component. That is, the user response model may learn the feature vector and provide the corresponding user response content as an output. In this case, the output of the user reaction model may correspond to probability information about a plurality of predefined user reaction contents.
도 6에서, 사용자 반응 모델은 사용자 인터랙션, 외부 환경, 생애주기 및 친밀도를 특징 정보로서 차원화하여 정의될 수 있다. 사용자 인터랙션은 사용자 인터랙션 반응 로봇(130)의 구현에 따라 정의될 수 있으며, 예를 들어, 사용자 인터랙션 반응 로봇(130)이 사용자의 터치를 수신할 수 있는 터치 패널을 포함하는 경우 터치 입력을 사용자 인터랙션으로 수신할 수 있고, 사용자 반응 모델은 터치에 관한 사용자 인터랙션을 포함하여 구축될 수 있다. 또한, 사용자 인터랙션 로봇(123)이 사용자와의 대화를 위한 마이크 및 스피커를 포함하는 경우 대화 입력을 사용자 인터랙션으로 수신할 수 있고, 사용자 반응 모델은 대화에 관한 사용자 인터랙션을 포함하여 구축될 수 있다.In FIG. 6 , the user reaction model may be defined by dimensionalizing user interaction, external environment, life cycle, and intimacy as characteristic information. The user interaction may be defined according to the implementation of the user
일 실시예에서, 사용자 인터랙션 반응 로봇(130)은 외부 환경 처리부(330)를 통해 적어도 하나의 센서로부터 온도, 습도 및 조도 중 적어도 하나를 수신할 수 있고, 외부 환경 중 온습도, 조도 및 시간을 각각 차원화하여 사용자 반응 모델을 구축할 수 있다.In one embodiment, the user
한편, 사용자 반응 모델은 고유 특징 정보로서 사용자 인터랙션 반응 로봇(130)의 현재 생애주기와 사용자와의 친밀도를 각각 차원화 하여 구축될 수 있다. 결과적으로, 사용자 반응 모델은 사용자 인터랙션 반응 로봇(130)의 행동을 결정하는데 영향을 주는 다양한 특징 정보들을 반영하여 형성될 수 있다. 따라서, 사용자 인터랙션 반응 로봇(130)은 다양한 특징 정보들에 따라 갱신되는 사용자 반응 모델에 따라 사용자와의 인터랙션을 제공할 수 있다.On the other hand, the user reaction model can be constructed by dimensionalizing the current life cycle of the user
도 7은 본 발명에 따른 사용자 반응 모델의 일 실시예를 설명하는 예시도이다.7 is an exemplary diagram for explaining an embodiment of a user reaction model according to the present invention.
도 7을 참조하면, 사용자 인터랙션 반응 로봇(130)은 사용자 인터랙션에 반응하여 사용자 반응 모델에 따른 사용자 반응 컨텐츠를 제공할 수 있고, 사용자 반응 컨텐츠는 사용자 반응 모델에 의해 결정될 수 있다.Referring to FIG. 7 , the user
사용자 반응 모델은 다양한 특징 정보들을 반영하여 구축될 수 있으며, 사용자 인터랙션 반응 로봇(130)의 행동을 결정하는 행동 기준의 역할을 담당할 수 있다. 그림 (a) 및 (b)는 각각의 성장 환경에 따라 서로 다르게 형성된 사용자 반응 모델의 실시예를 나타내고 있다. 그림 (a)의 사용자 반응 모델은 그림 (b)보다 생애주기가 더 높기 때문에 사용자 인터랙션 반응 로봇(130)이 제공하는 사용자 반응 컨텐츠도 더 높은 연령의 사용자에게 보다 적합할 수 있다.The user reaction model may be constructed by reflecting various characteristic information, and may serve as a behavior criterion for determining the behavior of the user
또한, 그림 (a)의 사용자 반응 모델은 그림 (b)보다 친밀도가 더 낮기 때문에 사용자 인터랙션 반응 로봇(130)이 제공하는 사용자 반응 컨텐츠는 더 부정적인 성격을 가질 수 있다. 그림 (b)의 사용자 반응 모델은 외부 환경, 즉 온습도, 조도 및 시간 항목이 그림 (a)보다 더 높은 점에서 사용자 인터랙션 반응 로봇(130)은 외부 환경의 변화에 따라 더 다양한 사용자 반응 컨텐츠를 제공할 수 있다.In addition, since the user reaction model of the figure (a) has a lower intimacy than the figure (b), the user reaction content provided by the user
사용자 인터랙션 반응 로봇(130)은 사용자 반응 모델에 따라 사용자와 인터랙션을 제공할 수 있고, 사용자 반응 모델은 로봇의 현재 생애주기 단계, 사용자 인터랙션 및 외부 환경을 기초로 갱신되어 사용자와의 효과적인 인터랙션에 기여할 수 있다.The user
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to preferred embodiments of the present invention, those skilled in the art can variously modify and change the present invention within the scope without departing from the spirit and scope of the present invention as set forth in the claims below. You will understand that it can be done.
100: 사용자 인터랙션 반응 로봇 시스템
110: 로봇 서버130: 사용자 인터랙션 반응 로봇
150: 데이터베이스170: 사용자 단말
210: 프로세서230: 메모리
250: 사용자 입출력부270: 네트워크 입출력부
310: 사용자 인터랙션 처리부330: 외부 환경 처리부
350: 사용자 반응 모델 처리부370: 사용자 반응 컨텐츠 처리부
390: 제어부100: user interaction reaction robot system
110: robot server 130: user interaction reaction robot
150: database 170: user terminal
210: processor 230: memory
250: user input/output unit 270: network input/output unit
310: user interaction processing unit 330: external environment processing unit
350: user reaction model processing unit 370: user reaction content processing unit
390: control unit
Claims (10)
Translated fromKorean적어도 하나의 센서를 통해 외부 환경을 검출하는 외부 환경 처리부;
상기 사용자 인터랙션 및 상기 외부 환경을 기초로 생애주기 기반의 사용자 반응 모델을 갱신하고, 상기 생애주기 기반의 사용자 반응 모델은 단계적으로 성장 또는 쇠퇴하는 사용자 반응 모델 처리부; 및
상기 사용자 인터랙션에 반응하여 상기 사용자 반응 모델에 따라 차별되게 사용자 반응 컨텐츠를 제공하는 사용자 반응 컨텐츠 처리부를 포함하되,
상기 외부 환경 처리부는 카메라를 통해 상기 사용자의 모습을 획득하여 상기 사용자 반응 컨텐츠에 따라 예상되는 사용자 예상 피드백의 발생 여부를 검출하고, 상기 사용자 예상 피드백이 검출된 경우에는 상기 사용자 반응 모델 처리부에 제공하며,
상기 사용자 반응 모델 처리부는 상기 사용자 인터랙션을 통해 해당 생애주기에 성취될 미션의 수행 또는 반복된 실패 여부를 기초로 상기 사용자 반응 모델을 구성하는 생애주기를 성장 또는 퇴행시키고, 상기 미션의 수행 또는 실패가 연속하여 발생하는 경우 상기 성장 또는 퇴행의 속도를 증가시키며, 상기 생애주기의 퇴행이 계속되는 시간이 생애주기 단계별 기준 시간을 기초로 산출되는 임계 시간을 초과하는 경우 상기 사용자와 연관된 사용자 단말에 상기 사용자 인터랙션 반응 로봇의 사용자 반응 모델을 제공하여 상기 사용자가 상기 사용자 단말을 통해 상기 사용자 반응 모델을 다룰 수 있게 하고,
상기 사용자 반응 컨텐츠 처리부는 상기 사용자 반응 컨텐츠가 상기 사용자 예상 피드백을 요구하는 경우에는 상기 외부 환경 처리부가 미리 결정된 적어도 하나의 피드백 중에서 상기 사용자 예상 피드백을 검출하도록 하는 것을 특징으로 하는 사용자 인터랙션 반응 로봇.
a user interaction processing unit for receiving user interaction;
an external environment processing unit configured to detect an external environment through at least one sensor;
a user response model processing unit that updates a life cycle-based user response model based on the user interaction and the external environment, and the life cycle-based user response model grows or declines in stages; and
In response to the user interaction, comprising a user reaction content processing unit for providing a user reaction content differentially according to the user reaction model,
The external environment processing unit acquires the user's appearance through a camera, detects whether an expected user feedback is generated according to the user reaction content, and provides to the user reaction model processing unit when the user expected feedback is detected, ,
The user response model processing unit grows or regresses the life cycle constituting the user response model based on whether the mission to be achieved in the corresponding life cycle is performed or failed repeatedly through the user interaction, and the performance or failure of the mission When continuously occurring, the rate of growth or regression is increased, and when the time for which the regression of the life cycle continues exceeds a threshold time calculated based on the reference time for each life cycle step, the user interaction with the user terminal associated with the user providing a user reaction model of a reaction robot so that the user can handle the user reaction model through the user terminal;
The user interaction reaction robot, characterized in that when the user reaction content requests the user expected feedback, the user reaction content processing unit to detect the user expected feedback from at least one predetermined feedback from the external environment processing unit.
상기 사용자 인터랙션 반응 로봇의 특정 위치에 결합된, 터치 패널을 통해 사용자의 스트로크(stroke)를 수신하거나 또는 마이크를 통해 사용자의 대화를 수신하여 상기 사용자 반응 모델 처리부에 송신하는 것을 특징으로 하는 사용자 인터랙션 반응 로봇.
According to claim 1, wherein the user interaction processing unit
User interaction reaction characterized in that receiving a user's stroke through a touch panel coupled to a specific position of the user interaction reaction robot or receiving a user's conversation through a microphone and transmitting the received user's reaction model processing unit robot.
상기 사용자 인터랙션의 수신 이전에 사용자 인증을 통해 사용자에 의해 이전에 형성된 이전 사용자 반응 모델로 복원하는 것을 특징으로 하는 사용자 인터랙션 반응 로봇.
The method of claim 2, wherein the user response model processing unit
User interaction reaction robot, characterized in that it restores to a previous user reaction model previously formed by the user through user authentication before the reception of the user interaction.
상기 적어도 하나의 센서를 통해 온도, 습도 및 조도 중 적어도 하나를 수신하여 상기 사용자 반응 모델 처리부에 제공하는 것을 특징으로 하는 사용자 인터랙션 반응 로봇.
According to claim 2, wherein the external environment processing unit
User interaction reaction robot, characterized in that receiving at least one of temperature, humidity, and illuminance through the at least one sensor and providing it to the user reaction model processing unit.
상기 사용자 인터랙션을 통해 상기 사용자 반응 모델을 구성하는 친밀도를 가감시키는 것을 특징으로 하는 사용자 인터랙션 반응 로봇.
According to claim 1, wherein the user response model processing unit
User interaction responsive robot, characterized in that adding or subtracting the intimacy constituting the user response model through the user interaction.
상기 사용자 반응 모델에 있는 생애주기와 친밀도를 기초로 대화내용, 어휘, 어투 및 동작 중 적어도 하나를 결정하는 것을 특징으로 하는 사용자 인터랙션 반응 로봇.
The method of claim 8, wherein the user response content processing unit
A user interaction reaction robot, characterized in that it determines at least one of dialogue content, vocabulary, tone, and movement based on the life cycle and intimacy in the user reaction model.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190148253AKR102348308B1 (en) | 2019-11-19 | 2019-11-19 | User interaction reaction robot |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190148253AKR102348308B1 (en) | 2019-11-19 | 2019-11-19 | User interaction reaction robot |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210060802A KR20210060802A (en) | 2021-05-27 |
| KR102348308B1true KR102348308B1 (en) | 2022-01-11 |
Family
ID=76135536
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190148253AActiveKR102348308B1 (en) | 2019-11-19 | 2019-11-19 | User interaction reaction robot |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102348308B1 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2000067961A1 (en) | 1999-05-10 | 2000-11-16 | Sony Corporation | Robot device and method for controlling the same |
| JP2002018146A (en) | 2000-07-04 | 2002-01-22 | Tomy Co Ltd | Interactive toy, reaction behavior pattern generation device, and reaction behavior pattern generation method |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020037618A (en)* | 2000-11-15 | 2002-05-22 | 윤종용 | Digital companion robot and system thereof |
| KR100919095B1 (en)* | 2008-01-18 | 2009-09-28 | 주식회사 케이티 | Method of executing robot behavior based on user behavior and its robot |
| KR20120061688A (en) | 2010-12-03 | 2012-06-13 | 한국기술교육대학교 산학협력단 | Apparatus and control method for robot of old people's welfare support |
| KR102497042B1 (en)* | 2018-01-29 | 2023-02-07 | 삼성전자주식회사 | Robot acting on user behavior and its control method |
- 2019
- 2019-11-19KRKR1020190148253Apatent/KR102348308B1/enactiveActive
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2000067961A1 (en) | 1999-05-10 | 2000-11-16 | Sony Corporation | Robot device and method for controlling the same |
| JP2002018146A (en) | 2000-07-04 | 2002-01-22 | Tomy Co Ltd | Interactive toy, reaction behavior pattern generation device, and reaction behavior pattern generation method |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210060802A (en) | 2021-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3725470B1 (en) | Robot reacting on basis of user behavior and control method therefor | |
| US11769492B2 (en) | Voice conversation analysis method and apparatus using artificial intelligence | |
| KR102643027B1 (en) | Electric device, method for control thereof | |
| KR102448382B1 (en) | Electronic device for providing an image associated with text and method for operating the same | |
| CN110598576B (en) | Sign language interaction method, device and computer medium | |
| US12298879B2 (en) | Electronic device and method for controlling same | |
| CN111191136A (en) | An information recommendation method and related equipment | |
| WO2000015396A1 (en) | Robot apparatus, method of controlling robot apparatus, method of display, and medium | |
| WO2016004425A1 (en) | Systems and methods for assessing, verifying and adjusting the affective state of a user | |
| US11817097B2 (en) | Electronic apparatus and assistant service providing method thereof | |
| US10836044B2 (en) | Robot control device and robot control method | |
| KR20240032779A (en) | Electric device, method for control thereof | |
| KR102469712B1 (en) | Electronic device and Method for generating Natural Language thereof | |
| KR102208256B1 (en) | Smart doll performing the reading function | |
| KR20180049791A (en) | Method of filtering a plurality of messages and apparatus thereof | |
| KR20230047434A (en) | Inferring assistant action(s) based on ambient sensing of the assistant device(s) | |
| JP6972526B2 (en) | Content providing device, content providing method, and program | |
| KR102348308B1 (en) | User interaction reaction robot | |
| CN113497912A (en) | Automatic framing through voice and video positioning | |
| KR102300873B1 (en) | Physical substantive cyber robot | |
| KR20230154380A (en) | System and method for providing heath-care services fitting to emotion states of users by behavioral and speaking patterns-based emotion recognition results | |
| US11538491B2 (en) | Interaction system, non-transitory computer readable storage medium, and method for controlling interaction system | |
| US20250155481A1 (en) | Machine learning system and methodology for simulating a mixed analog and digital system using various sets of parameters and estimating their respective power usages and accuracies | |
| JP2018051648A (en) | Robot control apparatus, robot, robot control method, and program | |
| JP2018001387A (en) | Robot, program, robot system, and server |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application | Patent event code:PA01091R01D Comment text:Patent Application Patent event date:20191119 | |
| PA0201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection | Comment text:Notification of reason for refusal Patent event date:20210421 Patent event code:PE09021S01D | |
| PG1501 | Laying open of application | ||
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration | Patent event code:PE07011S01D Comment text:Decision to Grant Registration Patent event date:20211013 | |
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment | Comment text:Registration of Establishment Patent event date:20220104 Patent event code:PR07011E01D | |
| PR1002 | Payment of registration fee | Payment date:20220105 End annual number:3 Start annual number:1 | |
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee | Payment date:20250102 Start annual number:4 End annual number:4 |