본 발명은 언어 및 인지 발달 효과를 높인 사회적 상호작용 기반 아동 맞춤형 AI로봇에 관한 것으로서, 상세하게로는 3차원 시맨틱 신(Semantic scene), 자율주행, 자연어처리 기술 등을 지원하는 AI로봇을 이용하여, 주변 환경을 인식한 후, 인식된 주변 환경에 대한 상호작용을 기반으로 학습대상인 유아와 맞춤형 대화를 수행하도록 구성됨으로써 유아의 언어 및 인지 발달의 효과를 극대화시킬 수 있을 뿐만 아니라 대화 집중력을 높일 수 있으며, 케어서비스 효과를 기대할 수 있는 사회적 상호작용 기반 아동 맞춤형 AI로봇에 관한 것이다.The present invention relates to a child-tailored AI robot based on social interaction that enhances language and cognitive development effects, and more specifically, to a child-tailored AI robot based on social interaction that recognizes the surrounding environment using an AI robot that supports three-dimensional semantic scenes, autonomous driving, natural language processing technology, etc., and then performs a customized conversation with a child who is the subject of learning based on interaction with the recognized surrounding environment, thereby maximizing the effects of the language and cognitive development of the child, as well as enhancing conversation concentration, and from which care service effects can be expected.
최근 들어, 인공지능(Artificial Intelligence) 기술과 로봇 기술이 기하급수적으로 발달하고 고도화됨에 따라, 탐색, 정찰, 방역 등의 특수한 목적으로 특수한 장소에 투입되는 자율주행로봇이 널리 사용되고 있다.In recent years, as artificial intelligence (AI) technology and robotics technology have developed and become more advanced exponentially, autonomous robots that are deployed in special locations for special purposes such as exploration, reconnaissance, and quarantine are being widely used.
특히, 어린이, 유아, 아동 등은 호기심이 강하면서 지속적인 케어 및 관리가 필요할 뿐만 아니라 정서적 돌봄이 필요하며, 언어 및 인지발달에 대한 발달이 요구되는 시기이기 때문에 유아 케어 시, 선생님, 교사 등의 육체적 및 정신적 피로도가 매우 높은 특성을 갖는다.In particular, children, infants, and toddlers are very curious and require continuous care and management, as well as emotional care, and this is a period when language and cognitive development are required, so teachers and instructors tend to experience very high physical and mental fatigue when caring for infants.
이에 따라 유아를 대상으로 대화를 수행하여, 유아의 언어 학습 효과를 높이면서 케어서비스까지 제공하기 위한 AI로봇에 대한 다양한 연구가 진행되고 있다.Accordingly, various studies are being conducted on AI robots that can conduct conversations with infants, thereby increasing the effectiveness of infant language learning and providing care services.
도 1은 국내등록특허 제10-1088406호(발명의 명칭 : 로봇을 이용한 양방향 학습 시스템 및 그 운영방법)에 개시된 로봇을 이용한 양방향 학습 시스템을 나타내는 블록도이다.Figure 1 is a block diagram showing a two-way learning system using a robot disclosed in Korean Patent No. 10-1088406 (Title of the invention: Two-way learning system using a robot and its operating method).
도 1의 로봇을 이용한 양방향 학습 시스템(이하 종래기술이라고 함)(100)은 로봇에 의해 학습을 수행하기 위한 아동의 모습, 아동의 음성, 아동을 학습하기 위해 선택한 교재를 센서로 감지하여 신호를 입력하고 아동을 학습하기 위한 내용을 입력하거나 학습진행 중 아동이 직접 터치하여 신호가 입력되도록 한 입력부(110)와, 입력부(110)에 의해 입력된 신호에 대응하는 행위를 판단한 후, 아동을 학습하기 위한 과정을 진행하기 위해 각 구성을 제어하는 중앙처리부(120)와, 중앙처리부(120)에서 아동에 대한 신호입력이 발생된 경우, 중앙처리부(120)에 의해 호출되는 제어 데이터를 제공하는 데이터 테이블(130)과, 중앙처리부(120)에서 데이터 테이블(130)에서 제공된 제어 데이터를 근거로 제어신호를 송출하면, 이를 입력받아 로봇장치의 음향장치, 영상장치, 모터를 구동시켜 학습에 요구되는 로봇장치의 활동을 수행하도록 한 구동부(140)로 이루어진다.The interactive learning system (hereinafter referred to as the prior art) (100) using a robot of Fig. 1 is composed of an input unit (110) that detects the appearance of a child performing learning by the robot, the voice of the child, and teaching materials selected for the child to learn by a sensor and inputs a signal, and inputs content for the child to learn or allows the child to directly touch the screen during learning to input a signal, a central processing unit (120) that determines an action corresponding to the signal input by the input unit (110) and then controls each component to proceed with the learning process for the child, a data table (130) that provides control data called by the central processing unit (120) when a signal input for the child occurs in the central processing unit (120), and a driving unit (140) that receives a control signal and drives an audio device, an image device, and a motor of the robot device based on the control data provided in the data table (130) so that the robot device performs activities required for learning.
이때 데이터 테이블(130)은 교재에 의해 학습을 진행하기 위한 과정의 데이터와, 과정을 수행하는 중 로봇장치의 활동에 대한 정형화된 데이터가 입력되어 저장된 학습데이터 테이블과, 학습과정 중 발생될 수 있는 아동의 행동패턴이 미리 입력되어 저장되고 실시간 발생되는 아동의 행동패턴이 입력부(110)에 의해 관찰되어 입력, 저장되는 행동패턴 데이터 테이블과, 아동의 행동패턴에 대해 로봇장치에서 수행되어야 할 활동의 데이터가 미리 입력되어 저장되고 실시간 발생되는 아동의 행동패턴에 대응하는 로봇장치의 활동이 대응 유사치에 의해 수행되면 이 상황이 입력되어 저장되는 대응패턴 데이터 테이블과, 중앙처리부(120)에서 로봇장치의 활동에 대한 구동을 수행하기 위한 기본 데이터가 미리 입력되어 저장된 구동 데이터 테이블로 구성된다.At this time, the data table (130) is composed of a learning data table in which data of the process for conducting learning by means of a teaching material and standardized data on the activities of the robot device during the process are input and stored, a behavior pattern data table in which the child's behavioral patterns that may occur during the learning process are input and stored in advance and the child's behavioral patterns that occur in real time are observed by the input unit (110) and input and stored, a response pattern data table in which data of activities to be performed in the robot device for the child's behavioral patterns are input and stored in advance and the robot device's activities corresponding to the child's behavioral patterns that occur in real time are input and stored when this situation is performed by a corresponding similarity, and an operation data table in which basic data for performing operation of the robot device's activities in the central processing unit (120) are input and stored in advance.
이와 같이 구성되는 종래기술(100)은 로봇이 상호작용 기능에 적합한 컨텐츠를 개발하여 로봇-아동간 양방향 상호작용이 이루어지는 학습 상황을 구현하도록 구성됨으로써 로봇을 놀이자로 인식할 수 있도록 한 학습체계에 의해 학습이 수행되도록 하여 자연스러운 학습참여에 의한 학습의 집중시간을 연장할 수 있고, 보다 높은 학습효율을 얻을 수 있는 장점을 갖는다.The prior art (100) configured in this manner has the advantage of allowing learning to be performed by a learning system that recognizes the robot as a player by developing content suitable for the robot's interactive function and implementing a learning situation in which two-way interaction between the robot and the child takes place, thereby extending the learning concentration time through natural learning participation and obtaining higher learning efficiency.
그러나 종래기술(100)은 행동패턴 데이터 테이블에 미리 설정되어 있는, 행동패턴들에 한해서만, 상호작용이 가능하기 때문에 아동이 기 설정된 행동패턴이 아닌 행동을 하는 경우, 상호작용이 이루어지지 않아, 양방향 서비스 효율성이 저하되는 문제점을 갖는다.However, since the prior art (100) allows interaction only for behavior patterns that are preset in the behavior pattern data table, there is a problem in that if a child performs an action other than a preset behavior pattern, interaction does not occur, thereby reducing the efficiency of the two-way service.
특히 아동은 동일한 환경조건이라고 하더라도, 주변 상황과의 상호작용에 따라 대화를 수행할 경우, 아동의 언어 및 인지 발달을 높일 수 있으나, 종래기술(100)에는 이러한 주변 상황과의 상호작용을 감안하여 대화를 수행하기 위한 기술 및 방법이 전혀 기재되어 있지 않기 때문에 언어 및 인지 발달 개선 효과가 떨어지는 구조적 한계를 갖는다.In particular, even if children are in the same environmental conditions, if they conduct conversations based on interactions with the surrounding situation, the child's language and cognitive development can be enhanced. However, since the prior art (100) does not describe any technology or method for conducting conversations by taking such interactions with the surrounding situation into account, it has a structural limitation that the effect of improving language and cognitive development is low.
일반적으로, 아동은 나이, 발달상태 등에 따라, 다양한 대화 수준을 갖게 되고, 이에 따라 아동과 원활한 소통을 위해서는, 아동의 대화 수준에 맞춰서, 질문을 하고 대답을 하는 등의 커뮤니케이션이 이루어지는 것이 필요하나, 종래기술(100)에는 이러한 아동의 대화 수준을 인식하기 위한 구성과, 인식된 아동의 대화 수준에 대응하여 대화를 수행할 수 없기 때문에 아동의 대화 집중력 등이 떨어져 언어 및 인지 발달 효율성이 저하되는 단점을 갖는다.In general, children have various levels of conversation depending on their age, developmental status, etc., and accordingly, in order to communicate smoothly with children, it is necessary to communicate by asking and answering questions in accordance with the child's level of conversation. However, the prior art (100) has a disadvantage in that it does not have a configuration for recognizing the child's level of conversation and cannot conduct a conversation in response to the recognized level of conversation of the child, which reduces the child's ability to concentrate on the conversation and lowers the efficiency of language and cognitive development.
본 발명은 이러한 문제를 해결하기 위한 것으로, 본 발명의 해결과제는 3차원 시맨틱 신(Semantic scene), 자율주행, 자연어처리 기술 등을 지원하는 AI로봇을 이용하여, 주변 환경을 인식한 후, 인식된 주변 환경에 대한 상호작용을 기반으로 학습대상인 유아와 맞춤형 대화를 수행하도록 구성됨으로써 유아의 언어 및 인지 발달의 효과를 극대화시킬 수 있을 뿐만 아니라 대화 집중력을 높일 수 있으며, 케어서비스 효과를 기대할 수 있는 사회적 상호작용 기반 아동 맞춤형 AI로봇을 제공하기 위한 것이다.The present invention is to solve such problems, and the solution of the present invention is to provide a child-tailored AI robot based on social interaction that can maximize the effect of infants' language and cognitive development, as well as increase conversation concentration, and expect the effect of care service by recognizing the surrounding environment and then performing a customized conversation with an infant who is the subject of learning based on the interaction with the recognized surrounding environment using an AI robot that supports a 3D semantic scene, autonomous driving, natural language processing technology, etc.
또한 본 발명의 다른 해결과제는 실시간으로 3차원 공간 인식 및 확률적 의미적 SLAM을 위한 다중 사물 관측 모델을 이용하여 3차원 Semantic Scene을 재구성하며, 다중로봇의 3차원 Semantic Scene을 위하여 AI로봇 간의 상호작용이 적용되도록 구성되는 사회적 상호작용 기반 아동 맞춤형 AI로봇을 제공하기 위한 것이다.In addition, another problem of the present invention is to provide a child-tailored AI robot based on social interaction, which reconstructs a 3D Semantic Scene using a multi-object observation model for real-time 3D spatial recognition and probabilistic semantic SLAM, and is configured to apply interaction between AI robots for a 3D Semantic Scene of multiple robots.
또한 본 발명의 또 다른 해결과제는 AI Inference 엔진으로 3차원 Semantic Scene 재구성 기술을 구현하고, FPGA(Field Programmable Gate Array) 통합모듈로 CPU(GPU)를 설계함으로써 저전력 및 처리속도의 개선이 가능하며, AP의 GPU(GPU)에서 각 동작을 병렬 처리하여 고속 연산이 가능하게 되며, 용도에 적합하게 새로운 로직을 추가 및 수정할 수 있는 사회적 상호작용 기반 아동 맞춤형 AI로봇을 제공하기 위한 것이다.In addition, another solution of the present invention is to implement a 3D Semantic Scene reconstruction technology with an AI Inference engine, and to design a CPU (GPU) with an FPGA (Field Programmable Gate Array) integrated module to improve low power and processing speed, and to provide a child-tailored AI robot based on social interaction that enables high-speed calculation by processing each operation in parallel in the GPU (GPU) of the AP, and to add and modify new logic as appropriate for the purpose.
또한 본 발명의 또 다른 해결과제는 3차원 시멘틱-신 정보를 기반으로 언어를 표현함으로써 실환경에서 아동과 자연스럽고 지속적인 상호 작용의 대화 및 교육을 수행할 수 있을 뿐만 아니라 아동 언어 능력 수준에 부합하는 대화서비스를 제공하여, 아동의 언어 및 인지 능력을 효과적으로 발달시킬 수 있으며, 아동과 편안하고 안정적인 환경에서 아동의 특성에 부합하는 맞춤형 신교육서비스를 제공할 수 있는 사회적 상호작용 기반 아동 맞춤형 AI로봇을 제공하기 위한 것이다.In addition, another solution of the present invention is to provide a child-tailored AI robot based on social interaction that can perform natural and continuous interactive conversation and education with children in a real environment by expressing language based on three-dimensional semantic-new information, and can effectively develop children's language and cognitive abilities by providing conversation services that match the child's language ability level, and can provide customized new education services that match the characteristics of children in a comfortable and stable environment with the child.
상기 과제를 해결하기 위한 본 발명의 해결수단은 디스플레이 패널, 이동부, 카메라, 감지센서, 스피커, 마이크 및 컨트롤러를 포함하며, 특정 장소에 배치되어 아동과 대화 및 교육서비스를 제공하기 위한 아동 맞춤형 AI로봇에 있어서: 상기 컨트롤러는 상기 카메라의 촬영에 의해 획득된 영상을 분석하는 영상분석부; 상기 감지센서에 의해 송수신된 감지신호 정보를 분석하여, 주변 상황에 대한 감지신호의 거리(깊이)정보를 기반으로 스캐닝정보를 생성하는 감지신호 분석부; 상기 영상분석부 및 상기 감지신호 분석부로부터 입력되는 영상 분석데이터 및 스캐닝정보를 분석 및 활용하여, SLAM(Simultaneous localization and mapping) 기술을 통해 맵을 생성하고 자기 위치를 추정하며, 맵 상에서 자신의 위치를 검출하여 주행경로를 생성하며, 주행 경로를 따라 주행하는 중에, 주행 방향의 일정 거리 이내에 위치하는 장애물을 검출하며, 검출된 장애물 위치에 따른 주행제어정보를 생성하는 주변객체 감지부; 상기 영상분석부 및 상기 감지신호 분석부로부터 입력되는 영상 분석데이터 및 스캐닝정보를 분석 및 활용하여, 기 설정된 다중 사물 관측모델을 통해, 3차원 의미적(Semantic) 장면인 3차원 시멘틱-신 정보를 생성하는 주변상황 인식부; 상기 주변객체 감지부에 의해 생성된 맵과, 상기 감지신호 분석부에 의해 생성된 스캐닝정보를 활용하여, 맵상에서 자신의 위치정보에 따라, 자율주행이 이루어지도록 상기 이동부를 제어함과 동시에 상기 주변객체 감지부로부터 입력된 주행제어정보에 따라 상기 이동부를 제어하는 자율주행부; 대화대상인 아동을 식별하는 아동식별부; 상기 아동식별부로부터 입력된 아동정보를 통해, 기 설정된 아동의 대화레벨을 추출하며, 추출된 대화레벨에 따라 음성서비스를 수행하며, 상기 주변상황 인식부로부터 입력된 시멘틱-신 정보를 활용하여, AI기반 음성서비스를 제공하는 음성서비스부를 포함하고, 상기 음성서비스부는 3차원 시멘틱-신 정보 및 아동 언어 능력 수준을 기반으로 대화를 수행하며, 대화대상인 아동의 대화레벨에 대응하는 질문 또는 대답을 포함하는 음성데이터를 출력하는 것이다.The solution of the present invention for solving the above problem includes a display panel, a moving part, a camera, a detection sensor, a speaker, a microphone, and a controller, and is provided in a child-tailored AI robot for providing conversation and educational services to a child by being placed in a specific location: the controller comprises: an image analysis unit that analyzes an image acquired by filming by the camera; a detection signal analysis unit that analyzes detection signal information transmitted and received by the detection sensor, and generates scanning information based on distance (depth) information of the detection signal regarding the surrounding situation; a surrounding object detection unit that analyzes and utilizes image analysis data and scanning information input from the image analysis unit and the detection signal analysis unit, generates a map through SLAM (Simultaneous localization and mapping) technology, estimates its own location, detects its own location on the map, generates a driving path, detects an obstacle located within a certain distance in the driving direction while driving along the driving path, and generates driving control information according to the location of the detected obstacle; The present invention relates to a system for autonomous driving, comprising: a surrounding situation recognition unit that analyzes and utilizes image analysis data and scanning information input from the image analysis unit and the detection signal analysis unit, and generates 3D semantic-scene information, which is a 3D semantic scene, through a preset multi-object observation model; an autonomous driving unit that controls the moving unit so that autonomous driving is performed according to its own location information on the map by utilizing the map generated by the surrounding object detection unit and the scanning information generated by the detection signal analysis unit, and at the same time controls the moving unit according to driving control information input from the surrounding object detection unit; a child identification unit that identifies a child who is a conversation target; a voice service unit that extracts a preset conversation level of the child through the child information input from the child identification unit, performs a voice service according to the extracted conversation level, and provides an AI-based voice service by utilizing the semantic-scene information input from the surrounding situation recognition unit, wherein the voice service unit performs a conversation based on the 3D semantic-scene information and the child's language ability level, and outputs voice data including a question or answer corresponding to the conversation level of the child who is a conversation target.
또한 본 발명에서 상기 컨트롤러는 실시간으로 3차원 공간 인식 및 확률적 의미적 SLAM을 위한 다중 사물 관측 모델을 이용하여 3차원 Semantic Scene을 재구성하고, 동일 장소에 배치된 다른 AI로봇들과 3차원 시멘틱-신 정보를 공유하는 것이 바람직하다.In addition, in the present invention, it is preferable that the controller reconstructs a 3D Semantic Scene using a multi-object observation model for 3D spatial recognition and probabilistic semantic SLAM in real time, and shares 3D semantic-scene information with other AI robots placed in the same location.
또한 본 발명에서 상기 컨트롤러는 AI Inference 엔진으로 3차원 Semantic Scene 재구성 기술을 구현하고, FPGA(Field Programmable Gate Array) 통합모듈로 CPU(GPU)가 설계되는 것이 바람직하다.In addition, in the present invention, it is preferable that the controller implements a 3D Semantic Scene reconstruction technology with an AI Inference engine, and that the CPU (GPU) is designed with an FPGA (Field Programmable Gate Array) integrated module.
삭제delete
상기 과제와 해결수단을 갖는 본 발명에 따르면 3차원 시맨틱 신(Semantic scene), 자율주행, 자연어처리 기술 등을 지원하는 AI로봇을 이용하여, 주변 환경을 인식한 후, 인식된 주변 환경에 대한 상호작용을 기반으로 학습대상인 유아와 맞춤형 대화를 수행하도록 구성됨으로써 유아의 언어 및 인지 발달의 효과를 극대화시킬 수 있을 뿐만 아니라 대화 집중력을 높일 수 있으며, 케어서비스 효과를 기대할 수 있다.According to the present invention having the above tasks and solutions, an AI robot supporting a three-dimensional semantic scene, autonomous driving, natural language processing technology, etc. is used to recognize the surrounding environment, and then perform a customized conversation with a child who is the subject of learning based on the interaction with the recognized surrounding environment. Accordingly, the effect of the language and cognitive development of the child can be maximized, and conversation concentration can be increased, and the effect of the care service can be expected.
또한 본 발명에 의하면 실시간으로 3차원 공간 인식 및 확률적 의미적 SLAM을 위한 다중 사물 관측 모델을 이용하여 3차원 Semantic Scene을 재구성하며, 다중로봇의 3차원 Semantic Scene을 위하여 AI로봇 간의 상호작용이 적용됨으로써 주변 상황에 대한 상호작용을 기반으로 대화 및 교육 서비스를 제공할 수 있게 된다.In addition, according to the present invention, a 3D Semantic Scene is reconstructed using a multi-object observation model for real-time 3D spatial recognition and probabilistic semantic SLAM, and interaction between AI robots is applied for a 3D Semantic Scene of multiple robots, thereby providing conversation and education services based on interaction with the surrounding situation.
또한 본 발명에 의하면 AI Inference 엔진으로 3차원 Semantic Scene 재구성 기술을 구현하고, FPGA(Field Programmable Gate Array) 통합모듈로 CPU(GPU)를 설계함으로써 저전력 및 처리속도의 개선이 가능하며, AP의 GPU(GPU)에서 각 동작을 병렬 처리하여 고속 연산이 가능하게 되며, 용도에 적합하게 새로운 로직을 추가 및 수정할 수 있다.In addition, according to the present invention, a 3D Semantic Scene reconstruction technology is implemented with an AI Inference engine, and by designing a CPU (GPU) with an FPGA (Field Programmable Gate Array) integrated module, low power and processing speed can be improved, and high-speed calculations are possible by parallel processing of each operation in the GPU (GPU) of the AP, and new logic can be added and modified as appropriate for the purpose.
또한 본 발명에 의하면 3차원 시멘틱-신 정보를 기반으로 언어를 표현함으로써 실환경에서 아동과 자연스럽고 지속적인 상호 작용의 대화 및 교육을 수행할 수 있을 뿐만 아니라 아동 언어 능력 수준에 부합하는 대화서비스를 제공하여, 아동의 언어 및 인지 능력을 효과적으로 발달시킬 수 있으며, 아동과 편안하고 안정적인 환경에서 아동의 특성에 부합하는 맞춤형 신교육서비스를 제공할 수 있게 된다.In addition, according to the present invention, by expressing language based on three-dimensional semantic-new information, it is possible to perform natural and continuous interactive conversation and education with children in a real environment, and by providing a conversation service that matches the child's language ability level, it is possible to effectively develop the child's language and cognitive abilities, and provide customized new education services that match the child's characteristics in a comfortable and stable environment.
도 1은 국내등록특허 제10-1088406호(발명의 명칭 : 로봇을 이용한 양방향 학습 시스템 및 그 운영방법)에 개시된 로봇을 이용한 양방향 학습 시스템을 나타내는 블록도이다.
도 2는 본 발명의 일실시예인 사회적 상호작용 기반 아동 맞춤형 AI로봇을 나타내는 블록도이다.
도 3은 도 2를 설명하기 위한 사시도이다.
도 4는 도 2의 예시도이다.
도 5는 도 2의 다른 사용 예시도이다.
도 6은 도 2의 컨트롤러를 나타내는 블록도이다.
도 7은 본 발명의 기술적 특징인 3차원 Semantic Scene 재구성 기술을 설명하기 위한 개념도이다.
도 8은 본 발명의 기술적 특징인 FPGA 통합모듈을 설명하기 위한 개념도이다.
도 9는 본 발명의 기술적 특징인 사회적 상호작용에 의한 아동-로봇 교육서비스 기술을 설명하기 위한 개념도이다.Figure 1 is a block diagram showing a two-way learning system using a robot disclosed in domestic patent registration No. 10-1088406 (Title of invention: Two-way learning system using a robot and its operating method).
FIG. 2 is a block diagram showing a child-tailored AI robot based on social interaction, which is an embodiment of the present invention.
Figure 3 is a perspective view for explaining Figure 2.
Figure 4 is an example of Figure 2.
Figure 5 is another example of use of Figure 2.
Figure 6 is a block diagram showing the controller of Figure 2.
Figure 7 is a conceptual diagram for explaining a 3D Semantic Scene reconstruction technology, which is a technical feature of the present invention.
Figure 8 is a conceptual diagram explaining an FPGA integrated module, which is a technical feature of the present invention.
Figure 9 is a conceptual diagram for explaining a child-robot education service technology through social interaction, which is a technical feature of the present invention.
이하, 첨부된 도면을 참조하여 본 발명의 일실시예를 설명한다.Hereinafter, an embodiment of the present invention will be described with reference to the attached drawings.
도 2는 본 발명의 일실시예인 사회적 상호작용 기반 아동 맞춤형 AI로봇을 나타내는 블록도이고, 도 3은 도 2를 설명하기 위한 사시도이고, 도 4는 도 2의 예시도이고, 도 5는 도 2의 다른 사용 예시도이다.FIG. 2 is a block diagram showing a child-tailored AI robot based on social interaction, which is an embodiment of the present invention, FIG. 3 is a perspective view for explaining FIG. 2, FIG. 4 is an example diagram of FIG. 2, and FIG. 5 is another example diagram of use of FIG. 2.
본 발명의 일실시예인 사회적 상호작용 기반 아동 맞춤형 AI로봇(1)은 3차원 시맨틱 신(Semantic scene), 자율주행, 자연어처리 기술 등을 지원하는 AI로봇을 이용하여, 주변 환경을 인식한 후, 인식된 주변 환경에 대한 상호작용을 기반으로 학습대상인 유아와 맞춤형 대화를 수행하도록 구성됨으로써 유아의 언어 및 인지 발달의 효과를 극대화시킬 수 있을 뿐만 아니라 대화 집중력을 높일 수 있으며, 케어서비스 효과를 높이기 위한 것이다.A child-tailored AI robot (1) based on social interaction, which is one embodiment of the present invention, uses an AI robot that supports a three-dimensional semantic scene, autonomous driving, natural language processing technology, etc. to recognize the surrounding environment, and then perform a customized conversation with a child, who is the subject of learning, based on the interaction with the recognized surrounding environment, thereby maximizing the effect of the child's language and cognitive development, as well as increasing conversation concentration, and enhancing the effect of care service.
또한 본 발명의 사회적 상호작용 기반 아동 맞춤형 AI로봇(1)은 도 2 내지 5 에 도시된 바와 같이, 하부로 향할수록 직경이 증가하는 원통 형상의 하우징(2)과, 하우징(2)의 전면에 설치되어 기 제작된 컨텐츠가 전시되는 디스플레이 패널(5)과, 하우징(2)의 하부에 설치되어 하우징(3)을 이동시키는 휠(61)을 포함하는 이동부(6)와, 하우징(2)의 일측에 설치되어 촬영을 실행하여 영상을 획득하는 카메라(7)와, 하우징(2)의 외면에 설치되어 감지신호를 송출한 후, 반시신호를 수집하는 감지센서(8)와, 음성데이터가 출력되는 스피커(9)와, 대화대상인 아동의 음성신호를 획득하는 마이크(10)와, 하우징(2)의 내부에 설치되어 구성수단(2), (5), (6), (7), (8), (9), (10)들의 동작을 관리 및 제어하는 컨트롤러(3)로 이루어진다.In addition, the social interaction-based child-tailored AI robot (1) of the present invention is composed of a cylindrical housing (2) whose diameter increases toward the bottom as illustrated in FIGS. 2 to 5, a display panel (5) installed on the front of the housing (2) to display pre-made content, a moving part (6) including a wheel (61) installed on the bottom of the housing (2) to move the housing (3), a camera (7) installed on one side of the housing (2) to capture images by shooting, a detection sensor (8) installed on the outer surface of the housing (2) to transmit a detection signal and then collect a reflection signal, a speaker (9) outputting voice data, a microphone (10) to acquire a voice signal of a child who is the conversation partner, and a controller (3) installed inside the housing (2) to manage and control the operations of the components (2), (5), (6), (7), (8), (9), and (10).
하우징(2)은 상부에서 하부를 향할수록 직경이 증가하는 원통 형상으로 형성되며, 하부에 이동부(6)가 설치되어 이동부(6)의 주행에 따라 전후좌우 방향으로 이동 가능하도록 설계된다.The housing (2) is formed into a cylindrical shape whose diameter increases from the top to the bottom, and a moving part (6) is installed at the bottom and designed to move in the forward, backward, left, and right directions according to the movement of the moving part (6).
또한 하우징(2)의 내부에는 컨트롤러(3)가 설치된다.Additionally, a controller (3) is installed inside the housing (2).
또한 하우징(2)의 외면에는 디스플레이 패널(5), 카메라(7), 감지센서(8), 스피커(9) 및 마이크(10)가 설치된다.Additionally, a display panel (5), a camera (7), a detection sensor (8), a speaker (9), and a microphone (10) are installed on the outer surface of the housing (2).
디스플레이 패널(5)은 하우징(2)의 외면에, 상세하게로는 대화대상인 아동의 눈높이에 대응되는 높이에 설치되며, 컨트롤러(3)의 제어에 따라, 기 제작된 학습 컨텐츠 등이 전시된다.The display panel (5) is installed on the outer surface of the housing (2), specifically at a height corresponding to the eye level of the child who is the subject of the conversation, and, under the control of the controller (3), pre-made learning content, etc. are displayed.
카메라(7)는 하우징(2)의 외면에 설치되어 촬영을 수행하며, 촬영에 의해 획득된 영상을 컨트롤러(3)로 출력한다.The camera (7) is installed on the outer surface of the housing (2) to perform shooting and outputs the image obtained by shooting to the controller (3).
감지센서(8)는 하우징(2)의 전방향으로 감지신호를 송출한 후, 반사되는 신호를 수집하며, 송수신된 감지신호 정보를 컨트롤러(3)로 출력한다.The detection sensor (8) transmits a detection signal in all directions of the housing (2), collects the reflected signal, and outputs the transmitted and received detection signal information to the controller (3).
스피커(9)는 컨트롤러(3)의 제어에 따라, 대화대상인 아동의 대화레벨에 맞는 질문 또는 대답 등의 음성데이터를 출력한다.The speaker (9) outputs voice data such as questions or answers that are appropriate for the conversation level of the child who is the conversation target, under the control of the controller (3).
마이크(10)는 대화대상인 아동의 음성데이터를 획득하며, 획득된 음성데이터를 컨트롤러(3)로 출력한다.The microphone (10) acquires voice data of the child who is the subject of the conversation and outputs the acquired voice data to the controller (3).
이러한 사회적 상호작용 기반 아동 맞춤형 AI로봇(1)은 아동이 밀집되는 유치원, 어린이집 등의 장소에 복수개 설치되어 운영되며, 아동 케어서비스를 제공함과 동시에 아동의 언어 및 인지 발달을 높이기 위한 주변 상황에 따른 대화서비스를 제공한다.These social interaction-based child-tailored AI robots (1) are installed and operated in multiple locations such as kindergartens and daycare centers where children are concentrated, and provide child care services while also providing conversation services according to the surrounding situation to enhance the language and cognitive development of children.
또한 본 발명의 사회적 상호작용 기반 아동 맞춤형 AI로봇(1)은 획득된 영상을 클라우드 서버로 전송함과 동시에 학부모 단말기와 연동 가능하도록 설계된다.In addition, the child-tailored AI robot (1) based on social interaction of the present invention is designed to transmit acquired images to a cloud server and to be linked with a parent terminal at the same time.
도 6은 도 2의 컨트롤러를 나타내는 블록도이다.Figure 6 is a block diagram showing the controller of Figure 2.
컨트롤러(3)는 도 6에 도시된 바와 같이, 제어부(30)와, 메모리(31), 통신인터페이스부(32), 자율주행부(33), 영상분석부(34), 감지신호 분석부(35), 주변객체 감지부(36), 주변상황 인식부(37), 아동식별부(38), 음성서비스부(39)로 이루어진다.As shown in Fig. 6, the controller (3) is composed of a control unit (30), a memory (31), a communication interface unit (32), an autonomous driving unit (33), an image analysis unit (34), a detection signal analysis unit (35), a surrounding object detection unit (36), a surrounding situation recognition unit (37), a child identification unit (38), and a voice service unit (39).
제어부(30)는 컨트롤러(3)의 O.S(Operating System)이며, 제어대상(31), (32), (33), (34), (35), (36), (37), (38), (39)들의 동작을 관리 및 제어한다.The control unit (30) is an O.S (Operating System) of the controller (3) and manages and controls the operations of the control targets (31), (32), (33), (34), (35), (36), (37), (38), and (39).
또한 제어부(30)는 카메라(7)로부터 출력된 영상을 영상분석부(34)로 입력함과 동시에 메모리(31)에 임시 저장하며 외부 서버 또는 학부모 단말기로 전송한다.In addition, the control unit (30) inputs the image output from the camera (7) to the image analysis unit (34) and temporarily stores it in the memory (31) and transmits it to an external server or parent terminal.
또한 제어부(30)는 감지센서(8)로부터 출력된 감지신호 정보를 감지신호 분석부(35)로 입력한다.Additionally, the control unit (30) inputs the detection signal information output from the detection sensor (8) to the detection signal analysis unit (35).
메모리(31)에는 해당 장소의 위치 및 환경정보가 기 설정되어 저장된다. 이때 환경정보는 해당 장소의 구조, 설계 정보 등을 포함한다.The location and environmental information of the relevant location are preset and stored in the memory (31). At this time, the environmental information includes the structure and design information of the relevant location.
또한 메모리(31)에는 카메라(7)의 촬영에 의해 획득된 영상이 임시 저장된다.Additionally, images acquired by shooting with the camera (7) are temporarily stored in the memory (31).
또한 메모리(31)에는 각 아동의 식별정보가 저장된다. 이때 식별정보는 안면패턴, RFID태그 식별정보 등으로 이루어질 수 있다.In addition, the memory (31) stores identification information of each child. At this time, the identification information may consist of facial patterns, RFID tag identification information, etc.
통신 인터페이스부(32)는 인접한 AI로봇(1)이나 로컬서버, 클라우드 서버 또는 학부모 단말기와 데이터를 송수신한다.The communication interface unit (32) transmits and receives data with an adjacent AI robot (1), local server, cloud server, or parent terminal.
자율주행부(33)는 주변객체 감지부(36)에 의해 생성된 맵과, 감지신호 분석부(35)에 의해 생성된 스캐닝정보를 활용하여, AI로봇(1)의 위치와, 맵상에서 AI로봇(1)의 위치정보에 따라, 자율주행이 이루어지도록 이동부(6)를 제어한다.The autonomous driving unit (33) uses the map generated by the surrounding object detection unit (36) and the scanning information generated by the detection signal analysis unit (35) to control the moving unit (6) so that autonomous driving is performed according to the location of the AI robot (1) and the location information of the AI robot (1) on the map.
영상분석부(34)는 카메라(7)의 촬영에 의해 획득된 영상을 분석하여, 검출된 분석데이터를 주변객체 감지부(36) 및 주변상황 인식부(37)로 입력한다.The image analysis unit (34) analyzes the image acquired by the camera (7) and inputs the detected analysis data into the surrounding object detection unit (36) and the surrounding situation recognition unit (37).
감지신호 분석부(35)는 감지센서(7)에 의해 송수신된 감지신호 정보를 분석하여, 주변 상황에 대한 감지신호의 거리(깊이)정보를 기반으로 스캐닝정보를 생성하며, 생성된 스캐닝정보를 주변객체 감지부(36) 및 주변상황 인식부(37)로 입력한다.The detection signal analysis unit (35) analyzes the detection signal information transmitted and received by the detection sensor (7), generates scanning information based on the distance (depth) information of the detection signal for the surrounding situation, and inputs the generated scanning information to the surrounding object detection unit (36) and the surrounding situation recognition unit (37).
주변객체 감지부(36)는 영상분석부(34) 및 감지신호 분석부(35)로부터 입력되는 영상 분석데이터 및 스캐닝정보를 분석 및 활용하여, SLAM(Simultaneous localization and mapping) 기술을 통해 맵을 생성하고 자기 위치를 추정하며, 맵 상에서 AI로봇(1)의 위치를 검출하여 주행경로를 생성한 후, 생성된 주행경로를 자율주행부(33)로 입력한다.The surrounding object detection unit (36) analyzes and utilizes image analysis data and scanning information input from the image analysis unit (34) and the detection signal analysis unit (35), generates a map using SLAM (Simultaneous localization and mapping) technology, estimates its own location, detects the location of the AI robot (1) on the map, generates a driving path, and then inputs the generated driving path to the autonomous driving unit (33).
이때 SLAM이란 AI로봇(1)의 상대 위치 값과 주변 환경을 이용하여 자신의 공간상 절대 위치를 예측하는 방법을 말한다.At this time, SLAM refers to a method of predicting the absolute position of an AI robot (1) in space by using its relative position value and the surrounding environment.
또한 주변객체 감지부(36)는 주행 경로를 따라 주행하는 중에, 주행 방향의 일정 거리 이내에 위치하는 장애물을 검출하며, 검출된 장애물 위치에 따른 주행제어정보를 자율주행부(33)로 입력한다.In addition, the surrounding object detection unit (36) detects obstacles located within a certain distance in the driving direction while driving along the driving path, and inputs driving control information according to the location of the detected obstacle to the autonomous driving unit (33).
주변상황 인식부(37)는 영상분석부(34) 및 감지신호 분석부(35)로부터 입력되는 영상 분석데이터 및 스캐닝정보를 분석 및 활용하여, 기 설정된 다중 사물 관측모델을 통해, 3차원 의미적(Semantic) 장면인 3차원 시멘틱-신 정보를 생성하며, 생성된 3차원 시멘티-신 정보를 아동식별부(38) 및 음성서비스부(39)로 입력한다.The surrounding situation recognition unit (37) analyzes and utilizes image analysis data and scanning information input from the image analysis unit (34) and the detection signal analysis unit (35), generates 3D semantic-scene information, which is a 3D semantic scene, through a preset multi-object observation model, and inputs the generated 3D semantic-scene information to the child identification unit (38) and the voice service unit (39).
아동식별부(38)는 대화대상인 아동을 식별한다. 이때 식별방법으로는 안면인식, RFID태그 등을 통해 이루어질 수 있다.The child identification unit (38) identifies the child who is the subject of the conversation. The identification method can be through facial recognition, RFID tags, etc.
또한 아동식별부(38)는 식별된 아동정보를 음성서비스부(39)로 입력한다.Additionally, the child identification unit (38) inputs the identified child information into the voice service unit (39).
음성서비스부(39)는 아동식별부(38)로부터 입력된 아동정보를 통해, 기 설정된 아동의 대화레벨을 추출하며, 추출된 대화레벨에 따라 음성서비스를 수행한다.The voice service unit (39) extracts the preset conversation level of the child through the child information input from the child identification unit (38) and performs the voice service according to the extracted conversation level.
또한 음성서비스부(39)는 주변상황 인식부(37)로부터 입력된 시멘틱-신 정보를 활용하여, AI기반 음성서비스를 제공함으로써 아동의 언어 및 인지 발달을 높이도록 한다.In addition, the voice service unit (39) provides AI-based voice services by utilizing semantic-new information input from the surrounding situation recognition unit (37), thereby enhancing the language and cognitive development of children.
이와 같이 구성되는 본 발명의 기술적 특징은 다음과 같다.The technical features of the present invention configured as described above are as follows.
- 3차원 Semantic SLAM을 위한 3차원 Semantic Scene 재구성 기술- 3D Semantic Scene Reconstruction Technology for 3D Semantic SLAM
도 7은 본 발명의 기술적 특징인 3차원 Semantic Scene 재구성 기술을 설명하기 위한 개념도이다.Figure 7 is a conceptual diagram for explaining a 3D Semantic Scene reconstruction technology, which is a technical feature of the present invention.
본 발명의 AI로봇(1)은 실시간으로 3차원 공간 인식 및 확률적 의미적 SLAM을 위한 다중 사물 관측 모델을 이용하여 3차원 Semantic Scene을 재구성하며, 다중로봇의 3차원 Semantic Scene을 위하여 AI로봇(1) 간의 상호작용이 적용되도록 구성된다.The AI robot (1) of the present invention reconstructs a three-dimensional semantic scene using a multi-object observation model for three-dimensional space recognition and probabilistic semantic SLAM in real time, and is configured so that interaction between AI robots (1) is applied for a three-dimensional semantic scene of multiple robots.
- CPU(GPU) + FPGA 통합모듈- CPU(GPU) + FPGA integrated module
도 8은 본 발명의 기술적 특징인 FPGA 통합모듈을 설명하기 위한 개념도이다.Figure 8 is a conceptual diagram explaining an FPGA integrated module, which is a technical feature of the present invention.
본 발명의 AI로봇(1)은 도 8에 도시된 바와 같이, AI Inference 엔진으로 3차원 Semantic Scene 재구성 기술을 구현하고, FPGA(Field Programmable Gate Array) 통합모듈로 CPU(GPU)를 설계함으로써 저전력 및 처리속도의 개선이 가능하며, AP의 GPU(GPU)에서 각 동작을 병렬 처리하여 고속 연산이 가능하게 되며, 용도에 적합하게 새로운 로직을 추가 및 수정할 수 있게 된다.As shown in Fig. 8, the AI robot (1) of the present invention implements a 3D Semantic Scene reconstruction technology with an AI Inference engine, and designs a CPU (GPU) with an FPGA (Field Programmable Gate Array) integrated module, thereby enabling improvements in low power and processing speed, and enables high-speed calculation by parallel processing of each operation in the GPU (GPU) of the AP, and enables new logic to be added and modified as appropriate for the purpose.
즉 본 발명의 AI로봇(1)은 FPGA(Field Programmable Gate Array) 통합모듈로 CPU(GPU)를 설계함으로써 DNN 데이터 실시간 융합처리를 위한 고속병렬 인터페이스가 가능하며, Aㅑ 알고리즘 추론엔진과 센서 인터페이스의 통합 프로세서 플랫폼 제공이 가능하게 된다.That is, the AI robot (1) of the present invention designs a CPU (GPU) with an FPGA (Field Programmable Gate Array) integrated module, thereby enabling a high-speed parallel interface for real-time fusion processing of DNN data, and providing an integrated processor platform for an Aㅑ algorithm inference engine and a sensor interface.
- 사회적 상호작용에 의한 아동-로봇 교육서비스 기술- Child-robot education service technology through social interaction
도 9는 본 발명의 기술적 특징인 사회적 상호작용에 의한 아동-로봇 교육서비스 기술을 설명하기 위한 개념도이다.Figure 9 is a conceptual diagram for explaining a child-robot education service technology through social interaction, which is a technical feature of the present invention.
본 발명의 AI로봇(1)은 도 9에 도시된 바와 같이, 3차원 시멘틱-신 정보를 기반으로 언어를 표현함으로써 실환경에서 아동과 자연스럽고 지속적인 상호 작용의 대화 및 교육을 수행할 수 있게 된다.As shown in Fig. 9, the AI robot (1) of the present invention can perform natural and continuous interactive conversation and education with a child in a real environment by expressing language based on three-dimensional semantic-new information.
또한 AI로봇(1)은 아동 언어 능력 수준에 부합하는 대화서비스를 제공하여, 아동의 언어 및 인지 능력을 효과적으로 발달시킬 수 있으며, 아동과 편안하고 안정적인 환경에서 아동의 특성에 부합하는 맞춤형 신교육서비스를 제공할 수 있게 된다.In addition, AI robots (1) can effectively develop children's language and cognitive abilities by providing conversation services that match the child's language ability level, and can provide customized new education services that match the child's characteristics in a comfortable and stable environment.
이와 같이 본 발명의 일실시예인 사회적 상호작용 기반 아동 맞춤형 AI로봇(1)은 3차원 시맨틱 신(Semantic scene), 자율주행, 자연어처리 기술 등을 지원하는 AI로봇을 이용하여, 주변 환경을 인식한 후, 인식된 주변 환경에 대한 상호작용을 기반으로 학습대상인 유아와 맞춤형 대화를 수행하도록 구성됨으로써 유아의 언어 및 인지 발달의 효과를 극대화시킬 수 있을 뿐만 아니라 대화 집중력을 높일 수 있으며, 케어서비스 효과를 기대할 수 있다.In this way, the social interaction-based child-tailored AI robot (1), which is an embodiment of the present invention, uses an AI robot that supports a three-dimensional semantic scene, autonomous driving, natural language processing technology, etc. to recognize the surrounding environment, and then perform a customized conversation with the child, who is the subject of learning, based on the interaction with the recognized surrounding environment. Accordingly, it is possible to maximize the effect of the language and cognitive development of the child, as well as to increase the concentration of the conversation, and to expect the effect of the care service.
또한 본 발명의 사회적 상호작용 기반 아동 맞춤형 AI로봇(1)은 실시간으로 3차원 공간 인식 및 확률적 의미적 SLAM을 위한 다중 사물 관측 모델을 이용하여 3차원 Semantic Scene을 재구성하며, 다중로봇의 3차원 Semantic Scene을 위하여 AI로봇 간의 상호작용이 적용됨으로써 주변 상황에 대한 상호작용을 기반으로 대화 및 교육 서비스를 제공할 수 있게 된다.In addition, the child-tailored AI robot (1) based on social interaction of the present invention reconstructs a three-dimensional semantic scene using a multi-object observation model for three-dimensional space recognition and probabilistic semantic SLAM in real time, and since interaction between AI robots is applied for the three-dimensional semantic scene of multiple robots, conversation and education services can be provided based on interaction with the surrounding situation.
또한 본 발명의 사회적 상호작용 기반 아동 맞춤형 AI로봇(1)은 AI Inference 엔진으로 3차원 Semantic Scene 재구성 기술을 구현하고, FPGA(Field Programmable Gate Array) 통합모듈로 CPU(GPU)를 설계함으로써 저전력 및 처리속도의 개선이 가능하며, AP의 GPU(GPU)에서 각 동작을 병렬 처리하여 고속 연산이 가능하게 되며, 용도에 적합하게 새로운 로직을 추가 및 수정할 수 있다.In addition, the child-tailored AI robot (1) based on social interaction of the present invention implements a 3D Semantic Scene reconstruction technology with an AI Inference engine, and designs a CPU (GPU) with an FPGA (Field Programmable Gate Array) integrated module, thereby enabling improvements in low power consumption and processing speed. In addition, each operation is processed in parallel in the GPU (GPU) of the AP, enabling high-speed calculation, and new logic can be added and modified as appropriate for the purpose.
또한 본 발명의 사회적 상호작용 기반 아동 맞춤형 AI로봇(1)은 3차원 시멘틱-신 정보를 기반으로 언어를 표현함으로써 실환경에서 아동과 자연스럽고 지속적인 상호 작용의 대화 및 교육을 수행할 수 있을 뿐만 아니라 아동 언어 능력 수준에 부합하는 대화서비스를 제공하여, 아동의 언어 및 인지 능력을 효과적으로 발달시킬 수 있으며, 아동과 편안하고 안정적인 환경에서 아동의 특성에 부합하는 맞춤형 신교육서비스를 제공할 수 있게 된다.In addition, the social interaction-based child-tailored AI robot (1) of the present invention can perform natural and continuous interactive conversation and education with a child in a real environment by expressing language based on three-dimensional semantic-new information, and can effectively develop the child's language and cognitive abilities by providing a conversation service that matches the child's language ability level, and can provide a customized new education service that matches the child's characteristics in a comfortable and stable environment with the child.
1:사회적 상호작용 기반 아동 맞춤형 AI로봇
2:하우징3:컨트롤러
5:디스플레이 패널6:이동부
7:카메라8:감지센서
9:스피커10:마이크
30:제어부31:메모리
32:통신인터페이스부33:자율주행부
34:영상분석부35:감지신호 분석부
36:주변객체 감지부37:주변상황 인식부
38:아동식별부39:음성서비스부1: Social interaction-based child-tailored AI robot
2:Housing 3:Controller
5: Display panel 6: Moving part
7: Camera 8: Detection sensor
9: Speaker 10: Microphone
30:Control unit 31:Memory
32: Communication interface section 33: Autonomous driving section
34: Image analysis section 35: Detection signal analysis section
36: Surrounding object detection unit 37: Surrounding situation recognition unit
38: Child Identification Section 39: Voice Services Section
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220035889AKR102728537B1 (en) | 2022-03-23 | 2022-03-23 | Customized AI robot for enhancing language development and cognitive development based on social interactions |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220035889AKR102728537B1 (en) | 2022-03-23 | 2022-03-23 | Customized AI robot for enhancing language development and cognitive development based on social interactions |
| Publication Number | Publication Date |
|---|---|
| KR20230138570A KR20230138570A (en) | 2023-10-05 |
| KR102728537B1true KR102728537B1 (en) | 2024-11-12 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220035889AActiveKR102728537B1 (en) | 2022-03-23 | 2022-03-23 | Customized AI robot for enhancing language development and cognitive development based on social interactions |
| Country | Link |
|---|---|
| KR (1) | KR102728537B1 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102687982B1 (en) | 2024-03-12 | 2024-07-24 | (주) 엑스오소프트 | Apparatus for Psychotherapy by Using AI Interactive Robot and Driving Method Thereof |
| CN118664653A (en)* | 2024-06-03 | 2024-09-20 | 中国科学院重庆绿色智能技术研究院 | Robot environment sensing system and method based on wireless sensor |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130082902A (en)* | 2011-12-22 | 2013-07-22 | 주식회사 케이티 | Method and system for providing services of user observation recording in education robot device and robot device for use therein |
| KR20140077726A (en)* | 2012-12-14 | 2014-06-24 | 한국전자통신연구원 | Robot monitering baby |
| KR101710667B1 (en)* | 2012-12-17 | 2017-02-27 | 한국전자통신연구원 | Device and method for providing service application using robot |
| KR20160072621A (en)* | 2014-12-15 | 2016-06-23 | 엘지전자 주식회사 | Artificial intelligence robot service system |
| CN112902975B (en)* | 2015-02-10 | 2024-04-30 | 御眼视觉技术有限公司 | Autonomous vehicle navigation method, readable device, server, vehicle and system |
| KR101760898B1 (en)* | 2015-08-27 | 2017-07-24 | 허철균 | Context awareness based interactive guidance system and control method thereof |
| KR102068658B1 (en)* | 2016-11-30 | 2020-01-22 | 동국대학교 산학협력단 | Education system for development infant intelligence and method of operating the same |
| KR102385263B1 (en)* | 2018-01-04 | 2022-04-12 | 삼성전자주식회사 | Mobile home robot and controlling method of the mobile home robot |
| KR20200058909A (en)* | 2018-11-20 | 2020-05-28 | 주식회사 토킹코리아 | Method and apparatus for learning language, thereof system |
| KR20200067421A (en)* | 2018-12-04 | 2020-06-12 | 삼성전자주식회사 | Generation method of user prediction model recognizing user by learning data, electronic device applying the model, and metohd for applying the model |
| Publication number | Publication date |
|---|---|
| KR20230138570A (en) | 2023-10-05 |
| Publication | Publication Date | Title |
|---|---|---|
| Bartneck et al. | Human-robot interaction: An introduction | |
| Almeida et al. | Telepresence social robotics towards co-presence: A review | |
| Złotowski et al. | Anthropomorphism: opportunities and challenges in human–robot interaction | |
| Thomaz et al. | Computational human-robot interaction | |
| Scassellati | Theory of mind for a humanoid robot | |
| Breazeal et al. | Humanoid robots as cooperative partners for people | |
| Scassellati | Foundations for a Theory of Mind for a Humanoid Robot | |
| Juel et al. | Smooth robot: Design for a novel modular welfare robot | |
| KR102728537B1 (en) | Customized AI robot for enhancing language development and cognitive development based on social interactions | |
| Liang et al. | Scene-aware behavior synthesis for virtual pets in mixed reality | |
| Walters | The design space for robot appearance and behaviour for social robot companions | |
| Voss | More than machines?: The attribution of (in) animacy to robot technology | |
| Shenavarmasouleh et al. | Embodied AI‐driven operation of smart cities: a concise review | |
| Röning et al. | Minotaurus: A system for affective human–robot interaction in smart environments | |
| Gillet et al. | Multiparty interaction between humans and socially interactive agents | |
| Linton et al. | New approaches to 3D vision | |
| Aylett et al. | Living with robots: What every anxious human needs to know | |
| Hackl et al. | Spatial computing: an AI-driven business revolution | |
| Koharwal et al. | Navigation system for blind-Third eye | |
| Jakub et al. | Anthropomorphism: opportunities and challenges in human–robot interaction | |
| Kanda et al. | An approach for a social robot to understand human relationships: Friendship estimation through interaction with robots | |
| Walters et al. | My familiar robot companion: Preferences and perceptions of CHARLY, a companion humanoid autonomous robot for living with you | |
| Farinelli | Design and implementation of a multi-modal framework for scenic actions classification in autonomous actor-robot theatre improvisations | |
| Abdai et al. | Ethorobotics: ethological approach to interactive, social robots | |
| Verhoeven et al. | Design of a Small Swarming Robot Showing Intuitive Human Interaction |
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application | St.27 status event code:A-0-1-A10-A12-nap-PA0109 | |
| PA0201 | Request for examination | St.27 status event code:A-1-2-D10-D11-exm-PA0201 | |
| D13-X000 | Search requested | St.27 status event code:A-1-2-D10-D13-srh-X000 | |
| D14-X000 | Search report completed | St.27 status event code:A-1-2-D10-D14-srh-X000 | |
| PG1501 | Laying open of application | St.27 status event code:A-1-1-Q10-Q12-nap-PG1501 | |
| P22-X000 | Classification modified | St.27 status event code:A-2-2-P10-P22-nap-X000 | |
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection | St.27 status event code:A-1-2-D10-D21-exm-PE0902 | |
| E13-X000 | Pre-grant limitation requested | St.27 status event code:A-2-3-E10-E13-lim-X000 | |
| P11-X000 | Amendment of application requested | St.27 status event code:A-2-2-P10-P11-nap-X000 | |
| P13-X000 | Application amended | St.27 status event code:A-2-2-P10-P13-nap-X000 | |
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| PE0701 | Decision of registration | St.27 status event code:A-1-2-D10-D22-exm-PE0701 | |
| PR0701 | Registration of establishment | St.27 status event code:A-2-4-F10-F11-exm-PR0701 | |
| PR1002 | Payment of registration fee | St.27 status event code:A-2-2-U10-U11-oth-PR1002 Fee payment year number:1 | |
| PG1601 | Publication of registration | St.27 status event code:A-4-4-Q10-Q13-nap-PG1601 | |
| P22-X000 | Classification modified | St.27 status event code:A-4-4-P10-P22-nap-X000 |