KR20230081010A - Method, device, and program for education enabling controlling chatbot-feedback based on transition of emotion and concentration - Google Patents

Abstract

Translated fromKorean

본 발명은 컴퓨팅 장치에 의해 수행되는 감성 및 집중상태의 변화에 기반한 챗봇 피드백 제어가 가능한 교육 방법에 있어서, 외부 전자장치로부터 이미지 데이터를 수신하는 단계, 수신한 이미지 데이터를 Mat 데이터로 변환하는 단계, 상기 Mat 데이터를 감성인식 SDK 모듈에 입력하여 감성 및 집중상태 값으로 변환하는 단계, 상기 감성 및 집중상태 값을 제어 로직에 삽입하는 단계, 상기 제어 로직에 연동되는 챗봇 메시지 UI를 호출하는 단계 및 챗봇 메시지 UI 호출 이후의 UI 발현시점 전 후의 사용자 상태 변화 산출하는 단계를 포함한다.The present invention is an education method capable of feedback control of a chatbot based on changes in emotion and concentration performed by a computing device, comprising the steps of receiving image data from an external electronic device, converting the received image data into Mat data, Converting the Mat data into emotion and concentration values by inputting the Mat data into the emotion recognition SDK module, inserting the emotion and concentration values into control logic, calling a chatbot message UI linked to the control logic, and chatbot and calculating the change in user state before and after the UI appearance point after calling the message UI.

Description

Translated fromKorean

감성 및 집중상태의 변화에 기반한 챗봇 피드백 제어가 가능한 교육 장치, 방법, 및 프로그램 {METHOD, DEVICE, AND PROGRAM FOR EDUCATION ENABLING CONTROLLING CHATBOT-FEEDBACK BASED ON TRANSITION OF EMOTION AND CONCENTRATION}Educational device, method, and program capable of controlling chatbot feedback based on changes in emotion and concentration

본 발명은 감성 및 집중상태의 변화에 기반한 챗봇 피드백 제어가 가능한 교육 장치, 방법, 및 프로그램에 관한 것이다. 구체적으로, 본 발명은 비대면 학습상황에서 모바일 앱으로 학습하는 사용자의 감성 및 집중상태를 인식하고, 해당 결과를 기반으로 챗봇 솔루션과 통신하여 챗봇 메시지 UI를 제어하고자 하는 장치 및 방법에 관한 것이다.The present invention relates to an educational apparatus, method, and program capable of feedback control of a chatbot based on changes in emotion and concentration. Specifically, the present invention relates to a device and method for recognizing the emotion and concentration of a user learning with a mobile app in a non-face-to-face learning situation, and controlling a chatbot message UI by communicating with a chatbot solution based on the result.

최근 레거시 미디어라 불리며 단방향으로 컨텐츠를 제공하던 텔레비전 등 기존 매체의 시대가 지나가고, 스마트폰 애플리케이션, 라이브 스트리밍 등 양방향 소통하는 디지털 매체의 선호도가 증가하면서 컨텐츠 소비자의 감성적인 공감을 위한 서비스 수요가 높아지고 있다. 시청각 교재를 이용한 교육 서비스의 경우 일방적으로 강의만 하는 과거의 방식에서 탈피하여, 사용자의 학습 중 감정 및 집중 상태를 감지하고 상황에 따라 재미 요소를 추가하여 집중도 및 학습 능률을 높이는 방식을 지향한다.Recently, as the era of conventional media, such as televisions, which provide content in one direction, called legacy media, has passed, and the preference for two-way digital media such as smartphone applications and live streaming has increased, the demand for services for emotional empathy from content consumers is increasing. . In the case of educational services using audio-visual textbooks, it is aimed at increasing concentration and learning efficiency by detecting the user's emotion and concentration during learning and adding fun elements according to the situation, breaking away from the past method of unilateral lectures.

사용자의 학습 중 생체 정보의 누적 데이터, 즉, 바이오 로그(bio log)를 수집하여, 개인별 생체 정보의 변화에 따른 맞춤형 콘텐츠를 제공할 수 있다면 사용자의 학습 컨텐츠를 시청 중 흥미와 집중도를 높일 수 있다. 사용자의 컨텐츠 별 반응과 해당 컨텐츠 정보의 맵핑에 대한 누적 데이터를 기계 학습(machine learning) 등의 도구를 사용하여 분석한다면, 사용자가 몰입한 순간과 유사하거나 연계되는 컨텐츠의 리스트를 제공할 수 있다. 또한, 사용자가 학습 컨텐츠 시청 중 집중도가 하락하는 경우, 컨텐츠의 조정을 적기에 적절히 함으로써 사용자의 학습 중 행복감과 집중도를 향상시킬 수 있다.If it is possible to provide customized content according to changes in individual biometric information by collecting accumulated data of biometric information during user learning, that is, bio log, it is possible to increase the user's interest and concentration while watching learning content. . If the user's response to each content and the cumulative data for the mapping of corresponding content information are analyzed using a tool such as machine learning, a list of content similar to or related to the moment the user is immersed may be provided. In addition, when the user's concentration decreases while viewing learning content, the user's happiness and concentration during learning can be improved by appropriately adjusting the content at the right time.

이러한 비대면 상황에 적합하도록 사용자의 감성 및 집중상태의 변환을 파악하고 제어되는 방법 및 장치의 개발이 요구된다.In order to be suitable for such non-face-to-face situations, it is required to develop a method and device that grasps and controls the conversion of the user's emotion and concentration state.

본 발명은 전술한 문제점을 해결하기 위하여 감성 및 집중상태의 변화에 기반한 챗봇 피드백 제어가 가능한 교육 장치, 방법, 및 프로그램을 제공하고자 한다.The present invention aims to provide an educational apparatus, method, and program capable of controlling chatbot feedback based on changes in emotion and concentration in order to solve the above problems.

본 발명의 일 실시예에 따른 컴퓨팅 장치에 의해 수행되는 감성 및 집중상태의 변화에 기반한 챗봇 피드백 제어가 가능한 교육 방법은, 외부 전자장치로부터 이미지 데이터를 수신하는 단계; 수신한 이미지 데이터를 Mat 데이터로 변환하는 단계; 상기 Mat 데이터를 감성인식 SDK 모듈에 입력하여 감성 및 집중상태 값으로 변환하는 단계; 상기 감성상태 및 집중상태 값을 제어 로직에 삽입하는 단계; 및 상기 제어 로직에 연동되는 챗봇 메시지 UI를 호출하는 단계; 및 챗봇 메시지 UI 호출 이후의 UI 발현시점 전 후의 사용자 상태 변화 산출하는 단계를 포함한다.An education method capable of feedback control of a chatbot based on changes in emotion and concentration performed by a computing device according to an embodiment of the present invention includes receiving image data from an external electronic device; converting the received image data into Mat data; converting the Mat data into emotional and concentration values by inputting the Mat data into an emotion recognition SDK module; inserting the emotional state and concentration state values into control logic; and calling a chatbot message UI linked to the control logic; and calculating a user state change before and after the UI appearance time after calling the chatbot message UI.

상기 사용자 상태 변화를 산출하는 단계는,The step of calculating the user state change is,

상기 감성 상태가 제1 상태에서 제2 상태로 변화된 경우에 해당 제어 로직에 대응하는 챗봇 메시지 UI 를 피드백하는 단계를 포함할 수 있다.The method may include feeding back a chatbot message UI corresponding to a corresponding control logic when the emotional state changes from the first state to the second state.

상기 제1 상태가 부정 감성이고, 상기 제2 상태가 긍정 감성인 경우, 상기 제어 로직에 대응하는 챗봇 메시지 UI에 강화 피드백(reinforcement feedback)을 수행하고,When the first state is negative emotion and the second state is positive emotion, performing reinforcement feedback on the chatbot message UI corresponding to the control logic;

상기 제1 상태가 긍정 감성이고, 상기 제2 상태가 부정 감성인 경우, 상기 제어 로직에 대응하는 챗봇 메시지 UI에 부정 피드백(negative reinforcement)을 수행하는 단계일 수 있다.When the first state is positive emotion and the second state is negative emotion, performing negative reinforcement on the chatbot message UI corresponding to the control logic.

상기 감정상태는 합산이 1.0이 되는 복수의 감정 상태값을 포함하고, 상기 집중상태는 합산이 1.0이 되는 복수의 집중 상태값을 포함할 수 있다.The emotional state may include a plurality of emotional state values with a sum of 1.0, and the concentration state may include a plurality of concentration state values with a sum of 1.0.

상기 제어 로직에 삽입하는 단계에 있어서,In the step of inserting into the control logic,

상기 제어 로직은 상기 감정 상태값이나 상기 집중 상태값이 기설정된 설정 수치에 도달하였을 때 상기 제어 로직은 대응되는 챗봇 메시지 UI를 호출할 수 있다.The control logic may call a corresponding chatbot message UI when the emotional state value or the concentration state value reaches a preset value.

상기 제어 로직은 상기 기설정된 기준 시간 동안 평균수치로 환산하였을 때 상기 감정 상태 값이나 상기 집중 상태값이 기 설정된 설정 수치에 도달하였을 때 상기 제어 로직은 대응되는 챗봇 메시지 UI를 호출할 수 있다.The control logic may call a corresponding chatbot message UI when the emotional state value or the concentration state value reaches a preset value when converted into an average value for the preset reference time.

상기 감성인식 SDK 모듈은 이미지 데이터에서 사용자의 얼굴을 추출하여 감성을 판별하고, 심장반응 정보를 산출하여 집중 상태를 판별할 수 있다.The emotion recognition SDK module may extract a user's face from image data to determine emotion, and calculate heart response information to determine a concentration state.

상기 챗봇 메시지 UI는 STT/TTS API와 통신하여 외부 전자장치에 음성 데이터를 송출하는 단계를 더 포함할 수 있다.The chatbot message UI may further include transmitting voice data to an external electronic device by communicating with the STT/TTS API.

상기 챗봇 메시지 UI를 호출하는 단계는,The step of calling the chatbot message UI,

감성 도출결과에 있어서 긍정 감성 상태값이 기설정된 시간 동안 기준치 미만인 경우나, 집중 도출결과에 있어서 집중 상태값이 기설정된 시간 동안 기준치 미만인 경우, 돌봄 챗봇 메시지 UI를 호출할 수 있다.In the emotion derivation result, when the positive emotional state value is less than the reference value for a preset time, or in the concentration derivation result, when the concentration state value is less than the reference value for the preset time, the care chatbot message UI may be called.

감성 도출결과에 있어서 긍정 감성 상태값이 단위시간동안 마이너스 변화량이 크거나, 집중 도출결과에 있어서 집중 상태값이 단위시간 동안 마이너스 변화량이 큰 경우, 가이드 챗봇 메시지 UI를 호출할 수 있다.In the emotion deduction result, when the positive emotional state value has a large negative change amount during the unit time, or in the concentration derivation result, the concentration state value has a large negative change amount during the unit time, the guide chatbot message UI may be called.

본 발명의 다른 실시예에 따른, 전자 장치에 있어서, 카메라, 녹음 장치, 출력 장치, 메모리, 송수신기 및 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 전술한 내용에 따른 교육 방법을 수행하도록 구성된다.According to another embodiment of the present invention, an electronic device includes a camera, a recording device, an output device, a memory, a transceiver, and at least one processor, wherein the at least one processor performs the education method according to the above description. is configured to

본 발명의 다른 실시예에 따른, 전술한 내용에 따른 교육 방법을 전자 장치를 통해 수행하도록 구성되는 컴퓨터 판독 가능한 저장 매체에 기록된 컴퓨터 프로그램을 기술한다.Describes a computer program recorded in a computer readable storage medium configured to perform the education method according to the above-described content through an electronic device according to another embodiment of the present invention.

본 발명은 얼굴표정 기반 감성 및 집중상태 인식 기술 모듈을 활용함으로써 인식결과에 기반하여 설정된 학습 태도 및 방향 지도 관련 챗봇 메시지를 제공할 수 있다.The present invention can provide a chatbot message related to learning attitude and direction guidance set based on the recognition result by utilizing a facial expression-based emotion and concentration state recognition technology module.

본 발명은 학부모 또는 교사의 역할을 챗봇 시스템이 대신할 수 있도록 하기 위해 학습자가 학습 중 느끼고 있는 감정과 집중상태 인식결과를 기준으로 챗봇 메시지를 호출·송출함으로써 비대면 학습상황에서 보조교사 역할 수행을 가능할 수 있다.In order to allow the chatbot system to replace the role of a parent or teacher, the present invention calls and transmits a chatbot message based on the emotion and concentration state recognition result that the learner is feeling during learning, thereby performing the role of an assistant teacher in a non-face-to-face learning situation. It could be possible.

본 발명은 얼굴미세근육 움직임, 변화량, 채도 등을 통해 얼굴표정 기반 7개 감성 및 심장반응정보 기반 3개 집중상태를 판별할 수 있다.The present invention can discriminate 7 emotions based on facial expressions and 3 concentration states based on heart response information through facial fine muscle movements, amount of change, saturation, etc.

본 발명은 챗봇 메시지 UI 발현 시점의 전과 후의 사용자 감성 및 집중상태를 로그데이터를 통해 확인하고, 인식된 감정 또는 집중상태의 변화량을 산출할 수 있다.The present invention can check the user's emotion and concentration state before and after the chatbot message UI expression time point through log data, and calculate the amount of change in the recognized emotion or concentration state.

본 발명은 챗봇 메시지 UI 동작 때마다 동작시점과 동작시간을 함께 기록하고 실시간으로 분석하여 챗봇 메시지 UI의 효율성을 정량적으로 검증하고 유의미한 챗봇 메시지 UI는 강화 피드백을 수행하고 효율성이 기준치에 도달하지 않는 챗봇 메시지 UI는 부정 피드백을 수행할 수 있다.The present invention quantitatively verifies the efficiency of the chatbot message UI by recording and analyzing the operation time and operation time together in real time for each chatbot message UI operation, and the meaningful chatbot message UI performs reinforcement feedback, and the chatbot whose efficiency does not reach the standard value Message UI may perform negative feedback.

본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당해 기술분야에 있어서의 통상의 지식을 가진 자가 명확하게 이해할 수 있을 것이다.Effects of the present invention are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below.

도 1은 본 발명의 다양한 실시 예들에 따른 통신 시스템을 도시한다.
도 2는 본 발명의 다양한 실시 예들에 따른 감성 및 집중상태의 변화에 기반한 챗봇 피드백 제어가 가능한 전자 장치의 구성에 대한 블록도를 도시한다.
도 3은 본 발명의 다양한 실시 예들에 따른 서버의 구성에 대한 블록도를 도시한다.
도 4는 본 발명의 다양한 실시 예들에 따른 감성 및 집중상태의 변환이 가능하도록 전자 장치에 의해 수행되는 교육 방법을 도시한다.
도 5는 본 발명의 다양한 실시 예들에 따른 기계 학습 모델의 구조를 도시한다.
도 6은 본 발명에 따른 인공지능 로직이 감성, 자세, 집중에 대한 결과값을 도출하는 일 예를 도시한다.
도 7은 본 발명의 일 실시예에 따른 챗봇 메시지 UI 호출 이후의 로그데이터의 수집 일 예를 도시한다.
도 8 및 9는 챗봇 메시지 호출의 일 예를 도시한다.1 illustrates a communication system according to various embodiments of the present invention.
2 is a block diagram of an electronic device capable of feedback control of a chatbot based on changes in emotion and concentration according to various embodiments of the present disclosure.
Figure 3 shows a block diagram of the configuration of a server according to various embodiments of the present invention.
4 illustrates an education method performed by an electronic device to enable conversion of emotions and concentration states according to various embodiments of the present disclosure.
5 illustrates the structure of a machine learning model according to various embodiments of the present invention.
6 illustrates an example in which the artificial intelligence logic according to the present invention derives result values for emotion, posture, and concentration.
7 illustrates an example of collecting log data after calling a chatbot message UI according to an embodiment of the present invention.
8 and 9 show an example of a chatbot message call.

이하, 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.Hereinafter, with reference to the accompanying drawings, embodiments of the present invention will be described in detail so that those skilled in the art can easily carry out the present invention. This invention may be embodied in many different forms and is not limited to the embodiments set forth herein.

컴퓨팅 장치에 의해 수행되는 감성 및 집중상태의 변화에 기반한 챗봇 피드백 제어가 가능한 교육 방법은, 외부 전자장치로부터 이미지 데이터를 수신하는 단계; 수신한 이미지 데이터를 Mat 데이터로 변환하는 단계; 상기 Mat 데이터를 감성인식 SDK 모듈에 입력하여 감성 및 집중상태 값으로 변환하는 단계; 상기 감성상태 및 집중상태 값을 제어 로직에 삽입하는 단계; 및 상기 제어 로직에 연동되는 챗봇 메시지 UI를 호출하는 단계;An education method capable of feedback control of a chatbot based on changes in emotion and concentration performed by a computing device includes receiving image data from an external electronic device; converting the received image data into Mat data; converting the Mat data into emotional and concentration values by inputting the Mat data into an emotion recognition SDK module; inserting the emotional state and concentration state values into control logic; and calling a chatbot message UI linked to the control logic;

도 1은 본 발명의 다양한 실시 예들에 따른 통신 시스템을 도시한다.1 illustrates a communication system according to various embodiments of the present invention.

도 1을 참고하면, 본 발명의 다양한 실시 예들에 따른 통신 시스템은 전자 장치(110), 유/무선 통신 네트워크(120), 서버(130)를 포함한다. 서버(130)는 이미지 데이터를 유/무선통신 네트워크(120)를 통해 사용자의 전자 장치(110)로 부터 획득하고, 감성상태 및 집중상태를 도출한 뒤 해당 상태에 대응하는 챗봇 메시지 UI를 유/무선통신 네트워크(120)를 통해 사용자의 전자 장치(110)에 다시 송신한다.Referring to FIG. 1 , a communication system according to various embodiments of the present disclosure includes anelectronic device 110, a wired/wireless communication network 120, and aserver 130. Theserver 130 obtains image data from the user'selectronic device 110 through the wired/wireless communication network 120, derives an emotional state and a concentration state, and then displays a chatbot message UI corresponding to the corresponding state. It is transmitted back to theelectronic device 110 of the user through thewireless communication network 120 .

전자 장치(110)는, 유/무선 통신 네트워크(120)를 통하여 서버(130)의 요청에 따라 사용자의 학습 상태에 대한 얼굴 및 자세 정보를 포함하는 이미지 데이터를 촬영하여 송신한다. 전자 장치(110)는 퍼스널 컴퓨터, 셀룰러 폰, 스마트 폰 및 태블릿 컴퓨터 등과 같이, 정보를 저장할 수 있는 메모리, 정보의 송수신을 수행할 수 있는 송수신부, 정보의 연산을 수행할 수 있는 적어도 하나의 프로세서를 포함하는 전자 장치일 수 있다. 전자 장치(110)의 종류는 한정되지 않는다.Theelectronic device 110 captures and transmits image data including face and posture information for the learning state of the user according to a request of theserver 130 through the wired/wireless communication network 120 . Theelectronic device 110 includes a memory that can store information, a transceiver that can transmit and receive information, and at least one processor that can perform information calculation, such as a personal computer, a cellular phone, a smart phone, and a tablet computer. It may be an electronic device including. The type ofelectronic device 110 is not limited.

유/무선 통신 네트워크(120)는, 전자 장치(110) 및 서버(130)가 서로 신호 및 데이터를 송수신할 수 있는 통신 경로를 제공한다. 유/무선 통신 네트워크(120)는 특정한 통신 프로토콜에 따른 통신 방식에 한정되지 않으며, 구현 예에 따라 적절한 통신 방식이 사용될 수 있다. 예를 들어, 인터넷 프로토콜(IP) 기초의 시스템으로 구성되는 경우 유/무선 통신 네트워크(120)는 유무선 인터넷망으로 구현될 수 있으며, 전자 장치(110) 및 서버(130)가 이동 통신 단말로서 구현되는 경우 유/무선 통신 네트워크(120)는 셀룰러 네트워크 또는 WLAN(wireless local area network) 네트워크와 같은 무선망으로 구현될 수 있다.The wired/wireless communication network 120 provides a communication path through which theelectronic device 110 and theserver 130 can transmit and receive signals and data to each other. The wired/wireless communication network 120 is not limited to a communication method according to a specific communication protocol, and an appropriate communication method may be used according to an implementation example. For example, when configured as an Internet Protocol (IP) based system, the wired/wireless communication network 120 may be implemented as a wired/wireless Internet network, and theelectronic device 110 and theserver 130 are implemented as mobile communication terminals. If possible, the wired/wireless communication network 120 may be implemented as a wireless network such as a cellular network or a wireless local area network (WLAN) network.

서버(130)는, 유/무선 통신 네트워크(120)를 통하여 전자 장치(110)로부터 사용자의 학습 상태에 대한 얼굴 및 자세 정보를 포함하는 이미지 데이터를 수신한다. 서버(130)는 정보를 저장할 수 있는 메모리, 정보의 송수신을 수행할 수 있는 송수신부, 정보의 연산을 수행할 수 있는 적어도 하나의 프로세서를 포함하는 전자 장치일 수 있다.Theserver 130 receives image data including face and posture information for the learning state of the user from theelectronic device 110 through the wired/wireless communication network 120 . Theserver 130 may be an electronic device including a memory capable of storing information, a transmitting/receiving unit capable of transmitting and receiving information, and at least one processor capable of performing information calculation.

도 2는 본 발명의 다양한 실시 예들에 따른 전자 장치의 구성에 대한 블록도를 도시한다.2 illustrates a block diagram of a configuration of an electronic device according to various embodiments of the present disclosure.

도 2를 참고하면, 본 발명의 다양한 실시 예들에 따른 전자 장치(110)는 메모리(111), 송수신부(112) 및 프로세서(113)를 포함한다.Referring to FIG. 2 , anelectronic device 110 according to various embodiments of the present disclosure includes amemory 111, atransceiver 112, and aprocessor 113.

메모리(111)는 휘발성 메모리, 비휘발성 메모리 또는 휘발성 메모리와 비휘발성 메모리의 조합으로 구성될 수 있다. 그리고, 메모리(111)는 프로세서(113)의 요청에 따라 저장된 데이터를 제공할 수 있다.Thememory 111 may include volatile memory, non-volatile memory, or a combination of volatile and non-volatile memories. Also, thememory 111 may provide stored data according to a request of theprocessor 113 .

송수신부(112)는, 프로세서(113)와 연결되고 신호를 전송 및/또는 수신한다. 송수신부(113)의 전부 또는 일부는 송신기(transmitter), 수신기(receiver), 또는 송수신기(transceiver)로 지칭될 수 있다. 송수신기(112)는 유선 접속 시스템 및 무선 접속 시스템들인 IEEE(institute of electrical and electronics engineers) 802.xx 시스템, IEEE Wi-Fi 시스템, 3GPP(3rd generation partnership project) 시스템, 3GPP LTE(long term evolution) 시스템, 3GPP 5G NR(new radio) 시스템, 3GPP2 시스템, 블루투스(bluetooth) 등 다양한 무선 통신 규격 중 적어도 하나를 지원할 수 있다.Thetransceiver 112 is connected to theprocessor 113 and transmits and/or receives signals. All or part of thetransceiver 113 may be referred to as a transmitter, a receiver, or a transceiver. Thetransceiver 112 is a wired access system and a wireless access system, such as an institute of electrical and electronics engineers (IEEE) 802.xx system, an IEEE Wi-Fi system, a 3rd generation partnership project (3GPP) system, and a 3GPP long term evolution (LTE) system. , 3GPP 5G new radio (NR) system, 3GPP2 system, at least one of various wireless communication standards such as Bluetooth may be supported.

프로세서(113)는, 본 발명에서 제안한 절차 및/또는 방법들을 구현하도록 구성될 수 있다. 프로세서(113)는 생체 정보의 기계 학습 분석에 기반하여 컨텐츠를 제공하기 위한 전자 장치(110)의 전반적인 동작들을 제어한다. 예를 들어, 프로세서(116)는 송수신부(115)를 통해 정보 등을 전송 또는 수신한다. 또한, 프로세서(116)는 메모리(112)에 데이터를 기록하고, 읽는다. 프로세서(116)는 적어도 하나의 프로세서(processor)를 포함할 수 있다.Theprocessor 113 may be configured to implement the procedures and/or methods proposed in the present invention. Theprocessor 113 controls overall operations of theelectronic device 110 to provide content based on machine learning analysis of biometric information. For example, theprocessor 116 transmits or receives information or the like through thetransceiver 115 .Processor 116 also writes data to and reads data frommemory 112 .Processor 116 may include at least one processor.

도 3은 본 발명의 다양한 실시 예들에 따른 서버(130)의 구성에 대한 블록도를 도시한다.Figure 3 shows a block diagram of the configuration of theserver 130 according to various embodiments of the present invention.

도 3을 참고하면, 본 발명의 다양한 실시 예들에 따른 서버(130)는 메모리(131), 송수신부(132) 및 프로세서(133)를 포함한다. 서버(130)는 전자 장치의 일종일 수 있다.Referring to FIG. 3 , aserver 130 according to various embodiments of the present disclosure includes amemory 131 , atransceiver 132 and aprocessor 133 . Theserver 130 may be a type of electronic device.

서버(130)는 유/무선 통신 네트워크(120)를 통하여 전자 장치(110)로부터 사용자의 학습 상태에 대한 얼굴 및 자세 정보를 포함하는 이미지 데이터를 수신한다. 서버(130)는 수신한 이미지 데이터를 수신한 이미지 데이터를 Mat 데이터로 변환하고, Mat 데이터를 감성인식 SDK 모듈에 입력하여 감성 및 집중상태 값으로 변환하고, 감성상태 및 집중상태 값을 제어 로직에 삽입하고, 상기 제어 로직에 연동되는 챗봇 메시지 UI를 호출한다.Theserver 130 receives image data including face and posture information about the learning state of the user from theelectronic device 110 through the wired/wireless communication network 120 . Theserver 130 converts the received image data into Mat data, converts the Mat data into emotional and concentration values by inputting the Mat data into the emotion recognition SDK module, and converts the emotional state and concentration state values into control logic. and call the chatbot message UI linked to the control logic.

메모리(131)는, 송수신부(132)와 연결되고 통신을 통해 수신한 정보 등을 저장할 수 있다. 또한, 메모리(131)는, 프로세서(133)와 연결되고 프로세서(133)의 동작을 위한 기본 프로그램, 응용 프로그램, 설정 정보, 프로세서(133)의 연산에 의하여 생성된 정보 등의 데이터를 저장할 수 있다. 메모리(131)는 휘발성 메모리, 비휘발성 메모리 또는 휘발성 메모리와 비휘발성 메모리의 조합으로 구성될 수 있다. 그리고, 메모리(131)는 프로세서(133)의 요청에 따라 저장된 데이터를 제공할 수 있다.Thememory 131 is connected to thetransceiver 132 and may store information received through communication. In addition, thememory 131 is connected to theprocessor 133 and may store data such as a basic program for operation of theprocessor 133, an application program, setting information, and information generated by operation of theprocessor 133. . Thememory 131 may include volatile memory, non-volatile memory, or a combination of volatile and non-volatile memories. Also, thememory 131 may provide stored data according to a request of theprocessor 133 .

송수신부(132)는, 프로세서(133)와 연결되고 신호를 전송 및/또는 수신한다. 송수신부(132)의 전부 또는 일부는 송신기(transmitter), 수신기(receiver), 또는 송수신기(transceiver)로 지칭될 수 있다. 송수신기(132)는 유선 접속 시스템 및 무선 접속 시스템들인 IEEE(institute of electrical and electronics engineers) 802.xx 시스템, IEEE Wi-Fi 시스템, 3GPP(3rd generation partnership project) 시스템, 3GPP LTE(long term evolution) 시스템, 3GPP 5G NR(new radio) 시스템, 3GPP2 시스템, 블루투스(bluetooth) 등 다양한 무선 통신 규격 중 적어도 하나를 지원할 수 있다.Thetransceiver 132 is connected to theprocessor 133 and transmits and/or receives signals. All or part of thetransceiver 132 may be referred to as a transmitter, a receiver, or a transceiver. Thetransceiver 132 is a wired access system and a wireless access system, such as an institute of electrical and electronics engineers (IEEE) 802.xx system, an IEEE Wi-Fi system, a 3rd generation partnership project (3GPP) system, and a 3GPP long term evolution (LTE) system. , 3GPP 5G new radio (NR) system, 3GPP2 system, at least one of various wireless communication standards such as Bluetooth may be supported.

프로세서(133)는, 본 발명에서 제안한 절차 및/또는 방법들을 구현하도록 구성될 수 있다. 프로세서(133)는 이미지 데이터로부터 감성인식 SDK 모듈에 입력하여 감성 및 집중상태 값으로 변환하고, 감성상태 및 집중상태 값을 입력값으로 하는 제어 로직 등 서버(130)의 전반적인 동작들을 제어한다. 예를 들어, 프로세서(133)는 송수신부(132)를 통해 정보 등을 전송 또는 수신한다. 또한, 프로세서(133)는 메모리(131)에 데이터를 기록하고, 읽는다. 프로세서(135)는 적어도 하나의 프로세서(processor)를 포함할 수 있다.Theprocessor 133 may be configured to implement the procedures and/or methods proposed in the present invention. Theprocessor 133 converts image data into emotional and concentration values by inputting them to the emotion recognition SDK module, and controls overall operations of theserver 130, such as control logic using the emotional state and concentration values as input values. For example, theprocessor 133 transmits or receives information or the like through thetransceiver 132 . Also, theprocessor 133 writes data to and reads data from thememory 131 . The processor 135 may include at least one processor.

도 4는 본 발명의 다양한 실시 예들에 따른 감성 및 집중상태의 변환이 가능하도록 전자 장치에 의해 수행되는 교육 방법을 도시한다.4 illustrates an education method performed by an electronic device to enable conversion of emotions and concentration states according to various embodiments of the present disclosure.

도 4를 참조하면, 외부 전자장치로부터 이미지 데이터를 수신하는 단계(S100), 수신한 이미지 데이터를 Mat 데이터로 변환하는 단계(S200), 상기 Mat 데이터를 감성인식 SDK 모듈에 입력하여 감성 및 집중상태 값으로 변환하는 단계(S300), 상기 감성상태 및 집중상태 값을 제어 로직에 삽입하고, 상기 제어 로직에 연동되는 챗봇 메시지 UI를 호출하는 단계(S400)를 포함한다.Referring to FIG. 4, receiving image data from an external electronic device (S100), converting the received image data into Mat data (S200), inputting the Mat data to the emotion recognition SDK module to enter a state of emotion and concentration Converting into values (S300), inserting the emotional state and concentration state values into control logic, and calling a chatbot message UI linked to the control logic (S400).

단계 S100은, 사용자의 전자장치(110)으로부터 촬영되거나 실시간으로 전송되는 얼굴을 포함하는 이미지 데이터를 수신하는 단계이다. 본 발명에 따른 교육 방법은 사용자의 얼굴표정이 포함된 이미지 데이터를 바탕으로, 얼굴표정 기반 감성 및 집중상태를 도출하고 해당 감성 및 집중상태의 정량적 수치값에 따른 로직 제어를 통해 반응성 챗봇 UI를 사용자의 전자장치(110)로 제공함으로써 비대면 상황하에서의 사용자의 반응에 대응할 수 있는 보조교사 역할을 수행하는 것에 있다. 이에 따라, 이미지 데이터는 적어도 복수개의 시간 시점의 얼굴 표정이 확인될 수 있는 해상도 및 화질을 가지는 데이터일 것이 요구될 수 있다. 전술한 서버(130)는 유/무선 통신 네트워크(120)를 통해 전자장치(100)로부터 데이터를 수신할 수 있다.Step S100 is a step of receiving image data including a face captured or transmitted in real time from the user'selectronic device 110 . The training method according to the present invention derives facial expression-based emotion and concentration state based on image data including the user's facial expression, and provides a reactive chatbot UI to the user through logic control according to quantitative numerical values of the corresponding emotion and concentration state. By providing theelectronic device 110 of, it is to perform the role of an assistant teacher capable of responding to the user's reaction in a non-face-to-face situation. Accordingly, it may be required that the image data be data having a resolution and image quality by which facial expressions of at least a plurality of points in time can be confirmed. Theaforementioned server 130 may receive data from theelectronic device 100 through the wired/wireless communication network 120 .

단계 S200은, OpenCV 모듈 등을 통하여 수신한 이미지 데이터를 가공할 수 있다. 예를 들어, 본 단계에서는 이미지 데이터를 OpenCV 영상처리 라이브러리에서 다루는 데이터 형식 Mat(matrix) 형태로 변환할 수 있다. OpenCV는 오픈소스 컴퓨터 비전 C라이브러리의 약자로, 실시간 이미지 프로세싱에 활용되는 언어를 나타낸다.Step S200 may process image data received through an OpenCV module or the like. For example, in this step, image data can be converted into a Mat (matrix) format handled by the OpenCV image processing library. OpenCV stands for Open Source Computer Vision C Library, which represents a language used for real-time image processing.

Mat 데이터는 m by n 채널 구조의 데이터 형식을 나타내는 것으로, 기본 데이터(char, int)등의 변수 뿐 아니라, OpenCV에서 정의한 다양한 형식의 데이터를 포함시킬 수 있고, 그러한 데이터 양식은 복소수, 모노.컬러, 입체, 벡터, 군집, 텐서, 히스토그램을 모두 포함할 수 있다.Mat data represents the data format of m by n channel structure, and can include not only variables such as basic data (char, int), but also various types of data defined by OpenCV, such data formats include complex numbers, mono.color , solids, vectors, clusters, tensors, and histograms.

단계 S300은, 상기 Mat 데이터를 감성인식 SDK 모듈에 입력하여 감성 및 집중상태 값으로 변환하는 단계이다. 본 발명에 있어서, 사용자가 학습 중에 나타내고 모듈에서 인식하고자 하는 감성의 종류는 7개를 포함할 수 있다. 본 발명에 있어서, 사용자가 학습 중에 나타내는 집중 상태는 3개를 포함할 수 있다.Step S300 is a step of converting the Mat data into emotion and concentration values by inputting the Mat data to the emotion recognition SDK module. In the present invention, the types of emotions that the user wants to show during learning and recognize in the module may include seven. In the present invention, the concentration state indicated by the user during learning may include three states.

상기 감정상태는 합산이 1.0이 되는 복수의 감정 상태값을 포함하고, 상기 집중상태는 합산이 1.0이 되는 복수의 집중 상태값을 포함할 수 있다. 구체적으로, 감정 상태값 및 집중 상태값은 확률값을 나타내며, 해당 상태들의 합은 각각 항상 1.0을 만족해야 한다. 7개 감성 및 3개 집중상태는 확률값으로 산출되며, 7개 감성의 합은 항상 1.0, 3개 집중상태의 합 또한 항상 1.0의 확률값을 가질 수 있다. 즉, 추가 변수가 없는 닫혀진 변수 공간을 형성할 수 있다.The emotional state may include a plurality of emotional state values with a sum of 1.0, and the concentration state may include a plurality of concentration state values with a sum of 1.0. Specifically, the emotional state value and the concentration state value represent probability values, and the sum of the corresponding states must always satisfy 1.0. The 7 emotions and 3 concentration states are calculated as probability values, and the sum of the 7 emotions always has a probability value of 1.0, and the sum of the 3 concentration states also always has a probability value of 1.0. That is, it is possible to form a closed variable space without additional variables.

감성인식 SDK 모듈은 사용자 얼굴영상이미지를 input으로 얼굴표정 기반 감정을 판별할 수 있다. 또한, 모듈은 심장반응 정보를 산출하여 집중상태를 판별할 수 있다.The emotion recognition SDK module can discriminate emotions based on facial expression by inputting the user's facial image. In addition, the module may determine the concentration state by calculating cardiac response information.

감성인식 SDK 모듈은 소수점 형태의 확률 값으로 집중/몰입도 값을 반환하며, 해당 값을 바탕으로 감성의 인식/판별이 가능할 수 있다.The emotion recognition SDK module returns the concentration/immersion value as a probability value in the form of a decimal point, and based on the value, emotion recognition/discrimination may be possible.

도 7을 참조하면, 구체적으로 7개의 감성은 즐거움, 놀람, 두려움, 화남, 불쾌함, 슬픔, 덤덤함을 포함할 수 있다.Referring to FIG. 7 , specifically, the seven emotions may include joy, surprise, fear, anger, displeasure, sadness, and calmness.

구체적으로 3개의 집중상태는 보통, 집중, 몰입을 나타낼 수 있다.Specifically, the three concentration states may represent normal, concentration, and immersion.

단계 S400은, 감성상태 및 집중상태 값을 제어 로직에 삽입하는 단계일 수 있다. 제어 로직은 챗봇을 제어하여 감성상태 및 집중상태 값 또는 해당 값의 변화, 단위시간당 변화에 따라 사용자의 학습 효율을 고취하기 위한 적절한 반응이 출력되도록 제어하는 것일 수 있다.Step S400 may be a step of inserting emotional state and concentration state values into control logic. The control logic may control the chatbot to output an appropriate response to enhance the user's learning efficiency according to changes in emotional state and concentration state values or corresponding values, and changes per unit time.

제어 로직은 상기 감정 상태값이나 상기 집중 상태값이 기설정된 설정 수치에 도달하였을 때 상기 제어 로직은 대응되는 챗봇 메시지 UI를 호출한다. 더욱 구체적으로는 상기 제어 로직은 상기 기설정된 기준 시간 동안 평균수치로 환산하였을 때 상기 감정 상태 값이나 상기 집중 상태값이 기 설정된 설정 수치에 도달하였을 때 상기 제어 로직은 대응되는 챗봇 메시지 UI를 호출할 수 있다. 자세히는 도 6을 참조하여 이하 후술한다.The control logic calls a corresponding chatbot message UI when the emotional state value or the concentration state value reaches a preset value. More specifically, the control logic calls a corresponding chatbot message UI when the emotional state value or the concentration state value reaches a preset value when converted into an average value for the preset reference time. can Details will be described below with reference to FIG. 6 .

구체적으로, 도 6에 따른 제어로직을 살핀다. 사용자의 전자장치에서 제공된 이미지 데이터로부터 학습자의 얼굴을 인식한 뒤, 제1 뎁스로 감성(감정) 판단, 얼굴 감지, 집중 상태 판단으로 구분할 수 있다. 전술한 감성인식 SDK 모듈에서 도출된 학습자 감성상태 값 및 집중상태 값은 각기 감성 판단부, 집중 상태 판단부로 할당되고, 기초적인 얼굴 감지 데이터는 얼굴 감지부에 대응될 수 있다.Specifically, look at the control logic according to FIG. 6 . After recognizing the learner's face from the image data provided by the user's electronic device, the first depth can be divided into emotion (emotion) determination, face detection, and concentration state determination. The learner's emotional state value and concentration state value derived from the above-described emotion recognition SDK module are allocated to the emotion determination unit and the concentration state determination unit, respectively, and basic face detection data may correspond to the face detection unit.

감성 판단부에 대응되는 제2 뎁스 에서는 감성 판단부에 입력된 결과를 바탕으로 7가지 종류의 학습자 감성상태중 어느하나를 도출할 수 있다. 이러한 감성 판단부는 딥러닝, 인공지능 등의 머신러닝(기계학습) 모듈을 통해 해당 결과를 도출할 수 있으며 특정 기술에 한정되지 않는다.In the second depth corresponding to the emotion determination unit, one of seven types of emotional states of the learner may be derived based on the result input to the emotion determination unit. This emotion determination unit can derive a corresponding result through machine learning (machine learning) modules such as deep learning and artificial intelligence, and is not limited to a specific technology.

감성 판단부에 대응되는 제3 뎁스에서는 제2 뎁스에서 판단된 7가지 감성들에 대응되는 감성 상태값을 바탕으로 적절한 제어 로직을 산출할 수 있다. 예를 들어, 긍정적인 감성상태값이 장기간 동안 0단계(0.5 미만)에 해당하는 경우, 사용자의 관리를 위한 돌봄 챗봇 UI를 구동하도록 제어 로직이 활성화 될 수 있다. 예를 들어, 긍정적인 감성상태값이 장기간 동안 1단계(0.5 내지 0.75) 및 2단계(0.75 내지 1.0)인 경우 제어로직은 챗봇 UI가 질문에 따라 텍스트 인터페이스의 단답형 응답과 반응 화면, 활동 종료 및 화면 전환, 활동 종료 및 활동 추천 화면 등 다양한 타입으로 가이드 구현 하도록 제어될 수 있다.In the third depth corresponding to the emotion determination unit, an appropriate control logic may be calculated based on emotional state values corresponding to the seven emotions determined in the second depth. For example, when a positive emotional state value corresponds to level 0 (less than 0.5) for a long period of time, control logic may be activated to drive a care chatbot UI for user management. For example, if the positive emotional state value is 1st level (0.5 to 0.75) and 2nd level (0.75 to 1.0) for a long period of time, the control logic is such that the chatbot UI responds to the question in a text interface with short-answer responses and response screens, end of activity and It can be controlled to implement guides in various types such as screen switching, activity end, and activity recommendation screens.

얼굴 감지부에 대응되는 제2 뎁스에서는 추출한 얼굴 감지 데이터를 바탕으로, 자세 판단부와 자리 이탈 여부 판단부를 통해 자세의 적정성에 대한 결과와 자리 이탈 여부에 대한 판단을 도출할 수 있다.In the second depth corresponding to the face detection unit, based on the extracted face detection data, a result of the appropriateness of the posture and a determination of whether to leave the seat may be derived through the posture determination unit and the seat departure determination unit.

얼굴 감지부에 대응되는 제3 뎁스에서는 자세 판단부에서 도출된 자세 판단값이 적정 영역에서 도과할 경우, 챗봇 UI를 제어하여 대사 및 얼굴 위치 재설정 화면으로 가이드 구현하도록 사용자의 전자장치로 출력 신호를 송신할 수 있다.In the third depth corresponding to the face detection unit, when the posture judgment value derived from the posture determination unit exceeds the appropriate area, the output signal is sent to the user's electronic device to implement a guide to the dialog and face position reset screen by controlling the chatbot UI can be sent

자리 이탈 여부 판단부에 대응되는 제3 뎁스에서는 도출된 자리 이탈 여부 판단값이 적정 영역에서 도과할 경우, 챗봇 UI를 제어하여, 장시간 자리 비움인 경우 학습 중 음성 인터페이스를 통한 가이드 구현하도록 사용자의 전자장치로 출력 신호를 송신할 수 있다.In the third depth corresponding to the seat departure determination unit, when the derived seat departure judgment value exceeds the appropriate area, the chatbot UI is controlled, and the user's electronic interface is implemented to implement a guide through a voice interface during learning It can transmit an output signal to the device.

집중 상태 판단부에 대응되는 제2 뎁스에서는, 3가지 구분에 대응하는 보통 상태, 집중 상태, 몰입 상태로 구분할 수 있다.In the second depth corresponding to the concentration state determiner, it can be divided into a normal state, a concentration state, and an immersion state corresponding to three categories.

집중 상태 판단부에 대응되는 제3 뎁스에서는, 보통 상태가 기설정된 시간보다 장기간 연장될 경우, 챗봇 UI를 제어하여, 보통이 장시간 이어지는 경우 돌봄이 필요한 상태라고 판단하고, 학습 중 음성 인터페이스를 통한 가이드 구현 하도록 사용자의 전자장치로 출력 신호를 송신할 수 있다.In the third depth corresponding to the concentration state determination unit, if the normal state is extended for a longer period of time than a preset time, the chatbot UI is controlled, and if the normal state continues for a long time, it is determined that care is required, and guidance through a voice interface during learning An output signal can be sent to the user's electronic device to implement.

집중 및 몰입 상태가 기설정된 수치보다 단위 시간 당 하락하는 경우, 제어로직은 챗봇 UI가 질문에 따라 텍스트 인터페이스의 단답형 응답과 반응 화면, 활동 종료 및 화면 전환, 활동 종료 및 활동 추천 화면 등 다양한 타입으로 가이드 구현 하도록 제어될 수 있다.If the concentration and immersion state decreases per unit time than the preset value, the control logic is such that the chatbot UI responds to questions in various types such as short-answer responses and response screens in the text interface, activity end and screen transition, activity end and activity recommendation screen, etc. Guides can be controlled to implement.

전술한 바와 같이, 제어 로직의 3단계 뎁스 구조에서 제어로직이 사용자의 감성/집중상태 값을 바탕으로 학습 효율이 저하되거나, 또는 자리를 비우거나, 변화가 필요한 시점이라고 판단되는 경우, 제어 로직의 제어에 따라 챗봇 메시지 UI가 호출되어 사용자의 전자 장치에서 제어되도록 신호가 송출될 수 있다.As described above, in the 3-step depth structure of the control logic, when the control logic determines that the learning efficiency is reduced based on the user's emotion/concentration value, the seat is empty, or a change is required, the control logic According to the control, a chatbot message UI may be called and a signal may be transmitted to be controlled in the user's electronic device.

요컨대, 본 방법(S400)은 감성 도출결과에 있어서 긍정 감성 상태값이 기설정된 시간 동안 기준치 미만인 경우나, 집중 도출결과에 있어서 집중 상태값이 기설정된 시간 동안 기준치 미만인 경우, 돌봄 챗봇 메시지 UI를 호출할 수 있다.In short, the present method (S400) calls the care chatbot message UI when the positive emotional state value in the emotion derivation result is less than the reference value for a preset time or when the concentration state value is less than the reference value for a preset time in the concentration derivation result can do.

요컨대, 본 방법(S400)은 감성 도출결과에 있어서 긍정 감성 상태값이 단위시간동안 마이너스 변화량이 크거나, 집중 도출결과에 있어서 집중 상태값이 단위시간 동안 마이너스 변화량이 큰 경우, 가이드 챗봇 메시지 UI를 호출할 수 있다.In short, in the present method (S400), when the positive emotional state value in the emotion derivation result has a large negative change amount during the unit time, or the concentration state value in the concentration deduction result has a large negative change amount during the unit time, the guide chatbot message UI is displayed. can be called

본 방법은 챗봇 메시지 UI 호출 이후의 UI 발현시점 전 후의 사용자 상태 변화 산출하는 단계(S500)를 포함한다.The method includes a step of calculating a user state change before and after the UI appearance time after calling the chatbot message UI (S500).

단계 S500는 챗봇 메시지 UI 호출 이후의 사용자의 감성 및/또는 집중 상태 변화를 산출하고 챗봇 멧세지 UI의 효율성을 피드백 판단하는 단계일 수 있다. 구체적으로는,Step S500 may be a step of calculating a change in the user's emotion and/or concentration state after calling the chatbot message UI and determining the effectiveness of the chatbot message UI as feedback. Specifically,

감성 상태값의 변화, 집중 상태값의 변화, 또는 감성 상태 카테고리의 변화, 집중 상태 카테고리의 변화 중 적어도 하나의 변화에 따라According to a change in at least one of a change in emotional state value, a change in concentration state value, a change in emotional state category, or a change in concentration state category

상기 감성 상태가 제1 상태에서 제2 상태로 변화된 경우에 해당 제어 로직에 대응하는 챗봇 메시지 UI 를 피드백하는 단계를 포함할 수 있다.The method may include feeding back a chatbot message UI corresponding to a corresponding control logic when the emotional state changes from the first state to the second state.

상기 제1 상태가 부정 감성이고, 상기 제2 상태가 긍정 감성인 경우, 상기 제어 로직에 대응하는 챗봇 메시지 UI에 강화 피드백(reinforcement feedback)을 수행하고,When the first state is negative emotion and the second state is positive emotion, performing reinforcement feedback on the chatbot message UI corresponding to the control logic;

상기 제1 상태가 긍정 감성이고, 상기 제2 상태가 부정 감성인 경우, 상기 제어 로직에 대응하는 챗봇 메시지 UI에 부정 피드백(negative reinforcement)을 수행하는 단계일 수 있다.When the first state is positive emotion and the second state is negative emotion, performing negative reinforcement on the chatbot message UI corresponding to the control logic.

또한 본 발명은, 챗봇 메시지 UI는 STT/TTS API와 통신하여 외부 전자장치에 음성 데이터를 송출하는 단계(미도시)을 더 포함할 수 있다.In addition, the present invention, the chatbot message UI may further include a step (not shown) of transmitting voice data to an external electronic device by communicating with the STT/TTS API.

도 5는 본 발명의 다양한 실시 예들에 따른 기계 학습 모델의 구조를 도시한다.5 illustrates the structure of a machine learning model according to various embodiments of the present invention.

본 발명의 다양한 실시 예들에 따른 생체 정보의 기계 학습 분석에 기반하여 컨텐츠를 제공하기 위한 다층 인공 신경망(multi-layer perceptron, MLP)의 구조를 도시한다.The structure of a multi-layer perceptron (MLP) for providing content based on machine learning analysis of biometric information according to various embodiments of the present invention is shown.

심층 학습(deep learning)은 최근 기계 학습 분야에서 대두되고 있는 기술 중 하나로써, 복수 개의 은닉 계층(hidden layer)과 이들에 포함되는 복수 개의 유닛(hidden unit)으로 구성되는 신경망(neural network)이다. 심층 학습 모델에 기본 특성(low level feature)들을 입력하는 경우, 이러한 기본 특성들이 복수 개의 은닉 계층을 통과하면서 예측하고자 하는 문제를 보다 잘 설명할 수 있는 상위 레벨 특성(high level feature)로 변형된다. 이러한 과정에서 전문가의 사전 지식 또는 직관이 요구되지 않기 때문에 특성 추출에서의 주관적 요인을 제거할 수 있으며, 보다 높은 일반화 능력을 갖는 모델을 개발할 수 있게 된다. 나아가, 심층 학습의 경우 특징 추출과 모델 구축이 하나의 세트로 구성되어 있기 때문에 기존의 기계학습 이론들 대비 보다 단순한 과정을 통하여 최종 모델을 형성할 수 있다는 장점이 있다.Deep learning, as one of the emerging technologies in the field of machine learning, is a neural network composed of a plurality of hidden layers and a plurality of hidden units included in them. When low-level features are input to a deep learning model, these basic features are transformed into high-level features that can better explain the problem to be predicted while passing through a plurality of hidden layers. In this process, since prior knowledge or intuition of an expert is not required, subjective factors in feature extraction can be removed, and a model with higher generalization ability can be developed. Furthermore, in the case of deep learning, since feature extraction and model construction are composed of one set, there is an advantage in that the final model can be formed through a simpler process compared to existing machine learning theories.

다층 인공 신경망(multi-layer perceptron, MLP)은 심층 학습에 기반하여 여러 개의 노드가 있는 인공 신경망(artificial neural network, ANN)의 한 종류이다. 각 노드는 동물의 연결 패턴과 유사한 뉴런으로 비선형 활성화 기능을 사용한다. 이 비선형 성질은 분리할 수 없는 데이터를 선형적으로 구분할 수 있게 한다.A multi-layer perceptron (MLP) is a type of artificial neural network (ANN) with multiple nodes based on deep learning. Each node uses a non-linear activation function with neurons similar to animal connection patterns. This nonlinear property makes it possible to linearly distinguish inseparable data.

도 5를 참고하면, 본 발명의 다양한 실시 예들에 따른 MLP 모델의 인공 신경망(500)은 하나 이상의 입력 계층(input layer)(510), 복수 개의 은닉 계층(hidden layer)(530), 하나 이상의 출력 계층(output layer)(550)으로 구성된다.Referring to FIG. 5 , the artificialneural network 500 of the MLP model according to various embodiments of the present invention includes one or more input layers 510, a plurality ofhidden layers 530, and one or more outputs. It consists of an output layer (550).

입력 계층(510)의 노드에는 단위 시간별 적어도 하나의 초음파 이미지 내 각각의 픽셀의 RGB 값과 같은 입력 데이터가 입력된다. 여기서, 사용자의 생체 정보, 예를 들어, 심전도 정보, 집중도 수치, 행복 감정 강도의 정보, 및, 조정 컨텐츠의 정보, 예를 들어, 컨텐츠 장르, 컨텐츠 주제, 컨텐츠 채널의 정보 각각(511)은 심층 학습 모델의 기본 특성(low level feature)에 해당한다.Input data such as an RGB value of each pixel in at least one ultrasound image per unit time is input to a node of theinput layer 510 . Here, the user's biometric information, eg, electrocardiogram information, concentration level, happiness emotion intensity information, and adjusted content information, eg, content genre, content topic, andcontent channel information 511 are deep It corresponds to the basic characteristic (low level feature) of the learning model.

은닉 계층(530)의 노드에서는 입력된 인자들에 기초한 계산이 이루어진다. 은닉 계층(530)은 사용자의 생체 정보 및 조정 컨텐츠의 정보(511)를 규합시켜 형성된 복수 개의 노드로 정의되는 유닛들이 저장된 계층이다. 은닉 계층(530)은 도 5에 도시된 바와 같이 복수 개의 은닉 계층으로 구성될 수 있다.A node of the hiddenlayer 530 performs calculations based on input factors. Thehidden layer 530 is a layer in which units defined by a plurality of nodes formed by integrating the user's biometric information and theinformation 511 of the adjusted content are stored. As shown in FIG. 5 , the hiddenlayer 530 may include a plurality of hidden layers.

예를 들어, 은닉 계층(530)이 제1 은닉 계층(531) 및 제2 은닉 계층(533)으로 구성될 경우, 제1 은닉 계층(531)은 사용자의 생체 정보 및 조정 컨텐츠의 정보(511)를 규합시켜 형성된 복수 개의 노드로 정의되는 제1 유닛들(532)이 저장되는 계층으로서, 제1 유닛(532)은 사용자의 생체 정보 및 조정 컨텐츠의 정보(511)의 상위 특징에 해당된다. 제2 은닉 계층(533)은 제1 은닉 계층(531)의 제1 유닛들을 규합시켜 형성된 복수 개의 노드로 정의되는 제2 유닛들(534)이 저장되는 계층으로, 제2 유닛(534)은 제1 유닛(532)의 상위 특징에 해당된다.For example, when thehidden layer 530 is composed of a firsthidden layer 531 and a secondhidden layer 533, the firsthidden layer 531 includes user biometric information and adjustedcontent information 511 As a layer in whichfirst units 532 defined by a plurality of nodes formed by consolidating are stored, thefirst unit 532 corresponds to a higher characteristic of the user's biometric information and theinformation 511 of the adjusted content. The secondhidden layer 533 is a layer in whichsecond units 534, defined as a plurality of nodes formed by consolidating the first units of the firsthidden layer 531, are stored. Corresponds to the upper characteristics of 1unit 532.

출력 계층(550)의 노드에서는 계산된 예측 결과를 나타낸다. 출력 계층(550)에는 복수 개의 예측 결과 유닛들(551)이 구비될 수 있다. 구체적으로 복수 개의 예측 결과 유닛들(551)은 참(true) 유닛 및 거짓(false) 유닛의 두 개의 유닛들로 구성될 수 있다. 구체적으로, 참 유닛은 조정 컨텐츠로의 컨텐츠 조정 후 사용자의 얼굴 데이터 중 감성 상태값과 집중 상태 값이 임계 수치보다 높을 가능성이 높다는 의미를 지닌 예측 결과 유닛이고, 거짓 유닛은 조정 컨텐츠로의 컨텐츠 조정 후 사용자의 얼굴 데이터 중 감성 상태값과 집중 상태 값이 임계 수치보다 높을 가능성이 낮다는 의미를 지닌 예측 결과 유닛이다.Nodes of theoutput layer 550 represent calculated prediction results. Theoutput layer 550 may include a plurality ofprediction result units 551 . Specifically, the plurality ofprediction result units 551 may include two units of a true unit and a false unit. Specifically, the true unit is a prediction result unit meaning that the emotional state value and concentration state value of the user's face data are highly likely to be higher than the threshold value after adjusting the content to the adjusted content, and the false unit is the content adjustment to the adjusted content. It is a prediction result unit that means that the possibility that the emotion state value and the concentration state value of the user's face data are higher than the threshold value is low.

은닉 계층(530) 중 마지막 계층인 제2 은닉 계층(533)에 포함된 제2 유닛들(534)과 예측 결과 유닛들(551) 간의 연결에 대하여 각각의 가중치들이 부여되게 된다. 이러한 가중치에 기초하여 조정 컨텐츠로의 컨텐츠 조정 후 사용자의 얼굴 데이터 중 감성 상태값과 집중 상태값이 임계 수치 이상일지 여부를 예측하게 된다.Weights are assigned to connections between theprediction result units 551 and thesecond units 534 included in the secondhidden layer 533, which is the last layer among the hidden layers 530. Based on these weights, it is predicted whether the emotional state value and the concentration state value of the user's face data are greater than or equal to a threshold value after adjusting the content to the adjusted content.

MLP 모델의 인공 신경망(500)은 학습 파라미터들을 조정하여 학습한다. 일 실시 예에 따라서, 학습 파라미터들은 가중치 및 편차 중 적어도 하나를 포함한다. 학습 파라미터들은 기울기 하강법(gradient descent)이라는 최적화 알고리즘을 통해 반복적으로 조정된다. 주어진 데이터 샘플로부터 예측 결과가 계산될 때마다(순방향 전파, forward propagation), 예측 오류를 측정하는 손실 함수를 통해 네트워크의 성능이 평가된다. 인공 신경망(500)의 각 학습 파라미터는 손실 함수의 값을 최소화하는 방향으로 조금식 증가하여 조정되는데, 이 과정은 역 전파(back-propagation)라고 한다.The artificialneural network 500 of the MLP model learns by adjusting learning parameters. According to one embodiment, the learning parameters include at least one of a weight and a variance. The learning parameters are iteratively adjusted through an optimization algorithm called gradient descent. Each time a prediction result is computed from a given data sample (forward propagation), the performance of the network is evaluated through a loss function that measures the prediction error. Each learning parameter of the artificialneural network 500 is adjusted by gradually increasing in the direction of minimizing the value of the loss function, and this process is called back-propagation.

상기와 같은 모델을 통해 조정 컨텐츠로의 컨텐츠 조정 후 사용자의 생체 정보 중 집중도 수치와 행복 감정 강도가 임계 집중도 수치 및 임계 행복 감정 강도 이상인지 여부를 예측하고, 적절한 조정 컨텐츠를 결정할 수 있다.After adjusting the content to the adjusted content through the above model, it is possible to predict whether or not the concentration value and the happiness emotion intensity among the user's biometric information are greater than or equal to the critical concentration value and the threshold happiness emotion intensity, and determine the appropriate adjusted content.

하드웨어를 이용하여 본 발명의 실시 예를 구현하는 경우에는, 본 발명을 수행하도록 구성된 ASICs(application specific integrated circuits) 또는 DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays) 등이 본 발명의 프로세서에 구비될 수 있다.In the case of implementing the embodiment of the present invention using hardware, ASICs (application specific integrated circuits) or DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices) configured to perform the present invention , FPGAs (field programmable gate arrays), etc. may be provided in the processor of the present invention.

한편, 상술한 방법은, 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능한 저장 매체에 여러 수단을 통하여 기록될 수 있다. 본 발명의 다양한 방법들을 수행하기 위한 실행 가능한 컴퓨터 코드를 포함하는 저장 디바이스를 설명하기 위해 사용될 수 있는 프로그램 저장 디바이스들은, 반송파(carrier waves)나 신호들과 같이 일시적인 대상들은 포함하는 것으로 이해되지는 않아야 한다. 상기 컴퓨터 판독 가능한 저장 매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, DVD 등)와 같은 저장 매체를 포함한다.Meanwhile, the above-described method can be written as a program that can be executed on a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable medium. In addition, the structure of data used in the above-described method may be recorded on a computer-readable storage medium through various means. Program storage devices, which may be used to describe a storage device containing executable computer code for performing various methods of the present invention, should not be construed as including transitory objects such as carrier waves or signals. do. The computer-readable storage media includes storage media such as magnetic storage media (eg, ROM, floppy disk, hard disk, etc.) and optical reading media (eg, CD-ROM, DVD, etc.).

이상에서 설명된 실시 예들은 본 발명의 구성요소들과 특징들이 소정 형태로 결합된 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려되어야 한다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 본 발명의 실시 예를 구성하는 것도 가능하다. 발명의 실시 예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시 예의 일부 구성이나 특징은 다른 실시 예에 포함될 수 있고, 또는 다른 실시 예의 대응하는 구성 또는 특징과 교체될 수 있다. 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시 예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함시킬 수 있음은 자명하다.The embodiments described above are those in which elements and features of the present invention are combined in a predetermined form. Each component or feature should be considered optional unless explicitly stated otherwise. Each component or feature may be implemented in a form not combined with other components or features. In addition, it is also possible to configure an embodiment of the present invention by combining some components and/or features. The order of operations described in the embodiments of the invention may be changed. Some components or features of one embodiment may be included in another embodiment, or may be replaced with corresponding components or features of another embodiment. It is obvious that claims that do not have an explicit citation relationship in the claims can be combined to form an embodiment or can be included as new claims by amendment after filing.

본 발명이 본 발명의 기술적 사상 및 본질적인 특징을 벗어나지 않고 다른 형태로 구체화될 수 있음은 본 발명이 속한 분야 통상의 기술자에게 명백할 것이다. 따라서, 상기 실시 예는 제한적인 것이 아니라 예시적인 모든 관점에서 고려되어야 한다. 본 발명의 권리범위는 첨부된 청구항의 합리적 해석 및 본 발명의 균등한 범위 내 가능한 모든 변화에 의하여 결정되어야 한다.It will be clear to those skilled in the art that the present invention can be embodied in other forms without departing from the technical spirit and essential characteristics of the present invention. Accordingly, the above embodiments should be considered in all respects as illustrative rather than restrictive. The scope of the present invention should be determined by reasonable interpretation of the appended claims and all possible changes within the equivalent scope of the present invention.

100: 사용자 110: 전자 장치
111: 메모리 112: 송수신부
113: 프로세서 114: 카메라
115: 녹음 장치 116: 출력 장치
120: 유/무선 통신 네트워크 130: 서버
131: 메모리 132: 송수신부
133: 프로세서 500: 인공 신경망
510: 입력 계층 511: 입력 정보
530: 은닉 계층 531: 제1 은닉 계층
532: 제1 유닛 533: 제2 은닉 계층
534: 제2 유닛 550: 출력 계층
551: 예측 결과 유닛100: user 110: electronic device
111: memory 112: transceiver
113: processor 114: camera
115: recording device 116: output device
120: wired/wireless communication network 130: server
131: memory 132: transceiver
133: processor 500: artificial neural network
510: input layer 511: input information
530: hidden layer 531: first hidden layer
532: first unit 533: second hidden layer
534: second unit 550: output layer
551: prediction result unit

Claims (10)

Translated fromKorean

컴퓨팅 장치에 의해 수행되는 감성 및 집중상태의 변화에 기반한 챗봇 피드백 제어가 가능한 교육 방법에 있어서,
외부 전자장치로부터 이미지 데이터를 수신하는 단계;
수신한 이미지 데이터를 Mat 데이터로 변환하는 단계;
상기 Mat 데이터를 감성인식 SDK 모듈에 입력하여 감성 및 집중상태 값으로 변환하는 단계;
상기 감성상태 및 집중상태 값을 제어 로직에 삽입하는 단계;
상기 제어 로직에 연동되는 챗봇 메시지 UI를 호출하는 단계; 및
챗봇 메시지 UI 호출 이후의 UI 발현시점 전 후의 사용자 상태 변화 산출하는 단계;를 포함하는 감성 및 집중상태의 변화에 기반한 챗봇 피드백 제어가 가능한 교육 방법.In an education method capable of controlling chatbot feedback based on changes in emotion and concentration performed by a computing device,
Receiving image data from an external electronic device;
converting the received image data into Mat data;
converting the Mat data into emotional and concentration values by inputting the Mat data into an emotion recognition SDK module;
inserting the emotional state and concentration state values into control logic;
Calling a chatbot message UI linked to the control logic; and
An education method capable of controlling chatbot feedback based on changes in emotion and concentration including;제1 항에 있어서,
상기 사용자 상태 변화를 산출하는 단계는,
상기 감성 상태가 제1 상태에서 제2 상태로 변화된 경우에 해당 제어 로직에 대응하는 챗봇 메시지 UI 를 피드백하는 단계;를 포함하는 감성 및 집중상태의 변화에 기반한 챗봇 피드백 제어가 가능한 교육 방법.According to claim 1,
The step of calculating the user state change is,
Feeding back a chatbot message UI corresponding to the corresponding control logic when the emotional state is changed from the first state to the second state; A chatbot feedback control based on a change in emotion and concentration state is possible.제2 항에 있어서,
상기 사용자 상태 변화를 산출하는 단계는,
상기 제1 상태가 부정 감성이고, 상기 제2 상태가 긍정 감성인 경우, 상기 제어 로직에 대응하는 챗봇 메시지 UI에 강화 피드백(reinforcement feedback)을 수행하고,
상기 제1 상태가 긍정 감성이고, 상기 제2 상태가 부정 감성인 경우, 상기 제어 로직에 대응하는 챗봇 메시지 UI에 부정 피드백(negative reinforcement)을 수행하는 단계인 것을 특징으로 하는 감성 및 집중상태의 변화에 기반한 챗봇 피드백 제어가 가능한 교육 방법.According to claim 2,
The step of calculating the user state change is,
When the first state is negative emotion and the second state is positive emotion, performing reinforcement feedback on the chatbot message UI corresponding to the control logic;
When the first state is positive emotion and the second state is negative emotion, the step of performing negative reinforcement on the chatbot message UI corresponding to the control logic Change in emotion and concentration state, characterized in that A training method that enables chatbot feedback control based on제1 항에 있어서,
상기 감정상태는 합산이 1.0이 되는 복수의 감정 상태값을 포함하고,
상기 집중상태는 합산이 1.0이 되는 복수의 집중 상태값을 포함하는 것을 특징으로 하는 교육 방법.According to claim 1,
The emotional state includes a plurality of emotional state values whose sum is 1.0;
The education method, characterized in that the concentration state includes a plurality of concentration state values of which the sum is 1.0.제4 항에 있어서,
상기 제어 로직에 삽입하는 단계에 있어서,
상기 제어 로직은 상기 감정 상태값이나 상기 집중 상태값이 기설정된 설정 수치에 도달하였을 때 상기 제어 로직은 대응되는 챗봇 메시지 UI를 호출하는 것을 특징으로 하는 교육 방법.According to claim 4,
In the step of inserting into the control logic,
Wherein the control logic calls a corresponding chatbot message UI when the emotional state value or the concentration state value reaches a preset value.제 5항에 있어서,
상기 제어 로직은 상기 기설정된 기준 시간 동안 평균수치로 환산하였을 때 상기 감정 상태 값이나 상기 집중 상태값이 기 설정된 설정 수치에 도달하였을 때 상기 제어 로직은 대응되는 챗봇 메시지 UI를 호출하는 것을 특징으로 하는 교육 방법.According to claim 5,
The control logic calls a corresponding chatbot message UI when the emotional state value or the concentration state value reaches a preset value when converted into an average value for the preset reference time. Characterized in that educational method.제 4항에 있어서,
상기 챗봇 메시지 UI를 호출하는 단계는,
감성 도출결과에 있어서 긍정 감성 상태값이 기설정된 시간 동안 기준치 미만인 경우나, 집중 도출결과에 있어서 집중 상태값이 기설정된 시간 동안 기준치 미만인 경우, 돌봄 챗봇 메시지 UI를 호출하는 것을 특징으로 하는 교육 방법.According to claim 4,
The step of calling the chatbot message UI,
In the emotion derivation result, when the positive emotional state value is less than the reference value for a preset time, or in the concentration deduction result, when the concentration state value is less than the reference value for a preset time, calling the care chatbot message UI Education method characterized in that.제4 항에 있어서,
감성 도출결과에 있어서 긍정 감성 상태값이 단위시간동안 마이너스 변화량이 크거나, 집중 도출결과에 있어서 집중 상태값이 단위시간 동안 마이너스 변화량이 큰 경우, 가이드 챗봇 메시지 UI를 호출하는 것을 특징으로 하는 교육 방법.According to claim 4,
In the emotion derivation result, when the positive emotional state value has a large negative change amount during the unit time, or in the concentration derivation result, the concentration state value has a large negative change amount during the unit time, an education method characterized by calling the guide chatbot message UI .전자 장치에 있어서,
메모리, 송수신기 및 적어도 하나의 프로세서를 포함하고,
상기 적어도 하나의 프로세서는, 제1 항 내지 제8 항 중 어느 한 항에 따른 교육 방법을 수행하도록 구성된,
교육 장치.In electronic devices,
a memory, a transceiver and at least one processor;
The at least one processor is configured to perform the training method according to any one of claims 1 to 8,
educational device.제1 항 내지 제8 항 중 어느 한 항에 따른 교육 방법을 전자 장치를 통해 수행하도록 구성되며, 컴퓨터 판독 가능한 저장 매체에 기록된 컴퓨터 프로그램.
A computer program recorded on a computer-readable storage medium configured to perform the education method according to any one of claims 1 to 8 through an electronic device.

Images