KR20240162287A - Method for evaluating learning concentration, and device and program using the same - Google Patents

Abstract

Translated fromKorean

본 발명의 실시 예에 따른 학습 집중도 평가 방법은 학습 집중도 평가 장치가, 학습자에 대한 이미지를 수신하는 단계, 상기 학습 집중도 평가 장치가, 수신한 상기 이미지에 대하여, 복수의 학습 평가 지표들 중에서 적어도 일부의 학습 평가 지표들을 상기 복수의 학습 평가 지표들 간의 상관 관계에 따라 순차적으로 연산하는 단계, 상기 학습 집중도 평가 장치가, 순차적으로 연산된 상기 적어도 일부의 학습 평가 지표들에 기초하여, 상기 학습자의 학습 여부 및 학습 집중도를 판단하기 위해 사용할 학습 평가 지표들의 범위를 설정하는 단계 및 상기 학습 집중도 평가 장치가, 설정된 범위의 상기 학습 평가 지표들에 기초하여, 상기 학습자의 상기 학습 여부와 상기 학습 집중도를 판단하는 단계를 포함한다.According to an embodiment of the present invention, a learning concentration evaluation method includes a step in which a learning concentration evaluation device receives an image of a learner, a step in which the learning concentration evaluation device sequentially calculates at least some of a plurality of learning evaluation indices from among the plurality of learning evaluation indices for the received image according to correlations among the plurality of learning evaluation indices, a step in which the learning concentration evaluation device sets a range of learning evaluation indices to be used to determine whether the learner has learned and the learning concentration based on the at least some of the sequentially calculated learning evaluation indices, and a step in which the learning concentration evaluation device determines whether the learner has learned and the learning concentration based on the learning evaluation indices in the set range.

Description

Translated fromKorean

학습 집중도 평가 방법, 및 이를 이용하는 장치 및 프로그램{METHOD FOR EVALUATING LEARNING CONCENTRATION, AND DEVICE AND PROGRAM USING THE SAME}METHOD FOR EVALUATING LEARNING CONCENTRATION, AND DEVICE AND PROGRAM USING THE SAME

본 발명은 학습 집중도 평가 방법, 및 이를 이용하는 장치 및 프로그램에 관한 것으로, 보다 상세하게는 학습자의 이미지에 대하여 적어도 일부의 학습 평가 지표들을 순차적으로 연산하고, 연산 결과를 이용하여 학습 여부와 학습 집중도의 판단에 사용할 학습 평가 지표들의 범위를 설정할 수 있는 학습 집중도 평가 방법, 및 이를 이용하는 장치 및 프로그램에 관한 것이다.The present invention relates to a learning concentration evaluation method, and a device and program using the same, and more specifically, to a learning concentration evaluation method capable of sequentially calculating at least some learning evaluation indices for a learner's image and using the calculation results to set a range of learning evaluation indices to be used for determining whether learning has occurred and the learning concentration, and a device and program using the same.

최근 인공지능 기술의 발전으로 이미지 분석 기술이 고도화되면서 이미지를 기반으로 학습자의 학습 집중도를 측정하거나 모니터링하는 기술들이 등장하고 있다.Recently, with the advancement of artificial intelligence technology and the advancement of image analysis technology, technologies that measure or monitor learners' learning concentration based on images are emerging.

특히, 학습자의 학습 집중도의 판단을 통하여 개별 학생에 대한 맞춤형 학습을 제공하기 위한 서비스에 대한 개발도 시도되고 있다.In particular, attempts are being made to develop a service that provides customized learning to individual students by assessing the learner's learning concentration.

본 발명이 이루고자 하는 기술적 과제는 학습자의 이미지에 대하여 적어도 일부의 학습 평가 지표들을 순차적으로 연산하고, 연산 결과를 이용하여 학습 여부와 학습 집중도의 판단에 사용할 학습 평가 지표들의 범위를 설정할 수 있는 학습 집중도 평가 방법, 및 이를 이용하는 장치 및 프로그램을 제공하는 것이다.The technical problem to be achieved by the present invention is to provide a learning concentration evaluation method capable of sequentially calculating at least some learning evaluation indices for a learner's image and using the calculation results to set a range of learning evaluation indices to be used for determining whether learning has occurred and the learning concentration, and a device and program using the same.

본 발명의 일 실시 예에 따른 학습 집중도 평가 방법은 학습 집중도 평가 장치가, 학습자에 대한 이미지를 수신하는 단계, 상기 학습 집중도 평가 장치가, 수신한 상기 이미지에 대하여, 복수의 학습 평가 지표들 중에서 적어도 일부의 학습 평가 지표들을 상기 복수의 학습 평가 지표들 간의 상관 관계에 따라 순차적으로 연산하는 단계, 상기 학습 집중도 평가 장치가, 순차적으로 연산된 상기 적어도 일부의 학습 평가 지표들에 기초하여, 상기 학습자의 학습 여부 및 학습 집중도를 판단하기 위해 사용할 학습 평가 지표들의 범위를 설정하는 단계 및 상기 학습 집중도 평가 장치가, 설정된 범위의 상기 학습 평가 지표들에 기초하여, 상기 학습자의 상기 학습 여부와 상기 학습 집중도를 판단하는 단계를 포함할 수 있다.According to an embodiment of the present invention, a learning concentration evaluation method may include a step in which a learning concentration evaluation device receives an image of a learner, a step in which the learning concentration evaluation device sequentially calculates at least some of a plurality of learning evaluation indices from among a plurality of learning evaluation indices for the received image according to a correlation between the plurality of learning evaluation indices, a step in which the learning concentration evaluation device sets a range of learning evaluation indices to be used to determine whether the learner has learned and the learning concentration based on the at least some of the sequentially calculated learning evaluation indices, and a step in which the learning concentration evaluation device determines whether the learner has learned and the learning concentration based on the learning evaluation indices in the set range.

실시 예에 따라, 상기 복수의 학습 평가 지표들은, 상기 학습자의 좌석 이탈여부, 상기 학습자의 자세, 상기 학습자의 헤드 포즈(head pose), 상기 학습자의 눈꺼풀 감김 정도, 상기 학습자의 눈 깜박임 빈도, 상기 학습자의 표정, 및 상기 학습자의 필기여부 중 적어도 2 이상을 포함할 수 있다.According to an embodiment, the plurality of learning evaluation indicators may include at least two of whether the learner leaves the seat, the learner's posture, the learner's head pose, the degree to which the learner's eyelids are closed, the learner's eye blinking frequency, the learner's facial expression, and whether the learner takes notes.

실시 예에 따라, 상기 복수의 학습 평가 지표들 간의 상관 관계는, 상기 복수의 학습 평가 지표들의 판단 우선순위, 및 연산된 상기 적어도 일부의 학습 평가 지표들의 값에 따라 최종적인 학습 여부와 학습 집중도를 결정하기 위해 필요한 학습 평가 지표들의 조합에 관한 상관 관계를 포함할 수 있다.According to an embodiment, the correlation between the plurality of learning evaluation indicators may include a correlation regarding a combination of learning evaluation indicators necessary to determine whether or not final learning has occurred and the learning concentration level based on the judgment priorities of the plurality of learning evaluation indicators and the calculated values of at least some of the learning evaluation indicators.

실시 예에 따라, 상기 학습자의 자세에 관한 학습 평가 지표는, 상기 이미지 내의 상기 학습자의 머리, 몸통, 및 팔 각각의 3축 각도에 기초하여 판단될 수 있다.According to an embodiment, the learning evaluation index regarding the learner's posture may be determined based on the three-axis angles of each of the learner's head, torso, and arm within the image.

실시 예에 따라, 상기 학습자의 자세에 관한 학습 평가 지표는, 상기 학습자가 엎드린 상태인지 여부 및 상기 학습자의 학습 자세가 기준 자세와 대비하여 바른 상태인지 여부에 관한 정보를 포함할 수 있다.According to an embodiment, the learning evaluation indicator regarding the learner's posture may include information regarding whether the learner is in a prone position and whether the learner's learning posture is correct compared to a reference posture.

실시 예에 따라, 상기 학습 집중도 평가 장치는, 상기 학습자의 좌석 이탈여부에 관한 학습 평가 지표에 따라 상기 학습자가 좌석으로부터 미 이탈 상태이고, 상기 학습자의 자세에 관한 학습 평가 지표에 따라 상기 학습자가 엎드린 상태가 아닌 경우, 상기 학습자의 헤드 포즈에 관한 학습 평가 지표를 상기 설정된 범위에 포함시킬 수 있다.According to an embodiment, the learning concentration evaluation device may include a learning evaluation index regarding the head pose of the learner within the set range when the learner is not in a prone state according to a learning evaluation index regarding whether the learner has left the seat and the learner is not in a prone state according to a learning evaluation index regarding the posture of the learner.

실시 예에 따라, 상기 학습 집중도 평가 장치는, 상기 학습자의 헤드 포즈에 관한 학습 평가 지표가 학습 가능 범위를 벗어난 경우 상기 학습자의 상기 학습 여부에 대해서는 비 학습 상태로 판단하고, 상기 학습자의 헤드 포즈에 관한 학습 평가 지표가 학습 가능 범위 내에 존재하는 경우 상기 학습자의 눈꺼풀 감김 정도에 관한 학습 평가 지표를 상기 설정된 범위에 포함시킬 수 있다.According to an embodiment, the learning concentration evaluation device may determine whether the learner is learning as a non-learning state if the learning evaluation index regarding the head pose of the learner is outside the learnable range, and may include the learning evaluation index regarding the degree of eyelid closure of the learner within the set range if the learning evaluation index regarding the head pose of the learner is within the learnable range.

실시 예에 따라, 상기 학습자에 대한 이미지는, 상기 학습자의 정면에서 수평 방향의 일 측으로 치우친 위치의 카메라를 통하여 획득된 이미지이며, 상기 학습 집중도 평가 장치는, 상기 학습자에 대한 이미지에서 상기 카메라와 인접한 눈에 상대적으로 높은 가중치를 반영하여, 상기 학습자의 눈꺼풀 감김 정도에 관한 학습 평가 지표를 연산할 수 있다.According to an embodiment, the image of the learner is an image acquired through a camera positioned at a horizontally oriented side from the front of the learner, and the learning concentration evaluation device can calculate a learning evaluation index regarding the degree of eyelid closure of the learner by reflecting a relatively high weight on the eye adjacent to the camera in the image of the learner.

실시 예에 따라, 상기 학습자에 대한 이미지에서 상기 학습자의 눈동자의 일부만 식별되는 경우, 상기 학습 집중도 평가 장치는 상기 학습자의 기준 눈꺼풀 크기 대비 상기 이미지 내의 눈꺼풀 크기의 상대적인 비율에 따라 상기 눈동자의 전체 형태를 추정하여 상기 학습자의 눈꺼풀 감김 정도에 관한 학습 평가 지표를 연산할 수 있다.In an embodiment, when only a part of the pupil of the learner is identified in the image of the learner, the learning concentration evaluation device can estimate the overall shape of the pupil based on a relative ratio of the eyelid size in the image to the reference eyelid size of the learner, and calculate a learning evaluation index regarding the degree of eyelid closure of the learner.

실시 예에 따라, 상기 학습 집중도 평가 장치는, 상기 학습자의 눈꺼풀 감김 정도에 관한 학습 평가 지표가 눈꺼풀이 감긴 상태를 나타내는 경우 상기 학습자의 상기 학습 여부에 대해서는 비 학습 상태로 판단하고, 상기 학습자의 눈꺼풀 감김 정도에 관한 학습 평가 지표가 눈꺼풀이 감겨 있지 않은 상태를 나타내는 경우 상기 학습자의 필기여부에 관한 학습 평가 지표를 상기 설정된 범위에 포함시킬 수 있다.According to an embodiment, the learning concentration evaluation device may determine whether the learner is learning as a non-learning state when the learning evaluation indicator regarding the degree of eyelid closure of the learner indicates a state in which the eyelids are closed, and may include the learning evaluation indicator regarding whether the learner is writing within the set range when the learning evaluation indicator regarding the degree of eyelid closure of the learner indicates a state in which the eyelids are not closed.

실시 예에 따라, 상기 학습 집중도 평가 장치는, 상기 학습자의 필기 여부에 관한 학습 평가 지표가 필기 상태를 나타내는 경우 상기 학습자의 상기 학습 여부에 대해서는 학습 상태로 판단하고 상기 학습 집중도에 대해서는 고 집중 상태로 판단하며, 상기 학습자의 필기 여부에 관한 학습 평가 지표가 필기 상태가 아닌 상황을 나타내는 경우 상기 학습자의 눈 깜박임 빈도에 관한 학습 평가 지표 및 상기 학습자의 표정에 관한 학습 평가 지표를 상기 설정된 범위에 포함시킬 수 있다.According to an embodiment, the learning concentration evaluation device may determine whether the learner is learning as a learning state and determine the learning concentration as a high concentration state when the learning evaluation indicator regarding whether the learner is writing indicates a writing state, and may include a learning evaluation indicator regarding the learner's eye blinking frequency and a learning evaluation indicator regarding the learner's facial expression within the set range when the learning evaluation indicator regarding whether the learner is writing indicates a situation other than a writing state.

실시 예에 따라, 상기 학습자의 표정에 관한 학습 평가 지표는, 상기 이미지 내의 상기 학습자의 얼굴에서 눈, 코, 및 입에 상응하는 영역의 형태와 분포에 기초하여 상기 학습자가 기준 정도를 초과하는 수준으로 웃고 있는지 여부에 따라 연산 될 수 있다.According to an embodiment, a learning evaluation index regarding the learner's facial expression may be computed based on whether the learner is smiling to a level exceeding a reference level based on the shape and distribution of areas corresponding to eyes, nose, and mouth on the learner's face in the image.

실시 예에 따라, 상기 학습 집중도 평가 방법은, 상기 학습 집중도 평가 장치가, 상기 학습자가 비 학습 상태인 것으로 판단된 경우, 상기 복수의 학습 평가 지표들 중에서 적어도 어느 하나를 이용하여 비 학습 상태의 유형을 판단하는 단계를 더 포함할 수 있다.According to an embodiment, the learning concentration evaluation method may further include a step of, when the learning concentration evaluation device determines that the learner is in a non-learning state, determining the type of non-learning state using at least one of the plurality of learning evaluation indices.

본 발명의 실시 예에 따른 학습 집중도 평가 장치는 학습자에 대한 이미지를 수신하고, 수신한 상기 이미지에 대하여, 복수의 학습 평가 지표들 중에서 적어도 일부의 학습 평가 지표들을 상기 복수의 학습 평가 지표들 간의 상관 관계에 따라 순차적으로 연산하는 학습 평가 지표 연산 모듈, 순차적으로 연산 된 상기 적어도 일부의 학습 평가 지표들에 기초하여, 상기 학습자의 학습 여부 및 학습 집중도를 판단하기 위해 사용할 학습 평가 지표들의 범위를 설정하는 학습 평가 지표 설정 모듈 및 설정된 범위의 상기 학습 평가 지표들에 기초하여, 상기 학습자의 상기 학습 여부와 상기 학습 집중도를 판단하는 학습 평가 모듈을 포함할 수 있다.According to an embodiment of the present invention, a learning concentration evaluation device may include a learning evaluation index calculation module that receives an image of a learner, and sequentially calculates at least some of a plurality of learning evaluation indexes among the plurality of learning evaluation indexes based on correlations among the plurality of learning evaluation indexes for the received image; a learning evaluation index setting module that sets a range of learning evaluation indexes to be used to determine whether or not the learner has learned and the learning concentration based on the at least some of the sequentially calculated learning evaluation indexes; and a learning evaluation module that determines whether or not the learner has learned and the learning concentration based on the learning evaluation indexes in the set range.

본 발명의 실시 예에 따른 프로세서(processor)와 결합되어 학습 집중도 평가 방법을 수행하기 위한 매체에 저장된 프로그램은 학습자에 대한 이미지를 수신하는 단계, 수신한 상기 이미지에 대하여, 복수의 학습 평가 지표들 중에서 적어도 일부의 학습 평가 지표들을 상기 복수의 학습 평가 지표들 간의 상관 관계에 따라 순차적으로 연산하는 단계, 순차적으로 연산 된 상기 적어도 일부의 학습 평가 지표들에 기초하여, 상기 학습자의 학습 여부 및 학습 집중도를 판단하기 위해 사용할 학습 평가 지표들의 범위를 설정하는 단계 및 설정된 범위의 상기 학습 평가 지표들에 기초하여, 상기 학습자의 상기 학습 여부와 상기 학습 집중도를 판단하는 단계를 수행하는 프로그램 코드를 포함할 수 있다.A program stored in a medium for performing a learning concentration evaluation method in combination with a processor according to an embodiment of the present invention may include program code for performing the steps of: receiving an image of a learner; sequentially calculating at least some of a plurality of learning evaluation indices from among the plurality of learning evaluation indices for the received image according to correlations among the plurality of learning evaluation indices; setting a range of learning evaluation indices to be used for determining whether the learner has learned and the learning concentration based on the at least some of the sequentially calculated learning evaluation indices; and determining whether the learner has learned and the learning concentration based on the learning evaluation indices in the set range.

본 발명의 실시 예에 따른 방법과 장치에 따르면 학습자에 대한 이미지에 대하여 적어도 일부의 학습 평가 지표들을 순차적으로 연산하고, 연산 결과를 이용하여 학습 여부와 학습 집중도의 판단에 사용할 학습 평가 지표들의 범위를 설정함으로써 학습자의 학습 여부와 학습 집중도 평가의 정확도를 유지하면서도 불필요한 분석을 최소화시킬 수 있는 효과가 있다.According to a method and device according to an embodiment of the present invention, by sequentially calculating at least some learning evaluation indices for an image of a learner and using the calculation results to set a range of learning evaluation indices to be used for determining whether or not a learner has learned and the level of learning concentration, it is possible to minimize unnecessary analysis while maintaining the accuracy of evaluating whether or not a learner has learned and the level of learning concentration.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 실시 예에 따른 학습 집중도 평가 시스템의 개념도이다.
도 2는 도 1에 도시된 학습 집중도 평가 장치의 일 실시 예에 따른 블록도이다.
도 3은 본 발명의 실시 예에 따라 학습자의 헤드 포즈(head pose)에 관한 학습 평가 지표를 연산하는 예시를 나타낸 도면이다.
도 4는 본 발명의 실시 예에 따라 학습자의 자세와 필기 여부에 관한 학습 평가 지표를 연산하는 예시를 나타낸 도면이다.
도 5는 본 발명의 실시 예에 따라 학습자의 표정과 눈 깜박임 빈도에 관한 학습 평가 지표를 연산하는 예시를 나타낸 도면이다.
도 6은 본 발명의 실시 예에 따른 학습 집중도 평가 방법의 플로우차트이다.In order to more fully understand the drawings cited in the detailed description of the present invention, a brief description of each drawing is provided.
Figure 1 is a conceptual diagram of a learning concentration evaluation system according to an embodiment of the present invention.
FIG. 2 is a block diagram according to one embodiment of the learning concentration evaluation device illustrated in FIG. 1.
FIG. 3 is a diagram illustrating an example of calculating a learning evaluation index regarding a learner's head pose according to an embodiment of the present invention.
FIG. 4 is a diagram illustrating an example of calculating learning evaluation indicators regarding a learner's posture and whether or not he or she is writing according to an embodiment of the present invention.
FIG. 5 is a diagram illustrating an example of calculating learning evaluation indices related to a learner's facial expression and eye blink frequency according to an embodiment of the present invention.
Figure 6 is a flowchart of a learning concentration evaluation method according to an embodiment of the present invention.

본 발명의 기술적 사상은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세히 설명하고자 한다. 그러나, 이는 본 발명의 기술적 사상을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 기술적 사상의 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.The technical idea of the present invention can have various changes and various embodiments, and specific embodiments are illustrated in the drawings and described in detail. However, this is not intended to limit the technical idea of the present invention to specific embodiments, and it should be understood that it includes all modifications, equivalents, and substitutes included in the scope of the technical idea of the present invention.

본 발명의 기술적 사상을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.In explaining the technical idea of the present invention, if it is judged that a detailed description of related known technology may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, the numbers (e.g., first, second, etc.) used in the description of this specification are merely identifiers for distinguishing one component from another.

또한, 본 명세서에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.In addition, when a component is referred to as being "connected" or "connected" to another component in this specification, it should be understood that the component may be directly connected or directly connected to the other component, but may also be connected or connected via another component in between, unless otherwise specifically stated.

또한, 본 명세서에 기재된 "~부", "~기", "~자", "~모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 프로세서(Processor), 마이크로 프로세서(Micro Processer), 마이크로 컨트롤러(Micro Controller), CPU(Central Processing Unit), GPU(Graphics Processing Unit), APU(Accelerate Processor Unit), DSP(Drive Signal Processor), ASIC(Application Specific Integrated Circuit), FPGA(Field Programmable Gate Array) 등과 같은 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있으며, 적어도 하나의 기능이나 동작의 처리에 필요한 데이터를 저장하는 메모리(memory)와 결합되는 형태로 구현될 수도 있다.In addition, terms such as "part", "device", "substance", and "module" described in this specification mean a unit that processes at least one function or operation, which may be implemented by hardware such as a processor, a microprocessor, a microcontroller, a central processing unit (CPU), a graphics processing unit (GPU), an accelerate processor unit (APU), a drive signal processor (DSP), an application specific integrated circuit (ASIC), a field programmable gate array (FPGA), or a combination of hardware and software, and may also be implemented in a form combined with a memory that stores data necessary for processing at least one function or operation.

그리고 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.And it is to be clarified that the division of components in this specification is only a division by the main function of each component. In other words, two or more components described below may be combined into one component, or one component may be divided into two or more by more detailed functions. In addition, each component described below may additionally perform some or all of the functions of other components in addition to its own main function, and it goes without saying that some of the main functions of each component may be exclusively performed by other components.

도 1은 본 발명의 실시 예에 따른 학습 집중도 평가 시스템의 개념도이다.Figure 1 is a conceptual diagram of a learning concentration evaluation system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 학습 집중도 평가 시스템은 학습자(LNR)의 학습 상황에 관련된 다양한 정보들을 획득하여 학습자(LNR)의 학습 여부와 학습 집중도를 판단하고, 판단된 학습 여부와 학습 집중도에 관련된 정보를 제1사용자 단말(200-1)과 제2사용자 단말(200-2)로 전송할 수 있다.Referring to FIG. 1, a learning concentration evaluation system according to an embodiment of the present invention obtains various pieces of information related to the learning situation of a learner (LNR), determines whether the learner (LNR) is learning and the learning concentration, and transmits information related to the determined learning whether or not the learner is learning and the learning concentration to a first user terminal (200-1) and a second user terminal (200-2).

학습 집중도 평가 시스템은 학습 집중도 센싱 유닛(50), 학습 집중도 평가 장치(100), 제1사용자 단말(200-1), 및 제2사용자 단말(200-2)를 포함할 수 있다.The learning concentration evaluation system may include a learning concentration sensing unit (50), a learning concentration evaluation device (100), a first user terminal (200-1), and a second user terminal (200-2).

학습 집중도 센싱 유닛(50)은 학습자(LNR)가 학습하는 장소(예컨대, 책상)에 설치되어 학습자(LNR)의 학습 여부 및 학습 집중도 판단에 필요한 다양한 데이터를 수집할 수 있다.The learning concentration sensing unit (50) can be installed in a place (e.g., a desk) where a learner (LNR) studies and collect various data necessary for determining whether the learner (LNR) is studying and the learning concentration level.

실시 예에 따라, 학습 집중도 센싱 유닛(50)은 학습자(LNR)에 대한 이미지를 획득하기 위한 이미지 획득 장치(예컨대, 적외선 카메라, RGB 카메라 등), 학습자(LNR)의 주변의 산소 농도 또는 이산화탄소 농도를 센싱하기 위한 가스 센서, 학습자(LNR)의 학습 공간에 발생하는 진동을 센싱하기 위한 진동 센서 등을 포함할 수 있다.According to an embodiment, the learning concentration sensing unit (50) may include an image acquisition device (e.g., an infrared camera, an RGB camera, etc.) for acquiring an image of the learner (LNR), a gas sensor for sensing the oxygen concentration or carbon dioxide concentration around the learner (LNR), a vibration sensor for sensing vibration occurring in the learning space of the learner (LNR), etc.

본 명세서에서 "이미지"는 정적 이미지와 동적 이미지(즉, 영상)를 모두 포함하는 개념을 의미할 수 있다.In this specification, “image” may mean a concept including both static images and dynamic images (i.e., videos).

실시 예에 따라, 이미지 획득 장치는 이미지를 캡쳐하기 위한 이미지 센서(예컨대, CCD(Charge Coupled Device) 이미지 센서, CMOS(Complementary Metal-Oxide Semiconductor) 이미지 센서 등)와 렌즈를 포함하는 광학계를 포함할 수 있다.According to an embodiment, the image acquisition device may include an image sensor (e.g., a charge coupled device (CCD) image sensor, a complementary metal-oxide semiconductor (CMOS) image sensor, etc.) for capturing an image and an optical system including a lens.

학습 집중도 센싱 유닛(50)은 센싱 결과에 따른 센싱 데이터 또는 학습자(LNR)에 대한 이미지 데이터를 학습 집중도 평가 장치(100) 측으로 전송할 수 있다.The learning concentration sensing unit (50) can transmit sensing data or image data for the learner (LNR) according to the sensing result to the learning concentration evaluation device (100).

실시 예에 따라, 학습 집중도 센싱 유닛(50)은 유선 또는 무선 통신을 통하여 센싱 데이터 또는 이미지 데이터를 학습 집중도 평가 장치(100) 측으로 전송할 수 있으며, 학습 집중도 센싱 유닛(50)은 이를 위한 통신 모듈 또는 통신 인터페이스를 구비할 수 있다.According to an embodiment, the learning concentration sensing unit (50) can transmit sensing data or image data to the learning concentration evaluation device (100) through wired or wireless communication, and the learning concentration sensing unit (50) can be equipped with a communication module or communication interface for this.

학습 집중도 평가 장치(100)는 수신된 센싱 데이터 또는 이미지 데이터에 기초하여, 학습자(LNR)의 학습 여부와 학습 집중도를 판단할 수 있다.The learning concentration evaluation device (100) can determine whether a learner (LNR) is learning and the learning concentration based on received sensing data or image data.

실시 예에 따라, 학습 집중도 평가 장치(100)는 수신된 이미지 데이터에 기초하여, 학습자(LNR)의 자세가 올바른지 여부를 판단할 수 있다.According to an embodiment, the learning concentration evaluation device (100) can determine whether the posture of the learner (LNR) is correct based on the received image data.

학습 집중도 평가 장치(100)는 학습자(LNR)의 학습 여부, 학습 집중도에 대한 판단 결과 또는 학습자(LNR)의 자세가 올바른지 여부에 대한 판단 결과 등을 제1사용자 단말(200-1)과 제2사용자 단말(200-2)로 전송할 수 있다.The learning concentration evaluation device (100) can transmit the results of judgment on whether the learner (LNR) is learning, the results of judgment on the learning concentration, or the results of judgment on whether the learner (LNR) has the correct posture, to the first user terminal (200-1) and the second user terminal (200-2).

실시 예에 따라, 학습 집중도 평가 장치(100)는 학습 집중도 센싱 유닛(50)과 별개의 서버의 형태로 구현될 수 있다.According to an embodiment, the learning concentration evaluation device (100) may be implemented in the form of a server separate from the learning concentration sensing unit (50).

다른 실시 예에 따라, 학습 집중도 평가 장치(100)는 학습 집중도 센싱 유닛(50)과 하나의 결합된 장치 형태(예컨대, 엣지 디바이스(edge device) 형태)로 구현될 수 있다. 이 경우, 학습 집중도 평가 장치(100)는 학습 집중도 센싱 유닛(50)과 결합되어 엣지 컴퓨팅(edge computing) 방식으로 동작할 수 있다.According to another embodiment, the learning concentration evaluation device (100) may be implemented in the form of a single combined device (e.g., an edge device) with the learning concentration sensing unit (50). In this case, the learning concentration evaluation device (100) may be combined with the learning concentration sensing unit (50) and operate in an edge computing manner.

학습 집중도 평가 장치(100)의 세부적인 구조 및 동작은 도 2 내지 도 6을 참조하여 후술하도록 한다.The detailed structure and operation of the learning concentration evaluation device (100) will be described later with reference to FIGS. 2 to 6.

제1사용자 단말(200-1)은 학습자(LNR) 본인이 사용하는 통신 단말을 의미하고, 제2사용자 단말(200-2)은 학습자(LNR)의 학습 상황을 공유 받을 권한이 있는 관계자(예컨대, 학습자(LNR)의 보호자, 선생님 등)가 사용하는 통신 단말을 의미할 수 있다.The first user terminal (200-1) may refer to a communication terminal used by the learner (LNR) himself, and the second user terminal (200-2) may refer to a communication terminal used by a person with the authority to share the learning status of the learner (LNR) (e.g., the learner's (LNR) guardian, teacher, etc.).

제1사용자 단말(200-1)과 제2사용자 단말(200-2)은 무선 통신이 가능한 다양한 형태(예컨대, 스마트폰, 태블릿 PC, 또는 의류 추천 서비스를 제공하기 위한 별도의 장치 등)의 무선 통신 기기로 구현될 수 있다.The first user terminal (200-1) and the second user terminal (200-2) can be implemented as wireless communication devices of various forms capable of wireless communication (e.g., a smartphone, a tablet PC, or a separate device for providing a clothing recommendation service, etc.).

도 2는 도 1에 도시된 학습 집중도 평가 장치의 일 실시 예에 따른 블록도이다. 도 3은 본 발명의 실시 예에 따라 학습자의 헤드 포즈(head pose)에 관한 학습 평가 지표를 연산하는 예시를 나타낸 도면이다. 도 4는 본 발명의 실시 예에 따라 학습자의 자세와 필기 여부에 관한 학습 평가 지표를 연산하는 예시를 나타낸 도면이다. 도 5는 본 발명의 실시 예에 따라 학습자의 표정과 눈 깜박임 빈도에 관한 학습 평가 지표를 연산하는 예시를 나타낸 도면이다.FIG. 2 is a block diagram according to an embodiment of the learning concentration evaluation device illustrated in FIG. 1. FIG. 3 is a diagram showing an example of calculating a learning evaluation index regarding a learner's head pose according to an embodiment of the present invention. FIG. 4 is a diagram showing an example of calculating a learning evaluation index regarding a learner's posture and whether or not the learner is writing according to an embodiment of the present invention. FIG. 5 is a diagram showing an example of calculating a learning evaluation index regarding a learner's facial expression and eye blink frequency according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일 실시 예에 따른 학습 집중도 평가 장치(100)는 메모리(110), 통신 인터페이스(120), 및 프로세서(130)를 포함할 수 있다.Referring to FIG. 2, a learning concentration evaluation device (100) according to one embodiment of the present invention may include a memory (110), a communication interface (120), and a processor (130).

메모리(110)는 학습 집중도 평가 장치(100)의 동작 전반에 필요한 데이터 또는 프로그램을 저장할 수 있다.The memory (110) can store data or programs necessary for the overall operation of the learning concentration evaluation device (100).

실시 예에 따라, 메모리(110)는 본 발명의 실시 예에 따른 학습 집중도 평가 방법을 수행하기 위한 프로그램 코드를 포함하는 프로그램을 저장할 수 있으며, 메모리(110)는 프로세서(130)와 결합되어 상기 프로그램을 실행시킬 수 있다.According to an embodiment, the memory (110) can store a program including a program code for performing a learning concentration evaluation method according to an embodiment of the present invention, and the memory (110) can be coupled with a processor (130) to execute the program.

메모리(110)는 프로세서(130)의 처리 동작 중에 생성된 데이터 또는 프로세서(130)가 처리를 완료한 데이터를 저장할 수 있다.The memory (110) can store data generated during the processing operation of the processor (130) or data that the processor (130) has completed processing.

메모리(110)는 그 용어에도 불구하고 데이터를 저장할 수 있는 다양한 수단, 예컨대 데이터베이스 등으로 구현될 수 있다.Despite the term, memory (110) can be implemented as a variety of means capable of storing data, such as a database.

통신 인터페이스(120)는 학습 집중도 평가 장치(100)와 외부의 타 장치(예컨대, 학습 집중도 센싱 유닛(50), 제1사용자 단말(200-1), 또는 제2사용자 단말(200-2) 등)와의 통신을 인터페이싱할 수 있다.The communication interface (120) can interface communication between the learning concentration evaluation device (100) and an external device (e.g., the learning concentration sensing unit (50), the first user terminal (200-1), or the second user terminal (200-2)).

실시 예에 따라, 학습 집중도 평가 장치(100)는 학습 집중도 센싱 유닛(50)과 하나의 결합된 장치 형태(예컨대, 엣지 디바이스(edge device) 형태)로 구현될 수 있다. 이 경우, 학습 집중도 평가 장치(100)는 학습 집중도 센싱 유닛(50)과 결합되어 데이터를 직접 주고 받을 수 있으며, 통신 인터페이스(120)는 제1사용자 단말(200-1), 또는 제2사용자 단말(200-2) 등)와의 통신을 인터페이싱할 수 있다.According to an embodiment, the learning concentration evaluation device (100) may be implemented in the form of a single combined device (e.g., an edge device form) with the learning concentration sensing unit (50). In this case, the learning concentration evaluation device (100) may be combined with the learning concentration sensing unit (50) to directly exchange data, and the communication interface (120) may interface communication with a first user terminal (200-1), a second user terminal (200-2), etc.

프로세서(130)는 이미지 전처리 모듈(132), 평가 지표 연산 모듈(134), 평가 지표 설정 모듈(136), 및 학습 평가 모듈(138)을 포함할 수 있다.The processor (130) may include an image preprocessing module (132), an evaluation index calculation module (134), an evaluation index setting module (136), and a learning evaluation module (138).

이미지 전처리 모듈(132)은 학습 집중도 센싱 유닛(50)으로부터 전송된 학습자(LNR)에 대한 이미지를 평가 지표 연산 모듈(134), 평가 지표 설정 모듈(136), 및 학습 평가 모듈(138)에서 활용하기에 용이한 형태로 전처리할 수 있다.The image preprocessing module (132) can preprocess the image for the learner (LNR) transmitted from the learning concentration sensing unit (50) into a form that can be easily utilized by the evaluation index calculation module (134), the evaluation index setting module (136), and the learning evaluation module (138).

실시 예에 따라, 이미지 전처리 모듈(132)은 수신된 이미지의 리사이징(resizing), 이미지 정규화(normalization), 이미지 어그멘테이션 (augmentation) 등의 다양한 형태의 전처리를 수행할 수 있다.According to an embodiment, the image preprocessing module (132) may perform various forms of preprocessing, such as resizing, image normalization, and image augmentation of the received image.

실시 예에 따라, 이미지 전처리 모듈(132)은 이미지 내에서 학습자(LNR)에 해당하는 영역 또는 학습자(LNR)에 해당하는 영역 중에서도 평가 지표 연산에 필요한 일부 영역을 추출할 수 있다.According to an embodiment, the image preprocessing module (132) may extract an area corresponding to the learner (LNR) within the image or some area among the areas corresponding to the learner (LNR) that is required for calculating the evaluation index.

평가 지표 연산 모듈(134)은 학습 집중도 센싱 유닛(50)에 의해 획득된 학습자(LNR)의 이미지에 대하여, 복수의 학습 평가 지표들 중에서 적어도 일부의 학습 평가 지표들을 학습 평가 지표들 간의 상관 관계에 따라 순차적으로 연산할 수 있다.The evaluation index calculation module (134) can sequentially calculate at least some of the learning evaluation indices among a plurality of learning evaluation indices for the image of the learner (LNR) acquired by the learning concentration sensing unit (50) according to the correlation between the learning evaluation indices.

실시 예에 따라, 복수의 학습 평가 지표들은 학습자(LNR)의 좌석 이탈여부, 학습자(LNR)의 자세, 학습자(LNR)의 헤드 포즈(head pose), 학습자(LNR)의 눈꺼풀 감김 정도, 학습자(LNR)의 눈 깜박임 빈도, 학습자(LNR)의 표정, 및 학습자(LNR)의 필기여부 중 적어도 2 이상을 포함할 수 있다.According to an embodiment, the plurality of learning evaluation indicators may include at least two of whether the learner (LNR) gets out of the seat, the learner (LNR)'s posture, the learner (LNR)'s head pose, the degree to which the learner (LNR)'s eyelids are closed, the learner (LNR)'s eye blinking frequency, the learner (LNR)'s facial expression, and whether the learner (LNR) takes notes.

실시 예에 따라, 평가 지표 연산 모듈(134)은 학습자(LNR)에 대한 이미지에서 학습자(LNR)가 인식되는지 여부에 따라 학습자(LNR)의 좌석 이탈여부를 판단할 수 있다.According to an embodiment, the evaluation index calculation module (134) can determine whether the learner (LNR) has left the seat based on whether the learner (LNR) is recognized in the image for the learner (LNR).

실시 예에 따라, 평가 지표 연산 모듈(134)은 학습자(LNR)에 대한 이미지에서 학습자(LNR)의 머리 부분을 추출하여 학습자(LNR)의 헤드 포즈(head pose)를 판단할 수 있다.According to an embodiment, the evaluation index calculation module (134) can extract the head part of the learner (LNR) from the image of the learner (LNR) to determine the head pose of the learner (LNR).

도 3을 함께 참조하면, 평가 지표 연산 모듈(134)은 학습자(LNR)에 대한 이미지에서 학습자의 머리 부분의 3축 각도(예컨대, 롤(roll), 피치(pitch), 요우(yaw))를 기초로 학습자(LNR)의 헤드 포즈를 판단할 수 있다.Referring to FIG. 3 together, the evaluation index calculation module (134) can determine the head pose of the learner (LNR) based on the three-axis angles (e.g., roll, pitch, yaw) of the head of the learner in the image of the learner (LNR).

실시 예에 따라, 평가 지표 연산 모듈(134)은 판단된 학습자(LNR)의 헤드 포즈에 따라 학습자(LNR)의 머리가 향하는 방향(HP-D)이 학습 가능 범위(LG-LN) 내에 있는지 여부를 판단하고, 판단 결과를 학습자(LNR)의 헤드 포즈에 관한 학습 평가 지표에 포함시킬 수 있다.According to an embodiment, the evaluation index calculation module (134) may determine whether the direction (HP-D) toward which the head of the learner (LNR) is directed is within the learnable range (LG-LN) based on the determined head pose of the learner (LNR), and may include the determination result in a learning evaluation index regarding the head pose of the learner (LNR).

다른 실시 예에 따라, 평가 지표 연산 모듈(134)은 학습자(LNR)의 시선 방향이 학습 가능 범위(LG-LN) 내에 있는지 여부를 판단하고, 판단 결과를 학습자(LNR)의 헤드 포즈에 관한 학습 평가 지표에 포함시킬 수 있다.According to another embodiment, the evaluation index calculation module (134) may determine whether the gaze direction of the learner (LNR) is within the learnable range (LG-LN) and include the determination result in the learning evaluation index regarding the head pose of the learner (LNR).

도 2로 돌아와서, 평가 지표 연산 모듈(134)은 학습자(LNR)에 대한 이미지에서 학습자(LNR)의 상반신 부분을 추출하여 학습자(LNR)의 자세 또는 학습자의 필기 여부를 판단할 수 있다.Returning to Figure 2, the evaluation index calculation module (134) can extract the upper body part of the learner (LNR) from the image of the learner (LNR) to determine the posture of the learner (LNR) or whether the learner is writing.

도 4를 함께 참조하면, 평가 지표 연산 모듈(134)은 학습자(LNR)에 대한 이미지에서 책상(DK) 위의 학습자(LNR)의 상반신에 해당하는 부분을 추출하고, 학습자(LNR)의 머리, 몸통, 및 팔 각각의 3축 각도에 기초하여 학습자(LNR)의 자세를 판단할 수 있다.Referring to FIG. 4 together, the evaluation index calculation module (134) can extract a portion corresponding to the upper body of the learner (LNR) on the desk (DK) from the image of the learner (LNR), and determine the posture of the learner (LNR) based on the three-axis angles of each of the head, torso, and arms of the learner (LNR).

실시 예에 따라, 평가 지표 연산 모듈(134)은 학습자(LNR)의 상반신에서 주요 관절이나 머리, 몸통, 및 팔 각각의 연결 부위 또는 관절 부위를 기준으로 스켈레톤(skeleton, SK1, SK2, SK3A, SK3B)을 추출하고, 추출된 스켈레톤에서 머리(예컨대, SK1), 몸통(예컨대, SK2), 팔(예컨대, SK3A, SK3B) 각 부위의 3축 각도에 기초하여 학습자(LNR)의 자세에 관한 학습 평가 지표를 판단할 수 있다.According to an embodiment, the evaluation index calculation module (134) extracts a skeleton (SK1, SK2, SK3A, SK3B) based on the main joints or connection parts or joint parts of each of the head, torso, and arms from the upper body of the learner (LNR), and determines a learning evaluation index regarding the posture of the learner (LNR) based on the three-axis angles of each part of the head (e.g., SK1), torso (e.g., SK2), and arms (e.g., SK3A, SK3B) in the extracted skeleton.

실시 예에 따라, 평가 지표 연산 모듈(134)은 학습자(LNR)의 자세가 엎드린 상태인지 여부 및 학습자(LNR)의 자세가 기준 자세와 대비하여 바른 상태인지 여부(예컨대, 머리 또는 몸통의 각도가 기준 자세 대비 기울어졌는지 여부 등)에 관한 정보를 학습자(LNR)의 자세에 관한 학습 평가 지표에 포함시킬 수 있다.According to an embodiment, the evaluation index calculation module (134) may include information about whether the posture of the learner (LNR) is in a prone state and whether the posture of the learner (LNR) is correct compared to a reference posture (e.g., whether the angle of the head or torso is tilted compared to the reference posture, etc.) in the learning evaluation index regarding the posture of the learner (LNR).

실시 예에 따라, 평가 지표 연산 모듈(134)은 학습자(LNR)의 팔에 해당하는 스켈레톤 영역(SK3A 또는 SK3B)의 움직임과 학습자(LNR)의 손에 펜에 해당하는 이미지가 검출되는지 여부에 기초하여 학습자(LNR)의 필기 여부에 관한 학습 평가 지표를 연산할 수 있다.According to an embodiment, the evaluation index calculation module (134) may calculate a learning evaluation index regarding whether the learner (LNR) writes based on whether the movement of the skeleton region (SK3A or SK3B) corresponding to the learner's (LNR) arm and an image corresponding to a pen in the learner's (LNR) hand is detected.

도 2로 돌아와서, 평가 지표 연산 모듈(134)은 학습자(LNR)에 대한 이미지에 대하여 학습자(LNR)의 눈꺼풀 감김 정도, 학습자(LNR)의 눈 깜박임 빈도, 학습자(LNR)의 표정에 관한 학습 평가 지표를 연산할 수 있다.Returning to FIG. 2, the evaluation index calculation module (134) can calculate learning evaluation indexes regarding the degree of eyelid closure of the learner (LNR), the frequency of eye blinking of the learner (LNR), and the facial expression of the learner (LNR) for the image of the learner (LNR).

도 5를 함께 참조하면, 평가 지표 연산 모듈(134)은 학습자(LNR)에 대한 이미지에서 얼굴에 해당하는 부분 이미지(IMG-P1)를 추출하고, 추출된 부분 이미지(IMG-P1)에서 학습자(LNR)의 얼굴의 특징점들(FVs)을 추출할 수 있다.Referring to FIG. 5 together, the evaluation index calculation module (134) can extract a partial image (IMG-P1) corresponding to a face from an image of a learner (LNR), and extract feature points (FVs) of the face of the learner (LNR) from the extracted partial image (IMG-P1).

실시 예에 따라, 평가 지표 연산 모듈(134)은 학습자(LNR)의 눈에 해당하는 영역 중에서도 눈꺼풀(EYL)에 해당하는 부분과 눈동자(PUP)에 해당하는 부분을 구분하고, 눈꺼풀과 눈동자의 상대적인 크기 비율 변화에 기초하여 눈꺼풀 감김 정도에 관한 학습 평가 지표를 연산할 수 있다.According to an embodiment, the evaluation index calculation module (134) can distinguish between a part corresponding to the eyelid (EYL) and a part corresponding to the pupil (PUP) among the areas corresponding to the eyes of the learner (LNR), and calculate a learning evaluation index regarding the degree of eyelid closure based on the change in the relative size ratio of the eyelid and the pupil.

실시 예에 따라, 학습자(LNR)에 대한 이미지는, 학습자(LNR)의 정면에서 수평 방향(예컨대, Y축 방향 또는 -Y축 방향)의 일 측으로 치우친 위치의 카메라를 통하여 획득된 이미지일 수 있다. 이 경우, 평가 지표 연산 모듈(134)은 학습자(LNR)에 대한 이미지에서 상기 카메라와 인접한 눈에 상대적으로 높은 가중치를 반영하여 학습자(LNR)의 눈꺼풀 감김 정도에 관한 학습 평가 지표를 연산할 수 있다. 예컨대, 학습자(LNR)의 정면에서 -Y축 방향의 일 측으로 치우친 위치의 카메라를 통하여 학습자(LNR)의 이미지가 획득된 경우 학습자의 우측 눈(도 5의 부분 이미지(IMG-P1) 기준으로 좌측 눈)에 상대적으로 높은 가중치를 반영할 수 있다. 실시 예에 따라, 학습자(LNR)의 정면을 기준으로 카메라가 치우친 방향은 학습자(LNR)의 두 눈의 상대적인 크기(예컨대, 이미지에서 상대적으로 크기가 큰 눈 쪽으로 카메라가 치우친 것으로 판단) 또는 학습 집중도 센싱 유닛(50)으로부터 전송된 설치 위치 정보에 기초하여 판단될 수 있다.According to an embodiment, the image of the learner (LNR) may be an image acquired through a camera positioned at a side tilted in the horizontal direction (e.g., in the Y-axis direction or the -Y-axis direction) from the front of the learner (LNR). In this case, the evaluation index calculation module (134) may calculate a learning evaluation index regarding the degree of eyelid closure of the learner (LNR) by reflecting a relatively high weight to the eye adjacent to the camera in the image of the learner (LNR). For example, if the image of the learner (LNR) is acquired through a camera positioned at a side tilted in the -Y-axis direction from the front of the learner (LNR), a relatively high weight may be reflected to the learner's right eye (the left eye based on the partial image (IMG-P1) of FIG. 5) According to an embodiment, the direction in which the camera is biased relative to the front of the learner (LNR) may be determined based on the relative sizes of the two eyes of the learner (LNR) (e.g., the camera is determined to be biased toward the eye with a relatively larger size in the image) or the installation location information transmitted from the learning concentration sensing unit (50).

실시 예에 따라, 평가 지표 연산 모듈(134)은 부분 이미지(IMG-P1)에서 학습자(LNR)의 눈동자(PUP)의 일부만 식별되는 경우, 학습자(LNR)의 기준 눈꺼풀 크기 대비 부분 이미지(IMG-P1) 내의 눈꺼풀(EYL) 크기의 상대적인 비율에 따라 눈동자(PUP)의 전체 형태를 추정하여 눈꺼풀 감김 정도에 관한 학습 평가 지표를 연산할 수 있다. 이 경우 학습자(LNR)의 기준 눈꺼풀 크기는 학습자(LNR)의 눈꺼풀과 눈동자 전체가 포함된 학습자(LNR) 이미지에서의 눈꺼풀 크기에 따라 결정될 수 있다.According to an embodiment, the evaluation index calculation module (134) may calculate a learning evaluation index regarding the degree of eyelid closure by estimating the overall shape of the pupil (PUP) based on a relative ratio of the size of the eyelid (EYL) in the partial image (IMG-P1) to the reference eyelid size of the learner (LNR), when only a part of the pupil (PUP) of the learner (LNR) is identified in the partial image (IMG-P1). In this case, the reference eyelid size of the learner (LNR) may be determined based on the eyelid size in the learner (LNR) image that includes the entire eyelid and pupil of the learner (LNR).

실시 예에 따라, 평가 지표 연산 모듈(134)은 학습자(LNR)의 눈꺼풀(EYL)에 대한 눈동자(PUP)의 상대적인 크기 비율이 기준값 이하인 시점을 눈이 감긴 시점으로 식별하고, 학습자(LNR)의 눈 깜박임 빈도에 관한 학습 평가 지표를 연산할 수 있다.According to an embodiment, the evaluation index calculation module (134) can identify a time point when the relative size ratio of the pupil (PUP) to the eyelid (EYL) of the learner (LNR) is below a reference value as the time point when the eyes are closed, and calculate a learning evaluation index regarding the eye blinking frequency of the learner (LNR).

실시 예에 따라, 평가 지표 연산 모듈(134)은 학습자(LNR)의 얼굴의 특징점들(FVs)에 기초하여 학습자(LNR)의 얼굴에서 눈, 코, 및 입에 상응하는 영역의 형태와 분포를 판단하고, 판단된 분포에 기초하여 학습자(LNR)가 기준 정도를 초과하는 수준으로 웃고 있는지 여부에 따라 학습자(LNR)의 표정에 관한 학습 평가 지표를 연산할 수 있다.According to an embodiment, the evaluation index calculation module (134) can determine the shape and distribution of areas corresponding to eyes, nose, and mouth on the face of the learner (LNR) based on facial feature points (FVs) of the learner (LNR), and calculate a learning evaluation index regarding the facial expression of the learner (LNR) based on the determined distribution, depending on whether the learner (LNR) is smiling at a level exceeding a reference level.

실시 예에 따라, 복수의 학습 평가 지표들 간의 상관 관계는 복수의 학습 평가 지표들의 판단 우선순위, 및 연산된 적어도 일부의 학습 평가 지표들의 값에 따라 최종적인 학습 여부와 학습 집중도를 결정하기 위해 필요한 학습 평가 지표들의 조합에 관한 상관 관계를 포함할 수 있다.According to an embodiment, the correlation between the plurality of learning evaluation indicators may include a correlation regarding the judgment priority of the plurality of learning evaluation indicators, and a combination of learning evaluation indicators necessary to determine the final learning status and learning concentration based on the values of at least some of the calculated learning evaluation indicators.

실시 예에 따라, 복수의 학습 평가 지표들의 판단 우선순위는 학습자(LNR)의 좌석 이탈여부, 학습자(LNR)의 자세, 학습자(LNR)의 헤드 포즈, 학습자(LNR)의 눈꺼풀 감김 정도, 학습자(LNR)의 필기여부, 및 학습자(LNR)의 눈 깜박임 빈도와 학습자(LNR)의 표정의 순서일 수 있다.According to an embodiment, the order of judgment priorities of the plurality of learning evaluation indicators may be whether the learner (LNR) gets out of the seat, the learner (LNR)'s posture, the learner (LNR)'s head pose, the degree to which the learner (LNR)'s eyelids are closed, whether the learner (LNR) is writing, the learner (LNR)'s eye blinking frequency, and the learner (LNR)'s facial expression.

도 2로 돌아와서, 평가 지표 설정 모듈(136)은 평가 지표 연산 모듈(134)에 의해 순차적으로 연산 된 적어도 일부의 학습 평가 지표들에 기초하여, 학습자(LNR)의 학습 여부 및 학습 집중도를 판단하기 위해 사용할 학습 평가 지표들의 범위를 설정할 수 있다.Returning to Figure 2, the evaluation index setting module (136) can set a range of learning evaluation indexes to be used to determine whether a learner (LNR) has learned and the level of learning concentration based on at least some learning evaluation indexes sequentially calculated by the evaluation index calculation module (134).

평가 지표 설정 모듈(136)이 학습자(LNR)의 학습 여부 및 학습 집중도를 판단하기 위해 사용할 학습 평가 지표들의 범위를 설정하는 세부적인 과정에 대해서는 도 6을 함께 참조하여 후술하도록 한다.The detailed process of setting the range of learning evaluation indices to be used by the evaluation indices setting module (136) to determine whether a learner (LNR) has learned and the level of learning concentration will be described later with reference to FIG. 6.

학습 평가 모듈(138)은 평가 지표 설정 모듈(136)에 의해 설정된 범위의 학습 평가 지표들에 기초하여, 학습자(LNR)의 학습 여부 및 학습 집중도를 판단할 수 있다.The learning evaluation module (138) can determine whether a learner (LNR) is learning and the learning concentration level based on the learning evaluation indices set by the evaluation indices setting module (136).

실시 예에 따라, 학습 평가 모듈(138)은 시간대 별 학습자(LNR)의 학습 여부 및 학습 집중도에 기초하여 학습자(LNR)가 학습한 총 시간과 학습한 시간 중에서도 집중하여 학습한 시간에 대한 정보를 생성하여, 사용자 단말들(200-1, 200-2)로 제공할 수 있다.According to an embodiment, the learning evaluation module (138) may generate information on the total learning time of the learner (LNR) and the time spent concentrating on learning among the learning time based on whether the learner (LNR) has learned and the learning concentration level by time zone, and provide the information to the user terminals (200-1, 200-2).

다른 실시 예에 따라, 학습 평가 모듈(138)은 학습자(LNR)가 학습한 총 시간과 학습한 시간 중에서도 집중하여 학습한 시간에 대한 정보에 기초하여 부가 정보(예컨대, 학습자(LNR)의 학습 태도 개선을 위한 정보)를 생성하여 사용자 단말들(200-1, 200-2)로 제공할 수 있다.According to another embodiment, the learning evaluation module (138) may generate additional information (e.g., information for improving the learning attitude of the learner (LNR)) based on information about the total learning time of the learner (LNR) and the focused learning time among the learning time, and provide the information to the user terminals (200-1, 200-2).

실시 예에 따라, 학습 평가 모듈(138)은 평가 지표 연산 모듈(134)에 의해 연산된 학습자(LNR)의 자세에 관한 학습 평가 지표에 기초하여, 학습자(LNR)의 자세에서 교정이 필요한 부분에 대한 정보를 생성하여, 사용자 단말들(200-1, 200-2)로 제공할 수 있다.According to an embodiment, the learning evaluation module (138) may generate information on a part of the learner's (LNR) posture that requires correction based on a learning evaluation index regarding the learner's (LNR) posture calculated by the evaluation index calculation module (134), and provide the information to the user terminals (200-1, 200-2).

실시 예에 따라, 학습 집중도 평가 장치(100)는 학습 집중도 센싱 유닛(50)과 하나의 결합된 장치 형태(예컨대, 엣지 디바이스(edge device) 형태)로 구현될 수 있으며, 이 경우 학습 집중도 평가 장치(100)는 디스플레이(미도시)를 더 포함할 수 있다. 학습 집중도 평가 장치(100)는 디스플레이(미도시)를 통하여 학습자의 학습 여부 또는 학습 집중도 등 다양한 정보를 표시할 수 있다.According to an embodiment, the learning concentration evaluation device (100) may be implemented as a single combined device form (e.g., edge device form) with the learning concentration sensing unit (50), and in this case, the learning concentration evaluation device (100) may further include a display (not shown). The learning concentration evaluation device (100) may display various information, such as whether the learner is learning or the learning concentration, through the display (not shown).

도 6은 본 발명의 실시 예에 따른 학습 집중도 평가 방법의 플로우차트이다.Figure 6 is a flowchart of a learning concentration evaluation method according to an embodiment of the present invention.

도 1 내지 도 6을 참조하면, 학습 집중도 평가 장치(100)는 학습 집중도 센싱 유닛(50)에 의해 획득된 학습자(LNR)에 대한 이미지를 수신할 수 있다(S10).Referring to FIGS. 1 to 6, the learning concentration evaluation device (100) can receive an image of a learner (LNR) acquired by the learning concentration sensing unit (50) (S10).

학습 집중도 평가 장치(100)는 수신한 이미지에 대하여, 복수의 학습 평가 지표들 중에서 적어도 일부의 학습 평가 지표들을 복수의 학습 평가 지표들 간의 상관 관계에 따라 순차적으로 연산할 수 있다(S20).The learning concentration evaluation device (100) can sequentially calculate at least some of the learning evaluation indices among the plurality of learning evaluation indices for the received image according to the correlation between the plurality of learning evaluation indices (S20).

실시 예에 따라, 복수의 학습 평가 지표들은 학습자(LNR)의 좌석 이탈여부, 학습자(LNR)의 자세, 학습자(LNR)의 헤드 포즈(head pose), 학습자(LNR)의 눈꺼풀 감김 정도, 학습자(LNR)의 눈 깜박임 빈도, 학습자(LNR)의 표정, 및 학습자(LNR)의 필기여부 중 적어도 2 이상을 포함할 수 있다.According to an embodiment, the plurality of learning evaluation indicators may include at least two of whether the learner (LNR) gets out of the seat, the learner (LNR)'s posture, the learner (LNR)'s head pose, the degree to which the learner (LNR)'s eyelids are closed, the learner (LNR)'s eye blinking frequency, the learner (LNR)'s facial expression, and whether the learner (LNR) takes notes.

실시 예에 따라, 복수의 학습 평가 지표들 간의 상관 관계는 복수의 학습 평가 지표들의 판단 우선순위, 및 연산 된 적어도 일부의 학습 평가 지표들의 값에 따라 최종적인 학습 여부와 학습 집중도를 결정하기 위해 필요한 학습 평가 지표들의 조합에 관한 상관 관계를 포함할 수 있다.According to an embodiment, the correlation between the plurality of learning evaluation indicators may include a correlation regarding the judgment priority of the plurality of learning evaluation indicators, and a combination of learning evaluation indicators necessary to determine whether or not final learning has occurred and the learning concentration level based on the values of at least some of the calculated learning evaluation indicators.

학습 집중도 평가 장치(100)는 S20 단계에서 연산 된 적어도 일부의 학습 평가 지표들에 기초하여, 학습자(LNR)의 학습 여부 및 학습 집중도를 판단하기 위해 사용할 평가 지표들의 범위를 설정할 수 있다(S30).The learning concentration evaluation device (100) can set a range of evaluation indices to be used to determine whether a learner (LNR) is learning and the learning concentration based on at least some of the learning evaluation indices calculated in step S20 (S30).

실시 예에 따라, 학습자(LNR)의 좌석 이탈여부에 관한 학습 평가 지표에 따라 학습자(LNR)가 좌석으로부터 미 이탈 상태이고, 학습자(LNR)의 자세에 관한 학습 평가 지표에 따라 학습자(LNR)가 엎드린 상태가 아닌 경우, 학습 집중도 평가 장치(100)는 학습자(LNR)의 헤드 포즈에 관한 학습 평가 지표를 설정된 범위에 포함시킬 수 있다. 이 때, 학습자(LNR)의 헤드 포즈에 관한 학습 평가 지표가 학습 가능 범위(예컨대, RG-LN)를 벗어난 경우, 학습 집중도 평가 장치(100)는 학습자(LNR)의 학습 여부를 비 학습 상태로 판단할 수 있다.According to an embodiment, if the learner (LNR) is not disengaged from the seat according to the learning evaluation index regarding whether the learner (LNR) has disengaged from the seat, and if the learner (LNR) is not in a prone state according to the learning evaluation index regarding the posture of the learner (LNR), the learning concentration evaluation device (100) may include the learning evaluation index regarding the head pose of the learner (LNR) in the set range. In this case, if the learning evaluation index regarding the head pose of the learner (LNR) is out of the learnable range (e.g., RG-LN), the learning concentration evaluation device (100) may determine whether the learner (LNR) has learned or not as a non-learning state.

실시 예에 따라, 학습자(LNR)의 좌석 이탈여부에 관한 학습 평가 지표에 따라 학습자(LNR)가 좌석으로부터 미 이탈 상태이고, 학습자(LNR)의 자세에 관한 학습 평가 지표에 따라 학습자(LNR)가 엎드린 상태가 아니고, 학습자(LNR)의 헤드 포즈에 관한 평가 지표가 학습 가능 범위(예컨대, RG-LN) 내에 존재하는 경우, 학습 집중도 평가 장치(100)는 학습자(LNR)의 눈꺼풀 감김 정도에 관한 학습 평가 지표를 설정된 범위에 포함시킬 수 있다. 이 때, 학습자(LNR)의 눈꺼풀 감김 정도에 관한 학습 평가 지표가 눈꺼풀이 감긴 상태를 나타내는 경우, 학습 집중도 평가 장치(100)는 학습자(LNR)의 학습 여부를 비 학습 상태로 판단할 수 있다.According to an embodiment, if the learner (LNR) has not left the seat according to the learning evaluation index regarding whether the learner (LNR) has left the seat, if the learner (LNR) is not in a prone state according to the learning evaluation index regarding the learner's (LNR) posture, and if the evaluation index regarding the learner's (LNR) head pose is within a learnable range (e.g., RG-LN), the learning concentration evaluation device (100) can include the learning evaluation index regarding the degree of eyelid closure of the learner (LNR) in the set range. In this case, if the learning evaluation index regarding the degree of eyelid closure of the learner (LNR) indicates that the eyelids are closed, the learning concentration evaluation device (100) can determine whether the learner (LNR) is learning or not as a non-learning state.

실시 예에 따라, 학습자(LNR)의 좌석 이탈여부에 관한 학습 평가 지표에 따라 학습자(LNR)가 좌석으로부터 미 이탈 상태이고, 학습자(LNR)의 자세에 관한 학습 평가 지표에 따라 학습자(LNR)가 엎드린 상태가 아니고, 학습자(LNR)의 헤드 포즈에 관한 평가 지표가 학습 가능 범위(예컨대, RG-LN) 내에 존재하고, 학습자(LNR)의 눈꺼풀 감김 정도에 관한 학습 평가 지표가 눈꺼풀이 감겨있지 않은 상태를 나타내는 경우, 학습 집중도 평가 장치(100)는 학습자(LNR)의 필기여부에 관한 학습 평가 지표를 설정된 범위에 포함시킬 수 있다. 이 때, 학습자(LNR)의 필기여부에 관한 학습 평가 지표가 필기 상태를 나타내는 경우, 학습 집중도 평가 장치(100)는 학습자(LNR)의 학습 여부에 대해서는 학습 상태로 판단하고 학습 집중도에 대해서는 고 집중 상태로 판단할 수 있다.According to an embodiment, if the learner (LNR) is not disengaged from the seat according to the learning evaluation index regarding whether the learner (LNR) has disengaged from the seat, if the learner (LNR) is not in a prone state according to the learning evaluation index regarding the learner's (LNR) posture, if the evaluation index regarding the learner's (LNR) head pose is within a learnable range (e.g., RG-LN), and if the learning evaluation index regarding the degree of eyelid closure of the learner (LNR) indicates that the eyelids are not closed, the learning concentration evaluation device (100) can include the learning evaluation index regarding whether the learner (LNR) has written notes within the set range. In this case, if the learning evaluation index regarding whether the learner (LNR) has written notes indicates a writing state, the learning concentration evaluation device (100) can determine whether the learner (LNR) has learned as a learning state and determine the learning concentration as a high concentration state.

실시 예에 따라, 학습자(LNR)의 좌석 이탈여부에 관한 학습 평가 지표에 따라 학습자(LNR)가 좌석으로부터 미 이탈 상태이고, 학습자(LNR)의 자세에 관한 학습 평가 지표에 따라 학습자(LNR)가 엎드린 상태가 아니고, 학습자(LNR)의 헤드 포즈에 관한 평가 지표가 학습 가능 범위(예컨대, RG-LN) 내에 존재하고, 학습자(LNR)의 눈꺼풀 감김 정도에 관한 학습 평가 지표가 눈꺼풀이 감겨있지 않은 상태를 나타내고, 학습자(LNR)의 필기여부에 관한 학습 평가 지표가 필기 상태가 아닌 상황을 나타내는 경우, 학습 집중도 평가 장치(100)는 학습자(LNR)의 눈 깜박임 빈도에 관한 학습 평가 지표 및 학습자(LNR)의 표정에 관한 학습 평가 지표를 설정된 범위에 포함시킬 수 있다. 이 때, 학습 집중도 평가 장치(100)는 학습자(LNR)의 표정에 관한 학습 평가 지표에 따라 학습자(LNR)가 기준 정도를 초과하는 수준으로 웃고 있는지 여부에 따라 학습자(LNR)의 학습 여부를 판단하고, 학습자(LNR)의 눈 깜박임 빈도에 따라 학습자(LNR)의 학습 집중도를 판단할 수 있다.In an embodiment, if the learner (LNR) is not in a prone state according to the learning evaluation index regarding whether the learner (LNR) has left the seat, if the learner (LNR) is not in a prone state according to the learning evaluation index regarding the learner's (LNR) posture, if the learner (LNR) is not in a prone state according to the learning evaluation index regarding the learner's (LNR) posture, if the evaluation index regarding the head pose of the learner (LNR) is within a learnable range (e.g., RG-LN), if the learning evaluation index regarding the degree of eyelid closure of the learner (LNR) indicates that the eyelids are not closed, and if the learning evaluation index regarding whether the learner (LNR) is writing indicates that the learner is not in a writing state, the learning concentration evaluation device (100) may include the learning evaluation index regarding the learner's (LNR) blinking frequency and the learning evaluation index regarding the learner's (LNR) facial expression in the set range. At this time, the learning concentration evaluation device (100) can determine whether the learner (LNR) is learning based on whether the learner (LNR) is smiling at a level exceeding a standard level according to a learning evaluation index regarding the learner's (LNR) facial expression, and can determine the learner's (LNR) learning concentration based on the learner's (LNR) eye blinking frequency.

예컨대, 학습 집중도 평가 장치(100)는 학습자(LNR)의 표정에 관한 학습 평가 지표에 따라 학습자(LNR)가 기준 정도를 초과하는 수준으로 웃고 있는 경우에는 학습자(LNR)의 학습 여부를 비 학습 상태로 판단하고, 학습자(LNR)의 표정에 관한 학습 평가 지표에 따라 학습자(LNR)가 기준 정도를 초과하는 수준으로 웃고 있지 않은 경우에는 학습자(LNR)의 학습 여부를 학습 상태로 판단할 수 있다.For example, the learning concentration evaluation device (100) can determine whether the learner (LNR) is learning as a non-learning state if the learner (LNR) is smiling at a level exceeding a standard level according to a learning evaluation index regarding the learner's (LNR) facial expression, and can determine whether the learner (LNR) is learning as a learning state if the learner (LNR) is not smiling at a level exceeding a standard level according to a learning evaluation index regarding the learner's (LNR) facial expression.

예컨대, 학습 집중도 평가 장치(100)는 학습자(LNR)의 눈 깜박임 빈도가 기준값 초과인 경우 학습자(LNR)의 학습 집중도를 보통 상태로 판단하고, 학습자(LNR)의 눈 깜박임 빈도가 기준값 이하인 경우 학습자(LNR)의 학습 집중도를 높은 상태로 판단할 수 있다.For example, the learning concentration evaluation device (100) can determine the learning concentration of the learner (LNR) as normal if the eye blink frequency of the learner (LNR) exceeds the reference value, and can determine the learning concentration of the learner (LNR) as high if the eye blink frequency of the learner (LNR) is below the reference value.

학습 집중도 평가 장치(100)는 S30 단계에서 설정된 범위의 학습 평가 지표들에 기초하여, 학습자(LNR)의 학습 여부와 학습 집중도를 판단할 수 있다(S40).The learning concentration evaluation device (100) can determine whether a learner (LNR) is learning and the learning concentration based on the learning evaluation indicators set in the range at step S30 (S40).

실시 예에 따라, 학습 집중도 평가 장치(100)는 학습자(LNR)가 비 학습 상태인 것으로 판단된 경우, 복수의 학습 평가 지표들 중에서 적어도 어느 하나를 이용하여 비 학습 상태의 유형을 판단할 수 있다.According to an embodiment, when the learning concentration evaluation device (100) determines that the learner (LNR) is in a non-learning state, it can determine the type of the non-learning state by using at least one of a plurality of learning evaluation indicators.

예컨대, 학습자(LNR)가 비 학습 상태인 것으로 판단된 상황에서, 학습 집중도 평가 장치(100)는 학습자(LNR)의 자세에 관한 학습 평가 지표에 따라 학습자(LNR)가 엎드린 상태로 판단되는 경우, 엎드린 상태가 유지되는 시간에 따라 비 학습 상태의 유형을 '자는 상태' 또는 '쉬는 상태'로 구분할 수 있다.For example, in a situation where a learner (LNR) is determined to be in a non-learning state, the learning concentration evaluation device (100) can determine the type of non-learning state as a 'sleeping state' or a 'resting state' depending on the length of time the learner (LNR) is determined to be in a prone state based on a learning evaluation index regarding the learner's (LNR) posture.

예컨대, 학습자(LNR)가 비 학습 상태인 것으로 판단된 상황에서, 학습 집중도 평가 장치(100)는 학습자(LNR)의 헤드 포즈에 관한 학습 평가 지표에 따라 학습 가능 범위(RG-LN)을 벗어난 경우, 비 학습 상태의 유형을 '다른 곳에 관심을 두고 있는 상태'로 구분할 수 있다.For example, in a situation where a learner (LNR) is determined to be in a non-learning state, the learning concentration evaluation device (100) can classify the type of non-learning state as a 'state of focusing attention elsewhere' if the learner's (LNR) head pose is outside the learnable range (RG-LN) based on the learning evaluation index.

예컨대, 학습자(LNR)가 비 학습 상태인 것으로 판단된 상황에서, 학습 집중도 평가 장치(100)는 학습자(LNR)의 눈꺼풀 감김 정도에 관한 학습 평가 지표에 따라 눈꺼풀이 감긴 상태로 판단되는 경우, 비 학습 상태의 유형을 '졸음 상태'로 구분할 수 있다.For example, in a situation where a learner (LNR) is determined to be in a non-learning state, the learning concentration evaluation device (100) can classify the type of non-learning state as a 'drowsy state' if the eyelids of the learner (LNR) are determined to be closed based on a learning evaluation index regarding the degree of eyelid closure.

예컨대, 학습자(LNR)가 비 학습 상태인 것으로 판단된 상황에서, 학습 집중도 평가 장치(100)는 학습자(LNR)의 표정에 관한 학습 평가 지표에 따라 학습자(LNR)가 기준 정도를 초과하는 수준으로 웃고 있는 상태인 경우, 비 학습 상태의 유형을 '다른 매체에 집중하고 있는 상태'로 구분할 수 있다.For example, in a situation where a learner (LNR) is determined to be in a non-learning state, the learning concentration evaluation device (100) can distinguish the type of non-learning state as a 'state of focusing on another medium' if the learner (LNR) is smiling at a level exceeding a standard level according to a learning evaluation index regarding the learner's (LNR) facial expression.

실시 예에 따라, 학습 집중도 평가 장치(100)는 특정 학습자(LNR)의 학습 평가 지표들의 시간에 따른 변화 패턴에 기초하여, 학습자(LNR)의 학습 패턴에 관한 정보를 생성할 수 있다. 이 때, 학습 집중도 평가 장치(100)는 생성된 학습자(LNR)의 학습 패턴에 관한 정보에 기초하여, 효율적인 학습 스케쥴에 관한 정보를 생성하여 제1사용자 단말(200-1) 또는 제2사용자 단말(200-2)에 제공할 수 있다. 실시 예에 따라, 효율적인 학습 스케쥴은 학습자(LNR)가 고 집중 상태로 학습했던 시간대와 고 집중의 학습을 유지한 시간에 기초하여 생성될 수 있다.According to an embodiment, the learning concentration evaluation device (100) may generate information about a learning pattern of a learner (LNR) based on a time-dependent change pattern of learning evaluation indicators of a specific learner (LNR). At this time, the learning concentration evaluation device (100) may generate information about an efficient learning schedule based on the generated information about the learning pattern of the learner (LNR) and provide the information to a first user terminal (200-1) or a second user terminal (200-2). According to an embodiment, the efficient learning schedule may be generated based on a time period during which the learner (LNR) studied in a highly concentrated state and a time period during which the learner maintained highly concentrated learning.

이상, 본 발명을 바람직한 실시 예를 들어 상세하게 설명하였으나, 본 발명은 상기 실시 예에 한정되지 않고, 본 발명의 기술적 사상 및 범위 내에서 당 분야에서 통상의 지식을 가진 자에 의하여 여러가지 변형 및 변경이 가능하다.Above, the present invention has been described in detail with reference to preferred embodiments, but the present invention is not limited to the above embodiments, and various modifications and changes can be made by those skilled in the art within the technical spirit and scope of the present invention.

50 : 학습 집중도 센싱 유닛
100 : 학습 집중도 평가 장치
200-1, 200-2 : 사용자 단말50: Learning concentration sensing unit
100: Learning Concentration Evaluation Device
200-1, 200-2: User terminal

Claims (15)

Translated fromKorean

학습 집중도 평가 장치가, 학습자에 대한 이미지를 수신하는 단계;
상기 학습 집중도 평가 장치가, 수신한 상기 이미지에 대하여, 복수의 학습 평가 지표들 중에서 적어도 일부의 학습 평가 지표들을 상기 복수의 학습 평가 지표들 간의 상관 관계에 따라 순차적으로 연산하는 단계;
상기 학습 집중도 평가 장치가, 순차적으로 연산된 상기 적어도 일부의 학습 평가 지표들에 기초하여, 상기 학습자의 학습 여부 및 학습 집중도를 판단하기 위해 사용할 학습 평가 지표들의 범위를 설정하는 단계; 및
상기 학습 집중도 평가 장치가, 설정된 범위의 상기 학습 평가 지표들에 기초하여, 상기 학습자의 상기 학습 여부와 상기 학습 집중도를 판단하는 단계를 포함하는, 학습 집중도 평가 방법.
A step for the learning concentration evaluation device to receive an image of the learner;
A step in which the learning concentration evaluation device sequentially calculates at least some of the learning evaluation indices among the plurality of learning evaluation indices for the received image according to the correlation between the plurality of learning evaluation indices;
The step of the learning concentration evaluation device setting the range of learning evaluation indicators to be used to determine whether the learner has learned and the learning concentration based on at least some of the sequentially calculated learning evaluation indicators; and
A learning concentration evaluation method, comprising a step of determining whether the learner has learned and the learning concentration based on the learning evaluation indicators of a set range, by the learning concentration evaluation device.
제1항에 있어서,
상기 복수의 학습 평가 지표들은,
상기 학습자의 좌석 이탈여부, 상기 학습자의 자세, 상기 학습자의 헤드 포즈(head pose), 상기 학습자의 눈꺼풀 감김 정도, 상기 학습자의 눈 깜박임 빈도, 상기 학습자의 표정, 및 상기 학습자의 필기여부 중 적어도 2 이상을 포함하는, 학습 집중도 평가 방법.
In the first paragraph,
The above multiple learning evaluation indicators are:
A learning concentration evaluation method including at least two of the following: whether the learner leaves the seat, the learner's posture, the learner's head pose, the degree to which the learner's eyelids are closed, the learner's eye blinking frequency, the learner's facial expression, and whether the learner takes notes.
제2항에 있어서,
상기 복수의 학습 평가 지표들 간의 상관 관계는,
상기 복수의 학습 평가 지표들의 판단 우선순위, 및 연산된 상기 적어도 일부의 학습 평가 지표들의 값에 따라 최종적인 학습 여부와 학습 집중도를 결정하기 위해 필요한 학습 평가 지표들의 조합에 관한 상관 관계를 포함하는, 학습 집중도 평가 방법.
In the second paragraph,
The correlation between the above multiple learning evaluation indicators is
A learning concentration evaluation method including a correlation between a combination of learning evaluation indices required to determine the final learning status and learning concentration based on the judgment priorities of the above plurality of learning evaluation indices and the values of at least some of the calculated learning evaluation indices.
제2항에 있어서,
상기 학습자의 자세에 관한 학습 평가 지표는,
상기 이미지 내의 상기 학습자의 머리, 몸통, 및 팔 각각의 3축 각도에 기초하여 판단되는, 학습 집중도 평가 방법.
In the second paragraph,
The learning evaluation indicators regarding the learner's posture above are:
A learning concentration evaluation method judged based on the three-axis angles of each of the head, torso, and arm of the learner within the image.
제4항에 있어서,
상기 학습자의 자세에 관한 학습 평가 지표는,
상기 학습자가 엎드린 상태인지 여부 및 상기 학습자의 학습 자세가 기준 자세와 대비하여 바른 상태인지 여부에 관한 정보를 포함하는, 학습 집중도 평가 방법.
In paragraph 4,
The learning evaluation indicators regarding the learner's posture above are:
A method for assessing learning concentration, comprising information on whether the learner is in a prone position and whether the learner's learning posture is correct compared to a reference posture.
제5항에 있어서,
상기 학습 집중도 평가 장치는,
상기 학습자의 좌석 이탈여부에 관한 학습 평가 지표에 따라 상기 학습자가 좌석으로부터 미 이탈 상태이고, 상기 학습자의 자세에 관한 학습 평가 지표에 따라 상기 학습자가 엎드린 상태가 아닌 경우, 상기 학습자의 헤드 포즈에 관한 학습 평가 지표를 상기 설정된 범위에 포함시키는, 학습 집중도 평가 방법.
In paragraph 5,
The above learning concentration evaluation device is,
A learning concentration evaluation method in which, if the learner has not left the seat according to a learning evaluation index regarding whether the learner has left the seat, and if the learner is not in a prone state according to a learning evaluation index regarding the learner's posture, the learning evaluation index regarding the learner's head pose is included within the set range.
제6항에 있어서,
상기 학습 집중도 평가 장치는,
상기 학습자의 헤드 포즈에 관한 학습 평가 지표가 학습 가능 범위를 벗어난 경우 상기 학습자의 상기 학습 여부에 대해서는 비 학습 상태로 판단하고,
상기 학습자의 헤드 포즈에 관한 학습 평가 지표가 학습 가능 범위 내에 존재하는 경우 상기 학습자의 눈꺼풀 감김 정도에 관한 학습 평가 지표를 상기 설정된 범위에 포함시키는, 학습 집중도 평가 방법.
In Article 6,
The above learning concentration evaluation device is,
If the learning evaluation indicator for the head pose of the above learner is outside the learnable range, the learner's learning status is judged as non-learning.
A learning concentration evaluation method, wherein a learning evaluation index regarding the degree of eyelid closure of the learner is included in the set range when the learning evaluation index regarding the head pose of the learner is within the learnable range.
제7항에 있어서,
상기 학습자에 대한 이미지는,
상기 학습자의 정면에서 수평 방향의 일 측으로 치우친 위치의 카메라를 통하여 획득된 이미지이며,
상기 학습 집중도 평가 장치는, 상기 학습자에 대한 이미지에서 상기 카메라와 인접한 눈에 상대적으로 높은 가중치를 반영하여, 상기 학습자의 눈꺼풀 감김 정도에 관한 학습 평가 지표를 연산하는, 학습 집중도 평가 방법.
In Article 7,
The image for the above learner is,
This is an image acquired through a camera positioned horizontally to one side from the front of the learner.
A learning concentration evaluation method, wherein the learning concentration evaluation device calculates a learning evaluation index regarding the degree of eyelid closure of the learner by reflecting a relatively high weight on the eye adjacent to the camera in the image of the learner.
제7항에 있어서,
상기 학습자에 대한 이미지에서 상기 학습자의 눈동자의 일부만 식별되는 경우, 상기 학습 집중도 평가 장치는 상기 학습자의 기준 눈꺼풀 크기 대비 상기 이미지 내의 눈꺼풀 크기의 상대적인 비율에 따라 상기 눈동자의 전체 형태를 추정하여 상기 학습자의 눈꺼풀 감김 정도에 관한 학습 평가 지표를 연산하는, 학습 집중도 평가 방법.
In Article 7,
A learning concentration evaluation method, wherein, when only a part of the pupil of the learner is identified in the image of the learner, the learning concentration evaluation device estimates the entire shape of the pupil based on the relative ratio of the eyelid size in the image to the reference eyelid size of the learner, and calculates a learning evaluation index regarding the degree of eyelid closure of the learner.
제7항에 있어서,
상기 학습 집중도 평가 장치는,
상기 학습자의 눈꺼풀 감김 정도에 관한 학습 평가 지표가 눈꺼풀이 감긴 상태를 나타내는 경우 상기 학습자의 상기 학습 여부에 대해서는 비 학습 상태로 판단하고,
상기 학습자의 눈꺼풀 감김 정도에 관한 학습 평가 지표가 눈꺼풀이 감겨있지 않은 상태를 나타내는 경우 상기 학습자의 필기여부에 관한 학습 평가 지표를 상기 설정된 범위에 포함시키는, 학습 집중도 평가 방법.
In Article 7,
The above learning concentration evaluation device is,
If the learning evaluation indicator regarding the degree of eyelid closure of the above learner indicates that the eyelids are closed, the learner's learning status is judged as a non-learning state.
A learning concentration evaluation method in which the learning evaluation indicator regarding the degree of eyelid closure of the learner indicates that the eyelids are not closed, and the learning evaluation indicator regarding whether the learner writes is included in the set range.
제10항에 있어서,
상기 학습 집중도 평가 장치는,
상기 학습자의 필기 여부에 관한 학습 평가 지표가 필기 상태를 나타내는 경우 상기 학습자의 상기 학습 여부에 대해서는 학습 상태로 판단하고 상기 학습 집중도에 대해서는 고 집중 상태로 판단하며,
상기 학습자의 필기 여부에 관한 학습 평가 지표가 필기 상태가 아닌 상황을 나타내는 경우 상기 학습자의 눈 깜박임 빈도에 관한 학습 평가 지표 및 상기 학습자의 표정에 관한 학습 평가 지표를 상기 설정된 범위에 포함시키는, 학습 집중도 평가 방법.
In Article 10,
The above learning concentration evaluation device is,
If the learning evaluation indicator regarding whether the learner took notes indicates a note-taking state, the learner's learning status is judged as a learning state, and the learning concentration is judged as a high concentration state.
A learning concentration evaluation method, wherein the learning evaluation indicator regarding the learner's handwriting indicates a situation other than a handwriting state, and the learning evaluation indicator regarding the learner's eye blink frequency and the learning evaluation indicator regarding the learner's facial expression are included in the set range.
제11항에 있어서,
상기 학습자의 표정에 관한 학습 평가 지표는,
상기 이미지 내의 상기 학습자의 얼굴에서 눈, 코, 및 입에 상응하는 영역의 형태와 분포에 기초하여 상기 학습자가 기준 정도를 초과하는 수준으로 웃고 있는지 여부에 따라 연산되는, 학습 집중도 평가 방법.
In Article 11,
The learning evaluation indicators regarding the above learner's facial expressions are:
A learning concentration evaluation method, wherein the method calculates whether the learner is smiling at a level exceeding a reference level based on the shape and distribution of areas corresponding to the eyes, nose, and mouth on the learner's face in the image.
제1항에 있어서,
상기 학습 집중도 평가 방법은,
상기 학습 집중도 평가 장치가, 상기 학습자가 비 학습 상태인 것으로 판단된 경우, 상기 복수의 학습 평가 지표들 중에서 적어도 어느 하나를 이용하여 비 학습 상태의 유형을 판단하는 단계를 더 포함하는, 학습 집중도 평가 방법.
In the first paragraph,
The above learning concentration evaluation method is,
A learning concentration evaluation method, further comprising a step of determining the type of non-learning state using at least one of the plurality of learning evaluation indices when the learning concentration evaluation device determines that the learner is in a non-learning state.
학습자에 대한 이미지를 수신하고, 수신한 상기 이미지에 대하여, 복수의 학습 평가 지표들 중에서 적어도 일부의 학습 평가 지표들을 상기 복수의 학습 평가 지표들 간의 상관 관계에 따라 순차적으로 연산하는 학습 평가 지표 연산 모듈;
순차적으로 연산된 상기 적어도 일부의 학습 평가 지표들에 기초하여, 상기 학습자의 학습 여부 및 학습 집중도를 판단하기 위해 사용할 학습 평가 지표들의 범위를 설정하는 학습 평가 지표 설정 모듈; 및
설정된 범위의 상기 학습 평가 지표들에 기초하여, 상기 학습자의 상기 학습 여부와 상기 학습 집중도를 판단하는 학습 평가 모듈을 포함하는, 학습 집중도 평가 장치.
A learning assessment index calculation module that receives an image of a learner and sequentially calculates at least some learning assessment indexes among a plurality of learning assessment indexes for the received image according to correlations among the plurality of learning assessment indexes;
A learning evaluation index setting module that sets a range of learning evaluation indexes to be used to determine whether the learner has learned and the learning concentration level based on at least some of the sequentially calculated learning evaluation indexes; and
A learning concentration evaluation device including a learning evaluation module that determines whether the learner has learned and the learning concentration based on the learning evaluation indicators of the set range.
프로세서(processor)와 결합되어 학습 집중도 평가 방법을 수행하기 위한 매체에 저장된 프로그램으로서,
학습자에 대한 이미지를 수신하는 단계;
수신한 상기 이미지에 대하여, 복수의 학습 평가 지표들 중에서 적어도 일부의 학습 평가 지표들을 상기 복수의 학습 평가 지표들 간의 상관 관계에 따라 순차적으로 연산하는 단계;
순차적으로 연산된 상기 적어도 일부의 학습 평가 지표들에 기초하여, 상기 학습자의 학습 여부 및 학습 집중도를 판단하기 위해 사용할 학습 평가 지표들의 범위를 설정하는 단계; 및
설정된 범위의 상기 학습 평가 지표들에 기초하여, 상기 학습자의 상기 학습 여부와 상기 학습 집중도를 판단하는 단계를 수행하는 프로그램 코드를 포함하는, 매체에 저장된 프로그램.
A program stored in a medium for performing a learning concentration evaluation method in combination with a processor,
Step of receiving an image for a learner;
A step of sequentially calculating at least some of the learning evaluation indices among the plurality of learning evaluation indices for the received image according to the correlation between the plurality of learning evaluation indices;
A step of setting a range of learning evaluation indicators to be used to determine whether the learner has learned and the learning concentration level based on at least some of the learning evaluation indicators that are sequentially calculated; and
A program stored in a medium, comprising program code for performing a step of determining whether the learner has learned and the learning concentration level based on the learning evaluation indicators of the set range.

Images