KR102120828B1 - Apparatus for monitoring health based on virtual reality using Artificial Intelligence and method thereof - Google Patents

Abstract

Translated fromKorean

본 발명은 인공 지능을 이용한 가상현실 기반의 헬스 모니터링 장치 및 그 방법을 개시한다. 즉, 본 발명은 센서부를 통해 사용자의 동작을 인식하고, 인식된 사용자의 동작을 가상현실을 통해 제공하며, 인식된 사용자의 동작을 인공 지능을 통해 분석하여, 분석 결과에 따른 피드백을 제공함으로써, 자신이 원하는 시간, 장소에서 원활한 헬스 레슨을 가능하게 하고, 가상현실 공간 속에서 직접적인 피드백과 현장 수업이 가능하여 사용자의 만족도를 높이고, 운동에 대한 몰입감을 높일 수 있다.The present invention discloses a virtual reality based health monitoring device and method using artificial intelligence. That is, the present invention recognizes the user's motion through the sensor unit, provides the recognized user's motion through virtual reality, analyzes the recognized user's motion through artificial intelligence, and provides feedback according to the analysis result, It enables smooth health lessons at the desired time and place, and direct feedback and field lessons are possible in the virtual reality space to increase user satisfaction and increase immersion in exercise.

Description

Translated fromKorean

인공 지능을 이용한 가상현실 기반의 헬스 모니터링 장치 및 그 방법{Apparatus for monitoring health based on virtual reality using Artificial Intelligence and method thereof}Apparatus for monitoring health based on virtual reality using Artificial Intelligence and method thereof

본 발명은 인공 지능을 이용한 가상현실 기반의 헬스 모니터링 장치 및 그 방법에 관한 것으로서, 특히 센서부를 통해 사용자의 동작을 인식하고, 인식된 사용자의 동작을 가상현실을 통해 제공하며, 인식된 사용자의 동작을 인공 지능을 통해 분석하여, 분석 결과에 따른 피드백을 제공하는 인공 지능을 이용한 가상현실 기반의 헬스 모니터링 장치 및 그 방법에 관한 것이다.The present invention relates to a virtual reality-based health monitoring device and method using artificial intelligence, and in particular, recognizes a user's motion through a sensor unit, provides a recognized user's motion through virtual reality, and recognizes a user's motion The present invention relates to a virtual reality-based health monitoring device and method using artificial intelligence that analyzes through artificial intelligence and provides feedback according to the analysis result.

최근 현대인들은 바쁜 일상생활 속에서 시간과 여건이 없어 헬스장, 활동 장소 등에 가기가 제한적이므로, 건강 관리에 상당히 제한적인 상태이다.In recent years, modern people have limited time to go to the gym, activity place, etc., because there is no time or conditions in busy daily life, so it is in a very limited state for health management.

또한, 헬스장 등을 이용하여 사용자가 수행하는 웨이트 트레이닝(weight training)은 근육 발달을 통해 강한 체력을 기르기 위한 저항 운동(resistance exercise)을 의미하며, 운동 방법은 프리웨이트 트레이닝(free weight training)과 머신 웨이트 트레이닝(machine weight training)으로 분류된다.In addition, weight training performed by a user using a gym or the like means resistance exercise to develop strong physical strength through muscle development, and exercise methods include free weight training and a machine. It is classified as machine weight training.

또한, 트레이닝 중 사용자가 좋아하는 음악 등을 들으면서 트레이닝을 수행하고 있으나, 해당 음악은 단순히 사용자의 취향에 따른 것으로, 트레이닝 특성을 반영하지 못하고 있는 상태이다.In addition, while training while listening to music or the like that the user likes during training, the music is simply according to the taste of the user and does not reflect the training characteristics.

한국공개특허 제10-2020-0023121호 [제목: 헬스 모니터링용 센서 인터페이스 회로 및 이를 이용한 웨어러블 헬스 모니터링 시스템]Korean Patent Publication No. 10-2020-0023121 [Title: Sensor interface circuit for health monitoring and wearable health monitoring system using the same]

본 발명의 목적은 센서부를 통해 사용자의 동작을 인식하고, 인식된 사용자의 동작을 가상현실을 통해 제공하며, 인식된 사용자의 동작을 인공 지능을 통해 분석하여, 분석 결과에 따른 피드백을 제공하는 인공 지능을 이용한 가상현실 기반의 헬스 모니터링 장치 및 그 방법을 제공하는 데 있다.The object of the present invention is to recognize the user's motion through the sensor unit, provide the recognized user's motion through virtual reality, and analyze the recognized user's motion through artificial intelligence to provide feedback according to the analysis results It is to provide a virtual reality based health monitoring device and method using intelligence.

본 발명의 다른 목적은 사용자가 수행 중인 동작과 관련해서 미리 설정된 음악 또는 사운드를 제공하는 인공 지능을 이용한 가상현실 기반의 헬스 모니터링 장치 및 그 방법을 제공하는 데 있다.Another object of the present invention is to provide a virtual reality-based health monitoring device and method using artificial intelligence that provides a preset music or sound in relation to an operation being performed by a user.

본 발명의 실시예에 따른 인공 지능을 이용한 가상현실 기반의 헬스 모니터링 장치는 서버로부터 실시간으로 전송되는 강사의 동작을 포함하는 영상 정보를 표시하는 표시부; 상기 표시부에 표시되는 강사의 동작을 따라하는 사용자의 동작을 스캔하는 센서부; 및 상기 스캔된 사용자의 동작과 상기 강사의 동작을 미리 설정된 가상공간에 적용하여 가상현실 형태의 콘텐츠를 생성하고, 상기 생성된 콘텐츠를 상기 표시부에 표시하도록 제어하고, 상기 표시부에 상기 콘텐츠가 표시 중인 상태에서, 상기 강사의 동작에 대응하여 미리 설정된 음악을 음성 출력부를 통해 표시하도록 제어하는 제어부를 포함할 수 있다.A virtual reality-based health monitoring apparatus using artificial intelligence according to an embodiment of the present invention includes a display unit displaying image information including an instructor's motion transmitted in real time from a server; A sensor unit that scans a user's movement following the instructor's movement displayed on the display unit; And generating the virtual reality content by applying the scanned user's motion and the instructor's motion to a preset virtual space, controlling the displayed content to be displayed on the display, and displaying the content on the display. In a state, a control unit may be configured to control to display preset music in response to the instructor's operation through a voice output unit.

본 발명과 관련된 일 예로서 상기 사용자의 동작은, 사용자 자신의 신체를 이용하거나 머신을 이용하는 동작을 포함할 수 있다.As an example related to the present invention, the user's motion may include using the user's own body or using a machine.

본 발명과 관련된 일 예로서 상기 사용자의 동작을 포함하는 제 1 영상 정보를 획득하는 카메라부를 더 포함하며, 상기 제어부는, 상기 획득된 제 1 영상 정보를 분석하여 상기 사용자의 동작을 스캔할 수 있다.As an example related to the present invention, a camera unit for acquiring first image information including the user's motion is further included, and the controller can scan the user's motion by analyzing the obtained first image information. .

본 발명과 관련된 일 예로서 상기 강사의 동작에 대응하여 미리 설정된 음악은, 운동에 사용되는 특정 신체 부위의 주파수 특성을 고려하여, 상기 강사의 동작에 따른 특정 신체 부위의 움직임 주파수에 대응한 동일한 주파수 성분을 가지는 음악일 수 있다.As an example related to the present invention, the preset music corresponding to the motion of the instructor is the same frequency corresponding to the movement frequency of a specific body part according to the motion of the instructor, taking into account the frequency characteristics of a specific body part used for exercise. It can be music with ingredients.

본 발명과 관련된 일 예로서 상기 제어부는, 상기 표시부에 표시되는 미리 설정된 분석 메뉴가 선택될 때, 빅데이터 형태의 복수의 표준 피트니스 동작 중에서 상기 스캔된 사용자의 동작에 대응하는 표준 피트니스 동작을 검색하고, 상기 검색된 상기 사용자의 동작에 대응하는 표준 피트니스 동작과 상기 스캔된 사용자의 동작을 비교 분석하여, 상기 사용자의 동작에 따른 머리, 어깨, 팔 및 다리를 포함하는 관절의 정확도와, 손과 발의 동작의 정확도를 산출하고, 상기 비교 분석에 따른 분석 결과를 생성하고, 상기 사용자의 동작을 포함하는 영상 정보에 상기 강사의 동작을 포함하는 영상 정보를 오버레이하여 상기 표시부에 표시할 수 있다.As an example related to the present invention, when the preset analysis menu displayed on the display unit is selected, the control unit searches for a standard fitness operation corresponding to the scanned user's operation among a plurality of standard fitness operations in the form of big data. , By comparing and analyzing the standard fitness motion corresponding to the detected user's motion and the scanned user's motion, the accuracy of the joint including the head, shoulders, arms, and legs according to the user's motion, and the motion of the hands and feet To calculate the accuracy, to generate an analysis result according to the comparative analysis, the image information including the motion of the instructor overlays on the image information including the motion of the user can be displayed on the display.

본 발명과 관련된 일 예로서 상기 제어부를 포함하는 헬스 모니터링 장치에 인접한 홀로그램 생성기와 통신 연결하는 통신부를 더 포함하며, 상기 제어부는, 상기 통신부를 통해 부가 정보를 상기 홀로그램 생성기에 전송하고, 상기 홀로그램 생성기는, 상기 통신부로부터 전송되는 부가 정보를 홀로그램 형태로 출력하며, 상기 센서부를 통해 감지되는 사용자의 시선을 근거로 상기 부가 정보에 포함된 객체를 회전시켜 출력할 수 있다.As an example related to the present invention, further comprising a communication unit in communication with a hologram generator adjacent to the health monitoring device including the control unit, the control unit transmits additional information to the hologram generator through the communication unit, and the hologram generator May output additional information transmitted from the communication unit in the form of a hologram, and rotate and output an object included in the additional information based on a user's gaze detected through the sensor unit.

본 발명의 실시예에 따른 인공 지능을 이용한 가상현실 기반의 헬스 모니터링 방법은 표시부에 의해, 서버로부터 실시간으로 전송되는 강사의 동작을 포함하는 영상 정보를 표시하는 단계; 센서부에 의해, 상기 표시부에 표시되는 강사의 동작을 따라하는 사용자의 동작을 스캔하는 단계; 제어부에 의해, 상기 스캔된 사용자의 동작과 상기 강사의 동작을 미리 설정된 가상공간에 적용하여 가상현실 형태의 콘텐츠를 생성하는 단계; 상기 제어부에 의해, 상기 생성된 콘텐츠를 상기 표시부에 표시하도록 제어하는 단계; 및 상기 제어부에 의해, 상기 표시부에 상기 콘텐츠가 표시 중인 상태에서, 상기 강사의 동작에 대응하여 미리 설정된 음악을 음성 출력부를 통해 표시하도록 제어하는 단계를 포함할 수 있다.A virtual reality-based health monitoring method using artificial intelligence according to an embodiment of the present invention comprises: displaying video information including an operation of an instructor transmitted in real time from a server by a display unit; Scanning, by the sensor unit, a user's motion following the instructor's motion displayed on the display unit; Generating, by the control unit, the content of the virtual reality type by applying the motion of the scanned user and the motion of the instructor to a preset virtual space; Controlling, by the control unit, the generated content to be displayed on the display unit; And controlling, by the controller, to display the preset music in response to the instructor's operation through the voice output unit while the content is being displayed on the display unit.

본 발명과 관련된 일 예로서 카메라부에 의해, 상기 사용자의 동작을 포함하는 제 1 영상 정보를 획득하는 단계; 및 상기 제어부에 의해, 상기 획득된 제 1 영상 정보를 분석하여 상기 사용자의 동작을 스캔하는 단계를 더 포함할 수 있다.As an example related to the present invention, obtaining a first image information including the user's motion by the camera unit; And analyzing, by the control unit, the acquired first image information to scan the user's motion.

본 발명과 관련된 일 예로서 상기 표시부에 표시되는 미리 설정된 분석 메뉴가 선택될 때, 상기 제어부에 의해, 빅데이터 형태의 복수의 표준 피트니스 동작 중에서 상기 스캔된 사용자의 동작에 대응하는 표준 피트니스 동작을 검색하는 단계; 상기 제어부에 의해, 상기 검색된 상기 사용자의 동작에 대응하는 표준 피트니스 동작과 상기 스캔된 사용자의 동작을 비교 분석하여, 상기 사용자의 동작에 따른 머리, 어깨, 팔 및 다리를 포함하는 관절의 정확도와, 손과 발의 동작의 정확도를 산출하는 단계; 상기 제어부에 의해, 상기 비교 분석에 따른 분석 결과를 생성하는 단계; 및 상기 제어부에 의해, 상기 사용자의 동작을 포함하는 영상 정보에 상기 강사의 동작을 포함하는 영상 정보를 오버레이하여 상기 표시부에 표시하는 단계를 더 포함할 수 있다.As an example related to the present invention, when a preset analysis menu displayed on the display unit is selected, the controller searches for a standard fitness operation corresponding to the scanned user's operation among a plurality of standard fitness operations in the form of big data. To do; The control unit compares and analyzes the standard fitness motion corresponding to the detected user's motion and the scanned user's motion, and the accuracy of the joint including the head, shoulders, arms, and legs according to the user's motion, Calculating the accuracy of hand and foot motion; Generating, by the control unit, an analysis result according to the comparative analysis; And overlaying, by the control unit, image information including the motion of the instructor on the image information including the motion of the user and displaying the image information on the display unit.

본 발명과 관련된 일 예로서 통신부에 의해, 상기 제어부를 포함하는 헬스 모니터링 장치에 인접한 IoT 장치와 통신 연결하는 단계; 상기 제어부에 의해, 상기 IoT 장치와 연동하여, 부가 정보를 상기 IoT 장치를 통해 출력하는 단계; 및 상기 제어부에 의해, 상기 센서부를 통해 감지되는 사용자의 시선을 근거로 상기 부가 정보에 포함된 객체를 회전시키거나 임의의 위치로 이동시켜 상기 IoT 장치를 통해 출력하는 단계를 더 포함할 수 있다.As an example related to the present invention, by the communication unit, the communication connection with the IoT device adjacent to the health monitoring device including the control unit; Outputting additional information through the IoT device by interworking with the IoT device by the control unit; And rotating, by the control unit, an object included in the additional information or moving it to an arbitrary location based on the user's gaze detected through the sensor unit, and outputting it through the IoT device.

본 발명은 센서부를 통해 사용자의 동작을 인식하고, 인식된 사용자의 동작을 가상현실을 통해 제공하며, 인식된 사용자의 동작을 인공 지능을 통해 분석하여, 분석 결과에 따른 피드백을 제공함으로써, 자신이 원하는 시간, 장소에서 원활한 헬스 레슨을 가능하게 하고, 가상현실 공간 속에서 직접적인 피드백과 현장 수업이 가능하여 사용자의 만족도를 높이고, 운동에 대한 몰입감을 높일 수 있는 효과가 있다.The present invention recognizes the user's motion through the sensor unit, provides the recognized user's motion through virtual reality, analyzes the recognized user's motion through artificial intelligence, and provides feedback according to the analysis result, thereby allowing the user to It has the effect of enabling smooth health lessons at the desired time and place, providing direct feedback and on-the-spot lessons in a virtual reality space to increase user satisfaction and increase immersion in exercise.

또한, 본 발명은 사용자가 수행 중인 동작과 관련해서 미리 설정된 음악 또는 사운드를 제공함으로써, 사용자의 흥미를 높이고, 운동 효과를 극대화할 수 있는 효과가 있다.In addition, the present invention has the effect of increasing the interest of the user and maximizing the exercise effect by providing preset music or sound in relation to the operation being performed by the user.

도 1은 본 발명의 실시예에 따른 인공 지능을 이용한 가상현실 기반의 헬스 모니터링 장치의 구성을 나타낸 블록도이다.
도 2는 본 발명의 실시예에 따른 인공 지능을 이용한 가상현실 기반의 헬스 모니터링 방법을 나타낸 흐름도이다.
도 3은 본 발명의 실시예에 따른 가상현실 형태의 콘텐츠의 예를 나타낸 도이다.1 is a block diagram showing the configuration of a virtual reality-based health monitoring device using artificial intelligence according to an embodiment of the present invention.
2 is a flowchart illustrating a virtual reality based health monitoring method using artificial intelligence according to an embodiment of the present invention.
3 is a diagram illustrating an example of virtual reality content according to an embodiment of the present invention.

본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.It should be noted that the technical terms used in the present invention are only used to describe specific embodiments, and are not intended to limit the present invention. In addition, technical terms used in the present invention should be interpreted as meanings generally understood by a person having ordinary knowledge in the technical field to which the present invention belongs, unless otherwise defined in the present invention. It should not be interpreted as a meaning or an excessively reduced meaning. In addition, when the technical term used in the present invention is a wrong technical term that does not accurately represent the spirit of the present invention, it should be understood as being replaced by a technical term that can be correctly understood by those skilled in the art. In addition, the general terms used in the present invention should be interpreted as defined in the dictionary or in context before and after, and should not be interpreted as an excessively reduced meaning.

또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.In addition, the singular expression used in the present invention includes a plural expression unless the context clearly indicates otherwise. In the present invention, terms such as “consisting of” or “comprising” should not be construed to include all of the various components or steps described in the invention, and some of the components or some steps may not be included. It may be, or should be construed to further include additional components or steps.

또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.Further, terms including ordinal numbers such as first and second used in the present invention may be used to describe elements, but the elements should not be limited by terms. The terms are used only to distinguish one component from other components. For example, the first component may be referred to as a second component without departing from the scope of the present invention, and similarly, the second component may be referred to as a first component.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings, but the same or similar elements will be given the same reference numbers regardless of the reference numerals, and redundant descriptions thereof will be omitted.

또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.In addition, in the description of the present invention, when it is determined that detailed descriptions of related known technologies may obscure the subject matter of the present invention, detailed descriptions thereof will be omitted. In addition, it should be noted that the accompanying drawings are only for easy understanding of the spirit of the present invention and should not be interpreted as limiting the spirit of the present invention by the accompanying drawings.

도 1은 본 발명의 실시예에 따른 인공 지능을 이용한 가상현실 기반의 헬스 모니터링 장치(100)의 구성을 나타낸 블록도이다.1 is a block diagram showing the configuration of a virtual reality-basedhealth monitoring device 100 using artificial intelligence according to an embodiment of the present invention.

도 1에 도시한 바와 같이, 인공 지능을 이용한 가상현실 기반의 헬스 모니터링 장치(100)는 센서부(110), 카메라부(120), 통신부(130), 저장부(140), 표시부(150), 음성 출력부(160) 및 제어부(170)로 구성된다. 도 1에 도시된 헬스 모니터링 장치(100)의 구성 요소 모두가 필수 구성 요소인 것은 아니며, 도 1에 도시된 구성 요소보다 많은 구성 요소에 의해 헬스 모니터링 장치(100)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 헬스 모니터링 장치(100)가 구현될 수도 있다.As shown in FIG. 1, the virtual reality-basedhealth monitoring device 100 using artificial intelligence includes asensor unit 110, acamera unit 120, acommunication unit 130, astorage unit 140, and adisplay unit 150. , Theaudio output unit 160 and thecontrol unit 170. Not all components of thehealth monitoring device 100 shown in FIG. 1 are essential components, and thehealth monitoring device 100 may be implemented by more components than the components shown in FIG. 1, or less Thehealth monitoring device 100 may also be implemented by components.

상기 헬스 모니터링 장치(100)는 스마트폰(Smart Phone), 휴대 단말기(Portable Terminal), 이동 단말기(Mobile Terminal), 폴더블 단말기(Foldable Terminal), 개인 정보 단말기(Personal Digital Assistant: PDA), PMP(Portable Multimedia Player) 단말기, 텔레매틱스(Telematics) 단말기, 내비게이션(Navigation) 단말기, 개인용 컴퓨터(Personal Computer), 노트북 컴퓨터, 슬레이트 PC(Slate PC), 태블릿 PC(Tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(Wearable Device, 예를 들어, 워치형 단말기(Smartwatch), 글래스형 단말기(Smart Glass), HMD(Head Mounted Display) 등 포함), 와이브로(Wibro) 단말기, IPTV(Internet Protocol Television) 단말기, 스마트 TV, 디지털방송용 단말기, AVN(Audio Video Navigation) 단말기, A/V(Audio/Video) 시스템, 플렉시블 단말기(Flexible Terminal), 디지털 사이니지 장치 등과 같은 다양한 단말기에 적용될 수 있다.Thehealth monitoring device 100 includes a smart phone, a portable terminal, a mobile terminal, a foldable terminal, a personal digital assistant (PDA), and a PMP Portable Multimedia Player) terminal, Telematics terminal, Navigation terminal, Personal computer, Notebook computer, Slate PC, Tablet PC, Ultrabook, Wearable device (Wearable device, for example, a watch-type terminal (Smartwatch), a glass-type terminal (Smart Glass), HMD (Head Mounted Display), etc.), Wibro (Wibro) terminal, IPTV (Internet Protocol Television) terminal, smart TV, It can be applied to various terminals such as digital broadcasting terminals, AVN (Audio Video Navigation) terminals, A/V (Audio/Video) systems, flexible terminals, and digital signage devices.

상기 센서부(110)는 초음파 센서, 적외선 센서, 키넥트 센서(kinect sensor) 등을 포함한다. 여기서, 상기 키넥트 센서는 사용자의 영상과 인체의 길이 정보를 측정할 수 있다.Thesensor unit 110 includes an ultrasonic sensor, an infrared sensor, a kinect sensor, and the like. Here, the Kinect sensor can measure a user's image and human body length information.

또한, 상기 센서부(110)는 사용자의 동작(또는 움직임)을 스캔(또는 인식)한다. 여기서, 상기 사용자의 동작(또는 움직임/피트니스 동작/웨이트 트레이닝 동작)은 사용자 자신의 신체(예를 들어 스쿼트, 런지, 푸시업, 턱걸이 등 포함)를 이용하거나, 머신(또는 기구)(예를 들어 바벨(barbell), 덤벨(dumbbell)(또는 케틀벨(kettlebell)), E-Z 바(E-Z bar) 등 포함)을 이용하는 등의 운동(또는 액티비티)을 나타내며, 운동 중 특정 시점에서의 정지된 사용자의 동작 및/또는 운동 중 연속된 사용자의 동작을 포함하며, 운동 중인 사용자의 신체 주요 관절의 위상, 각도, 속도, 변위 등에 대한 움직임, 운동 형태, 운동 반복 횟수, 운동 무게 등의 다양한 정보를 포함한다. 또한, 상기 운동 무게는 상기 사용자가 사용하는 머신(또는 기구)의 일측에 부착된 해당 머신의 종류, 무게 등의 정보를 포함하는 태그(미도시)를 인식하여 확인할 수 있다.In addition, thesensor unit 110 scans (or recognizes) the user's motion (or movement). Here, the user's motion (or motion/fitness motion/weight training motion) uses the user's own body (including squats, lunges, push-ups, chins, etc.), or a machine (or mechanism) (for example Represents an exercise (or activity), such as using a barbell, a dumbbell (or kettlebell), an EZ bar, etc. / Or includes a continuous user's movement during exercise, and includes various information such as movement, movement type, number of exercise repetitions, exercise weight, etc. on the phase, angle, speed, and displacement of the main joint of the user's body during exercise. In addition, the exercise weight can be confirmed by recognizing a tag (not shown) including information such as the type and weight of the corresponding machine attached to one side of the machine (or apparatus) used by the user.

본 발명의 실시예에서는 사용자의 동작으로 피트니스 동작을 주로 설명하고 있으나, 이에 한정되는 것은 아니며, 상기 사용자의 동작은 표준 자세 정보가 정의된(또는 규격화된) 태권도, 유도, 절권도, 합기도, 필라테스(Pilates), 다양한 형태의 춤 등의 동작에도 적용할 수 있다.In the exemplary embodiment of the present invention, fitness motion is mainly described as a user's motion, but is not limited thereto, and the user's motion is defined (or standardized) of Taekwondo, Judo, Jeonkwondo, Hapkido, Pilates ( Pilates), various forms of dance, etc.

이때, 상기 센서부(110)는 표시부(150)를 통해 표시되는 강사의 동작을 따라서 운동하는 상기 사용자의 동작을 스캔할 수 있다.At this time, thesensor unit 110 may scan the motion of the user exercising along the motion of the instructor displayed through thedisplay unit 150.

또한, 상기 센서부(110)는 상기 사용자의 신체 일부에 부착된 상태에서, 사용자의 움직임에 따른 상기 사용자의 동작을 인식(또는 스캔)할 수도 있다.In addition, thesensor unit 110 may recognize (or scan) the user's motion according to the user's movement while being attached to the user's body part.

또한, 상기 센서부(110)는 일정 영역 내에 위치하는 복수의 사용자의 동작을 스캔할 수도 있다.Also, thesensor unit 110 may scan the motions of a plurality of users located within a certain area.

이와 같이, 상기 센서부(110)는 운동 중인 사용자의 동작을 스캔(또는 인식)한다. 이때, 상기 제어부(170)는 상기 사용자의 동작 스캔 시, 해당 사용자의 동작과 시각 정보를 매칭하여 관리(또는 저장)한다.As such, thesensor unit 110 scans (or recognizes) the motion of the user who is exercising. At this time, when the user's motion is scanned, thecontroller 170 matches and manages (or stores) the user's motion and time information.

상기 카메라부(120)는 스테레오 카메라(stereo camera) 등을 포함하며, 운동 중인 사용자의 정면 및/또는 측면에 적어도 하나 이상(또는 복수로) 구성(또는 배치/형성)한다.Thecamera unit 120 includes a stereo camera or the like, and configures (or arranges/forms) at least one (or a plurality) of front and/or side surfaces of a user who is exercising.

또한, 카메라부(120)는 해당 사용자의 동작(또는 움직임)을 포함하는 영상 정보를 획득(또는 촬영)한다.In addition, thecamera unit 120 acquires (or photographs) image information including a user's motion (or movement).

즉, 상기 카메라부(120)는 운동 중인 사용자의 정면 및/또는 측면에서, 상기 사용자의 신체 및/또는 각 관절의 움직임, 운동 중인 사용자가 사용 중인 운동 기구에 부착된 고유 식별자(또는 고유 이미지 ID/태그) 등을 포함하는 영상 정보를 획득(또는 촬영)한다. 여기서, 상기 고유 식별자는 운동 기구의 종류, 운동 기구의 무게 등에 따라 서로 다른 정보를 포함할 수 있다. 이때, 상기 영상 정보는 상기 운동 중인 사용자의 정면 및/또는 측면에서 해당 사용자의 신체 및/또는 관절의 움직임 등을 촬영한 영상 정보일 수 있다.That is, thecamera unit 120 is a unique identifier (or unique image ID) attached to an exercise device used by a user in motion, and the movement of the user's body and/or each joint, in front and/or side of the user in motion. /Tag) to acquire (or shoot) video information including. Here, the unique identifier may include different information according to the type of exercise device, the weight of the exercise device, and the like. In this case, the image information may be image information obtained by photographing movements of the user's body and/or joints from the front and/or side of the user who is exercising.

이와 같이, 상기 센서부(110) 및 상기 카메라부(120)는 운동 중인 사용자의 정면 및/또는 측면에 구성(또는 배치/설치)되어, 해당 사용자의 정면 및/또는 측면에서 운동 중인 사용자와 관련한 다양한 정보를 수집(또는 획득/측정)할 수 있다.As described above, thesensor unit 110 and thecamera unit 120 are configured (or placed/installed) on the front and/or side of the user who is exercising, and related to the user who is exercising on the front and/or side of the user. Various information can be collected (or acquired/measured).

상기 통신부(130)는 유/무선 통신망을 통해 내부의 임의의 구성 요소 또는 외부의 임의의 적어도 하나의 단말기와 통신 연결한다. 이때, 상기 외부의 임의의 단말기는 서버(미도시), 다른 단말(미도시) 등을 포함할 수 있다. 여기서, 무선 인터넷 기술로는 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS) 등이 있으며, 상기 통신부(130)는 상기에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다. 또한, 근거리 통신 기술로는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등이 포함될 수 있다. 또한, 유선 통신 기술로는 전력선 통신(Power Line Communication: PLC), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등이 포함될 수 있다.Thecommunication unit 130 communicates with any component inside or any at least one terminal outside through a wired/wireless communication network. At this time, the arbitrary terminal outside may include a server (not shown), another terminal (not shown), and the like. Here, wireless Internet technologies include wireless LAN (WLAN), Digital Living Network Alliance (DLNA), Wireless Broadband (Wibro), World Interoperability for Microwave Access (Wimax), and High Speed Downlink Packet Access (HSDPA). ), High Speed Uplink Packet Access (HSUPA), IEEE 802.16, Long Term Evolution (LTE), Long Term Evolution-Advanced (LTE-A), Wireless Mobile Broadband Service (WMBS), etc. There is, thecommunication unit 130 transmits and receives data according to at least one wireless Internet technology in a range including the Internet technology not listed above. In addition, short-range communication technologies include Bluetooth, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, Near Field Communication (NFC). , Ultrasound Communication (USC), Visible Light Communication (VLC), Wi-Fi, Wi-Fi Direct, and the like. In addition, wired communication technology may include Power Line Communication (PLC), USB communication, Ethernet, serial communication, and optical/coaxial cable.

이때, 상기 통신부(130)는 4G 통신 기술뿐만 아니라 5G 통신 기술을 포함하며, 5G 통신 기술을 제공함에 따라, 서비스의 종류에 따라 주파수 및 네트워크 자원을 선택적으로 효율적인 활용이 가능하도록 유연한 구조를 채택할 수 있으며, 지연 속도가 1000분의 1초에 불과하여 빠른 네트워크 속도망을 요구하는 가상현실 특성에 효과적일 수 있다.At this time, thecommunication unit 130 includes a 5G communication technology as well as a 4G communication technology, and as a 5G communication technology is provided, a flexible structure may be adopted to selectively efficiently use frequency and network resources according to the type of service. It can be effective for virtual reality characteristics that require a fast network speed network because the delay speed is only a thousandth of a second.

또한, 상기 통신부(130)는 유니버설 시리얼 버스(Universal Serial Bus: USB)를 통해 임의의 단말과 정보를 상호 전송할 수 있다.Also, thecommunication unit 130 may mutually transmit information with an arbitrary terminal through a universal serial bus (USB).

또한, 상기 통신부(130)는 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 이동 통신망 상에서 기지국, 상기 서버, 상기 다른 단말 등과 무선 신호를 송수신한다.In addition, thecommunication unit 130 is a technical standard or communication method for mobile communication (for example, GSM (Global System for Mobile communication), CDMA (Code Division Multi Access), CDMA2000 (Code Division Multi Access 2000), EV -Enhanced Voice-Data Optimized or Enhanced Voice-Data Only (DO), Wideband CDMA (WCDMA), High Speed Downlink Packet Access (HSDPA), High Speed Uplink Packet Access (HSUPA), Long Term Evolution (LTE), LTE-A (Long Term Evolution-Advanced), etc. to transmit and receive radio signals to and from the base station, the server, and the other terminal on the mobile communication network.

또한, 상기 통신부(130)는 상기 제어부(170)의 제어에 의해, 상기 서버로부터 제공되는 강사의 동작(또는 강사의 피트니스 동작/웨이트 트레이닝 동작)을 포함하는 실시간 영상 정보를 수신한다.In addition, thecommunication unit 130, under the control of thecontrol unit 170, receives real-time video information including an instructor's operation (or instructor's fitness operation/weight training operation) provided from the server.

상기 저장부(140)는 다양한 사용자 인터페이스(User Interface: UI), 그래픽 사용자 인터페이스(Graphic User Interface: GUI) 등을 저장한다.Thestorage unit 140 stores various user interfaces (UIs), graphical user interfaces (GUIs), and the like.

또한, 상기 저장부(140)는 상기 헬스 모니터링 장치(100)가 동작하는데 필요한 데이터와 프로그램 등을 저장한다.In addition, thestorage unit 140 stores data and programs required for thehealth monitoring device 100 to operate.

즉, 상기 저장부(140)는 상기 헬스 모니터링 장치(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 헬스 모니터링 장치(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한, 이러한 응용 프로그램 중 적어도 일부는 헬스 모니터링 장치(100)의 기본적인 기능을 위하여 출고 당시부터 헬스 모니터링 장치(100) 상에 존재할 수 있다. 한편, 응용 프로그램은 상기 저장부(140)에 저장되고, 헬스 모니터링 장치(100)에 설치되어, 제어부(170)에 의하여 상기 헬스 모니터링 장치(100)의 동작(또는 기능)을 수행하도록 구동될 수 있다.That is, thestorage unit 140 may store a plurality of application programs (application programs or applications) driven by thehealth monitoring device 100, data for operating thehealth monitoring device 100, and commands. have. At least some of these applications can be downloaded from external servers via wireless communication. In addition, at least some of these application programs may exist on thehealth monitoring device 100 from the time of shipment for basic functions of thehealth monitoring device 100. On the other hand, the application program is stored in thestorage unit 140, is installed in thehealth monitoring device 100, may be driven by thecontrol unit 170 to perform the operation (or function) of thehealth monitoring device 100. have.

또한, 상기 저장부(140)는 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리 등), 자기 메모리, 자기 디스크, 광디스크, 램(Random Access Memory: RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory: ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 중 적어도 하나의 저장매체를 포함할 수 있다. 또한, 정품 인증 장치(100)는 인터넷(internet)상에서 저장부(140)의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영하거나, 또는 상기 웹 스토리지와 관련되어 동작할 수도 있다.In addition, thestorage unit 140 includes a flash memory type, a hard disk type, a multimedia card micro type, and a card type memory (for example, SD or XD) Memory, etc.), magnetic memory, magnetic disk, optical disk, random access memory (RAM), static random access memory (SRAM), read-only memory (ROM), electronically erasable programmable read-only memory (EEPROM), PROM (Programmable Read-Only Memory) may include at least one storage medium. In addition, theactivation device 100 may operate a web storage performing a storage function of thestorage unit 140 on the Internet, or operate in connection with the web storage.

또한, 상기 저장부(140)는 상기 제어부(170)의 제어에 의해 상기 수신된 강사의 동작(또는 강사의 피트니스 동작/웨이트 트레이닝 동작)을 포함하는 실시간 영상 정보와 상기 스캔부(110)를 통해 스캔된 사용자의 동작을 매칭(또는 매핑/동기화)하여 저장한다.In addition, thestorage unit 140 through the real-time image information and thescan unit 110 including the received instructor's operation (or instructor's fitness operation / weight training operation) under the control of thecontrol unit 170 Matched (or mapped/synchronized) motions of the scanned user are stored.

상기 표시부(또는 디스플레이부)(150)는 상기 제어부(170)의 제어에 의해 상기 저장부(140)에 저장된 사용자 인터페이스 및/또는 그래픽 사용자 인터페이스를 이용하여 다양한 메뉴 화면 등과 같은 다양한 콘텐츠를 표시할 수 있다. 여기서, 상기 표시부(150)에 표시되는 콘텐츠는 다양한 텍스트 또는 이미지 데이터(각종 정보 데이터 포함)와 아이콘, 리스트 메뉴, 콤보 박스 등의 데이터를 포함하는 메뉴 화면 등을 포함한다. 또한, 상기 표시부(150)는 터치 스크린 일 수 있다.The display unit (or display unit) 150 may display various contents such as various menu screens by using a user interface and/or a graphic user interface stored in thestorage unit 140 under the control of thecontrol unit 170. have. Here, the content displayed on thedisplay unit 150 includes various text or image data (including various information data) and a menu screen including data such as icons, list menus, and combo boxes. Further, thedisplay unit 150 may be a touch screen.

또한, 상기 표시부(150)는 액정 디스플레이(Liquid Crystal Display: LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display: TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode: OLED), 플렉시블 디스플레이(Flexible Display), 3차원 디스플레이(3D Display), 전자잉크 디스플레이(e-ink display), LED(Light Emitting Diode) 중에서 적어도 하나를 포함할 수 있다.In addition, thedisplay unit 150 is a liquid crystal display (Liquid Crystal Display: LCD), a thin film transistor liquid crystal display (Thin Film Transistor-Liquid Crystal Display: TFT LCD), an organic light-emitting diode (Organic Light-Emitting Diode: OLED), flexible display It may include at least one of a (Flexible Display), a 3D display, an e-ink display, and a light emitting diode (LED).

또한, 상기 표시부(150)는 상기 제어부(170)의 제어에 의해 상기 수신된 강사의 동작(또는 강사의 피트니스 동작/웨이트 트레이닝 동작)을 포함하는 실시간 영상 정보 등을 표시한다.In addition, thedisplay unit 150 displays real-time video information including the received instructor's motion (or instructor's fitness action/weight training action) under the control of thecontroller 170.

상기 음성 출력부(160)는 상기 제어부(170)에 의해 소정 신호 처리된 신호에 포함된 음성 정보를 출력한다. 여기서, 상기 음성 출력부(160)에는 리시버(receiver), 스피커(speaker), 버저(buzzer) 등이 포함될 수 있다.Thevoice output unit 160 outputs voice information included in a signal processed by a predetermined signal by thecontrol unit 170. Here, thevoice output unit 160 may include a receiver, a speaker, a buzzer, and the like.

또한, 상기 음성 출력부(160)는 상기 제어부(170)에 의해 생성된 안내 음성을 출력한다.In addition, thevoice output unit 160 outputs a guide voice generated by thecontrol unit 170.

또한, 상기 음성 출력부(160)는 상기 제어부(170)의 제어에 의해 상기 수신된 강사의 동작(또는 강사의 피트니스 동작/웨이트 트레이닝 동작)을 포함하는 실시간 영상 정보 등에 대응하는 음성 정보(또는 음향 효과)를 출력한다.In addition, thevoice output unit 160 is the voice information (or sound) corresponding to real-time video information including the motion of the instructor received by the control of the control unit 170 (or instructor fitness operation / weight training operation) Effect).

상기 제어부(controller, 또는 MCU(microcontroller unit)(170)는 상기 헬스 모니터링 장치(100)의 전반적인 제어 기능을 실행한다.The controller (controller, or microcontroller unit (MCU) 170) executes the overall control function of thehealth monitoring device 100.

또한, 상기 제어부(170)는 상기 저장부(140)에 저장된 프로그램 및 데이터를 이용하여 헬스 모니터링 장치(100)의 전반적인 제어 기능을 실행한다. 상기 제어부(170)는 RAM, ROM, CPU, GPU, 버스를 포함할 수 있으며, RAM, ROM, CPU, GPU 등은 버스를 통해 서로 연결될 수 있다. CPU는 상기 저장부(140)에 액세스하여, 상기 저장부(140)에 저장된 O/S를 이용하여 부팅을 수행할 수 있으며, 상기 저장부(140)에 저장된 각종 프로그램, 콘텐츠, 데이터 등을 이용하여 다양한 동작을 수행할 수 있다.In addition, thecontrol unit 170 executes the overall control function of thehealth monitoring device 100 using programs and data stored in thestorage unit 140. Thecontrol unit 170 may include a RAM, ROM, CPU, GPU, bus, and RAM, ROM, CPU, GPU, etc. may be connected to each other through a bus. The CPU may access thestorage unit 140 to perform booting using O/S stored in thestorage unit 140, and use various programs, contents, data, etc. stored in thestorage unit 140. To perform various operations.

또한, 상기 제어부(170)는 상기 서버로부터 실시간으로 전송되는 상기 강사의 동작을 포함하는 영상 정보를 통신부(130)를 통해 수신한다.In addition, thecontrol unit 170 receives the video information including the operation of the instructor transmitted in real time from the server through thecommunication unit 130.

또한, 상기 제어부(170)는 해당 강사의 동작을 사용자가 따라서 할 수 있도록 상기 수신된 강사의 동작을 포함하는 영상 정보를 상기 표시부(150)를 통해 표시한다. 이때, 상기 제어부(170)는 사용자의 집중력을 높이기 위해서, 상기 수신된 강사의 동작에 대응하여 미리 저장된 음악을 상기 음성 출력부(160)를 통해 출력할 수도 있다.In addition, thecontrol unit 170 displays the video information including the operation of the received instructor through thedisplay unit 150 so that the user can follow the operation of the instructor. At this time, in order to increase the concentration of the user, thecontrol unit 170 may output pre-stored music in response to the received instructor's operation through thevoice output unit 160.

또한, 상기 제어부(170)는 상기 카메라부(120)를 통해 획득된 영상 정보를 분석하여 상기 사용자의 동작(또는 움직임)을 인식한다.In addition, thecontroller 170 analyzes image information acquired through thecamera unit 120 to recognize the user's motion (or movement).

이와 같이, 상기 제어부(170)는 상기 센서부(110)를 통한 스캔에 의해 또는 상기 카메라부(120)를 통해 획득된 영상 정보에 대한 분석에 의해, 운동 중인 사용자의 동작을 스캔(또는 인식)할 수 있다.In this way, thecontrol unit 170 scans (or recognizes) the motion of a user in motion by scanning through thesensor unit 110 or by analyzing image information acquired through thecamera unit 120. can do.

또한, 상기 제어부(170)는 영상 분석, 비교 분석 등을 위해서 상기 강사의 동작과 상기 스캔되는 사용자의 동작 간의 동기화를 맞출 수 있다.In addition, thecontroller 170 may synchronize synchronization between the instructor's motion and the scanned user's motion for image analysis, comparative analysis, and the like.

또한, 상기 제어부(170)는 상기 인식된 사용자의 동작에 따른 사용자의 신체 주요 관절의 위상, 각도, 속도, 변위 등에 대한 움직임을 근거로 사용자가 어떤 운동을 수행 중인지 확인할 수 있다.In addition, thecontrol unit 170 may determine what movement the user is performing based on the movement of the user's main joint phase, angle, speed, displacement, etc. according to the recognized user's motion.

즉, 상기 제어부(170)는 상기 저장부(140)에 미리 저장된 복수의 표준 자세 정보에 포함된 신체 주요 관절의 위상, 각도, 속도, 변위 등에 대한 정보와 상기 인식된 사용자의 동작에 따른 사용자의 신체 주요 관절의 위상, 각도, 속도, 변위 등에 대한 정보를 비교하여, 해당 사용자가 운동 중인 동작을 확인할 수 있다.That is, thecontrol unit 170 includes information on the phase, angle, speed, displacement, etc. of main body joints included in a plurality of standard posture information stored in thestorage unit 140 in advance, and the user's action according to the recognized user's motion. By comparing information on the phase, angle, speed, displacement, etc. of main body joints, it is possible to check the motion of the corresponding user.

또한, 상기 제어부(170)는 상기 스캔된(또는 인식된) 사용자의 동작(또는 움직임)과, 상기 강사의 동작을 미리 설정된 가상공간에 적용하여 가상현실 형태의 콘텐츠(또는 가상현실 콘텐츠)를 생성한다. 여기서, 상기 가상공간은 헬스장, 공원, 집 등을 포함한다.In addition, thecontrol unit 170 generates the virtual reality content (or virtual reality content) by applying the motion (or movement) of the scanned (or recognized) user and the motion of the instructor to a preset virtual space. do. Here, the virtual space includes a gym, a park, and a house.

또한, 상기 센서부(110)를 통해 복수의 사용자의 동작을 스캔한 경우, 상기 제어부(170)는 상기 스캔된 복수의 사용자의 동작과, 상기 강사의 동작을 상기 가상공간에 적용하여 실제 강의자 역할 및 수강생 역할처럼 표현되어, 실제환경에서 만큼의 몰입감을 제공하는 상기 가상현실 형태의 콘텐츠를 생성할 수 있다.In addition, when the motions of a plurality of users are scanned through thesensor unit 110, thecontroller 170 applies the motions of the plurality of users and the motions of the instructor to the virtual space to act as actual lecturers. And it is expressed as a participant role, it is possible to generate the content in the form of a virtual reality that provides as much immersion in the real environment.

이때, 상기 제어부(170)는 상기 스캔된 사용자의 동작 등을 상기 통신부(130)를 통해 상기 서버에 전송한다. 또한, 상기 서버는 해당 강사의 피트니스 동작을 따라하고 있는 복수의 헬스 모니터링 장치(100)로부터 복수의 사용자의 동작을 각각 수집하고, 상기 수집된 복수의 사용자의 동작과 해당 강사의 피트니스 동작을 미리 설정된 가상공간에 적용하여 실제 환경에 대응하는 가상공간에서 강사와 복수의 사용자가 함께 운동 중인 가상현실 형태의 통합 콘텐츠를 생성하고, 상기 생성된 통합 콘텐츠를 상기 복수의 헬스 모니터링 장치(100)에 각각 전송한다. 또한, 상기 제어부(170)는 상기 전송된 상기 스캔된 사용자의 동작 등에 응답하여 상기 서버로부터 전송되는 상기 통합 콘텐츠를 상기 통신부(130)를 통해 수신한다.At this time, thecontrol unit 170 transmits the operation of the scanned user to the server through thecommunication unit 130. In addition, the server collects the motions of a plurality of users from a plurality ofhealth monitoring devices 100 that follow the fitness motions of the corresponding instructor, and sets the collected motions of the plurality of users and the fitness motions of the instructor in advance. Applied to a virtual space to generate integrated content in the form of virtual reality in which a lecturer and a plurality of users are exercising together in a virtual space corresponding to a real environment, and transmit the generated integrated content to the plurality ofhealth monitoring devices 100 respectively do. In addition, thecontrol unit 170 receives the integrated content transmitted from the server through thecommunication unit 130 in response to the transmitted operation of the scanned user.

또한, 상기 제어부(170)는 상기 생성된 콘텐츠(또는 상기 수신된 통합 콘텐츠)를 상기 표시부(150)에 표시(또는 출력)한다. 이때, 상기 제어부(170)는 상기 표시부(150)를 통해 앞서 표시 중인 상기 강사의 동작을 포함하는 영상 정보의 표시를 중지하고, 상기 생성된 콘텐츠를 상기 표시부(150)에 표시할 수 있다. 여기서, 상기 표시부(150)는 상기 가상현실 형태의 콘텐츠를 표시하기 위해서 헤드 마운트 디스플레이(Head Mounted Display: HMD)로 구성할 수도 있다.In addition, thecontrol unit 170 displays (or outputs) the generated content (or the received integrated content) on thedisplay unit 150. At this time, thecontrol unit 170 may stop displaying the image information including the operation of the instructor being previously displayed through thedisplay unit 150, and display the generated content on thedisplay unit 150. Here, thedisplay unit 150 may be configured as a head mounted display (HMD) to display the virtual reality content.

또한, 상기 표시부(150)가 복수로 구비되거나 또는 상기 표시부(150)가 화면 분할에 의해 복수 화면으로 구성되는 경우, 상기 제어부(170)는 운동 중인 사용자가 강사의 동작을 확인할 수 있도록 상기 강사의 동작을 포함하는 영상 정보를 상기 복수로 구비된 표시부(150) 중 어느 하나의 표시부(150)(또는 상기 화면 분할된 복수의 화면 중 어느 하나의 화면)를 통해 표시하고, 운동 능력 향상 및 집중도를 높이기 위해서 미리 설정된 가상공간에서 강사와 한 명 이상의 사용자가 함께 운동 중인 상태를 제공할 수 있도록 상기 생성된 콘텐츠를 상기 복수로 구비된 복수의 표시부(150) 중 다른 하나의 표시부(150)(또는 상기 화면 분할된 복수의 화면 중 다른 하나의 화면)를 통해 표시할 수 있다.In addition, when thedisplay unit 150 is provided in plural or thedisplay unit 150 is composed of multiple screens by splitting the screen, thecontrol unit 170 allows the user who is exercising to check the instructor's motion. The image information including the operation is displayed through any one display unit 150 (or any one screen among the plurality of screen divided screens) among the plurality ofdisplay units 150 provided to improve athletic performance and concentration. In order to increase the instructor and one or more users together in a preset virtual space, the display unit 150 (or the other) among the plurality ofdisplay units 150 provided with the plurality of the generated content so as to provide a state in motion together It can be displayed through the other screen) of a plurality of screen divided screen.

이때, 상기 제어부(170)는 운동 능력 향상 및 집중도를 높이기 위해서, 상기 표시부(150)에 상기 생성된 콘텐츠가 표시 중인 상태에서, 해당 강사의 동작에 대응하여 미리 설정된 음악을 음성 출력부(160)를 통해 출력할 수도 있다. 여기서, 상기 강사의 동작에 대응하여 미리 설정된 음악(또는 사운드)은 운동(또는 동작)에 사용되는 특정 신체 부위의 주파수 특성을 고려하여, 상기 강사의 동작에 따른 특정 신체 부위의 움직임 주파수에 대응한 동일한 주파수 성분을 가지는 음악일 수 있다. 또한, 상기 강사의 동작에 대응하여 미리 설정된 음악(또는 사운드)은 운동에 사용되는 특정 신체 부위의 이동 시간(또는 움직임 시간)을 고려하여, 상기 강사의 동작에 따른 특정 신체 부위 간의 움직임 시간에 대응한 동일한 박자를 가지는 음악일 수도 있다.At this time, in order to improve athletic performance and increase concentration, thecontroller 170, while the generated content is being displayed on thedisplay unit 150, sets the preset music in response to the instructor's operation, and outputs thevoice output unit 160. You can also output via Here, the preset music (or sound) corresponding to the motion of the instructor is considered in response to the motion frequency of a specific body part according to the motion of the instructor in consideration of the frequency characteristics of a specific body part used for exercise (or motion). It may be music having the same frequency component. In addition, the preset music (or sound) corresponding to the motion of the instructor corresponds to the movement time between specific body parts according to the motion of the instructor in consideration of the movement time (or motion time) of a specific body part used for exercise. It could be music with the same beat.

또한, 상기 제어부(170)는 사용자가 위치한 장소(예를 들어 집, 공원, 헬스장 등 포함), 사용자가 사용 중인 운동 도구(예를 들어 맨손, 머신/기구 등 포함) 등을 고려하여, 상기 강사의 동작에 대응하는 음악을 선정할 수도 있다.In addition, thecontroller 170 in consideration of the place where the user is located (for example, including a home, park, gym, etc.), exercise tools in use by the user (for example, including bare hands, machines/equipments, etc.), the instructor It is also possible to select music corresponding to the operation of the.

예를 들어, 상기 제어부(170)는 사용자가 집에서 운동하는 경우, 동일한 강사의 동작에 대해서 경쾌한 음악을 선정하여 출력할 수 있고, 사용자가 공원에서 운동하는 경우, 상기 동일한 강사의 동작에 대해서 상기 경쾌한 음악보다 좀 더 박자(또는 템포)가 느린 음악을 선정하여 출력할 수도 있다.For example, when the user is exercising at home, thecontrol unit 170 may select and output light music for the same instructor's motion, and when the user is exercising in the park, the user's motion for the same instructor You can also select and output music that has a slower beat (or tempo) than light music.

또한, 상기 제어부(170)는 실시간으로 해당 운동에 참여 중인 사용자와 강사 간의 음성 대화 기능(예를 들어 포톤사의 보이스챗 등 포함)을 제공하여, 상호 작용에 따른 피드백을 통해 사용자의 운동에 대한 피드백을 실시간으로 제공할 수 있다.In addition, thecontrol unit 170 provides a voice conversation function between a user and an instructor participating in the exercise in real time (including, for example, Voice Chat from Photon, etc.), and provides feedback on the user's exercise through feedback according to the interaction. Can be provided in real time.

이와 같이, 상기 제어부(170)는 사용자의 현재 위치에 상관없이, 실제 환경(또는 가상환경)을 제공하여, 사용자의 몰입감을 높일 수 있다.As such, thecontrol unit 170 may provide a real environment (or virtual environment) regardless of the user's current location, thereby enhancing the immersion of the user.

또한, 상기 표시부(150)에 표시되는 미리 설정된 분석 메뉴가 선택되는 경우 또는, 상기 헬스 모니터링 장치(100)의 일측에 구비된 분석 버튼이 선택되는 경우, 상기 제어부(170)는 상기 스캔된(또는 인식된) 사용자의 동작을 인공 지능을 통해 분석한다.In addition, when a preset analysis menu displayed on thedisplay unit 150 is selected, or when an analysis button provided on one side of thehealth monitoring device 100 is selected, thecontrol unit 170 scans (or Analyze the user's motion through the artificial intelligence.

즉, 상기 제어부(170)는 빅데이터 형태의 복수의 표준 피트니스 동작 중에서 상기 스캔된(또는 인식된) 사용자의 동작에 대응하는 표준 피트니스 동작을 검색(또는 확인)한다.That is, thecontroller 170 searches (or checks) the standard fitness motion corresponding to the motion of the scanned (or recognized) user among a plurality of standard fitness motions in the form of big data.

상기 검색 결과, 상기 복수의 표준 피트니스 동작 중에서 상기 스캔된 사용자의 동작에 대응하는 표준 피트니스 동작이 검색되지 않은 경우, 상기 제어부(170)는 해당 사용자의 동작에 대응하는 표준 피트니스 동작이 검색되지 않은 상태임을 나타내는 정보를 상기 표시부(150) 및/또는 상기 음성 출력부(160)를 통해 출력한다.As a result of the search, if a standard fitness motion corresponding to the scanned user's motion is not found among the plurality of standard fitness motions, thecontroller 170 does not detect a standard fitness motion corresponding to the user's motion. Is displayed through thedisplay unit 150 and/or theaudio output unit 160.

또한, 상기 제어부(170)는 상기 검색된(또는 확인된) 상기 사용자의 동작에 대응하는 표준 피트니스 동작별 신체부위(또는 관절) 간의 거리/비율, 각도, 위치, 방향 등의 기본 정보(또는 표준 피트니스 동작별 기본 정보)와 상기 스캔된(또는 인식된) 사용자의 동작을 비교 분석하여, 상기 사용자의 동작에 따른 머리, 어깨, 팔, 다리 등의 관절의 정확도, 손, 발의 동작의 정확도 등을 판단(또는 확인/비교/산출)한다.In addition, thecontroller 170 may include basic information (or standard fitness, such as distance/ratio, angle, position, direction, etc.) between body parts (or joints) for each standard fitness motion corresponding to the searched (or confirmed) user's motion. Basic information for each operation) and the scanned (or recognized) user's motion are compared and analyzed to determine the accuracy of the joints of the head, shoulders, arms, and legs, and the accuracy of the motions of the hands and feet according to the user's motion. (Or confirm/compare/calculate).

이때, 상기 제어부(170)는 상기 표준 피트니스 동작 대신에, 상기 강사의 동작과 상기 스캔된 사용자의 동작을 비교 분석할 수도 있다.At this time, thecontroller 170 may compare and analyze the motion of the instructor and the motion of the scanned user instead of the standard fitness motion.

또한, 상기 제어부(170)는 비교 분석에 따른 분석 결과를 생성한다. 여기서, 상기 분석 결과(또는 피드백 정보)는 표준 피트니스 동작과 사용자의 동작 간의 정확도(예를 들어 머리, 어깨, 팔, 다리 등의 관절의 정확도, 손과 발 동작의 정확도 등 포함), 상기 표준 피트니스 동작과 상기 사용자의 동작 간의 신체부위별 및/또는 관절별 움직임 비교 결과, 사용자에게 맞춤형 정보인 최적의 운동 코스 정보, 사용자의 운동 목적에 따른 각 관절의 역학적인 요소, 부분적인 강화 운동을 위한 정보, 운동 기술의 재교육을 위한 정보 등을 포함한다.In addition, thecontrol unit 170 generates an analysis result according to the comparative analysis. Here, the analysis result (or feedback information) includes the accuracy between the standard fitness motion and the user's motion (for example, the accuracy of the joints of the head, shoulders, arms, legs, etc., the accuracy of the hand and foot motions), the standard fitness As a result of comparison of motion by body part and/or joint between the motion and the motion of the user, optimal exercise course information tailored to the user, dynamic elements of each joint according to the user's exercise purpose, and information for partial strengthening exercise And information for retraining in athletic skills.

또한, 상기 제어부(170)는 해당 사용자가 현재 운동 중인 자세에 대해 정확한 비교를 확인할 수 있도록, 상기 분석에 사용된 해당 사용자의 동작을 포함하는 영상 정보에 상기 통신부(130)를 통해 수신되는 바른 자세의 상기 강사의 동작(또는 해당 사용자의 동작에 대응하여 검색된 표준 피트니스 동작)을 포함하는 영상 정보를 오버레이(overlay)하여 상기 표시부(150)에 표시한다. 여기서, 상기 제어부(170)는 상기 강사와 상기 사용자의 복수의 신체 부위(또는 복수의 관절) 중에서 하나 이상의 특정 신체 부위(또는 특정 관절)를 기준으로 상기 사용자의 동작을 포함하는 영상 정보에 상기 강사의 동작을 포함하는 영상 정보를 오버레이하여 표시할 수 있다.In addition, thecontrol unit 170, the correct posture that is received through thecommunication unit 130 in the video information including the operation of the user used in the analysis, so that the user can check the correct comparison with the current posture. Overlays the image information including the instructor's motion (or the standard fitness motion retrieved corresponding to the user's motion) and displays it on thedisplay unit 150. Here, thecontroller 170 is the instructor in the video information including the motion of the user based on one or more specific body parts (or specific joints) among the plurality of body parts (or a plurality of joints) of the instructor and the user. The image information including the operation of can be overlaid and displayed.

또한, 상기 사용자의 신체 특성(예를 들어 키, 체격/몸 골격 상태 등 포함)과 상기 강사의 신체 특성에 차이가 커 상기 사용자의 동작을 포함하는 영상 정보와 상기 강사의 동작을 포함하는 영상 정보 간의 오버레이가 어려운 경우, 상기 제어부(170)는 복수의 신체 부위(또는 관절) 중에서 비교 결과 확인이 필요한 하나 이상의 사용자의 특정 신체 부위에서의 동작을 포함하는 서브 영상 정보와 강사의 특정 신체 부위에서의 동작을 포함하는 서브 영상 정보를 서로 오버레이하여 표시할 수도 있다.In addition, there is a large difference in the physical characteristics of the user (for example, height, physique/body skeleton state) and the physical characteristics of the instructor, so that the video information including the user's motion and the video information including the instructor's motion If the liver overlay is difficult, thecontrol unit 170 may include sub-image information including a motion of a specific body part of one or more users that needs to be compared among a plurality of body parts (or joints) and a specific body part of the instructor. Sub-image information including an operation may be displayed by overlaying each other.

또한, 상기 제어부(170)는 상기 강사의 동작과 상기 사용자의 동작이 오버레이되어 표시되고 있는 상기 표시부(150)의 일측에 상기 생성된 분석 결과를 표시한다.In addition, thecontroller 170 displays the generated analysis result on one side of thedisplay unit 150 where the instructor's operation and the user's operation are overlaid and displayed.

이때, 상기 사용자의 동작과 상기 표준 피트니스 동작이 미리 설정된 기준값 이상 불일치한 경우(또한, 상기 사용자의 동작 분석 결과, 자세가 부자연스러운 경우로 판단되는 경우/자세가 다른 것으로 판단되는 경우), 상기 제어부(170)는 자세 교정을 위한 정보를 포함하는 알람 정보(예를 들어 자세가 맞지 않습니다. 다시 시도해주세요 등 포함)를 상기 표시부(150) 및/또는 상기 음성 출력부(160)를 통해 추가로 출력한다.At this time, when the user's motion and the standard fitness motion are inconsistent with a preset reference value or higher (in addition, when the user's motion analysis results indicate that the posture is unnatural/posture is determined to be different), the controller (170) additionally outputs alarm information including information for posture correction (for example, posture is not correct. Please try again) through thedisplay unit 150 and/or thevoice output unit 160. do.

또한, 상기 제어부(170)는 상기 표준 피트니스 동작과 상기 사용자의 동작 간의 비교 결과, 해당 사용자의 동작이 상기 표준 피트니스 동작과 미리 설정된 기준값 이상 유사한 것으로 분석되는 경우, 해당 사용자가 운동 중인 피트니스 동작의 카운터를 증가시키고, 상기 증가한 운동 중인 피트니스 동작의 카운터를 상기 표시부(150) 및/또는 상기 음성 출력부(160)를 통해 추가로 출력한다.In addition, when the result of the comparison between the standard fitness motion and the user's motion is analyzed as the result of the user's motion being similar to the standard fitness motion or more than a preset reference value, thecontroller 170 counters the fitness motion that the user is exercising. In addition, the counter of the increased fitness action during exercise is additionally output through thedisplay unit 150 and/or theaudio output unit 160.

이에 따라, 상기 사용자는 자신이 운동 중인 피트니스 동작에 대해서 자신이 세운 목표치 개수에 도달할 때까지 운동을 지속(또는 반복)할 수 있다.Accordingly, the user can continue (or repeat) the exercise until he or she reaches the number of targets set by the fitness motion being exercised.

또한, 상기 제어부(170)는 해당 강사의 동작을 따라한 복수의 사용자의 동작 분석 결과를 근거로, 사용자들이 자주 틀리는 부분을 확인할 수 있도록, 해당 강사의 동작과 관련해서 복수의 사용자가 자주 틀리는 내용을 상기 표시부(150)의 또 다른 일측에 추가로 표시할 수도 있다.In addition, thecontroller 170 is based on the results of the motion analysis of a plurality of users following the motion of the corresponding instructor, so that a plurality of users are frequently wrong in relation to the motion of the corresponding instructor so that users can check the frequently wrong parts. May be additionally displayed on another side of thedisplay unit 150.

이때, 상기 표시부(150)가 복수로 구성되며, 상기 복수의 표시부(150)가 전/후로 미리 설정된 간격만큼 이격되어 배치되는 경우, 상기 제어부(170)는 후면에 위치한 후면 표시부(150)에 상기 강사의 피트니스 동작을 표시하고, 전면에 위치한 전면 표시부(150)에 사용자의 동작을 표시하여, 상기 후면 표시부(150)에 표시되는 강사의 피트니스 동작 위로 상기 전면 표시부(150)에 표시되는 사용자의 동작이 오버레이되어 표시하도록 구성할 수도 있다. 여기서, 상기 강사의 피트니스 동작과 상기 사용자의 동작은 복수의 신체 부위(또는 복수의 관절) 중에서 하나 이상의 특정 신체 부위(또는 특정 관절)를 기준으로 오버레이하여 표시할 수 있다. 또한, 상기 전면에 위치한 전면 표시부(150)는 투명 재질로 구성하여, 상기 후면 표시부(150)로부터 출력되는 영상 정보가 상기 전면 표시부(150)를 통과(또는 투과)하여 해당 전면 표시부(150)의 전면에 위치한 사용자가 확인할 수 있도록 구성한다.In this case, when thedisplay unit 150 is composed of a plurality, and the plurality ofdisplay units 150 are spaced apart at predetermined intervals before and after, thecontrol unit 170 displays therear display unit 150 located at the rear side. The user's motion displayed on thefront display 150 is displayed above the fitness motion of the instructor displayed on therear display 150 by displaying the fitness motion of the instructor and displaying the user's motion on thefront display 150 located at the front. It can also be configured to display overlaid. Here, the fitness motion of the instructor and the motion of the user may be displayed by overlaying one or more specific body parts (or specific joints) among a plurality of body parts (or a plurality of joints). In addition, thefront display 150 located on the front is made of a transparent material, and the image information output from therear display 150 passes through (or passes through) thefront display 150 and thefront display 150 It is configured to be checked by the user located in the front.

또한, 상기 제어부(170)는 해당 헬스 모니터링 장치(100)에 인접한 IoT 장치(미도시)와 연동하여, 부가 정보를 출력할 수도 있다. 여기서, 상기 부가 정보는 상기 분석 결과, 2D 형태 또는 3D 형태의 상기 강사의 피트니스 동작을 포함하는 영상 정보, 2D 형태 또는 3D 형태의 상기 사용자의 동작에 대응하여 검색된 표준 피트니스 동작을 포함하는 영상 정보, 상기 강사의 피트니스 동작 또는 상기 표준 피트니스 동작을 상기 가상공간에 적용하여 생성한 가상현실 형태의 다른 콘텐츠 등을 포함한다.Further, thecontrol unit 170 may output additional information in conjunction with an IoT device (not shown) adjacent to the correspondinghealth monitoring device 100. Here, the additional information is the result of the analysis, video information including the fitness motion of the instructor in 2D form or 3D form, video information including standard fitness motion searched in response to the user's motion in 2D form or 3D form, And other content in the form of virtual reality generated by applying the instructor's fitness motion or the standard fitness motion to the virtual space.

즉, 상기 제어부(170)는 해당 헬스 모니터링 장치(100)에 인접한 상기 IoT 장치에 상기 부가 정보를 상기 통신부(130)를 통해 전송한다.That is, thecontrol unit 170 transmits the additional information to the IoT device adjacent to thehealth monitoring device 100 through thecommunication unit 130.

또한, 상기 IoT 장치는 상기 헬스 모니터링 장치(100)로부터 전송되는 부가 정보를 수신하고, 상기 수신된 부가 정보를 출력한다. 여기서, 상기 IoT 장치는 텔레비전(미도시), 옥외 광고 디스플레이(미도시), 홀로그램 생성기(미도시) 등을 포함한다.In addition, the IoT device receives the additional information transmitted from thehealth monitoring device 100, and outputs the received additional information. Here, the IoT device includes a television (not shown), an outdoor advertising display (not shown), a hologram generator (not shown), and the like.

또한, 상기 제어부(170)는 상기 센서부(110)를 통해 사용자의 시선(또는 시선의 움직임)을 감지하고, 상기 감지된 사용자의 시선에 대한 정보(또는 상기 감지된 사용자의 시선에 따라 상기 부가 정보를 회전시키거나 임의의 위치로 이동시키기 위한 제어 신호)를 상기 통신부(130)를 통해 상기 IoT 장치에 전송한다.In addition, thecontrol unit 170 detects the user's gaze (or the movement of the gaze) through thesensor unit 110, and information about the sensed user's gaze (or the addition according to the sensed user's gaze) A control signal for rotating information or moving it to an arbitrary location) is transmitted to the IoT device through thecommunication unit 130.

또한, 상기 IoT 장치는 상기 헬스 모니터링 장치(100)로부터 전송되는 상기 사용자의 시선에 대한 정보(또는 상기 제어 신호)를 수신하고, 상기 수신된 사용자의 시선에 대한 정보(또는 상기 제어 신호)를 근거로 상기 출력 중인 부가 정보에 포함된 영상 정보 또는 다른 콘텐츠 내의 객체를 회전시키거나 임의의 위치로 이동시킨다. 여기서, 상기 객체는 강사의 피트니스 동작, 상기 표준 피트니스 동작 등을 포함한다.In addition, the IoT device receives the user's gaze information (or the control signal) transmitted from thehealth monitoring device 100, and based on the received user's gaze information (or the control signal). The object in the image information or other content included in the additional information being output is rotated or moved to an arbitrary position. Here, the object includes a fitness motion of the instructor, the standard fitness motion, and the like.

이와 같이, 운동 중인 사용자는 사용자의 시선에 따라 회전 또는 이동하는 부가 정보를 확인할 수 있게 됨에 따라, 강사의 동작을 일측면에서 보는 것 이외에, 다른 방향에서 강사의 동작을 확인할 수 있어, 운동에 대한 몰입도를 높이고, 정확한 자세를 통해 운동의 질을 높일 수 있다.In this way, the user who is exercising can check the movement of the instructor in one direction, in addition to viewing the instructor's movement from one side, as it is possible to check additional information that rotates or moves according to the user's gaze. You can increase your immersion and improve the quality of your workout through accurate posture.

또한, 상기 제어부(170)는 분석 결과에 따라, 사용자가 미리 설정된 기준값 이상으로 자주 틀리는 경우, 운동 중인 사용자의 리듬감을 조정하기 위해서, 상기 출력 중인 음악 대신에 또 다른 음악을 선정하고, 상기 선정된 또 다른 음악을 상기 음성 출력부(160)를 통해 출력할 수도 있다.In addition, thecontrol unit 170, according to the analysis result, if the user is often wrong than the preset reference value, in order to adjust the rhythmic feeling of the user in motion, select another music instead of the output music, and the selected Another music may be output through thevoice output unit 160.

또한, 상기 제어부(170)는 상기 스캔부(110)를 통해 스캔되는 사용자의 동작 및/또는 상기 카메라부(120)를 통해 획득된 영상 정보에 대한 분석을 통해 인식된 사용자의 동작을 분석하여, 해당 사용자의 동작이 미리 설정된 표준 피트니스 동작 중에서 어떤 표준 피트니스 동작에 해당하는지 확인(또는 판단/분석)한다.In addition, thecontrol unit 170 analyzes the user's motion detected through thescan unit 110 and/or the user's motion recognized through analysis of the image information obtained through thecamera unit 120, It is checked (or judged/analyzed) which standard fitness motion of the user corresponds to a preset standard fitness motion.

또한, 상기 제어부(170)는 상기 저장부(140)에 미리 저장된 복수의 음악(또는 복수의 사운드) 중에서, 상기 확인 결과에 따라 운동 중인 사용자의 동작에 대응하는 피트니스 동작에 맞춤형인 적어도 하나의 음악을 검색한다.In addition, thecontrol unit 170, the plurality of music (or a plurality of sounds) stored in advance in thestorage unit 140, at least one piece of music tailored to the fitness operation corresponding to the movement of the user in accordance with the check result Search for.

또한, 상기 제어부(170)는 상기 검색된 적어도 하나의 음악 중에서 랜덤하게 선택되는 특정 음악을 상기 운동 중인 사용자의 동작과 매칭하여 상기 음성 출력부(160)를 통해 출력할 수도 있다.In addition, thecontroller 170 may match a specific music randomly selected from the searched at least one music with the motion of the user in motion and output the same through thevoice output unit 160.

또한, 상기 제어부(170)는 상기 저장부(140)에 미리 저장된 복수의 음악에 대한 정보를 포함하는 음악 리스트를 상기 표시부(150)에 표시한다.In addition, thecontrol unit 170 displays a music list including information on a plurality of music stored in thestorage unit 140 in advance on thedisplay unit 150.

또한, 상기 표시부(150)에 표시되는 음악 리스트 중에서 특정 음악이 선택되는 경우, 상기 제어부(170)는 상기 선택된 특정 음악과 어울리는 표준 피트니스 동작을 포함하는 영상 정보를 상기 표시부(150)에 표시하고, 상기 선택된 특정 음악을 상기 음성 출력부(160)를 통해 출력한다. 여기서, 상기 표준 피트니스 동작과 어울리는 특정 음악은 해당 표준 피트니스 동작에 사용되는 특정 신체 부위의 주파수 특성을 고려하여, 해당 표준 피트니스 동작에 따른 특정 신체 부위의 움직임 주파수에 대응한 동일한 주파수 성분을 가지는 음악일 수 있다.In addition, when a specific music is selected from the music list displayed on thedisplay unit 150, thecontrol unit 170 displays on thedisplay unit 150 image information including a standard fitness operation matched with the selected specific music, The selected specific music is output through thevoice output unit 160. Here, the specific music matching the standard fitness motion is a music day having the same frequency component corresponding to the movement frequency of a specific body part according to the standard fitness motion, considering the frequency characteristics of the specific body part used for the standard fitness motion. Can be.

이와 같이, 사용자는 해당 사용자가 즐겨듣는 음악과 어울리는 표준 피트니스 동작을 추천받고, 해당 음악을 들으면서 추천받은 표준 피트니스 동작을 수행할 수 있다.In this way, the user may be recommended a standard fitness operation that matches the music that the user enjoys, and perform the recommended standard fitness operation while listening to the music.

또한, 상기 제어부(170)는 상기 저장부(140)에 미리 저장된 복수의 표준 피트니스 동작에 대한 정보를 포함하는 피트니스 동작 리스트를 상기 표시부(150)에 표시한다.In addition, thecontrol unit 170 displays a fitness operation list including information on a plurality of standard fitness operations stored in advance in thestorage unit 140 on thedisplay unit 150.

또한, 상기 표시부(150)에 표시되는 피트니스 동작 리스트 중에서 특정 표준 피트니스 동작이 선택되는 경우, 상기 제어부(170)는 상기 선택된 특정 표준 피트니스 동작과 어울리는 다른 특정 음악을 상기 음성 출력부(160)를 통해 출력하고, 상기 선택된 특정 표준 피트니스 동작을 포함하는 영상 정보를 상기 표시부(150)에 표시한다. 여기서, 상기 특정 표준 피트니스 동작과 어울리는 다른 특정 음악은 해당 표준 피트니스 동작에 사용되는 특정 신체 부위의 주파수 특성을 고려하여, 해당 표준 피트니스 동작에 따른 특정 신체 부위의 움직임 주파수에 대응한 동일한 주파수 성분을 가지는 음악일 수 있다.In addition, when a specific standard fitness action is selected from the list of fitness actions displayed on thedisplay unit 150, thecontroller 170 may perform other specific music matching the selected specific standard fitness action through thevoice output unit 160. Output, and display the image information including the selected specific standard fitness operation on thedisplay unit 150. Here, other specific music that matches the specific standard fitness motion has the same frequency component corresponding to the movement frequency of a specific body part according to the standard fitness motion, taking into account the frequency characteristics of the specific body part used for the standard fitness motion. It can be music.

이와 같이, 사용자는 해당 사용자가 운동하고자 하는 표준 피트니스 동작과 어울리는 음악을 추천받고, 해당 표준 피트니스 동작을 수행하여서 추천받은 음악을 들을 수 있다.In this way, the user can be recommended music that matches the standard fitness motion the user wants to exercise, and perform the standard fitness motion to listen to the recommended music.

또한, 이와 같이, 센서부를 통해 사용자의 동작을 인식하고, 인식된 사용자의 동작을 가상현실을 통해 제공하며, 인식된 사용자의 동작을 인공 지능을 통해 분석하여, 분석 결과에 따른 피드백을 제공할 수 있다.In addition, as described above, the user's motion is recognized through the sensor unit, the recognized user's motion is provided through virtual reality, and the recognized user's motion is analyzed through artificial intelligence to provide feedback according to the analysis result. have.

또한, 이와 같이, 사용자가 수행 중인 동작과 관련해서 미리 설정된 음악 또는 사운드를 제공할 수 있다.In addition, as described above, it is possible to provide preset music or sound in relation to an operation being performed by a user.

이하에서는, 본 발명에 따른 인공 지능을 이용한 가상현실 기반의 헬스 모니터링 방법을 도 1 내지 도 3을 참조하여 상세히 설명한다.Hereinafter, a virtual reality based health monitoring method using artificial intelligence according to the present invention will be described in detail with reference to FIGS. 1 to 3.

도 2는 본 발명의 실시예에 따른 인공 지능을 이용한 가상현실 기반의 헬스 모니터링 방법을 나타낸 흐름도이다.2 is a flowchart illustrating a virtual reality based health monitoring method using artificial intelligence according to an embodiment of the present invention.

먼저, 센서부(110)는 사용자의 동작(또는 움직임)을 스캔(또는 인식)한다. 여기서, 상기 사용자의 동작(또는 움직임/피트니스 동작/웨이트 트레이닝 동작)은 사용자 자신의 신체(예를 들어 스쿼트, 런지, 푸시업, 턱걸이 등 포함)를 이용하거나, 머신(또는 기구)(예를 들어 바벨, 덤벨/케틀벨, E-Z 바 등 포함)을 이용하는 등의 운동(또는 액티비티)을 나타내며, 운동 중 특정 시점에서의 정지된 사용자의 동작 및/또는 운동 중 연속된 사용자의 동작을 포함하며, 운동 중인 사용자의 신체 주요 관절의 위상, 각도, 속도, 변위 등에 대한 움직임, 운동 형태, 운동 반복 횟수, 운동 무게 등의 다양한 정보를 포함한다.First, thesensor unit 110 scans (or recognizes) the user's motion (or movement). Here, the user's motion (or motion/fitness motion/weight training motion) uses the user's own body (including squats, lunges, push-ups, chins, etc.), or a machine (or mechanism) (for example Represents an exercise (or activity), such as using a barbell, dumbbell/kettlebell, EZ bar, etc.), including motion of a stationary user at a specific point in time during exercise and/or motion of a continuous user during exercise, It contains various information such as movement, movement type, number of movement repetitions, and exercise weight for the phase, angle, speed, displacement, etc. of the main joint of the user's body.

이때, 상기 센서부(110)는 표시부(150)를 통해 표시되는 강사의 동작을 따라서 운동하는 상기 사용자의 동작을 스캔할 수 있다. 여기서, 제어부(170)는 서버(미도시)로부터 실시간으로 전송되는 상기 강사의 동작을 포함하는 영상 정보를 통신부(130)를 통해 수신하고, 해당 강사의 동작을 사용자가 따라서 할 수 있도록 상기 수신된 강사의 동작을 포함하는 영상 정보를 상기 표시부(150)를 통해 표시할 수 있다.At this time, thesensor unit 110 may scan the motion of the user exercising along the motion of the instructor displayed through thedisplay unit 150. Here, thecontrol unit 170 receives the video information including the operation of the instructor transmitted in real time from a server (not shown) through thecommunication unit 130, and the received so that the user can follow the operation of the instructor Video information including the instructor's motion may be displayed through thedisplay unit 150.

또한, 상기 센서부(110)는 상기 사용자의 신체 일부에 부착된 상태에서, 사용자의 움직임에 따른 상기 사용자의 동작을 인식(또는 스캔)할 수도 있다.In addition, thesensor unit 110 may recognize (or scan) the user's motion according to the user's movement while being attached to the user's body part.

또한, 상기 센서부(110)는 일정 영역 내에 위치하는 복수의 사용자의 동작을 스캔할 수도 있다.Also, thesensor unit 110 may scan the motions of a plurality of users located within a certain area.

또한, 카메라부(120)는 해당 사용자의 동작(또는 움직임)을 포함하는 영상 정보를 획득(또는 촬영)한다. 여기서, 상기 카메라부(120)는 스테레오 카메라 등을 포함하며, 운동 중인 사용자의 정면 및/또는 측면에 적어도 하나 이상(또는 복수로) 구성(또는 배치/형성)할 수 있다.In addition, thecamera unit 120 acquires (or photographs) image information including a user's motion (or movement). Here, thecamera unit 120 includes a stereo camera or the like, and may be configured (or arranged/formed) on at least one (or plural) front and/or side surfaces of a user who is exercising.

즉, 상기 카메라부(120)는 운동 중인 사용자의 정면 및/또는 측면에서, 상기 사용자의 신체 및/또는 각 관절의 움직임, 운동 중인 사용자가 사용 중인 운동 기구에 부착된 고유 식별자(또는 고유 이미지 ID/태그) 등을 포함하는 영상 정보를 획득(또는 촬영)한다. 여기서, 상기 고유 식별자는 운동 기구의 종류, 운동 기구의 무게 등에 따라 서로 다른 정보를 포함할 수 있다. 이때, 상기 영상 정보는 상기 운동 중인 사용자의 정면 및/또는 측면에서 해당 사용자의 신체 및/또는 관절의 움직임 등을 촬영한 영상 정보일 수 있다.That is, thecamera unit 120 is a unique identifier (or unique image ID) attached to an exercise device used by a user in motion, and the movement of the user's body and/or each joint, in front and/or side of the user in motion. /Tag) to acquire (or shoot) video information including. Here, the unique identifier may include different information according to the type of exercise device, the weight of the exercise device, and the like. In this case, the image information may be image information obtained by photographing movements of the user's body and/or joints from the front and/or side of the user who is exercising.

또한, 상기 제어부(170)는 상기 획득된 영상 정보를 분석하여 상기 사용자의 동작(또는 움직임)을 인식한다.In addition, thecontroller 170 analyzes the acquired image information to recognize the user's motion (or movement).

이와 같이, 상기 제어부(170)는 상기 센서부(110)를 통한 스캔에 의해 또는 상기 카메라부(120)를 통해 획득된 영상 정보에 대한 분석에 의해, 운동 중인 사용자의 동작을 스캔(또는 인식)할 수 있다.In this way, thecontrol unit 170 scans (or recognizes) the motion of a user in motion by scanning through thesensor unit 110 or by analyzing image information acquired through thecamera unit 120. can do.

또한, 상기 제어부(170)는 영상 분석, 비교 분석 등을 위해서 상기 강사의 동작과 상기 스캔되는 사용자의 동작 간의 동기화를 맞출 수 있다.In addition, thecontroller 170 may synchronize synchronization between the instructor's motion and the scanned user's motion for image analysis, comparative analysis, and the like.

일 예로, 상기 센서부(110)는 해당 센서부(110)에 포함된 키넥트 센서인 아주르 키넥트(azure kinect)를 이용해서, 상기 표시부(150)를 통해 표시되는 강사의 스쿼트(squat) 동작을 따라서 운동하는 사용자의 제 1 동작을 스캔한다.For example, thesensor unit 110 uses an azure kinect that is a kinect sensor included in the correspondingsensor unit 110, and the instructor's squat operation displayed through thedisplay unit 150 is performed. It scans the first movement of the user exercising.

또한, 상기 사용자의 전면에 설치된 카메라부(120)는 사용자의 스쿼트 동작에 따른 사용자의 제 1 동작을 포함하는 제 1 영상 정보를 획득한다.In addition, thecamera unit 120 installed on the front of the user acquires first image information including the user's first operation according to the user's squat operation.

또한, 상기 제어부(170)는 상기 획득된 제 1 영상 정보를 분석하여 상기 스쿼트 동작에 따른 사용자의 제 1 동작을 인식한다(S210).In addition, thecontroller 170 analyzes the acquired first image information to recognize the user's first operation according to the squat operation (S210).

이후, 상기 제어부(170)는 상기 스캔된(또는 인식된) 사용자의 동작(또는 움직임)과, 상기 강사의 동작을 미리 설정된 가상공간에 적용하여 가상현실 형태의 콘텐츠(또는 가상현실 콘텐츠)를 생성한다. 여기서, 상기 가상공간은 헬스장, 공원, 집 등을 포함한다.Thereafter, thecontroller 170 applies the motion (or movement) of the scanned (or recognized) user and the motion of the instructor to a preset virtual space to generate virtual reality content (or virtual reality content). do. Here, the virtual space includes a gym, a park, and a house.

또한, 상기 센서부(110)를 통해 복수의 사용자의 동작을 스캔한 경우, 상기 제어부(170)는 상기 스캔된 복수의 사용자의 동작과, 상기 강사의 동작을 상기 가상공간에 적용하여 실제 강의자 역할 및 수강생 역할처럼 표현되어, 실제환경에서 만큼의 몰입감을 제공하는 상기 가상현실 형태의 콘텐츠를 생성할 수 있다.In addition, when the motions of a plurality of users are scanned through thesensor unit 110, thecontroller 170 applies the motions of the plurality of users and the motions of the instructor to the virtual space to act as actual lecturers. And it is expressed as a participant role, it is possible to generate the content in the form of a virtual reality that provides as much immersion in the real environment.

이때, 상기 제어부(170)는 상기 스캔된 사용자의 동작 등을 상기 통신부(130)를 통해 상기 서버에 전송한다. 또한, 상기 서버는 해당 강사의 피트니스 동작을 따라하고 있는 복수의 헬스 모니터링 장치(100)로부터 복수의 사용자의 동작을 각각 수집하고, 상기 수집된 복수의 사용자의 동작과 해당 강사의 피트니스 동작을 미리 설정된 가상공간에 적용하여 실제 환경에 대응하는 가상공간에서 강사와 복수의 사용자가 함께 운동 중인 가상현실 형태의 통합 콘텐츠를 생성하고, 상기 생성된 통합 콘텐츠를 상기 복수의 헬스 모니터링 장치(100)에 각각 전송한다. 또한, 상기 제어부(170)는 상기 전송된 상기 스캔된 사용자의 동작 등에 응답하여 상기 서버로부터 전송되는 상기 통합 콘텐츠를 상기 통신부(130)를 통해 수신한다.At this time, thecontrol unit 170 transmits the operation of the scanned user to the server through thecommunication unit 130. In addition, the server collects motions of a plurality of users from a plurality ofhealth monitoring devices 100 that follow the fitness motions of the instructor, and sets the collected motions of the plurality of users and the fitness motions of the instructor in advance. Applied to a virtual space to generate integrated content in the form of a virtual reality in which a lecturer and a plurality of users are exercising together in a virtual space corresponding to a real environment, and transmit the generated integrated content to each of the plurality ofhealth monitoring devices 100 do. In addition, thecontrol unit 170 receives the integrated content transmitted from the server through thecommunication unit 130 in response to the transmitted operation of the scanned user.

또한, 상기 제어부(170)는 상기 생성된 콘텐츠(또는 상기 수신된 통합 콘텐츠)를 상기 표시부(150)에 표시(또는 출력)한다. 이때, 상기 제어부(170)는 상기 표시부(150)를 통해 앞서 표시 중인 상기 강사의 동작을 포함하는 영상 정보의 표시를 중지하고, 상기 생성된 콘텐츠를 상기 표시부(150)에 표시할 수 있다.In addition, thecontrol unit 170 displays (or outputs) the generated content (or the received integrated content) on thedisplay unit 150. At this time, thecontrol unit 170 may stop displaying the image information including the operation of the instructor being previously displayed through thedisplay unit 150, and display the generated content on thedisplay unit 150.

또한, 상기 표시부(150)가 복수로 구비되거나 또는 상기 표시부(150)가 화면 분할에 의해 복수 화면으로 구성되는 경우, 상기 제어부(170)는 운동 중인 사용자가 강사의 동작을 확인할 수 있도록 상기 강사의 동작을 포함하는 영상 정보를 상기 복수로 구비된 표시부(150) 중 어느 하나의 표시부(150)(또는 상기 화면 분할된 복수의 화면 중 어느 하나의 화면)를 통해 표시하고, 운동 능력 향상 및 집중도를 높이기 위해서 미리 설정된 가상공간에서 강사와 한 명 이상의 사용자가 함께 운동 중인 상태를 제공할 수 있도록 상기 생성된 콘텐츠를 상기 복수로 구비된 복수의 표시부(150) 중 다른 하나의 표시부(150)(또는 상기 화면 분할된 복수의 화면 중 다른 하나의 화면)를 통해 표시할 수 있다.In addition, when thedisplay unit 150 is provided in plural or thedisplay unit 150 is composed of multiple screens by splitting the screen, thecontrol unit 170 allows the user who is exercising to check the instructor's motion. The image information including the operation is displayed through any one display unit 150 (or any one screen among the plurality of screen divided screens) among the plurality ofdisplay units 150 provided to improve athletic performance and concentration. In order to increase the instructor and one or more users together in a preset virtual space, the display unit 150 (or the other) among the plurality ofdisplay units 150 provided with the plurality of the generated content so as to provide a state in motion together It can be displayed through the other screen) of a plurality of screen divided screen.

이때, 상기 제어부(170)는 운동 능력 향상 및 집중도를 높이기 위해서, 상기 표시부(150)에 상기 생성된 콘텐츠가 표시 중인 상태에서, 해당 강사의 동작에 대응하여 미리 설정된 음악을 음성 출력부(160)를 통해 출력할 수도 있다. 여기서, 상기 강사의 동작에 대응하여 미리 설정된 음악(또는 사운드)은 운동(또는 동작)에 사용되는 특정 신체 부위의 주파수 특성을 고려하여, 상기 강사의 동작에 따른 특정 신체 부위의 움직임 주파수에 대응한 동일한 주파수 성분을 가지는 음악일 수 있다. 또한, 상기 강사의 동작에 대응하여 미리 설정된 음악(또는 사운드)은 운동에 사용되는 특정 신체 부위의 이동 시간(또는 움직임 시간)을 고려하여, 상기 강사의 동작에 따른 특정 신체 부위 간의 움직임 시간에 대응한 동일한 박자를 가지는 음악일 수도 있다.At this time, in order to improve athletic performance and increase concentration, thecontroller 170, while the generated content is being displayed on thedisplay unit 150, sets the preset music in response to the instructor's operation, and outputs thevoice output unit 160. You can also output via Here, the preset music (or sound) corresponding to the motion of the instructor is considered in response to the motion frequency of a specific body part according to the motion of the instructor in consideration of the frequency characteristics of a specific body part used for exercise (or motion). It may be music having the same frequency component. In addition, the preset music (or sound) corresponding to the motion of the instructor corresponds to the movement time between specific body parts according to the motion of the instructor in consideration of the movement time (or motion time) of a specific body part used for exercise. It could be music with the same beat.

또한, 상기 제어부(170)는 사용자가 위치한 장소(예를 들어 집, 공원, 헬스장 등 포함), 사용자가 사용 중인 운동 도구(예를 들어 맨손, 머신/기구 등 포함) 등을 고려하여, 상기 강사의 동작에 대응하는 음악을 선정할 수도 있다.In addition, thecontroller 170 in consideration of the place where the user is located (for example, including a home, park, gym, etc.), exercise tools in use by the user (for example, including bare hands, machines/equipments, etc.), the instructor It is also possible to select music corresponding to the operation of the.

또한, 상기 제어부(170)는 실시간으로 해당 운동에 참여 중인 사용자와 강사 간의 음성 대화 기능(예를 들어 포톤사의 보이스챗 등 포함)을 제공하여, 상호 작용에 따른 피드백을 통해 사용자의 운동에 대한 피드백을 실시간으로 제공할 수 있다.In addition, thecontrol unit 170 provides a voice conversation function between a user and an instructor participating in the exercise in real time (including, for example, Voice Chat from Photon, etc.), and provides feedback on the user's exercise through feedback according to the interaction. Can be provided in real time.

이와 같이, 상기 제어부(170)는 사용자의 현재 위치에 상관없이, 실제 환경(또는 가상환경)을 제공하여, 사용자의 몰입감을 높일 수 있다.As such, thecontrol unit 170 may provide a real environment (or virtual environment) regardless of the user's current location, thereby enhancing the immersion of the user.

일 예로, 상기 제어부(170)는 미리 설정된 응용 프로그램인 3D MAX를 이용해서 상기 스캔된 스쿼트 동작에 대한 사용자의 제 1 동작과, 상기 강사의 스쿼트 동작을 실제 헬스장에 대응하는 가상공간에 적용하여 가상현실 형태의 제 1 가상현실 콘텐츠를 생성한다. 이때, 상기 제어부(170)는 상기 강사의 스쿼트 동작에 대응하여 미리 설정된 제 1 음악을 포함하여 상기 제 1 가상현실 콘텐츠를 생성한다.For example, thecontrol unit 170 may apply the first motion of the user for the scanned squat motion and the squat motion of the instructor to a virtual space corresponding to a real gym using the preset application program 3D MAX Create the first virtual reality content in the form of reality. At this time, thecontrol unit 170 generates the first virtual reality content including the first preset music in response to the instructor's squat operation.

또한, 도 3에 도시된 바와 같이, 상기 제어부(170)는 상기 생성된 제 1 가상현실 콘텐츠를 상기 표시부(150) 및 상기 음성 출력부(160)를 통해 출력한다(S220).In addition, as shown in FIG. 3, thecontrol unit 170 outputs the generated first virtual reality content through thedisplay unit 150 and the audio output unit 160 (S220).

이후, 상기 표시부(150)에 표시되는 미리 설정된 분석 메뉴가 선택되는 경우 또는, 상기 헬스 모니터링 장치(100)의 일측에 구비된 분석 버튼이 선택되는 경우, 상기 제어부(170)는 상기 스캔된(또는 인식된) 사용자의 동작을 인공 지능을 통해 분석한다.Thereafter, when a preset analysis menu displayed on thedisplay unit 150 is selected, or when an analysis button provided on one side of thehealth monitoring device 100 is selected, thecontrol unit 170 scans (or Analyze the user's motion through the artificial intelligence.

즉, 상기 제어부(170)는 빅데이터 형태의 복수의 표준 피트니스 동작 중에서 상기 스캔된(또는 인식된) 사용자의 동작에 대응하는 표준 피트니스 동작을 검색(또는 확인)한다.That is, thecontroller 170 searches (or checks) the standard fitness motion corresponding to the motion of the scanned (or recognized) user among a plurality of standard fitness motions in the form of big data.

또한, 상기 제어부(170)는 상기 검색된(또는 확인된) 상기 사용자의 동작에 대응하는 표준 피트니스 동작별 신체부위(또는 관절) 간의 거리/비율, 각도, 위치, 방향 등의 기본 정보(또는 표준 피트니스 동작별 기본 정보)와 상기 스캔된(또는 인식된) 사용자의 동작을 비교 분석하여, 상기 사용자의 동작에 따른 머리, 어깨, 팔, 다리 등의 관절의 정확도, 손, 발의 동작의 정확도 등을 판단(또는 확인/비교/산출)한다.In addition, thecontroller 170 may include basic information (or standard fitness, such as distance/ratio, angle, position, direction, etc.) between body parts (or joints) for each standard fitness motion corresponding to the searched (or confirmed) user's motion. Basic information for each operation) and the scanned (or recognized) user's motion are compared and analyzed to determine the accuracy of the joints of the head, shoulders, arms, and legs, and the accuracy of the motions of the hands and feet according to the user's motion. (Or confirm/compare/calculate).

이때, 상기 제어부(170)는 상기 표준 피트니스 동작 대신에, 상기 강사의 동작과 상기 스캔된 사용자의 동작을 비교 분석할 수도 있다.At this time, thecontroller 170 may compare and analyze the motion of the instructor and the motion of the scanned user instead of the standard fitness motion.

또한, 상기 제어부(170)는 비교 분석에 따른 분석 결과를 생성한다. 여기서, 상기 분석 결과(또는 피드백 정보)는 표준 피트니스 동작과 사용자의 동작 간의 정확도(예를 들어 머리, 어깨, 팔, 다리 등의 관절의 정확도, 손과 발 동작의 정확도 등 포함), 상기 표준 피트니스 동작과 상기 사용자의 동작 간의 신체부위별 및/또는 관절별 움직임 비교 결과, 사용자에게 맞춤형 정보인 최적의 운동 코스 정보, 사용자의 운동 목적에 따른 각 관절의 역학적인 요소, 부분적인 강화 운동을 위한 정보, 운동 기술의 재교육을 위한 정보 등을 포함한다.In addition, thecontrol unit 170 generates an analysis result according to the comparative analysis. Here, the analysis result (or feedback information) includes the accuracy between the standard fitness motion and the user's motion (for example, the accuracy of the joints of the head, shoulders, arms, legs, etc., the accuracy of the hand and foot motions), the standard fitness As a result of comparison of motion by body part and/or joint between the motion and the motion of the user, optimal exercise course information tailored to the user, dynamic elements of each joint according to the user's exercise purpose, and information for partial strengthening exercise And information for retraining in athletic skills.

일 예로, 상기 표시부(150)의 일측에 표시되는 분석 메뉴가 선택될 때, 상기 제어부(170)는 빅데이터 형태의 복수의 표준 피트니스 동작 중에서 상기 스캔된 사용자의 제 1 동작에 대응하는 표준 피트니스 동작(예를 들어 표준 스쿼트 동작)을 검색한다.For example, when the analysis menu displayed on one side of thedisplay unit 150 is selected, thecontrol unit 170 is a standard fitness operation corresponding to the first operation of the scanned user among a plurality of standard fitness operations in the form of big data. Search for (for example, standard squat action).

또한, 상기 제어부(170)는 구글사의 인공지능 툴인 텐서 플로우를 이용하여, 상기 검색된 표준 스쿼트 동작과 상기 스캔된 사용자의 제 1 동작을 비교하여, 해당 사용자의 스쿼트 동작이 바른 상태인지를 분석한다.In addition, thecontrol unit 170 compares the searched standard squat operation with the first operation of the scanned user by using Tensor Flow, an artificial intelligence tool from Google, and analyzes whether the user's squat operation is correct.

또한, 상기 제어부(170)는 상기 표준 스쿼트 동작과 상기 사용자의 제 1 동작 간의 비교 결과를 포함하는 제 1 분석 결과를 생성한다(S230).In addition, thecontrol unit 170 generates a first analysis result including a comparison result between the standard squat operation and the user's first operation (S230).

이후, 상기 제어부(170)는 해당 사용자가 현재 운동 중인 자세에 대한 정확한 비교를 확인할 수 있도록, 상기 분석에 사용된 해당 사용자의 동작을 포함하는 영상 정보에 상기 통신부(130)를 통해 수신되는 바른 자세의 상기 강사의 동작(또는 해당 사용자의 동작에 대응하여 검색된 표준 피트니스 동작)을 포함하는 영상 정보를 오버레이하여 상기 표시부(150)에 표시한다. 여기서, 상기 제어부(170)는 상기 강사와 상기 사용자의 복수의 신체 부위(또는 복수의 관절) 중에서 하나 이상의 특정 신체 부위(또는 특정 관절)를 기준으로 상기 사용자의 동작을 포함하는 영상 정보에 상기 강사의 동작을 포함하는 영상 정보를 오버레이하여 표시할 수 있다.Then, thecontrol unit 170, the correct posture received through thecommunication unit 130 in the video information including the operation of the user used in the analysis, so that the user can check the exact comparison with the current posture. Overlays the image information including the instructor's motion (or the standard fitness motion searched for the corresponding user's motion) and displays it on thedisplay unit 150. Here, thecontroller 170 is the instructor in the video information including the motion of the user based on one or more specific body parts (or specific joints) among the plurality of body parts (or a plurality of joints) of the instructor and the user. The image information including the operation of can be overlaid and displayed.

또한, 상기 제어부(170)는 상기 강사의 동작과 상기 사용자의 동작이 오버레이되어 표시되고 있는 상기 표시부(150)의 일측에 상기 생성된 분석 결과를 표시한다.In addition, thecontroller 170 displays the generated analysis result on one side of thedisplay unit 150 where the instructor's operation and the user's operation are overlaid and displayed.

이때, 상기 사용자의 동작과 상기 표준 피트니스 동작이 미리 설정된 기준값 이상 불일치한 경우(또한, 상기 사용자의 동작 분석 결과, 자세가 부자연스러운 경우로 판단되는 경우/자세가 다른 것으로 판단되는 경우), 상기 제어부(170)는 자세 교정을 위한 정보를 포함하는 알람 정보(예를 들어 자세가 맞지 않습니다. 다시 시도해주세요 등 포함)를 상기 표시부(150) 및/또는 상기 음성 출력부(160)를 통해 추가로 출력한다.At this time, when the user's motion and the standard fitness motion are inconsistent with a preset reference value or higher (in addition, when the user's motion analysis results indicate that the posture is unnatural/posture is determined to be different), the controller (170) additionally outputs alarm information including information for posture correction (for example, posture is not correct. Please try again) through thedisplay unit 150 and/or thevoice output unit 160. do.

또한, 상기 제어부(170)는 상기 표준 피트니스 동작과 상기 사용자의 동작 간의 비교 결과, 해당 사용자의 동작이 상기 표준 피트니스 동작과 미리 설정된 기준값 이상 유사한 것으로 분석되는 경우, 해당 사용자가 운동 중인 피트니스 동작의 카운터를 증가시키고, 상기 증가한 운동 중인 피트니스 동작의 카운터를 상기 표시부(150) 및/또는 상기 음성 출력부(160)를 통해 추가로 출력한다.In addition, when the result of the comparison between the standard fitness motion and the user's motion is analyzed as the result of the user's motion being similar to the standard fitness motion or more than a preset reference value, thecontroller 170 counters the fitness motion that the user is exercising. In addition, the counter of the increased fitness action during exercise is additionally output through thedisplay unit 150 and/or theaudio output unit 160.

이에 따라, 상기 사용자는 자신이 운동 중인 피트니스 동작에 대해서 자신이 세운 목표치 개수에 도달할 때까지 운동을 지속(또는 반복)할 수 있다.Accordingly, the user can continue (or repeat) the exercise until he or she reaches the number of targets set by the fitness motion being exercised.

또한, 상기 제어부(170)는 해당 헬스 모니터링 장치(100)에 인접한 IoT 장치(미도시)와 연동하여, 부가 정보를 출력할 수도 있다. 여기서, 상기 부가 정보는 상기 분석 결과, 2D 형태 또는 3D 형태의 상기 강사의 피트니스 동작을 포함하는 영상 정보, 2D 형태 또는 3D 형태의 상기 사용자의 동작에 대응하여 검색된 표준 피트니스 동작을 포함하는 영상 정보, 상기 강사의 피트니스 동작 또는 상기 표준 피트니스 동작을 상기 가상공간에 적용하여 생성한 가상현실 형태의 다른 콘텐츠 등을 포함한다.Further, thecontrol unit 170 may output additional information in conjunction with an IoT device (not shown) adjacent to the correspondinghealth monitoring device 100. Here, the additional information is the result of the analysis, video information including the fitness motion of the instructor in 2D form or 3D form, video information including standard fitness motion searched in response to the user's motion in 2D form or 3D form, And other content in the form of virtual reality generated by applying the instructor's fitness motion or the standard fitness motion to the virtual space.

즉, 상기 제어부(170)는 해당 헬스 모니터링 장치(100)에 인접한 상기 IoT 장치에 상기 부가 정보를 상기 통신부(130)를 통해 전송한다.That is, thecontrol unit 170 transmits the additional information to the IoT device adjacent to thehealth monitoring device 100 through thecommunication unit 130.

또한, 상기 IoT 장치는 상기 헬스 모니터링 장치(100)로부터 전송되는 부가 정보를 수신하고, 상기 수신된 부가 정보를 출력한다. 여기서, 상기 IoT 장치는 텔레비전(미도시), 옥외 광고 디스플레이(미도시), 홀로그램 생성기(미도시) 등을 포함한다.In addition, the IoT device receives the additional information transmitted from thehealth monitoring device 100, and outputs the received additional information. Here, the IoT device includes a television (not shown), an outdoor advertising display (not shown), a hologram generator (not shown), and the like.

또한, 상기 제어부(170)는 상기 센서부(110)를 통해 사용자의 시선(또는 시선의 움직임)을 감지하고, 상기 감지된 사용자의 시선에 대한 정보(또는 상기 감지된 사용자의 시선에 따라 상기 부가 정보를 회전시키거나 임의의 위치로 이동시키기 위한 제어 신호)를 상기 통신부(130)를 통해 상기 IoT 장치에 전송한다.In addition, thecontrol unit 170 detects the user's gaze (or the movement of the gaze) through thesensor unit 110, and information about the sensed user's gaze (or the addition according to the sensed user's gaze) A control signal for rotating information or moving it to an arbitrary location) is transmitted to the IoT device through thecommunication unit 130.

또한, 상기 IoT 장치는 상기 헬스 모니터링 장치(100)로부터 전송되는 상기 사용자의 시선에 대한 정보(또는 상기 제어 신호)를 수신하고, 상기 수신된 사용자의 시선에 대한 정보(또는 상기 제어 신호)를 근거로 상기 출력 중인 부가 정보에 포함된 영상 정보 또는 다른 콘텐츠 내의 객체를 회전시키거나 임의의 위치로 이동시킨다. 여기서, 상기 객체는 강사의 피트니스 동작, 상기 표준 피트니스 동작 등을 포함한다.In addition, the IoT device receives the user's gaze information (or the control signal) transmitted from thehealth monitoring device 100, and based on the received user's gaze information (or the control signal). The object in the image information or other content included in the additional information being output is rotated or moved to an arbitrary position. Here, the object includes a fitness motion of the instructor, the standard fitness motion, and the like.

이와 같이, 운동 중인 사용자는 사용자의 시선에 따라 회전 또는 이동하는 부가 정보를 확인할 수 있게 됨에 따라, 강사의 동작을 일측면에서 보는 것 이외에, 다른 방향에서 강사의 동작을 확인할 수 있어, 운동에 대한 몰입도를 높이고, 정확한 자세를 통해 운동의 질을 높일 수 있다.In this way, the user who is exercising can check the movement of the instructor in one direction, in addition to viewing the instructor's movement from one side, as it is possible to check additional information that rotates or moves according to the user's gaze. You can increase your immersion and improve the quality of your workout through accurate posture.

일 예로, 상기 제어부(170)는 상기 스쿼트 운동과 관련한 상기 강사의 스쿼트 동작을 포함하는 영상 정보에 상기 사용자의 스쿼트 동작을 포함하는 영상 정보를 오버레이하여 상기 표시부(150)에 표시한다.For example, thecontroller 170 overlays the video information including the squat motion of the user on the video information including the squat motion of the instructor related to the squat exercise and displays it on thedisplay unit 150.

이에 따라, 상기 사용자는 상기 강사의 스쿼트 동작과 해당 사용자의 스쿼트 동작 중에서 일치하지 않은 엉덩이 위치를 확인하고, 상기 확인된 엉덩이 위치에 따라 해당 사용자의 자세를 교정할 수 있다.Accordingly, the user may check the position of the inconsistent hip between the instructor's squat motion and the user's squat motion, and correct the posture of the user according to the identified hip position.

또한, 상기 제어부(170)는 상기 통신부(130)를 통해 상기 사용자의 동작에 대응하여 검색된 표준 피트니스 동작을 포함하는 영상 정보를 해당 헬스 모니터링 장치(100)에 인접한 홀로그램 생성기에 전송한다.In addition, thecontrol unit 170 transmits image information including a standard fitness operation searched in response to the user's motion through thecommunication unit 130 to a hologram generator adjacent to the correspondinghealth monitoring device 100.

또한, 상기 홀로그램 생성기는 상기 헬스 모니터링 장치(100)로부터 전송되는 부가 정보를 수신하고, 상기 수신된 부가 정보를 홀로그램 형태로 벽면에 출력한다.In addition, the hologram generator receives the additional information transmitted from thehealth monitoring device 100, and outputs the received additional information to the wall surface in the form of a hologram.

또한, 상기 홀로그램 생성기는 상기 헬스 모니터링 장치(100)와 연동하여, 운동 중인 사용자의 시선 움직임에 따라 출력 중인 부가 정보에 포함된 표준 피트니스 동작(예를 들어 정면을 바라본 상태의 표준 피트니스 동작)을 포함하는 영상 정보에서 미리 설정된 중심축을 기준으로 상기 표준 피트니스 동작을 시계 방향으로 90도만큼 회전시켜 정면에서 오른쪽을 바라본 상태로 회전한 표준 피트니스 동작을 출력한다(S240).In addition, the hologram generator, in conjunction with thehealth monitoring device 100, includes a standard fitness operation (for example, a standard fitness operation in a front view) included in additional information being output according to the gaze movement of a user who is exercising. In the video information, the standard fitness motion is rotated by 90 degrees in the clockwise direction based on a preset central axis to output the standard fitness motion rotated while looking at the right side from the front (S240).

본 발명의 실시예는 앞서 설명된 바와 같이, 센서부를 통해 사용자의 동작을 인식하고, 인식된 사용자의 동작을 가상현실을 통해 제공하며, 인식된 사용자의 동작을 인공 지능을 통해 분석하여, 분석 결과에 따른 피드백을 제공하여, 자신이 원하는 시간, 장소에서 원활한 헬스 레슨을 가능하게 하고, 가상현실 공간 속에서 직접적인 피드백과 현장 수업이 가능하여 사용자의 만족도를 높이고, 운동에 대한 몰입감을 높일 수 있다.As described above, the embodiment of the present invention recognizes the user's motion through the sensor unit, provides the recognized user's motion through virtual reality, analyzes the recognized user's motion through artificial intelligence, and analyzes the result By providing feedback according to the user, it is possible to provide a smooth health lesson at a desired time and place, and direct feedback and field lessons are possible in the virtual reality space to increase user satisfaction and increase immersion in exercise.

또한, 본 발명의 실시예는 앞서 설명된 바와 같이, 사용자가 수행 중인 동작과 관련해서 미리 설정된 음악 또는 사운드를 제공하여, 사용자의 흥미를 높이고, 운동 효과를 극대화할 수 있다.In addition, as described above, an embodiment of the present invention may provide a preset music or sound in relation to an operation being performed by the user, thereby increasing the interest of the user and maximizing an exercise effect.

전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above-described contents may be modified and modified without departing from the essential characteristics of the present invention by those skilled in the art to which the present invention pertains. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and the scope of the technical spirit of the present invention is not limited by these embodiments. The scope of protection of the present invention should be interpreted by the claims below, and all technical spirits within the equivalent range should be interpreted as being included in the scope of the present invention.

100: 인공 지능을 이용한 가상현실 기반의 헬스 모니터링 장치
110: 센서부120: 카메라부
130: 통신부140: 저장부
150: 표시부160: 음성 출력부
170: 제어부100: virtual reality-based health monitoring device using artificial intelligence
110: sensor unit 120: camera unit
130: communication unit 140: storage unit
150: display unit 160: audio output unit
170: control unit

Claims (10)

Translated fromKorean

서버로부터 실시간으로 전송되는 강사의 동작을 포함하는 영상 정보를 표시하는 표시부;
상기 표시부에 표시되는 강사의 동작을 따라하는 사용자의 동작을 스캔하는 센서부; 및
상기 스캔된 사용자의 동작과 상기 강사의 동작을 미리 설정된 가상공간에 적용하여 가상현실 형태의 콘텐츠를 생성하고, 상기 생성된 콘텐츠를 상기 표시부에 표시하도록 제어하고, 상기 표시부에 상기 콘텐츠가 표시 중인 상태에서, 상기 강사의 동작에 대응하여 미리 설정된 음악을 음성 출력부를 통해 표시하도록 제어하는 제어부를 포함하는 인공 지능을 이용한 가상현실 기반의 헬스 모니터링 장치.A display unit that displays video information including an instructor's motion transmitted in real time from a server;
A sensor unit that scans a user's movement following the instructor's movement displayed on the display unit; And
Applying the scanned user's motion and the instructor's motion to a preset virtual space to generate content in the form of virtual reality, controlling to display the generated content on the display, and displaying the content on the display In, the virtual reality-based health monitoring device using artificial intelligence, including a control unit for controlling to display the preset music in response to the operation of the instructor through a voice output unit.제 1 항에 있어서,
상기 사용자의 동작은,
사용자 자신의 신체를 이용하거나 머신을 이용하는 동작을 포함하는 것을 특징으로 하는 인공 지능을 이용한 가상현실 기반의 헬스 모니터링 장치.According to claim 1,
The operation of the user,
A virtual reality-based health monitoring device using artificial intelligence, characterized in that it comprises using a user's own body or using a machine.제 1 항에 있어서,
상기 사용자의 동작을 포함하는 제 1 영상 정보를 획득하는 카메라부를 더 포함하며,
상기 제어부는,
상기 획득된 제 1 영상 정보를 분석하여 상기 사용자의 동작을 스캔하는 것을 특징으로 하는 인공 지능을 이용한 가상현실 기반의 헬스 모니터링 장치.According to claim 1,
Further comprising a camera unit for obtaining the first image information including the user's motion,
The control unit,
A virtual reality-based health monitoring device using artificial intelligence, characterized by scanning the motion of the user by analyzing the acquired first image information.제 1 항에 있어서,
상기 강사의 동작에 대응하여 미리 설정된 음악은,
운동에 사용되는 특정 신체 부위의 주파수 특성을 고려하여, 상기 강사의 동작에 따른 특정 신체 부위의 움직임 주파수에 대응한 동일한 주파수 성분을 가지는 음악인 것을 특징으로 하는 인공 지능을 이용한 가상현실 기반의 헬스 모니터링 장치.According to claim 1,
The music preset in response to the instructor's action is
Virtual reality-based health monitoring device using artificial intelligence, characterized in that the music has the same frequency component corresponding to the movement frequency of a specific body part according to the motion of the instructor, considering the frequency characteristics of a specific body part used for exercise .제 1 항에 있어서,
상기 제어부는,
상기 표시부에 표시되는 미리 설정된 분석 메뉴가 선택될 때, 빅데이터 형태의 복수의 표준 피트니스 동작 중에서 상기 스캔된 사용자의 동작에 대응하는 표준 피트니스 동작을 검색하고, 상기 검색된 상기 사용자의 동작에 대응하는 표준 피트니스 동작과 상기 스캔된 사용자의 동작을 비교 분석하여, 상기 사용자의 동작에 따른 머리, 어깨, 팔 및 다리를 포함하는 관절의 정확도와, 손과 발의 동작의 정확도를 산출하고, 상기 비교 분석에 따른 분석 결과를 생성하고, 상기 사용자의 동작을 포함하는 영상 정보에 상기 강사의 동작을 포함하는 영상 정보를 오버레이하여 상기 표시부에 표시하는 것을 특징으로 하는 인공 지능을 이용한 가상현실 기반의 헬스 모니터링 장치.According to claim 1,
The control unit,
When a preset analysis menu displayed on the display unit is selected, a standard fitness motion corresponding to the scanned user's motion is searched among a plurality of standard fitness motions in the form of big data, and a standard corresponding to the detected motion of the user Comparing and analyzing the fitness motion and the scanned user's motion to calculate the accuracy of the joint including the head, shoulder, arm, and leg according to the user's motion, and the accuracy of the hand and foot motion, and according to the comparative analysis A virtual reality-based health monitoring device using artificial intelligence, wherein the analysis result is generated, and the video information including the motion of the instructor is overlaid on the video information including the motion of the user and displayed on the display unit.제 5 항에 있어서,
상기 제어부를 포함하는 헬스 모니터링 장치에 인접한 홀로그램 생성기와 통신 연결하는 통신부를 더 포함하며,
상기 제어부는,
상기 통신부를 통해 부가 정보를 상기 홀로그램 생성기에 전송하고,
상기 홀로그램 생성기는,
상기 통신부로부터 전송되는 부가 정보를 홀로그램 형태로 출력하며, 상기 센서부를 통해 감지되는 사용자의 시선을 근거로 상기 부가 정보에 포함된 객체를 회전시켜 출력하는 것을 특징으로 하는 인공 지능을 이용한 가상현실 기반의 헬스 모니터링 장치.The method of claim 5,
Further comprising a communication unit for communication communication with the hologram generator adjacent to the health monitoring device including the control unit,
The control unit,
The additional information is transmitted to the hologram generator through the communication unit,
The hologram generator,
Based on the virtual reality using artificial intelligence, it outputs the additional information transmitted from the communication unit in the form of a hologram and rotates and outputs the object included in the additional information based on the user's gaze detected through the sensor unit. Health monitoring device.표시부에 의해, 서버로부터 실시간으로 전송되는 강사의 동작을 포함하는 영상 정보를 표시하는 단계;
센서부에 의해, 상기 표시부에 표시되는 강사의 동작을 따라하는 사용자의 동작을 스캔하는 단계;
제어부에 의해, 상기 스캔된 사용자의 동작과 상기 강사의 동작을 미리 설정된 가상공간에 적용하여 가상현실 형태의 콘텐츠를 생성하는 단계;
상기 제어부에 의해, 상기 생성된 콘텐츠를 상기 표시부에 표시하도록 제어하는 단계; 및
상기 제어부에 의해, 상기 표시부에 상기 콘텐츠가 표시 중인 상태에서, 상기 강사의 동작에 대응하여 미리 설정된 음악을 음성 출력부를 통해 표시하도록 제어하는 단계를 포함하는 인공 지능을 이용한 가상현실 기반의 헬스 모니터링 방법.Displaying, by the display unit, video information including an operation of an instructor transmitted in real time from a server;
Scanning, by the sensor unit, a user's motion following the instructor's motion displayed on the display unit;
Generating, by the control unit, the content of the virtual reality type by applying the motion of the scanned user and the motion of the instructor to a preset virtual space;
Controlling, by the control unit, the generated content to be displayed on the display unit; And
And controlling, by the control unit, to display the preset music in response to the instructor's operation through the voice output unit while the content is being displayed on the display unit, using a virtual reality based virtual reality health monitoring method. .제 7 항에 있어서,
카메라부에 의해, 상기 사용자의 동작을 포함하는 제 1 영상 정보를 획득하는 단계; 및
상기 제어부에 의해, 상기 획득된 제 1 영상 정보를 분석하여 상기 사용자의 동작을 스캔하는 단계를 더 포함하는 것을 특징으로 하는 인공 지능을 이용한 가상현실 기반의 헬스 모니터링 방법.The method of claim 7,
Obtaining, by the camera unit, first image information including the user's motion; And
The control unit, by analyzing the acquired first image information, further comprising the step of scanning the user's motion Virtual reality-based health monitoring method using artificial intelligence.제 7 항에 있어서,
상기 표시부에 표시되는 미리 설정된 분석 메뉴가 선택될 때, 상기 제어부에 의해, 빅데이터 형태의 복수의 표준 피트니스 동작 중에서 상기 스캔된 사용자의 동작에 대응하는 표준 피트니스 동작을 검색하는 단계;
상기 제어부에 의해, 상기 검색된 상기 사용자의 동작에 대응하는 표준 피트니스 동작과 상기 스캔된 사용자의 동작을 비교 분석하여, 상기 사용자의 동작에 따른 머리, 어깨, 팔 및 다리를 포함하는 관절의 정확도와, 손과 발의 동작의 정확도를 산출하는 단계;
상기 제어부에 의해, 상기 비교 분석에 따른 분석 결과를 생성하는 단계; 및
상기 제어부에 의해, 상기 사용자의 동작을 포함하는 영상 정보에 상기 강사의 동작을 포함하는 영상 정보를 오버레이하여 상기 표시부에 표시하는 단계를 더 포함하는 것을 특징으로 하는 인공 지능을 이용한 가상현실 기반의 헬스 모니터링 방법.The method of claim 7,
When a predetermined analysis menu displayed on the display unit is selected, searching for a standard fitness operation corresponding to the scanned user's motion among a plurality of standard fitness motions in the form of big data by the control unit;
The control unit compares and analyzes the standard fitness motion corresponding to the detected user's motion and the scanned user's motion, and the accuracy of the joint including the head, shoulders, arms, and legs according to the user's motion, Calculating the accuracy of hand and foot motion;
Generating, by the control unit, an analysis result according to the comparative analysis; And
Further comprising the step of overlaying, by the control unit, the video information including the motion of the instructor to the video information including the motion of the user and displaying it on the display unit. Monitoring method.제 9 항에 있어서,
통신부에 의해, 상기 제어부를 포함하는 헬스 모니터링 장치에 인접한 IoT 장치와 통신 연결하는 단계;
상기 제어부에 의해, 상기 IoT 장치와 연동하여, 부가 정보를 상기 IoT 장치를 통해 출력하는 단계; 및
상기 제어부에 의해, 상기 센서부를 통해 감지되는 사용자의 시선을 근거로 상기 부가 정보에 포함된 객체를 회전시키거나 임의의 위치로 이동시켜 상기 IoT 장치를 통해 출력하는 단계를 더 포함하는 것을 특징으로 하는 인공 지능을 이용한 가상현실 기반의 헬스 모니터링 방법.The method of claim 9,
Communicating, by a communication unit, an IoT device adjacent to the health monitoring device including the control unit;
Outputting additional information through the IoT device by interworking with the IoT device by the control unit; And
Further comprising the step of rotating the object included in the additional information or moving it to an arbitrary location based on the user's gaze detected by the control unit, and outputting it through the IoT device. Virtual reality based health monitoring method using artificial intelligence.

Images