본 발명은 발달 장애를 가진 피훈련자의 인지훈련과 신체훈련에 대한 결과를 개인건강기록(PUBLIC HEALTH RECORD)에 실시간으로 기록하도록 하고, 유관련자가 상기 피훈련자의 건강상태를 파악함과 더불어 업데이트된 개인건강기록으로 부족한 인지활동과 신체활동에 대하여 훈련 처방을 제공하도록 한 개인건강기록 기반 발달장애 관리 시스템 및 방법에 관한 것이다.The present invention allows the results of cognitive training and physical training of trainees with developmental disabilities to be recorded in real time in a personal health record (PUBLIC HEALTH RECORD), and the relevant person can identify the health status of the trainee and provide updated information. This is about a personal health record-based developmental disability management system and method that provides training prescriptions for cognitive and physical activities that are lacking in personal health records.
발달장애인 등과 같이, 신체능력과 인지능력이 저하된 사람은 교육, 훈련을 통하여 신체능력과 인지능력의 향상을 도모해야 한다.People with reduced physical and cognitive abilities, such as people with developmental disabilities, should seek to improve their physical and cognitive abilities through education and training.
상기 발달장애인은 신체능력과 인지능력의 향상을 위한 특수교육프로그램, 신체운동프로그램, 컴퓨터기반의 인지능력 프로그램, 증강/가상현실 기반의 훈련 프로그램 등을 통하여, 신체능력과 인지능력에 대하여 훈련받고 있다.The above-mentioned developmentally disabled people are trained in physical and cognitive abilities through special education programs, physical exercise programs, computer-based cognitive ability programs, and augmented/virtual reality-based training programs to improve physical and cognitive abilities. .
하지만, 이러한 훈련 프로그램은 장애 정도별 집중 훈련이나 포괄적인 훈련으로서, 각 개인의 현 상황에 맞는 운동 방법, 횟수, 운동 강도 등 맞춤 훈련 프로그램을 제공하지 못하였다.However, these training programs are either intensive training or comprehensive training depending on the degree of disability, and do not provide customized training programs such as exercise method, frequency, and exercise intensity appropriate for each individual's current situation.
병원과 같은 기관에서는 전자의료기록(Electronic medical record ; EMR)을 이용하여 환자의 상태를 기록하고, 상기 전자의료기록은 보험 청구를 위해 임상 전문가가 입력한 데이터가 저장되는 시스템이다.Institutions such as hospitals record patients' conditions using electronic medical records (EMR), and the electronic medical record is a system in which data entered by clinical experts for insurance claims is stored.
그러나, 상기 전자의료기록은 새로운 데이터에 대하여 발생하거나, 새로운 데이터에 대한 평가가 완료된 후 또는 새로운 데이터 발생시 즉시 업데이트되어야 하는 단점이 있었다.However, the electronic medical record has the disadvantage of having to be updated immediately when new data is generated, after evaluation of new data is completed, or when new data is generated.
이로 인하여, 상기 발달장애인에 대한 진단, 치료 및 건강 결과에 오류가 발생할 수 있다.Due to this, errors may occur in diagnosis, treatment, and health outcomes for the developmentally disabled person.
아울러, 상기 발달장애인을 진단한 의사를 비롯하여 상기 발달장애인의 치료에 참여하는 모든 전문가(예컨대, 약사, 물리치료사, 개인 트레이너 등)들이 실시간으로 새로운 데이터를 업데이트하지 않으면, 부정확하거나 불완전한 데이터로 차후에 치료 또는 진단이 진행되는 문제점이 있다.In addition, if the doctor who diagnosed the person with developmental disabilities, as well as all experts involved in the treatment of the person with developmental disabilities (e.g., pharmacists, physical therapists, personal trainers, etc.), do not update new data in real time, subsequent treatment may be performed with inaccurate or incomplete data. Or, there is a problem in the diagnosis process.
본 발명은 상기와 같은 문제점을 해결하기 위해 발명된 것으로서, 발달장애인 본인을 비롯하여 상기 발달장애인을 치료, 훈련 또는 돌봄에 관련된 사람들이 상기 발달장애인의 인지역량과 신체역량에 대한 현재 상태를 실시간으로 확인할 수 있는 개인건강기록 기반 발달장애 관리 시스템 및 방법을 제공하는데 목적이 있다.The present invention was invented to solve the above problems, and allows the person with a developmental disability, as well as those involved in treating, training, or caring for the person with a developmental disability, to check the current status of the cognitive and physical capabilities of the person with a developmental disability in real time. The purpose is to provide a developmental disability management system and method based on personal health records.
본 발명의 다른 목적은 실시간으로 확인된 발달장애인의 인지역량과 신체역량에 맞는 운동 형태, 운동 강도 및 운동 회수 등이 최적화된 ??춤형 운동프로그램을 생성하여 제공할 수 있는 개인건강기록 기반 발달장애 관리 시스템 및 방법을 제공하는 것이다.Another object of the present invention is to create and provide a dance-type exercise program with optimized exercise type, exercise intensity, and number of exercises suited to the cognitive and physical capabilities of people with developmental disabilities confirmed in real time, based on personal health records. To provide management systems and methods.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 개인건강기록 기반 발달장애 관리 방법은, 개인건강기록 기반 발달장애 관리 방법에 있어서, 인지 및 신체 훈련을 할 피훈련자가 감지되는 피훈련자 감지 단계; 훈련시스템이 제공하는 복수 컨텐츠 중 하나의 컨텐츠가 선정되는 컨텐츠 선정 단계; 선정된 상기 컨텐츠가 실행되어 디스플레이를 통해 증강현실로 컨텐츠 구현 단계; 상기 피훈련자가 증강현실 디바이스에 의해 증강현실로 구현된 상기 컨텐츠를 인지하고, 상기 증강현실 디바이스가 상기 피훈련자의 모션변화를 인지하는 인지 및 신체활동 감지 단계; 상기 피훈련자의 인지역량을 산출하는 동시에, 상기 피훈련자의 신체역량을 산출하는 인지 및 신체역량 산출 단계; 산출된 상기 인지역량 및 상기 신체역량을 저장하기 위하여 서버로 전송하여 상기 개인건강기록을 업데이트하는 인지 및 신체역량 전송 단계; 및 의료전문가가 상기 피훈련자의 현재 상태에 최적화되어 상기 컨텐츠가 되는 맞춤형 운동프로그램을 생성할 수 있도록, 상기 서버가 상기 인지역량 및 상기 신체역량을 포함한 데이터를 제공하고, 상기 맞춤형 운동프로그램이 생성되면, 이를 상기 증강현실 디바이스로 전송하는 맞춤형 운동프로그램 생성 및 공급 단계;를 포함하는 것을 특징으로 한다.A personal health record-based developmental disability management method according to the present invention for achieving the above object includes: a trainee detection step in which a trainee to perform cognitive and physical training is detected; A content selection step in which one content is selected from among the plurality of content provided by the training system; Executing the selected content and implementing the content in augmented reality through a display; A recognition and physical activity detection step in which the trainee recognizes the content implemented in augmented reality by an augmented reality device, and the augmented reality device recognizes a change in motion of the trainee; A cognitive and physical competency calculation step of calculating the cognitive competency of the trainee and simultaneously calculating the physical competency of the trainee; A cognitive and physical capacity transmission step of updating the personal health record by transmitting the calculated cognitive capacity and the physical capacity to a server to store them; And when the server provides data including the cognitive capacity and the physical capacity so that a medical professional can create a customized exercise program that is optimized for the current state of the trainee and becomes the content, and the customized exercise program is created, , generating and supplying a customized exercise program and transmitting it to the augmented reality device.
상기 신체활동은, 상기 피훈련자의 상지 모션변화가 상기 증강현실 디바이스의 3D 깊이 카메라에 의해 측정되고, 상지 모션에 의한 가속도로부터 산출된 상지 강도인 것을 특징으로 한다.The physical activity is characterized in that the change in motion of the trainee's upper limb is measured by the 3D depth camera of the augmented reality device, and the strength of the upper limb is calculated from the acceleration due to the upper limb motion.
*상기 신체활동은, 상기 피훈련자의 상지가 회전축을 중심으로 한 각도변화범위가 상기 증강현실 디바이스의 3D 깊이 카메라에 의해 측정되고, 상기 회전축의 움직임에 대한 상대 움직임으로부터 산출된 상지 유연도인 것을 특징으로 한다.*The physical activity refers to the range of angle change of the trainee's upper limb around the axis of rotation measured by the 3D depth camera of the augmented reality device, and the flexibility of the upper limb calculated from the relative movement with respect to the movement of the axis of rotation. It is characterized by
상기 신체활동은, 상기 피훈련자의 하지가 전후 혹은 좌우로 움직임이 발생하는지를 상기 증강현실 디바이스의 3D 깊이 카메라에 의해 측정함으로써 산출된 하지균형도인 것을 특징으로 한다.The physical activity is characterized as lower limb balance calculated by measuring whether the trainee's lower limbs move forward and backward or left and right using the 3D depth camera of the augmented reality device.
상기 인지역량은, 상기 컨텐츠에 대해 지각력, 기억력 및 주의집중력 중 어느 한 개 이상을 필요로 하는 두뇌활동에 대한 수행능력인 것을 특징으로 한다.The cognitive competency is characterized as the ability to perform brain activities that require one or more of perception, memory, and attention to the content.
상기 인지역량은, 정답과 오답이 명확한 문제에 대해 정답 또는 오답을 결정하는 것을 특징으로 한다.The cognitive competency is characterized by determining the correct or incorrect answer to a problem where the correct and incorrect answers are clear.
상기 정답 또는 오답을 인지하는 동시에, 인지된 상기 정답 또는 오답을 상기 신체활동 단계를 통해 구현하는 것을 특징으로 한다.It is characterized by recognizing the correct or incorrect answer and simultaneously implementing the recognized correct or incorrect answer through the physical activity step.
상기 인지 및 신체역량 산출 단계는, 상기 인지역량과 상기 신체역량은 객관적인 지표로 평가되는 것을 특징으로 한다.The cognitive and physical capacity calculation step is characterized in that the cognitive capacity and the physical capacity are evaluated using objective indicators.
상기 인지 및 신체역량 전송 단계와 상기 맞춤형 운동프로그램 생성 및 공급 단계 사이에, 상기 피훈련자를 치료 또는 보호하는 유관련자로부터 상기 인지역량과 상기 신체역량를 제외한 정보가 입력되는 추가정보 입력 단계를 더 포함하는 것을 특징으로 한다.Between the cognitive and physical capabilities transmission step and the customized exercise program creation and supply step, it further includes an additional information input step in which information excluding the cognitive capabilities and the physical capabilities is input from a related person who treats or protects the trainee. It is characterized by
상기 맞춤형 운동프로그램 생성 및 공급 단계는, 상기 의료전문가 대신에 상기 서버가 상기 인지역량 및 상기 신체역량을 포함한 데이터를 기반으로 상기 맞춤형 운동프로그램을 직접 생성하는 것을 특징으로 한다.In the step of creating and supplying the customized exercise program, the server directly generates the customized exercise program based on data including the cognitive capacity and the physical capacity instead of the medical expert.
한편, 본 발명에 따른 개인건강기록 기반 발달장애 관리 시스템은, 피훈련자에게 증강현실내에서 컨텐츠를 제공하고, 상기 컨텐츠를 수행하는 상기 피훈련자의 모션을 감지하며, 상기 컨텐츠를 수행하는 상기 피훈련자의 인지역량과 신체역량을 산출하는 증강현실 디바이스; 및 전송된 상기 인지역량과 상기 신체역량을 미리 저장된 상기 피훈련자의 개인건강기록에 업데이트하고, 의료전문가가 상기 피훈련자의 현재 상태에 최적화되고 상기 컨텐츠가 되는 맞춤형 운동프로그램을 생성할 수 있도록 상기 인지역량 및 상기 신체역량을 포함한 데이터를 제공하며, 상기 맞춤형 운동프로그램이 생성되면, 이를 상기 증강현실 디바이스로 전송하는 서버를 포함하는 것을 특징으로 한다.Meanwhile, the personal health record-based developmental disability management system according to the present invention provides content in augmented reality to a trainee, detects the motion of the trainee performing the content, and detects the trainee performing the content. Augmented reality device that calculates cognitive and physical capabilities; And the transmitted cognitive capacity and the physical capacity are updated in the personal health record of the trainee stored in advance, and the recognition is performed so that a medical professional can create a customized exercise program that is optimized for the current state of the trainee and becomes the content. It is characterized in that it includes a server that provides data including capabilities and the physical capabilities, and transmits the customized exercise program to the augmented reality device when the customized exercise program is created.
상기 증강현실 디바이스는, 상기 피훈련자의 모션변화를 감지하여 측정하는 3D 깊이 카메라; 및 증강현실을 구현하고, 상기 피훈련자에게 컨텐츠를 제공하는 디스플레이;를 포함하는 것을 특징으로 한다.The augmented reality device includes a 3D depth camera that detects and measures changes in motion of the trainee; and a display that implements augmented reality and provides content to the trainee.
상기 증강현실 디바이스는, 상기 피훈련자의 모션변화에 따른 모션의 가속도로 상지 강도를 산출하거나, 상기 피훈련자의 상지가 회전축을 중심으로 한 각도변화범위가 상기 회전축의 움직임에 대한 상대 움직임으로부터 상지 유연도를 산출하거나, 또는 상기 피훈련자의 하지가 전후 혹은 좌우로 움직임이 발생하는지를 측정하여 하지균형도를 산출하여 상기 신체역량을 산출하는 것을 특징으로 한다.The augmented reality device calculates the upper limb strength based on the acceleration of motion according to the motion change of the trainee, or the angular change range of the trainee's upper limb around the rotation axis is determined by the upper limb flexibility from the relative movement with respect to the movement of the rotation axis. It is characterized in that the physical capacity is calculated by calculating the degree of lower limb balance or by measuring whether the trainee's lower limbs move forward and backward or left and right.
상기 증강현실 디바이스는, 상기 컨텐츠에 대해 지각력, 기억력 및 주의집중력 중 어느 한 개 이상을 필요로 하는 두뇌활동과 관련된 정답과 오답이 명확한 문제에서 정답 또는 오답을 결정하는 것을 특징으로 한다.The augmented reality device is characterized in that it determines the right answer or the wrong answer in a problem where the right answer and the wrong answer are clear related to brain activity that requires one or more of perception, memory, and attention with respect to the content.
상기 서버는, 상기 피훈련자를 치료 또는 보호하는 유관련자로부터 상기 인지역량과 상기 신체역량를 제외한 정보가 입력받는 것을 특징으로 한다.The server is characterized in that information excluding the cognitive capabilities and the physical capabilities is input from a related person who treats or protects the trainee.
상기와 같은 구성을 갖는 본 발명의 개인건강기록 기반 발달장애 관리 시스템 및 방법에 따르면, 발달장애인과 같은 환자의 인지활동과 신체활동에 따른 인지역량과 신체역량을 산출하여, 그에 맞는 맞춤형 운동프로그램을 제공함으로써, 발달장애인의 인지능력과 신체능력을 향상시킬 수 있다.According to the personal health record-based developmental disability management system and method of the present invention having the above configuration, the cognitive capacity and physical capacity of a patient such as a developmentally disabled person are calculated according to the cognitive and physical activities, and a customized exercise program is provided accordingly. By providing this, the cognitive and physical abilities of people with developmental disabilities can be improved.
또한, 의료전문가뿐만 아니라 환자 본인 및 유관련자가 상기 환자의 건강 상태를 실시간으로 통합 조회 및 관리할 수 있다. 특히, 환자 본인이 건강기록을 조회, 관리가 가능하므로 치료에 대한 자기결정권을 가질 수 있다.In addition, not only medical experts, but also patients and related parties can comprehensively view and manage the patient's health status in real time. In particular, patients can view and manage their health records, so they can have the right to self-determine treatment.
아울러, 의료전문가와 환자가 직접 대면하지 않고도 환자의 상태, 능력을 실시간으로 확인하고, 그에 맞는 운동 형태, 운동 강도, 운동 횟수를 제공할 수 있다.In addition, medical professionals and patients can check the patient's condition and abilities in real time without having to meet face-to-face, and provide the appropriate exercise type, exercise intensity, and number of exercises.
도 1은 본 발명에 따른 개인건강기록 기반 발달장애 관리 방법을 도시한 순서도.
도 2는 본 발명에 따른 개인건강기록 기반 발달장애 관리 시스템을 도시한 블록도.
도 3은 본 발명에 따른 개인건강기록 기반 발달장애 관리 시스템에 따라 클라우드 기반 건강정보 데이터의 흐름을 도시한 블록도.
도 4는 본 발명에 따른 개인건강기록 기반 발달장애 관리 시스템에 따라 서버와 클라우드의 내부구조를 도시한 블록도.1 is a flowchart showing a method for managing developmental disabilities based on personal health records according to the present invention.
Figure 2 is a block diagram showing a personal health record-based developmental disability management system according to the present invention.
Figure 3 is a block diagram showing the flow of cloud-based health information data according to the personal health record-based developmental disability management system according to the present invention.
Figure 4 is a block diagram showing the internal structure of the server and cloud according to the personal health record-based developmental disability management system according to the present invention.
이하 첨부된 도면을 참조로 하여 본 발명에 따른 개인건강기록 기반 발달장애 관리 시스템 및 방법에 대하여 자세히 설명하기로 한다.Hereinafter, the personal health record-based developmental disability management system and method according to the present invention will be described in detail with reference to the attached drawings.
도 1에는 본 발명에 따른 개인건강기록 기반 발달장애 관리 시스템이 도시되어 있다.Figure 1 shows a personal health record-based developmental disability management system according to the present invention.
피훈련자(T)는 발달장애인, 인지 및 신체 능력이 저하된 환자나 노인 등으로서, 후술되는 발달장애관리방법의 사용자가 된다. 이하에서는 인지능력 및 신체능력의 발달이 더딘 발달장애인을 주로 하여 설명한다.Trainees (T) are people with developmental disabilities, patients with reduced cognitive and physical abilities, or the elderly, and become users of the developmental disability management method described later. Hereinafter, the description will mainly focus on people with developmental disabilities who have slow development of cognitive and physical abilities.
증강현실 디바이스(10)는 상기 피훈련자(T)의 인지활동과 신체활동을 감지하고, 상기 피훈련자에게 컨텐츠, 즉 운동프로그램을 제공한다.The augmented reality device 10 detects the cognitive and physical activities of the trainee (T) and provides content, that is, an exercise program, to the trainee.
상기 증강현실 디바이스(10)는 피훈련자(T)의 인지활동과 신체활동, 특히 상기 신체활동을 감지하기 위해 상기 피훈련자(T)의 모션을 감지하기 위한 3D 깊이 카메라(11)를 포함한다.The augmented reality device 10 includes a 3D depth camera 11 for detecting the cognitive activity and physical activity of the trainee T, especially the motion of the trainee T in order to detect the physical activity.
또한, 상기 피훈련자(T)에게 컨텐츠를 제공하기 위한 디스플레이(12)를 포함한다. 상기 디스플레이(12)로는 TV, 모니터와 같이 패널을 이용한 장치뿐만 아니라, 상기 피훈련자(T)의 머리에 착용하는 HMD(Head mounted device) 등이 될 수도 있다.Additionally, it includes a display 12 for providing content to the trainee T. The display 12 may be a device using a panel, such as a TV or a monitor, as well as a head mounted device (HMD) worn on the head of the trainee T.
상기 디스플레이(12)를 통하여 구현된 증강현실 또는 가상현실의 공간 내에서 상기 피훈련자(T)의 모션을 상기 3D 깊이 카메라(11)가 감지한다.The 3D depth camera 11 detects the motion of the trainee T within the space of augmented reality or virtual reality implemented through the display 12.
상기 3D 깊이 카메라(11)로 직접적으로 상기 피훈련자(T)의 인지활동을 감지할 수는 없으나, 상기 컨테츠를 수행 중, 상기 피훈련자(T)가 컨텐츠를 수행하는 동안 정답을 선택하는 과정을 통하여 간접적으로 감지할 수 있다.Although the 3D depth camera 11 cannot directly detect the cognitive activity of the trainee (T), the process of selecting the correct answer while the trainee (T) is performing the content is performed. It can be detected indirectly through
상기 3D 깊이 카메라(11)와 상기 디스플레이(12)는 일체로 형성될 수도 있지만, 별도로 구성될 수도 있다.The 3D depth camera 11 and the display 12 may be formed as one piece, or may be configured separately.
서버(20)는 상기 피훈련자(T), 상기 증강현실 디바이스(10)와 통신망으로 연결되어, 상기 피훈련자(T)가 상기 컨텐츠를 수행하는 동안에는 실시간으로 접속된다.The server 20 is connected to the trainee (T) and the augmented reality device 10 through a communication network, and is connected in real time while the trainee (T) is performing the content.
상기 서버(20)는 상기 피훈련자(T)에 대한 통합 개인건강기록(Personal Health Record, PHR)이 저장된다. 상기 개인건강기록에는 상기 피훈련자(T)를 식별할 수 있는 기본정보를 비롯하여, 병력 및 가족력, 약제 처방이력 및 알러지 정보, 상지 및 하지 근육의 강도, 관절의 가동범위, 균형도 및 유연도, 인지능력, 지구력, 심혈관 상태 등이 저장되어 있다. 이러한 상기 개인건강기록은 상기 피훈련자가 직전까지 상기 발달장애 관리 시스템을 이용하여 컨텐츠를 수행한 내역을 반영하여 저장되어 있다.The server 20 stores an integrated personal health record (PHR) for the trainee (T). The personal health record includes basic information that identifies the trainee (T), medical history and family history, medication prescription history and allergy information, upper and lower limb muscle strength, joint range of motion, balance and flexibility, Cognitive ability, endurance, cardiovascular condition, etc. are stored. The personal health record is stored by reflecting the details of the content performed by the trainee using the developmental disability management system up to the immediate past.
상기 서버(20)는 상기 개인건강기록뿐만 아니라, 후술되는 발달장애 관리 방법 및, 상기 개인건강기록과 상기 발달장애 관리 방법에서 산출된 인지역량 및 신체역량에 따라 상기 피훈련자(T)에게 맞춤형 운동프로그램(New personal training program)을 제공하는 로직이 포함되어 있다.The server 20 provides customized exercise to the trainee (T) according to not only the personal health record, but also the developmental disability management method described later, and the cognitive capacity and physical capacity calculated from the personal health record and the developmental disability management method. It contains logic that provides a program (New personal training program).
상기 서버(20)는 생성된 맞춤형 운동프로그램을 상기 피훈련자(T)에게 컨텐츠로 제공하고, 상기 피훈련자(T)는 상기 피훈련자(T)가 위치한 곳, 예를 들면 집에서 상기 컨텐츠를 수행하며, 그 결과는 상기 서버(20)로 전송된다. 상기 피훈련자(T)의 컨텐츠 수행결과는 상기 개인건강기록에 업테이트되고, 이는 추후 상기 맞춤형 운동프로그램을 생성하는데 다시 활용된다. 상기 맞춤형 운동프로그램은 의료전문가가 상기 피훈련자(T)의 상태에 맞게 운동 형태, 운동 강도, 운동 횟수 등을 최적화하여 생성하는 것이 바람직하다. 또는 상기 서버(20)에 상기 피훈련자(T)의 상태에 맞게 상기 맞춤형 운동프로그램을 생성하는 로직이 저장되어, 상기 서버(20)에서 생성할 수도 있다.The server 20 provides the created customized exercise program as content to the trainee (T), and the trainee (T) performs the content at the place where the trainee (T) is located, for example, at home. And the result is transmitted to the server 20. The content performance results of the trainee (T) are updated in the personal health record, and are used again to create the customized exercise program later. It is preferable that the customized exercise program is created by a medical professional by optimizing the exercise type, exercise intensity, number of exercises, etc. according to the condition of the trainee (T). Alternatively, logic for generating the customized exercise program according to the condition of the trainee T may be stored in the server 20 and generated in the server 20 .
이러한 상기 서버(20)는, 클라우딩 컴퓨팅 환경에 적용되는 클라우드 서버가 되는 것이 바람직하다.The server 20 is preferably a cloud server applied to a cloud computing environment.
또한, 상기 서버(20)는 상기 피훈련자(T)를 치료 또는 보호하는 유관련자, 예컨대 의료전문가, 물리치료사, 보험사, 보호자 등도 상기 서버(20)에 실시간으로 접속되어 상기 서버(20)로부터 제공되는 상기 피훈련자(T)의 현재 상태를 파악할 수 있다.In addition, the server 20 allows related persons who treat or protect the trainee (T), such as medical experts, physical therapists, insurance companies, guardians, etc., to be connected to the server 20 in real time and receive information from the server 20. The current status of the trainee (T) can be ascertained.
특히, 상기 서버(20)로 상기 피훈련자(T)를 대하면서 겪는 경험, 문제점 등을 직접 입력함으로써, 다른 유관련자가 상기 피훈련자(T)를 대할 때 참고로 하거나, 맞춤형 운동프로그램을 생성할 때 활용토록 한다.In particular, by directly inputting the experiences and problems encountered while dealing with the trainee (T) into the server 20, other related people can use them as a reference when dealing with the trainee (T) or create a customized exercise program. Make sure to use it when.
도 3에는 클라우드 방식의 서버를 통하여, 건강정보 데이터를 수집 및 관리하는 흐름에 대하여 도시되어 있다.Figure 3 shows the flow of collecting and managing health information data through a cloud-type server.
OAuth와 같은 공개인증을 통하여 보안이 구성된 환경에서, 상기 관리자, 상기 피훈련자(T), 상기 유관련자가 상기 서버(20)에 접속한다.In an environment where security is configured through public authentication such as OAuth, the manager, the trainee (T), and the related person access the server 20.
상기 서버(20)는 REST(Representational State Transfer) API이 적용된다.The server 20 applies REST (Representational State Transfer) API.
상기 서버(20)는 클라이언트, 즉 상기 증강현실 디바이스(10)와 통신하여, 데이터를 수집하고 관리한다.The server 20 communicates with a client, that is, the augmented reality device 10, to collect and manage data.
상기 서버(20)는 상기 서버(20)에 접속한 상기 관리자, 상기 피훈련자(T), 상기 유관련자에 의해 생성된 상기 피훈련자(T)에 대한 리포트를 생성한다.The server 20 generates a report on the manager, the trainee (T), and the trainee (T) generated by the related person connected to the server 20.
한편, 클라이언트측의 구조를 살펴보면, 정보를 기록할 테이블을 정의하고, 상기 피훈련자(T)별로 맞춤형 처방을 위하여 의료진은 프로토콜을 상세히 조절하고, 상기 피훈련자(T)는 훈련중 통증을 의료진에게 보고 하며, 상기 피훈련자(T)에게 운동을 지도하고, 상기 피훈련자(T)의 운동결과를 평가, 분석, 조사하여 서로 커뮤니케이션 한다.Meanwhile, looking at the structure of the client side, a table to record information is defined, the medical staff adjusts the protocol in detail to provide customized prescriptions for each trainee (T), and the trainee (T) reports pain during training to the medical staff. Reports, instructs the trainee (T) to exercise, evaluates, analyzes and investigates the exercise results of the trainee (T) and communicates with each other.
도 4에는 상기 서버(20)와 클라이언트의 관계가 도시되어 있다.Figure 4 shows the relationship between the server 20 and the client.
상기 서버(20)에는 각종 DB(Data Base)와, 관리정보가 포함된다.The server 20 includes various DBs (Data Bases) and management information.
예컨대, 사용자 DB에는 병원정보, 관리자 계정 정보, 의료진(의료전문가) 계정 정보, 환자(피훈련자) 계정 정보 등이 저장된다. 또한 운동 DB에는 운동, 문진, 프로토콜 DB 등이 저장되어 있으며, 운동처방 DB에는 운동처방 내용(맞춤형 운동프로그램)에 관한 DB, 운동처방의 결과에 관한 DB 등이 저장된다. 아울러, 관리정보에는 사용자 계정 관리, 담당의사와 담당환자의 매칭관리, 키트(kit)매칭(예컨대, 여러 질환에 대한 처방을 동시에 하도록 키트를 서로 매칭) 관리에 관한 내용이 저장된다.For example, hospital information, administrator account information, medical staff (medical professional) account information, patient (trainee) account information, etc. are stored in the user DB. In addition, the exercise DB stores exercises, questionnaires, protocol DBs, etc., and the exercise prescription DB stores the DB on the contents of the exercise prescription (customized exercise program) and the DB on the results of the exercise prescription. In addition, the management information stores information related to user account management, matching management between the doctor in charge and the patient in charge, and kit matching (e.g., matching kits to each other to prescribe prescriptions for multiple diseases simultaneously).
한편, 상기 피훈련자(T)가 이용하는 클라이언트는 로그인에 관련된 모듈, 프로토콜 정보에 관련된 모듈, 측정에 관한 모듈, 사용자 인터페이스 모듈, 통신에 관한 모듈, 센서제어에 관한 모듈이 포함된다. 이를 통하여, 상기 피훈련자(T)는 상기 발달장애 관리 시스템을 이용하게 된다.Meanwhile, the client used by the trainee (T) includes a module related to login, a module related to protocol information, a module related to measurement, a user interface module, a module related to communication, and a module related to sensor control. Through this, the trainee (T) uses the developmental disability management system.
상기 클라이언트는 별도의 단말기를 통하여 제공될 수도 있으나, 상기 증강현실 디바이스(10)의 내부에 포함되는 형태로 제공되는 것이 바람직하다.The client may be provided through a separate terminal, but is preferably provided in a form included within the augmented reality device 10.
프로토콜 정보에 관한 모듈에는 환자의 스케쥴리스트, 예약에 관한 프로토콜, 실행 및 실행 결과에 대한 내용을 포함한다. 측정에 관한 모듈에는 상기 피훈련자(T)의 관절각, 각속도에 대한 분석, 상기 피훈련자(T)가 진행하는 처방에 대한 진행사항 및 결과가 표시된다. 사용자 인터페이스를 통하여 상기 피훈련자(T) 또는 유관련자가 상기 클라이언트에 접속 및 이용할 수 있고, 통신모듈을 통하여 상기 클라이언트는 통신이 가능하다. 상기 센서제어 모듈은 상기 피훈련자(T)의 모션을 감지할 수 있는 3D동작분석센서, 즉 3D 깊이 카메라(11)의 작동을 제어하고, 상기 3D 깊이 카메라(11)에서 촬영한 데이터를 분석한다. 이를 위하여, 상기 클라이언트의 센서 제어 모듈은, 각 센서를 초기화 및 작동 제어를 하고, 상기 3D 깊이 카메라(11) 등으로 촬영한 이미지를 처리하고, 처리된 이미지로부터 상기 피훈련자(T)의 자세, 동작 등을 상기 피훈련자(T)의 뼈대와 인체골격, 형태학적 골격 등으로 정보를 분석하며, 이를 RAW data로 저장한다.The module on protocol information includes information on the patient's schedule list, protocols regarding reservations, execution, and execution results. The measurement module displays the analysis of the joint angles and angular velocities of the trainee (T), the progress and results of the prescriptions carried out by the trainee (T). Through the user interface, the trainee (T) or a related person can access and use the client, and through the communication module, the client can communicate. The sensor control module controls the operation of the 3D motion analysis sensor, that is, the 3D depth camera 11, which can detect the motion of the trainee (T), and analyzes data captured by the 3D depth camera 11. . To this end, the sensor control module of the client initializes and controls the operation of each sensor, processes images captured by the 3D depth camera 11, etc., and determines the posture of the trainee T from the processed images, Movement information is analyzed using the trainee's (T) skeleton, human skeleton, morphological skeleton, etc., and this is stored as RAW data.
이하, 본 발명에 따른 개인건강기록 기반 발달장애 관리 방법에 대하여 설명하기로 한다.Hereinafter, a method for managing developmental disabilities based on personal health records according to the present invention will be described.
피훈련자 감지 단계(S110)는 인지 및 신체 훈련을 할 피훈련자(T)가 감지된다. 증강현실 디바이스(10)의 3D 깊이 카메라(11)로부터 미리 정해진 거리 이내로 상기 피훈련자(T)가 진입하면, 상기 3D 깊이 카메라(11)가 상기 피훈련자(T)를 인지한다. 즉, 상기 3D 깊이 카메라(11)는 상기 피훈련자(T)가 상기 3D 깊이 카메라(11)로부터 미리 정해진 거리 이내로 진입하면, 상기 피훈련자(T)가 인지 및 신체 훈련을 할 피훈련자(T)로 감지할 수 있다. 상기 피훈련자(T)는 발달장애인, 인지 및 신체 능력이 저하된 환자나 노인 등이 될 수 있고, 바람직하게는 인지능력 및 신체능력의 발달이 더딘 발달장애인이 되는 것이 바람직하다.In the trainee detection step (S110), a trainee (T) who will undergo cognitive and physical training is detected. When the trainee (T) enters within a predetermined distance from the 3D depth camera 11 of the augmented reality device 10, the 3D depth camera 11 recognizes the trainee (T). That is, when the trainee (T) enters within a predetermined distance from the 3D depth camera 11, the 3D depth camera 11 sets the trainee (T) to perform cognitive and physical training. It can be detected with The trainee (T) may be a person with a developmental disability, a patient or an elderly person with reduced cognitive and physical abilities, and is preferably a person with a developmental disability with slow development of cognitive and physical abilities.
컨텐츠 선정 단계(S120)는 발달장애관리시스템이 상기 피훈련자(T)에게 제공하는 복수의 컨테츠 중에서 어느 하나의 컨텐츠를 선정한다. 상기 발달장애관리시스템은 상기 피훈련자(T)의 인지 및 신체 훈련을 위한 복수의 컨텐츠, 즉 운동프로그램이 저장되어 있다. 상기 발달장애관리시스템에 저장된 복수의 컨텐츠를 상기 피훈련자(T)에게 보여주면, 상기 피훈련자(T)가 그 중 어느 하나를 직접 선택하여 훈련을 진행할 수 있다. 또는, 상기 발달장애관리시스템이 복수의 컨텐츠 중에서 어느 하나를 선정할 수도 있다. 아울러, 상기 발달장애관리시스템이 상기 피훈련자(T)를 식별하고, 이전에 사용한 컨텐츠를 이어서 사용할 수 있도록 할 수도 있다.In the content selection step (S120), one content is selected from among the plurality of content provided by the developmental disability management system to the trainee (T). The developmental disability management system stores a plurality of contents, that is, exercise programs, for cognitive and physical training of the trainee (T). When a plurality of contents stored in the developmental disability management system are shown to the trainee (T), the trainee (T) can directly select one of them and proceed with training. Alternatively, the developmental disability management system may select one of a plurality of contents. In addition, the developmental disability management system may identify the trainee (T) and enable previously used content to be continued.
컨텐츠 구현 단계(S130)는 상기 선정된 컨텐츠가 실행되어 디스플레이(12)를 통하여 증강현실(Augmented Reality; AR)로 구현된다.In the content implementation step (S130), the selected content is executed and implemented as augmented reality (AR) through the display 12.
증강현실은 현실의 이미지나 배경에 3차원 가상 이미지를 겹쳐서 하나의 영상으로 보여주는 기술로서, 상기 디스플레이(12)에 현실의 이미지와 상기 컨텐츠에서 제공하는 이미지가 혼합되어 디스플레이된다.Augmented reality is a technology that displays a single image by overlapping a three-dimensional virtual image on a real image or background, and displays a mixture of real images and images provided by the content on the display 12.
상기 컨텐츠 구현 단계(S130)에서는 선정된 컨텐츠에 대한 설명과 상기 피훈련자(T)가 수행해야 하는 과제의 시험영상이 플레이되고, 이를 상기 피훈련자(T)가 시청한다.In the content implementation step (S130), a description of the selected content and a test video of a task to be performed by the trainee (T) are played, and the trainee (T) watches this.
여기서, 상기 디스플레이(12)로는 TV, 모니터와 같이 패널을 이용한 장치뿐만 아니라, 상기 피훈련자(T)의 머리에 착용하는 HMD(Head mounted device) 등이 될 수도 있다.Here, the display 12 may be a device using a panel, such as a TV or a monitor, as well as a head mounted device (HMD) worn on the head of the trainee T.
한편, 상기 디스플레이(12)에서는 증강현실이 아닌, 가상현실(Virtual Reality)로 상기 컨텐츠를 구현하여 디스플레이 할 수도 있다. 즉, 선정된 컨텐츠가 상기 증강현실 대신 가상현실을 통하여 구현될 수 있다.Meanwhile, the display 12 may implement and display the content in virtual reality rather than augmented reality. In other words, the selected content can be implemented through virtual reality instead of the augmented reality.
인지 및 신체활동 감지 단계(S140)는 상기 피훈련자(T)가 상기 컨텐츠를 인지하는 동시에, 상기 피훈련자(T)는 자세의 변화로 상기 컨텐츠를 수행한다. 상기 컨텐츠를 인지하여 수행하는 상기 피훈련자의 모션변화를 상기 3D 깊이 카메라(11)로 촬영한다. 상기 3D 깊이 카메라(11)로 상기 피훈련자의 모션변화를 촬영함으로써, 상기 증강현실 디바이스(10)가 상기 피훈련자의 모션변화를 인식할 수 있다.In the cognitive and physical activity detection step (S140), the trainee (T) recognizes the content, and at the same time, the trainee (T) performs the content by changing posture. The 3D depth camera 11 captures changes in the trainee's motion while recognizing the content. By photographing the change in motion of the trainee with the 3D depth camera 11, the augmented reality device 10 can recognize the change in motion of the trainee.
인지 및 신체역량 산출 단계(S150)는 상기 피훈련자의 모션변화를 이용하여 상기 피훈련자의 인지역량을 산출하고, 이와 동시에 상기 피훈련자의 신체역량을 산출한다.In the cognitive and physical competency calculation step (S150), the cognitive competency of the trainee is calculated using the motion change of the trainee, and at the same time, the physical competency of the trainee is calculated.
상기 인지역량은, 상기 컨텐츠에 대해 지각력, 기억력 및 주의집중력 중 어느 한 개 이상을 필요로 하는 두뇌활동에 대한 수행능력이 될 수 있다. 상기 피훈련자(T)는 상기 컨텐츠를 수행하는 동안 컨텐츠의 각 요소를 지각하여 식별하고, 식별된 요소를 기억하며, 각 요소의 변형, 이동 등에 대하여 주의 집중하여 문제에 대한 답을 도출하는 두뇌활동을 통하여 인지능력이 향상되도록 한다.The cognitive competency may be the ability to perform brain activities that require one or more of perception, memory, and attention to the content. While performing the content, the trainee (T) performs brain activity to perceive and identify each element of the content, remember the identified elements, and focus attention on the transformation and movement of each element to derive an answer to the problem. Cognitive ability is improved through this.
특히, 상기 인지역량은 정답과 오답이 명확한 문제에 대하여, 정답 또는 오답을 결정하는 것이 될 수 있다. 예컨대, 사칙연산의 답을 구하는 것과 같이, 정답과 오답이 명확한 문제에 대하여, 상기 피훈련자(T)가 정답을 결정하도록 함으로써, 상기 피훈련자(T)의 인지역량을 평가할 수 있다.In particular, the cognitive competency can be used to determine the correct or incorrect answer to a problem where the correct and incorrect answers are clear. For example, in a problem where the right and wrong answers are clear, such as finding the answer to the four arithmetic operations, the cognitive capabilities of the trainee (T) can be evaluated by having the trainee (T) determine the correct answer.
여기서, 신체역량은, 상기 피훈련자(T)의 상지 모션변화가 상기 3D 카메라에 의해 측정되고, 상지 모션에 의한 가속도로부터 산출된 상지 강도가 될 수 있다. 상기 피훈련자(T)의 상지의 강도는 상기 피훈련자(T)의 상지의 모션의 속도변화를 이용하여 상기 상지의 강도를 측정할 수 있다. 상기 3D 깊이 카메라(11)를 이용하여 상기 상지의 모션의 변화를 실시간으로 감지한다. 상기 모션 변화의 시간변화율이 상기 상지의 속도가 되고, 다시 상기 상지 속도변화의 시간변화율이 상기 상지의 가속도가 된다. 이렇게 구해진 상기 상지의 가속도에 상기 상지의 무게를 곱하여 상기 피훈련자(T)의 상지의 강도를 측정할 수 있다.Here, the physical capacity may be the upper limb strength calculated from the upper limb motion change of the trainee (T) measured by the 3D camera and the acceleration due to the upper limb motion. The strength of the upper limb of the trainee (T) can be measured using the change in speed of motion of the upper limb of the trainee (T). Changes in motion of the upper limb are detected in real time using the 3D depth camera 11. The time change rate of the motion change becomes the speed of the upper limb, and the time change rate of the upper limb speed change becomes the acceleration of the upper limb. The strength of the upper limb of the trainee (T) can be measured by multiplying the acceleration of the upper limb obtained in this way by the weight of the upper limb.
또는, 상기 피훈련자(T)의 상지(上肢)가 회전축을 중심으로 한 각도변화범위가 상기 3D 카메라에 의해 측정되고, 상기 회전축(관절)의 움직임에 대한 상대 움직임으로부터 산출된 상지 유연도가 될 수도 있다. 상기 피훈련자(T)의 상지의 중심 부분인 팔꿈치를 중심으로 상기 피훈련자(T)의 상지의 가동범위를 측정하여 상기 상지의 유연성을 산출한다. 즉, 상기 피훈련자(T)가 상기 컨텐츠를 인지하고, 이와 동시에 상기 상지가 회전축인 팔꿈치를 중심으로 한 각도변화를 상기 3D 깊이 카메라(11)로 촬영하고, 상박(上膊)에 대하여 하박(下膊)이 상기 팔꿈치를 중심으로 한 상대 움직임으로부터 상기 상지의 유연성을 산출한다. 유연성이 좋을수록 관절에 대한 가동범위가 커지므로, 상기 3D 깊이 카메라(11)로 촬영한 상기 피훈련자(T)의 하박의 회전각도 변화로 유연성을 산출한다.Alternatively, the range of angle change of the upper limb of the trainee (T) around the axis of rotation is measured by the 3D camera, and the flexibility of the upper limb is calculated from the relative movement with respect to the movement of the axis of rotation (joint). It may be possible. The flexibility of the upper limb is calculated by measuring the range of motion of the upper limb of the trainee (T) centered on the elbow, which is the central part of the upper limb of the trainee (T). That is, the trainee (T) recognizes the content, and at the same time, the angle change around the elbow, which is the axis of rotation of the upper limb, is photographed with the 3D depth camera 11, and the lower arm ( The flexibility of the upper limb is calculated from the relative movement of the lower limb around the elbow. Since the better the flexibility, the greater the range of motion for the joint, the flexibility is calculated from the change in the rotation angle of the lower arm of the trainee (T) captured by the 3D depth camera 11.
아울러, 상기 피훈련자(T)의 하지(下肢)가 전후 혹은 좌우로 움직임이 발생하는지를 상기 3D 카메라에 의해 측정함으로써 산출된 하지균형도가 될 수 있다. 상기 피훈련자(T)의 하지 균형도는 상기 피훈련자(T)가 상기 컨텐츠를 인지하는 것과 동시에 상기 피훈련자(T)의 하지가 초기 위치로부터 전후 또는 좌우로 움직임이 발생하는지를 상기 3D 깊이 카메라(11)로 측정함으로써, 상기 피훈련자(T)의 하지 균형도를 산출한다. 상기 피훈련자(T)가 상기 컨텐츠를 인지하면, 그에 대한 반응으로 신체 동작이 진행되는데, 이때 상기 피훈련자(T)의 하지가 초기 위치로부터 전후 또는 좌우로 움직임의 여부를 판단한다. 상기 피훈련자(T)가 하지 균형도를 갖춘 상태라면, 상기 컨텐츠에 대한 반응으로 신체 동작이 진행되더라도, 하지는 움직이지 않고, 초기 위치를 유지할 수 있다. 하지만, 상기 피훈련자(T)가 하지 균형도를 충분히 갖추지 못한 상태라면, 상기 컨텐츠에 대한 신체 동작시 상기 하지는 초기 위치로부터 벗어나 전후 또는 좌우로 이동하게 된다. 따라서, 상기 3D 깊이 카메라(11)로 상기 피훈련자(T)가 상기 컨텐츠를 인지함과 동시에 상기 피훈련자(T)의 하지의 움직임 여부를 촬영함으로써, 상기 피훈련자(T)의 하지 균형도를 측정할 수 있다.In addition, the lower limb balance can be calculated by measuring whether the lower limbs of the trainee (T) move forward and backward or left and right using the 3D camera. The balance of the lower limbs of the trainee (T) is determined by the 3D depth camera ( By measuring with 11), the lower extremity balance of the trainee (T) is calculated. When the trainee (T) recognizes the content, a body movement is performed in response, and at this time, it is determined whether the lower limbs of the trainee (T) move back and forth or left and right from the initial position. If the trainee (T) has lower limb balance, the lower limbs do not move and can maintain the initial position even if the body motion progresses in response to the content. However, if the trainee T does not have sufficient lower extremity balance, the lower extremities deviate from the initial position and move back and forth or left and right when the body moves with respect to the content. Therefore, the trainee (T) recognizes the content with the 3D depth camera 11 and at the same time photographs whether the trainee (T)'s lower limbs move, thereby measuring the balance of the lower limbs of the trainee (T). It can be measured.
상기 인지 및 신체역량 산출 단계(S150)에서는 상기 디스플레이(12)를 통하여 상기 피훈련자(T)에게 컨텐츠를 제시하고, 상기 피훈련자(T)가 상기 컨텐츠를 수행하는 모션을 상기 3D 깊이 카메라(11)로 인식함으로써, 인지역량과 신체역량을 산출할 수 있다. 예컨대, 상기 디스플레이(12)를 통하여 사칙연산 문제를 제시한 후, 그 문제에 대한 정답과 오답을 상기 디스플레이(12)에 혼재하여 각기 다른 영역에 표시하고, 상기 피훈련자(T)로부터 정답을 선택할 수 있도록 할 수 있다. 상기 피훈련자(T)가 상기 문제에 대한 정답을 도출하는 과정에서 인지역량을 산출할 수 있다. 또한, 상기 피훈련자(T)가 도출한 정답을 상기 디스플레이(12) 상에서 실제로 선택하거나, 상기 디스플레이(12) 상에서 정답을 터치하지 않더라도, 상기 피훈련자(T)가 현재 위치에서 증강현실 또는 가상현실에서 구현된 공간에서 가상으로 정답을 터치하는 신체활동을 통하여, 상기 피훈련자의 신체역량을 산출할 수 있다.In the cognitive and physical capacity calculation step (S150), content is presented to the trainee (T) through the display 12, and the motion in which the trainee (T) performs the content is captured by the 3D depth camera (11). ), cognitive capacity and physical capacity can be calculated. For example, after presenting an arithmetic problem through the display 12, the correct and incorrect answers to the problem are mixed and displayed in different areas on the display 12, and the correct answer is selected from the trainee T. You can do it. Cognitive competency can be calculated in the process where the trainee (T) derives the correct answer to the problem. In addition, even if the trainee (T) does not actually select the correct answer derived from the display 12 or touch the correct answer on the display 12, the trainee (T) can use augmented reality or virtual reality at the current location. Through the physical activity of virtually touching the correct answer in the space implemented in , the physical capacity of the trainee can be calculated.
상기 인지 및 신체역량 산출 단계(S150)에서 그 역량을 산출할 수 있는 인지활동과 신체활동의 예는 다음과 같다.Examples of cognitive and physical activities that can calculate the capabilities in the cognitive and physical capabilities calculation step (S150) are as follows.
<인지활동과 신체활동의 예>한편, 상기 인지역량과 상기 신체역량은 객관적인 지표로 평가되도록 한다. 예컨대, 복수의 문제에 대한 정답 비율로 인지역량을 평가할 수 있고, 각 문제에 대한 답을 선택하는 신체활동에서의 상지 강도, 상지 유연도, 하지균형도 등을 수치화하여 신체역량을 평가할 수 있다.<Example of cognitive activity and physical activity> Meanwhile, the above-mentioned cognitive capacity and the above-mentioned physical capacity are evaluated with objective indicators. For example, cognitive competency can be evaluated by the percentage of correct answers to multiple questions, and physical competency can be evaluated by quantifying upper limb strength, upper limb flexibility, lower limb balance, etc. in physical activities to select the answer to each problem.
인지 및 신체역량 전송 단계(S160)는 산출된 상기 인지역량 및 상기 신체역량을 저장하기 위하여 서버(20)로 전송한다. 인터넷과 같은 통신망을 이용하여 상기 피훈련자(T)로부터 떨어진 원격지에 위치한 서버(20)로 상기 인지역량 및 상기 신체역량을 전송한다. 상기 서버(20)로 상기 인지역량 및 상기 신체역량이 전송되면, 상기 서버(20)는 이를 저장하여 상기 개인건강기록을 업데이트한다. 상기 서버(20)에 상기 피훈련자(T) 별로 상기 인지역량 및 상기 신체역량이 누적되어 저장된다. 업데이트된 상기 개인건강기록은 상기 피훈련자(T)의 현재 상태를 판단하거나, 추후 맞춤형 운동프로그램을 생성하는데 활용된다.In the cognitive and physical capabilities transmission step (S160), the calculated cognitive capabilities and physical capabilities are transmitted to the server 20 for storage. The cognitive capabilities and the physical capabilities are transmitted to a server 20 located in a remote location away from the trainee T using a communication network such as the Internet. When the cognitive capabilities and the physical capabilities are transmitted to the server 20, the server 20 stores them and updates the personal health record. The cognitive competency and the physical competency are accumulated and stored for each trainee (T) in the server 20. The updated personal health record is used to determine the current condition of the trainee (T) or to create a customized exercise program in the future.
상기 서버(20)는 클라우딩 컴퓨팅 환경에 적용되는 클라우드 서버가 되는 것이 바람직하다.The server 20 is preferably a cloud server applied to a cloud computing environment.
추가정보 입력 단계(S170)는 의료전문가, 물리치료사, 보험사 담당자, 보호자 등과 같이, 상기 피훈련자(T)를 치료 또는 보호하는 유관련자가 상기 피훈련자(T)를 대하면서 겪는 경험, 문제점 등과 같은 추가정보를 직접 입력하도록 한다.The additional information input step (S170) is performed by related persons who treat or protect the trainee (T), such as medical experts, physical therapists, insurance company representatives, guardians, etc., such as experiences and problems experienced while dealing with the trainee (T). Please enter additional information yourself.
상기 유관련자는 실시간으로 상기 서버(20)에 접속할 수 있어서, 상기 서버(20)를 상기 추가정보를 입력함으로써, 다른 유관련자가 상기 피훈련자(T)를 대할 때 참고로 하거나, 맞춤형 운동프로그램을 생성할 때 활용토록 한다.The related person can access the server 20 in real time, so that by entering the additional information into the server 20, other related people can use it as a reference when dealing with the trainee T or create a customized exercise program. Be sure to use it when creating it.
맞춤형 운동프로그램 생성 및 공급 단계(S180)는, 의료전문가(예컨대, 의사)가 상기 피훈련자(T)의 현재 상태에 최적화된 맞춤형 운동프로그램을 생성할 수 있도록 상기 인지역량 및 상기 신체역량을 포함한 데이터를 제공하고, 상기 의료전문가가 운동 형태, 운동 강도, 운동 횟수 등이 최적화된 상기 맞춤형 운동프로그램을 생성하면 이를 상기 증강현실 디바이스(10)로 전송한다.In the customized exercise program creation and supply step (S180), data including the cognitive capabilities and the physical capabilities are provided so that a medical professional (e.g., a doctor) can create a customized exercise program optimized for the current state of the trainee (T). is provided, and when the medical expert creates the customized exercise program optimized for exercise type, exercise intensity, number of exercises, etc., it is transmitted to the augmented reality device 10.
상기 의료전문가는 상기 서버(20)로부터 상기 개인건강기록을 비롯하여, 상기 인지역량 및 상기 신체역량을 포함하는 데이터가 제공되면, 부족한 인지활동과 신체활동에 대하여 훈련 처방을 제공함으로써, 상기 피훈련자(T)가 현재 상태로부터 더 나은 상태로 되도록 최적화된 운동프로그램을 생성한다.When data including the personal health record, the cognitive capacity, and the physical capacity are provided from the server 20, the medical expert provides training prescriptions for insufficient cognitive activity and physical activity to the trainee ( T) creates an optimized exercise program to help you move from your current state to a better state.
한편, 상기 맞춤형 운동프로그램 생성 및 공급 단계(S180)에서는 상기 서버(20)가 미리 정해진 로직에 따라 상기 피훈련자(T)의 현재 상태에 최적화된 맞춤형 운동프로그램을 생성할 수도 있다. 즉, 상기 서버(20)로 전송된 상기 인지역량 및 상기 신체역량을 포함한 데이터에 기반하여, 상기 서버(20)가 상기 피훈련자(T)의 현재 상태에 최적화된 맞춤형 운동프로그램을 생성하여 상기 증강현실 디바이스(10)로 전송한다.Meanwhile, in the customized exercise program creation and supply step (S180), the server 20 may generate a customized exercise program optimized for the current state of the trainee T according to predetermined logic. That is, based on data including the cognitive capabilities and the physical capabilities transmitted to the server 20, the server 20 generates a customized exercise program optimized for the current state of the trainee T to enhance the training. Transmitted to the real device 10.
상기 서버(20)는 상기 피훈련자(T)의 현재 상태에 최적화되어, 부족한 인지활동과 신체활동에 대하여 훈련 처방을 제공함으로써, 상기 피훈련자(T)가 현재 상태로부터 더 나은 상태로 되도록 하는 운동프로그램을 생성한다.The server 20 is optimized for the current state of the trainee (T) and provides training prescriptions for insufficient cognitive activities and physical activities, thereby enabling the trainee (T) to improve from its current state. Create a program.
상기 서버(20)는 제공된 데이터를 기반으로 하여, 상기 피훈련자(T)에게 맞춤형 운동프로그램을 생성하는 로직이 저장되어 있다. 따라서, 상기 서버(20)로 전송된 최근의 상기 인지역량 및 상기 신체역량과, 그 이전에 상기 피훈련자(T)에 대한 데이터 등을 이용하여 상기 피훈련자(T)에게 최적화된 맞춤형 운동프로그램을 생성한다.The server 20 stores logic for generating a customized exercise program for the trainee T based on the provided data. Therefore, a customized exercise program optimized for the trainee (T) is created using the latest cognitive capabilities and physical capabilities transmitted to the server 20, and previous data on the trainee (T). Create.
*상기 서버(20)는 상기 맞춤형 운동프로그램이 상기 의료전문가 또는 상기 서버(20)에 의해 생성되면, 이를 상기 증강현실 디바이스(10)로 전송한다.*When the customized exercise program is created by the medical expert or the server 20, the server 20 transmits it to the augmented reality device 10.
상기 증강현실 디바이스(10)로 상기 맞춤형 운동프로그램이 전송되면, 이를 상기 증강현실 디바이스(10)의 컨텐츠로 추가하여, 상기 피훈련자(T)에게 제공한다. 상기 증강현실 디바이스(10)에 상기 맞춤형 운동프로그램이 추가되면, 앞서 설명한 바와 같은 과정을 반복하여 수행된다.When the customized exercise program is transmitted to the augmented reality device 10, it is added as content of the augmented reality device 10 and provided to the trainee T. When the customized exercise program is added to the augmented reality device 10, the process described above is repeatedly performed.
10 : 증강현실 디바이스
11 : 3D 깊이 카메라
12 : 디스플레이
20 : 서버
S110 : 피훈련자 감지 단계
S120 : 컨텐츠 선정 단계
S130 : 컨텐츠 구현 단계
S140 : 인지 및 신체활동 감지 단계
S150 : 인지 및 신체역량 산출 단계
S160 : 인지 및 신체역량 전송 단계
S170 : 추가정보 입력 단계
S180 : 맞춤형 운동프로그램 생성 및 공급 단계10: Augmented reality device
11: 3D depth camera
12: display
20: Server
S110: Trainee detection step
S120: Content selection step
S130: Content implementation stage
S140: Cognitive and physical activity detection stage
S150: Cognitive and physical capacity calculation stage
S160: Cognitive and physical capacity transfer stage
S170: Additional information input step
S180: Customized exercise program creation and supply stage
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020240065094AKR20240078420A (en) | 2021-07-20 | 2024-05-20 | System and method for management of developmental disabilities based on personal health record |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210094853AKR20230013853A (en) | 2021-07-20 | 2021-07-20 | System and method for management of developmental disabilities based on personal health record |
| KR1020240065094AKR20240078420A (en) | 2021-07-20 | 2024-05-20 | System and method for management of developmental disabilities based on personal health record |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210094853ADivisionKR20230013853A (en) | 2021-07-20 | 2021-07-20 | System and method for management of developmental disabilities based on personal health record |
| Publication Number | Publication Date |
|---|---|
| KR20240078420Atrue KR20240078420A (en) | 2024-06-03 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210094853ACeasedKR20230013853A (en) | 2021-07-20 | 2021-07-20 | System and method for management of developmental disabilities based on personal health record |
| KR1020240065094APendingKR20240078420A (en) | 2021-07-20 | 2024-05-20 | System and method for management of developmental disabilities based on personal health record |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210094853ACeasedKR20230013853A (en) | 2021-07-20 | 2021-07-20 | System and method for management of developmental disabilities based on personal health record |
| Country | Link |
|---|---|
| KR (2) | KR20230013853A (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20240124814A (en) | 2023-02-08 | 2024-08-19 | 연세대학교 원주산학협력단 | Server for predicting sleep disorders using lifelog big data and method operation thereof |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180065709A (en) | 2016-12-08 | 2018-06-18 | 정은지 | Training system using neurofeedback apparatus and various video contents and method thereof |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180065709A (en) | 2016-12-08 | 2018-06-18 | 정은지 | Training system using neurofeedback apparatus and various video contents and method thereof |
| Publication number | Publication date |
|---|---|
| KR20230013853A (en) | 2023-01-27 |
| Publication | Publication Date | Title |
|---|---|---|
| Sadeghi Milani et al. | A systematic review of human–computer interaction (HCI) research in medical and other engineering fields | |
| Veras et al. | Scoping review of outcome measures used in telerehabilitation and virtual reality for post-stroke rehabilitation | |
| US11133096B2 (en) | Method for non-invasive motion tracking to augment patient administered physical rehabilitation | |
| US20050216243A1 (en) | Computer-simulated virtual reality environments for evaluation of neurobehavioral performance | |
| CN103561651B (en) | Systems and methods for assessing cognitive function | |
| Melero et al. | Upbeat: Augmented Reality‐Guided Dancing for Prosthetic Rehabilitation of Upper Limb Amputees | |
| Afyouni et al. | A therapy-driven gamification framework for hand rehabilitation | |
| KR20110021866A (en) | System and method for assisting in making a treatment plan | |
| WO2019173765A1 (en) | Systems for monitoring and assessing performance in virtual or augmented reality | |
| US20240149115A1 (en) | Method and system for providing digitally-based musculoskeletal rehabilitation therapy | |
| US20230169880A1 (en) | System and method for evaluating simulation-based medical training | |
| Kaber et al. | Human factors in virtual reality system design for mobility and haptic task performance | |
| Farooq et al. | Applications of augmented reality in neurology: architectural model and guidelines | |
| KR20240078420A (en) | System and method for management of developmental disabilities based on personal health record | |
| Ventura et al. | Effectiveness of a Virtual Reality rehabilitation in stroke patients with sensory-motor and proprioception upper limb deficit: A study protocol | |
| Vestito et al. | STORMS: A pilot feasibility study for occupational TeleRehabilitation in multiple sclerosis | |
| Meusel | Exploring mental effort and nausea via electrodermal activity within scenario-based tasks | |
| Guanoluisa et al. | GY MEDIC: analysis and rehabilitation system for patients with facial paralysis | |
| US20240342042A1 (en) | Digital apparatus and application for improving eyesight | |
| KR20230053838A (en) | How to provide customized exercise program content for trainees with developmental disabilities | |
| Thakur et al. | Ultimate usability and user experience in electronic health records: designing user-friendly features for EHRs | |
| Rahman et al. | GEAR: A mobile game-assisted rehabilitation system | |
| US20250299830A1 (en) | System and method for generating a consolidated health index score based on physical assessment performance | |
| Hsu et al. | Interface design for 360° real scenes-based virtual reality system with pedaling devices | |
| Lim | Factors influencing adoption and sustained use of rehabilitation technologies in clinical practice |
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| PA0107 | Divisional application | Comment text:Divisional Application of Patent Patent event date:20240520 Patent event code:PA01071R01D Filing date:20210720 Application number text:1020210094853 | |
| PA0201 | Request for examination | ||
| PG1501 | Laying open of application |