本開示は、ユーザの動きを表示するプログラム、方法、および電子機器に関する。 TECHNICAL FIELD The present disclosure relates to programs, methods, and electronic devices that display user movements.
ユーザの動きをカメラなどで撮影し、撮影した動画像に基づいて、ユーザの動きを評価する技術が知られている。 2. Description of the Related Art A technique is known in which a user's movement is captured by a camera or the like, and the user's movement is evaluated based on the captured moving image.
ユーザがエキササイズなどのトレーニングを行う際に、ユーザの動きを撮影する技術がある。特許文献１には、ユーザのトレーニングの様子を動画で撮影し、例えば、スクワットを行う際の脚の角度が閾値を満たさなければ、「下脚をもっと曲げてください」といった音声で通知を行うことが開示されている。 2. Description of the Related Art There is a technique for photographing a user's movement when the user performs training such as exercise. Patent Literature 1 discloses that a user's training state is captured as a video, and, for example, if the angle of the leg when performing a squat does not meet the threshold, a voice message such as "Please bend the lower leg more" is issued.
ユーザがトレーニングを行なっている最中に、そのフォームや動きなどについて知りたい場合がある。特許文献１の方法では、脚を曲げることは伝わるが、どの程度曲げれば良いのか分からない可能性がある。 While the user is training, there are times when he or she wants to know about their form, movements, and so on. In the method of Patent Literature 1, the bending of the leg is transmitted, but there is a possibility that it is not known how much the leg should be bent.
本発明は、上記の課題に鑑み、ユーザがより分かりやすくトレーニングを行うことができるプログラム、方法、電子機器の提供を目的とする。 SUMMARY OF THE INVENTION In view of the above problems, an object of the present invention is to provide a program, a method, and an electronic device that enable a user to perform training in a more comprehensible manner.
一実施形態によると、ユーザの動きを検知する検知ステップと、予め定まった第１の動きに関するトレーニングを開始する指示を受け付ける受付ステップと、前記検知ステップにおいて検知した動きに基づき、当該動きを示すアイテムを表示するように制御する表示制御ステップであって、前記受付ステップにおいて前記指示を受け付けたことに応じて、前記第１の動きを示す動画像と、前記検知ステップにおいて検知した動きを示すアイテムを第１のアイテムとを並べて表示し、前記受付ステップにおいて前記指示を受け付けた後、所定の条件が満たされたことに応じて、前記検知ステップにおいて検知した動きを示すアイテムであって、前記第一のアイテムとは表示形態が異なり、前記ユーザの動きに応じて非表示にはならない第２のアイテムを新たに表示するように制御する表示制御ステップとを実行することを特徴とする。 According to one embodiment, a detection step of detecting movement of the user, a reception step of receiving an instruction to start training related to a predetermined first movement, and a display control step of controlling to display an item showing the movement based on the movement detected in the detection step, wherein in response to receiving the instruction in the reception step, a moving image showing the first movement and an item showing the movement detected in the detection step are displayed side by side, and after receiving the instruction in the reception step, a predetermined and a display control step of performing control to newly display a second item that indicates the movement detected in the detection step in response to the satisfaction of a condition, is different in display form from the first item and is not hidden in response to the movement of the user.
本開示によれば、ユーザがより分かりやすくトレーニングを行うことができる。 Advantageous Effects of Invention According to the present disclosure, it is possible for a user to perform training in a more comprehensible manner.
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the following description, the same parts are given the same reference numerals. Their names and functions are also the same. Therefore, detailed description thereof will not be repeated.
＜第１の実施の形態＞ <First embodiment>
＜概要＞ <Overview>
以下の実施形態では、ユーザの身体のバランス、ユーザの身体の動きを測定することにより、ユーザの身体のしなやかさを評価して、美しい姿勢（例えば、美しい歩行姿勢）を体得できるようエクササイズメニューを提供するための測定システム１について説明する。 In the following embodiments, a measurement system 1 will be described that measures the balance and movement of the user's body, evaluates the suppleness of the user's body, and provides an exercise menu so that the user can acquire a beautiful posture (for example, a beautiful walking posture).
ユーザの歩行姿勢が整っていない場合、歩行動作には必ずしも必要ではない動作をすることとなるため、ユーザの力が不要に消費されてしまうことになり、疲労が蓄積しやすくなる。ユーザの歩行姿勢を美しくすることで、ユーザが身体を機能的に動かすことができ、結果として、疲労の少ない歩き方となり得る。そこで、測定システム１では、（１）ユーザの歩行時の動作を測定して、歩行姿勢を評価する（美しく、バランスよく歩くことができているかを評価する）ことと、（２）ユーザの各関節のしなやかさを測定して、関節可動域を評価するROMチェックをすること（ROM：Range of motion）と、（３）ユーザの筋力の状態を評価してトレーニングメニューを提供することとを行う。 If the walking posture of the user is not in order, the user will perform a motion that is not necessarily required for walking, so the user's strength will be unnecessarily consumed, and fatigue will easily accumulate. By improving the user's walking posture, the user can move the body functionally, and as a result, the user can walk with less fatigue. Therefore, the measurement system 1 (1) measures the user's motion during walking to evaluate the walking posture (evaluates whether the user can walk beautifully and with good balance), (2) measures the suppleness of each joint of the user and performs a ROM check to evaluate the joint range of motion (ROM: Range of motion), and (3) evaluates the state of the user's muscle strength and provides a training menu.
ユーザがバランスよく歩けている場合（身体の左右の動かし方で偏りがない、歩行動作時の筋肉の動きが理想的である等）、身体の動かし方が機能的となる。ここで、機能的な動かし方とは、ユーザが不要な力を消費することなく、歩くために筋肉を動かせていることをいう。つまり、ユーザが筋肉を動かして歩行のための推進力を得ることとなるが、筋肉の動きが高い効率で推進力につながることをいう。その結果、ユーザが美しく歩いている印象を与えることができる。このようなバランスのよい歩き方をユーザが体得できるようにするにあたり、関節可動域を評価することが有効であり、測定システム１では、関節可動域の評価とともに、これら関節可動域の評価結果を前提としつつ歩行姿勢を美しく見せるために必要な筋肉のトレーニングをもユーザに提供する。 When the user is able to walk in a well-balanced manner (the way the body moves left and right is not biased, the movement of the muscles during walking is ideal, etc.), the way the user moves the body becomes functional. Here, the functional way of moving means that the user can move the muscles for walking without consuming unnecessary power. In other words, the user moves the muscles to obtain the driving force for walking, and the movement of the muscles leads to the driving force with high efficiency. As a result, it is possible to give the impression that the user is walking beautifully. It is effective to evaluate the range of motion of the joints in order to allow the user to learn such a well-balanced walking style. In addition to the evaluation of the range of motion of the joints, the measurement system 1 also provides the user with training of the muscles necessary to make the walking posture look beautiful on the premise of the evaluation results of the range of motion of the joints.
以上のように、測定システム１は、ユーザの身体の動きの測定（チェック）と、ユーザの身体を動かすためのエクササイズとを提供する。 As described above, the measurement system 1 provides measurement (checking) of the user's body movement and exercises for moving the user's body.
測定システム１は、例えば、事業会社の事業所、商業施設の施設内、店舗スペース、スタジオ、個人の家庭内等に設置され得る。例えば、事業会社が、従業員の健康管理をよりいっそう促すため、測定システム１を導入することがあり得る。また、商業施設の店舗において、測定システム１を展開することにより、健康管理サービスを消費者に向けて提供することがあり得る。 The measurement system 1 can be installed, for example, in an office of a business company, inside a facility of a commercial facility, in a store space, in a studio, in an individual's home, or the like. For example, a business company may introduce the measurement system 1 in order to further encourage employees to manage their health. Also, by deploying the measurement system 1 in stores of commercial facilities, health management services may be provided to consumers.
＜１ システム全体の構成図＞ <1 Configuration diagram of the entire system>
図１は、測定システム１の全体の構成を示す図である。 FIG. 1 is a diagram showing the overall configuration of a measurement system 1. As shown in FIG.
図１に示すように、測定システム１は、ユーザの身体の動きを測定する各種センサにより構成される複数の測定ユニット（図示する例では、測定ユニット３０Ａ、３０Ｂ、３０Ｃを示している。以降、それぞれの測定ユニットを「測定ユニット３０」と記載することもある）と、測定ユニットの動作を制御する端末装置１０（図示する例では、端末装置１０を示している。以降、複数のユーザの端末装置を記載する場合は、「端末装置１０Ａ」、「端末装置１０Ｂ」などと記載することもある。また、端末装置を構成する各要素（プロセッサなど）も、同様に記載することもある。）と、ユーザの身体の動きの測定結果を蓄積するサーバ２０とにより構成されている。 As shown in FIG. 1, the measurement system 1 includes a plurality of measurement units (in the illustrated example, measurement units 30A, 30B, and 30C are shown; hereinafter, each measurement unit may be referred to as "measurement unit 30"), and a terminal device 10 (in the illustrated example, the terminal device 10 is indicated. Hereinafter, when describing the terminal devices of a plurality of users, "terminal device 10A" and "terminal It may also be described as "device 10B". Also, each element (processor, etc.) that constitutes the terminal device may be described in the same way.) and a server 20 that accumulates the measurement results of the user's body movement.
測定ユニット３０は、端末装置１０と、有線または無線により接続される。図示するように、１つの端末装置１０に対し、複数の測定ユニット３０を接続することとしてもよいし、測定ユニット３０それぞれに対し端末装置１０を接続する（つまり、１つの測定ユニット３０に対し１つの端末装置１０を用意してユーザの測定を行う）こととしてもよい。 The measurement unit 30 is connected to the terminal device 10 by wire or wirelessly. As shown in the figure, a plurality of measurement units 30 may be connected to one terminal device 10, or the terminal device 10 may be connected to each measurement unit 30 (that is, one terminal device 10 may be prepared for one measurement unit 30 to perform user measurement).
測定ユニット３０は、測定装置（図示する例では、測定装置３１Ａ、３１Ｂ、３１Ｃを示している。これらを総称して「測定装置３１」と記載することもある）と、マット（図示する例では、マット３２Ａ、３２Ｂ、３２Ｃを示している。これらを総称して「マット３２」と記載することもある）と、立体物であるポール（図示する例では、ポール３３Ａ、３３Ｂ、３３Ｃを示している。これらを総称して「ポール３３」と記載することもある）とを含む。 The measurement unit 30 includes a measuring device (measuring devices 31A, 31B, and 31C in the illustrated example, which may be collectively referred to as "measuring device 31"), a mat (mats 32A, 32B, and 32C in the illustrated example, which may be collectively referred to as "mat 32"), and a three-dimensional object pole (poles 33A, 33B, and 33C in the illustrated example. These are collectively referred to. and may be described as "pole 33").
測定装置３１は、ユーザの身体の動きを測定するためのものであり、例えば、ＲＧＢ－Ｄカメラ（深度センサ）により、測定対象物までの距離と方向とを検出する。測定装置３１は、この他に、マイクロフォンアレイなどを備え、ユーザの音声、当該音声が到来する方向などを検出することとしてもよい。例えば、測定装置３１は、Kinect（登録商標）のように、ユーザのジェスチャー、音声認識による操作を受け付けることが可能なデバイスであるとしてもよい。測定装置３１は、ユーザの身体を検出することにより、ユーザの位置、ユーザの身体の各関節の位置を検出する。これにより、測定装置３１は、ユーザを構成する各関節を仮想的に接続した仮想的な骨（ボーン）を設定して、ユーザの身体の動きを計測する。また、測定装置３１は、Kinect（登録商標）の他に、スマートフォン等の端末であるとしてもよい。例えば、スマートフォンに深度カメラが設けられている場合、当該スマートフォンにより、ユーザの身体を、点群データ（ポイントクラウドデータ）として取得することができる。 The measuring device 31 is for measuring the movement of the user's body, and detects the distance and direction to the measuring object by, for example, an RGB-D camera (depth sensor). The measurement device 31 may also include a microphone array or the like to detect the user's voice, the direction from which the voice arrives, and the like. For example, the measurement device 31 may be a device such as Kinect (registered trademark) that can accept user gestures and voice recognition operations. By detecting the user's body, the measuring device 31 detects the position of the user and the positions of the joints of the user's body. Thereby, the measuring device 31 sets a virtual bone (bone) that virtually connects each joint that constitutes the user, and measures the movement of the user's body. In addition, the measuring device 31 may be a terminal such as a smart phone in addition to the Kinect (registered trademark). For example, when a smartphone is provided with a depth camera, the smartphone can acquire the user's body as point cloud data (point cloud data).
また、測定装置３１は、距離を測定する機能がなくとも、撮影画像に基づき被写体を特定すること、および、当該被写体とカメラとの距離とを推定する学習済みモデルを利用することにより、撮影画像に基づき被写体までの距離（例えば、被写体の各関節までの距離）を取得することとしてもよい。また、測定装置３１が距離を測定できない場合（ＲＧＢカメラなど）においても、撮影画像に基づき被写体の各部位を特定し、骨格（ボーン）を推定することとしてもよい。また、測定装置３１として、複数台のカメラを設け、視差のある撮影画像を得ることにより、被写体までの距離を推定することとしてもよい。 Further, the measuring device 31 may acquire the distance to the subject (for example, the distance to each joint of the subject) based on the captured image by specifying the subject based on the captured image and using a trained model for estimating the distance between the subject and the camera, even without the function of measuring the distance. Also, even if the measuring device 31 cannot measure the distance (such as with an RGB camera), each part of the subject may be specified based on the captured image to estimate the skeleton (bone). Alternatively, a plurality of cameras may be provided as the measuring device 31 to obtain captured images with parallax, thereby estimating the distance to the subject.
マット３２は、ユーザの身体の動きを測定するために、ユーザの立ち位置の目安を表示するためのものである。マット３２は、測定装置３１に対し所定の位置関係となる位置に配置する。つまり、マット３２は、測定装置３１がユーザの身体の動きを測定可能な範囲内に配置される。マット３２には、後述するように、ユーザの立ち位置を誘導するための複数の模様が含まれる。ユーザは、当該模様を視認しつつ、足の位置を調整したり、足を踏み出す動作をしたりする。 The mat 32 is for displaying an indication of the user's standing position in order to measure the movement of the user's body. The mat 32 is arranged at a position having a predetermined positional relationship with respect to the measuring device 31 . That is, the mat 32 is placed within a range where the measurement device 31 can measure the movement of the user's body. The mat 32 includes a plurality of patterns for guiding the user's standing position, as will be described later. While viewing the pattern, the user adjusts the position of the foot or makes a stepping motion.
ポール３３は、ユーザの身体の動き、例えば、ユーザが身体をねじる動きを測定するために、マット３２とともに用いられる。ポール３３は、マット３２において、ユーザの足を置く立ち位置の目安の模様と関連付けた位置に配置する。ユーザは、マット３２に両足をつけたまま（つまり、両足の立ち位置を動かさず）、身体をねじってマット３２の両サイドに置かれる一対のポールに手で触れるよう動作する。よって、マット３２は、ユーザが身体をねじる動作をするために、腕を移動させる目標点として利用される。マット３２は、ユーザが身体をねじった際に手で把持できるよう、ユーザの身長に応じた高さに設定することとしてもよい。 The poles 33 are used with the mat 32 to measure the motion of the user's body, eg, the user's twisting motion. The poles 33 are arranged on the mat 32 at positions associated with patterns indicating the standing positions on which the user's feet are placed. While keeping both feet on the mat 32 (that is, without moving the standing position of both feet), the user twists the body and touches the pair of poles placed on both sides of the mat 32 with the hands. Therefore, the mat 32 is used as a target point for moving the arm in order for the user to make a twisting motion. The mat 32 may be set to a height corresponding to the height of the user so that the user can hold it by hand when twisting the body.
以上のように、測定ユニット３０を構成する測定装置３１、マット３２、ポール３３の組み合わせについて説明した。以下の説明では、１のユーザが、１の測定ユニット３０を使用するものとして説明する。ただし、１つの測定装置３１により、複数のユーザの身体の動きを測定することとしてもよい。つまり、１つの測定装置３１の測定範囲において、複数のユーザが身体を動かすこととしてもよい。 As described above, the combination of the measuring device 31, the mat 32, and the poles 33 that constitute the measuring unit 30 has been described. In the following description, it is assumed that one user uses one measurement unit 30 . However, one measuring device 31 may measure the body movements of a plurality of users. In other words, a plurality of users may move their bodies within the measurement range of one measurement device 31 .
端末装置１０とサーバ２０とは、ネットワーク８０を介して通信接続する。また、本実施形態において、各装置（端末装置、サーバ等）を情報処理装置として把握することもできる。すなわち、各装置の集合体を１つの「情報処理装置」として把握することができ、測定システム１を複数の装置の集合体として形成してもよい。１つ又は複数のハードウェアに対して本実施形態に係る測定システム１を実現することに要する複数の機能の配分の仕方は、各ハードウェアの処理能力及び／又は測定システム１に求められる仕様等に鑑みて適宜決定することができる。 The terminal device 10 and the server 20 are connected for communication via the network 80 . Further, in the present embodiment, each device (terminal device, server, etc.) can also be understood as an information processing device. In other words, a set of devices can be understood as one "information processing device", and the measurement system 1 may be formed as a set of a plurality of devices. The method of allocating the plurality of functions required to implement the measurement system 1 according to the present embodiment to one or more pieces of hardware can be appropriately determined in consideration of the processing capability of each piece of hardware and/or the specifications required for the measurement system 1.
端末装置１０は、各ユーザが操作する装置である。端末装置１０は、例えば据え置き型のＰＣ（Personal Computer）、ラップトップＰＣであるとしてもよい。この他に、端末装置１０は、移動体通信システムに対応したスマートフォン、タブレット等の携帯端末などにより実現される。図１に端末装置１０Ｂとして示すように、端末装置１０は、通信ＩＦ（Interface）１２と、入力装置１３と、出力装置１４と、メモリ１５と、記憶部１６と、プロセッサ１９とを備える。サーバ２０は、通信ＩＦ２２と、入出力ＩＦ２３と、メモリ２５と、ストレージ２６と、プロセッサ２９とを備える。 The terminal device 10 is a device operated by each user. The terminal device 10 may be, for example, a stationary PC (Personal Computer) or a laptop PC. In addition, the terminal device 10 is implemented by a mobile terminal such as a smart phone or a tablet compatible with a mobile communication system. As shown as terminal device 10B in FIG. The server 20 includes a communication IF 22 , an input/output IF 23 , a memory 25 , a storage 26 and a processor 29 .
端末装置１０は、ネットワーク８０を介してサーバ２０と通信可能に接続される。端末装置１０は、５Ｇ、ＬＴＥ（Long Term Evolution）などの通信規格、また、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）８０２．１１などの無線ＬＡＮ（Local Area Network）規格に対応しており、通信機器と通信することによりネットワーク８０に接続される。 The terminal device 10 is communicably connected to the server 20 via the network 80 . The terminal device 10 is compatible with communication standards such as 5G and LTE (Long Term Evolution), and wireless LAN (Local Area Network) standards such as IEEE (Institute of Electrical and Electronics Engineers) 802.11, and communicates with communication equipment to connect to network 80.
通信ＩＦ１２は、端末装置１０が外部の装置と通信するため、信号を入出力するためのインタフェースである。入力装置１３は、ユーザからの入力操作を受け付けるための入力装置（例えば、タッチパネル、タッチパッド、マウス等のポインティングデバイス、キーボード等）である。出力装置１４は、ユーザに対し情報を提示するための出力装置（ディスプレイ、スピーカ等）である。メモリ１５は、プログラム、および、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性のメモリである。記憶部１６は、データを保存するための記憶装置であり、例えばフラッシュメモリ、ＨＤＤ（Hard Disc Drive）である。プロセッサ１９は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路などにより構成される。 The communication IF 12 is an interface for inputting and outputting signals so that the terminal device 10 communicates with an external device. The input device 13 is an input device (for example, a touch panel, a touch pad, a pointing device such as a mouse, a keyboard, etc.) for receiving an input operation from a user. The output device 14 is an output device (display, speaker, etc.) for presenting information to the user. The memory 15 temporarily stores programs and data processed by the programs, and is a volatile memory such as a DRAM (Dynamic Random Access Memory). The storage unit 16 is a storage device for storing data, and is, for example, a flash memory or a HDD (Hard Disc Drive). The processor 19 is hardware for executing an instruction set described in a program, and is composed of arithmetic units, registers, peripheral circuits, and the like.
図示するように、端末装置１０は、測定ユニット３０と有線又は無線により接続する。測定ユニット３０がユーザの身体の動きを測定することにより、ユーザの身体のしなやかさ、関節可動域の程度を評価することができる。 As illustrated, the terminal device 10 is connected to the measurement unit 30 by wire or wirelessly. By measuring the movement of the user's body with the measurement unit 30, it is possible to evaluate the flexibility of the user's body and the extent of the joint range of motion.
サーバ２０は、各ユーザの情報を管理する。サーバ２０は、ユーザの情報として、各ユーザの身体の動きを測定する際に参照されるパラメータ（例えば、身長）等を管理している。 The server 20 manages information of each user. The server 20 manages, as user information, parameters (such as height) that are referred to when measuring the body movements of each user.
サーバ２０は、ユーザ間の交流を促すための処理として、具体的には、複数のユーザが健康管理のために身体を動かすこと、身体の動きを測定することを支援するため、ユーザのマッチング等を行う。また、サーバ２０は、ユーザ間のメッセージの送受信等を行う。 Specifically, the server 20 performs user matching and the like in order to support a plurality of users to move their bodies for health management and to measure their body movements as a process for promoting interaction between users. The server 20 also performs transmission and reception of messages between users.
サーバ２０は、各ユーザが保有する仮想的なポイントを管理することとしてもよい。例えば、事業会社内において、各従業員が仮想的な通貨のように使用可能な、社内のポイント制度があるとする。当該ポイントは、仮想的な通貨のように、社内の購買処理に使用したり（社内の自動販売機等で決済に使用できる等）、他の社員に付与したりすることができる。例えば、ユーザが測定システム１で測定を行うことにより、サーバ２０が、当該ポイントをユーザに付与することとしてもよいし、ユーザが他のユーザとともに測定システム１で測定をすることにより（例えば、同じ場所で測定をする、同じ場所で同時に測定をする等）、当該ポイントをユーザに付与することとしてもよいし、関節可動域の評価結果が所定値を超えることで当該ポイントを付与する等してもよい。 The server 20 may manage virtual points owned by each user. For example, suppose there is an in-house point system that each employee can use like virtual currency within a business company. The points can be used for in-house purchase processing (can be used for payment at in-house vending machines, etc.) or given to other employees, like virtual currency. For example, the server 20 may give the points to the user when the user performs measurement with the measurement system 1, the points may be given to the user when the user performs measurements with the measurement system 1 together with other users (for example, when the user measures at the same place, or the points are measured at the same place at the same time), or when the evaluation result of the joint range of motion exceeds a predetermined value.
通信ＩＦ２２は、サーバ２０が外部の装置と通信するため、信号を入出力するためのインタフェースである。入出力ＩＦ２３は、ユーザからの入力操作を受け付けるための入力装置、および、ユーザに対し情報を提示するための出力装置とのインタフェースとして機能する。メモリ２５は、プログラム、および、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性のメモリである。ストレージ２６は、データを保存するための記憶装置であり、例えばフラッシュメモリ、ＨＤＤ（Hard Disc Drive）である。プロセッサ２９は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路などにより構成される。 The communication IF 22 is an interface for inputting and outputting signals for the server 20 to communicate with an external device. The input/output IF 23 functions as an interface with an input device for receiving input operations from the user and an output device for presenting information to the user. The memory 25 temporarily stores programs and data processed by the programs, and is a volatile memory such as a DRAM (Dynamic Random Access Memory). The storage 26 is a storage device for storing data, such as a flash memory or HDD (Hard Disc Drive). The processor 29 is hardware for executing an instruction set described in a program, and is composed of arithmetic units, registers, peripheral circuits, and the like.
＜１．１ 端末装置１０の構成＞ <1.1 Configuration of terminal device 10>
図２は、実施の形態１の測定システム１を構成する端末装置１０のブロック図である。図２に示すように、端末装置１０は、複数のアンテナ（アンテナ１１１、アンテナ１１２）と、各アンテナに対応する無線通信部（第１無線通信部１２１、第２無線通信部１２２）と、操作受付部１３０（タッチ・センシティブ・デバイス１３１を含む。この他に、マウス、タッチパッドなどの各種ポインティングデバイスを含むこととしてもよいし、キーボード、ジェスチャ検出装置を含むこととしてもよい）と、ディスプレイ１３２と、音声処理部１４０と、マイク１４１と、スピーカ１４２と、位置情報センサ１５０と、カメラ１６０と、記憶部１８０と、制御部１９０と、を含む。端末装置１０は、図２では特に図示していない機能及び構成（例えば、電力を保持するためのバッテリ、バッテリから各回路への電力の供給を制御する電力供給回路など）も有している。図２に示すように、端末装置１０に含まれる各ブロックは、バス等により電気的に接続される。 FIG. 2 is a block diagram of the terminal device 10 configuring the measurement system 1 of the first embodiment. As shown in FIG. 2, the terminal device 10 includes a plurality of antennas (antennas 111 and 112), wireless communication units (first wireless communication unit 121 and second wireless communication unit 122) corresponding to the respective antennas, an operation reception unit 130 (including a touch sensitive device 131. In addition, it may include various pointing devices such as a mouse and a touch pad, and may also include a keyboard and a gesture detection device), and a display 132. , an audio processing unit 140 , a microphone 141 , a speaker 142 , a position information sensor 150 , a camera 160 , a storage unit 180 and a control unit 190 . The terminal device 10 also has functions and configurations not particularly shown in FIG. 2 (for example, a battery for retaining power, a power supply circuit for controlling power supply from the battery to each circuit, etc.). As shown in FIG. 2, each block included in the terminal device 10 is electrically connected by a bus or the like.
アンテナ１１１は、端末装置１０が発する信号を電波として放射する。また、アンテナ１１１は、空間から電波を受信して受信信号を第１無線通信部１２１へ与える。 The antenna 111 radiates a signal emitted by the terminal device 10 as radio waves. Antenna 111 also receives radio waves from space and provides a received signal to first wireless communication section 121 .
アンテナ１１２は、端末装置１０が発する信号を電波として放射する。また、アンテナ１１２は、空間から電波を受信して受信信号を第２無線通信部１２２へ与える。 The antenna 112 radiates a signal emitted by the terminal device 10 as radio waves. Antenna 112 also receives radio waves from space and provides a received signal to second wireless communication section 122 .
第１無線通信部１２１は、端末装置１０が他の無線機器と通信するため、アンテナ１１１を介して信号を送受信するための変復調処理などを行う。第２無線通信部１２２は、端末装置１０が他の無線機器と通信するため、アンテナ１１２を介して信号を送受信するための変復調処理などを行う。第１無線通信部１２１と第２無線通信部１２２とは、チューナー、ＲＳＳＩ（Received Signal Strength Indicator）算出回路、ＣＲＣ（Cyclic Redundancy Check）算出回路、高周波回路などを含む通信モジュールである。第１無線通信部１２１と第２無線通信部１２２とは、端末装置１０が送受信する無線信号の変復調や周波数変換を行い、受信信号を制御部１９０へ与える。 The first wireless communication unit 121 performs modulation and demodulation processing for transmitting and receiving signals via the antenna 111 so that the terminal device 10 communicates with other wireless devices. The second wireless communication unit 122 performs modulation and demodulation processing for transmitting and receiving signals via the antenna 112 so that the terminal device 10 communicates with other wireless devices. The first radio communication unit 121 and the second radio communication unit 122 are communication modules including a tuner, an RSSI (Received Signal Strength Indicator) calculation circuit, a CRC (Cyclic Redundancy Check) calculation circuit, a high frequency circuit, and the like. The first radio communication unit 121 and the second radio communication unit 122 perform modulation/demodulation and frequency conversion of radio signals transmitted/received by the terminal device 10 and provide received signals to the control unit 190 .
操作受付部１３０は、ユーザの入力操作を受け付けるための機構を有する。具体的には、操作受付部１３０は、ポインティングデバイスとして、タッチ・センシティブ・デバイス１３１等を含む。タッチ・センシティブ・デバイス１３１は、端末装置１０のユーザの入力操作を受け付ける。タッチ・センシティブ・デバイス１３１は、例えば静電容量方式のタッチパネルを用いることによって、タッチパネルに対するユーザの接触位置を検出する。タッチ・センシティブ・デバイス１３１は、タッチパネルにより検出したユーザの接触位置を示す信号を入力操作として制御部１９０へ出力する。なお、端末装置１０は、測定装置３１と通信し、測定装置３１の測定結果を受け付けることにより、ユーザの入力操作を受け付けることとしてもよい。例えば、測定装置３１が点群データを取得する場合に、点群データに基づいてユーザの身体、ユーザの身体を構成する各関節を検出し、当該検出結果に基づいて、ユーザのジェスチャを入力として受け付ける。ユーザが入力可能なジェスチャとしては、ユーザの手の動き、頭部の動きなどの身体の動きがある。例えば、操作受付部１３０は、ユーザが所定のポーズをとること（両手を水平に上げて「Ｔ」字型のポーズをとる）を検出することとしてもよいし、ユーザが手を所定の形状にすることを検出することとしてもよい。 The operation accepting unit 130 has a mechanism for accepting user input operations. Specifically, operation accepting unit 130 includes a touch-sensitive device 131 or the like as a pointing device. The touch-sensitive device 131 receives input operations of the user of the terminal device 10 . The touch-sensitive device 131 detects the user's touch position on the touch panel by using, for example, a capacitive touch panel. The touch-sensitive device 131 outputs a signal indicating the user's touch position detected by the touch panel to the control unit 190 as an input operation. The terminal device 10 may communicate with the measuring device 31 and receive the measurement result of the measuring device 31 to receive the user's input operation. For example, when the measuring device 31 acquires point cloud data, it detects the user's body and each joint that constitutes the user's body based on the point cloud data, and accepts the user's gesture as an input based on the detection result. Gestures that can be input by the user include body movements such as user's hand movements and head movements. For example, the operation reception unit 130 may detect that the user takes a predetermined pose (raise both hands horizontally to take a "T"-shaped pose), or that the user makes his or her hands in a predetermined shape.
ディスプレイ１３２は、制御部１９０の制御に応じて、画像、動画、テキストなどのデータを表示する。ディスプレイ１３２は、例えばＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイによって実現される。端末装置１０と、出力装置（ディスプレイ１３２、スピーカ１４２）とは別のデバイスとして実現してもよい。 The display 132 displays data such as images, moving images, and text under the control of the control unit 190 . The display 132 is implemented by, for example, an LCD (Liquid Crystal Display) or an organic EL (Electro-Luminescence) display. The terminal device 10 and the output device (display 132, speaker 142) may be implemented as separate devices.
音声処理部１４０は、音声信号の変復調を行う。音声処理部１４０は、マイク１４１から与えられる信号を変調して、変調後の信号を制御部１９０へ与える。また、音声処理部１４０は、音声信号をスピーカ１４２へ与える。音声処理部１４０は、例えば音声処理用のプロセッサによって実現される。マイク１４１は、音声入力を受け付けて、当該音声入力に対応する音声信号を音声処理部１４０へ与える。スピーカ１４２は、音声処理部１４０から与えられる音声信号を音声に変換して当該音声を端末装置１０の外部へ出力する。 The audio processing unit 140 modulates and demodulates an audio signal. Audio processing section 140 modulates the signal supplied from microphone 141 and supplies the modulated signal to control section 190 . Also, the audio processing unit 140 provides an audio signal to the speaker 142 . The audio processing unit 140 is realized by, for example, a processor for audio processing. Microphone 141 receives a voice input and provides voice signal corresponding to the voice input to voice processing section 140 . The speaker 142 converts the audio signal provided from the audio processing unit 140 into audio and outputs the audio to the outside of the terminal device 10 .
位置情報センサ１５０は、端末装置１０の位置を検出するセンサであり、例えばＧＰＳ（Global Positioning System）モジュールである。ＧＰＳモジュールは、衛星測位システムで用いられる受信装置である。衛星測位システムでは、少なくとも３個または４個の衛星からの信号を受信し、受信した信号に基づいて、ＧＰＳモジュールが搭載される端末装置１０の現在位置を検出する。例えば、測定システム１において、ユーザが測定を行った場所を記録する場合に、位置情報センサ１５０の検出結果（緯度経度の情報、緯度経度と地図情報により特定される施設の情報、当該施設に関連付けられる事業所の情報など）を、測定結果と関連付けてサーバ２０で保持することとしてもよい。つまり、ユーザが測定を行った場所を、ユーザが当該場所を入力する操作によらずとも位置情報センサ１５０の検出結果に基づき端末装置１０が判別することとしてもよい。 The position information sensor 150 is a sensor that detects the position of the terminal device 10, and is, for example, a GPS (Global Positioning System) module. A GPS module is a receiving device used in a satellite positioning system. The satellite positioning system receives signals from at least three or four satellites, and detects the current position of the terminal device 10 equipped with a GPS module based on the received signals. For example, in the measurement system 1, when recording the location where the user performed the measurement, the detection results of the position information sensor 150 (latitude/longitude information, facility information specified by the latitude/longitude and map information, business office information associated with the facility, etc.) may be stored in the server 20 in association with the measurement results. That is, the terminal device 10 may determine the location where the user performed the measurement based on the detection result of the position information sensor 150 without the user's operation of inputting the location.
カメラ１６０は、受光素子により光を受光して、撮影画像として出力するためのデバイスである。カメラ１６０は、例えば、カメラ１６０から撮影対象までの距離を検出できる深度カメラである。本実施形態において、測定装置３１を、端末装置１０のカメラ１６０により実現することとしてもよい。つまり、端末装置１０と測定装置３１とを別個の装置として実現することの他に、端末装置１０が測定装置３１の機能を搭載していることとしてもよい。 The camera 160 is a device for receiving light with a light receiving element and outputting it as a photographed image. The camera 160 is, for example, a depth camera that can detect the distance from the camera 160 to the subject. In this embodiment, the measuring device 31 may be realized by the camera 160 of the terminal device 10. FIG. In other words, in addition to realizing the terminal device 10 and the measuring device 31 as separate devices, the terminal device 10 may be equipped with the functions of the measuring device 31 .
記憶部１８０は、例えばフラッシュメモリ等により構成され、端末装置１０が使用するデータおよびプログラムを記憶する。ある局面において、記憶部１８０は、ユーザ情報１８１と、測定項目情報１８２と、測定履歴情報１８３と、フレンドリスト１８４と、トレーニング項目情報１８５とを記憶する。これらの詳細は後述するが、概要は以下のとおりである。端末装置１０は、後述するサーバ２０の各種データベースから、これらの情報を取得することとしてもよい。 The storage unit 180 is configured by, for example, a flash memory or the like, and stores data and programs used by the terminal device 10 . In one aspect, storage unit 180 stores user information 181 , measurement item information 182 , measurement history information 183 , friend list 184 , and training item information 185 . The details of these will be described later, but the outline is as follows. The terminal device 10 may acquire these pieces of information from various databases of the server 20, which will be described later.
ユーザ情報１８１は、測定システム１におけるユーザの情報である。ユーザの情報としては、ユーザを識別する情報、ユーザの名称、ユーザの所属、ユーザの身体の情報（身長、体重、年齢など）等が含まれる。 The user information 181 is user information in the measurement system 1 . The user information includes information for identifying the user, user's name, user's affiliation, user's body information (height, weight, age, etc.) and the like.
測定項目情報１８２は、ＲＯＭチェックを行う場合の各測定項目の情報である。測定項目情報１８２としては、各測定項目においてユーザに対して出力する音声ガイドの情報などを含む。 The measurement item information 182 is information of each measurement item when ROM check is performed. The measurement item information 182 includes voice guidance information to be output to the user for each measurement item.
測定履歴情報１８３は、ユーザの身体の動きを測定した測定結果の履歴を示す。 The measurement history information 183 indicates the history of the measurement result of measuring the user's body movement.
フレンドリスト１８４は、ユーザ同士がフレンドとして登録している各ユーザの情報を示す。フレンドとして登録しているユーザ間でメッセージの送受信を可能とすることとしてもよい。 The friend list 184 shows information of each user registered as a friend between the users. Messages may be sent and received between users registered as friends.
トレーニング項目情報１８５は、ユーザに対し筋肉トレーニングメニューを提供する場合の、各トレーニング項目の情報を含む。例えば、トレーニングの名称と、ユーザが身体を動かすためのガイドとなる映像および音声の情報とを含む。端末装置１０は、ガイドとなる映像および音声によりユーザが身体を動かしていることを測定装置３１により測定し、ディスプレイ１３２に、逐次、測定結果を表示する。端末装置１０は、ディスプレイ１３２において、理想的な身体の動かし方と、ユーザが身体を動かしている際の測定結果（各関節の動き）とを対比させて、理想的な体の動かし方となるようユーザを促すこととしてもよい。 The training item information 185 includes information on each training item when a muscle training menu is provided to the user. For example, it includes the name of the training, and video and audio information that guides the user to exercise. The terminal device 10 uses the measuring device 31 to measure the movement of the user's body based on the video and audio that serve as a guide, and sequentially displays the measurement results on the display 132 . On the display 132, the terminal device 10 compares the ideal way of moving the body with the measurement result (movement of each joint) when the user is moving the body, and prompts the user to move the ideal way of the body.
制御部１９０は、記憶部１８０に記憶されるプログラムを読み込んで、プログラムに含まれる命令を実行することにより、端末装置１０の動作を制御する。制御部１９０は、例えばアプリケーションプロセッサである。制御部１９０は、プログラムに従って動作することにより、入力操作受付部１９１と、送受信部１９２と、データ処理部１９３と、報知制御部１９４としての機能を発揮する。 The control unit 190 controls the operation of the terminal device 10 by reading programs stored in the storage unit 180 and executing instructions included in the programs. The control unit 190 is, for example, an application processor. The control unit 190 functions as an input operation reception unit 191, a transmission/reception unit 192, a data processing unit 193, and a notification control unit 194 by operating according to a program.
入力操作受付部１９１は、タッチ・センシティブ・デバイス１３１等の入力装置に対するユーザの入力操作を受け付ける処理を行う。入力操作受付部１９１は、タッチ・センシティブ・デバイス１３１に対してユーザが指などを接触させた座標の情報に基づき、ユーザの操作がフリック操作であるか、タップ操作であるか、ドラッグ（スワイプ）操作であるか等の操作の種別を判定する。 The input operation reception unit 191 performs processing for receiving a user's input operation to the input device such as the touch sensitive device 131 . The input operation reception unit 191 determines the type of operation, such as whether the user's operation is a flick operation, a tap operation, or a drag (swipe) operation, based on information on coordinates at which the user touches the touch-sensitive device 131 with a finger or the like.
送受信部１９２は、端末装置１０が、サーバ２０、測定ユニット３０等の外部の装置と、通信プロトコルに従ってデータを送受信するための処理を行う。 The transmitting/receiving unit 192 performs processing for the terminal device 10 to transmit/receive data to/from external devices such as the server 20 and the measurement unit 30 according to a communication protocol.
データ処理部１９３は、端末装置１０が入力を受け付けたデータに対し、プログラムに従って演算を行い、演算結果をメモリ等に出力する処理を行う。 The data processing unit 193 performs processing according to a program to perform computation on data input by the terminal device 10, and outputs the computation result to a memory or the like.
報知制御部１９４は、表示画像をディスプレイ１３２に表示させる処理、音声をスピーカ１４２に出力させる処理等を行う。例えば、報知制御部１９４は、ＲＯＭチェック時に、音声によるガイドを出力する処理、エクササイズのためのトレーニングメニューを提供する際に、音声によるガイドと、模範となる身体の動きを示す映像とをユーザに提示する。 The notification control unit 194 performs processing for displaying a display image on the display 132, processing for outputting sound from the speaker 142, and the like. For example, the notification control unit 194 outputs audio guidance during a ROM check, and presents audio guidance and a video showing model body movements to the user when providing a training menu for exercise.
＜１．２ サーバ２０の機能的な構成＞ <1.2 Functional Configuration of Server 20>
図３は、サーバ２０の機能的な構成を示す図である。図３に示すように、サーバ２０は、通信部２０１と、記憶部２０２と、制御部２０３としての機能を発揮する。 FIG. 3 is a diagram showing a functional configuration of the server 20. As shown in FIG. As shown in FIG. 3 , the server 20 functions as a communication section 201 , a storage section 202 and a control section 203 .
通信部２０１は、サーバ２０が、端末装置１０等の外部の装置と通信するための処理を行う。 The communication unit 201 performs processing for the server 20 to communicate with an external device such as the terminal device 10 .
記憶部２０２は、サーバ２０が使用するデータ及びプログラムを記憶する。記憶部２０２は、ユーザ情報データベース２８１と、測定項目情報２８２と、測定履歴データベース２８３と、フレンドリスト２８４等を記憶する。 The storage unit 202 stores data and programs used by the server 20 . The storage unit 202 stores a user information database 281, measurement item information 282, a measurement history database 283, a friend list 284, and the like.
ユーザ情報データベース２８１は、測定システム１により測定を行う各ユーザの情報を示す。詳細は後述する。 The user information database 281 shows information of each user who performs measurement using the measurement system 1 . Details will be described later.
測定項目情報２８２は、複数の測定項目それぞれの情報を示す。詳細は後述する。 The measurement item information 282 indicates information on each of a plurality of measurement items. Details will be described later.
測定履歴データベース２８３は、各ユーザが測定を行った履歴を示す。詳細は後述する。 The measurement history database 283 shows the history of measurements made by each user. Details will be described later.
フレンドリスト２８４は、各ユーザがフレンド登録しているユーザの情報を保持するためのデータベースである。 The friend list 284 is a database for holding information on users registered as friends by each user.
トレーニング項目情報２８５は、ユーザに対しエクササイズ用のトレーニングメニューを提供する場合の、各トレーニング項目の情報を含む。トレーニングメニューは、ユーザの身体にかかる負荷、トレーニング対象の身体の部位などに応じて、複数のトレーニング項目の情報を含む。 The training item information 285 includes information on each training item when providing a training menu for exercise to the user. The training menu includes information on a plurality of training items according to the load on the user's body, the part of the body to be trained, and the like.
制御部２０３は、サーバ２０のプロセッサがプログラムに従って処理を行うことにより、各種モジュールとして示す機能を発揮する。 The control unit 203 exhibits functions shown as various modules when the processor of the server 20 performs processing according to a program.
操作内容取得モジュール２０４１は、ユーザの操作内容を取得する。操作内容取得モジュール２０４１は、例えば、ユーザが過去の測定ユニット３０による測定結果およびユーザの身体の動きの評価結果を取得する操作、他のユーザとメッセージを送受信するための操作、測定ユニット３０による測定が行われる機会がある場合に測定に参加することを申し込むための操作等を受け付ける。 The operation content acquisition module 2041 acquires the user's operation content. The operation content acquisition module 2041 accepts, for example, an operation by the user to acquire past measurement results by the measurement unit 30 and an evaluation result of the user's body movement, an operation to send and receive messages with other users, an operation to apply for participation in measurement when there is an opportunity for measurement by the measurement unit 30, and the like.
受信制御モジュール２０４２は、サーバ２０が外部の装置から通信プロトコルに従って信号を受信する処理を制御する。 The reception control module 2042 controls processing for the server 20 to receive a signal from an external device according to a communication protocol.
送信制御モジュール２０４３は、サーバ２０が外部の装置に対し通信プロトコルに従って信号を送信する処理を制御する。 The transmission control module 2043 controls the processing by which the server 20 transmits signals to external devices according to the communication protocol.
マッチングモジュール２０４４は、ユーザ同士をマッチングさせる。マッチングモジュール２０４４は、例えば、複数のユーザが同一の測定会場で測定システム１により測定を行ったことを検知して、当該複数のユーザをマッチングさせ、フレンドとして登録するよう促すこととしてもよい。また、マッチングモジュール２０４４は、測定システム１により測定を行う履歴が同程度のユーザを抽出してマッチングさせることとしてもよいし、測定ユニット３０によるＲＯＭチェックの結果が同程度のユーザを抽出してマッチングさせることとしてもよい。このように複数のユーザをマッチングさせ、フレンドとして登録することを促すことで、複数のユーザがともに美しい姿勢を目指してトレーニングを行うよう促すことができ得るため、測定システム１により測定を継続することを支援することができる。 Matching module 2044 matches users to each other. The matching module 2044 may, for example, detect that multiple users have taken measurements using the measurement system 1 at the same measurement site, match the multiple users, and prompt them to register as friends. In addition, the matching module 2044 may extract and match users with similar history of measurement by the measurement system 1, or extract and match users with similar ROM check results by the measurement unit 30. By matching a plurality of users in this way and urging them to register as friends, it is possible to encourage a plurality of users to train together with the aim of achieving a beautiful posture, so that the measurement system 1 can support continuous measurement.
測定進行モジュール２０４５は、測定ユニット３０によりユーザの身体の動きを測定する処理を進行させる。測定進行モジュール２０４５は、測定項目情報２８２に示される各測定項目を読み出すことにより、ユーザに対し、順次、測定項目に従った測定のための音声によるガイド等を出力する。例えば、サーバ２０は、端末装置１０に対し、各測定項目を送信するとともに、各測定項目に従って、順次、ユーザの身体の動きを測定させることとしてもよい。 The measurement progress module 2045 progresses the process of measuring the movement of the user's body by the measurement unit 30 . The measurement progress module 2045 reads out each measurement item shown in the measurement item information 282, and sequentially outputs to the user an audio guide or the like for measurement according to the measurement item. For example, the server 20 may transmit each measurement item to the terminal device 10 and cause the terminal device 10 to sequentially measure the movement of the user's body according to each measurement item.
トレーニング進行モジュール２０４６は、ユーザに対し、映像および音声によりトレーニングメニューを提供する処理を進行させる。トレーニング進行モジュール２０４６は、トレーニング項目情報２８５に示される各トレーニング項目を読み出すことにより、ユーザに対し、順次、トレーニング項目に従ったトレーニングのための音声によるガイド、映像によるガイド等を出力する。 The training progress module 2046 progresses the process of providing a training menu to the user by video and audio. The training progress module 2046 reads out each training item indicated in the training item information 285 and sequentially outputs audio guidance, video guidance, etc. for training according to the training item to the user.
＜２ データ構造＞ <2 Data structure>
図４は、サーバ２０が記憶するユーザ情報データベース２８１、測定項目情報２８２、測定履歴データベース２８３、フレンドリスト２８４のデータ構造を示す図である。 FIG. 4 shows the data structures of the user information database 281, measurement item information 282, measurement history database 283, and friend list 284 stored by the server 20. As shown in FIG.
図４に示すように、ユーザ情報データベース２８１のレコードのそれぞれは、項目「ユーザ識別情報（ユーザＩＤ）」と、項目「ユーザ名」と、項目「性別」と、項目「身長」と、項目「体重」と、項目「所属」と、項目「評価値」と、項目「社内ポイント」等を含む。 As shown in FIG. 4, each record of the user information database 281 includes an item “user identification information (user ID)”, an item “user name”, an item “gender”, an item “height”, an item “weight”, an item “affiliation”, an item “evaluation value”, an item “company points”, and the like.
項目「ユーザ識別情報（ユーザＩＤ）」は、ユーザそれぞれを識別する情報である。 The item “user identification information (user ID)” is information for identifying each user.
項目「ユーザ名」は、ユーザが設定した名称である。 The item "user name" is the name set by the user.
項目「性別」は、ユーザの性別を示す。例えば、ユーザが測定システム１の利用を開始しようとしてユーザの情報を登録する際に、性別を設定することとしてもよい。 The item "gender" indicates the gender of the user. For example, the user may set the gender when registering user information to start using the measurement system 1 .
項目「身長」は、ユーザの身体の動きを測定するうえで参照する情報として、ユーザの身長を示す。 The item "height" indicates the user's height as information to be referred to when measuring the user's body movement.
項目「体重」は、ユーザの体重の情報を示す。ユーザの身体の動きを測定するうえで体重の情報を参照しない場合などにおいて、当該項目「体重」についてデータを保持しないこととしてもよい。 The item "weight" indicates information on the weight of the user. In cases such as when weight information is not referred to when measuring the user's body movement, data for the item "weight" may not be retained.
項目「所属」は、ユーザが組織に所属している場合など、ユーザの所属先の情報を示す。例えば、項目「所属」において、会社名、組織名、事業所名等の情報を含む。当該項目「所属」は、ユーザが仕事をするオフィスの所在の情報を含むこととしてもよい。 The item "affiliation" indicates information on the user's affiliation, such as when the user belongs to an organization. For example, the item "Affiliation" includes information such as company name, organization name, and office name. The item “affiliation” may include information on the location of the office where the user works.
項目「評価値」は、ユーザが測定システム１においてＲＯＭチェックを行った測定結果に基づき評価される評価値、ユーザの歩行時の姿勢を測定した測定結果に基づく評価値の情報を含む。当該評価値は、例えば、端末装置１０が、測定ユニット３０による測定結果に基づいて、ユーザのＲＯＭチェックの結果を分類する場合の分類結果の情報を含む。 The item "evaluation value" includes information on an evaluation value evaluated based on the measurement results of the ROM check performed by the user in the measurement system 1, and an evaluation value based on the measurement results of the user's walking posture. The evaluation value includes, for example, classification result information when the terminal device 10 classifies the user's ROM check result based on the measurement result by the measurement unit 30 .
項目「社内ポイント」は、ユーザが所属する事業会社において使用される仮想的なポイントがある場合に、当該ポイントについてユーザが保有している量を示す。 The item "in-house points" indicates the amount of points held by the user, if virtual points are used in the operating company to which the user belongs.
測定項目情報２８２のレコードのそれぞれは、項目「測定項目番号（測定項目Ｎｏ．）」と、項目「測定部位」と、項目「ガイド音声」と、項目「マットにおける足の位置」と、項目「測定対象の身体の部位」とを含む。 Each record of the measurement item information 282 includes the item “measurement item number (measurement item No.)”, the item “measurement site”, the item “guide voice”, the item “foot position on mat”, and the item “body site to be measured”.
項目「測定項目番号（測定項目Ｎｏ．）」は、測定項目それぞれを識別するための情報である。 The item "measurement item number (measurement item No.)" is information for identifying each measurement item.
項目「測定部位」は、測定対象となる身体の部位を示す。例えば、関節可動域を評価する対象として、以下の部位がある。
（ｉ）上肢の測定
・ 肩甲骨：運動方向として、屈曲、伸展、拳上、引き下げがある。
・ 肩：運動方向として、屈曲、伸展、外転、内転、外旋、内旋がある。
・ 肘：運動方向として、屈曲、伸展がある。
・ 前腕：運動方向として、回内、回外がある。
・ 手：運動方向として、屈曲、伸展、撓屈、尺屈がある。
（ｉｉ）手指の測定
・ 母指：運動方向として、撓側外転、尺側内転、掌側外転、掌側内転、屈曲、伸展がある。
・ 指：運動方向として、屈曲、伸展、外転、内転がある。
（ｉｉｉ）下肢の測定
・ 股：運動方向として、屈曲、伸展、外転、内転、外旋、内旋がある。
・ 膝：運動方向として、屈曲、伸展がある。
・ 足：運動方向として、屈曲、伸展がある。
・ 足部：運動方向として、外がえし、内がえし、外転、内転がある。
・ 母指：運動方向として、屈曲、伸展がある。
・ 足指：運動方向として、屈曲、伸展がある。
（ｉｖ）体幹の測定
・ 頸部：運動方向として、屈曲、伸展、回旋（左回旋、右回旋）、側屈（左側屈、右側屈）がある。
・ 胸腰部：運動方向として、屈曲、伸展、回旋（左回旋、右回旋）、側屈（左側屈、右側屈）がある。The item "measurement site" indicates the site of the body to be measured. For example, there are the following parts as targets for evaluating joint range of motion.
(i) Measurement of Upper Limb Scapula: Directions of movement include flexion, extension, fist raising, and pulling down.
・Shoulder: Movement directions include flexion, extension, abduction, adduction, external rotation, and internal rotation.
・ Elbow: There are flexion and extension as motion directions.
・ Forearm: There are pronation and supination as directions of movement.
・ Hands: Movement directions include flexion, extension, flexion, and ulnar flexion.
(ii) Measurement of fingers - Thumb: Movement directions include flexor side abduction, ulnar side adduction, volar side abduction, volar side adduction, flexion, and extension.
・ Fingers: Movement directions include flexion, extension, abduction, and adduction.
(iii) Measurement of Lower Limbs · Crotch: Movement directions include flexion, extension, abduction, adduction, external rotation, and internal rotation.
・ Knee: Movement directions include flexion and extension.
・ Legs: Movement directions include flexion and extension.
・Foot: Movement directions include rolling, rolling, abduction, and adduction.
・ Thumb: Movement directions include flexion and extension.
・ Toes: Movement directions include flexion and extension.
(iv) Measurement of Trunk Neck: Movement directions include flexion, extension, rotation (left rotation, right rotation), and lateral bending (left bending, right bending).
・ Thoracic and lumbar region: Movement directions include flexion, extension, rotation (left rotation, right rotation), and lateral bending (left bending, right bending).
項目「ガイド音声」は、測定項目に示される測定を行う際に、ユーザに対して通知する音声の内容を示す。音声ガイドとしては、マット３２においてユーザが規定の位置に足を置いていない場合の音声（例えば、「マットの規定の位置に両足を置いてください」等）と、ユーザが測定のためにマット３２において規定の位置に足を置いたことを端末装置１０が検知してユーザに身体を動かすことを促す音声（例えば、「マットの規定の位置に両足を置いたまま身体をねじってください」等）と、測定装置３１の測定結果に基づきユーザの身体の動きの測定データが得られた場合の音声（例えば、「正常に測定されました」等）を含む。 The item "guidance voice" indicates the content of the voice to be notified to the user when performing the measurement indicated in the measurement item. The voice guidance includes a voice when the user does not place the user's feet on the specified positions on the mat 32 (for example, "Place both feet on the specified positions on the mat"), a voice prompting the user to move when the terminal device 10 detects that the user has placed the feet on the specified positions on the mat 32 for measurement (for example, "Twist your body while keeping both feet on the specified positions on the mat"), and measurement data of the user's body movements based on the measurement results of the measuring device 31. Includes audio if obtained (e.g., "measured successfully", etc.).
項目「マットにおける足の位置」は、測定を行う際に、マット３２のいずれの位置にユーザの両足を置くか（マット３２においてユーザが足を置く位置）の情報を含む。端末装置１０は、例えば、項目「マットにおける足の位置」の情報に基づいて、ユーザの両足がマットの規定の位置に置かれているか否かを検出する。当該検出により、端末装置１０は、ユーザに対し、測定をするための身体の動作の内容を示す音声を出力する。 The item “position of feet on mat” includes information on where the user's feet are placed on the mat 32 (positions where the user places their feet on the mat 32) when performing the measurement. For example, the terminal device 10 detects whether the user's feet are placed on the specified positions on the mat, based on the information in the item "feet positions on the mat". By this detection, the terminal device 10 outputs to the user a sound indicating the content of the body motion for measurement.
項目「測定対象の身体の部位」は、測定項目において測定の対象となる、ユーザの身体の部位を示す。 The item “body part to be measured” indicates the part of the user's body that is to be measured in the measurement item.
測定履歴データベース２８３のレコードそれぞれは、項目「測定番号（測定Ｎｏ．）」と、項目「日時」と、項目「ユーザ識別情報（ＩＤ）」と、項目「測定場所」と、項目「測定データ」と、項目「評価結果」とを含む。サーバ２０は、端末装置１０から、ユーザの身体の動きを測定した測定結果を受信する。サーバ２０は、端末装置１０から受信した情報に基づき測定履歴データベース２８３のレコードを更新する。 Each record in the measurement history database 283 includes the item “measurement number (measurement No.)”, the item “date and time”, the item “user identification information (ID)”, the item “measurement location”, the item “measurement data”, and the item “evaluation result”. The server 20 receives from the terminal device 10 the result of measuring the user's body movement. The server 20 updates the record of the measurement history database 283 based on the information received from the terminal device 10 .
項目「測定番号（測定Ｎｏ．）」は、ユーザが測定ユニット３０により身体の動きを測定した際の、測定結果それぞれを示す。 The item “measurement number (measurement No.)” indicates each measurement result when the user measures the movement of the body with the measurement unit 30 .
項目「日時」は、ユーザが測定ユニット３０により測定を行ったタイミングを示す。。 The item “date and time” indicates the timing at which the measurement was performed by the measurement unit 30 by the user. .
項目「ユーザ識別情報（ＩＤ）」は、測定ユニット３０により身体の動きを測定したユーザを識別する情報を示す。 The item “user identification information (ID)” indicates information identifying the user whose body movement was measured by the measurement unit 30 .
項目「測定場所」は、ユーザが測定ユニット３０により測定を行った場所を示す。サーバ２０は、端末装置１０から測定結果を受信した場合に、当該測定結果に対応付けられるユーザの情報を参照し、当該ユーザに関連付けられる情報（ユーザ情報データベース２８１）に基づき、ユーザが測定を行った場所を特定してもよい。例えば、ユーザ情報データベース２８１に示されるユーザの所属の情報に基づいて、当該所属先が位置する場所の情報を、測定ユニット３０により測定を行った場所としてもよい。また、端末装置１０が位置情報を位置情報センサ１５０により取得する等により、端末装置１０の位置を、測定ユニット３０により測定を行った場所とすることとしてもよい。 The item “measurement place” indicates the place where the user performed the measurement with the measurement unit 30 . When the server 20 receives the measurement result from the terminal device 10, the server 20 refers to the user information associated with the measurement result, and based on the information associated with the user (user information database 281), the location where the user performed the measurement may be specified. For example, based on the information on the user's affiliation shown in the user information database 281, the information on the place where the relevant affiliation is located may be used as the place where the measurement was performed by the measurement unit 30. FIG. Alternatively, the position of the terminal device 10 may be set as the location where the measurement is performed by the measurement unit 30 by the terminal device 10 acquiring the position information by the position information sensor 150 or the like.
項目「測定データ」は、測定ユニット３０により測定される、ユーザの身体の動きの測定結果を示す。例えば、ユーザの身体の動きを、時系列の点群データとして測定する場合に、当該時系列の点群データを、項目「測定データ」における測定結果であるとしてもよい。また、測定装置３１により測定されるユーザの身体について、端末装置１０が測定結果に基づいてユーザの関節の位置を特定し、関節それぞれの動きを、ユーザの身体の動きの測定結果としてサーバ２０において保持することとしてもよい。例えば、端末装置１０は、ユーザの身体の撮影画像に基づいて、肩、肘など身体の特定の部位を検出することにより、ユーザの関節の時系列の動きを測定することができる。 The item “measurement data” indicates the measurement result of the user's body movement measured by the measurement unit 30 . For example, when the user's body movements are measured as time-series point cloud data, the time-series point cloud data may be the measurement results in the item "measurement data." In addition, the terminal device 10 may specify the positions of the user's joints based on the measurement results of the user's body measured by the measurement device 31, and the movement of each joint may be stored in the server 20 as the measurement results of the user's body movement. For example, the terminal device 10 can measure time-series movements of the user's joints by detecting specific parts of the user's body, such as shoulders and elbows, based on captured images of the user's body.
項目「評価結果」は、項目「測定データ」に示される測定結果に基づいて、ユーザの身体の動きがどの程度の水準であるかを評価した評価結果を示す。端末装置１０は、例えば、項目「測定データ」においてユーザの関節の動きの時系列データを保持する場合に、参照先となる身体の動きのデータと比較することで、ユーザの身体の動きを評価する。例えば、端末装置１０が、参照先のデータとして、ユーザの身体の動きが良好な程度に応じて複数段階のデータを保持することにより、ユーザの身体の動きの測定結果に対し最も類似する動きの参照先のデータを特定することができる。 The item "evaluation result" indicates the evaluation result of evaluating the level of the user's body movement based on the measurement result indicated in the item "measurement data". For example, when the terminal device 10 holds the time-series data of the user's joint movements in the item "measurement data", the terminal device 10 compares the data with the reference body movement data to evaluate the user's body movements. For example, the terminal device 10 holds, as reference data, multiple levels of data according to the degree to which the user's body movement is good, so that the reference data of the movement most similar to the measurement result of the user's body movement can be specified.
フレンドリスト２８４のレコードのそれぞれは、項目「ユーザ１」と、項目「ユーザ２」と、項目「フレンド登録日」と、項目「同タイミングでの測定履歴」と、項目「メッセージ送受信履歴」等を含む。 Each record of the friend list 284 includes items such as the item “user 1”, the item “user 2”, the item “friend registration date”, the item “measurement history at the same timing”, and the item “message transmission/reception history”.
項目「ユーザ１」は、互いにフレンドとして登録しているユーザのうちの一方のユーザを示す。 The item "user 1" indicates one of the users who are mutually registered as friends.
項目「ユーザ２」は、互いにフレンドとして登録しているユーザのうちの他方のユーザを示す。 The item "user 2" indicates the other user among the users who are mutually registered as friends.
項目「フレンド登録日」は、ユーザ同士がフレンドとして登録された日時を示す。 The item "friend registration date" indicates the date and time when the users were registered as friends.
項目「同タイミングでの測定履歴」は、フレンドとして登録されている各ユーザが、同一の場所、または、同一のタイミングの少なくともいずれかを満たしつつ測定を行った履歴を示す。例えば、事業所のオフィススペース等で測定ユニット３０を配置する場合に、複数のユーザが一定の時間帯のうちに測定を行うことにより、これら複数のユーザが同タイミングで測定を行ったとしてもよい。項目「同タイミングでの測定履歴」において、複数のユーザが測定を行った場所の情報を含むこととしてもよい。例えば、サーバ２０がフレンドリスト２８４を参照することにより、複数のユーザがともに測定ユニット３０による身体の動きの測定とトレーニングメニューによるトレーニングを実施している頻度を特定することができる。 The item “history of measurements at the same timing” indicates histories of measurements performed by each user registered as a friend while satisfying at least one of the same location or the same timing. For example, when the measurement unit 30 is arranged in an office space of a business establishment, a plurality of users may perform measurements within a certain time period, and these users may perform measurements at the same timing. The item “history of measurements at the same timing” may include information on locations where measurements were taken by a plurality of users. For example, by referring to the friend list 284, the server 20 can specify the frequency with which a plurality of users both measure their body movements with the measuring unit 30 and train with a training menu.
項目「メッセージ送受信履歴」は、フレンドとして登録しているユーザ同士が送受信したメッセージの履歴を示す。 The item "message transmission/reception history" indicates the history of messages transmitted and received between users registered as friends.
＜３ 測定ユニット３０の構成＞ <3 Configuration of measurement unit 30>
図５は、測定システム１により、ユーザが身体の動きを測定する局面を示す。図５では、測定ユニット３０を複数設置して、複数のユーザが測定を行う例を示している。また、１つの端末装置１０が、複数の測定ユニット３０と接続する例を示している。 FIG. 5 shows a phase in which a user measures body movements with the measurement system 1 . FIG. 5 shows an example in which a plurality of measurement units 30 are installed and a plurality of users perform measurements. Also, an example in which one terminal device 10 is connected to a plurality of measurement units 30 is shown.
測定装置３１Ａは、センシング可能な検出範囲３８Ａにおいて第１のユーザＵｓｅｒ＿Ａの身体の動きを測定する。検出範囲３８Ａにおいて、測定装置３１Ａと所定の位置関係となる位置に、マット３２Ａを設置している。ここで、マット３２Ａの位置は、例えば、測定装置３１Ａの正面から一定距離（例えば、数メートル程度）の位置であるとしてもよい。マット３２Ａに第１のユーザＵｓｅｒ＿Ａが乗った場合に、測定装置３１Ａがユーザの全身の動きを測定可能となるように、測定装置３１Ａに対してマット３２Ａを設置するとよい。マット３２Ａの右側面および左側面において、それぞれ、ポール３３Ａが設置される。例えば、マット３２Ａにおいて、ユーザが両足を置くための既定の位置（ホームポジションと称してもよい）を示す模様がある場合に、当該模様を基準として、マット３２Ａの外側に一組のポール３３Ａを配置することとしてもよい。当該ポール３３Ａは、ユーザが両足を規定の位置に置いたままマット３２Ａ上において上肢をひねる動作をした場合に、ユーザがつかもうとする目安として設置する。これにより、ユーザが上肢をひねる動作をした場合にポール３３Ａにめがけて手を移動させようと促されるため、測定の機会を増やした場合においても上肢の動きのフォームをある程度安定させることができる。つまり、ユーザの身体の動きを測定する場合の時系列の測定結果のばらつきを抑えることができ得る。 The measuring device 31A measures the body movement of the first user User_A in a sensing range 38A. In the detection range 38A, the mat 32A is installed at a position having a predetermined positional relationship with the measuring device 31A. Here, the position of the mat 32A may be, for example, at a certain distance (for example, several meters) from the front of the measuring device 31A. The mat 32A may be installed with respect to the measuring device 31A so that the measuring device 31A can measure the movement of the user's whole body when the first user User_A gets on the mat 32A. Poles 33A are installed on the right and left sides of the mat 32A, respectively. For example, if the mat 32A has a pattern indicating a predetermined position (which may be referred to as a home position) for the user to place both feet, a set of poles 33A may be arranged outside the mat 32A based on the pattern. The pole 33A is installed as a reference for the user to grasp when the user makes a motion of twisting the upper limb on the mat 32A with both feet on the prescribed position. As a result, when the user twists the upper limbs, the user is urged to move the hand toward the pole 33A, so that the movement form of the upper limbs can be stabilized to some extent even when the measurement opportunities are increased. In other words, it is possible to suppress variations in time-series measurement results when measuring the user's body movement.
測定装置３１Ｂは、センシング可能な検出範囲３８Ｂにおいて第２のユーザＵｓｅｒ＿Ｂの身体の動きを測定する。検出範囲３８Ｂにおいて、測定装置３１Ｂと所定の位置関係となる位置に、マット３２Ｂを設置している。ここで、マット３２Ｂの位置は、例えば、測定装置３１Ｂの正面から一定距離（数メートル程度）の位置であるとしてもよい。マット３２Ｂに第２のユーザＵｓｅｒ＿Ｂが乗った場合に、測定装置３１Ｂがユーザの全身の動きを測定可能となるように、測定装置３１Ｂに対してマット３２Ｂを設置するとよい。マット３２Ｂの右側面および左側面において、それぞれ、ポール３３Ｂが設置される。 The measuring device 31B measures the body movement of the second user User_B in a sensing range 38B. In the detection range 38B, the mat 32B is installed at a position having a predetermined positional relationship with the measuring device 31B. Here, the position of the mat 32B may be, for example, a certain distance (about several meters) from the front of the measuring device 31B. The mat 32B may be installed with respect to the measuring device 31B so that the measuring device 31B can measure the movement of the user's whole body when the second user User_B gets on the mat 32B. Poles 33B are installed on the right and left sides of the mat 32B, respectively.
第１のユーザＵｓｅｒ＿Ａは、ディスプレイ１３２Ａに表示される映像、音声を視認しつつ、マット３２Ａの模様を目安に足の位置を確認して、身体を動かす。同様に、第２のユーザＵｓｅｒ＿Ｂは、ディスプレイ１３２Ｂに表示される映像、音声によるガイドに従って、身体を動かす。これにより、第１のユーザＵｓｅｒ＿Ａ、第２のユーザＵｓｅｒ＿Ｂの身体の動きを、それぞれ、測定装置３１Ａ、３１Ｂにより測定することができる。 The first user User_A checks the position of the foot based on the pattern of the mat 32A and moves the body while viewing the video and audio displayed on the display 132A. Similarly, the second user User_B moves his or her body according to the video and audio guidance displayed on the display 132B. Thereby, the body movements of the first user User_A and the second user User_B can be measured by the measurement devices 31A and 31B, respectively.
図示する例では、第１のユーザＵｓｅｒ＿Ａは、ディスプレイ１３２Ａからの出力に基づき、マット３２Ａにおいてホームポジションに両足を置いたうえで、屈伸運動を始めようとしている。第２のユーザＵｓｅｒ＿Ｂは、ディスプレイ１３２Ｂからの出力に従って、右足を踏み出す動作をしている。 In the illustrated example, based on the output from the display 132A, the first user User_A is about to start bending and stretching after placing both feet on the home position on the mat 32A. The second user User_B is making a motion of stepping out with his/her right foot according to the output from the display 132B.
図６は、マット３２の詳細を示す図である。図示するように、ユーザの右足および左足を置く目安となる模様が複数個所にわたって配置されている。 FIG. 6 is a diagram showing the details of the mat 32. As shown in FIG. As shown in the figure, patterns are arranged at a plurality of locations as guidelines for placing the user's right and left feet.
例えば、複数の測定項目にわたってユーザの両足を置く目安となる位置に、右足用として、第１のホームポジション４１Ｒ、第２のホームポジション４２Ｒ、第３のホームポジション４３Ｒのように、右足を置く位置が複数示されている。 For example, a plurality of positions for placing the right foot are shown for the right foot, such as a first home position 41R, a second home position 42R, and a third home position 43R, at positions that serve as guidelines for placing the user's feet over a plurality of measurement items.
左足用として、第１のホームポジション４１Ｌ、第２のホームポジション４２Ｌ、第３のホームポジション４３Ｌのように、左足を置く位置が複数示されている。 For the left foot, a plurality of positions for placing the left foot are shown, such as a first home position 41L, a second home position 42L, and a third home position 43L.
なお、以降の説明において、ホームポジション４１Ｒおよび４１Ｌを総称してホームポジション４１等と記載することがある。同様に、ホームポジション４２Ｒおよび４２Ｌを総称してホームポジション４２と記載し、ホームポジション４３Ｒおよび４３Ｌを総称してホームポジション４３と記載することもある。 In the following description, the home positions 41R and 41L may be collectively referred to as the home position 41 and the like. Similarly, the home positions 42R and 42L may be collectively referred to as the home position 42, and the home positions 43R and 43L may be collectively referred to as the home position 43.
測定項目それぞれ（測定項目情報２８２）について、ユーザが右足と左足とを拡げる間隔を規定したうえで、端末装置１０がユーザに対し所定の身体の動きを行うようガイドする。例えば、測定項目の測定に伴う音声ガイドにおいて、使用するホームポジションの位置の情報が案内されることとしてもよい。 For each measurement item (measurement item information 282), the user defines the distance between the right and left legs, and then the terminal device 10 guides the user to perform a predetermined body movement. For example, information on the position of the home position to be used may be provided in the audio guidance that accompanies the measurement of the measurement item.
端末装置１０は、測定項目の測定にあたり、ユーザが、所定のホームポジションを使用しているか否かを、測定装置３１の測定結果に基づき判別する。例えば、測定装置３１のセンシング結果に基づいて、端末装置１０が、マット３２に示されるホームポジションの模様それぞれを識別する場合に、ユーザの足首等の検出結果に基づいて、ユーザの両足が乗っている模様を特定することができ得る。ユーザが、測定項目の測定を行う際に、想定されるホームポジションとは異なる位置に足を乗せている場合、ユーザに対し、音声ガイド、映像ガイド等により、適切な位置に足を置くよう促す通知をすることとしてもよい。 When measuring the measurement items, the terminal device 10 determines whether or not the user is using a predetermined home position based on the measurement result of the measurement device 31 . For example, when the terminal device 10 identifies each pattern of the home position shown on the mat 32 based on the sensing result of the measuring device 31, the pattern on which the user's feet are placed can be specified based on the detection result of the user's ankles. If the user puts his or her feet on a position different from the assumed home position when measuring the measurement item, the user may be notified by voice guide, video guide, or the like to prompt the user to put their feet on an appropriate position.
また、端末装置１０は、測定項目として、ユーザが足を踏み出す動作をする場合の各関節の動きを端末装置１０が測定ユニット３０により測定することを含む。端末装置１０は、当該測定項目により、ユーザの身体の動かし方として足を踏み出す動作をする場合のバランスのよさ等を評価することができる。 In addition, the terminal device 10 includes, as a measurement item, the terminal device 10 measuring the movement of each joint when the user makes a stepping motion with the measurement unit 30 . The terminal device 10 can evaluate the goodness of balance, etc., when the user moves his/her body by taking a stepping motion, using the measurement items.
マット３２は、測定項目として足を踏み出す動作がある場合に、右足を踏み出す目標となる模様群４５Ｒを含む。同様に、左足を踏み出す目標となる模様群４５Ｌを含む。 The mat 32 includes a pattern group 45R that serves as a target for stepping the right foot when there is a stepping action as a measurement item. Similarly, a pattern group 45L serving as a target for stepping the left foot is included.
これら模様群４５Ｒ、４５Ｌを総称して「模様群４５」と記載することもある。 These pattern groups 45R and 45L may be collectively referred to as "pattern group 45".
模様群４５は、ユーザの身長に応じて、複数の踏み出し位置の目安となる模様を配している。図示する例では、ユーザの身長の幅として、「１４０ｃｍ」～「２００ｃｍ」までの範囲で、１０ｃｍ刻みで模様を配している。当該模様としては、足のつま先部分を模した形状とすることで、ユーザに対し、足を踏み出す目標となる位置であることを容易に認識させることができる。ユーザは、例えば、ホームポジション４１Ｒおよび４１Ｌ、または、模様４４Ｒおよび４４Ｌ（これらを総称して「模様４４」と記載することもある）の位置を初期位置として両足を置き、片足ずつ、身長に応じた目安の模様の位置まで足を踏み出す動作を行う。端末装置１０は、測定ユニット３０により、当該踏み出し動作をする場合のユーザの身体の動き（関節の動き）を測定する。端末装置１０は、ユーザが足を踏み出す動作を測定する際に、ユーザに踏み出してほしい距離に応じて、足の初期位置として、ホームポジション４１～４３、または、模様４４を指定して、ユーザにガイドすることとしてもよい。 The pattern group 45 includes a plurality of patterns that serve as guides for the stepping position according to the height of the user. In the illustrated example, patterns are arranged in increments of 10 cm in the range of user's height from "140 cm" to "200 cm". By using a shape that imitates the toe portion of the foot as the pattern, it is possible to make the user easily recognize that it is a target position to step on. For example, the user places both feet at home positions 41R and 41L or patterns 44R and 44L (these may be collectively referred to as "pattern 44") as initial positions, and then steps one foot at a time to a target pattern position according to height. The terminal device 10 uses the measurement unit 30 to measure the movement of the user's body (motion of joints) when performing the stepping motion. When measuring the user's stepping action, the terminal device 10 designates the home positions 41 to 43 or the pattern 44 as the initial position of the foot according to the distance that the user wants the user to step. It may be possible to guide the user.
図示する例では、ポール３３の位置についても示している。例えば、ホームポジション４１、４２、４３に対して直線状で並ぶようにポール３３（右側および左側）を配することとしてもよい。ユーザは、例えば、ホームポジション４１、４２、４３のいずれかに両足を置いたまま、上肢をひねる動作をして、ポール３３をつかもうとする。 The illustrated example also shows the position of the pole 33 . For example, the poles 33 (right side and left side) may be arranged so as to line up with the home positions 41 , 42 , 43 in a straight line. For example, the user tries to grasp the pole 33 by twisting the upper limb while placing both feet on one of the home positions 41 , 42 and 43 .
なお、図示するように、模様群４５Ｒ、４５Ｌにおいて、矢印の模様を配することとしてもよい。図示する例では、矢印の模様を、模様群４５Ｒ、４５Ｌの各身長に応じた模様と重ねて配することとしている。これにより、ユーザが足を前に踏み出す動作をすることをユーザに意識づけることができ、マット３２をユーザが見た時に、測定時の身体の動かし方で迷う可能性を減らすことができ得る。 As shown in the figure, patterns of arrows may be arranged in the pattern groups 45R and 45L. In the illustrated example, the arrow pattern is superimposed on the pattern groups 45R and 45L corresponding to each height. This makes it possible for the user to be conscious of stepping forward, and reduces the possibility that the user will hesitate about how to move the body during measurement when the user looks at the mat 32.例文帳に追加
また、図示するように、模様の大きさについて、当該模様がユーザが足を置く目安となるものであるため、図示する例で縦方向（足を踏み出す方向）の長さを一般的な足の大きさと同程度（長さが２２ｃｍ～２８ｃｍ程度）としてもよい。模様の形状は、ユーザから見て、模様に足を置くものと容易に理解できるよう、足あと、または、足あとに類似する形状であるとしてもよい。 Further, as shown in the figure, the size of the pattern is used as a guideline for the user to place the foot. Therefore, in the example shown in the figure, the length in the vertical direction (the direction in which the foot is stepped) may be approximately the same as the size of a general foot (about 22 cm to 28 cm in length). The shape of the pattern may be a footprint or a shape similar to a footprint so that the user can easily understand that a foot is placed on the pattern.
＜４ 動作＞ <4 Operation>
以下、端末装置１０がユーザの身体の動きを測定する測定処理を説明する。 A measurement process in which the terminal device 10 measures the movement of the user's body will be described below.
図７は、端末装置１０がＲＯＭチェックを行って測定履歴を更新する処理を示すフローチャートである。 FIG. 7 is a flow chart showing a process in which the terminal device 10 performs a ROM check and updates the measurement history.
ステップＳ７００において、端末装置１０の制御部１９０は、ディスプレイ１３２に、測定をするユーザがログインするための画面を表示して、ユーザからログインのための操作を受け付ける。端末装置１０は、例えば、ユーザそれぞれが所持するＩＣカードなどの記録媒体から情報を読み取る、ユーザが所持する通信端末に表示される二次元コードを読み取る等により、ユーザの認証を行い、当該ユーザの情報を取得する。例えば、端末装置１０は、サーバ２０と通信することにより、当該ユーザの情報として、ユーザの身長などの情報（ユーザ情報データベース２８１）、過去の測定履歴（測定履歴データベース２８３）、ユーザとフレンドとして登録している他のユーザの情報（フレンドリスト２８４）を取得する。また、端末装置１０は、サーバ２０から、測定項目の情報（測定項目情報２８２）を取得して測定項目情報１８２として記憶している。 In step S700, the control unit 190 of the terminal device 10 displays on the display 132 a screen for logging in by the user who performs the measurement, and receives an operation for logging in from the user. The terminal device 10, for example, reads information from a recording medium such as an IC card possessed by each user, reads a two-dimensional code displayed on a communication terminal possessed by the user, etc., to authenticate the user and acquire information on the user. For example, by communicating with the server 20, the terminal device 10 acquires, as information about the user, information such as the user's height (user information database 281), past measurement history (measurement history database 283), and information about other users registered as friends with the user (friend list 284). Further, the terminal device 10 acquires measurement item information (measurement item information 282 ) from the server 20 and stores it as measurement item information 182 .
ステップＳ７０１において、端末装置１０は、測定装置３１の測定結果に基づき、測定装置３１の測定範囲においてマット３２とポール３３とが設置されていることを検出する。例えば、端末装置１０は、測定装置３１の測定結果を二次元画像として画像認識を行う等により、マット３２と、ポール３３とを検出する。端末装置１０は、測定装置３１に対しマット３２、ポール３３が所定の位置にあることを検出する。つまり、端末装置１０は、マット３２とポール３３とが測定に適した位置にあり、ユーザがガイドの音声および映像を確認しやすい位置にあることを検出する。 In step S<b>701 , the terminal device 10 detects that the mat 32 and the poles 33 are installed within the measurement range of the measuring device 31 based on the measurement result of the measuring device 31 . For example, the terminal device 10 detects the mat 32 and the poles 33 by recognizing the measurement result of the measuring device 31 as a two-dimensional image. The terminal device 10 detects that the mat 32 and the poles 33 are at predetermined positions with respect to the measuring device 31 . In other words, the terminal device 10 detects that the mat 32 and the pole 33 are in positions suitable for measurement and in positions where the user can easily check the audio and video of the guide.
ステップＳ７０３において、端末装置１０は、測定項目情報１８２を参照し、各測定項目について順次測定をする処理を行う。端末装置１０は、第１の測定項目を読み出して、音声、映像により、測定のためのガイドとなる情報（マット３２においてユーザが足を置く位置など）を出力する。端末装置１０は、測定装置３１の測定結果に基づきユーザの関節を検出し、ユーザの両足がマットの所定位置（測定項目により規定される位置）に置かれていることを検出する。 In step S703, the terminal device 10 refers to the measurement item information 182 and performs processing for sequentially measuring each measurement item. The terminal device 10 reads out the first measurement item and outputs information (such as the position where the user places his or her foot on the mat 32) that serves as a guide for measurement by audio and video. The terminal device 10 detects the joints of the user based on the measurement result of the measuring device 31, and detects that the user's feet are placed on predetermined positions (positions defined by the measurement items) on the mat.
ステップＳ７０５において、端末装置１０は、ユーザに対し、身体に所定の動作をさせるよう促す音声を出力する。端末装置１０は、測定装置３１により、ユーザの身体の動きを検出することで、ユーザの身体の動きを測定する。 In step S705, the terminal device 10 outputs a voice prompting the user to perform a predetermined physical action. The terminal device 10 measures the movement of the user's body by detecting the movement of the user's body with the measurement device 31 .
ステップＳ７０７において、端末装置１０は、順次、測定項目を測定項目情報１８２から読み出して、音声によるガイドを出力し、ユーザの足がマット３２の規定位置にあることを検出し、ユーザの身体の動きを測定する。 In step S707, the terminal device 10 sequentially reads the measurement items from the measurement item information 182, outputs audio guidance, detects that the user's feet are at the specified position on the mat 32, and measures the user's body movements.
ステップＳ７０９において、端末装置１０は、各測定項目についての測定が完了すると、ユーザの身体の動きの測定結果に基づいて、ユーザの関節の可動域を評価する。具体的には、端末装置１０は、測定装置３１の計測結果に基づきユーザの各関節の位置を特定し、関節の位置の時系列データ（時系列で変化する関節の位置の動き）により、測定対象となる身体の部位の可動域を評価する。端末装置１０は、関節の可動域の評価結果をディスプレイ１３２等により出力し、サーバ２０へ送信する。 In step S709, when the measurement for each measurement item is completed, the terminal device 10 evaluates the range of motion of the user's joint based on the measurement result of the user's body movement. Specifically, the terminal device 10 identifies the position of each joint of the user based on the measurement results of the measurement device 31, and evaluates the range of motion of the body part to be measured based on time-series data of the joint position (motion of the joint position that changes in time series). The terminal device 10 outputs the evaluation result of the range of motion of the joint on the display 132 or the like, and transmits it to the server 20 .
ステップＳ７５３において、サーバ２０は、ユーザのＲＯＭチェックの結果を端末装置１０から受信して、ユーザの測定結果に基づきデータベース（測定履歴データベース２８３、ユーザ情報データベース２８１）を更新する。 In step S753, the server 20 receives the user's ROM check result from the terminal device 10, and updates the databases (the measurement history database 283 and the user information database 281) based on the user's measurement result.
次に、測定項目として、ユーザが足を踏み出す動作を測定する際の各装置の処理について説明する。 Next, processing of each device when measuring a user's stepping action as a measurement item will be described.
図８は、端末装置１０が、ユーザが足を踏み出す動作を測定することで関節可動域を評価する処理を示すフローチャートである。 FIG. 8 is a flow chart showing a process in which the terminal device 10 evaluates the joint range of motion by measuring the user's stepping motion.
ステップＳ８０１において、端末装置１０は、測定装置３１の測定結果に基づき、マット３２の規定の位置（測定項目情報２８２の項目「マットにおける足の位置」）に、ユーザの両足が置かれていることを検出する。端末装置１０は、規定の位置にユーザの両足が置かれていない場合に、ユーザに対し、規定の位置に足を置くようガイドすることとしてもよい。 In step S801, the terminal device 10 detects that the user's feet are placed on the specified positions of the mat 32 (item "position of feet on mat" in the measurement item information 282) based on the measurement result of the measurement device 31. The terminal device 10 may guide the user to put the feet on the prescribed positions when the user's feet are not on the prescribed positions.
ステップＳ８０３において、端末装置１０は、ユーザに対し、ユーザの右足を、規定の位置から、ユーザの身長に応じた踏み出し位置へと踏み出すようガイドする音声、映像を出力する。 In step S803, the terminal device 10 outputs audio and video guidance to the user to step the user's right foot from a prescribed position to a stepping position according to the height of the user.
ステップＳ８０５において、端末装置１０は、測定装置３１による測定結果に基づき、ユーザの右足が、マットにおいて規定の位置から別の位置へと踏み出されたことを検出し、ユーザが右足を踏み出す動作の測定結果を記録する。端末装置１０は、ユーザの右足が、踏み出すべき目標となる位置とは異なる位置に踏み出された場合に、測定をし直すため、ユーザに対し、再度、右足を目標となる位置に踏み出すようガイドすることとしてもよい。 In step S805, the terminal device 10 detects that the user's right foot has stepped from a specified position to another position on the mat based on the measurement result of the measurement device 31, and records the measurement result of the user's right foot stepping action. When the user's right foot is stepped to a position different from the target position to be stepped, the terminal device 10 may guide the user to step the right foot to the target position again in order to re-measure.
ステップＳ８０７において、端末装置１０は、ユーザの左足を、規定の位置から、ユーザの身長（歩幅）に応じた踏み出し位置へと踏み出すようガイドする音声を出力する。 In step S807, the terminal device 10 outputs a voice guiding the user to step the left foot of the user from a prescribed position to a step position corresponding to the height (step length) of the user.
ステップＳ８０９において、端末装置１０は、測定装置３１の測定結果に基づき、ユーザの左足が、マットにおいて規定の位置から別の位置へと踏み出されたことを検出し、ユーザが左足を踏み出す動作の測定結果を記録する。 In step S809, the terminal device 10 detects that the user's left foot has stepped from a specified position to another position on the mat based on the measurement result of the measurement device 31, and records the measurement result of the user's left foot stepping motion.
ステップＳ８１１において、端末装置１０は、ユーザがマット３２において足を踏み出す動作の測定結果に基づき、下肢の関節の可動域を評価し、評価結果をディスプレイ１３２等に出力し、サーバ２０へ送信する。 In step S<b>811 , the terminal device 10 evaluates the range of motion of the joints of the lower limbs based on the measurement result of the user's stepping action on the mat 32 , outputs the evaluation result to the display 132 or the like, and transmits it to the server 20 .
次に、ユーザが上体をひねる動作を測定する際の各装置の処理について説明する。 Next, the processing of each device when measuring the user's upper body twisting motion will be described.
図９は、端末装置１０が、ユーザが上体をひねる動作を測定することで関節可動域を評価する処理を示すフローチャートである。 FIG. 9 is a flow chart showing a process in which the terminal device 10 evaluates the joint range of motion by measuring the user's upper body twisting motion.
ステップＳ９０１において、端末装置１０は、測定装置３１の測定結果に基づき、マットの規定の位置に、ユーザの両足が置かれていることを検出する。 In step S<b>901 , the terminal device 10 detects that the user's feet are placed on prescribed positions on the mat based on the measurement result of the measurement device 31 .
ステップＳ９０３において、端末装置１０は、ユーザの身長の情報に基づいて、ポール３３の高さが適切か判定する。例えば、端末装置１０が、ユーザの身長に応じて適切となるポール３３の高さの情報を対応付けて記憶することにより、測定装置３１の測定結果により検出されるポール３３の高さが適切であるか否かを判定する。例えば、ユーザが直立した際のユーザの手の位置により、適切なポール３３の高さを規定することとしてもよい。ここで、ユーザが直立した際の手の位置は、ユーザの身長によっても変動し得る。つまり、身長が高いほど、直立時の手の位置も高くなると想定される。また、端末装置１０が、測定装置３１の測定結果に基づいて、直立姿勢の際のユーザの手の位置（地面からの高さ）を検出することにより、ポール３３の適切な高さを、当該手の位置に基づき決定することとしてもよい。つまり、測定装置３１によるユーザの身体の測定結果に応じて、ポール３３の高さを調整することとしてもよい。 In step S903, the terminal device 10 determines whether the height of the pole 33 is appropriate based on the height information of the user. For example, the terminal device 10 associates and stores information on the height of the pole 33 that is appropriate according to the height of the user, thereby determining whether the height of the pole 33 detected by the measurement result of the measuring device 31 is appropriate. For example, the appropriate height of the pole 33 may be defined according to the position of the user's hands when the user stands upright. Here, the position of the hands when the user stands upright may vary depending on the height of the user. In other words, it is assumed that the higher the height, the higher the position of the hands when standing upright. In addition, the terminal device 10 detects the position of the user's hand (the height from the ground) in the upright posture based on the measurement result of the measuring device 31, thereby determining the appropriate height of the pole 33 based on the position of the hand. That is, the height of the pole 33 may be adjusted according to the measurement result of the user's body by the measuring device 31 .
なお、ポール３３の高さは、例えば、測定装置３１の測定結果に基づいて、ポール３３が地面と接する第１の位置と、ポール３３の頭頂部となる第２の位置とを特定し、測定装置３１の位置から、これらポール３３の第１の位置、第２の位置までの距離の情報に基づいて判定することとしてもよい。この他に、ポール３３を引き延ばすことが可能な構造である場合に、ポール３３の模様として、ポール３３の高さを示すものが含まれることとし、端末装置１０が当該ポール３３の高さを示す模様を検出することとしてもよい。 The height of the pole 33 may be determined, for example, based on the measurement result of the measuring device 31, by specifying the first position where the pole 33 contacts the ground and the second position which is the top of the pole 33, and based on information on the distance from the position of the measuring device 31 to the first and second positions of the pole 33. In addition, when the structure is such that the pole 33 can be extended, the pattern of the pole 33 may include a pattern indicating the height of the pole 33, and the terminal device 10 may detect the pattern indicating the height of the pole 33.
端末装置１０は、ポール３３を設置する位置が適切であるか否かを判定することとしてもよい。例えば、端末装置１０は、ポール３３においてホームポジション等を示す模様を検出し、当該模様の位置と、ポール３３が地面に接している位置との位置関係に基づいて、ポール３３の位置が適切であるか否かを判定することとしてもよい。 The terminal device 10 may determine whether or not the position where the pole 33 is installed is appropriate. For example, the terminal device 10 may detect a pattern indicating the home position or the like on the pole 33, and determine whether the position of the pole 33 is appropriate based on the positional relationship between the position of the pattern and the position where the pole 33 is in contact with the ground.
ステップＳ９０５において、端末装置１０は、ユーザの両足をマットの規定の位置につけたまま身体を右側にひねり、左手で右ポール（右側に配置されるポール３３）、右手で左ポール（左側に配置されるポール３３）をつかむようガイドする音声、映像を出力する。 In step S905, the terminal device 10 outputs audio and video guidance to twist the user's body to the right while keeping both feet on the mat at prescribed positions, and to grasp the right pole (the pole 33 arranged on the right) with the left hand and the left pole (the pole 33 arranged on the left) with the right hand.
ステップＳ９０７において、端末装置１０は、測定装置３１の測定結果に基づき、ユーザが身体を右側にひねる動作の測定結果を記録する。 In step S<b>907 , the terminal device 10 records the measurement result of the user's body twisting motion to the right based on the measurement result of the measurement device 31 .
ステップＳ９０９において、端末装置１０は、ユーザの両足をマットの規定の位置につけたまま身体を左側にひねり、右手で左ポール、左手で右ポールをつかむようガイドする音声を出力する。 In step S909, the terminal device 10 outputs a voice guiding the user to twist the user's body to the left while keeping both feet on the mat, and grasp the left pole with the right hand and the right pole with the left hand.
ステップＳ９１１において、端末装置１０は、測定結果に基づき、ユーザが身体を左側にひねる動作の測定結果を記録する。 In step S911, the terminal device 10 records the measurement result of the user's body twisting motion to the left based on the measurement result.
ステップＳ９１３において、端末装置１０は、ユーザが身体をひねる動作の測定結果に基づき、身体の各関節の可動域を評価し、評価結果を出力する。関節の可動域の評価としては、ユーザが上体をひねることにより、ポール３３をつかむことができたか否かも、評価の項目として使用することとしてもよい。 In step S913, the terminal device 10 evaluates the range of motion of each joint of the body based on the measurement result of the user's twisting motion, and outputs the evaluation result. As the evaluation of the range of motion of the joint, whether or not the user was able to grasp the pole 33 by twisting the upper body may also be used as an evaluation item.
以上のように、ポール３３の高さを、ユーザが直立した際の手の高さと同程度とすることにより、ユーザが上体をひねる動作をした際、ユーザが背後を振り返りつつ、視認できるポール３３を目標として、手、腕部を動かそうとする。これにより、ユーザが上体をひねる動作のブレ幅を小さくすることができ、端末装置１０が測定結果を蓄積させた際に、測定結果の時系列のデータを比較することが容易になる。 As described above, by setting the height of the pole 33 to be about the same as the height of the hand when the user stands upright, when the user twists the upper body, the user looks back and tries to move the hand and the arm toward the visible pole 33. As a result, it is possible to reduce the fluctuation width of the user's motion of twisting the upper body, and when the terminal device 10 accumulates the measurement results, it becomes easy to compare time-series data of the measurement results.
＜５ 画面例＞ <5 Screen example>
図１０は、ユーザの身体の動きを測定する局面における、端末装置１０の通知内容の例を示す図である。 FIG. 10 is a diagram showing an example of notification contents of the terminal device 10 in the phase of measuring the user's body movement.
図１０（Ａ）の画面例は、端末装置１０において、ユーザから、測定を行うためにログインする操作を受け付ける局面を示す。図７のステップＳ７００の処理に対応する。例えば、事業会社の事業所、店舗スペース等に測定ユニット３０が設置されており、複数のユーザが利用する際に、まずユーザの認証を行う。 The screen example of FIG. 10A shows a situation in which the terminal device 10 accepts an operation of logging in for measurement from the user. This corresponds to the processing of step S700 in FIG. For example, the measurement unit 30 is installed in a business office, store space, or the like of a business company, and when a plurality of users use it, user authentication is first performed.
図１０（Ａ）に示すように、端末装置１０は、ディスプレイ１３２に、通知部１３２Ｌを表示する。端末装置１０は、通知部１３２Ｌにおいて、ユーザがログインするための操作内容を表示する。図示する例では、事業所に測定ユニット３０が設置されるものとして、ユーザの社員証を読み込ませることでログインが可能であることが通知部１３２Ｌに示されている。端末装置１０は、通知部１３２Ｃにおいて、別のユーザが同じタイミングで測定を行おうとしていることを表示する。図５の例のように、複数の測定ユニット３０が設置されており、複数のユーザがともに測定を行う場合に、端末装置１０は、測定を行う別のユーザの経過を通知部１３２Ｃに表示する。図１０（Ａ）の例では、端末装置１０は、通知部１３２Ｃにおいて、同じタイミングで測定を行う別のユーザが、既にログインの処理を終えていることを表示している。 As shown in FIG. 10A, the terminal device 10 displays a notification section 132L on the display 132. FIG. The terminal device 10 displays the operation content for the user to log in on the notification unit 132L. In the illustrated example, assuming that the measurement unit 30 is installed in the office, the notification section 132L indicates that login is possible by reading the user's employee ID card. The terminal device 10 displays in the notification section 132C that another user is about to perform measurement at the same timing. As in the example of FIG. 5, when a plurality of measurement units 30 are installed and a plurality of users perform measurement together, the terminal device 10 displays the progress of another user performing measurement on the notification section 132C. In the example of FIG. 10A, the terminal device 10 displays in the notification section 132C that another user who performs the measurement at the same timing has already completed the login process.
図１０（Ｂ）の画面例は、端末装置１０において、ユーザが足を踏み出す動作を測定する局面を示す。図８のステップＳ８０１～Ｓ８１１の処理に対応する。 The screen example of FIG. 10B shows a situation in which the terminal device 10 measures the user's stepping motion. This corresponds to the processing of steps S801 to S811 in FIG.
図１０（Ｂ）に示すように、端末装置１０は、ディスプレイ１３２に、通知部１３２Ｄと、通知部１３２Ｅと、ガイド出力部１３２Ｆと、検出結果表示部１３２Ｇとを表示する。 As shown in FIG. 10B, the display 132 of the terminal device 10 displays a notification section 132D, a notification section 132E, a guide output section 132F, and a detection result display section 132G.
端末装置１０は、通知部１３２Ｄにおいて、ログインしているユーザ（つまり、測定をしているユーザ）の情報を表示する。これにより、ユーザは、誤って別のユーザとして測定を行っていないかどうかを容易に確認することができる。 The terminal device 10 displays the information of the logged-in user (that is, the user who is performing the measurement) on the notification section 132D. Thereby, the user can easily check whether or not the measurement is performed as another user by mistake.
端末装置１０は、通知部１３２Ｅにおいて、ユーザが測定を行った履歴を表示する。図示する例では、これまでに測定ユニット３０を利用してユーザが測定を行った回数を表示しているが、この他に、過去の測定における評価結果等を表示してもよい。これにより、ユーザは、継続して測定を行っていることを容易に確認することができ、測定を継続していくよう動機づけられうる。 The terminal device 10 displays the history of the user's measurements on the notification unit 132E. In the illustrated example, the number of times the user has performed measurements using the measurement unit 30 is displayed, but in addition to this, the evaluation results of past measurements and the like may also be displayed. Thereby, the user can easily confirm that the measurement is being continued, and can be motivated to continue the measurement.
端末装置１０は、ガイド出力部１３２Ｆにおいて、ユーザに対し、ユーザの身長に応じて、足を踏み出す目標となる模様の情報を、映像および音声により通知する。これにより、ユーザは、目標となる模様に向けて足を踏み出すイメージを容易に描くことができ、測定のための動作を容易に行うことができる。 In the guide output unit 132F, the terminal device 10 notifies the user of the target pattern information according to the height of the user by video and audio. Thereby, the user can easily draw an image of stepping toward the target pattern, and can easily perform the operation for measurement.
端末装置１０は、検出結果表示部１３２Ｇにおいて、測定装置３１による検出結果を表示する。例えば、端末装置１０は、検出結果表示部１３２Ｇにおいて、ユーザの両足が、測定を行うための規定の位置にある（ホームポジションに両足が置かれている）等の情報を表示する。これにより、ユーザは、正確に手順に沿って測定を行っていることを容易に認識することができ、測定エラーにならないであろうという安心感を感じつつ測定を行うことができる。 The terminal device 10 displays the detection result by the measuring device 31 on the detection result display section 132G. For example, the terminal device 10 displays information such as that the user's feet are in the prescribed positions for measurement (both feet are placed at the home position) on the detection result display section 132G. As a result, the user can easily recognize that the measurement is being performed correctly according to the procedure, and can perform the measurement with a sense of security that measurement errors will not occur.
図１０（Ｃ）の画面例は、端末装置１０において、ユーザが上体をひねる動作を測定する局面を示す。 The screen example of FIG. 10C shows a situation in which the terminal device 10 measures the user's twisting motion.
図１０（Ｃ）の画面例では、端末装置１０は、ポール３３の高さが適切ではないことを検出しており、ユーザに対し、ガイド出力部１３２Ｆにおいて、ポール３３を所定の高さまで伸ばすよう促す表示をしている。図９のステップＳ９０３の処理に対応する。 In the screen example of FIG. 10C, the terminal device 10 detects that the height of the pole 33 is not appropriate, and the guide output unit 132F prompts the user to extend the pole 33 to a predetermined height. This corresponds to the processing of step S903 in FIG.
図１０（Ｄ）の画面例は、端末装置１０において、測定が完了したことと、測定結果に基づく評価結果と、他のユーザとのフレンド登録を促すこととをユーザに通知する局面を示す。 The screen example of FIG. 10D shows a situation in which the terminal device 10 notifies the user of the completion of the measurement, the evaluation result based on the measurement result, and prompting the user to register as a friend with another user.
図１０（Ｄ）の画面例において、端末装置１０は、ガイド出力部１３２Ｆにおいて、複数の測定項目のすべてについて測定が完了したこと、測定項目についてユーザの身体の動きを評価した結果を表示する。端末装置１０は、過去のユーザの測定履歴を参照して、過去の測定結果との比較結果（前回よりも関節可動域が変化した等）をガイド出力部１３２Ｆにおいて表示する。 In the screen example of FIG. 10D, the guide output unit 132F of the terminal device 10 displays that the measurement of all of the plurality of measurement items has been completed, and the results of evaluating the user's body movements for the measurement items. The terminal device 10 refers to the user's past measurement history, and displays the result of comparison with the past measurement result (such as a change in joint range of motion from the previous time) on the guide output unit 132F.
端末装置１０は、通知部１３２Ｍにおいて、他のユーザとフレンドとして登録するよう促す表示と、当該他のユーザをフレンドの候補として提案する経緯（同じ場所で測定を行った等）とを表示する。 The terminal device 10 displays, in the notification unit 132M, a display prompting the other user to register as a friend, and a background of proposing the other user as a friend candidate (measurement was taken at the same place, etc.).
＜小括＞ <Summary>
（１）以上のように、本実施形態によると、ＲＯＭチェックをするにあたり、特段、角度計などの物理的な測定器具をユーザの身体に当てる必要もないため、端末装置１０のガイドにより、ユーザ自身で容易に測定をすることができる。また、測定項目に従って測定を進行させることにより、ユーザの下半身、および、上半身の各関節の可動域を評価することができる。 (1) As described above, according to the present embodiment, it is not necessary to apply a physical measuring instrument such as a goniometer to the user's body when performing the ROM check. Further, by progressing the measurement according to the measurement items, it is possible to evaluate the range of motion of each joint of the user's lower body and upper body.
（２）ユーザの身体の動きを測定するにあたり、マット３２、ポール３３を用いて、ユーザが身体を動かす目標点をユーザに認識させることができる。これにより、ユーザが身体を動かすフォームが安定するため、測定結果を蓄積して比較し、身体の動きの変化をユーザが確認することが容易となる。例えば、マット３２を用いることにより、（ｉ）ユーザが踏み出す動作をする場合の歩幅、動作の範囲といったストライドのさせ方を規定することができ、ユーザに対し、測定において規定された動作をするよう促すことができる。継続してユーザの身体の動作を測定する場合に、ユーザが測定の際に行う動作を規定することで、時間の経過に応じた測定結果の比較をしやすくすることができる。つまり、ユーザの身体の動作が規定されることにより、ユーザの身体の動作がどのように変化していったかの評価をよりいっそう容易にすることができる。また、マット３２を用いることにより、（ｉｉ）測定装置３１に対するユーザの立ち位置を規定することができる。端末装置１０は、測定装置３１の測定結果に基づいて、マット３２が、測定装置３１に対して所定の位置に配置されているかを判定することができる。よって、マット３２によりユーザの身体の動作を測定する際、マット３２の各模様によりユーザの立ち位置が規定される。これにより、ユーザの身体の動作が、測定装置３１の測定範囲に収まりやすくすることができる。例えば、ユーザが腕を真上又は真横に突き出す動作をしたとしても、予め、測定装置３１に対して所定の位置にマット３２を配置しておくことにより、ユーザの身体の動きが測定装置３１の測定範囲から外れてしまうことを抑止することができる。また、マット３２を用いることにより、（ｉｉｉ）ユーザに特定の動作をさせる際、ユーザに適切な体勢をとらせたうえで、測定をすることができる。例えば、ホームポジションにより、ユーザの立ち位置を規定することができ、ユーザに所定の動作をさせる際（しゃがむ動作、片足を上げる動作など）、測定に適した体勢（所定の足幅であるなど）で測定を開始することができる。 (2) When measuring the movement of the user's body, the mat 32 and the poles 33 can be used to make the user recognize the target point of the user's body movement. This stabilizes the form in which the user moves the body, so that the user can easily confirm changes in body movement by accumulating and comparing measurement results. For example, by using the mat 32, it is possible to define (i) how to stride, such as the stride length and the range of motion when the user performs a stepping motion, and prompt the user to perform the motion specified in the measurement. In the case of continuously measuring the user's bodily motions, it is possible to easily compare the measurement results over time by specifying the motions that the user performs during the measurement. In other words, by defining the motion of the user's body, it is possible to further facilitate the evaluation of how the motion of the user's body has changed. Further, by using the mat 32 , (ii) the standing position of the user with respect to the measuring device 31 can be defined. The terminal device 10 can determine whether the mat 32 is arranged at a predetermined position with respect to the measuring device 31 based on the measurement result of the measuring device 31 . Therefore, when the motion of the user's body is measured using the mat 32 , the user's standing position is defined by each pattern of the mat 32 . This makes it easier for the user's body motion to fall within the measurement range of the measurement device 31 . For example, even if the user sticks out his or her arm straight up or right next to it, by arranging the mat 32 at a predetermined position with respect to the measuring device 31 in advance, it is possible to prevent the movement of the user's body from going out of the measuring range of the measuring device 31. Further, by using the mat 32, (iii) when the user is made to perform a specific action, the user can take an appropriate posture before taking measurements. For example, the user's standing position can be defined by the home position, and when the user performs a predetermined action (squatting, raising one leg, etc.), measurement can be started in a posture suitable for measurement (a predetermined foot width, etc.).
これらにより、ユーザの全身の各関節のしなやかさを容易に評価することができる。 These make it possible to easily evaluate the suppleness of each joint of the user's whole body.
（３）さらに、第１の実施の形態において、ユーザの身体の動作の測定結果（ＲＯＭチェックの結果など）に応じて、端末装置１０が、ユーザに適したエクササイズの提案をすることとしてもよい。例えば、端末装置１０において、ＲＯＭチェックの評価結果（測定履歴情報１８３、測定履歴データベース２８３）の分類結果に対応付けて、エクササイズメニュー（トレーニング項目情報１８５、２８５）を保持しているとする。すなわち、ユーザの身体の動作の測定結果、評価結果と対応付けて、予め、提案するトレーニングメニューの情報を保持しているとする。端末装置１０は、測定履歴データベース２８３を参照し、ＲＯＭチェックなどユーザの身体の動作の測定結果、評価結果に基づいて、ユーザに提案するエクササイズメニューを特定し、特定したエクササイズメニューを、ディスプレイ１３２等に表示する等によりユーザに提示することとしてもよい。例えば、ＲＯＭチェックの結果、ユーザの各関節の可動域を評価することができる。サーバ２０は、トレーニング項目情報２８５において、ユーザがエクササイズを実行するのに必要な、関節の可動域の広さが予め定められていることとしてもよい。例えば、ＲＯＭチェックの結果、ユーザの股関節の可動域が一定程度よりも小さい場合（股関節が硬い場合）、所定のトレーニング項目についてはエクササイズとしてユーザに提供しない（端末装置１０において、当該トレーニング項目に基づく映像を表示する等の処理を実行できない）ようにしてもよい。また、ＲＯＭチェックの結果に基づいて、ユーザの身体の各関節の評価結果に応じたエクササイズメニューをユーザに提供することとしてもよい。 (3) Furthermore, in the first embodiment, the terminal device 10 may suggest a suitable exercise for the user according to the measurement result of the user's body motion (ROM check result, etc.). For example, assume that the terminal device 10 holds an exercise menu (training item information 185, 285) in association with the classification result of the ROM check evaluation results (measurement history information 183, measurement history database 283). That is, it is assumed that the information of the training menu to be proposed is stored in advance in association with the measurement results and evaluation results of the user's body movements. The terminal device 10 refers to the measurement history database 283, specifies an exercise menu to be proposed to the user based on the measurement results and evaluation results of the user's body motion such as a ROM check, and presents the specified exercise menu to the user by displaying it on the display 132 or the like. For example, as a result of the ROM check, the range of motion of each joint of the user can be evaluated. The server 20 may predetermine in the training item information 285 the range of motion of the joints required for the user to perform the exercise. For example, if the ROM check shows that the range of motion of the user's hip joint is less than a certain level (the hip joint is stiff), a predetermined training item may not be provided to the user as an exercise (the terminal device 10 may not be able to perform processing such as displaying an image based on the training item). Also, based on the result of the ROM check, the user may be provided with an exercise menu according to the evaluation result of each joint of the user's body.
また、端末装置１０は、ユーザがトレーニング項目に示されるトレーニングを実行している際の身体の動きを測定し、トレーニングに規定されているようにユーザが身体を動作させることができているか否かを判定する。ユーザがエクササイズを続けた結果、徐々に、歩行姿勢を美しくするための身体の各部位の筋力が向上していき、エクササイズとして求められる動きができるようになることが期待される。これにより、端末装置１０は、ユーザがエクササイズメニューを達成したと判定し、別のエクササイズメニューをユーザに提示することとしてもよい。 In addition, the terminal device 10 measures the movement of the user's body while performing the training indicated by the training item, and determines whether the user can move the body as specified in the training. As a result of the user continuing to exercise, the muscle strength of each part of the body for improving the walking posture is gradually improved, and it is expected that the user will be able to perform the movements required for exercise. Accordingly, the terminal device 10 may determine that the user has completed the exercise menu and present another exercise menu to the user.
また、ユーザの身体の動作の測定結果の評価結果と同程度の他のユーザが実行したエクササイズメニューの履歴に基づいて、ユーザに対し、エクササイズメニューを提案することとしてもよい。 Alternatively, an exercise menu may be proposed to the user based on the history of exercise menus executed by other users that are similar to the evaluation results of the user's physical motion measurement results.
（４）以上の第１の実施の形態の説明では、現実世界に、測定装置３１、マット３２、ポール３３を設置することで、ユーザの身体の動きを測定し、評価する例について説明した。 (4) In the description of the first embodiment above, an example of measuring and evaluating the movement of the user's body by installing the measuring device 31, the mat 32, and the pole 33 in the real world has been described.
この他に、仮想空間において、これらマット３２に対応するオブジェクト、ポール３３に対応するオブジェクトを配置し、ユーザの身体の動きを測定することとしてもよい。例えば、ユーザは、ディスプレイ１３２を視認する、または、ヘッドマウントディスプレイ（ＨＭＤ）を装着するとする。端末装置１０は、当該ディスプレイ１３２またはＨＭＤにおいて、仮想空間における仮想カメラの設定に応じた視界画像を表示する。ユーザの身体の各部位（頭部、肩、肘、手、腰、膝、足など）にモーションセンサを装着することにより、端末装置１０が、ユーザの身体の動きをトラッキングする。ユーザは、仮想空間に設置される各オブジェクトを視認しつつ、ユーザの身体を動作させる。これにより、現実世界においてマット３２、ポール３３を設置せずとも、ユーザの身体の動きを測定し、評価することができる。 Alternatively, an object corresponding to the mat 32 and an object corresponding to the pole 33 may be arranged in the virtual space to measure the movement of the user's body. For example, the user views the display 132 or wears a head mounted display (HMD). The terminal device 10 displays, on the display 132 or HMD, a field-of-view image corresponding to the setting of the virtual camera in the virtual space. By attaching a motion sensor to each part of the user's body (head, shoulder, elbow, hand, waist, knee, foot, etc.), the terminal device 10 tracks the movement of the user's body. The user moves the user's body while visually recognizing each object installed in the virtual space. As a result, the movement of the user's body can be measured and evaluated without installing the mat 32 and the poles 33 in the real world.
また、現実世界にマット３２、ポール３３を設置することの他に、マット３２に対応する画像を床面などに照射することとしてもよく、ポール３３に対応する画像（立体画像など）を現実世界において表示することとしてもよい。例えば、現実世界において、レーザー、プロジェクタなどから光を照射して、仮想的なマット３２、ポール３３を、ユーザが視認可能に表示してもよい。 In addition to setting the mat 32 and the poles 33 in the real world, an image corresponding to the mat 32 may be projected onto the floor surface or the like, and an image (stereoscopic image, etc.) corresponding to the pole 33 may be displayed in the real world. For example, in the real world, light may be emitted from a laser, a projector, or the like to display the virtual mat 32 and the poles 33 so that the user can visually recognize them.
＜第２の実施の形態＞ <Second Embodiment>
第２の実施の形態における測定システム１について説明する。第２の実施の形態では、ユーザの歩行時の動作を測定して、歩行姿勢を評価することと、これによりユーザが美しく、身体の機能を発揮しやすい歩き方を獲得することを支援することについて説明する。 A measurement system 1 according to the second embodiment will be described. In the second embodiment, the walking motion of the user is measured, the walking posture is evaluated, and the user is assisted in acquiring a walking style that is beautiful and facilitates the exercise of bodily functions.
図１１は、第２の実施の形態における測定システム１により、ユーザが歩行する動作を測定する局面を示す。 FIG. 11 shows a situation in which the user's walking motion is measured by the measurement system 1 according to the second embodiment.
＜１ 概要＞ <1 Overview>
測定装置３１Ａは、検出範囲３８Ａにおいて、第１のユーザＵｓｅｒ＿Ａが、所定の位置から測定装置３１Ａへと歩行する動作を測定する。端末装置１０Ａは、ディスプレイ１３２Ａにおいて、第１のユーザＵｓｅｒ＿Ａに対し、歩行の状態を計測することと、歩行をする際の身体の動かし方とを通知する。図示するように、端末装置１０Ａは、ユーザに対し、歩行動作時に、前足に体重を乗せるように歩くよう促す通知をする。 The measuring device 31A measures the movement of the first user User_A walking from a predetermined position to the measuring device 31A in the detection range 38A. On the display 132A, the terminal device 10A notifies the first user User_A of measuring the state of walking and how to move the body during walking. As illustrated, the terminal device 10A notifies the user to walk so as to put the weight on the front leg when walking.
図１１の例において、座標軸を以下のように規定する。すなわち、第１のユーザＵｓｅｒ＿Ａの位置を基準として、歩行する方向を「前方」、歩行する方向に対向する方向を「後方」とし、歩行する方向により定まる軸を「前後軸」とする。一方、第１のユーザＵｓｅｒ＿Ａの位置を基準として、歩行する足を接地する面において、歩行する方向と直交する方向を「左右軸」とし、ユーザの右半身の方向を「右方向」、ユーザの左半身の方向を「左方向」とする。第１のユーザＵｓｅｒ＿Ａの足から頭頂部に至る、胴体方向の軸を「鉛直軸」とする。 In the example of FIG. 11, coordinate axes are defined as follows. That is, with the position of the first user User_A as a reference, the walking direction is defined as "forward", the direction opposite to the walking direction is defined as "backward", and the axis determined by the walking direction is defined as the "front-rear axis". On the other hand, with the position of the first user User_A as a reference, the direction perpendicular to the walking direction on the surface where the foot is placed on the ground is defined as the "left-right axis", the direction of the user's right half of the body is defined as the "right direction", and the direction of the user's left half of the body is defined as the "left direction". Let the axis in the body direction from the feet to the top of the head of the first user User_A be the “vertical axis”.
端末装置１０Ａは、ディスプレイ１３２Ａにより、第１のユーザＵｓｅｒ＿Ａに対し、測定装置３１Ａの位置から所定距離離れた位置を起点として、測定装置３１Ａに向かって歩くよう通知する。ここで、第１のユーザＵｓｅｒ＿Ａが歩行動作を始める当該起点は、例えば、測定装置３１Ａから数メートル程度離れた位置とし、第１のユーザＵｓｅｒ＿Ａの歩行のサイクル（右足を踏み出す動作および左足を踏み出す動作を１サイクルとする）を複数回繰り返すことが可能な位置に起点を設定することとしてもよい。測定装置３１Ａは、第１のユーザＵｓｅｒ＿Ａの歩行のサイクルを複数回測定することができる。端末装置１０Ａは、ユーザの歩行動作を測定装置３１Ａにより測定する際、当該起点に第１のユーザＵｓｅｒ＿Ａが位置していない場合は、第１のユーザＵｓｅｒ＿Ａに対し、当該起点に移動するよう促す通知をディスプレイ１３２Ａ等によりしてもよい。端末装置１０Ａは、当該起点に第１のユーザＵｓｅｒ＿Ａがいることに応答して、第１のユーザに対し、歩行動作の測定を開始する通知（または、歩行動作を始めることを促す通知）をしてもよい。 On the display 132A, the terminal device 10A notifies the first user User_A to walk toward the measuring device 31A starting from a position a predetermined distance away from the position of the measuring device 31A. Here, the starting point at which the first user User_A starts walking may be set at a position several meters away from the measuring device 31A, for example, and the starting point may be set at a position where the walking cycle of the first user User_A (one cycle includes the action of stepping on the right foot and the action of stepping on the left foot) can be repeated multiple times. The measurement device 31A can measure the walking cycle of the first user User_A multiple times. When the user's walking motion is measured by the measurement device 31A, if the first user User_A is not located at the starting point, the terminal device 10A may notify the first user User_A to move to the starting point using the display 132A or the like. In response to the presence of the first user User_A at the starting point, the terminal device 10A may notify the first user to start measuring the walking motion (or notify the first user to start the walking motion).
図１２は、測定装置３１の測定結果に基づいて、端末装置１０が特定するユーザの身体の各部位を示す。端末装置１０は、ユーザの身体の特徴となる各点として、四肢の関節と、頭部、肩、体幹、骨盤、足、かかと、足のつま先、肋骨、上前腸骨棘、などを特定する。端末装置１０は、胸椎（体幹の中央）、骨盤の中央などを特定する。例えば、端末装置１０は、ユーザに対し、所定のポーズ（Ｔ字型となるよう両腕を横に突き出すポーズ、両腕を胴体につけるポーズなど）をとるよう促し、これら所定のポーズにおける測定装置３１の測定結果に基づいて、測定装置３１の測定結果におけるユーザの各関節の位置を特定することとしてもよい。 FIG. 12 shows each part of the user's body identified by the terminal device 10 based on the measurement result of the measuring device 31. As shown in FIG. The terminal device 10 identifies the joints of the limbs, the head, shoulders, trunk, pelvis, feet, heels, toes, ribs, anterior superior iliac spine, and the like as points that characterize the user's body. The terminal device 10 identifies the thoracic spine (center of the trunk), the center of the pelvis, and the like. For example, the terminal device 10 prompts the user to take a predetermined pose (such as a pose in which both arms are extended sideways to form a T shape, a pose in which both arms are attached to the body, etc.), and based on the measurement results of the measurement device 31 in these predetermined poses, the position of each joint of the user in the measurement results of the measurement device 31 may be specified.
＜２ データ構造＞ <2 Data structure>
図１３は、第２の実施の形態におけるサーバ２０が記憶する測定結果データベース２８７、評価結果データベース２８８のデータ構造を示す図である。 FIG. 13 shows the data structures of the measurement result database 287 and the evaluation result database 288 stored in the server 20 according to the second embodiment.
測定結果データベース２８７は、測定装置３１により測定される各ユーザの身体の動作（例えば、歩行動作、体幹のバランスをとる動作等）の測定結果を保持するデータベースである。 The measurement result database 287 is a database that holds the measurement results of each user's body motion (for example, walking motion, trunk balancing motion, etc.) measured by the measuring device 31 .
測定結果データベース２８７のレコードのそれぞれは、項目「測定データＩＤ」、項目「日時」、項目「ユーザＩＤ」、項目「測定開始からの経過時間」、項目「測定データ」、を含む。 Each record of the measurement result database 287 includes the item “measurement data ID”, the item “date and time”, the item “user ID”, the item “elapsed time from measurement start”, and the item “measurement data”.
項目「測定データＩＤ」は、測定装置３１により測定される測定データそれぞれを識別する情報を示す。第２の実施の形態において、端末装置１０は、ユーザの身体の動作の測定（例えば、歩行サイクルの測定）を開始して終了することにより、測定データそれぞれを識別する情報を、測定データと対応付けてサーバ２０に保存させる。 The item “measurement data ID” indicates information for identifying each piece of measurement data measured by the measuring device 31 . In the second embodiment, the terminal device 10 starts and ends the measurement of the user's bodily motion (for example, the measurement of the walking cycle), so that information identifying each piece of measurement data is stored in the server 20 in association with the measurement data.
項目「日時」は、測定装置３１によりユーザの身体の動作を測定した日時を示す。 The item “date and time” indicates the date and time when the measurement device 31 measured the motion of the user's body.
項目「ユーザＩＤ」は、測定装置３１により身体の動作が測定されるユーザそれぞれを識別する情報である。 The item “user ID” is information for identifying each user whose body motion is measured by the measuring device 31 .
項目「測定開始からの経過時間」は、測定装置３１により、ユーザの身体の動作の測定を開始してからの経過時間を示す。 The item “elapsed time from start of measurement” indicates the elapsed time from the start of measurement of the user's body motion by the measuring device 31 .
項目「測定データ」は、図１２で説明したようなユーザの身体の各部位（頭部、肩、・・・）について、項目「測定開始からの経過時間」に示されるタイミングにおける位置を示す。例えば、項目「測定データ」において、測定装置３１の位置を基準とした座標系において、測定装置３１の位置からユーザの身体の各部位までの距離を測定した測定結果を保持させることとしてもよい。 The item "measurement data" indicates the position at the timing shown in the item "elapsed time from start of measurement" for each part of the user's body (head, shoulders, . . . ) as described with reference to FIG. For example, in the item "measurement data", in a coordinate system based on the position of the measuring device 31, the measurement result of measuring the distance from the position of the measuring device 31 to each part of the user's body may be stored.
評価結果データベース２８８は、測定装置３１の測定結果（測定結果データベース２８７）に基づき、ユーザの身体の動作（例えば、歩行動作）を評価した評価結果を保持するデータベースである。 The evaluation result database 288 is a database that holds evaluation results obtained by evaluating the user's bodily motion (for example, walking motion) based on the measurement results of the measuring device 31 (measurement result database 287).
評価結果データベース２８８のレコードのそれぞれは、項目「評価結果ＩＤ」、項目「測定データＩＤ」、項目「測定対象」、項目「評価結果」、を含む。 Each record of the evaluation result database 288 includes the item “evaluation result ID”, the item “measurement data ID”, the item “measuring object”, and the item “evaluation result”.
項目「評価結果ＩＤ」は、測定装置３１によるユーザの身体の動作の測定結果を評価した評価結果それぞれを識別する情報である。 The item “evaluation result ID” is information for identifying each evaluation result obtained by evaluating the measurement result of the user's body movement by the measuring device 31 .
項目「測定データＩＤ」は、評価の対象となる測定装置３１の測定結果（測定結果データベース２８７）それぞれを識別する情報である。 The item "measurement data ID" is information for identifying each measurement result (measurement result database 287) of the measurement device 31 to be evaluated.
項目「測定対象」は、ユーザの身体の動作として、測定の対象となる内容を示す。測定の対象としては、例えば、ユーザの歩行動作時の姿勢、ユーザの体幹のバランス等がある。 The item "measuring object" indicates the content to be measured as the user's body motion. Objects to be measured include, for example, the posture of the user during walking, the balance of the user's trunk, and the like.
項目「評価結果」は、測定装置３１の測定結果に基づき、ユーザの身体の動きを評価した評価結果を示す。例えば、ユーザの歩行動作時の姿勢について評価する場合、評価の対象としては、「ユーザの足の踏み出し」、「踏み出した前足への体重移動ができているか」、「前足へ体重を乗り切ることができているか」などがある。詳細は後述する。また、ユーザの体幹のバランスについて評価する場合、評価の対象としては、「肩、腰、足の位置がずれているか」などがある。詳細は後述する。 The item “evaluation result” indicates the evaluation result of evaluating the user's body movement based on the measurement result of the measuring device 31 . For example, when evaluating the user's posture during walking, the evaluation targets include "the user's stepping forward", "whether the user can shift his or her weight to the front leg that has stepped", and "whether the user can bear the weight onto the front leg". Details will be described later. Also, when evaluating the balance of the user's trunk, the subject of evaluation includes "whether the positions of the shoulders, hips, and feet are out of alignment". Details will be described later.
＜３ 動作＞ <3 Operation>
以下、第２の実施の形態２において端末装置１０がユーザの身体の動きを測定し、測定結果に基づき評価する処理を説明する。 Hereinafter, a process in which the terminal device 10 measures the movement of the user's body and evaluates based on the measurement results in the second embodiment will be described.
図１４は、第２の実施の形態において端末装置１０がユーザの歩行動作を測定し、評価する処理を示すフローチャートである。 FIG. 14 is a flow chart showing processing for measuring and evaluating the user's walking motion by the terminal device 10 in the second embodiment.
ステップＳ１４０３において、端末装置１０は、測定装置３１の測定結果に基づき、ユーザが測定装置３１の測定範囲内の所定の位置にいることを検出する。 In step S<b>1403 , the terminal device 10 detects that the user is at a predetermined position within the measurement range of the measurement device 31 based on the measurement result of the measurement device 31 .
ステップＳ１４０５において、端末装置１０は、ユーザに対し、歩行動作をするようガイド(音声、映像)を出力する。端末装置１０は、測定装置３１の測定結果に基づきユーザの各関節を検出し、ユーザの歩行動作時の各関節の位置を記録する。 In step S1405, the terminal device 10 outputs guidance (audio, video) to the user to perform a walking motion. The terminal device 10 detects each joint of the user based on the measurement result of the measuring device 31 and records the position of each joint during the user's walking motion.
ステップＳ１４０７において、端末装置１０は、測定装置３１の測定結果に基づき、ユーザの歩行動作のサイクルを複数の局面に分類する。端末装置１０は、ユーザの歩行動作の各局面の評価項目に従って、歩行動作を評価した評価値を決定する。 In step S<b>1407 , the terminal device 10 classifies the user's walking cycle into a plurality of phases based on the measurement result of the measurement device 31 . The terminal device 10 determines an evaluation value obtained by evaluating the walking motion according to the evaluation items for each aspect of the user's walking motion.
ステップＳ１４０９において、端末装置１０は、歩行姿勢の理想となるモデルとあわせて、測定装置３１の測定結果と、歩行動作を評価した評価結果とをディスプレイ１３２等に出力する。端末装置１０は、測定結果と評価結果とをサーバ２０へ送信する。 In step S1409, the terminal device 10 outputs to the display 132 or the like the measurement result of the measuring device 31 and the evaluation result of evaluating the walking motion together with the ideal walking posture model. The terminal device 10 transmits measurement results and evaluation results to the server 20 .
ステップＳ１４５３において、サーバ２０は、ユーザの歩行動作の測定結果および評価結果に基づき測定結果データベース２８７、評価結果データベース２８８を更新する。 In step S1453, the server 20 updates the measurement result database 287 and the evaluation result database 288 based on the measurement result and evaluation result of the user's walking motion.
＜４ 測定結果、評価結果の出力例＞ <4 Output example of measurement results and evaluation results>
図１５は、第２の実施の形態において端末装置１０がユーザの歩行動作を測定する測定結果、および、測定結果に基づきユーザの歩行動作を評価した評価結果を出力する場合の出力例を示す図である。図示する例では、端末装置１０は、ディスプレイ１３２に、これら測定結果、評価結果を表示する例を示しているが、端末装置１０がプリンタ等により紙媒体などに印刷することで、測定結果、評価結果を出力することとしてもよい。 FIG. 15 is a diagram showing an output example when the terminal device 10 outputs a measurement result of measuring the user's walking motion and an evaluation result of evaluating the user's walking motion based on the measurement result in the second embodiment. In the illustrated example, the terminal device 10 shows an example of displaying these measurement results and evaluation results on the display 132, but the terminal device 10 prints the measurement results and evaluation results on a paper medium or the like using a printer or the like, so that the measurement results and evaluation results may be output.
図１５（Ａ）は、端末装置１０がユーザの歩行動作を測定するために、測定装置３１に対して一定の歩数（例えば、数メートル程度）を歩くよう促す局面を示す。図１４のステップＳ１４０３、Ｓ１４０５の処理に対応する。 FIG. 15A shows a situation in which the terminal device 10 prompts the measurement device 31 to walk a certain number of steps (for example, about several meters) in order to measure the user's walking motion. This corresponds to the processing of steps S1403 and S1405 in FIG.
端末装置１０は、ディスプレイ１３２において、表示部１３２Ｐ１により、ユーザに対し、歩行動作をする際に、「踏み出す前足に体重を乗せるように歩くことを促す通知」を表示する。端末装置１０は、表示部１３２Ｐ２、１３２Ｐ３において、測定装置３１の測定結果として、ユーザの身体の各部位を特定した位置（図１２で例示した、身体の各部位）を示す画像を表示する。端末装置１０は、ユーザの身体の各部位を線状に接続することで、ユーザの身体の測定結果をユーザにとって視認しやすく表示する。図１５の例では、ユーザの身体の右半身の各部位を点線で接続し、左半身の各部位を実線で接続している例を示す。これにより、ユーザは、測定装置３１の測定結果について、ユーザの身体の右半身の動きか、左半身の動きかを容易に認識することができる。 In the display 132, the display unit 132P1 of the terminal device 10 displays to the user a "notification prompting the user to walk with weight on the front leg to be stepped" when the user performs a walking motion. The terminal device 10 displays, on the display units 132P2 and 132P3, an image showing the specified position of each part of the user's body (each part of the body illustrated in FIG. 12) as the measurement result of the measuring device 31. FIG. The terminal device 10 connects each part of the user's body in a linear fashion, thereby displaying the measurement result of the user's body so that the user can easily visually recognize it. The example of FIG. 15 shows an example in which the parts of the right half of the user's body are connected by dotted lines, and the parts of the left half of the body are connected by solid lines. Thereby, the user can easily recognize whether the measurement result of the measuring device 31 is the movement of the right half of the user's body or the movement of the left half of the user's body.
端末装置１０は、表示部１３２Ｐ２により、測定装置３１の測定結果に基づき、随時、ユーザの正面（図１１に示す前後軸）から見た場合のユーザの各部位の位置を特定した結果を表示する。 Based on the measurement result of the measuring device 31, the terminal device 10 displays the result of specifying the position of each part of the user when viewed from the front of the user (the front-rear axis shown in FIG. 11) at any time on the display unit 132P2.
端末装置１０は、表示部１３２Ｐ３により、測定装置３１の測定結果に基づき、随時、ユーザの側面（図１１に示す左右軸）から見た場合のユーザの各部位の位置を特定した結果を表示する。つまり、端末装置１０は、測定装置３１による測定結果を、リアルタイムに表示部１３２Ｐ２、１３２Ｐ３に表示する。これにより、ユーザは、ユーザ自身の身体の動作の測定結果のフィードバックをリアルタイムに得ることができる。 Based on the measurement result of the measurement device 31, the terminal device 10 displays the result of specifying the position of each part of the user when viewed from the side of the user (left-right axis shown in FIG. 11) at any time on the display unit 132P3. That is, the terminal device 10 displays the measurement results of the measuring device 31 on the display units 132P2 and 132P3 in real time. This allows the user to obtain real-time feedback of the measurement result of the user's own body motion.
端末装置１０は、ユーザに対し、測定装置３１に対して接近していくように歩行動作を行うよう促す通知をする。ここで、端末装置１０は、表示部１３２Ｐ２、１３２Ｐ３においては、ユーザの身体から一定距離の位置においてユーザの身体の動きを測定したように測定結果を表示してもよい。例えば、端末装置１０は、３次元仮想区間を生成し、測定装置３１の測定結果（つまり、測定装置３１の位置から、第１のユーザＵｓｅｒ＿Ａの各部位の位置までの距離）に基づき、３次元仮想空間に、ユーザの身体の各部位の位置に対応するオブジェクトを配置する。例えば、端末装置１０は、３次元仮想空間において、測定装置３１に対応する座標を特定し、当該測定装置３１に対応する座標に対し、測定装置３１の測定結果に基づいて、各部位の位置に対応する座標に、各部位に対応するオブジェクトを配置する。端末装置１０は、測定装置３１による測定に伴う経過時間と関連付けて、３次元仮想空間において、各部位に対応するオブジェクトの位置の情報を保持する。つまり、３次元仮想空間において、ユーザの各部位の位置に対応するオブジェクトの移動の軌跡を再現することにより、ユーザの歩行動作を各部位の位置の軌跡として再現できるようにする。端末装置１０は、これらユーザの各部位の位置に対応するオブジェクト群に対し、一定の位置関係となる座標（例えば、「肩中央」に対し、前後軸において一定距離をあけた位置、または、胸腰に対し左右軸において一定距離をあけた位置）に仮想カメラを設定し、各部位の位置に対応するオブジェクトの移動に連動して仮想カメラを移動させることとしてもよい。 The terminal device 10 notifies the user to perform a walking motion to approach the measuring device 31 . Here, the terminal device 10 may display the measurement results on the display units 132P2 and 132P3 as if the movement of the user's body was measured at a certain distance from the user's body. For example, the terminal device 10 generates a three-dimensional virtual section, and based on the measurement result of the measuring device 31 (that is, the distance from the position of the measuring device 31 to the position of each part of the first user User_A), arranges objects corresponding to the positions of each part of the user's body in the three-dimensional virtual space. For example, the terminal device 10 identifies the coordinates corresponding to the measuring device 31 in the three-dimensional virtual space, and arranges the object corresponding to each part at the coordinates corresponding to the position of each part based on the measurement result of the measuring device 31 with respect to the coordinates corresponding to the measuring device 31. The terminal device 10 holds information on the position of the object corresponding to each part in the three-dimensional virtual space in association with the elapsed time that accompanies the measurement by the measuring device 31 . That is, by reproducing the trajectory of the movement of the object corresponding to the position of each part of the user in the three-dimensional virtual space, the walking motion of the user can be reproduced as the trajectory of the position of each part. The terminal device 10 may set a virtual camera at coordinates that have a certain positional relationship with respect to the object group corresponding to the position of each part of the user (for example, a position that is a certain distance from the "shoulder center" on the front-back axis, or a position that is a certain distance from the chest and waist on the left-right axis), and move the virtual camera in conjunction with the movement of the object corresponding to the position of each part.
端末装置１０は、表示部１３２Ｐ４において、測定装置３１による測定を適切に行うための情報を通知する。図１４のステップＳ１４０３に対応する。例えば、端末装置１０は、測定装置３１によりユーザの歩行動作を測定する際、ユーザが歩行を開始する位置が所定の位置にあるか否かを判定し、所定の位置から歩行を開始するよう促す通知をする。図示するように、端末装置１０は、ユーザが歩行を開始する位置が測定装置３１に対して近すぎる場合、さらに後方から歩行動作を始めるよう促す通知をする。 The terminal device 10 notifies the information for appropriately performing the measurement by the measuring device 31 on the display section 132P4. This corresponds to step S1403 in FIG. For example, when the user's walking motion is measured by the measuring device 31, the terminal device 10 determines whether or not the user starts walking at a predetermined position, and notifies the user to start walking from the predetermined position. As illustrated, when the position where the user starts walking is too close to the measuring device 31, the terminal device 10 notifies the user to start walking further from behind.
図１５（Ｂ）は、端末装置１０がユーザの歩行動作の複数の局面のうちのある局面についての測定結果および評価結果を出力する局面を示す。図１４のステップＳ１４０９の処理に対応する。 FIG. 15(B) shows a phase in which the terminal device 10 outputs measurement results and evaluation results for a phase among multiple phases of the user's walking motion. This corresponds to the processing of step S1409 in FIG.
図１５（Ｂ）、図１５（Ｃ）では、ユーザの身体の測定結果について、鉛直軸を基準として表示する。これにより、ユーザの身体が、鉛直軸を基準にどのように回転できているかをユーザに提示することができる。 In FIGS. 15B and 15C, the measurement results of the user's body are displayed with the vertical axis as the reference. Accordingly, it is possible to present to the user how the user's body is rotated with respect to the vertical axis.
端末装置１０は、ディスプレイ１３２において、ユーザの歩行姿勢の美しさの評価結果として、歩行動作時の肩の回転のバランス、腰の回転のバランスの評価結果を出力する。端末装置１０は、歩行動作を複数の局面に分けて、それぞれの局面において、肩の回転のバランス、腰の回転のバランスなどの評価結果を出力する。このように、歩行動作の複数の局面について、測定結果と評価結果とをユーザに提示することにより、ユーザの歩行動作を美しくするための示唆を提供することができる。 The terminal device 10 outputs, on the display 132, evaluation results of shoulder rotation balance and waist rotation balance during walking as evaluation results of the beauty of the user's walking posture. The terminal device 10 divides the walking motion into a plurality of phases, and outputs evaluation results such as shoulder rotation balance and hip rotation balance in each phase. In this way, by presenting the user with the measurement results and evaluation results for a plurality of aspects of the walking motion, suggestions for making the user's walking motion beautiful can be provided.
端末装置１０は、表示部１３２Ｐ５により、歩行動作時のサイクル（右足を踏み出して、左足を踏み出す動作を１サイクルとする）において、左回転、右回転のそれぞれにおける肩の回転の傾きを表示する。 The terminal device 10 displays the rotation inclination of the shoulder in each of the left rotation and the right rotation in the walking cycle (one cycle is the stepping of the right foot and then the left foot) on the display unit 132P5.
端末装置１０は、表示部１３２Ｐ６において、右肩および左肩の位置により定まる「両肩を結ぶ線」、両股関節の位置により定まる「両股関節を結ぶ線」、右肩および左肩の位置の中心となる「肩の中心位置」、股関節の位置（例えば、右骨盤と左骨盤の位置）により定まる「腰の中心位置」を表示する。端末装置１０は、歩行動作の１サイクルにおいて、ユーザが左足を踏み出した際の左肩（または両肩）の位置と、股関節の位置とに基づき、鉛直軸を基準とした肩の左回転の程度（どこまで肩が回転しているか）を評価する。例えば、端末装置１０は、腰の位置を基準として、１サイクルにおいて左回転により肩が回転する量に基づき、「両肩を結ぶ線」を描画する。端末装置１０は、表示部１３２Ｐ６において、評価結果としてのスコア（点数「４．８点」）を表示している。 The terminal device 10 displays, on the display unit 132P6, a “line connecting both shoulders” determined by the positions of the right and left shoulders, a “line connecting both hip joints” determined by the positions of both hip joints, a “center position of the shoulders” that is the center of the positions of the right and left shoulders, and a “center position of the waist” that is determined by the positions of the hip joints (for example, the positions of the right and left pelvises). In one cycle of walking motion, the terminal device 10 evaluates the degree of left shoulder rotation (to what extent the shoulders rotate) with respect to the vertical axis based on the position of the left shoulder (or both shoulders) when the user steps forward with the left foot and the positions of the hip joints. For example, the terminal device 10 draws a “line connecting both shoulders” based on the amount of rotation of the shoulders by left rotation in one cycle with the position of the waist as a reference. The terminal device 10 displays the score (score “4.8 points”) as the evaluation result on the display unit 132P6.
端末装置１０は、表示部１３２Ｐ７において、「両肩を結ぶ線」、「両股関節を結ぶ線」、「肩の中心位置」、「腰の中心位置」を表示する。端末装置１０は、歩行動作の１サイクルにおいて、ユーザが右足を踏み出した際の右肩（または両肩）の位置と、股関節の位置とに基づき、鉛直軸を基準とした肩の左回転の程度を評価する。端末装置１０は、腰の位置を基準として、１サイクルにおいて右回転により肩が回転する量に基づき、「両肩を結ぶ線」を描画する。端末装置１０は、表示部１３２Ｐ７において、評価結果としてのスコア（点数「４．５点」）を表示しており、左回転と比較して低い点数となっている。 The terminal device 10 displays “line connecting both shoulders”, “line connecting both hip joints”, “center position of shoulder”, and “center position of waist” on the display unit 132P7. In one cycle of walking motion, the terminal device 10 evaluates the degree of left shoulder rotation with respect to the vertical axis based on the position of the right shoulder (or both shoulders) when the user steps out the right foot and the positions of the hip joints. The terminal device 10 draws a “line connecting both shoulders” based on the amount of rotation of the shoulders by right rotation in one cycle with the position of the waist as a reference. The terminal device 10 displays the score (score “4.5 points”) as the evaluation result on the display unit 132P7, which is lower than the score for the left rotation.
端末装置１０は、表示部１３２Ｐ６、１３２Ｐ７において、歩行動作の１サイクルにおける左足を踏み出す動作、右足を踏み出す動作における「肩の中心位置」、「腰の中心位置」を表示する。これにより、歩行動作時に、腰の位置に対して上体がどのように傾いているかをユーザに認識させることができる。例えば、ユーザの歩行動作時に、上体が左右軸において動いている程度、前後軸において動いている程度をユーザに認識させることができる。図示する例では、表示部１３２Ｐ６において、左回転時の「肩の中心位置」と「腰の中心位置」との重なりの程度が大きく、上体がぶれていないのに対し、表示部１３２Ｐ７において、右回転時に、「肩の中心位置」と「腰の中心位置」との重なりが相対的に小さく、上体が左回転時よりも横方向にぶれている。そのため、評価結果となるスコアが、左回転時よりも右回転時のほうが低くなっている。 The terminal device 10 displays, on the display units 132P6 and 132P7, the "center position of the shoulder" and the "center position of the waist" in the motion of stepping the left foot and the motion of stepping the right foot in one cycle of the walking motion. This allows the user to recognize how the upper body is tilted with respect to the position of the waist during walking. For example, when the user walks, the user can be made aware of the extent to which the upper body moves along the left-right axis and the extent to which the upper body moves along the front-back axis. In the illustrated example, the degree of overlap between the "center position of the shoulders" and the "center position of the waist" during left rotation is large in the display unit 132P6, and the upper body is not shaken. Therefore, the score, which is the evaluation result, is lower for right rotation than for left rotation.
図１５（Ｃ）は、端末装置１０がユーザの歩行動作の局面として、歩行動作時の前足を地面につけたときの測定結果および評価結果を出力する局面を示す。図１４のステップＳ１４０９に対応する。 FIG. 15(C) shows, as a phase of the user's walking motion, the terminal device 10 outputting the measurement result and the evaluation result when the forefoot is on the ground during the walking motion. This corresponds to step S1409 in FIG.
端末装置１０は、表示部１３２Ｐ８において、ユーザが歩行動作時に前足を地面につけた時の腰の回転の傾きの測定結果と評価結果とを表示する。 The terminal device 10 displays, on the display unit 132P8, the measurement result and the evaluation result of the inclination of rotation of the waist when the front foot of the user touches the ground during walking.
端末装置１０は、表示部１３２Ｐ９において、左足を前足として地面につけた時の「両股関節を結ぶ線」等を表示する。図示するように、「両股関節を結ぶ線」が傾いているため、ユーザが、左足を地面につけた時に腰が回転できていることが示されている。 The terminal device 10 displays, on the display unit 132P9, "a line connecting both hip joints" or the like when the left foot is placed on the ground as the front foot. As shown, the "line connecting both hip joints" is slanted, indicating that the user is able to rotate the hips when the left foot is on the ground.
端末装置１０は、表示部１３２Ｐ１０において、右足を前足として地面につけた時の「両股関節を結ぶ線」等を表示する。図示するように、「両股関節を結ぶ線」が傾いているため、ユーザが、右足を地面につけた時に腰が回転できていることを示す。 The terminal device 10 displays, on the display unit 132P10, "a line connecting both hip joints" when the right foot is on the ground as the front foot. As shown, the "line connecting both hip joints" is slanted, indicating that the user can rotate the hips when the right foot is on the ground.
図１６は、第２の実施の形態において端末装置１０がユーザの歩行動作を測定する測定結果、および、測定結果に基づきユーザの歩行動作を評価した評価結果を出力する場合の出力例を示す図である。図１４に示すステップＳ１４０７、Ｓ１４０９の処理に対応する。 FIG. 16 is a diagram showing an output example when the terminal device 10 outputs the measurement result of measuring the user's walking motion and the evaluation result of evaluating the user's walking motion based on the measurement result in the second embodiment. This corresponds to the processing of steps S1407 and S1409 shown in FIG.
図１６の例では、端末装置１０は、ユーザの歩行動作の１サイクルの測定結果および評価結果について、歩行姿勢を美しく見せるための参考事例（モデル事例、お手本）と比較可能な態様で表示する。図１６に示す出力例についても、端末装置１０は、プリンタ等により紙媒体に印刷することで出力することとしてもよい。 In the example of FIG. 16 , the terminal device 10 displays the measurement results and evaluation results of one cycle of the user's walking motion in a manner that can be compared with a reference example (model case, model) for making the walking posture look beautiful. The output example shown in FIG. 16 may also be output by the terminal device 10 by printing on a paper medium using a printer or the like.
端末装置１０は、ディスプレイ１３２において、歩行動作の１サイクルを複数のステップにわけて、各ステップにおいて、歩行姿勢を美しく見せるためのお手本と、ユーザの歩行動作の測定結果と、測定結果に対する評価結果とを表示する。 The terminal device 10 divides one cycle of walking motion into a plurality of steps on the display 132, and displays, in each step, a model for making the walking posture look beautiful, measurement results of the user's walking motion, and evaluation results for the measurement results.
図１６の例では、歩行動作の１サイクルを、第１のステップ「足を前に踏み出す」、第２のステップ「踏み出した前足に体重を乗せようとする（前足に乗ろうとする）」、第３のステップ「踏み出した前足に体重を乗せ切る（前足に乗り切る）」に分けている。 In the example of FIG. 16, one cycle of the walking motion is divided into the first step "stepping forward", the second step "trying to put weight on the stepped front foot (trying to get on the front foot)", and the third step "putting the weight on the stepped front foot (getting over the front foot)".
ここで、第１のステップ、第２のステップ、第３のステップにおいて、端末装置１０が評価する項目としては、これら各ステップにおいて共通する項目と、各ステップにおいて共通しない項目とが含まれる。
（１）第１のステップの評価項目
・ 歩行動作中における上半身の傾き： 上半身の部位（頭部、肩など）が腰の位置に対して前傾しているか後傾しているか。例えば、骨盤の位置、胸腰の位置、肩中央の位置とにより定まる線が、鉛直軸に対して傾斜する角度が一定以内であるか。
・ 足を前に踏み出そうとする際の足の前後の開き： 両足の前後の開きの程度。例えば、踏み出した前足の足首と、後足の足首との距離が、一定距離以上であるか。
・ 足を前に踏み出そうとする際の腰の位置： 足を踏み出そうとする際に、腰が後方に残されていないか。例えば、骨盤の位置が、肩、胸腰に対して前方であるか後方であるか。
（２）第２のステップの評価項目
・ 前足を地につけたタイミングにおける上半身の傾き： 上半身の部位（頭部、肩など）が腰の位置に対して前傾しているか後傾しているか
・ 前足を地につけたタイミングにおけるひざの曲がり： 前足の各部位（足首、膝、骨盤）が大きく曲がっていないか、大きく曲がっているか。例えば、足首と膝とを接続する線と、膝と骨盤とを接続する線とにより形成される角度が、一定の角度に収まっているか
（３）第３のステップの評価項目
・ 前足に体重を乗せ切るタイミングにおける上半身の傾き： 上半身の部位（頭部、肩など）が腰の位置に対して前傾しているか後傾しているか
・ 前足に体重を乗せ切るタイミングにおける軸足の伸び： 踏み出して着地した前足を軸足として、軸足に体重を乗せる際に、軸足の各部位（足首、膝、骨盤）が伸びているか、曲がっているか。例えば、足首と膝とを接続する線と、膝と骨盤とを接続する線とにより形成される角度が、一定の角度に収まっているかHere, in the first step, the second step, and the third step, the items evaluated by the terminal device 10 include items common to each step and items not common to each step.
(1) Evaluation items for the first step • Inclination of the upper body during walking: Whether the parts of the upper body (head, shoulders, etc.) are inclined forward or backward with respect to the position of the waist. For example, is the angle at which the line determined by the position of the pelvis, the position of the chest and the waist, and the position of the center of the shoulder tilt with respect to the vertical axis within a certain range?
・ Fore-and-aft spread of the feet when trying to step forward: The degree of the fore-and-aft spread of both feet. For example, is the distance between the ankle of the front leg and the ankle of the back leg that has stepped forward a certain distance or more?
・ Hip position when trying to step forward: Is the hip left behind when trying to step forward? For example, is the position of the pelvis forward or backward with respect to the shoulders, chest and waist?
(2) Evaluation items for the second step ・Inclination of the upper body when the forefoot is on the ground: Whether the parts of the upper body (head, shoulders, etc.) are tilted forward or backward with respect to the waist ・Bend of the knee when the forefoot is on the ground: Whether each part of the forefoot (ankles, knees, pelvis) is bent or not. For example, is the angle formed by the line connecting the ankle and knee and the line connecting the knee and pelvis within a certain angle? , whether each part of the pivot foot (ankle, knee, pelvis) is extended or bent. For example, is the angle formed by the line connecting the ankle and knee and the line connecting the knee and pelvis within a certain angle?
具体的には、端末装置１０は、表示部１３２Ｐ１１において、第１のステップにおけるお手本を表示する。端末装置１０は、表示部１３２Ｐ２１において、第１のステップにおけるユーザの身体の測定結果を表示する。端末装置１０は、表示部１３２Ｐ３１において、第１のステップにおけるユーザの身体の動きの評価結果を表示する。 Specifically, the terminal device 10 displays the model in the first step on the display unit 132P11. The terminal device 10 displays the measurement result of the user's body in the first step on the display unit 132P21. The terminal device 10 displays the evaluation result of the user's body movement in the first step on the display unit 132P31.
端末装置１０は、表示部１３２Ｐ１１、１３２Ｐ１２、１３２Ｐ１３において、これらの各評価項目が、美しい歩行姿勢にとって良好である場合の身体の各部位（関節）の位置を表示している。例えば、表示部１３２Ｐ１１において、上半身が傾いておらず、前足と後ろ足とが一定程度に開いており（歩幅が小さすぎず）、腰の位置も適切である（後ろ寄りになっていない）場合の身体の各部位の位置が示されている。 The display units 132P11, 132P12, and 132P13 of the terminal device 10 display the position of each part (joint) of the body when each of these evaluation items is favorable for a beautiful walking posture. For example, the display unit 132P11 shows the positions of each part of the body when the upper body is not tilted, the front legs and hind legs are spread apart to a certain extent (the stride is not too short), and the hip position is appropriate (not leaning back).
図示する例では、表示部１３２Ｐ３１において、評価結果として、評価項目「上半身の傾き」について、右足を踏み出した際の右足の評価結果ＲＦ＿ｉｃと、左足を踏み出した際の左足の評価結果ＬＦ＿ｉｃとを、所定のバーに重ねて表示している。当該所定のバーは、評価結果として取り得る範囲に応じて描画されている。端末装置１０は、当該所定のバーにおいて、評価結果が良好である領域と、良好ではない領域とを区別して表示しており、図示する例では、評価結果が良好である領域を強調して表示している。端末装置１０は、評価項目「上半身の傾き」において、評価結果が、前傾もしすぎず後傾もしすぎていないとして、良好である範囲に、右足の評価結果ＲＦ＿ｉｃと、左足の評価結果ＬＦ＿ｉｃとを関連付けて表示している。 In the illustrated example, the display unit 132P31 displays, as the evaluation results, the evaluation result RF_ic for the right foot when the right foot is stepped and the evaluation result LF_ic for the left foot when the left foot is stepped, superimposed on a predetermined bar for the evaluation item "inclination of upper body". The predetermined bar is drawn according to the range that can be taken as the evaluation result. The terminal device 10 distinguishes between areas with good evaluation results and areas with poor evaluation results in the predetermined bar, and in the illustrated example, the areas with good evaluation results are highlighted. The terminal device 10 associates and displays the evaluation result RF_ic of the right foot and the evaluation result LF_ic of the left foot in a good range assuming that the evaluation result is neither too much leaning forward nor too much backward leaning in the evaluation item "upper body tilt".
端末装置１０は、表示部１３２Ｐ３１において、評価結果として、評価項目「足の前後の開き」、評価項目「腰の位置」についても、右足の評価結果と左足の評価結果とを所定のバーに関連付けて表示している。 In the display unit 132P31, the terminal device 10 also displays the evaluation results of the evaluation results of the right leg and the left leg in association with predetermined bars for the evaluation item “front and back spread of the legs” and the evaluation item “hip position”.
端末装置１０は、表示部１３２Ｐ１２において、第２のステップにおけるお手本を表示する。端末装置１０は、表示部１３２Ｐ２２において、第２のステップにおけるユーザの身体の測定結果を表示する。端末装置１０は、表示部１３２Ｐ３２において、第２のステップにおけるユーザの身体の動きの評価結果を表示する。 The terminal device 10 displays the model in the second step on the display unit 132P12. The terminal device 10 displays the measurement result of the user's body in the second step on the display unit 132P22. The terminal device 10 displays the evaluation result of the user's body movement in the second step on the display unit 132P32.
端末装置１０は、表示部１３２Ｐ１３において、第３のステップにおけるお手本を表示する。端末装置１０は、表示部１３２Ｐ２３において、第３のステップにおけるユーザの身体の測定結果を表示する。端末装置１０は、表示部１３２Ｐ３３において、第３のステップにおけるユーザの身体の動きの評価結果を表示する。 The terminal device 10 displays the model in the third step on the display unit 132P13. The terminal device 10 displays the measurement result of the user's body in the third step on the display unit 132P23. The terminal device 10 displays the evaluation result of the user's body movement in the third step on the display unit 132P33.
図１７は、端末装置１０が、ユーザの歩行動作におけるひざの負担の評価結果を出力する例を示す図である。図１４のステップＳ１４０９に対応する。 FIG. 17 is a diagram showing an example in which the terminal device 10 outputs an evaluation result of the load on the knees in the user's walking motion. This corresponds to step S1409 in FIG.
図１７（Ａ）は、ユーザの歩行動作において、股関節の内転および外転について測定した測定結果と、評価結果とを出力する例を示す。端末装置１０は、ディスプレイ１３２に、ユーザの歩行動作の測定結果を、前後軸に基づいて（ユーザを正面から見たものとして）表示し、歩行動作時の膝の曲がりをユーザが容易に確認できるようにする。 FIG. 17A shows an example of outputting measurement results and evaluation results of hip joint adduction and abduction in a user's walking motion. The terminal device 10 displays the measurement results of the user's walking motion on the display 132 based on the longitudinal axis (assuming that the user is viewed from the front), so that the user can easily check the bending of the knees during the walking motion.
端末装置１０は、表示部１３２Ｐ４１において、歩行動作時の測定結果を表示している。端末装置１０は、表示部１３２Ｐ４２において、右足を軸足として歩行する際の測定結果を表示する。端末装置１０は、表示部１３２Ｐ４３において、左足を軸足として歩行する際の測定結果を表示する。 The terminal device 10 displays the measurement results during the walking motion on the display unit 132P41. The terminal device 10 displays the measurement result when walking with the right foot as the pivot on the display unit 132P42. The terminal device 10 displays the measurement result when walking with the left foot as the pivot on the display unit 132P43.
端末装置１０は、表示部１３２Ｐ４４において、ユーザの参考となるよう、好ましい測定結果のパターン（「軸足も遊脚もまっすぐ」）と、膝を痛める可能性のある測定結果のパターン（「ひざの外側を痛める可能性あり」、「ひざの内側を痛める可能性」）とについて表示する。つまり、歩行動作時に、股関節が内転しすぎていても、外転しすぎていても、歩行動作に伴い膝を痛めるおそれがある。 The terminal device 10 displays, on the display unit 132P44, a preferable measurement result pattern (“both the pivot leg and the free leg are straight”) and a measurement result pattern that may hurt the knee (“the outside of the knee may be injured” and “the inside of the knee may be injured”). In other words, even if the hip joint is excessively internally rotated or externally rotated during walking, the knee may be injured during the walking.
以上により、ユーザは、端末装置１０の出力結果を参照することにより、ひざを痛めないよう歩行するよう促され得る。 As described above, by referring to the output result of the terminal device 10, the user can be encouraged to walk without hurting the knee.
図１７（Ｂ）は、ユーザの歩行動作において、膝が足首よりも先行しすぎていないかの評価結果を出力する例を示す図である。端末装置１０は、ディスプレイ１３２に、ユーザの歩行動作の測定結果を、左右軸に基づいて（ユーザを側面から見たものとして）表示し、歩行動作時に、ひざを先行して動かし過ぎていないかをユーザが容易に確認できるようにする。 FIG. 17B is a diagram showing an example of outputting an evaluation result as to whether the knee is too far ahead of the ankle in the user's walking motion. The terminal device 10 displays the measurement result of the user's walking motion on the display 132 based on the left-right axis (assuming that the user is viewed from the side) so that the user can easily confirm whether or not the knee is excessively moved ahead during the walking motion.
端末装置１０は、表示部１３２Ｐ５１において、歩行動作時の測定結果を表示している。端末装置１０は、表示部１３２Ｐ５２において、右足を軸足として歩行する際の測定結果を表示する。端末装置１０は、表示部１３２Ｐ５３において、右足を軸足として歩行する際の測定結果を表示する。端末装置１０は、表示部１３２Ｐ５１において、ユーザの歩行姿勢の評価結果として「ひざの前方負担が小さい」旨を表示している。 The terminal device 10 displays the measurement results during walking on the display unit 132P51. The terminal device 10 displays the measurement result when walking with the right foot as the pivot on the display unit 132P52. The terminal device 10 displays the measurement result when walking with the right foot as the pivot on the display unit 132P53. The terminal device 10 displays on the display unit 132P51 the result of the evaluation of the walking posture of the user, indicating that "the load on the front of the knee is small".
端末装置１０は、表示部１３２Ｐ５４において、ユーザの参考となるよう、好ましい測定結果のパターン（「良好」）と、膝を痛める可能性のある測定結果のパターン（「ひざが前に出過ぎている」）とについて表示する。つまり、ユーザが前足を踏み出そうとする際に、足首よりも膝が先行しすぎていると、膝を痛める可能性がある。端末装置１０は、足首の位置と膝の位置とを結ぶ線、および、膝の位置と骨盤の位置とを結ぶ線が交差する角度が所定角度以上あるか否か（膝から足首までが前に出ているか）に基づいて、ユーザが前足を踏み出そうとする際に、膝が先行し過ぎているかを評価する。 The terminal device 10 displays, on the display unit 132P54, a favorable measurement result pattern (“good”) and a measurement result pattern that may hurt the knee (“the knee is too far forward”) for the user’s reference. That is, when the user attempts to step forward with the front foot, if the knee is too far ahead of the ankle, the knee may be injured. The terminal device 10 evaluates whether or not the knee is too advanced when the user attempts to step forward on the basis of whether or not the angle at which the line connecting the position of the ankle and the position of the knee and the line connecting the position of the knee and the line connecting the position of the knee and the line connecting the position of the pelvis intersect is equal to or greater than a predetermined angle (whether the knee to the ankle are forward).
以上のように、ユーザの歩行のサイクルについて、軸足を踏み出そうとする、軸足を着地させる、軸足に体重を乗せようとする、といった複数の局面について、歩行動作を評価する。これにより、ユーザは、各局面の評価結果を参照することで、歩行動作をより美しくするよう促される。また、お手本となる身体の動きとユーザの身体の動作の測定結果とを対比してユーザが参照できるようにすることで、ユーザが美しい歩行姿勢に近づけるよう促される。 As described above, the walking motion is evaluated for a plurality of phases of the walking cycle of the user, such as trying to step forward with the pivot leg, landing the pivot leg, and trying to put the weight on the pivot leg. Thereby, the user is prompted to make the walking motion more beautiful by referring to the evaluation result of each phase. In addition, by enabling the user to refer to the measurement result of the user's body movement by comparing the model body movement with the user's body movement, the user is urged to approach a beautiful walking posture.
＜第３の実施の形態＞ <Third Embodiment>
第３の実施の形態における測定システム１について説明する。第３の実施の形態では、ユーザの体幹のバランスの測定結果を表示するとともに、体幹のバランスがとれた状態をユーザが獲得できるようにするための処理を説明する。 A measurement system 1 according to the third embodiment will be described. In the third embodiment, processing for displaying the measurement result of the user's trunk balance and enabling the user to obtain a state in which the trunk is in balance will be described.
＜動作＞ <Action>
以下、第３の実施の形態において、端末装置１０がユーザの身体の動きを測定し、測定結果に基づき評価する処理を説明する。 Hereinafter, in the third embodiment, a process in which the terminal device 10 measures the movement of the user's body and evaluates based on the measurement results will be described.
図１８は、第３の実施の形態において端末装置１０がユーザの体幹のバランスを測定し、評価する処理を示すフローチャートである。 FIG. 18 is a flow chart showing processing for measuring and evaluating the user's trunk balance by the terminal device 10 in the third embodiment.
ステップＳ１８０３において、端末装置１０は、測定装置３１の測定結果に基づき、ユーザの体幹のバランス（肩、腰、足）を測定するようガイド（音声、映像）を出力する。端末装置１０は、ユーザの肩、腰、足の位置について、鉛直軸に基づいて、それぞれ円で表示して測定結果を表示する。端末装置１０は、ユーザの肩、腰、足の位置の重なり具合に応じて、体幹のバランスをとるよう促すガイドを出力する。 In step S<b>1803 , the terminal device 10 outputs guidance (audio, video) to measure the user's trunk balance (shoulders, hips, legs) based on the measurement result of the measurement device 31 . The terminal device 10 displays the measurement results by displaying the positions of the user's shoulders, hips, and feet as circles based on the vertical axis. The terminal device 10 outputs a guide prompting the user to balance the trunk according to how the shoulders, hips, and feet of the user overlap.
ステップＳ１８０５において、端末装置１０は、測定装置３１の測定結果に基づき、ユーザの体幹のバランスを評価して評価値を出力する。端末装置１０は、測定装置３１の測定結果と、評価結果とをサーバ２０へ送信する。 In step S1805, the terminal device 10 evaluates the trunk balance of the user based on the measurement result of the measurement device 31 and outputs an evaluation value. The terminal device 10 transmits the measurement result of the measurement device 31 and the evaluation result to the server 20 .
ステップＳ１８５３において、サーバ２０は、ユーザの体幹のバランスの測定結果および評価結果に基づき測定結果データベース２８７、評価結果データベース２８８を更新する。 In step S1853, the server 20 updates the measurement result database 287 and the evaluation result database 288 based on the user's trunk balance measurement result and evaluation result.
＜出力例＞ <Example of output>
図１９は、第３の実施の形態において端末装置１０がユーザの体幹のバランスを測定する測定結果、および、体幹のバランスの評価結果を出力する例を示す図である。 FIG. 19 is a diagram showing an example in which the terminal device 10 outputs a measurement result of measuring the trunk balance of the user and an evaluation result of the trunk balance in the third embodiment.
図１９（Ａ）は、端末装置１０がユーザの体幹のバランスを測定装置３１により測定するために、測定結果をリアルタイムに出力する局面の画面例を示す。図１８のステップＳ１８０３の処理に対応する。図１９（Ａ）の例では、表示部１３２Ｐ６１において、ユーザの身体の肩、腰、足のそれぞれに対応した円形の図形（正円、楕円など）を表示する。 FIG. 19A shows a screen example of a phase in which the terminal device 10 outputs measurement results in real time in order to measure the user's trunk balance using the measurement device 31 . This corresponds to the processing of step S1803 in FIG. In the example of FIG. 19A, the display unit 132P61 displays circular graphics (perfect circle, ellipse, etc.) corresponding to the shoulders, waist, and feet of the user's body.
端末装置１０は、表示部１３２Ｐ６２において、ユーザの身体の各部位の測定結果を、前後軸に基づき表示する。 The terminal device 10 displays the measurement results of each part of the user's body on the display unit 132P62 based on the front-rear axis.
端末装置１０は、表示部１３２Ｐ６３において、測定装置３１の測定結果に基づいて、ユーザの身体の肩、腰、足の各部位の位置を、鉛直軸に基づき表示する。端末装置１０は、測定装置３１の測定結果を、随時、表示部１３２Ｐ６３に表示する。よって、ユーザの身体がぶれると、肩、腰、足の各部位に対応する各円形の図形が重ならず、ずれを生じさせることになる。図１９（Ａ）の画面例では、ユーザの身体の各部位が、鉛直軸に沿って整っておらず、ずれていることを示している。ユーザは、ディスプレイ１３２の表示部１３２Ｐ６３の表示を見つつ、体幹のバランスをとるよう身体を動かすことを促される。 The terminal device 10 displays the positions of the shoulders, waist, and feet of the user's body on the display unit 132P63 based on the vertical axis based on the measurement result of the measurement device 31. FIG. The terminal device 10 displays the measurement result of the measuring device 31 on the display section 132P63 at any time. Therefore, when the user's body shakes, the circular figures corresponding to the shoulders, hips, and legs do not overlap, causing deviation. The screen example of FIG. 19A shows that each part of the user's body is not arranged along the vertical axis and is shifted. The user is prompted to move the body so as to balance the trunk while watching the display on the display section 132P63 of the display 132 .
端末装置１０は、表示部１３２Ｐ６４において、ユーザが体幹のバランスが取れた状態になるよう促す通知をする。端末装置１０は、測定装置３１の測定結果に基づいて、ユーザの身体の各部位のバランスを整えるために必要なユーザの身体の動きを特定する。図示する例では、ユーザの腰の部位の位置に対し、頭部と足の位置が後ろ側となっている。つまり、ユーザの腰の位置が前方に突き出した状態となっている。端末装置１０は、表示部１３２Ｐ６４において、前後方向において身体の傾きを整えるよう促す表示をする。これにより、ユーザは、体幹のバランスが取れた状態になるために必要な身体の動きを容易に認識することができる。 The terminal device 10 notifies the user on the display unit 132P64 to prompt the user to bring the trunk into a balanced state. Based on the measurement result of the measuring device 31, the terminal device 10 identifies the movement of the user's body required to balance each part of the user's body. In the illustrated example, the position of the head and feet is on the back side with respect to the position of the waist of the user. In other words, the waist of the user is in a state of protruding forward. The terminal device 10 displays on the display unit 132P64 a display prompting the user to adjust the inclination of the body in the front-rear direction. This allows the user to easily recognize the movement of the body required to bring the trunk into a balanced state.
図１９（Ｂ）は、ユーザの体幹のバランスが整った状態における測定結果の表示例を示す。表示部１３２Ｐ６３において、ユーザの肩、腰、足の各部位が、鉛直軸に沿って並んでおり、体幹のバランスがとれている。端末装置１０は、表示部１３２Ｐ６４において、体幹のバランスが取れた状態であることをユーザに通知している。 FIG. 19B shows a display example of measurement results when the trunk of the user is well-balanced. In the display section 132P63, the user's shoulders, waist, and feet are aligned along the vertical axis, and the trunk is well balanced. The terminal device 10 notifies the user that the trunk is in a balanced state on the display unit 132P64.
図１９（Ｃ）は、体幹のバランスの測定を終了し、評価結果を出力する場合の表示例を示す。図１８のステップＳ１８０５の処理に対応する。 FIG. 19(C) shows a display example when the trunk balance measurement is finished and the evaluation result is output. This corresponds to the processing of step S1805 in FIG.
端末装置１０は、表示部１３２Ｐ６５において、体幹のバランスの測定が終了した旨を表示し、測定結果に基づく評価結果を出力する。 The terminal device 10 displays on the display unit 132P65 that the trunk balance measurement has been completed, and outputs an evaluation result based on the measurement result.
端末装置１０は、体幹のバランスの評価結果に基づいて、ユーザに提案するトレーニングメニューとして、体幹のバランスを整えるためのトレーニングメニューを決定する。図示する例では、端末装置１０は、表示部１３２Ｐ６５において、ユーザの体幹のバランスの評価結果と、評価結果に応じてユーザに提案するトレーニングメニューの候補とを表示する。端末装置１０は、表示部１３２Ｐ６６において、ユーザに提案するトレーニングメニューを開始するための操作を受け付ける。端末装置１０は、表示部１３２Ｐ６６へのユーザの入力操作に応答して、対応するトレーニングメニューを読み出す。 The terminal device 10 determines a training menu for balancing the trunk as a training menu to be proposed to the user based on the evaluation result of the trunk balance. In the illustrated example, the terminal device 10 displays, on the display unit 132P65, an evaluation result of the user's trunk balance and training menu candidates to be proposed to the user according to the evaluation result. The terminal device 10 receives an operation for starting the training menu proposed to the user on the display unit 132P66. The terminal device 10 reads out the corresponding training menu in response to the user's input operation to the display unit 132P66.
端末装置１０は、表示部１３２Ｐ６７において、ユーザから、トレーニングメニューの指定を受け付ける。つまり、表示部１３２Ｐ６７では、端末装置１０が体幹のバランスの評価結果に基づきユーザに提案するトレーニングメニューにかかわらず、その他のトレーニングを開始するための入力操作を受け付ける。 The terminal device 10 receives designation of a training menu from the user on the display unit 132P67. In other words, the display unit 132P67 accepts an input operation for starting other training regardless of the training menu that the terminal device 10 proposes to the user based on the trunk balance evaluation result.
以上の各実施形態で説明した事項を、それぞれ組み合わせるとしてもよい。 The items described in each of the above embodiments may be combined.
＜第４の実施の形態＞ <Fourth Embodiment>
第４の実施の形態の説明では、ユーザの身体の動きの測定結果として、ＲＯＭチェック（第１の実施の形態）、歩行姿勢のチェック（第２の実施の形態）、体幹のバランスの測定（第３の実施の形態）等に応じて、ユーザに適したトレーニングメニューを提案する技術について説明する。端末装置１０は、上記のようにユーザの身体の動きを測定し、評価することにより、ユーザの身体の各部位のうち、トレーニングすべきものを特定することができ、当該特定された結果に応じて、適したトレーニングメニューを提案する。 In the description of the fourth embodiment, a technique for proposing a training menu suitable for the user according to the measurement results of the user's body movement, such as a ROM check (first embodiment), a walking posture check (second embodiment), and a trunk balance measurement (third embodiment), will be described. By measuring and evaluating the movement of the user's body as described above, the terminal device 10 can identify which part of the user's body should be trained, and proposes a suitable training menu according to the identified results.
このように構成すると、トレーニングメニューのコンテンツを新たに追加する際に、当該トレーニングメニューのコンテンツに、身体のどの部位に適したものか、また、ユーザの身体に生じうる悩みのいずれに応じたものかを関連付けることにより、ユーザの身体の動きの測定結果に応じたコンテンツをユーザに提供することができ、コンテンツの追加がよりいっそう容易になる。 With this configuration, when adding new content to the training menu, it is possible to provide the user with content that corresponds to the results of measuring the movement of the user's body by associating the content of the training menu with which part of the body the content is suitable for and which of the troubles that the user may have in the body, thereby making it easier to add content.
（１）端末装置１０は、以上のように、ユーザの歩行サイクルの各ステップにおける測定結果、評価結果に基づいて、ユーザに対し、エクササイズメニューを提案することとしてもよい。例えば、端末装置１０は、お手本となる身体の動きと、ユーザの身体の動きとを比較して（図１６の例）、ユーザが改善することが望ましい筋肉の部位を特定する。例えば、サーバ２０は、ユーザの歩行動作として、第１ステップ（足を前に踏み出す動作）の評価結果において、足の前後の開きが小さい場合、足を大きく踏み出せることが期待されるエクササイズメニューを、トレーニング項目情報２８５を参照することで特定する。すなわち、サーバ２０は、歩行動作の各ステップの評価項目、体幹のバランスの評価項目の評価結果に応じて、予め、提案するエクササイズメニューを関連付けて保持することとしてもよい。 (1) As described above, the terminal device 10 may propose an exercise menu to the user based on the measurement results and evaluation results in each step of the user's walking cycle. For example, the terminal device 10 compares a model body movement with the user's body movement (example in FIG. 16), and identifies muscle parts that the user wants to improve. For example, the server 20 identifies, by referring to the training item information 285, an exercise menu that is expected to enable the user to take a large step when the distance between the front and back of the foot is small in the evaluation result of the first step (movement of stepping forward) as the user's walking motion. In other words, the server 20 may associate and hold a proposed exercise menu in advance according to the evaluation results of the evaluation items of each step of the walking motion and the evaluation items of the balance of the trunk.
（２）ユーザの身体の動作の左右差を解消できるよう、端末装置１０が、ユーザに対しトレーニングメニューを提案することとしてもよい。端末装置１０は、以上のように、ＲＯＭチェック、歩行姿勢のチェックを行うことにより、ユーザの身体の動作の左右のバランスを評価する。端末装置１０は、例えば、ユーザの歩行動作時の肩の回転、腰の回転の評価結果に基づき、鉛直軸を基準とした回転動作の左右のバランスを評価する。端末装置１０は、ユーザの身体の動作が左右対称となっていない要因となっている筋肉の部位を特定する。例えば、端末装置１０は、肩の回転量の左右差の要因となる筋肉の部位の情報を予め保持している。以上のように、端末装置１０が、歩行動作時の評価の対象と、左右差の要因となる筋肉の部位の情報とを予め対応付けて保持して多くことにより、左右のバランス差を解消するためにトレーニングすべき筋肉の部位を特定することができる。 (2) The terminal device 10 may propose a training menu to the user so that the left-right difference in the user's body motion can be eliminated. As described above, the terminal device 10 evaluates the left-right balance of the user's body motion by performing the ROM check and the walking posture check. The terminal device 10, for example, evaluates the left-right balance of the rotational motion with respect to the vertical axis based on the evaluation result of the shoulder rotation and waist rotation during walking motion of the user. The terminal device 10 identifies the muscle part that causes the user's body motion to be left-right symmetrical. For example, the terminal device 10 holds in advance information on muscle parts that are factors that cause left-right differences in the amount of shoulder rotation. As described above, the terminal device 10 associates and retains in advance the target of evaluation during walking and the information of the muscle part that is the cause of the left-right difference, so that the muscle part to be trained in order to eliminate the left-right balance difference can be specified.
（３）ユーザの身体の動作の評価結果に基づいて、端末装置１０が、ユーザの身体において将来起こり得る状態を予測するとともに、当該予測結果に基づいて、ユーザに対しトレーニングメニューを提案することとしてもよい。 (3) The terminal device 10 may predict possible future states of the user's body based on the evaluation result of the user's body motion, and propose a training menu to the user based on the prediction result.
例えば、端末装置１０は、（ｉ）ユーザの身体に起こり得る悩みとして、「首・肩こり」、「二の腕のたるみ」、「内巻肩、頭が前に出た姿勢」、「腰痛」、「足のむくみ」、「腕のはり」などの各項目と、（ｉｉ）ユーザの身体の部位の情報とを対応付けて所定の情報として記憶している。また、端末装置１０は、上記のユーザの身体に起こり得る悩みの各項目と対応付けて、トレーニングとして提案するトレーニングメニューの情報を記憶している。 For example, the terminal device 10 (i) associates items such as "neck/shoulder stiffness," "slackness of the upper arms," "rolled shoulders, forward head posture," "lower back pain," "swelling of the legs," and "arm stiffness," and (ii) information on the parts of the user's body as predetermined information. In addition, the terminal device 10 stores information on a training menu to be proposed as training in association with each item of the user's possible physical concerns.
端末装置１０は、ＲＯＭチェック、歩行動作のチェックを行うことにより、これらの測定結果、評価結果に基づいて、改善をすることが望ましい筋肉の部位を特定する。例えば、ＲＯＭチェックにおいて、身体のねじれが良好でない場合に、どの筋肉の部位が関連付けられているかが端末装置１０において予め保持されている。例えば、端末装置１０は、ＲＯＭチェックにおいて、肩、腰などの可動域の評価項目と対応付けて、筋肉の情報を保持している。 The terminal device 10 performs a ROM check and a walking motion check to specify a muscle part that is desired to be improved based on these measurement results and evaluation results. For example, in the ROM check, the terminal device 10 stores in advance which muscle part is associated when the twist of the body is not good. For example, in the ROM check, the terminal device 10 holds muscle information in association with evaluation items for the range of motion of shoulders, hips, and the like.
端末装置１０は、動きが硬い筋肉の部位を特定する等により、当該所定の情報を参照することにより、将来起こり得る悩みを特定する。端末装置１０は、この特定結果に応じて、ユーザの身体に将来生じうる悩みに対応できるよう、ユーザに提案するトレーニングメニューを決定する。 The terminal device 10 identifies a trouble that may occur in the future by referring to the predetermined information, such as by identifying a muscle part that moves hard. The terminal device 10 determines a training menu to be proposed to the user according to the result of the identification so as to cope with possible troubles that may occur in the user's body in the future.
以上のように、歩行動作時のバランス、身体のねじれの評価項目と対応付けて筋肉の各部位の情報が関連付けられるとともに、筋肉の各部位の情報と、ユーザの身体に起こり得る悩みの各項目の情報とが関連付けられている。これにより、端末装置１０は、ユーザの身体の動作の評価結果に基づいて、ユーザそれぞれにカスタマイズされたトレーニングメニューを当該ユーザに提案することができる。 As described above, the information of each part of the muscle is associated with the evaluation items of the balance during walking and the twist of the body, and the information of each part of the muscle is associated with the information of each item of trouble that may occur in the user's body. Thereby, the terminal device 10 can propose a training menu customized for each user to the user based on the evaluation result of the user's body motion.
＜第４の実施の形態におけるデータ構造＞ <Data structure in the fourth embodiment>
図２０は、第４の実施の形態におけるサーバ２０が記憶する各種データのデータ構造を示す図である。 FIG. 20 is a diagram showing the data structure of various data stored by the server 20 according to the fourth embodiment.
サーバ２０は、測定項目情報２８２において、測定項目それぞれについて、項目「起こり得る将来の悩み」と、項目「関連する筋肉の部位」とを保持する。 In the measurement item information 282, the server 20 holds the item "probable future trouble" and the item "related muscle part" for each measurement item.
項目「起こり得る将来の悩み」は、測定項目それぞれについて、測定結果について評価した評価結果によっては将来ユーザの身体に起こり得る悩みを特定する情報（例えば、「肩こり」、「首こり」などのタグ）である。 The item "probable future troubles" is information that specifies future troubles that may occur in the user's body depending on the evaluation results of the measurement results for each measurement item (for example, tags such as "stiff shoulder" and "stiff neck").
項目「関連する筋肉の部位」は、測定項目それぞれについて、測定結果について評価した評価結果によってはトレーニングすることが望ましい身体の部位（筋肉の部位）の情報である。項目「関連する筋肉の部位」において、評価結果の程度に応じて、身体の部位の情報を段階的に保持してもよい。 The item "related muscle part" is information on a body part (muscle part) that is desired to be trained for each measurement item, depending on the evaluation results of the measurement results. In the item "relevant muscle part", the information of the body part may be stored step by step according to the degree of the evaluation result.
サーバ２０は、トレーニング項目情報２８５において、トレーニング項目それぞれについて、項目「コンテンツ」と、項目「対応する悩み」と、項目「関連する筋肉の部位」とを保持する。 In the training item information 285, the server 20 holds the item "content", the item "corresponding trouble", and the item "related muscle part" for each training item.
項目「コンテンツ」は、トレーニングを実施する際にユーザに提示されるコンテンツ（動画、ユーザの身体の動きの参考となるモーションデータ、音声データなど）を示す。 The item "content" indicates content (video, motion data that serves as a reference for the user's body movement, audio data, etc.) presented to the user when training is performed.
項目「対応する悩み」は、トレーニング項目それぞれについて、評価結果によっては将来ユーザの身体に起こり得る悩みを特定する情報（例えば、「肩こり」、「首こり」などのタグ）である。 The item "corresponding trouble" is information (for example, tags such as "stiff shoulder" and "stiff neck") specifying a trouble that may occur in the user's body in the future depending on the evaluation result for each training item.
項目「関連する筋肉の部位」は、トレーニング項目それぞれについて、評価結果によってはトレーニングすることが望ましい身体の部位（筋肉の部位）の情報である。項目「関連する筋肉の部位」において、評価結果の程度に応じて、身体の部位の情報を段階的に保持してもよい。 The item "related muscle part" is information on a body part (muscle part) that is desired to be trained for each training item depending on the evaluation result. In the item "relevant muscle part", the information of the body part may be stored step by step according to the degree of the evaluation result.
サーバ２０は、評価結果データベース２８８において、項目「起こり得る将来の悩み」を保持する。項目「起こり得る将来の悩み」は、評価結果それぞれについて、評価結果によっては将来ユーザの身体に起こり得る悩みを特定する情報（例えば、「肩こり」、「首こり」などのタグ）である。 The server 20 retains the item “possible future troubles” in the evaluation result database 288 . The item "probable future troubles" is information (for example, tags such as "stiff shoulder" and "stiff neck") that specify troubles that may occur to the user's body in the future depending on the evaluation results for each evaluation result.
以上のように、サーバ２０は、ユーザの身体の動きの評価結果に応じて評価結果データベース２８８を更新する。例えば、ＲＯＭチェックの測定結果に応じて（測定項目情報２８２）、ユーザの身体において将来起こり得る悩みの情報を特定し得る。サーバ２０は、評価結果データベース２８８を参照することにより、ユーザについて、起こり得る将来の悩みの情報を特定し、トレーニング項目情報２８５を参照することにより、ユーザに提案するトレーニング項目を抽出する。サーバ２０は、ユーザに提案するトレーニング項目を複数抽出する場合、所定の規則に基づいて優先度を設定する。例えば、サーバ２０は、ユーザの身体の動きの評価結果が良好でない程度に応じて、良好でないものに対応する悩みを解消し得るトレーニング項目を優先することとしてもよい。 As described above, the server 20 updates the evaluation result database 288 according to the evaluation result of the user's body movement. For example, according to the measurement results of the ROM check (measurement item information 282), it is possible to specify information about possible future troubles in the user's body. The server 20 refers to the evaluation result database 288 to identify information about possible future worries of the user, and refers to the training item information 285 to extract training items to be proposed to the user. When extracting a plurality of training items to be proposed to the user, the server 20 sets priorities based on a predetermined rule. For example, the server 20 may give priority to a training item capable of resolving the concerns associated with the unsatisfactory evaluation result of the user's body movement, depending on the extent to which the evaluation result is unsatisfactory.
＜第４の実施の形態における画面例＞ <Screen example in the fourth embodiment>
図２１は、端末装置１０が、ユーザの身体の動作の測定結果および評価結果に基づいて、ユーザの身体に起こり得る悩みを提示し、当該悩みに対応するエクササイズメニューを提案する局面の画面例である。 FIG. 21 is a screen example of a phase in which the terminal device 10 presents possible troubles to the user's body and proposes an exercise menu corresponding to the troubles based on the measurement results and evaluation results of the user's body movements.
図２１（Ａ）は、端末装置１０が、ユーザの身体の動作の測定結果、評価結果に基づいて、ユーザの身体に起こり得る悩みを特定した結果を表示している。 FIG. 21(A) displays the result of the terminal device 10 specifying possible troubles of the user's body based on the measurement result and the evaluation result of the user's body motion.
端末装置１０は、表示部１３２Ｐ７１において、ユーザに、毎日、端末装置１０を介して測定することを促す表示をしつつ、表示部１３２Ｐ７２において、ユーザの身体に将来起こり得る状態を表示する。図示する例では、操作受付部１３２Ｐ７３において、「首・肩こり」の悩みが起こり得ることを表示しつつ、当該操作受付部１３２Ｐ７３へのユーザの入力操作に応答して、「首・肩こり」の悩みに対応したトレーニングメニューを表示する。また、端末装置１０は、操作受付部１３２Ｐ７４において、「二の腕のたるみ」の悩みが起こり得ることを表示しつつ、当該操作受付部１３２Ｐ７４へのユーザの入力操作に応答して、「二の腕のたるみ」の悩みに対応したトレーニングメニューを表示する。また、端末装置１０は、操作受付部１３２Ｐ７５において、「内巻肩、頭が前に出た姿勢」の悩みが起こり得ることを表示しつつ、当該操作受付部１３２Ｐ７５へのユーザの入力操作に応答して、「内巻肩、頭が前に出た姿勢」の悩みに対応したトレーニングメニューを表示する。 The terminal device 10 prompts the user to take daily measurements via the terminal device 10 on the display unit 132P71, and displays possible future conditions of the user's body on the display unit 132P72. In the illustrated example, the operation reception unit 132P73 displays that "neck/stiff shoulders" may occur, and displays a training menu corresponding to "neck/stiff shoulders" in response to the user's input operation to the operation reception unit 132P73. In addition, the terminal device 10 displays in the operation reception unit 132P74 that the trouble of "slackness of the upper arm" may occur, and in response to the user's input operation to the operation reception unit 132P74, displays a training menu corresponding to the trouble of "slackness of the upper arm". In addition, the terminal device 10 displays in the operation reception unit 132P75 that the problem of "rolled shoulders, head forward" may occur, and responds to the user's input operation to the operation reception unit 132P75, and displays a training menu corresponding to the problem of "rolled shoulders, head forward".
端末装置１０は、表示部１３２Ｐ７６において、時間がないユーザに向けて、ユーザに対し提案するトレーニングメニューの候補のうち、表示部１３２Ｐ７６に表示されるものよりも少ない数のトレーニングメニューを開始するための操作受付部１３２Ｐ７７を表示する。端末装置１０は、所定の規則に基づき、ユーザに提案するトレーニングメニューの候補に優先度等を設定して、表示部１３２Ｐ７６に表示する。 The terminal device 10 displays, on the display unit 132P76, an operation reception unit 132P77 for starting a smaller number of training menu candidates than those displayed on the display unit 132P76 among the training menu candidates to be proposed to the user who does not have time. Based on a predetermined rule, the terminal device 10 sets priorities, etc., to training menu candidates to be proposed to the user, and displays them on the display unit 132P76.
端末装置１０は、表示部１３２Ｐ７８において、ユーザから、「お気に入り」など、実行したいトレーニングメニューを編集する操作を受け付ける。 The terminal device 10 receives an operation for editing a training menu to be executed, such as "favorite", from the user on the display unit 132P78.
端末装置１０は、操作受付部１３２Ｐ９１への入力操作を受け付けることにより、ユーザに対してアンケートを提示し、当該アンケートへの回答を受け付ける。端末装置１０は、当該アンケートの入力結果に基づいて、ユーザの悩みを特定し、当該特定された悩みに対応するトレーニングメニューを提案することとしてもよい。 The terminal device 10 presents a questionnaire to the user by accepting an input operation to the operation accepting unit 132P91, and accepts an answer to the questionnaire. The terminal device 10 may identify the user's worries based on the input result of the questionnaire, and propose a training menu corresponding to the identified worries.
図２１（Ｂ）は、ユーザに対し、おすすめのトレーニングメニューを提案する局面を示す。端末装置１０は、表示部１３２Ｐ８１において、ユーザに対し、測定結果、評価結果に基づき特定される悩みについて、身体の部位に関する情報（「首、肩こりに悩まされていませんか」等）を表示する。端末装置１０は、表示部１３２Ｐ８１において、測定結果、評価結果に基づき、ユーザの身体に関する悩みの原因（「肩の位置が前方に出やすくなっている」等）を表示する。端末装置１０は、表示部１３２Ｐ８１において、測定結果、評価結果に基づき、ユーザの身体の悩みを解消するための指針（「上半身の血流をよくすることが期待される」、「モモ裏を伸ばす」等）と、当該指針に対応するエクササイズを提案することとを表示する。 FIG. 21B shows a phase of proposing a recommended training menu to the user. The terminal device 10 displays to the user, on the display unit 132P81, information about body parts ("Do you suffer from stiff neck or stiff shoulders?", etc.) regarding the troubles identified based on the measurement results and evaluation results. The terminal device 10 displays, on the display unit 132P81, the cause of the user's concern about the body (such as "the position of the shoulder tends to protrude forward") based on the measurement result and the evaluation result. The terminal device 10 displays, on the display unit 132P81, a guideline for resolving the user's physical troubles ("It is expected to improve the blood flow in the upper body," "Stretch the back of the thigh", etc.) and a proposal for an exercise corresponding to the guideline based on the measurement result and the evaluation result.
例えば、端末装置１０は、操作受付部１３２Ｐ７３への入力操作に応答して、表示部１３２Ｐ８２に示されるように、おすすめのトレーニングメニューによるトレーニングを開始するための操作受付部１３２Ｐ８３～１３２Ｐ８７を表示する。端末装置１０は、これら操作受付部１３２Ｐ８３～１３２Ｐ８７への入力操作に応答して、トレーニングを開始するための動画の再生等をすることとしてもよい。 For example, in response to an input operation to the operation reception unit 132P73, the terminal device 10 displays the operation reception units 132P83 to 132P87 for starting training using the recommended training menu, as shown in the display unit 132P82. The terminal device 10 may reproduce a moving image for starting training in response to the input operation to these operation reception units 132P83 to 132P87.
端末装置１０は、操作受付部１３２Ｐ７７への入力操作に応答して、表示部１３２Ｐ８８に示されるように、時間がないユーザに向けて、提案するトレーニングメニューの数を絞り込んだ状態で、操作受付部１３２Ｐ８３～１３２Ｐ８５を表示する。 In response to the input operation to the operation reception unit 132P77, the terminal device 10 displays the operation reception units 132P83 to 132P85 in a state in which the number of training menus to be proposed is narrowed down for users who are short on time, as shown in the display unit 132P88.
これにより、ユーザの時々の状態に応じて、ユーザが継続してトレーニングをするよう促すことができる。 Thereby, it is possible to encourage the user to continue training according to the user's condition at the time.
＜動作例＞ <Operation example>
以上の第４の実施の形態における各装置の動作について説明する。 The operation of each device in the above fourth embodiment will be described.
図２２は、第４の実施の形態における各装置の処理の流れを示す。 FIG. 22 shows the processing flow of each device in the fourth embodiment.
ステップＳ２２０３において、端末装置１０は、ユーザの身体の動きの測定結果に基づいて、ユーザの関節可動域、歩行姿勢、体幹のバランスの少なくともいずれかを評価し、評価結果を出力する。端末装置１０は、測定結果と評価結果とをサーバ２０へ送信する。 In step S2203, the terminal device 10 evaluates at least one of the user's joint range of motion, walking posture, and trunk balance based on the measurement result of the user's body movement, and outputs the evaluation result. The terminal device 10 transmits measurement results and evaluation results to the server 20 .
ステップＳ２２５３において、サーバ２０は、端末装置１０から受信した測定結果、評価結果などユーザの各種測定結果に基づきデータベース（評価結果データベース２８８など）を更新する。 In step S2253, the server 20 updates the database (evaluation result database 288, etc.) based on various user measurement results such as measurement results and evaluation results received from the terminal device 10. FIG.
ステップＳ２２５５において、サーバ２０は、評価結果データベース２８８等に基づいて、ユーザに将来起こりうる身体の悩みを特定する。サーバ２０は、トレーニング項目情報２８５に基づいて、複数あるトレーニングメニューのうち、特定した悩みに対応する身体の部位に関するトレーニングメニューを選択し、選択したトレーニングメニューをユーザの端末装置１０へ応答する。 In step S2255, the server 20 identifies possible future physical troubles of the user based on the evaluation result database 288 and the like. Based on the training item information 285, the server 20 selects a training menu related to the body part corresponding to the identified trouble from among a plurality of training menus, and responds to the terminal device 10 of the user with the selected training menu.
ステップＳ２２０５において、端末装置１０は、ユーザに将来起こりうる身体の悩みに対応したトレーニングメニューを表示する。 In step S2205, the terminal device 10 displays to the user a training menu corresponding to possible future physical troubles.
＜変形例＞ <Modification>
第４の実施の形態において、ユーザに対し質問を提示して、ユーザから入力を受け付けた回答結果（アンケート結果）に応じて、ユーザに提案するトレーニングメニューの優先度を設定することとしてもよい。 In the fourth embodiment, a question may be presented to the user, and the priority of the training menu to be proposed to the user may be set according to the answer (questionnaire result) received from the user.
これにより、ユーザの身体の測定結果に基づきトレーニングメニューを提案するのみならず、ユーザに対し、身体に関する質問を提示して、当該ユーザから質問の回答を受けつけた結果に基づいてトレーニングメニューを提案することができる。すなわち、サーバ２０は、質問の回答の結果に基づいて、ユーザに提案するトレーニングメニューの優先度を更新する。サーバ２０は、身体の評価結果だけでなく、質問に対するユーザからの回答結果にも基づいて、ユーザにとって優先度の高いトレーニングメニューを当該ユーザに提示する。これにより、サーバ２０は、よりユーザの身体の状態に適したトレーニングメニューを提案することができる。 As a result, it is possible not only to propose a training menu based on the measurement result of the user's body, but also to present a question about the user's body and propose a training menu based on the result of receiving the answer to the question from the user. That is, the server 20 updates the priority of the training menu proposed to the user based on the results of the answers to the questions. The server 20 presents the user with a training menu having a high priority for the user, based not only on the physical evaluation results but also on the results of the user's answers to the questions. Thereby, the server 20 can propose a training menu more suitable for the user's physical condition.
例えば、端末装置１０は、ユーザからの身体に関するアンケートを受け付けることにより、ユーザの身体のうち、測定システム１における測定ユニット３０ではまだ測定していない（測定結果に基づく評価が行われていない）筋肉の部位の情報をユーザから受け付けることができる。端末装置１０は、ユーザによって入力されたアンケート結果によって、未だ測定システム１において評価が行われていない筋肉の部位に関しての将来起こり得る悩みについても特定することができる。端末装置１０は、身体の動きの測定結果に基づき特定される悩み、および、ユーザからのアンケートの回答結果に基づいて、ユーザの身体に将来生じうる悩みに適切に対応できるよう、ユーザに提案するトレーニングメニューを決定する。 For example, the terminal device 10 accepts a questionnaire about the user's body, thereby accepting from the user information on muscle regions that have not yet been measured by the measurement unit 30 in the measurement system 1 (evaluation based on measurement results has not been performed). The terminal device 10 can also identify possible future concerns regarding muscle parts that have not yet been evaluated by the measurement system 1, based on the results of the questionnaire input by the user. The terminal device 10 determines a training menu to be proposed to the user based on the troubles identified based on the measurement results of the body movement and the results of the questionnaire responses from the user so that the troubles that may occur in the user's body in the future can be appropriately dealt with.
＜変形例におけるデータ構造＞ <Data structure in modified example>
図２３は、第４の実施の形態の変形例におけるサーバ２０が記憶する各種データのデータ構造を示す図である。 FIG. 23 is a diagram showing the data structure of various data stored by the server 20 in the modification of the fourth embodiment.
サーバ２０は、ユーザアンケート情報２８９において、アンケート結果それぞれについて、項目「回答選択肢」と、項目「現在の悩み」と、項目「起こりうる将来の悩み」と、項目「関連する筋肉の部位」とを保持する。 In the user questionnaire information 289, the server 20 holds the item "answer options", the item "current trouble", the item "potential future trouble", and the item "related muscle part" for each questionnaire result.
項目「回答選択肢」は、端末装置１０のユーザに提示する質問内容（アンケート）に対しユーザが回答するための選択肢の情報を含む。例えば、ユーザが身体の不調を感じる質問内容である場合に、不調になりうる部位の選択肢をユーザに提示する。この場合、各選択肢についてユーザが指定した結果に応じて、身体の部位についてのユーザの悩みを特定することができる。 The item “answer options” includes information on options for the user to answer questions (questionnaire) presented to the user of the terminal device 10 . For example, if the content of the question is that the user is feeling unwell, the user is presented with options for possible body parts. In this case, it is possible to identify the user's concern about the body part according to the result of the user's designation for each option.
項目「現在の悩み」は、アンケート結果それぞれについて、アンケート回答内容について評価した評価結果によってはユーザが現在抱えているであろう身体の悩みを特定する情報（例えば、「腰の痛み」、「膝の痛み」などのタグ）である。 The item "current trouble" is information (for example, a tag such as "back pain" or "knee pain") that specifies the physical trouble that the user is likely to have, depending on the results of evaluating the contents of the questionnaire responses for each of the questionnaire results.
項目「起こりうる将来の悩み」は、アンケート結果それぞれについて、アンケート回答内容について評価した評価結果によっては将来ユーザの身体に起こり得る悩みを特定する情報（例えば、「肩こり」、「首こり」などのタグ）である。 The item "Possible future troubles" is information (for example, tags such as "stiff shoulders" and "stiff neck") that specify troubles that may occur in the user's body in the future depending on the evaluation results of evaluating the contents of the questionnaire responses for each of the questionnaire results.
項目「関連する筋肉の部位」は、アンケート結果それぞれについて、アンケート回答内容について評価した評価結果によってはトレーニングすることが望ましい身体の部位（筋肉の部位）の情報である。項目「関連する筋肉の部位」において、回答内容の程度に応じて、身体の部位の情報を段階的に保持してもよい。 The item "related muscle part" is information on a body part (muscle part) that is desirable to be trained for each questionnaire result, depending on the evaluation result of evaluating the contents of the questionnaire answers. In the item "related muscle part", the information of the body part may be stored step by step according to the degree of the content of the answer.
サーバ２０は、評価結果データベース２８８において、項目「現在の悩み」を保持する。項目「現在の悩み」は、評価結果それぞれについて、アンケート回答内容について評価した評価結果によってはユーザが現在抱えているであろう身体の悩みを特定する情報（例えば、「腰の痛み」、「膝の痛み」などのタグ）である。 The server 20 holds the item “current worries” in the evaluation result database 288 . The item "current trouble" is information (for example, a tag such as "lower back pain" or "knee pain") that specifies the physical trouble that the user is likely to have depending on the evaluation result of evaluating the contents of the questionnaire responses for each of the evaluation results.
＜変形例における動作＞ <Operation in modified example>
以上のように、サーバ２０は、ユーザの身体の動きの評価結果およびユーザアンケート情報２８９に応じて評価結果データベース２８８を更新する。例えば、ＲＯＭチェックの測定結果に応じて（測定項目情報２８２）、ユーザの身体において将来起こり得る悩みの情報を特定し得る。例えば、ユーザからの身体に関するアンケート結果に応じて（ユーザアンケート情報２８９）、ユーザが現在抱えている、または近い将来抱えうる身体の悩みを特定し得る。サーバ２０は、評価結果データベース２９０を参照することにより、ユーザについて、起こり得る将来の悩みの情報を特定し、トレーニング項目情報２８５を参照することにより、ユーザに提案するトレーニング項目を抽出する。 As described above, the server 20 updates the evaluation result database 288 according to the user's body movement evaluation results and the user questionnaire information 289 . For example, according to the measurement results of the ROM check (measurement item information 282), it is possible to specify information about possible future troubles in the user's body. For example, according to the result of a questionnaire about the body from the user (user questionnaire information 289), it is possible to identify the physical troubles that the user currently has or will have in the near future. The server 20 refers to the evaluation result database 290 to identify information about the user's possible future worries, and refers to the training item information 285 to extract training items to be proposed to the user.
サーバ２０は、ユーザに提案するトレーニング項目を複数抽出する場合、ユーザの身体の動きの評価結果が良好でない程度に応じて、所定の規則に基づいて優先度を設定する。例えば、サーバ２０は、ユーザの身体の動きの評価結果が良好でない程度に応じて、良好でないものに対応する悩みを解消し得るトレーニング項目を優先することとしてもよい。サーバ２０は、アンケート結果に基づいてユーザに提案するトレーニング項目の優先度を修正し設定する。例えば、サーバ２０は、アンケート回答の内容に関連する身体の評価結果の方がＲＯＭチェックの評価結果よりも良好でない程度に応じて、アンケート結果から特定したユーザの身体の悩みを解消し得るトレーニング項目を優先することとしてもよい。 When extracting a plurality of training items to be proposed to the user, the server 20 sets a priority based on a predetermined rule according to the extent to which the evaluation result of the user's body movement is not good. For example, the server 20 may give priority to a training item capable of resolving the concerns associated with the unsatisfactory evaluation result of the user's body movement, depending on the extent to which the evaluation result is unsatisfactory. The server 20 corrects and sets the priority of training items to be proposed to the user based on the results of the questionnaire. For example, the server 20 may give priority to a training item capable of resolving the user's physical troubles identified from the questionnaire results according to the extent to which the physical evaluation results related to the content of the questionnaire responses are less favorable than the evaluation results of the ROM check.
図２４は、第４の実施の形態の変形例における動作の流れを示す図である。 FIG. 24 is a diagram showing the flow of operations in the modification of the fourth embodiment.
図２４に示すように、端末装置１０は、ステップＳ２２０２またはステップＳ２２０４など、任意のタイミングで、端末装置１０のユーザに対し質問（アンケート）を提示する。 As shown in FIG. 24, the terminal device 10 presents a question (questionnaire) to the user of the terminal device 10 at any timing such as step S2202 or step S2204.
ステップＳ２２０２の処理について説明する。端末装置１０は、例えば、ステップＳ７００によりユーザが測定システム１にログインする処理を完了させたことに応答して、質問をディスプレイ１３２に表示する。端末装置１０は、ユーザから、質問に対する回答の入力を受け付ける。端末装置１０は、入力を受け付けた回答結果をサーバ２０へ送信する。 The processing of step S2202 will be described. The terminal device 10 displays the question on the display 132, for example, in response to the user completing the process of logging into the measurement system 1 in step S700. The terminal device 10 receives an input of an answer to the question from the user. The terminal device 10 transmits to the server 20 the response result for which the input was received.
ステップＳ２２５２において、サーバ２０は、端末装置１０から受信した情報に基づいて、ユーザアンケート情報２８９を更新する。 In step S<b>2252 , the server 20 updates the user questionnaire information 289 based on the information received from the terminal device 10 .
ステップＳ２２５３において、サーバ２０は、ステップＳ２２０３における測定ユニット３０等による測定結果と、当該測定結果に基づく評価結果とを端末装置１０から受信したことに応答して、測定結果データベース２８７等の各種データベースを更新する。 In step S2253, the server 20 updates various databases such as the measurement result database 287 in response to receiving from the terminal device 10 the measurement result by the measurement unit 30 and the like in step S2203 and the evaluation result based on the measurement result.
ステップＳ２２０４の処理について説明する。端末装置１０は、例えば、ステップＳ２２０３においてユーザの身体の動きの測定を完了させたことに応答して、ユーザに対し、質問を提示する（ディスプレイ１３２に表示する等）。端末装置１０は、入力を受け付けた回答結果をサーバ２０へ送信する。 The processing of step S2204 will be described. For example, the terminal device 10 presents a question to the user (displays the question on the display 132, etc.) in response to completing the measurement of the user's body movement in step S2203. The terminal device 10 transmits to the server 20 the response result for which the input was received.
ステップＳ２２５４において、サーバ２０は、端末装置１０から受信した情報に基づいて、ユーザアンケート情報２８９を更新する。 In step S<b>2254 , the server 20 updates the user questionnaire information 289 based on the information received from the terminal device 10 .
ステップＳ２２５６において、サーバ２０は、ユーザアンケート情報２８９、評価結果データベース２８８等に基づいて、ユーザの現在の悩み、ユーザに将来起こりうる身体の悩みを特定する。サーバ２０は、トレーニング項目情報２８５に基づいて、複数あるトレーニングメニューのうち、特定した悩みに対応するトレーニングメニューを選択し、選択したトレーニングメニューをユーザの端末装置へ応答する。例えば、ユーザが質問文に対して回答した結果に基づきユーザの悩みを特定し（ユーザアンケート情報２８９）、特定した悩みに応じて、当該ユーザに提案するトレーニングメニューを特定する（トレーニング項目情報２８５）。また、サーバ２０は、上記のように評価結果データベース２８８に基づき、ユーザに提案するトレーニングメニューを特定する。サーバ２０は、このようにして特定される１または複数のトレーニングメニューについて端末装置１０へ応答する。このとき、サーバ２０は、特定される複数のトレーニングメニューについて、所定の規則に基づき優先度を設定し、優先度に応じてトレーニングメニューを端末装置１０へ応答することとしてもよい。 In step S2256, the server 20 identifies the user's current troubles and possible future physical troubles of the user based on the user questionnaire information 289, the evaluation result database 288, and the like. Based on the training item information 285, the server 20 selects a training menu corresponding to the identified trouble from among a plurality of training menus, and responds to the user's terminal device with the selected training menu. For example, the user's worries are specified based on the results of the user's answers to the questions (user questionnaire information 289), and the training menus to be proposed to the user are specified according to the specified worries (training item information 285). Moreover, the server 20 identifies a training menu to be proposed to the user based on the evaluation result database 288 as described above. The server 20 responds to the terminal device 10 regarding one or more training menus identified in this manner. At this time, the server 20 may set priorities for the specified training menus based on a predetermined rule, and respond to the terminal device 10 with the training menus according to the priorities.
＜第４の実施の形態における画面例１＞ <Screen example 1 in the fourth embodiment>
図２５は、端末装置１０が、ユーザの身体の動作の測定結果および評価結果に基づいて、ユーザの身体に起こり得る悩みを提示し、当該悩みに対応するエクササイズメニューを提案する局面において、ユーザがアンケートに回答する局面の画面例である。例えば、端末装置１０は、サーバ２０にアクセスする等により図２１（Ａ）に示す画面（表示部１３２Ｐ７１）を表示させる。 FIG. 25 is a screen example of a phase in which the user responds to a questionnaire in a phase where the terminal device 10 presents possible troubles to the user's body based on the measurement results and evaluation results of the user's body movements and proposes an exercise menu corresponding to the troubles. For example, the terminal device 10 accesses the server 20 or the like to display the screen (display unit 132P71) shown in FIG.
端末装置１０は、当該画面を表示させたタイミング（サーバ２０から画面を表示させるための情報を受信してブラウザ等で表示させたタイミング）、または、当該画面を表示させて所定の時間が経過したタイミング、ユーザが当該画面で所定の操作を行ったこと等の所定の条件を満たすことに応答して、図２５（Ａ）に示す表示部１３２ＰＡ２を表示してアンケートへの回答をユーザに促す。 The terminal device 10 displays the display unit 132PA2 shown in FIG. 25(A) in response to satisfying a predetermined condition such as the timing at which the screen is displayed (the timing at which information for displaying the screen is received from the server 20 and is displayed by a browser or the like), the timing at which a predetermined period of time has elapsed since the screen was displayed, or the user performing a predetermined operation on the screen, and prompts the user to answer the questionnaire.
図２５（Ａ）は、端末装置１０が、ユーザの身体の動作の測定結果、評価結果に基づいて、ユーザの身体に起こり得る悩みを特定した結果を表示している画面（図２１（Ａ）で説明した表示部１３２Ｐ７１）に、オーバーレイさせるように、ユーザがアンケートに回答するための表示部１３２ＰＡ２を表示している。 FIG. 25(A) shows a display unit 132PA2 for the user to answer the questionnaire so as to be overlaid on the screen (the display unit 132P71 described in FIG. 21(A)) on which the terminal device 10 displays the results of specifying possible troubles of the user's body based on the measurement results and evaluation results of the user's body movements.
端末装置１０は、表示部１３２ＰＡ２において、ユーザに対する質問文（「身体にどんな悩みがありますか？」）を、表示部１３２ＰＡ３に表示する。 The terminal device 10 displays, on the display section 132PA2, a question sentence for the user ("What kind of trouble do you have with your body?") on the display section 132PA3.
サーバ２０は、表示部１３２ＰＡ３において、ユーザに対して提示する質問文の内容を決定する。例えば、サーバ２０において、予め複数の質問文を保持しており、各質問文に関連付けて、ユーザの身体の部位についての情報と、質問文に対する回答の候補の情報とを保持している。サーバ２０は、測定結果データベース２８７、評価結果データベース２８８を参照し、ユーザが実施してきた測定の履歴に基づいて、ユーザに提示する質問文を決定し、決定した質問文を端末装置１０に表示させることとしてもよい。例えば、サーバ２０は、ユーザが測定システム１により測定をしている履歴（測定をしている時間間隔など）に基づいて、ユーザが前回測定してから一定期間が経っている場合に、身体の各部位に不調があることを自覚しているか否かについての質問文（「身体にどんな悩みがありますか？」等）をユーザに提示することとしてもよい。 Server 20 determines the content of the question to be presented to the user on display unit 132PA3. For example, the server 20 holds a plurality of question sentences in advance, and holds information about body parts of the user and information of candidate answers to the question sentences in association with each question sentence. The server 20 refers to the measurement result database 287 and the evaluation result database 288, determines a question to be presented to the user based on the history of measurements performed by the user, and causes the terminal device 10 to display the determined question. For example, based on the user's history of measurements with the measurement system 1 (such as time intervals between measurements), the server 20 may present a question (such as "What kind of trouble do you have in your body?") as to whether or not the user is aware that each part of the body is ill when a certain period of time has passed since the user last measured.
また、例えば、サーバ２０は、ユーザの身体の部位の測定結果に基づいて、ユーザに提示する質問文に含める身体の部位を決定してもよい。例えば、ユーザの身体の部位のうち、測定を少なくとも一定期間にわたって行っていない部位がある場合に（例えば、腰についての測定をした履歴がない、または、測定をしてから一定期間が経過している）、当該身体の部位を質問文に含める（「腰の調子はどうですか？」等）こととしてもよい。 Further, for example, the server 20 may determine body parts to be included in a question to be presented to the user based on the measurement results of the user's body parts. For example, if there is a part of the user's body that has not been measured for at least a certain period of time (for example, there is no history of waist measurement, or a certain period of time has passed since the waist was measured), that body part may be included in the question ("How is your waist?", etc.).
図２５（Ａ）の例では、端末装置１０は、表示部１３２ＰＡ４において、質問文に対する回答の候補を表示して、ユーザから選択を受け付けている。図示する例では、表示部１３２ＰＡ４において、質問文に対する回答の候補として、腰に関する不調を指定するための「腰の悩み」、膝に関する不調を指定するための「膝の悩み」、その他の身体の部位についての回答の候補を表示させるための「＊＊＊」を表示している。端末装置１０は、ユーザから、「腰の悩み」の指定を受け付けており、当該候補を強調表示することにより、ユーザが指定していることをユーザが容易に認識できるようにしている。 In the example of FIG. 25(A), the terminal device 10 displays candidate answers to the question on the display unit 132PA4, and accepts selection from the user. In the illustrated example, the display unit 132PA4 displays, as answer candidates for the question, "waist trouble" for designating a waist-related disorder, "knee trouble" for designating a knee-related disorder, and "***" for displaying answer candidates for other parts of the body. The terminal device 10 accepts the designation of "low back pain" from the user, and by highlighting the candidate, the user can easily recognize that the user has designated it.
端末装置１０は、表示部１３２ＰＡ５において、悩みの程度（身体の部位の不調の程度）に関する質問文を表示する。 The terminal device 10 displays a question about the degree of anxieties (the degree of disorder of a part of the body) on the display unit 132PA5.
端末装置１０は、表示部１３２ＰＡ６において、表示部１３２ＰＡ５に表示される質問文に対する回答の候補を表示して、ユーザから選択を受け付けている。図示する例では、端末装置１０は、表示部１３２ＰＡ６において、悩みの程度が軽い「軽度」、悩みの程度が中程度である「中程度」、悩みの程度が重い「重い」を選択肢として表示している。端末装置１０は、ユーザから、選択肢「中程度」の指定を受け付けて、指定された選択肢を強調表示している。 The terminal device 10 displays, on the display unit 132PA6, answer candidates for the question displayed on the display unit 132PA5, and accepts selection from the user. In the illustrated example, the terminal device 10 displays, on the display unit 132PA6, "mild" indicating a light level of concern, "moderate" indicating a medium level of concern, and "heavy" indicating a high level of concern. The terminal device 10 accepts the specification of the option “moderate” from the user and highlights the specified option.
端末装置１０は、表示部１３２ＰＡ１において、質問文への回答が完了したことを示す操作をユーザから受け付ける。これにより、端末装置１０は、ユーザの回答結果をサーバ２０へ送信する。サーバ２０は、ユーザの回答結果を受信することにより、ユーザアンケート情報２８９を更新する。例えば、ユーザが、回答結果として、「腰の悩み」など身体の部位に関する情報を指定した場合に、サーバ２０は、ユーザの悩み「腰の悩み」に基づいて、ユーザアンケート情報２８９を更新する。 The terminal device 10 receives an operation from the user on the display unit 132PA1 to indicate that the answer to the question has been completed. Thereby, the terminal device 10 transmits the user's answer result to the server 20 . The server 20 updates the user questionnaire information 289 by receiving the user's answers. For example, when the user specifies information about a body part such as "waist trouble" as an answer result, the server 20 updates the user questionnaire information 289 based on the user's trouble "waist trouble".
図２５（Ｂ）は、質問文に対する回答をユーザから受け付けた結果と、ユーザの身体の各部位の測定結果、評価結果とに基づいて、ユーザに対しトレーニングメニューを提案する局面の画面例である。 FIG. 25B is a screen example of a situation in which a training menu is proposed to the user based on the result of receiving the user's answer to the question, the measurement result of each part of the user's body, and the evaluation result.
サーバ２０は、質問文に対してユーザから受け付けた回答の結果（ユーザアンケート情報２８９）に基づき、ユーザの身体の部位の悩みに関する情報（「膝への負担が中程度あるようですね」など、身体の部位と、悩みの程度とを含む情報等）を表示部１３２Ｐ８１に表示する。端末装置１０は、表示部１３２Ｐ８１において、ユーザの身体に関する悩みの原因（「無理な姿勢を長時間続けていませんか」等）を表示する。端末装置１０は、表示部１３２Ｐ８１において、ユーザの身体の悩みを解消するための指針（「腰回りの筋肉をほぐす」等）と、当該指針に対応するエクササイズを提案することを表示する。 The server 20 displays, on the display unit 132P81, information about the body part of the user (information including the body part and the degree of worry, such as "You seem to have a moderate burden on your knees," etc.) based on the results of the user's response to the question (user questionnaire information 289). The terminal device 10 displays the cause of the user's concern about the body ("Are you in an unreasonable posture for a long time?", etc.) on the display unit 132P81. The terminal device 10 displays, on the display unit 132P81, a guideline for relieving the user's physical troubles (eg, "relax the muscles around the waist") and a suggestion of an exercise corresponding to the guideline.
＜その他の変形例＞ <Other Modifications>
（１）ユーザに対し、運動経験の質問を実施 (1) Ask users about their exercise experience
以上の実施形態の説明において、サーバ２０が、ユーザに対し質問文を提示して、質問への回答の結果に基づいてトレーニングメニューを提案する例を説明した。サーバ２０は、ユーザに対し提示する質問内容として、ユーザの運動の経験について質問することとしてもよい。 In the above description of the embodiment, an example has been described in which the server 20 presents a question sentence to the user and proposes a training menu based on the result of the answer to the question. The server 20 may ask the user about their experience of exercising as the content of the question presented to the user.
例えば、サーバ２０は、ユーザに対し、過去にスポーツをやっていた経験、運動をする習慣についての質問文を提示することとしてもよい。サーバ２０は、ユーザから、当該質問に対する回答（過去にユーザが取り組んでいたスポーツ、運動をしていた習慣の有無など）を受け付ける。サーバ２０は、ユーザの回答結果に基づき、ユーザがもともと運動経験が比較的少ない場合（スポーツをしていた期間が一定期間以下である、運動をする習慣が所定頻度以下である等）、ユーザに対し、トレーニング項目情報２８５に含まれる各トレーニング項目のうち、身体への負荷が比較的小さいもの、または、トレーニングの難易度が比較的低いものを提案することとしてもよい。例えば、トレーニング項目情報２８５の各トレーニング項目について、予め、難易度（運動に慣れていない人が問題なく実施できるトレーニングほど、難易度が低い等）、身体の負荷（例えば、特定の部位（上腕など）を対象としたトレーニング方法それぞれについて身体への負荷が異なる）の程度の情報を保持する。これにより、ユーザの運動経験に基づき、トレーニングメニューを提示することができる。 For example, the server 20 may present the user with a question about his/her experience of playing sports in the past and habits of exercising. The server 20 receives an answer to the question from the user (such as the sports the user has participated in in the past, whether or not the user has a habit of exercising, etc.). Based on the answer from the user, if the user has relatively little experience in exercising (such as having played sports for a certain period of time or less, or having a habit of exercising less than a predetermined frequency, etc.), the server 20 may suggest to the user, among the training items included in the training item information 285, those that place a relatively small burden on the body or that are relatively difficult. For example, for each training item in the training item information 285, information about the degree of difficulty (training that can be performed by a person who is not accustomed to exercise without problems is lower, etc.) and the degree of load on the body (for example, the load on the body differs depending on the training method for a specific part (such as the upper arm)) is held in advance. Thereby, a training menu can be presented based on the user's exercise experience.
以上の例によると、運動に慣れていないユーザには、達成することが比較的容易なトレーニングメニューを提案することにより、トレーニングメニューをこなすことによる達成感を感じてもらいやすくなる。これにより、ユーザが継続してトレーニングを続ける動機づけを提供することができる。 According to the above example, by proposing a training menu that is relatively easy to achieve, a user who is not accustomed to exercise can easily feel a sense of accomplishment by completing the training menu. This can motivate the user to continue training.
（２）ユーザの身体の動きの測定結果により、ユーザが運動に慣れているか評価 (2) Evaluating whether the user is accustomed to exercise based on the measurement results of the user's body movement
この他に、サーバ２０が、測定ユニット３０によるユーザの身体の動きの測定結果に基づいて、ユーザの運動の経験を評価し、評価結果に基づいて、ユーザに提示するトレーニングメニューを決定してもよい。 Alternatively, the server 20 may evaluate the user's exercise experience based on the measurement results of the user's body movements by the measurement unit 30, and determine the training menu to be presented to the user based on the evaluation results.
例えば、関節可動域、歩行姿勢、体幹のバランス等のユーザの身体の動きの測定結果と関連付けて、サーバ２０が、運動に慣れていない場合の測定結果のパターンと、運動に慣れている場合の測定結果のパターンとを予め保持する。サーバ２０は、ユーザの身体の動きの測定結果に基づき、ユーザが運動に慣れている程度を評価する。例えば、サーバ２０が、上記のパターンと、ユーザの身体の動きの測定結果とを比較して一致する度合いを評価することにより、ユーザが運動に慣れているか否かの評価値を出力する。例えば、サーバ２０は、ユーザに対し、モデルとなる身体の動きを提示しつつ、当該身体の動きと同程度にユーザが身体を動かせていることにより、ユーザが運動に慣れていると評価する。このとき、モデルとなる身体の動きとユーザの身体の動きの測定結果とにずれがある場合、当該ずれを修正するようにユーザに対し音声出力をしてもよい。例えば、手の位置がモデルとなる動きを異なる場合に、当該手の位置をモデルとなる動きに追随させることを促す（「手の位置を所定の方向に移動させる」等）音声出力をしてもよい。また、ユーザの身体の動きと、モデルとなる動きとが整合している場合（つまり、ユーザが、モデルとなる動きと同等の動きができている場合）、ユーザの身体の動きが適切であることを音声等で出力する。 For example, the server 20 stores in advance a pattern of measurement results when the user is not accustomed to exercise and a pattern of measurement results when the user is accustomed to exercise, in association with the measurement results of the user's body movements such as the range of motion of the joints, the walking posture, and the balance of the trunk. The server 20 evaluates the degree to which the user is accustomed to exercise based on the measurement result of the user's body movement. For example, the server 20 outputs an evaluation value indicating whether or not the user is accustomed to exercising by comparing the above pattern with the measurement result of the user's body movement and evaluating the degree of agreement. For example, the server 20 presents a model body movement to the user and evaluates that the user is accustomed to exercising when the user can move the body to the same degree as the body movement. At this time, if there is a discrepancy between the model body movement and the measurement result of the user's body movement, an audio output may be provided to the user so as to correct the discrepancy. For example, when the position of the hand differs from the modeled motion, voice output may be provided to encourage the position of the hand to follow the modeled motion (such as "move the position of the hand in a predetermined direction"). In addition, when the user's body movement matches the model movement (i.e., when the user can perform the same movement as the model movement), the user's body movement is appropriate.
例えば、サーバ２０は、ユーザの身体の動きを測定する際、ユーザに提示する映像または音声のガイドに沿って身体を動かせているか否かにより、ユーザが運動に慣れているか否かの評価値を出力することとしてもよい。例えば、サーバ２０は、音声出力にあわせてユーザが身体を動かせている場合に、運動に慣れている等と評価することとしてもよい。 For example, when measuring the movement of the user's body, the server 20 may output an evaluation value indicating whether or not the user is accustomed to exercising, depending on whether the user is able to move the body along the video or audio guide presented to the user. For example, the server 20 may evaluate that the user is used to exercising when the user is able to move his/her body in accordance with the voice output.
サーバ２０は、当該評価値に基づき、ユーザに提案するトレーニングメニューを決定する。 The server 20 determines a training menu to be proposed to the user based on the evaluation value.
以上のように、サーバ２０は、測定ユニット３０による測定結果の履歴を測定履歴データベース２８３に保持しており、ユーザに対し、ユーザが運動に慣れているか否かを評価した時期および評価結果と、ユーザに提案したトレーニングメニューとの履歴を表示することとしてもよい。これにより、ユーザは、徐々に運動に慣れつつあること、トレーニングメニューが変化していることを確認することができ、自己効力感を実感しうる。 As described above, the server 20 holds the history of the measurement results by the measurement unit 30 in the measurement history database 283, and may display to the user the history of the timing and evaluation results of evaluating whether the user is accustomed to exercise and the training menus proposed to the user. Thereby, the user can confirm that the user is gradually accustomed to the exercise and that the training menu is changing, and can realize a sense of self-efficacy.
（３）ユーザに対し、トレーニングを継続することについての質問を実施 (3) Ask users about continuing training
この他に、サーバ２０が、ユーザに対し、トレーニングを継続することに関する質問を提示することとしてもよい。例えば、ユーザの性格として、トレーニングを継続することを過去に達成できたかどうか、トレーニングをやめてしまうまでの期間などについて、質問を提示することとしてもよい。 Alternatively, the server 20 may present questions to the user regarding continuing training. For example, questions may be presented regarding the user's personality, whether or not he or she was able to continue training in the past, and the length of time until training is stopped.
サーバ２０は、質問に対する回答の結果に基づいて、ユーザに提示するトレーニングメニューを決定する。例えば、上記の実施の形態４等で説明したように、ユーザの身体に起こりうる課題を特定し、当該課題に関連付けられる身体の部位に関するトレーニングメニューをユーザに提示したとする。当該ユーザが、トレーニングを継続できるかどうかについて否定的な回答をした場合（トレーニングを続けられない傾向にある、等）、サーバ２０は、当該課題に応じて、ユーザに提案するトレーニングメニューを変更することとしてもよい。例えば、当該課題に関連付けられる身体の部位に関するトレーニングメニューが複数ある場合に、別のトレーニングメニューをユーザに提案する。これにより、ユーザがトレーニングに飽きずに取り組むことがしやすくなると期待され、トレーニングを継続しうる。 The server 20 determines the training menu to be presented to the user based on the results of the answers to the questions. For example, as described in the above fourth embodiment and the like, it is assumed that a problem that may occur in the user's body is identified and a training menu related to body parts associated with the problem is presented to the user. If the user gives a negative answer as to whether or not the training can be continued (tends to be unable to continue the training, etc.), the server 20 may change the training menu to be proposed to the user according to the problem. For example, when there are a plurality of training menus related to body parts associated with the task, another training menu is proposed to the user. This is expected to make it easier for the user to work on the training without getting bored, so that the user can continue the training.
サーバ２０は、測定履歴データベース２８３等に基づいて、ユーザがトレーニングを実施したタイミングの間隔を特定する。すなわち、ユーザがトレーニングを行う頻度を特定する。サーバ２０は、当該間隔の長さに基づいて、ユーザに対し、トレーニングを継続することに関する質問を提示してもよい。例えば、トレーニングを行う頻度が減りつつある場合に、ユーザに対し、トレーニングを継続することに関する質問を受け付けることで、ユーザが飽きずに取り組めるよう別のトレーニングメニューを提案しうる。また、サーバ２０は、当該間隔の長さに基づいて、ユーザに提案するトレーニングメニューを変更することとしてもよい。これにより、ユーザが飽きずにトレーニングを実施しうるようになり、ユーザが継続してトレーニングに取り組みうる。 Based on the measurement history database 283 and the like, the server 20 identifies the intervals between the timings at which the user has performed training. That is, the frequency with which the user exercises is specified. Server 20 may present questions to the user regarding continuing training based on the length of the interval. For example, when the frequency of training is decreasing, a different training menu can be proposed so that the user does not get bored by accepting questions about continuing training from the user. Also, the server 20 may change the training menu proposed to the user based on the length of the interval. As a result, the user can continue training without getting bored, and the user can continue training.
＜第５の実施の形態＞ <Fifth Embodiment>
＜概要＞ <Overview>
第５の実施の形態では、ユーザが身体を動かして、理想的な動きができているかどうかをよりいっそう容易に確認できる技術について説明する。 In the fifth embodiment, a technique will be described in which the user can more easily check whether or not the user is making ideal movements by moving his/her body.
（１）ユーザが身体を動かした際の身体の動きの情報量を視覚的に落とすことで、身体の動きを容易に確認できるようにする。 (1) By visually reducing the amount of information about the body movement when the user moves the body, the body movement can be easily confirmed.
具体的には、ユーザが特定の運動（例えば、側方挙上など体幹筋の動きや関節可動域を評価するための運動、または、筋力トレーニングのための運動など）をする際、ユーザの身体の動きを点群データとしてセンシングし、点群データに基づいて、ユーザに対応するアバターと、ユーザの身体の動きに応じた補助線とを描画してユーザに提示する。これにより、ユーザは、身体の各部位が、意図したとおりに動かせているかをよりいっそう容易に確認することができる。 Specifically, when the user performs a specific exercise (for example, an exercise for evaluating trunk muscle movement and joint range of motion such as side lifting, or an exercise for strength training), the user's body movement is sensed as point cloud data, and based on the point cloud data, an avatar corresponding to the user and auxiliary lines corresponding to the user's body movement are drawn and presented to the user. Thereby, the user can more easily check whether each part of the body can be moved as intended.
（２）ビデオ会議ツール等を用いて、オンラインでトレーナーがトレーニーを指導することをよりいっそう容易にする。 (2) Make it easier for trainers to guide trainees online using video conferencing tools and the like.
第５の実施の形態では、上記の技術をもとに、身体の動かし方の指導を受けるトレーニー（第１ユーザ）と、トレーニーの身体の動かし方を指導するトレーナー（第２ユーザ）とが、オンラインで指導をする局面について説明する。 In the fifth embodiment, based on the above technology, a trainee (first user) who receives guidance on how to move the body and a trainer (second user) who instructs the trainee on how to move the body will explain a situation in which online guidance is provided.
具体的には、トレーニーの身体の動きを点群データとして表現したアバターを、トレーナー側の端末でトレーナーが確認できるようにすることで、トレーナー側が、トレーニーの身体を撮影した画像のみならず、当該画像よりも視覚的な情報量を削減したアバターの動きを確認できるようにする。これにより、トレーナーが、トレーニーに、身体の動かし方のアドバイスをオンラインですることをよりいっそう容易にすることができる。 Specifically, by enabling the trainer to check the avatar that expresses the movement of the trainee's body as point cloud data on the trainer's terminal, the trainer can check not only the image of the trainee's body but also the movement of the avatar with less visual information than the image. This makes it easier for trainers to give trainees online advice on how to move their bodies.
つまり、第５の実施の形態では、（１）トレーニー（第１ユーザ）の端末の第１プロセッサが、測定ユニット３０等によりトレーニー（第１ユーザ）の身体の動きを点群データとしてセンシングすること、（２）第１プロセッサが、トレーニー（第１ユーザ）の点群データに基づく情報（例えば、点群データに基づきトレーニーのアバターを描画した画像、または、点群データそのもの等）をトレーナー（第２ユーザ）の端末に送信すること、等の種々の処理を実行する際の一連の技術について説明する。 That is, in the fifth embodiment, (1) the first processor of the terminal of the trainee (first user) senses the body movement of the trainee (first user) as point cloud data using the measurement unit 30 or the like, (2) the first processor transmits information based on the point cloud data of the trainee (first user) (for example, an image of the trainee's avatar drawn based on the point cloud data, or the point cloud data itself) to the terminal of the trainer (second user). A series of techniques for doing so will be described.
ここで、トレーニー（第１ユーザ）の身体の動きを点群データとしてセンシングし、第１プロセッサが、トレーニー（第１ユーザ）の点群データに基づく情報をトレーナー（第２ユーザ）の端末に送信し、種々の処理を実行する装置に関しては、ユーザの所持しているコンピュータ、スマートフォン、タブレット端末などの端末装置が挙げられる。 Here, the movement of the body of the trainee (first user) is sensed as point cloud data, and the first processor transmits information based on the point cloud data of the trainee (first user) to the terminal of the trainer (second user). As for the device for executing various processes, terminal devices such as computers, smartphones, and tablet terminals possessed by the user can be mentioned.
＜第５の実施の形態におけるデータ構造＞ <Data structure in the fifth embodiment>
図２６は、第５の実施形態において、サーバ２０が記憶する、トレーニー情報データベース２６０１、トレーナー情報データベース２６０２、トレーニング履歴データベース２６０３のデータ構造を示す図である。 FIG. 26 is a diagram showing data structures of a trainee information database 2601, a trainer information database 2602, and a training history database 2603 stored by the server 20 in the fifth embodiment.
図示していないが、サーバ２０は、これらの他に、ユーザが行う身体の動きの種類（側方挙上など関節可動域等を評価するための動き、プッシュアップなど筋力トレーニングのための動き、ヨガなど予め定められた身体の動き、その他の動きの種類）の情報と、ユーザの身体の動きを点群データの集合体のアバターとして表示する際の補助線の種類の情報と、当該補助線を描画する位置（アバターにより表現されるユーザの身体の部位と関連付けた位置）の情報とを対応付けたデータベースを管理している。 Although not shown, the server 20 also provides information on the types of body movements performed by the user (movements for evaluating the range of motion of the user's joints, such as side elevations, movements for strength training such as push-ups, predetermined body movements such as yoga, and other types of movement), information on the types of auxiliary lines used when displaying the user's body movements as an avatar that is an aggregate of point cloud data, and information on the positions at which the auxiliary lines are drawn (positions associated with parts of the user's body represented by the avatars). It manages the associated database.
トレーニー情報データベース２６０１は、トレーニーとなるユーザの情報を管理するためのデータベースである。トレーナー情報データベース２６０２は、トレーナーとなるユーザの情報を管理するためのデータベースである。トレーニング履歴データベース２６０３は、トレーナーの指導によりトレーニーのトレーニングを実施した履歴を管理するためのデータベースである。 The trainee information database 2601 is a database for managing information on users who become trainees. The trainer information database 2602 is a database for managing information on users who become trainers. The training history database 2603 is a database for managing the history of the trainee's training under the guidance of the trainer.
図２６に示すように、トレーニー情報データベース２６０１は、項目「トレーニーＩＤ」と、項目「氏名」と、項目「年齢」と、項目「性別」と、項目「体重」と、項目「体脂肪率」と、項目「目的」と、項目「理想の姿」と、項目「画面表示」と、項目「体力レベル」と、項目「備考」等を含む。 As shown in FIG. 26, the trainee information database 2601 includes an item "trainee ID", an item "name", an item "age", an item "gender", an item "weight", an item "body fat percentage", an item "purpose", an item "ideal figure", an item "screen display", an item "physical fitness level", an item "remarks", and the like.
項目「トレーニーＩＤ」は、トレーニングを受けるユーザそれぞれを識別する情報である。 The item "trainee ID" is information for identifying each user who receives training.
項目「氏名」は、トレーニングを受けるユーザそれぞれの氏名を示す情報である。 The item "name" is information indicating the name of each user who receives training.
項目「年齢」は、トレーニングを受けるユーザそれぞれの年齢を示す情報である。 The item "age" is information indicating the age of each user who receives training.
項目「性別」は、トレーニングを受けるユーザそれぞれの性別を示す情報である。 The item “gender” is information indicating the gender of each user who receives training.
項目「体重」は、トレーニングを受けるユーザそれぞれの体重を示す情報である。 The item “weight” is information indicating the weight of each user who undergoes training.
項目「体脂肪率」は、トレーニングを受けるユーザそれぞれの体脂肪率を示す情報である。 The item "percentage of body fat" is information indicating the percentage of body fat of each user who undergoes training.
項目「目的」は、トレーニングを受けるユーザそれぞれの目的を示す情報である。具体的には、ユーザＩＤ「Ｕ００１」の氏名「森」で識別されるユーザは、「シェイプアップ」をトレーニングの目的としており、ユーザＩＤ「Ｕ００２」の氏名「佐藤」で識別されるユーザは、「ダイエット」をトレーニングの目的としている。ここで、ある局面においては、トレーニングを受けるユーザ（トレーニー）を指導する立場のユーザ（トレーナー）は、当該目的に応じて、当該ユーザ（トレーニー）に対するトレーニングメニューを提示してもよい。またある局面では、端末装置１０またはサーバ２０が、後述する学習済みモデル等に基づいて、当該ユーザに提示するトレーニングメニューを特定してもよい。 The item "purpose" is information indicating the purpose of each user who receives training. Specifically, the user identified by the name “Mori” with the user ID “U001” has “Shaping up” as the training purpose, and the user identified by the user ID “U002” with the name “Sato” has the training purpose of “Diet”. Here, in a certain aspect, a user (trainer) who is in a position to instruct a user (trainee) undergoing training may present a training menu to the user (trainee) according to the purpose. In a certain aspect, terminal device 10 or server 20 may specify a training menu to be presented to the user based on a learned model or the like, which will be described later.
項目「理想の姿」は、トレーニングを受けるユーザそれぞれが理想とする姿を示す情報である。具体的には、ユーザＩＤ「Ｕ００１」の氏名「森」で識別されるユーザは、理想の姿を「指定なし」としており、ユーザＩＤ「Ｕ００２」の氏名「佐藤」で識別されるユーザは、理想の姿として「〇〇」を指定している。ここで、この理想の姿は、実在する芸能人などを指定してもよいし、架空の存在（例えば、漫画のキャラクターのような体形を理想とする場合に、そのキャラクターなど）をユーザが指定できることとしてもよい。また、ある局面においては、サーバ２０は、当該「理想の姿」と「目的」の内容とに基づいて、トレーニングメニューの特定、提示を行ってもよい。 The item "ideal figure" is information indicating the ideal figure of each user who undergoes training. Specifically, the user identified by the name "Mori" with the user ID "U001" has "not specified" as the ideal figure, and the user identified by the name "Sato" with the user ID "U002" has specified "OO" as the ideal figure. Here, this ideal figure may designate a real celebrity or the like, or a fictional existence (for example, if the body shape of a cartoon character is ideal, the character, etc.) may be designated by the user. In a certain aspect, server 20 may specify and present a training menu based on the contents of the "ideal figure" and "purpose".
項目「画面表示」は、ユーザをカメラ等で撮影した際の表示態様を示す情報である。表示態様としては、ユーザをＲＧＢカメラ等で撮影した場合に、当該撮影により生成される撮影画像をそのまま表示すること、また、距離を計測可能なセンサ（深度カメラ、ＬｉＤＡＲ（light detection and ranging）等）でユーザの身体の動きを点群データとして測定し、点群データに基づきアバターとして表示すること等がある。具体的には、ユーザＩＤ「Ｕ００１」の氏名「森」で識別されるユーザは、画面表示を「アバター」としており、当該ユーザの姿をカメラなどで撮影した動画像を画面表示する際に、ユーザ自身の姿を撮影した動画像そのままではなく、撮影した動画像に基づいた、何らかのアバター（例えば、キャラクターを用いたアバター）として表示することを示す。 The item "screen display" is information indicating a display mode when the user is photographed by a camera or the like. As a display mode, when a user is photographed with an RGB camera or the like, the photographed image generated by the photographing is displayed as it is, and a sensor capable of measuring distance (depth camera, LiDAR (light detection and ranging), etc.) measures the movement of the user's body as point cloud data, and displays it as an avatar based on the point cloud data. Specifically, the user identified by the name "Mori" of the user ID "U001" is displayed as "avatar" on the screen, and when displaying the moving image of the user captured by a camera or the like, it indicates that the user's own appearance is displayed as an avatar (for example, an avatar using a character) based on the captured moving image instead of the captured moving image as it is.
これにより、トレーニングを受けるユーザの要望、例えば、初めてのトレーニングなので、顔、身体の様子を他の人に見られたくない、プライバシーを保護したい、などに対応でき、ユーザは安心してトレーニングを受けることができる。 As a result, it is possible to respond to requests from users who undergo training, such as wanting to protect their privacy so that others cannot see their faces and bodies because they are training for the first time.
項目「体力レベル」は、トレーニングを受けるユーザそれぞれの身体の運動能力を段階的に評価した体力レベルを示す情報である。具体的には、トレーニングを受けるユーザの身体の動きをセンシングするときに、同時に当該ユーザの身体の動きの情報に基づいて、どの程度の運動まではできそうか、などの判断基準となる体力レベルを特定している。ユーザＩＤ「Ｕ００１」の氏名「森」で識別されるユーザは、体力レベルが「５」であり、ユーザＩＤ「Ｕ００２」の氏名「佐藤」で識別されるユーザは、体力レベルが「２」である。このとき、体力レベルの特定方法としては、端末装置１０またはサーバ２０が、ユーザの身体の動きをセンシングする時に、学習済みモデルなどに基づいて当該ユーザの体力レベルを特定しても良いし、トレーニングを受けるユーザ（トレーニー）を指導する立場のユーザ（トレーナー）がセンシングの結果に基づいてトレーニーの体力レベルを特定してもよい。 The item “physical fitness level” is information indicating the physical fitness level obtained by evaluating the physical exercise ability of each user who undergoes training in stages. Specifically, when sensing the movement of the user's body undergoing training, at the same time, based on the information on the movement of the user's body, the user's physical fitness level is specified as a criterion for judging how much exercise the user is likely to be able to do. The user identified by the user ID "U001" and the name "Mori" has a physical strength level of "5", and the user identified by the user ID "U002" and the name "Sato" has a physical strength level of "2". At this time, as a method of specifying the physical fitness level, when the terminal device 10 or the server 20 senses the movement of the user's body, the physical fitness level of the user may be specified based on a learned model or the like.
これにより、ユーザは自身の体力レベルにあったトレーニングメニューを受けることができるため、無理なくトレーニングを継続することができる。また、集団で受けるトレーニングなどの場合には、サーバ２０が同じ体力レベルのユーザ同士を特定し、特定したユーザ同士でトレーニングを実施するようユーザ（トレーナー、トレーニー）をマッチングさせることもできる。例えば、体力レベルに差があるユーザ（トレーニー）同士でトレーニングを実施する場合、トレーナーの指導内容、トレーニーのトレーニング内容等に差が出てしまい、モチベーションが下がってしまうことがあり得るが、上記のように体力レベルを防ぐことができる。 As a result, the user can receive a training menu suitable for his or her physical fitness level, so that the user can continue training without difficulty. In addition, in the case of group training, the server 20 can identify users with the same physical strength level and match users (trainers, trainees) so that the identified users can train together. For example, when users (trainees) having different physical strength levels train with each other, there may be a difference in the training content of the trainer, the training content of the trainee, etc., which may lower the motivation, but the physical strength level can be prevented as described above.
項目「備考」は、トレーニングを受けるユーザそれぞれに対し、特別に考慮しておくべき事情を示す情報である。特別に考慮しておくべき事情としては、トレーニングをする際の安全性（医学的な観点に基づく安全性、トレーニング内容自体の安全性など）に基づき考慮すべき事項等がある。例えば、ユーザが高血圧のため過度なトレーニングが医師から止められている場合などは、備考に当該事項を記載する。サーバ２０は、項目「備考」に記載された内容に基づいて、トレーニングを受けるユーザに最適なトレーニングメニューを特定することとしてもよい。また、トレーナーの端末装置１０Ｂにおいて、当該項目「備考」の情報をサーバ２０から取得してトレーニーに提示することにより、トレーナーがトレーニーのトレーニングメニューを決定する際の参考となる情報を提供することとしてもよい。 The item "remarks" is information indicating circumstances that should be specially considered for each user who undergoes training. Circumstances that should be taken into special consideration include items that should be considered based on safety during training (safety based on a medical point of view, safety of the training content itself, etc.). For example, if the user has high blood pressure and the doctor has stopped excessive training, the relevant matter is described in the remarks. The server 20 may specify the optimal training menu for the user who receives the training based on the contents described in the item "Remarks". In addition, the terminal device 10B of the trainer may obtain the information of the item "remarks" from the server 20 and present it to the trainee, thereby providing the trainer with reference information when determining the training menu for the trainee.
これにより、ユーザが持病などを抱えている場合でも、サーバ２０等が当該項目「備考」に基づきユーザに提示するトレーニングメニューを特定したり、トレーナーが当該項目「備考」に基づきトレーニングメニューを選定することにより、ユーザが安心して無理のないトレーニングを続けることができる。 Thus, even when the user has a chronic disease, the server 20 or the like specifies the training menu to be presented to the user based on the item 'remarks', or the trainer selects the training menu based on the item 'remarks', so that the user can continue training without difficulty.
トレーナー情報データベース２６０２は、項目「トレーナーＩＤ」と、項目「氏名」と、項目「性別」と、項目「経験年数」と、項目「得意領域」と、項目「推奨体力レベル」と、項目「指導可能タイプ」と、項目「備考」等を含む。 The trainer information database 2602 includes the item “trainer ID”, the item “name”, the item “gender”, the item “years of experience”, the item “strength area”, the item “recommended physical strength level”, the item “trainable type”, the item “remarks”, and the like.
項目「トレーナーＩＤ」は、トレーニングを受けるユーザを指導する立場のユーザそれぞれを識別する情報である。 The item “trainer ID” is information for identifying each user who is in a position to instruct the user who is training.
項目「氏名」は、トレーニングを受けるユーザを指導する立場のユーザそれぞれの氏名を示す情報である。 The item "name" is information indicating the name of each user who is in a position to guide the user who is undergoing training.
項目「性別」は、トレーニングを受けるユーザを指導する立場のユーザそれぞれの性別を示す情報である。 The item “gender” is information indicating the gender of each user who is in a position to guide the user who is undergoing training.
項目「経験年数」は、トレーニングを受けるユーザを指導する立場のユーザそれぞれのトレーニング指導の経験年数を示す情報である。具体的には、トレーナーＩＤ「Ｔ００１」の氏名「田中」で識別されるユーザは、「５年」の経験年数を有していることを示しており、トレーナーＩＤ「Ｔ００３」の氏名「加藤」で識別されるユーザは、「１０年」の経験年数を有していることを示す。 The item "years of experience" is information indicating the number of years of experience in training guidance of each user who is in a position to guide the user who is to undergo training. Specifically, it indicates that the user identified by the name “Tanaka” of the trainer ID “T001” has “5 years” of experience, and the user identified by the name “Kato” of the trainer ID “T003” has the experience of “10 years”.
これにより、例えば、ある局面において、トレーニングを受けるユーザ（トレーニー）が当該指導する立場のユーザ（トレーナー）を指定するときに、当該経験年数を参考に指導する立場のユーザを指定することで、より安心してトレーニングを受けることができる。指導する立場のユーザ（トレーナー）としても、当該情報に基づいて指導する立場のユーザとして指定されることで、自身の知名度などを向上させることができる。 As a result, for example, in a certain situation, when a user (trainee) who receives training designates a user (trainer) who is in a position to give guidance, he/she can receive training with more peace of mind by designating the user who is in a position to give guidance with reference to the relevant years of experience. As a user (trainer) who is in a position to give guidance, by being designated as a user who is in a position to give guidance based on the information, it is possible to improve his/her name recognition.
項目「得意領域」は、トレーニングを受けるユーザ（トレーニー）を指導する立場のユーザ（トレーナー）それぞれのトレーニング指導における得意領域を示す情報である。具体的には、トレーナーＩＤ「Ｔ００１」の氏名「田中」で識別されるユーザは、「ヨガ」および「エクササイズ」を得意領域としており、トレーナーＩＤ「Ｔ００２」の氏名「斎藤」で識別されるユーザは、「筋トレ」および「エクササイズ」を得意領域としていることを示す。 The item "area of specialty" is information indicating the area of specialty in training guidance of each user (trainer) who is in a position to instruct a user (trainee) who is to undergo training. Specifically, the user identified by the name “Tanaka” of the trainer ID “T001” has “yoga” and “exercise” as his/her specialty areas, and the user identified by the name “Saito” of the trainer ID “T002” has his/her specialty areas of “muscle training” and “exercise”.
これにより、トレーニングを受けるユーザにおける、上述のトレーニー情報データベース２６０１の項目「目的」および項目「理想の姿」などの情報に応じて、サーバ２０等が、当該ユーザを指導する立場のユーザ（トレーナー）を特定することとしてもよい。これにより、トレーニーがトレーニングを受ける目的等に合致したトレーナーをマッチングさせ得る。例えば、トレーニーがエクササイズを目的としているのに対し、当該目的に合致するトレーニングを得意とするトレーナーを指導者としてサーバ２０等が割り当てることができ得る。 As a result, the server 20 or the like may identify a user (trainer) who is in a position to instruct the user in accordance with information such as the item "purpose" and the item "ideal figure" of the trainee information database 2601 for the user undergoing training. As a result, it is possible to match a trainer that matches the purpose of the trainee's training. For example, while a trainee aims at exercise, the server 20 or the like can assign a trainer who is good at training that meets the purpose as a leader.
項目「推奨体力レベル」は、トレーニングを受けるユーザ（トレーニー）を指導する立場のユーザ（トレーナー）それぞれに定義される、当該ユーザ（トレーナー）からトレーニングを受ける際に推奨されるトレーニーの体力レベルを示す。具体的には、トレーナーＩＤ「Ｔ００１」の氏名「田中」で識別されるユーザ（トレーナー）からの指導に対しては、推奨体力レベルが「３以上」とされており、前述のユーザID「U００１」の氏名「森」で識別されるユーザ（トレーニー）は体力レベルが「５」であることから、当該ユーザからの指導を受ける体力レベルの水準に達していることがわかり、ユーザID「U００２」の氏名「佐藤」で識別されるユーザ（トレーニー）は、体力レベルが「２」であるため、当該ユーザからの指導を受ける体力レベルの水準に達していないことがわかる。 The item “recommended physical fitness level” indicates the physical fitness level of the trainee, which is defined for each user (trainer) who is in a position to instruct the user (trainee) who receives the training, and which is recommended when receiving training from the user (trainee). Specifically, for guidance from the user (trainer) identified by the name "Tanaka" of the trainer ID "T001", the recommended physical strength level is "3 or higher", and the user (trainee) identified by the name "Mori" of the user ID "U001" has a physical strength level of "5", so it is understood that the physical strength level of the user (trainee) identified by the name "Sato" of the user ID "U002" is "5". 2”, it can be seen that the physical fitness level for receiving guidance from the user is not reached.
これにより、トレーニングを受けるユーザは、自身の体力レベルにあったトレーニングを受けることができる。また、トレーニングを受けるユーザを指導する立場のユーザも、定められた水準以上のユーザに対しトレーニングを指導できるため、ユーザによるトレーニングメニューのばらつき、上達状況のばらつきなどが生じることを抑えることができるため、トレーニングを受けているユーザのモチベーションの維持も期待できる。サーバ２０等は、トレーナーの項目「推奨体力レベル」と、トレーニーの項目「体力レベル」とに基づいて、トレーナーとトレーニーをマッチングさせることとしてもよい。 As a result, the user who undergoes training can receive training suitable for his/her physical fitness level. In addition, users who are in a position to instruct users undergoing training can also instruct training to users who are at or above a set level, so it is possible to suppress variations in training menus and proficiency among users. The server 20 or the like may match the trainer and the trainee based on the item "recommended physical fitness level" of the trainer and the item "physical fitness level" of the trainee.
項目「指導可能タイプ」は、トレーニングを受けるユーザを指導する立場のユーザ（トレーナー）が指導可能なトレーニングのタイプの種類を示す。具体的には、トレーナーＩＤ「Ｔ００１」の氏名「田中」で識別されるユーザは、指導可能タイプが「個人」および「集団」であり、トレーナーＩＤ「Ｔ００２」の氏名「斎藤」で識別されるユーザは、指導可能タイプが「個人」のみであることを示す。 The item "guidable type" indicates the type of training that can be instructed by a user (trainer) who is in a position to instruct a user undergoing training. Specifically, the user identified by the name “Tanaka” of the trainer ID “T001” has the coachable types of “individual” and “group”, and the user identified by the name “Saito” of the trainer ID “T002” has only the coachable type of “individual”.
これにより、トレーニングを受けるユーザを指導する立場のユーザ（トレーナー）が個人指導向きなのか、集団指導向きなのかがわかるため、サーバ２０等は、当該「指導可能タイプ」に基づいて、トレーナーとトレーニーとのマッチングにおいて、１対１の個人指導でのトレーニングと、１対複数の集団指導でのトレーニングとを振り分けることができる。また、トレーニーの端末装置１０において、トレーニーに対してトレーナーの「指導可能タイプ」を提示することとしてもよい。 This makes it possible to determine whether the user (trainer) in the position of instructing the user undergoing training is suitable for individual instruction or for group instruction, so that the server 20 or the like can sort training by one-on-one individual instruction and training by one-to-many group instruction in matching the trainer and trainee based on the "trainable type". Also, the terminal device 10 of the trainee may present the trainer's "trainable type" to the trainee.
項目「備考」は、トレーニングを受けるユーザを指導する立場のユーザ（トレーナー）それぞれの、その他の特記事項などの情報である。特記事項としては、トレーナーによるトレーニングの実績を客観的に評価した情報が含まれうる。具体的には、トレーナーＩＤ「Ｔ００１」の氏名「田中」で識別されるユーザは、「＊＊グランプリ受賞」であることがわかる。 The item "remarks" is information such as other special notes of each user (trainer) who is in a position to instruct the user who is to undergo training. Remarks may include information that objectively evaluates the performance of training by a trainer. Specifically, it can be seen that the user identified by the name "Tanaka" of the trainer ID "T001" is "** grand prix winner".
これにより、ある局面において、トレーニングを受けるユーザ（トレーニー）がトレーニングを受けるユーザを指導する立場のユーザ（トレーナー）を指定する際に、トレーニーの端末装置１０において当該項目「備考」の情報をトレーニーに提示することにより、トレーニーは、当該情報も考慮した上でトレーナーを指定することができる。トレーニングを受けるユーザを指導する立場のユーザ（トレーナー）も、当該情報を記載しておくことで、自身が指導者として指定される機会が増えることが期待できる。 As a result, in a certain situation, when a user (trainee) undergoing training designates a user (trainer) who is in a position to instruct the user undergoing training, the trainee can designate a trainer in consideration of the information by presenting the information of the item "remarks" to the trainee on the trainee's terminal device 10. A user (trainer) who is in a position to instruct a user undergoing training can also expect to increase the chances of being designated as a trainer by recording the information.
トレーニング履歴データベース２６０３は、項目「トレーニングＩＤ」と、項目「日時」と、項目「ミーティングＩＤ」と、項目「トレーニーＩＤ」と、項目「トレーナーＩＤ」と、項目「センシング結果」と、項目「指導内容」と、項目「トレーナー評価」と、項目「マッチングＩＤ」等を含む。 The training history database 2603 includes an item “training ID”, an item “date and time”, an item “meeting ID”, an item “trainee ID”, an item “trainer ID”, an item “sensing result”, an item “guidance content”, an item “trainer evaluation”, an item “matching ID”, and the like.
項目「トレーニングＩＤ」は、トレーナーとトレーニーとによるトレーニングそれぞれを識別する情報である。 The item “training ID” is information for identifying training by trainers and trainees.
項目「日時」は、トレーニングが行われた日時を示す。 The item "date and time" indicates the date and time when the training was performed.
項目「ミーティングＩＤ」は、トレーナーの端末装置１０Ｂとトレーニーの端末装置１０Ａとが通信することにより、オンラインでトレーニング指導を行う場合の通信セッションそれぞれを識別する情報である。例えば、通信セッションを識別する情報として、オンラインミーティング用のＵＲＬ等の情報を含む。 The item "meeting ID" is information for identifying each communication session in the case of conducting online training guidance through communication between the terminal device 10B of the trainer and the terminal device 10A of the trainee. For example, information identifying a communication session includes information such as a URL for an online meeting.
項目「トレーニーＩＤ」は、トレーニングを行ったトレーナーを識別する情報である。 The item "trainee ID" is information for identifying the trainer who has performed the training.
項目「トレーナーＩＤ」は、トレーナーからトレーニングの指導を受けたトレーニーを識別する情報である。 The item “trainer ID” is information for identifying a trainee who received training guidance from the trainer.
項目「センシング結果」は、トレーニングにおいてトレーナーの身体の動きを端末装置１０Ａが測定ユニット３０により測定した結果（点群データ）、または、当該点群データを仮想空間に配置して仮想カメラの設定に基づきレンダリングした映像（当該映像において、トレーニーの身体の動きを点群データの集合として表現したアバターと、トレーニーの身体の動かし方（側方挙上など、ユーザに提示した身体の動かし方の種類）に応じて描画した補助線とを含む）等である。 The item "sensing result" is the result (point cloud data) of the trainer's body movement measured by the measurement unit 30 in the terminal device 10A during training, or an image rendered based on the setting of the virtual camera after placing the point cloud data in a virtual space (including an avatar expressing the trainee's body movement as a set of point cloud data in the image, and an auxiliary line drawn according to the trainee's body movement method (the type of body movement method presented to the user, such as side elevation)).
項目「指導内容」は、トレーニーの身体の動かし方に対して、トレーナーがトレーニーに対して指示した指導内容を示す。例えば、トレーナーが音声でトレーニーに対して身体の動かし方を指導した場合（身体の動かし方において、ユーザを所望の姿勢へと導くような助言を含む。例えば、所望の姿勢に対して身体の部位（腕、脚など）が曲がっている場合に、所望の姿勢にするよう促すトレーナーのアドバイス）、当該指導内容を含む音声、または、当該音声の解析結果を項目「指導内容」において保持させる。 The item "guidance content" indicates the content of guidance given by the trainer to the trainee regarding how to move the trainee's body. For example, when the trainer instructs the trainee how to move the body by voice (including advice to guide the user to a desired posture in how to move the body. For example, when body parts (arms, legs, etc.) are bent relative to the desired posture, the trainer's advice to encourage the user to take the desired posture), the voice including the guidance content or the analysis result of the voice is stored in the item "guidance content".
項目「トレーナー評価」は、トレーナーがトレーニーから受けた評価を示す。例えば、オンラインでトレーニングを実施した後、トレーニーの端末装置１０Ａにおいて、トレーナーの評価を入力する画面をトレーニーに提示することにより、トレーニーからトレーナーの評価を受け付ける。 The item "trainer evaluation" indicates the evaluation received by the trainer from the trainee. For example, after conducting online training, the trainer's evaluation is accepted from the trainee by presenting the trainee with a screen for inputting the trainer's evaluation on the trainee's terminal device 10A.
項目「マッチングＩＤ」は、サーバ２０がトレーナーとトレーニーとをマッチングさせた場合に、当該マッチングそれぞれを特定する情報である。マッチングが成立することによりトレーナーとトレーニーとのトレーニングが始まる場合もあれば、マッチングが成立したにもかかわらずトレーニングが実施されないこともあり得る。 The item “matching ID” is information that identifies each matching when the server 20 matches the trainer and the trainee. If the matching is established, the trainer and the trainee may start training, or even if the matching is established, the training may not be carried out.
＜第５の実施の形態における動作例＞ <Example of operation in the fifth embodiment>
以下、第５の実施の形態において、システム１における、第１ユーザ（トレーニー）の端末の第１プロセッサが、第１ユーザの身体の動きを点群データとしてセンシングし、第１プロセッサが、第１ユーザの点群データに基づく情報を第２ユーザ（トレーナー）の端末に送信し、種々の処理を実行する際の一連の処理について説明する。 Hereinafter, in the fifth embodiment, a series of processes will be described in which the first processor of the terminal of the first user (trainee) in the system 1 senses the movement of the body of the first user as point cloud data, the first processor transmits information based on the point cloud data of the first user to the terminal of the second user (trainer), and executes various processes.
（第１ユーザの動きをセンシングし、第２ユーザの端末に送信） (Sensing the first user's movement and sending it to the second user's terminal)
図２７は、第１ユーザの身体の動きを点群データとしてセンシングし、センシングで得られた、第１ユーザの点群データに基づく情報を第２ユーザの端末に送信する一連の処理を示すフローチャートである。 FIG. 27 is a flowchart showing a series of processes for sensing the movement of the first user's body as point cloud data and transmitting information based on the first user's point cloud data obtained by sensing to the terminal of the second user.
以降の説明において、図１で示した端末装置１０について、第１ユーザの端末装置１０を「端末装置１０Ａ」と記載し、端末装置１０Ａの構成を「プロセッサ１９Ａ」等と記載する。同様に第２ユーザの端末装置１０を「端末装置１０Ｂ」と記載し、端末装置１０Ｂの構成を「プロセッサ１９Ｂ」等と記載する。 In the following description, regarding the terminal device 10 shown in FIG. 1, the terminal device 10 of the first user is referred to as "terminal device 10A", and the configuration of terminal device 10A is referred to as "processor 19A" and the like. Similarly, the terminal device 10 of the second user is described as "terminal device 10B", and the configuration of terminal device 10B is described as "processor 19B" and the like.
また、図２７の例では、第１ユーザの端末装置１０Ａと、第２ユーザの端末装置１０Ｂとが通信を確立することにより、各端末のカメラ１６０で撮影した映像と、マイク１４１で収音した音声とを互いに送受信することとする。 Also, in the example of FIG. 27 , the terminal device 10A of the first user and the terminal device 10B of the second user establish communication, whereby video captured by the camera 160 of each terminal and audio collected by the microphone 141 are mutually transmitted and received.
例えば、端末装置１０Ａと、端末装置１０Ｂとが、オンラインでビデオミーティングを行うためのアプリケーションを実行しており、ミーティングに参加するための識別情報（例えば、アプリケーションで発行されるミーティング用のＩＤ、ＵＲＬ等）に基づき通信を確立する。 For example, the terminal device 10A and the terminal device 10B are running an application for conducting an online video meeting, and communication is established based on identification information for participating in the meeting (for example, a meeting ID issued by the application, a URL, etc.).
端末装置１０Ａは、測定ユニット３０等により第１ユーザの身体の動きを点群データとして取得する。端末装置１０Ａは、当該点群データを仮想空間に配置し、仮想空間における仮想カメラを、第１ユーザの身体の正面（図１１の説明における前後軸）の位置と、第１ユーザの身体の側面（図１１の説明における左右軸）の位置とにそれぞれ配置してレンダリングを行い、レンダリング結果を表示する。当該レンダリング結果には、第１ユーザを正面から見た点群データの集合としてのアバターと、第１ユーザを側面から見た点群データの集合としてのアバターとが含まれる。端末装置１０Ａは、上記のレンダリング結果（正面から見たアバター、側面から見たアバター）を表示する領域と関連付けて、ユーザの身体の動かし方に対応した補助線を描画する。 The terminal device 10A acquires the movement of the first user's body as point cloud data using the measurement unit 30 or the like. The terminal device 10A arranges the point cloud data in the virtual space, arranges the virtual camera in the virtual space at the position of the front of the first user's body (the front-rear axis in the description of FIG. 11) and the position of the side of the first user's body (the left-right axis in the description of FIG. 11), performs rendering, and displays the rendering result. The rendering result includes an avatar as a set of point cloud data when the first user is viewed from the front and an avatar as a set of point cloud data when the first user is viewed from the side. The terminal device 10A draws an auxiliary line corresponding to how the user moves the body, in association with the display area of the rendering result (the avatar viewed from the front and the avatar viewed from the side).
端末装置１０Ａは、画面上に上記のアバターおよび補助線を描画した画像を表示しつつ、オンラインでビデオミーティングを行うアプリケーションにより、当該画像を端末装置１０Ｂと画面共有する。これにより、第１ユーザをカメラ１６０Ａで撮影した映像と、マイク１４１で収音した音声と、アバターおよび補助線を描画した画像とを、端末装置１０Ａから端末装置１０Ｂへと送信する。端末装置１０Ｂの第２ユーザは、当該カメラ１６０Ａで撮影した映像と、画面共有される当該画像（アバターおよび補助線を描画した画像）とを視認することにより、第１ユーザの身体の動きを確認し、第１ユーザへのアドバイスを音声等で第１ユーザへ通知する。 The terminal device 10A displays an image drawn with the avatar and auxiliary lines on the screen, and screen-shares the image with the terminal device 10B by an application for online video meeting. As a result, the video of the first user captured by the camera 160A, the audio picked up by the microphone 141, and the image in which the avatar and the auxiliary lines are drawn are transmitted from the terminal device 10A to the terminal device 10B. The second user of the terminal device 10B visually confirms the movement of the first user's body by viewing the video captured by the camera 160A and the screen-shared image (image in which the avatar and auxiliary lines are drawn), and notifies the first user of advice to the first user by voice or the like.
ステップＳ２７０１において、第１ユーザの端末装置１０Ａのプロセッサ１９Ａは測定ユニット３０などにより、第１ユーザの身体の動きを点群データとしてセンシングする。 In step S2701, the processor 19A of the terminal device 10A of the first user senses the movement of the first user's body as point cloud data using the measurement unit 30 or the like.
具体的には、プロセッサ１９Ａは、第１ユーザに対し、第１ユーザが行う身体の動きのメニューを表示して、第１ユーザが、身体の動きのセンシングのための特定の動き（例えば、側方挙上などの動き、トレーニングの項目（スクワット等）となる動き等）をするよう促す。第１ユーザの端末装置１０Ａのプロセッサ１９Ａは、測定ユニット３０などにより、当該特定の動きを撮影することで、第１ユーザの身体の動きを点群データとしてセンシングする。 Specifically, the processor 19A displays to the first user a menu of body movements performed by the first user, and urges the first user to perform specific movements for sensing body movements (for example, movements such as side lifts, movements that are training items (such as squats), etc.). The processor 19A of the terminal device 10A of the first user captures the specific movement using the measurement unit 30 or the like, thereby sensing the body movement of the first user as point cloud data.
ステップＳ２７０３において、プロセッサ１９Ａは、測定ユニット３０等によるセンシングで得られた、第１ユーザの点群データに基づく情報として、第１ユーザ（トレーニー）を表すアバターと、第１ユーザが行う身体の動きの種類（第１ユーザに提示する運動メニューの種類）に対応する補助線とを含む映像を生成する。 In step S2703, the processor 19A generates an image including an avatar representing the first user (trainee) and auxiliary lines corresponding to the type of body movement performed by the first user (type of exercise menu presented to the first user) as information based on the first user's point cloud data obtained by sensing by the measurement unit 30 or the like.
ステップＳ２７０５において、プロセッサ１９Ａは、ステップＳ２７０３で生成した映像を端末装置１０Ａのディスプレイ１３２Ａで表示する。プロセッサ１９Ａは、表示した映像（アバターと補助線を含む映像）と、別途、第１ユーザを撮影するカメラ１６０Ａにより生成される撮影画像（点群データの集合体ではなく、ＲＧＢカメラで撮影された撮影画像）とを、第２ユーザの端末装置１０Ｂへ送信する。 In step S2705, the processor 19A displays the image generated in step S2703 on the display 132A of the terminal device 10A. The processor 19A transmits the displayed video (video including the avatar and the auxiliary lines) and separately the captured image generated by the camera 160A that captures the first user (the captured image captured by the RGB camera, not the collection of point cloud data) to the second user's terminal device 10B.
ステップＳ２７５１において、第２ユーザの端末装置１０Ｂのプロセッサ１９Ｂは、第１ユーザの端末装置１０Ａから、第１ユーザの点群データに基づく情報として、端末装置１０Ａで生成された映像（アバターと補助線を含む）を受信する。プロセッサ１９Ｂは、ステップＳ２７０５で生成される、第１ユーザの撮影画像（点群データの集合体ではない撮影画像）を受信する。 In step S2751, the processor 19B of the terminal device 10B of the second user receives, from the terminal device 10A of the first user, the video (including the avatar and auxiliary lines) generated by the terminal device 10A as information based on the point cloud data of the first user. The processor 19B receives the captured image of the first user (the captured image that is not the set of point cloud data) generated in step S2705.
ステップＳ２７５３において、プロセッサ１９Ｂは、ステップＳ２７５１で受信した映像（アバターと補助線を含む）と、撮影画像とに基づいて、点群データの集合として第１ユーザの身体の動きに対応する第１アバターを含む映像を、ディスプレイ１３２Ｂ等に表示する。プロセッサ１９Ｂは、第１ユーザの撮影画像（点群データの集合ではない）をディスプレイ１３２Ｂ等に表示する。これにより、第２ユーザに対し、第１ユーザの身体の動きの情報として、第１アバターと、第１ユーザの撮影画像とを提示する。 In step S2753, the processor 19B displays, on the display 132B or the like, an image including the first avatar corresponding to the body movement of the first user as a set of point cloud data based on the image (including the avatar and auxiliary lines) received in step S2751 and the captured image. The processor 19B displays the captured image of the first user (not the set of point cloud data) on the display 132B or the like. Thereby, the first avatar and the photographed image of the first user are presented to the second user as the information of the body movement of the first user.
ここで、ステップＳ２７０３において、プロセッサ１９Ａは、第１ユーザの運動に対する各種情報（身体のどの部分が動かしやすい、動かしにくい、など）、体力レベルなどを、サーバ２０のトレーニー情報データベース２６０１等に基づき特定することとしてもよい。このとき、プロセッサ１９Ａは、特定した情報を、第１ユーザの端末装置１０Ａの記憶部１８０に記憶させてもよいし、当該情報をサーバ２０に送信し、サーバ２０の記憶部２０２のトレーニー情報データベース２６０１に記憶させてもよい。 Here, in step S2703, the processor 19A may specify various types of information on the exercise of the first user (which part of the body is easy to move, hard to move, etc.), physical fitness level, etc. based on the trainee information database 2601 of the server 20. At this time, the processor 19A may store the specified information in the storage unit 180 of the terminal device 10A of the first user, or transmit the information to the server 20 and store it in the trainee information database 2601 of the storage unit 202 of the server 20.
また、プロセッサ１９Ａは、測定ユニット３０等により第１ユーザの身体の動きをセンシングした結果に基づいて、トレーナー情報データベース２６０２を参照し、当該情報を送信する対象とする第２ユーザ（トレーナー）を特定してもよい。 In addition, the processor 19A may refer to the trainer information database 2602 based on the result of sensing the movement of the first user's body by the measurement unit 30 or the like, and identify the second user (trainer) to whom the information is to be transmitted.
これにより、トレーニーであるユーザは、トレーニング開始時の身体の動きの情報に基づいて、最適な指導者によるトレーニングを受けることができる。 As a result, a user who is a trainee can receive training from an optimal instructor based on the information about the body movement at the start of training.
ここで、ステップＳ２７５１において、第１ユーザの端末装置１０Ａから、測定ユニット３０等によりセンシングされたデータを受信し、受信した情報に基づいて、端末装置１０Ｂにおいて、点群データに基づきレンダリングを行うこととしてもよい。すなわち、端末装置１０Ａではなく端末装置１０Ｂにおいて、端末装置１０Ａで測定された点群データに基づき第１ユーザの身体の動きを表す第１アバターをレンダリングすることとしてもよい。端末装置１０Ｂは、第１アバターを含む映像を生成し、生成した映像をディスプレイ１３２Ｂ等に表示する。このとき、第１ユーザの身体の動きを複数の視点から描画して、各視点について描画した第１アバターを並べた映像を第２ユーザに提示してもよい。 Here, in step S2751, data sensed by the measurement unit 30 or the like is received from the terminal device 10A of the first user, and rendering is performed in the terminal device 10B based on the point cloud data based on the received information. That is, not the terminal device 10A but the terminal device 10B may render the first avatar representing the body movement of the first user based on the point cloud data measured by the terminal device 10A. The terminal device 10B generates an image including the first avatar, and displays the generated image on the display 132B or the like. At this time, the motion of the body of the first user may be drawn from a plurality of viewpoints, and an image in which the first avatars drawn for each viewpoint are arranged may be presented to the second user.
ある局面においては、端末装置１０Ｂは、第１ユーザが行う身体の動きが理想的か否かを評価する身体の部位に基づく位置に補助線を描画し、補助線が描画された映像を第２ユーザに提示してもよい。例えば、ユーザが行うべき運動において、背筋が伸びているか、膝が地面に対して所定の角度となっているかに基づいて、ユーザの身体の動きが理想的か否かをトレーナーが評価する場合に、端末装置１０Ｂは、当該背筋を伸ばした時の形状に対応する補助線をアバターの背筋の部位の近傍に表示する。端末装置１０Ｂは、膝が地面に対して所定の角度となっているかを評価する場合に、アバターの膝の部位の近傍に（または膝の部位を表示する領域に）、当該所定の角度となっている補助線を、アバターの膝の部位の近傍に表示する。 In one aspect, the terminal device 10B may draw an auxiliary line at a position based on a body part for evaluating whether or not the body movement performed by the first user is ideal, and present an image with the drawn auxiliary line to the second user. For example, when the trainer evaluates whether or not the movement of the user's body is ideal based on whether the back muscles are stretched or the knees are at a predetermined angle with respect to the ground in the exercise that the user should perform, the terminal device 10B displays an auxiliary line corresponding to the shape of the back muscles when the back muscles are stretched in the vicinity of the avatar's back muscles. When evaluating whether or not the knees form a predetermined angle with respect to the ground, the terminal device 10B displays an auxiliary line forming the predetermined angle near the avatar's knees (or in a region displaying the knees) near the avatar's knees.
また、第１ユーザが行う身体の動きが理想的か否かを評価する身体の部位に基づいて、関節位置ではない身体の表面位置の表示態様を変更し、身体表面の表示態様が変更された映像を、第２ユーザに提示してもよい。 In addition, based on the part of the body that is evaluated as to whether or not the body movement performed by the first user is ideal, the display mode of the body surface position, not the joint positions, may be changed, and an image in which the display mode of the body surface has been changed may be presented to the second user.
関節位置ではない身体の表面とは、例えば、身体の外観として認識できる面であり、腹部の表面などをいう。例えば、端末装置１０Ｂにおいて、第１ユーザの身体の動きが、理想的な動きよりも大きすぎる場合と、小さすぎる場合とで、表示する色彩を変更する等してもよい。例えば、理想とする動きよりも腹部が前方に出過ぎている場合には、当該腹部を暖色で表示し、理想とする動きよりも腹部の動きが小さい場合には、当該腹部を寒色で表示するなど、表示する色を変更する。これにより、第１ユーザまたは第２ユーザは、ユーザの身体を理想的な動きとするためにどのような動かし方をすればよいかを容易に確認することができる。また、これにより、ユーザは自分の身体の動きが理想の動きと比較してどの程度乖離しているかを把握しながらトレーニングができる。また、身体表面の表示態様を変更させることで、関節ではない、身体表面の筋肉の動きなども把握することができる。 The surface of the body that is not the joint position is, for example, a surface that can be recognized as the external appearance of the body, such as the surface of the abdomen. For example, in the terminal device 10B, the displayed color may be changed depending on whether the movement of the first user's body is too large or too small compared to the ideal movement. For example, when the abdomen protrudes too far forward than the ideal movement, the abdomen is displayed in a warm color, and when the movement of the abdomen is smaller than the ideal movement, the abdomen is displayed in a cold color. Accordingly, the first user or the second user can easily confirm how to move the user's body in an ideal manner. In addition, this allows the user to train while grasping how much the movement of his/her body deviates from the ideal movement. In addition, by changing the display mode of the body surface, it is possible to grasp the movements of the muscles on the body surface instead of the joints.
ここで、上記の例では、ディスプレイ１３２Ｂ等に表示する第１ユーザの第１アバターを含む映像に関しては、当該第１アバターを生成する際に撮影した第１ユーザの撮影画像と、第１アバターの映像との両方を第２ユーザに提示するものとして説明した。この他に、トレーナー側の端末装置１０Ｂにおいて、トレーニー情報データベース２６０１を参照し、項目「画面表示」の指定に沿った画面をディスプレイ１３２等に表示していてもよい。 Here, in the above example, with respect to the video including the first user's first avatar displayed on the display 132B or the like, it has been described that both the captured image of the first user taken when generating the first avatar and the video of the first avatar are presented to the second user. In addition, the terminal device 10B on the trainer side may refer to the trainee information database 2601 and display a screen according to the designation of the item "screen display" on the display 132 or the like.
例えば、端末装置１０Ｂにおいて、第１ユーザの身体の動きを、第１アバター（すなわち点群データの集合体）として表示しつつ、第１ユーザの撮影画像（点群データの集合体ではない）については非表示としてもよい。また、トレーナーに対して複数のトレーニーがトレーニングを受ける場合に、トレーニーの撮影画像（点群データの集合体ではないもの）は、トレーナーの端末装置１０では表示可能とする一方、トレーナーに対して同時にトレーニングを受講している他のトレーニーの端末装置１０では非表示とすることとしてもよい。これにより、トレーニーのセンシング結果は、点群データと撮影画像との両方をトレーナーに開示しつつ、トレーニー間ではアバター（点群データの集合体）を共有するが撮影画像は共有しない等とすることもできる。 For example, in the terminal device 10B, the movement of the body of the first user is displayed as the first avatar (that is, the collection of point cloud data), while the captured image of the first user (not the collection of point cloud data) may be hidden. Further, when a plurality of trainees receive training from a trainer, the photographed images of the trainees (those that are not aggregates of point cloud data) can be displayed on the terminal device 10 of the trainer, but may not be displayed on the terminal devices 10 of other trainees who are simultaneously undergoing training with the trainer. As a result, both the point cloud data and the photographed image of the trainee's sensing results can be disclosed to the trainer, while the avatar (collection of point cloud data) is shared among the trainees, but the photographed image is not shared.
これにより、ユーザはプライバシーを保護しながらトレーニングを行うことができる。 This allows users to train while protecting their privacy.
また、ある局面においては、プロセッサ１９Ａ、プロセッサ１９Ｂ、またはサーバ２０のプロセッサ２９の少なくともいずれかが、仮想空間を定義して、仮想空間において、第１ユーザに関連付けられる第１アバターを含む映像を表示するための第１オブジェクトと、第１ユーザと共にトレーニングを行う第３ユーザに関連付けられる第２アバターを含む映像を表示するための第２オブジェクトとを配置し、プロセッサ１９Ａまたはプロセッサ１９Ｂが、仮想空間の第１オブジェクトおよび第２オブジェクトを含む映像をディスプレイ１３２Ａまたはディスプレイ１３２Ｂ等に表示させてもよい。 In one aspect, at least one of processor 19A, processor 19B, or processor 29 of server 20 defines a virtual space, arranges in the virtual space a first object for displaying an image including a first avatar associated with the first user, and a second object for displaying an image including a second avatar associated with a third user who trains with the first user, and processor 19A or processor 19B displays an image including the first object and the second object in the virtual space. 32A or the display 132B or the like.
これにより、ユーザは、複数人で行うトレーニングなどにおいて、同じ仮想空間内でのトレーニングを体験することができ、トレーニングの一体感、達成感などを得られため、モチベーションの維持、向上が期待できる。 As a result, the user can experience training in the same virtual space, such as training performed by a plurality of people, and can obtain a sense of unity and a sense of accomplishment in the training, which can be expected to maintain and improve motivation.
次に、図２８を参照して、トレーナーがトレーニーに対してオンラインで指導をする際の処理の流れを説明する。 Next, with reference to FIG. 28, the flow of processing when the trainer instructs the trainees online will be described.
以下の説明では、トレーナーが音声でトレーニーに対して指導をしつつ、トレーニーの端末装置１０で動作するアプリケーションを、トレーナーの音声で制御することにより、トレーナーにとって指導に適した情報を容易に得られるようにする例を説明する。具体的には、トレーニーの端末で、点群データに基づきアバターを描画すること、補助線を描画すること、トレーニーに課す身体の動きの種類を決定すること等を、トレーナーが音声入力で制御できるようにする。 In the following description, an example will be described in which the trainer can easily obtain information suitable for guidance by controlling an application operating on the trainee's terminal device 10 with the trainer's voice while instructing the trainee by voice. Specifically, on the trainee's terminal, the trainer can control the drawing of the avatar based on the point cloud data, the drawing of the auxiliary lines, and the determination of the type of body movement to be imposed on the trainee by voice input.
図２８は、トレーナーの端末から、トレーナーの音声の入力を受け付けて、トレーニーの端末へ送信する処理の流れを示すフローチャートである。 FIG. 28 is a flow chart showing the flow of processing for receiving an input of the trainer's voice from the trainer's terminal and transmitting it to the trainee's terminal.
ステップＳ２８５１において、第２ユーザの端末装置１０Ｂのプロセッサ１９Ｂは、マイク１４１Ｂなどにより、第２ユーザによる音声の入力を受け付けて、第２ユーザの音声を第２ユーザの端末装置１０Ｂから第１ユーザの端末装置１０Ａへ送信する。 In step S2851, the processor 19B of the second user's terminal device 10B receives the second user's voice input via the microphone 141B or the like, and transmits the second user's voice from the second user's terminal device 10B to the first user's terminal device 10A.
ステップＳ２８０１において、第１ユーザの端末装置１０Ａのプロセッサ１９Ａは、端末装置１０Ｂから受信する第２ユーザの音声を、スピーカ１４２Ａ等により、第１ユーザに対し出力する。 In step S2801, the processor 19A of the terminal device 10A of the first user outputs the voice of the second user received from the terminal device 10B to the first user through the speaker 142A or the like.
ステップＳ２８０３において、プロセッサ１９Ａは、端末装置１０Ｂから受信した第２ユーザの音声を、音声認識により解析する。プロセッサ１９Ａは、音声認識の解析の結果に基づき、第２ユーザの音声の内容を特定する。プロセッサ１９Ａは、特定した第２ユーザの音声の内容に基づき、第１ユーザの点群データに基づきアバターを描画するアプリケーションへの指示内容を特定する。プロセッサ１９Ａは、特定した当該アプリケーションへの指示内容に基づき、当該アプリケーションを制御する。 In step S2803, the processor 19A analyzes the second user's voice received from the terminal device 10B by voice recognition. The processor 19A identifies the content of the second user's voice based on the result of the voice recognition analysis. The processor 19A identifies the content of the instruction to the application for drawing the avatar based on the point cloud data of the first user, based on the identified content of the voice of the second user. The processor 19A controls the application based on the specified instruction to the application.
具体的には、当該プロセッサ１９Ａが特定する第２ユーザの音声の内容としては、 Specifically, the content of the voice of the second user specified by the processor 19A is as follows:
（ｉ）第１ユーザの身体の動かし方を理想的なものとするための内容がある。プロセッサ１９Ａは、例えば、音声認識により、第２ユーザの音声のうち、ユーザの身体の部位（膝、肘、腕、肩など）に関する語を認識する。また、プロセッサ１９Ａは、第２ユーザの音声のうち、第１ユーザの身体の部位を、理想的な動きとするための動かし方を示す語（例えば、「膝を体に寄せる」、「脚部を水平にする」、「背筋を伸ばす」等）を認識する。 (i) There is content for making the first user's body movement ideal. The processor 19A, for example, through voice recognition, recognizes words related to the user's body parts (knees, elbows, arms, shoulders, etc.) in the voice of the second user. In addition, the processor 19A recognizes, among the speech of the second user, words indicating how to move the body parts of the first user in an ideal manner (for example, "bring your knees close to your body", "level your legs", "stretch your back", etc.).
（ｉｉ）プロセッサ１９Ａが特定する音声の内容としては、第１ユーザのトレーニングのため、第１ユーザに取り組んでもらう運動の種類（トレーニングメニューなど）を示す内容がある。 (ii) The content of the voice specified by the processor 19A includes content indicating the type of exercise (training menu, etc.) that the first user should undertake for training of the first user.
プロセッサ１９Ａは、第２ユーザの音声の内容に、運動の種類が含まれる場合に、第１ユーザに課す運動の種類として、当該第２ユーザが音声で指定した運動にするとともに、第１ユーザに対応するアバターに関連付けて描画する補助線を、当該指定された運動の種類に対応付けられたものにする。これにより、第２ユーザによる第１ユーザの身体の動きの評価がよりいっそう容易になる。 When the type of exercise is included in the voice content of the second user, the processor 19A sets the type of exercise specified by the voice of the second user as the type of exercise to be imposed on the first user, and associates the auxiliary line drawn in association with the avatar corresponding to the first user with the specified type of exercise. This makes it easier for the second user to evaluate the body movements of the first user.
（ｉｉｉ）プロセッサ１９Ａが特定する音声の内容としては、端末装置１０Ａにおいて動作する、第１ユーザのアバターと補助線を描画するアプリケーションへ特定の処理を行わせる内容がある。例えば、当該アプリケーションにおいて、第２ユーザの音声により示されるコマンドとしては、以下を含む。
・ アバターの描画態様（第１ユーザの身体の動きを表す点群データに対し、仮想カメラを配置する位置を含む。すなわち、第１ユーザに対応するアバターを正面から描画するか、側面から描画するか、その他の方向から描画するか等を含む）
・ 補助線の描画方法（補助線として、ユーザが身体を動かす動作に並行するよう補助線を描くこと、ユーザの身体の形状に沿って補助線を描画すること、補助線を描画するか否か等を含む）
・ 理想的な動きと比較して差分がある場合のアバターの描画方法（身体の特定の部位の動きが理想的な身体の動きよりも大きすぎる場合または小さすぎる場合に、それぞれ異なる色で当該特定の部位を描画することを含む）
・ アプリケーションを一時中止させる指示、その他の内容(iii) The content of the voice specified by the processor 19A includes content that causes an application that draws the first user's avatar and auxiliary lines, which operates on the terminal device 10A, to perform a specific process. For example, in the application, commands indicated by the voice of the second user include the following.
Avatar drawing mode (including the position where the virtual camera is arranged with respect to the point cloud data representing the body movement of the first user. In other words, including whether the avatar corresponding to the first user is drawn from the front, from the side, from another direction, etc.)
・ How to draw auxiliary lines (including drawing auxiliary lines parallel to the user's body movement, drawing auxiliary lines along the shape of the user's body, and whether or not to draw auxiliary lines)
・ How to draw avatars when there is a difference compared to the ideal movement (including drawing a specific part of the body in a different color if the movement of a particular part of the body is too large or too small compared to the ideal body movement)
・ Instructions to suspend the application and other contents
プロセッサ１９Ａは、音声認識により、発話者がトレーナーであると（例えば、トレーナー情報データベース２６０２に登録されるトレーナーである場合）話者認識をした場合に、当該発話者の音声に基づき、第１ユーザのアバターを描画するアプリケーションを制御することとしてもよい。これにより、トレーナー以外のユーザにより、意図せずアプリケーションが制御されることを抑止することができる。また、プロセッサ１９Ａは、端末装置１０Ｂ等の他の端末装置１０と、ウェブ会議ツール等により通信をする場合に、当該ウェブ会議ツール等で特定される話者の情報に基づいて、第１ユーザのアバターを描画するアプリケーションを制御することとしてもよい。例えば、ウェブ会議ツール等において、ミーティングに参加している各ユーザを識別する情報（アイコンなど）が表示されており、発声しているユーザについて当該各ユーザを識別する情報が区別して表示されることがある。プロセッサ１９Ａは、ウェブ会議ツール等において、トレーナーに対応するアイコン等が他のユーザのアイコン等と区別して表示されている場合に、発話者がトレーナーであるとみなして上記の処理を行うこととしてもよい。 Processor 19A may control an application that draws the avatar of the first user based on the speech of the speaker when the speaker is recognized as a trainer by speech recognition (for example, if the trainer is registered in the trainer information database 2602). This can prevent a user other than the trainer from unintentionally controlling the application. In addition, when communicating with another terminal device 10 such as the terminal device 10B using a web conference tool or the like, the processor 19A may control an application that draws the avatar of the first user based on the speaker information specified by the web conference tool or the like. For example, in a web conferencing tool or the like, information (such as an icon) that identifies each user participating in a meeting is displayed, and information that identifies each user may be displayed separately for the user who is speaking. The processor 19A may assume that the speaker is the trainer and perform the above processing when the icon or the like corresponding to the trainer is displayed in a web conference tool or the like to be distinguished from the icons or the like of other users.
例えば、複数のトレーニーがトレーナーから指導を受ける場合に、トレーニーの音声によっては、当該アプリケーションにトレーニングに関する処理（トレーニーに行わせる運動の種類を変更する処理、当該変更に伴いアバターとともに描画する補助線を変更する処理等）を行わせず、トレーナーに当該処理を行わせるようにすることができる。これにより、トレーニング中に各ユーザが音声で発話するとしても、トレーナーが意図したようにトレーニングを行うことができる。 For example, when a plurality of trainees receive guidance from a trainer, depending on the voice of the trainee, the training-related processing (processing for changing the type of exercise to be performed by the trainee, processing for changing the auxiliary line drawn with the avatar, etc.) may not be performed by the application, and the trainer may be allowed to perform the processing. As a result, even if each user speaks during training, the training can be performed as intended by the trainer.
以上のように、第２ユーザが第１ユーザに対し音声による指導を行った結果、第１アバターを含む映像の表示態様を変更し、当該変更したアバターを含む映像に基づいて第２ユーザが第１ユーザへの指導を進めることができる。 As described above, as a result of the second user providing audio guidance to the first user, the display mode of the video including the first avatar is changed, and the second user can proceed with guidance to the first user based on the changed video including the avatar.
（第１ユーザの動きをセンシングし、学習済みモデルに基づいて指導内容を特定） (Sensing the movement of the first user and identifying the instruction content based on the learned model)
図２９は、第１ユーザの身体の動きを点群データとしてセンシングし、センシングで得られた、第１ユーザの点群データに基づく情報と、学習済みモデルとに基づいて、第１ユーザへの指導内容を特定する一連の処理を示すフローチャートである。これにより、トレーナーがいなくとも、トレーニーがトレーニー自身の身体の動かし方を当該学習済みモデルにより確認することができる。 FIG. 29 is a flow chart showing a series of processes for sensing the movement of the body of the first user as point cloud data, and specifying the instruction content for the first user based on the information based on the point cloud data of the first user obtained by sensing and the learned model. As a result, even without a trainer, the trainee can check how the trainee moves his/her own body using the learned model.
ステップＳ２９０１において、第１ユーザの端末装置１０Ａのプロセッサ１９Ａは、測定ユニット３０等により、第１ユーザの身体の動きを点群データとしてセンシングする。 In step S2901, the processor 19A of the terminal device 10A of the first user senses the movement of the first user's body as point cloud data using the measurement unit 30 or the like.
ステップＳ２９０２において、プロセッサ１９Ａは、センシングで得られた、第１ユーザの点群データに基づく情報と、学習済みモデルとに基づいて、第１ユーザへの指導内容を特定する。 In step S2902, the processor 19A identifies guidance content for the first user based on the information based on the first user's point cloud data obtained by sensing and the learned model.
ここで、学習済みモデルの作成方法について例示する。 Here, a method for creating a learned model will be illustrated.
（ｉ）例えば、１または複数のユーザの点群データに関する情報を取得したのち、各種情報（例えば、年齢、体重、目的など）と、トレーニングを受けるユーザを指導する立場のユーザ（トレーナー）の情報と、実際にトレーニーが受けたトレーニングの内容と、各種トレーニーの情報がトレーニングにより変化した履歴などの情報と、に基づいて、１または複数のユーザの点群データの情報とトレーニング内容とを関連付けて学習済みモデルを作成する。 (i) For example, after acquiring information about the point cloud data of one or more users, based on various information (e.g., age, weight, purpose, etc.), information on a user (trainer) in a position to guide the user undergoing training, details of training actually received by the trainee, and information such as a history of changes in the information of the various trainees due to training, a trained model is created by associating information on the point cloud data of one or more users with the training content.
つまり、当該学習済みモデルは、トレーニーの情報と、トレーナーによる指導内容とを時系列のデータとして学習することにより、トレーニーにトレーニングをすることでトレーニーがどれだけ変化するかを出力するものといえる。 In other words, the trained model can be said to output how much the trainee changes as the trainee is trained by learning the information of the trainee and the content of instruction by the trainer as chronological data.
また、当該学習済みモデルは、学習済みモデルの学習用データである点群データに基づく情報を取得したユーザの情報（つまり、トレーニーの情報）、または、トレーニーに指導を行ったトレーナーの情報に関連付けられていてもよい。これにより、トレーニーまたはトレーナーが、トレーニーが使用する学習済みモデルを指定する際に、当該学習済みモデルに関連付けられるトレーニーの情報またはトレーナーの情報を参考にすることができる。または、プロセッサ１９Ａ等が、学習済みモデルに関連付けられるユーザの情報に基づいて、トレーニーであるユーザに提案する学習済みモデルを特定することとしてもよい。 In addition, the trained model may be associated with information of the user (i.e., information of the trainee) who acquired information based on the point cloud data, which is the learning data of the trained model, or information of the trainer who instructed the trainee. Accordingly, when a trainee or a trainer designates a trained model to be used by the trainee, the trainee's information or the trainer's information associated with the trained model can be referred to. Alternatively, the processor 19A or the like may specify a trained model to be proposed to the user who is a trainee based on user information associated with the trained model.
（ｉｉ）または、当該学習済みモデルは、トレーニーの身体の動かし方を測定した結果（点群データ、トレーニーを撮影した撮影画像）の時系列データに対し、トレーナーがタグをつける（身体の部位を理想的な動かし方にするためのコメント、呼吸をすべきであること、心拍数が上昇しすぎており休憩をすべきであること等）ことにより、当該時系列データを学習用データとして生成することとしてもよい。 (ii) Alternatively, the trained model may generate the time-series data as learning data by the trainer attaching tags (such as comments for making body parts move in an ideal way, that the trainee should breathe, that the heart rate is too high and that the trainee should take a break, etc.) to the time-series data of the results of measuring the body movement of the trainee (point cloud data, photographed images of the trainee).
例えば、ある局面において、トレーニーの身体の動きの測定結果と、学習済みモデルとに基づいて、トレーニーであるユーザの体質に沿ったトレーニングメニューの提示、トレーニング中に呼吸をすべきタイミング、心拍数の上がるタイミング、水分を取るべきタイミング、休憩の必要なタイミングなどを特定し、ユーザに提示することができる。 For example, in a certain aspect, it is possible to present a training menu that matches the physical constitution of the user who is a trainee based on the results of measuring the body movements of the trainee and the learned model, and to specify and present to the user when to breathe during training, when to increase the heart rate, when to drink water, when to take a break, and the like.
例えば、ある局面において、トレーニーがウェアラブルデバイス（腕時計型、眼鏡型、指輪型など）を装着し、トレーニーであるユーザの心拍数、呼吸のタイミング等を測定しつつ、上記の学習済みモデルを用いることにより、トレーニーに指導すべき内容を学習済みモデルが出力することとしてもよい。 For example, in a certain aspect, a trainee wears a wearable device (wristwatch-type, glasses-type, ring-type, etc.), and while measuring the heart rate, breathing timing, etc. of the user who is a trainee, by using the above-described learned model, the learned model may output the content to be instructed to the trainee.
また、他の局面においては、ユーザから取得した点群データに関する情報から、カロリー消費量を含むユーザの運動強度（運動の激しさ）を特定し、ユーザに休憩、水分補給などのアドバイスを提示することができる。 In another aspect, the user's exercise intensity (exercise intensity), including calorie consumption, can be identified from information related to point cloud data acquired from the user, and advice such as rest and hydration can be presented to the user.
（ｉｉｉ）学習済みモデルを生成する方法として、第１の実施の形態で説明したようにＲＯＭチェックの結果として蓄積される測定データ（測定履歴データベース２８３）を教師データとして学習済みモデルを生成することとしてもよい。例えば、当該測定データと、ユーザが行ったトレーニングメニューと、ユーザが入力したアンケート等の回答結果とに基づいて学習済みモデルを生成することとしてもよい。 (iii) As a method for generating a trained model, as described in the first embodiment, the measured data (measurement history database 283) accumulated as a result of the ROM check may be used as teacher data to generate a trained model. For example, a learned model may be generated based on the measurement data, the training menu performed by the user, and the results of responses to a questionnaire or the like input by the user.
これにより、ユーザに提案する運動の種類、ユーザへのアドバイスの内容等を、ＲＯＭチェックの測定データに基づき生成された学習済みモデルに出力させることとしてもよい。 As a result, the type of exercise proposed to the user, the content of advice to the user, and the like may be output to the learned model generated based on the measurement data of the ROM check.
また、学習済みモデルを生成する方法として、第２の実施の形態で説明したように、ユーザの歩行姿勢を評価した結果として蓄積される測定データ（測定結果データベース２８７）を教師データとして学習済みモデルを生成することとしてもよい。例えば、当該測定データと、ユーザが行ったトレーニングメニューと、ユーザが入力したアンケート等の回答結果とに基づいて学習済みモデルを生成することとしてもよい。 Further, as a method of generating a trained model, as described in the second embodiment, the measured data (measurement result database 287) accumulated as a result of evaluating the user's walking posture may be used as teacher data to generate a trained model. For example, a learned model may be generated based on the measurement data, the training menu performed by the user, and the results of responses to a questionnaire or the like input by the user.
これにより、ユーザに提案する運動の種類、ユーザへのアドバイスの内容等を、歩行姿勢評価のための測定データに基づき生成された学習済みモデルにより出力させることとしてもよい。 As a result, the type of exercise to be proposed to the user, the content of advice to the user, and the like may be output by the trained model generated based on the measurement data for walking posture evaluation.
例えば、学習済みモデルを生成する方法として、ユーザの姿勢（関節位置など）を推定した結果として蓄積される測定データに基づいて学習済みモデルを生成することとしてもよい。具体的には、サーバ２０等において学習済みモデルを生成する方法として、ユーザの関節位置を推定した結果と、ユーザが行ったトレーニングメニューと、トレーナーからのアドバイスの内容とに基づいて学習済みモデルを生成し、生成した学習済みモデルを記憶することとしてもよい。 For example, as a method of generating a trained model, a trained model may be generated based on measurement data accumulated as a result of estimating a user's posture (joint positions, etc.). Specifically, as a method of generating a learned model in the server 20 or the like, the learned model may be generated based on the result of estimating the user's joint positions, the training menu performed by the user, and the content of advice from the trainer, and the generated learned model may be stored.
以上により、サーバ２０は、ユーザの姿勢の推定結果に基づく情報と、学習済みモデルとに基づいて、ユーザへの指導内容を特定し、特定した指導内容をユーザに提示することとしてもよい。 As described above, the server 20 may specify the instruction content for the user based on the information based on the estimation result of the user's posture and the learned model, and present the specified instruction content to the user.
また、サーバ２０等は、学習済みモデルを、当該学習済みモデルの学習用データ（ユーザの姿勢を推定した結果）を取得した当該ユーザの情報と関連付けて記憶することとしてもよい。 Further, the server 20 or the like may store the learned model in association with the information of the user who acquired the learning data (result of estimating the user's posture) of the learned model.
また、サーバ２０等は、ユーザの姿勢の推定結果に基づく情報と、学習済みモデルとに基づいて、上記と同様にユーザの運動強度を特定することとしてもよい。サーバ２０は、ユーザの運動強度を特定した結果に基づいて、ユーザへの指導内容を特定し、特定した指導内容をユーザに提示することとしてもよい。 Also, the server 20 and the like may identify the user's exercise intensity in the same manner as described above, based on the information based on the estimation result of the user's posture and the learned model. The server 20 may identify the guidance content for the user based on the result of identifying the exercise intensity of the user, and present the identified guidance content to the user.
ステップＳ２９０３において、プロセッサ１９Ａは、学習済みモデルにより特定した前記指導内容を、ディスプレイ１３２Ａ等に表示するなどして、第１ユーザに提示する。 In step S2903, the processor 19A presents the guidance content specified by the learned model to the first user by displaying it on the display 132A or the like.
＜第５の実施の形態における画面例＞ <Screen example in the fifth embodiment>
図３０～図３２は、端末装置１０に表示される画面例を示す図である。 30 to 32 are diagrams showing examples of screens displayed on the terminal device 10. FIG.
図３０は、第１ユーザの端末装置１０Ａにおいて、第１ユーザの身体の動きを点群データとしてセンシングし、センシングで得られた、第１ユーザの点群データに基づく情報を第２ユーザの端末に送信する際の画面例である。 FIG. 30 is an example of a screen when the first user's terminal device 10A senses the movement of the first user's body as point cloud data, and transmits information based on the first user's point cloud data obtained by sensing to the second user's terminal.
図３０において、測定ユニット３０のカメラ２９０１は、第１ユーザの身体の動きをセンシングするための装置を示す。 In FIG. 30, the camera 2901 of the measuring unit 30 shows a device for sensing the body movements of the first user.
具体的には、カメラ２９０１は、カメラ２９０１に備え付けられた撮影部を通じて、第１ユーザの画像を撮影する。このとき、カメラ２９０１は、距離と方向を測定可能に構成されており、例えばRGB-Dカメラ、LIDAR（Laser Imaging Detection and Ranging）技術により構成されている。 Specifically, the camera 2901 captures an image of the first user through a capturing unit provided in the camera 2901 . At this time, the camera 2901 is configured to be able to measure distance and direction, and is configured by, for example, an RGB-D camera and LIDAR (Laser Imaging Detection and Ranging) technology.
前回画面２９０２は、第１ユーザがトレーニングを行うときに、以前に同種のトレーニングを行ったときの第１ユーザのアバター（すなわち、点群データに基づき描画した画像）を含む画像を表示する画面である。端末装置１０Ａは、例えば、サーバ２０のトレーニング履歴データベース２６０３を参照することにより、第１ユーザが過去にトレーニングを受けた際の第１ユーザの身体の動きを示す点群データを取得する。 The previous screen 2902 is a screen that displays an image including the first user's avatar (that is, an image drawn based on the point cloud data) when the first user performed training of the same type previously. The terminal device 10A acquires point cloud data representing the body movements of the first user when the first user received training in the past, for example, by referring to the training history database 2603 of the server 20 .
図示する例では、前回画面２９０２において、第１ユーザのアバターを、円形等の図形の集合体として示しているが、測定ユニット３０により測定される点群データの集合体として表示することとしてもよい。 In the illustrated example, the previous screen 2902 shows the avatar of the first user as an aggregate of figures such as circles, but it may be displayed as an aggregate of point cloud data measured by the measurement unit 30.
第１ユーザの過去のトレーニング時の点群データに基づくアバターを表示することで、第１ユーザの身体の動きがトレーニングによりどの程度変化したかを第１ユーザ、第２ユーザが容易に確認することができる。例えば、第１ユーザが膝を抱えて身体を丸める動きを行うときに、端末装置１０Ａにおいて、以前のトレーニング画面である前回画面２９０２を表示する。第１ユーザまたは第２ユーザは、前回画面２９０２と、後述する今回画面２９０３の表示内容とを比較することができる。これにより、第１ユーザは、自身の身体の動きの差を確認することができる。 By displaying an avatar based on the point cloud data of the first user's past training, the first user and the second user can easily confirm how much the first user's body movement has changed due to the training. For example, when the first user holds the knees and performs a motion of curling the body, the terminal device 10A displays the previous screen 2902, which is the previous training screen. The first user or the second user can compare the previous screen 2902 with the display contents of the current screen 2903, which will be described later. Thereby, the first user can confirm the difference in the movement of his/her own body.
また、端末装置１０Ａは、当該前回画面２９０２を、常に表示されていることとしてもよいし、第１ユーザまたは第２ユーザの指示により表示したり表示をオフにしたりしてもよい。このとき、端末装置１０Ａは、第１ユーザを表すアバターとして、正面、側面、上面など、複数の視点から第１ユーザを描画した画像を表示してもよい。また、第１ユーザが行う身体の動きが理想的か否かを評価する身体の部位に基づく位置に補助線を描画していてもよい。図示する例では、過去画面２９０２において、第１ユーザのアバターを表示する領域と関連付けて補助線を描画している。 Further, the terminal device 10A may always display the previous screen 2902, or may display or turn off the display according to an instruction from the first user or the second user. At this time, the terminal device 10A may display, as an avatar representing the first user, images of the first user drawn from a plurality of viewpoints such as the front, the side, and the top. In addition, auxiliary lines may be drawn at positions based on body parts for evaluating whether or not body movements performed by the first user are ideal. In the illustrated example, on the past screen 2902, an auxiliary line is drawn in association with the area where the first user's avatar is displayed.
今回画面２９０３は、第１ユーザがトレーニングを行っているときの、測定ユニット３０のセンシング結果に基づく第１ユーザのアバターの画像を表示する画面である。 The current time screen 2903 is a screen that displays an image of the first user's avatar based on the sensing result of the measurement unit 30 while the first user is training.
図示する例では、第１ユーザ２０９４を示しており、第１ユーザがマットなどの上で、実際にトレーニングを行っている状態を示している。端末装置１０Ａは、当該第１ユーザの動きを、カメラ２９０１により撮影し、第１ユーザの点群データの情報を取得する。 In the illustrated example, a first user 2094 is shown, showing a state in which the first user is actually training on a mat or the like. The terminal device 10A captures the movement of the first user with the camera 2901, and acquires the point cloud data information of the first user.
第１ユーザ画像２９０５は、第１ユーザをカメラ１６０等で撮影した撮影画像を示す。第１ユーザ画像２９０５において、第１ユーザを点群データの集合体として描画するのではなく、２Ｄカメラ等で撮影した撮影画像を表示している。すなわち、第１ユーザ画像２９０５において、人間が肉眼で視認できるものと同等の撮影画像を表示する。 A first user image 2905 indicates a captured image of the first user captured by the camera 160 or the like. In the first user image 2905, an image captured by a 2D camera or the like is displayed instead of rendering the first user as an aggregate of point cloud data. That is, in the first user image 2905, a photographed image equivalent to that which can be visually recognized by the human eye is displayed.
これにより、端末装置１０Ａは、第１ユーザに対し、実際の第１ユーザ自身の画像と、点群データの情報に基づいた画像とを見比べることができるようにしている。また、端末装置１０は、第１ユーザの指定に応じて、第１ユーザ画像２９０５において第１ユーザ自身の撮影画像を表示しないこととしつつ、第１ユーザであることを第２ユーザ等が識別可能なアイコン、文字列等を表示してもよい。 Thereby, the terminal device 10A allows the first user to visually compare the actual image of the first user himself and the image based on the information of the point cloud data. In addition, the terminal device 10 may display an icon, a character string, or the like that allows the second user or the like to identify the first user while not displaying the photographed image of the first user himself/herself in the first user image 2905 according to the designation of the first user.
第２ユーザ画像２９０６は、トレーニングを受けるユーザを指導する立場である第２ユーザの画像を示す。端末装置１０Ａは、第２ユーザの端末装置１０Ｂから、第２ユーザの撮影画像を受信することにより、第２ユーザ画像２９０６において第２ユーザの撮影画像を表示する。これにより、第１ユーザと第２ユーザとは、ネットワーク８０等を通じた端末間のビデオ通話等により、お互いの画像を見てコミュニケーションをとりながらトレーニングを行うことができる。 A second user image 2906 shows an image of a second user who is in a position to guide a user undergoing training. The terminal device 10A displays the second user's captured image in the second user image 2906 by receiving the second user's captured image from the second user's terminal device 10B. Thereby, the first user and the second user can perform training while looking at each other's images and communicating with each other through a terminal-to-terminal video call or the like through the network 80 or the like.
図３１は、第１ユーザの身体の動きを点群データとしてセンシングし、センシングで得られた、第１ユーザの点群データに基づく情報を第２ユーザの端末に送信する際の、全体構成を含む第１ユーザおよび第２ユーザの画面例である。 FIG. 31 is an example of screens of the first user and the second user, including the overall configuration, when sensing the movement of the first user's body as point cloud data and transmitting information based on the first user's point cloud data obtained by sensing to the terminal of the second user.
図３１において、カメラ３００１は、図３０におけるカメラ２９０１と同様に、第１ユーザの身体の動きを点群データとしてセンシングするための装置を示す。 In FIG. 31, a camera 3001 is a device for sensing the motion of the first user's body as point cloud data, like the camera 2901 in FIG.
今回画像３００２、３００６は、図３０における今回画面２９０３と同様に、第１ユーザがトレーニングを行っているときの、第１ユーザの画像を点群データの集合体として表示する画面である。このとき、今回画像３００２は、第１ユーザの端末装置１０Ａのディスプレイ１３２Ａ等に表示されており、今回画像３００６は、第２ユーザの端末装置１０Ｂのディスプレイ１３２Ｂ等に表示されている。 This time images 3002 and 3006 are screens that display images of the first user as an aggregate of point cloud data when the first user is training, similarly to the current time screen 2903 in FIG. At this time, the current image 3002 is displayed on the display 132A or the like of the first user's terminal device 10A, and the current time image 3006 is displayed on the display 132B or the like of the second user's terminal device 10B.
第１ユーザ３００３は、図３０における第１ユーザ２９０４と同様に、第１ユーザがマットなどの上で、実際にトレーニングを行っている状態を示した図である。 A first user 3003 is a diagram showing a state in which the first user is actually training on a mat or the like, similar to the first user 2904 in FIG.
第１ユーザ画像３００４、３００７は、図３０における第１ユーザ画像２９０５と同様に、第１ユーザをカメラ２９０１により撮影した際の、アバターを含む映像ではない、実際の撮影画像を示す。このとき、第１ユーザ画像３００４は、第１ユーザの端末装置１０Ａのディスプレイ１３２Ａ等に表示されており、第１ユーザ画像３００７は、第２ユーザの端末装置１０Ｂのディスプレイ１３２Ｂ等に表示されている。 First user images 3004 and 3007 show actual captured images, not videos containing avatars, when the first user is captured by camera 2901, similarly to first user image 2905 in FIG. At this time, the first user image 3004 is displayed on the display 132A or the like of the first user's terminal device 10A, and the first user image 3007 is displayed on the display 132B or the like of the second user's terminal device 10B.
第２ユーザ画像３００５、３００８は、図３０における第２ユーザ画像２９０６と同様に、トレーニングを受けるユーザを指導する立場である第２ユーザの画像を示す。このとき、第２ユーザ画像３００５は、第１ユーザの端末装置１０Ａのディスプレイ１３２Ａ等に表示されており、第２ユーザ画像３００８は、第２ユーザの端末装置１０Ｂのディスプレイ１３２Ｂ等に表示されている。また、ある局面において、当該画面例のように、第２ユーザからの音声による入力操作により、端末装置１０Ａのスピーカ１４２Ａ等を通じて第２ユーザの音声（「もっと腰を落としましょう！」などの音声）を出力してもよい。 Second user images 3005 and 3008 show images of a second user who is in a position to guide a user undergoing training, similar to second user image 2906 in FIG. At this time, the second user image 3005 is displayed on the display 132A or the like of the first user's terminal device 10A, and the second user image 3008 is displayed on the display 132B or the like of the second user's terminal device 10B. Further, in a certain aspect, as in the screen example, the second user's voice (such as "Let's sit down more!") may be output through the speaker 142A of the terminal device 10A or the like by the second user's voice input operation.
第２ユーザ３００９は、端末装置１０Ｂがディスプレイ１３２Ｂ等に表示する画面を視認して、第１ユーザの画像に基づいて指導を行っている。このとき、第２ユーザは、音声により第１ユーザに指導を行うことができる。第２ユーザは、第１ユーザを撮影した画像として、点群データに基づく画像と、肉眼で視認する際と同等の画像の両方またはいずれかを確認しつつ、第１ユーザの身体の動きに対してアドバイスをすることができる。点群データの集合体として、実際の撮影画像により示される第１ユーザの画像よりも第２ユーザにとって情報量を落とすことにより、第２ユーザが、よりいっそう第１ユーザの身体の動きを見極めやすくなり、評価およびアドバイスをしやすくすることができる。 The second user 3009 visually recognizes the screen displayed on the display 132B or the like by the terminal device 10B, and gives guidance based on the image of the first user. At this time, the second user can give guidance to the first user by voice. The second user can give advice on the movement of the body of the first user while confirming both or one of an image based on the point cloud data and an image equivalent to the image viewed with the naked eye as an image of the first user. By reducing the amount of information for the second user as compared to the first user's image shown by the actual photographed image as a set of point cloud data, the second user can more easily ascertain the first user's body movement and can easily evaluate and give advice.
図３２は、複数のユーザの身体の動きを点群データとしてセンシングし、センシングで得られた、各ユーザの点群データに基づく情報を、定義された仮想空間に送信する際の画面例である。 FIG. 32 is an example of a screen when the body movements of a plurality of users are sensed as point cloud data, and information based on the point cloud data of each user obtained by sensing is transmitted to a defined virtual space.
図３２において、仮想空間３１０１は、１または複数のトレーニングを受けるユーザが、自身に関連付けられるアバターを含む映像を表示するためのオブジェクトを配置するための空間を示す。 In FIG. 32, virtual space 3101 represents a space for one or more trained users to place objects for displaying videos, including avatars associated with them.
トレーナー画像３１０２は、トレーニングを受けるユーザを指導する立場である第２ユーザの画像を示す。第２ユーザの端末装置１０Ｂが、第２ユーザを撮影し、当該撮影された画像を、随時、仮想空間を管理するコンピュータに送信する。 A trainer image 3102 shows an image of a second user who is in a position to guide a user undergoing training. The terminal device 10B of the second user takes a picture of the second user and transmits the taken image to the computer managing the virtual space as needed.
ユーザ画像３１０３は、１または複数のユーザがトレーニングを行っているときの、それぞれのユーザの画像を表示する画面である。このとき、表示される画像として、自身に関連付けられる点群データの集合体としてのアバターを含む映像のみでもよいし、アバターを含む映像ではない、実際の各ユーザの撮影画像を合わせて表示してもよい。 A user image 3103 is a screen that displays an image of each user when one or more users are training. At this time, the displayed image may be only a video containing an avatar as a collection of point cloud data associated with the user itself, or an actual photographed image of each user, which is not a video containing an avatar, may be displayed together.
これにより、各ユーザは自身の身体の動きに対応するアバターを含む映像を当該仮想空間に配置することができ、仮想空間に配置された各ユーザのアバターの画像を各ユーザが視認できるようにすることで、あたかも複数のユーザが同じ場所でトレーニングを行っている感覚を得ることができる。これにより、トレーニングにおける一体感、達成感などを得ることができ、トレーニングを継続する動機づけを各ユーザに提供することができる。サーバ２０は、トレーナーからトレーニングを受ける各トレーニーをマッチングさせることに応答して、各トレーニーの端末とトレーナーの端末とを通信可能とし、サーバ２０または各ユーザの端末のいずれか等において仮想空間を構築することとしてもよい。すなわち、各ユーザが通信をする際のホストとなるコンピュータをサーバ２０が指定することとしてもよい。 As a result, each user can arrange an image including an avatar corresponding to the movement of his/her own body in the virtual space, and by enabling each user to visually recognize the image of the avatar of each user arranged in the virtual space, it is possible to obtain a feeling as if a plurality of users are training in the same place. As a result, a sense of unity and a sense of accomplishment in training can be obtained, and motivation to continue training can be provided to each user. In response to matching each trainee who receives training from the trainer, the server 20 enables communication between the terminal of each trainee and the terminal of the trainer, and constructs a virtual space in either the server 20 or the terminal of each user. That is, the server 20 may designate a computer that serves as a host when each user communicates.
＜６ 変形例＞ <6 Modifications>
本実施形態の変形例について説明する。すなわち、以下のような態様を採用してもよい。
（１）上記の図３１～図３２の例では、ユーザが過去にトレーニングを受けた際の当該ユーザのセンシング結果に基づくアバターと、トレーナーからトレーニングを受けている現在のセンシング結果に基づくアバターとを並べて表示する例を説明した。A modification of this embodiment will be described. That is, the following aspects may be adopted.
(1) In the examples of FIGS. 31 and 32 above, an avatar based on the user's sensing results when the user received training in the past and an avatar based on the current sensing results of training from a trainer are displayed side by side.
この他に、トレーナーとのトレーニングにおいて時系列に沿ってセンシングされたトレーニーの点群データの時系列データに基づき、トレーニーに対応するアバターを並べて表示することとしてもよい。 Alternatively, avatars corresponding to trainees may be displayed side by side based on the time-series data of the trainee's point cloud data sensed along the time series during training with the trainer.
すなわち、トレーニングを開始するタイミングまたは開始して一定時間内にセンシングされた点群データに基づくアバターと、トレーナーの指導に基づきリアルタイムにセンシングしている結果またはトレーナーの指導が始まってから一定時間が経過したタイミングでのセンシング結果に基づくアバターとを並べて端末装置１０Ａで表示することとしてもよい。 That is, the terminal device 10A may display an avatar based on point cloud data sensed at the timing of starting training or within a certain period of time after the start of training, and an avatar based on the result of real-time sensing based on the trainer's guidance or the sensing result at the timing after a certain period of time has elapsed since the trainer's guidance started, side by side.
また、１回のトレーニングの過程で、トレーニーの体の動かし方のうち、特に理想的な身体の動かし方へと近づいた部位を、その他の部位と比較して強調してアバターに反映させて表示することとしてもよい。例えば、アバターと共に描画される上記の補助線に対して、トレーニーの身体の動かし方がどの程度近づいているのかをプロセッサ１９Ａが評価して、評価結果に応じて画面を描画することとしてもよい。例えば、膝を特定の方向に伸ばすことが理想的な動きとなる場合に、当該特定の方向に沿って補助線をプロセッサ１９Ａが描画する。プロセッサ１９Ａは、トレーニーの身体の動かし方において、膝の動きが補助線に沿った方向に近づくにつれて、アバターの膝の部位、または、膝の部位に関連付けられる補助線の描画態様を変更することとしてもよい。 Also, in the course of one training session, of the trainee's body movements, those parts that are particularly close to the ideal body movements may be emphasized compared to other parts and reflected in the avatar for display. For example, the processor 19A may evaluate how closely the body movements of the trainee are to the auxiliary lines drawn together with the avatar, and draw the screen according to the evaluation result. For example, if the ideal motion is to stretch the knee in a specific direction, the processor 19A draws an auxiliary line along the specific direction. The processor 19A may change the drawing mode of the knee part of the avatar or the auxiliary line associated with the knee part as the movement of the knee approaches the direction along the auxiliary line in the trainee's body movement.
これにより、１回のトレーニングの前後、またはトレーニングの過程で、トレーニーがどれだけ変化したかをトレーニーが容易に確認できるため、トレーニー自身がどれだけ変化したか（目標に近づいているか等）を確認しやすくなる。これにより、トレーニーがトレーニングを続ける動機づけをよりいっそう向上させることができる。 As a result, the trainee can easily check how much the trainee has changed before and after one training session or during the course of the training, making it easier for the trainee to check how much the trainee himself has changed (whether he is getting closer to his goal, etc.). This can further improve the trainee's motivation to continue training.
オンラインでトレーニングを行う場合は、オンラインではなく対面でトレーニングを行う場合と比べて視覚的な情報が削減されてしまい（対面だと肉眼で視認可能なのに対してオンラインの場合は２次元のディスプレイの画像として視認する）コミュニケーション時の体験の質が低下してしまう恐れがある。また、オンラインでトレーニングを行う場合は、トレーナーがトレーニーの身体に触れることも非常に困難といえる。よって、上記のようにトレーニーへトレーニング結果のフィードバックを提供することにより、トレーニーがオンラインでトレーニングを継続する動機づけを提供することができる。 When training online, visual information is reduced compared to training face-to-face instead of online (visible with the naked eye when training face-to-face, but when training online, it is viewed as a two-dimensional display image). Moreover, when training is conducted online, it is very difficult for the trainer to touch the body of the trainee. Therefore, by providing training result feedback to the trainee as described above, it is possible to provide the trainee with motivation to continue training online.
以上のように、１回のトレーニングでユーザの身体の動かし方が理想的な動かし方へと変化した場合に、当該センシング結果に基づいて学習済みモデルを生成することとしてもよい。
（２）以上の実施形態では、ユーザの身体の動きをセンシングした結果に基づきアバターを表示して、トレーナーとトレーニーとのオンライントレーニングにおいてトレーナーに対応するアバターをトレーニーに表示する例を説明した。As described above, a learned model may be generated based on the sensing result when the user's body movement is changed to an ideal one by one training session.
(2) In the above embodiments, the avatar is displayed based on the result of sensing the movement of the user's body, and the avatar corresponding to the trainer is displayed to the trainee in online training between the trainer and the trainee.
この他に、トレーナーとトレーニーとの通信によらず、プロセッサ１９Ａが、ユーザ自身で自身の身体の動かし方を上記のアバターとして確認しつつトレーニングをすることとしてもよい。例えば、ユーザは、端末装置１０Ａにおいて、身体の動かし方を設定し、設定された身体の動かし方に応じて、補助線等を描画しつつ、ユーザに体の動かし方の情報を通知して（身体の動かし方を案内して）、ユーザの身体の動かし方を測定ユニット３０等によりセンシングすることとしてもよい。
（２－１） ユーザの身体の動きのセンシング方法In addition, the processor 19A may perform training while confirming how the user himself or herself moves as the avatar described above, regardless of the communication between the trainer and the trainee. For example, in the terminal device 10A, the user may set the method of moving the body, draw an auxiliary line or the like according to the set method of moving the body, notify the user of information about the method of moving the body (guide the method of moving the body), and sense the method of moving the user's body using the measurement unit 30 or the like.
(2-1) Sensing method of user's body movement
端末装置１０Ａは、アバター等として、ユーザの身体の動かし方をセンシングした結果をユーザに提示する。また、端末装置１０Ａは、実施の形態１、２等で説明したように、ユーザの身体のセンシング結果に基づいて、ユーザの身体の各関節の位置を特定し、骨格（ボーン）を推定することができる（図１２）。 The terminal device 10A presents to the user, as an avatar or the like, the result of sensing how the user's body moves. In addition, as described in Embodiments 1 and 2, the terminal device 10A can identify the positions of the joints of the user's body and estimate the skeleton (bone) based on the sensing results of the user's body (FIG. 12).
端末装置１０Ａは、以下のようにして、ユーザの各関節の位置、骨格の推定結果に基づき姿勢を推定することとしてもよい。
・ 端末装置１０Ａが、被写体となるユーザを撮影した撮影結果（二次元の動画像）に基づいて、当該動画像に示されるユーザの姿勢を、点群データによらずとも推定する。The terminal device 10A may estimate the posture based on the position of each joint of the user and the result of estimating the skeleton in the following manner.
- The terminal device 10A estimates the posture of the user shown in the moving image based on the photographed result (two-dimensional moving image) of the user, who is the subject, without using the point cloud data.
すなわち、端末装置１０Ａは、ＬｉＤＡＲ等のように光学的に被写体との距離を測定する構成を有していないカメラによりユーザを撮影し、当該撮影結果に基づいて、撮影画像におけるユーザの姿勢として、関節の位置、骨格等を推定することとしてもよい。 That is, the terminal device 10A may capture an image of the user using a camera that does not have a configuration for optically measuring the distance to the subject, such as LiDAR, and may estimate joint positions, bone structure, etc. as the posture of the user in the captured image based on the captured image.
例えば、撮影画像を入力として、当該撮影画像における被写体となっている人物の関節の位置、骨格等の姿勢を出力する学習済みモデルを用意することにより、端末装置１０Ａが、ユーザの撮影結果と、学習済みモデルとに基づいて、ユーザの姿勢を推定し得る。 For example, by using a captured image as an input and preparing a learned model that outputs the positions of the joints, skeleton, etc. of a person who is the subject in the captured image, the terminal device 10A can estimate the user's posture based on the user's captured image and the learned model.
このような学習済みモデルは、予め、撮影画像における被写体となっている人物について、撮影画像における関節の位置、骨格等の情報を関連付けた学習データを用意してコンピュータに学習を行わせることにより生成し得る。
・ 他の実施形態でも説明したように、端末装置１０Ａが、ユーザの身体の動きを、端末装置１０Ａ等に搭載されるカメラまたは測定ユニット３０等に基づき点群データとしてセンシングし、センシングした結果に基づいて、関節の位置、骨格等を推定する。
（２－２） 関節の位置、骨格の推定結果に基づく補助線の描画Such a trained model can be generated by preparing learning data in which information such as joint positions and skeletons in a photographed image are associated with a person who is a subject in the photographed image and causing a computer to perform learning.
・ As described in other embodiments, the terminal device 10A senses the movement of the user's body as point cloud data based on the camera mounted on the terminal device 10A or the like, the measurement unit 30, or the like, and estimates the joint positions, skeleton, etc. based on the sensing results.
(2-2) Drawing auxiliary lines based on joint position and skeleton estimation results
端末装置１０Ａは、ユーザに対し、身体を動かす際の目安となる補助線を、ユーザの姿勢の推定結果に基づいて描画することとしてもよい。端末装置１０Ａが、当該補助線を、ユーザの姿勢の推定結果に基づいて描画することとして、以下のようにしてもよい。
・ 端末装置１０Ａ等が、ユーザに対し提示する、身体の動かし方の種類（例えば、側方挙上など体幹筋の動きや関節可動域を評価するための運動、または、筋力トレーニングのための運動など）と、間接の位置、骨格の推定結果とに基づいて、補助線を描画する位置を決定する。The terminal device 10A may draw an auxiliary line for the user to use as a reference when moving the body, based on the result of estimating the user's posture. The terminal device 10A may draw the auxiliary line based on the estimation result of the user's posture as follows.
The type of body movement presented to the user by the terminal device 10A or the like (for example, exercise for evaluating trunk muscle movement and joint range of motion such as lateral elevation, or exercise for strength training), and based on the indirect position and the skeleton estimation result, the position for drawing the auxiliary line is determined.
例えば、身体の動かし方の種類によっては、ユーザが身体を一定量動かすものが含まれる（例えば、関節可動域を評価するために、前足を踏み出す動作など）。端末装置１０Ａは、ユーザに対し、アバターを表示しつつ、身体を動かす量の目安としての補助線を、ユーザの特定の関節の位置の推定結果に基づいて描画する。 For example, some types of body movements include those in which the user moves the body by a certain amount (for example, an action of stepping a front foot to evaluate the range of motion of a joint). While displaying the avatar to the user, the terminal device 10A draws an auxiliary line as a guideline for the amount of body movement based on the results of estimating the positions of specific joints of the user.
例えば、端末装置１０Ａは、ユーザが前足を踏み出す動作をする場合に、まずユーザに所定の姿勢（例えば足を踏み出す前に直立の姿勢をする）をするよう音声または映像等により促す。端末装置１０Ａは、当該姿勢における関節の位置（例えば、肩関節、股関節、膝関節）に基づいてユーザの歩幅の量を推定し（例えば、ユーザの身長、ユーザの下肢の長さにより、ユーザが踏み出すべき歩幅の量が特定されうる）、推定した歩幅の量に基づいて、関節の位置の推定結果に基づいて補助線を描画すべき位置を決定する。 For example, when the user steps forward, the terminal device 10A first prompts the user to take a predetermined posture (for example, to stand upright before stepping forward) by voice or video. The terminal device 10A estimates the amount of the user's stride based on the positions of the joints in the posture (e.g., shoulder joint, hip joint, knee joint) (e.g., the height of the user and the length of the user's lower limbs. The amount of stride that the user should take can be specified), and based on the estimated amount of stride, determines the position where the auxiliary line should be drawn based on the estimation results of the joint positions.
端末装置１０Ａは、ユーザが行う身体の動きの種類に応じて、補助線を描画するために参照する関節の位置と、当該関節の位置に対して補助線を描画する位置関係とを予め対応付けて記憶することとしてもよい。 The terminal device 10A may pre-associate and store the position of the joint referred to for drawing the auxiliary line and the positional relationship for drawing the auxiliary line with respect to the position of the joint according to the type of body movement performed by the user.
図３３は、端末装置１０Ａが、ユーザの姿勢の推定結果に基づいて、補助線を描画する処理の概念を示す図である。 FIG. 33 is a diagram showing a concept of processing in which the terminal device 10A draws auxiliary lines based on the result of estimating the posture of the user.
図３３の例（Ａ）では、端末装置１０Ａは、ユーザの身体の動きを点群データとしてセンシングするものとする。端末装置１０Ａは、センシング結果に基づいて、ユーザに対応するアバターＡＶＴ＿Ａの３次元オブジェクトデータを記憶する。端末装置１０Ａは、アバターＡＶＴ＿Ａの３次元オブジェクトデータに基づいて、当該３次元オブジェクトデータのユーザの関節の位置（例えば、図１２に示す各関節）を推定する。例（Ａ）では、端末装置１０Ａは、アバターＡＶＴ＿Ａの３次元オブジェクトデータを仮想空間に配置した場合に、当該アバターにおいてユーザの股関節の位置を推定した結果の座標となる関節位置ＪＮＴ＿０１Ａを特定する。 In the example (A) of FIG. 33, the terminal device 10A senses the movement of the user's body as point cloud data. The terminal device 10A stores the three-dimensional object data of the avatar AVT_A corresponding to the user based on the sensing result. Based on the 3D object data of the avatar AVT_A, the terminal device 10A estimates the positions of the user's joints (for example, each joint shown in FIG. 12) of the 3D object data. In example (A), when the three-dimensional object data of avatar AVT_A is arranged in the virtual space, terminal device 10A identifies joint position JNT_01A, which is the coordinate resulting from estimating the position of the user's hip joint in the avatar.
図３３の例（Ａ）において、端末装置１０Ａは、ユーザの身体の動かし方の種類に応じて、補助線ＬＮ＿０１Ａの３次元オブジェクトデータを、関節位置ＪＮＴ＿０１Ａから一定距離ＤＩＳＴ＿０１Ａの分、離した位置に配置する、と決定する。端末装置１０Ａは、当該一定距離を、ユーザの体格（ユーザの身体の動きのセンシング結果に基づき、ユーザの身長、座高、肩幅等を測定することにより得られる）に基づいて設定することとしてもよい。ユーザの体格に応じて、ユーザが身体を動かす目安となる量が定まり得る。例（Ａ）では、端末装置１０Ａは、補助線ＬＮ＿０１Ａの３次元オブジェクトデータを、ユーザが身体を動かす際の地面と平行となるように配置している。 In the example (A) of FIG. 33, the terminal device 10A determines to place the three-dimensional object data of the auxiliary line LN_01A at a position separated by a certain distance DIST_01A from the joint position JNT_01A according to the type of movement of the user's body. The terminal device 10A may set the fixed distance based on the physique of the user (obtained by measuring the user's height, sitting height, shoulder width, etc. based on the result of sensing the movement of the user's body). Depending on the physique of the user, the amount that the user should move the body can be determined. In example (A), the terminal device 10A arranges the three-dimensional object data of the auxiliary line LN_01A so as to be parallel to the ground when the user moves his/her body.
図３３の例（Ｂ）において、端末装置１０Ａは、補助線ＬＮ＿０２Ａの３次元オブジェクトデータを、関節位置ＪＮＴ＿０１Ａに基づいて、当該関節位置ＪＮＴ＿０１Ａと重なるように、かつ、ユーザが身体を動かす際の地面と垂直となるように配置している。 In the example (B) of FIG. 33, the terminal device 10A arranges the three-dimensional object data of the auxiliary line LN_02A based on the joint position JNT_01A so that it overlaps with the joint position JNT_01A and is perpendicular to the ground when the user moves the body.
図３４は、ユーザに提示する画面例を示す。 FIG. 34 shows an example screen presented to the user.
図３４に示すように、端末装置１０Ａは、画面３４０３において、ユーザの身体の動きをセンシングした結果として、ユーザに対応するアバターを、左側面３４０３Ａ、正面３４０３Ｂ、右側面３４０３Ｃのように、複数の視点から描画した結果を同画面に配置する。 As shown in FIG. 34, the terminal device 10A, as a result of sensing the movement of the user's body on the screen 3403, arranges the results of drawing the avatar corresponding to the user from a plurality of viewpoints such as the left side 3403A, the front 3403B, and the right side 3403C on the screen.
例えば、端末装置１０Ａは、仮想空間において、ユーザの身体の動きのセンシング結果（例えば点群データ）に対応する３次元オブジェクトデータ（アバターとしてユーザに認識されうるもの）を配置する。端末装置１０Ａは、当該仮想空間において、当該ユーザのセンシング結果に対応する３次元オブジェクトデータに対し、複数の仮想カメラ（例えば、右側面に対応する仮想カメラ、正面に対応する仮想カメラ、左側面に対応する仮想カメラ）を設定する。これにより、端末装置１０Ａは、ユーザに対応するアバターを複数の視点から描画した結果をユーザに提示することができる。 For example, the terminal device 10A arranges three-dimensional object data (that can be recognized by the user as an avatar) corresponding to sensing results of the movement of the user's body (for example, point cloud data) in the virtual space. The terminal device 10A sets a plurality of virtual cameras (for example, a virtual camera corresponding to the right side, a virtual camera corresponding to the front, and a virtual camera corresponding to the left side) for the three-dimensional object data corresponding to the sensing result of the user in the virtual space. Thereby, the terminal device 10A can present to the user the result of drawing the avatar corresponding to the user from a plurality of viewpoints.
図示するように、端末装置１０Ａは、ユーザに対し、アバターを提示する一方で、骨格（ボーン）を推定した結果を提示しないこととしてもよい。例えば、ユーザは、自分自身を鏡等で視認することと比べて、骨格（ボーン）の推定結果自体を日常的に肉眼で視認する機会は少ないと想定される。したがって、端末装置１０Ａが、アバターをユーザに提示しつつ骨格（ボーン）の推定結果を表示しないことにより、ユーザに対し、肉眼で日常的に視認し得る自身の体型と同様のアバターを画面上で認識することとなり、画面に投影されるアバターが、ユーザ自身であるかのように没入することができ得る。 As illustrated, the terminal device 10A may present the avatar to the user, but may not present the result of estimating the skeleton (bone). For example, compared to visually recognizing oneself in a mirror or the like, it is assumed that the user has fewer opportunities to visually perceive the estimation result of the skeleton (bone) itself with the naked eye on a daily basis. Therefore, the terminal device 10A presents the avatar to the user and does not display the skeleton (bone) estimation result, so that the user can recognize on the screen an avatar that is similar to his/her own body shape that can be seen with the naked eye on a daily basis, and the user can be immersed in the avatar projected on the screen as if it were the user himself/herself.
端末装置１０Ａは、仮想空間において、ユーザに対応する３次元オブジェクトデータと関連付けて、補助線ＬＮ＿０１Ａ、ＬＮ＿０２Ａの３次元オブジェクトデータを配置している。よって、端末装置１０Ａは、仮想カメラの設定に従ってレンダリングをすることにより、ユーザに対応するアバターとともに補助線を表示することができる。 The terminal device 10A arranges the three-dimensional object data of auxiliary lines LN_01A and LN_02A in association with the three-dimensional object data corresponding to the user in the virtual space. Therefore, the terminal device 10A can display the auxiliary line together with the avatar corresponding to the user by performing rendering according to the setting of the virtual camera.
具体的には、端末装置１０Ａは、左側面３４０３Ａにおいて、アバターＡＶＴ＿Ａと関連付けて、補助線ＬＮ＿０１Ａと、補助線ＬＮ＿０２Ａを描画して、ユーザに対し表示している。端末装置１０Ａは、正面３４０３Ｂにおいて、アバターＡＶＴ＿Ｂと関連付けて、補助線ＬＮ＿０１Ｂと、補助線ＬＮ＿０２Ｂとを描画して、ユーザに対し表示している。端末装置１０Ａは、右側面３４０３Ｃにおいて、アバターＡＶＴ＿Ｃと関連付けて、補助線ＬＮ＿０１Ｃと、補助線ＬＮ＿０２Ｃとを描画して、ユーザに対し表示している。
（２－３） ユーザの身体の動きを評価する方法
（ｉ）端末装置１０Ａは、以上のようにユーザに対しては骨格（ボーン）の推定結果を表示せずアバターを表示することで、ユーザ自身が投影されたものであると認識させて、身体を動かすこと、トレーニングをすること等に没入をさせている。一方、端末装置１０Ａは、ユーザの身体の動きを評価することとして、ユーザの姿勢が望ましいか、ユーザの身体の動きが身体の動かし方の種類に応じて理想的であるかを評価するために、ユーザの骨格（ボーン）の推定結果を用いることとしてもよい。Specifically, the terminal device 10A draws an auxiliary line LN_01A and an auxiliary line LN_02A in association with the avatar AVT_A on the left side 3403A and displays them to the user. The terminal device 10A draws an auxiliary line LN_01B and an auxiliary line LN_02B in association with the avatar AVT_B on the front 3403B and displays them to the user. The terminal device 10A draws an auxiliary line LN_01C and an auxiliary line LN_02C in association with the avatar AVT_C on the right side 3403C and displays them to the user.
(2-3) Method of Evaluating User's Body Movement (i) As described above, the terminal device 10A displays the avatar instead of the bone estimation result to the user, thereby making the user recognize that the user himself/herself is projected, and immerse the user in moving the body, training, and the like. On the other hand, the terminal device 10A may use the user's skeleton (bone) estimation result to evaluate whether the user's body movement is desirable or whether the user's body movement is ideal according to the type of body movement.
例えば、図３４の例では、ユーザの膝が垂直になっていることが望ましいとされる場合、端末装置１０Ａは、ユーザの骨格（ボーン）のうち、膝の推定結果に基づいて（膝が垂直になっているかに応じて）、ユーザの姿勢が望ましいか否かを判定することができる。
（ｉｉ）端末装置１０Ａは、ユーザの身体の動きを評価することとして、ユーザの身体の動きをセンシングした結果であるアバターを構成する３次元オブジェクトデータ（例えば点群データ）と、補助線に対応する３次元オブジェクトデータとに基づくこととしてもよい。For example, in the example of FIG. 34, when it is desirable for the user's knees to be vertical, the terminal device 10A can determine whether the user's posture is desirable based on the estimation result of the knees of the user's skeleton (bone) (depending on whether the knees are vertical).
(ii) The terminal device 10A evaluates the movement of the user's body based on three-dimensional object data (for example, point cloud data) that constitutes the avatar, which is the result of sensing the movement of the user's body, and three-dimensional object data corresponding to the auxiliary lines.
例えば、端末装置１０Ａは、ユーザのアバターを構成する３次元オブジェクトデータ（例えば左側面３４０３ＡにおけるアバターＡＶＴ＿Ａ）と、補助線に対応する３次元オブジェクトデータ（例えば左側面３４０３Ａにおける補助線ＬＮ＿０１Ａ）とが衝突したと判定するか、一定距離内に近づいたと判定すること等により、ユーザの身体の動きが理想的か否かを評価することとしてもよい。 For example, the terminal device 10A may evaluate whether or not the user's body movement is ideal by determining that the three-dimensional object data that constitutes the user's avatar (e.g., the avatar AVT_A on the left side 3403A) and the three-dimensional object data corresponding to the auxiliary line (e.g., the auxiliary line LN_01A on the left side 3403A) have collided or that they have come within a certain distance.
端末装置１０Ａは、点群データによらずにユーザの身体の動きをセンシングする場合（例えば、２次元の画像としてユーザを撮影する場合）、センシング結果に基づいて（２次元の撮影画像データ）、ユーザの身体に対応する３次元オブジェクトデータを生成することとしてもよい。端末装置１０Ａは、当該３次元オブジェクトデータと、補助線に対応する３次元オブジェクトデータとが衝突したか、一定距離に近づいたか等に基づいて、ユーザの身体の動きが理想的か否かを評価することとしてもよい。 When the terminal device 10A senses the movement of the user's body without relying on point cloud data (for example, when capturing the user as a two-dimensional image), based on the sensing result (two-dimensional captured image data), three-dimensional object data corresponding to the user's body may be generated. The terminal device 10A may evaluate whether or not the movement of the user's body is ideal based on whether the three-dimensional object data and the three-dimensional object data corresponding to the auxiliary line collide or come close to a certain distance.
端末装置１０Ａは、点群データによらずにユーザの身体の動きをセンシングする場合（２次元の画像としてユーザを撮影する場合）、当該２次元の画像において上記のようにユーザの姿勢（関節の位置、骨格）を推定し（上記のように姿勢を推定する学習済みモデルを用いる）、推定した結果に基づいて、当該二次元の画像において補助線をオブジェクトデータとして描画することとしてもよい。例えば、端末装置１０Ａは、二次元の画像において推定されるユーザの関節（股関節、肩関節など）の位置から、ユーザが行う運動の種類に対応して、当該二次元の画像において、オブジェクトデータとして補助線を描画する位置を決定する。端末装置１０Ａは、ユーザに対応する２次元の画像と、オブジェクトデータとして描画される補助線とが衝突したか、一定距離に近づいたか等に基づいて、ユーザの身体の動きが理想的か否かを評価することとしてもよい。
（２－４）具体的な身体の動かし方を測定するためにユーザに提示する画面例
（ア）Standing AlignmentWhen the terminal device 10A senses the movement of the user's body without using point cloud data (when capturing the user as a two-dimensional image), the user's posture (joint position, skeleton) may be estimated in the two-dimensional image (using a trained model for estimating the posture as described above), and based on the estimation result, auxiliary lines may be drawn as object data in the two-dimensional image. For example, the terminal device 10A determines the position to draw an auxiliary line as object data in the two-dimensional image corresponding to the type of exercise performed by the user from the position of the user's joint (hip joint, shoulder joint, etc.) estimated in the two-dimensional image. The terminal device 10A may evaluate whether the movement of the user's body is ideal based on whether the two-dimensional image corresponding to the user collides with the auxiliary line drawn as the object data, or whether they approach a certain distance.
(2-4) Screen example presented to the user to measure specific body movements (a) Standing Alignment
例えば立位の状態など、ユーザが特定の姿勢をしている間、前後左右にユーザの身体が傾かないようにユーザが調整できるようにすることで、ユーザの姿勢を良好に保つことができる。 By enabling the user to adjust so that the user's body does not tilt forward, backward, left, or right while the user is in a specific posture, such as a standing position, the user's posture can be maintained well.
図３５は、端末装置１０Ａが、ユーザが立位の状態で前後左右の傾きを調整するための画面例を示す図である。 FIG. 35 is a diagram showing a screen example for the terminal device 10A to adjust the tilt in the front, back, left, and right while the user is standing.
図３６は、ユーザの特定の部位の位置を推定した結果に基づいて、ユーザの身体の動きの目安となる図形オブジェクトを描画する位置を特定する処理を示す図である。 FIG. 36 is a diagram showing a process of specifying a position for drawing a graphical object that serves as a guideline for the movement of the user's body, based on the result of estimating the position of a specific part of the user.
図３５に示すように、端末装置１０Ａは、画面３５００において、ユーザの身体の動きをセンシングした結果として、ユーザに対応するアバターを、左側面３５０１Ａ、正面３５０１Ｂのように、複数の視点から描画した結果を同画面に配置する。端末装置１０Ａは、画面３５０１Ｃにおいて、ユーザの身体の複数の部位の位置を、水平面における位置関係が比較可能に表示する。 As shown in FIG. 35, the terminal device 10A, as a result of sensing the movement of the user's body on the screen 3500, draws the avatar corresponding to the user from a plurality of viewpoints, such as the left side 3501A and the front 3501B, and arranges the results on the same screen. The terminal device 10A displays the positions of a plurality of parts of the user's body on the screen 3501C such that the positional relationships on the horizontal plane can be compared.
端末装置１０Ａは、左側面３５０１Ａにおいて、ユーザに対応するアバターＡＶＴ＿３５Ａ（ユーザを左側面から見た場合に対応）を表示する。端末装置１０Ａは、図形オブジェクトとして、補助線ＶＬ＿３５Ａを、アバターＡＶＴ＿３５Ａとともに表示する。 The terminal device 10A displays an avatar AVT_35A corresponding to the user (corresponding to when the user is viewed from the left side) on the left side 3501A. The terminal device 10A displays the auxiliary line VL_35A as a graphic object together with the avatar AVT_35A.
ここで、端末装置１０Ａが補助線ＶＬ＿３５Ａを描画する処理について説明する。 Here, a process of drawing the auxiliary line VL_35A by the terminal device 10A will be described.
図３６の例（Ａ）に示すように、端末装置１０Ａは、ユーザの身体の特定の部位として、アンクル（かかと）の位置ＪＮＴ＿３５Ｄを推定する。 As shown in the example (A) of FIG. 36, the terminal device 10A estimates the position JNT_35D of the ankle (heel) as a specific part of the user's body.
端末装置１０Ａは、右足首、右足、右つま先、左足首、左足、左つま先の位置を、ユーザの身体を測定した点群データに基づいて推定することができる（例えば、図１２の例）。例えば、端末装置１０Ａは、右足首または左足首の位置の推定結果に基づいて、当該足首の位置の推定結果を通過して地面に対して垂直になるように、図形オブジェクトとしての補助線ＶＬ＿３５Ａを描画する位置を特定することとしてもよい。 The terminal device 10A can estimate the positions of the right ankle, right foot, right toe, left ankle, left foot, and left toe based on point cloud data obtained by measuring the user's body (for example, the example in FIG. 12). For example, the terminal device 10A may specify a position to draw an auxiliary line VL_35A as a graphic object based on the estimation result of the position of the right ankle or the left ankle so as to pass through the estimation result of the ankle position and be perpendicular to the ground.
これにより、端末装置１０Ａは、ユーザに対し、ユーザの身体の動きのセンシング結果を取得する都度、アバターＡＶＴ＿３５Ａの表示を更新しつつ（すなわち、リアルタイムにユーザの身体を測定した点群データに基づいてアバターＡＶＴ＿３５Ａを描画しつつ）、補助線ＶＬ＿３５Ａとの位置関係を認識させることができる。ユーザは、前後左右に身体がずれているか否かを、アバターＡＶＴ＿３５Ａと、補助線ＶＬ＿３５Ａとを比較して認識することができる。例えば、補助線ＶＬ＿３５Ａの位置よりもアバターＡＶＴ＿３５Ａが大幅にはみ出している場合は、ユーザの身体が前後左右のいずれかに大きくずれていることとなりえる。 As a result, the terminal device 10A allows the user to recognize the positional relationship with the auxiliary line VL_35A while updating the display of the avatar AVT_35A (that is, drawing the avatar AVT_35A based on point cloud data obtained by measuring the user's body in real time) each time the sensing result of the movement of the user's body is acquired. The user can recognize by comparing the avatar AVT_35A and the auxiliary line VL_35A whether or not the body is out of alignment in the front, back, left, and right directions. For example, when the avatar AVT_35A protrudes significantly from the position of the auxiliary line VL_35A, it can be said that the user's body is largely displaced forward, backward, leftward, or rightward.
なお、端末装置１０Ａは、ユーザが上記のように左側面から見たアバターＡＶＴ＿３５Ａと比較できるように補助線ＶＬ＿３５Ａを描画するため、ユーザの身体の特定の部位として、アンクル（かかと）以外の位置を推定した結果に基づいて（例えば、骨盤の位置を推定した結果に基づいて）描画することとしてもよい。 Note that the terminal device 10A may draw the auxiliary line VL_35A so that the user can compare it with the avatar AVT_35A viewed from the left side as described above, based on the result of estimating the position of the user's body other than the ankle (for example, based on the result of estimating the position of the pelvis) as the specific part of the user's body.
図３５の正面３５０１Ｂに示すように、端末装置１０Ａは、ユーザに対応するアバターＡＶＴ＿３５Ｂ（ユーザを正面から見た場合に対応）を表示する。端末装置１０Ａは、図形オブジェクトとして、補助線ＬＮ＿３５Ａ、補助線ＬＮ＿３５Ｂ、補助線ＬＮ＿３５Ｃ、補助線ＶＬ＿３５Ｂを、アバターＡＶＴ＿３５Ｂと関連付けて表示する。 As shown in the front 3501B of FIG. 35, the terminal device 10A displays an avatar AVT_35B corresponding to the user (corresponding to when the user is viewed from the front). The terminal device 10A displays an auxiliary line LN_35A, an auxiliary line LN_35B, an auxiliary line LN_35C, and an auxiliary line VL_35B as graphic objects in association with the avatar AVT_35B.
ここで、端末装置１０Ａが、正面３５０１Ｂにおいて、補助線ＬＮ＿３５Ａ等を描画する処理について説明する。 Here, the process of drawing the auxiliary lines LN_35A and the like on the front surface 3501B by the terminal device 10A will be described.
図３６の例（Ｂ）に示すように、端末装置１０Ａは、ユーザの身体の特定の部位として、頭部の位置ＪＮＴ＿３５Ａ（図１２の例における「頭」）、肩の位置ＪＮＴ＿３５Ｂ（図１２の例における「肩中央」）、腰の位置ＪＮＴ＿３５Ｃ（図１２の例における「骨盤中央」「右骨盤」「左骨盤」など）を推定する。端末装置１０Ａは、補助線ＶＬ＿３５Ｂを、頭部の位置ＪＮＴ＿３５Ａ、肩の位置ＪＮＴ＿３５Ｂ、腰の位置ＪＮＴ＿３５Ｃの少なくともいずれかを通過して、地面に対して垂直となる線になるよう、描画する位置を特定する。ここで、端末装置１０Ａは、補助線ＶＬ＿３５Ｂを、これら以外の特定の部位の位置に基づいて（例えば、右かかとの位置と左かかとの位置の中間地点を通過して地面に対して垂直となる線）、描画する位置を特定することとしてもよい。 As shown in the example (B) of FIG. 36, the terminal device 10A estimates a head position JNT_35A ("head" in the example of FIG. 12), a shoulder position JNT_35B ("shoulder center" in the example of FIG. 12), and a waist position JNT_35C ("pelvis center", "right pelvis", "left pelvis", etc. in the example of FIG. 12) as specific parts of the user's body. The terminal device 10A specifies the position to draw the auxiliary line VL_35B so that it passes through at least one of the head position JNT_35A, the shoulder position JNT_35B, and the waist position JNT_35C and becomes a line perpendicular to the ground. Here, the terminal device 10A may specify the position to draw the auxiliary line VL_35B based on the position of a specific part other than these (for example, a line that passes through the midpoint between the positions of the right heel and the left heel and is perpendicular to the ground).
端末装置１０Ａは、これら特定の部位の位置の推定結果に基づいて、補助線ＬＮ＿３５Ａ等を描画する位置を特定する。例えば、端末装置１０Ａは、補助線ＬＮ＿３５Ａを描画する位置として、ユーザの頭部の位置の推定結果である頭部の位置ＪＮＴ＿３５Ａから、水平方向に（地面に向かう方向を垂直とした場合）所定の距離（図３６の例における距離ＤＩＳＴ＿３５Ａ）だけ離した位置にすると特定する。端末装置１０Ａは、肩の位置ＪＮＴ＿３５Ｂから、水平方向に所定の距離だけ離した位置に、補助線ＬＮ＿３５Ｂを描画すると特定する。端末装置１０Ａは、腰の位置ＪＮＴ＿３５Ｃから、水平方向に所定の距離だけ離した位置に、補助線ＬＮ＿３５Ｃを描画すると特定する。 The terminal device 10A specifies the positions where the auxiliary lines LN_35A and the like are to be drawn based on the estimation results of the positions of these specific parts. For example, the terminal device 10A specifies that the position at which the auxiliary line LN_35A is to be drawn is a position separated horizontally (when the direction toward the ground is vertical) by a predetermined distance (distance DIST_35A in the example of FIG. 36) from the head position JNT_35A, which is the estimated result of the position of the user's head. The terminal device 10A specifies that the auxiliary line LN_35B should be drawn at a position horizontally separated from the shoulder position JNT_35B by a predetermined distance. The terminal device 10A specifies that the auxiliary line LN_35C should be drawn at a position horizontally separated from the waist position JNT_35C by a predetermined distance.
端末装置１０Ａは、これら補助線ＬＮ＿３５Ａ、ＬＮ＿３５Ｂ、ＬＮ＿３５Ｃを、それぞれ異なる態様で（例えば、異なる色、異なる形状等）描画する。これにより、それぞれの描画の態様が、ユーザの身体の部位のいずれに対応するかを容易にユーザに認識させることができる。ここで、端末装置１０Ａは、これら補助線ＬＮ＿３５Ａ、ＬＮ＿３５Ｂ、ＬNＮ＿３５Ｃのそれぞれの描画の態様により、画面３５０１Ｃにおける補助円ＲＤ＿３５Ａ、ＲＤ＿３５Ｂ、ＲＤ＿３５Ｃを描画する。 The terminal device 10A draws these auxiliary lines LN_35A, LN_35B, and LN_35C in different modes (for example, different colors, different shapes, etc.). This allows the user to easily recognize which part of the user's body each drawing mode corresponds to. Here, the terminal device 10A draws the auxiliary circles RD_35A, RD_35B, and RD_35C on the screen 3501C according to the respective drawing modes of these auxiliary lines LN_35A, LN_35B, and LNN_35C.
端末装置１０Ａは、画面３５０１Ｃにおいて、ユーザのかかとの位置を基準とした図形オブジェクトである補助円ＲＤ＿３５Ｄを描画する。図３６の例（Ｃ）は、図３５の画面３５０１Ｃにおいて、補助円ＲＤ＿３５Ａ、ＲＤ＿３５Ｂ、ＲＤ＿３５Ｃを描画していない態様を示す。端末装置１０Ａは、画面３５０１Ｃにおいて、ユーザの頭部の位置に対応する補助円ＲＤ＿３５Ａ、肩に対応する補助円ＲＤ＿３５Ｂ、腰に対応する補助円ＲＤ＿３５Ｃを描画する。これら補助円ＲＤ＿３５Ａ、ＲＤ＿３５Ｂ、ＲＤ＿３５Ｃと、補助円ＲＤ＿３５Ｄとは、それぞれ同一の形状であるとしてもよいし、相似の形状であるとしてもよい。端末装置１０Ａは、基準となる特定の部位の水平面における位置と比較して、比較対象となる頭部、肩、腰の相対的な位置に、これら補助円ＲＤ＿３５Ａ、ＲＤ＿３５Ｂ、ＲＤ＿３５Ｃを表示する。これにより、ユーザは、身体が前後左右のいずれに傾いているのかを認識しつつ、これら複数の身体の部位に対応する複数の図形オブジェクト（補助円ＲＤ＿３５Ａ、ＲＤ＿３５Ｂ、ＲＤ＿３５Ｃ）を、基準となる補助円ＲＤ＿３５Ｄにあわせるよう促される。 The terminal device 10A draws an auxiliary circle RD_35D, which is a graphic object based on the position of the user's heel, on the screen 3501C. Example (C) of FIG. 36 shows a mode in which auxiliary circles RD_35A, RD_35B, and RD_35C are not drawn on the screen 3501C of FIG. The terminal device 10A draws an auxiliary circle RD_35A corresponding to the position of the user's head, an auxiliary circle RD_35B corresponding to the shoulders, and an auxiliary circle RD_35C corresponding to the waist on the screen 3501C. These auxiliary circles RD_35A, RD_35B, RD_35C and the auxiliary circle RD_35D may have the same shape or similar shapes. The terminal device 10A displays these auxiliary circles RD_35A, RD_35B, and RD_35C at the relative positions of the head, shoulders, and hips to be compared with the positions of the reference specific parts on the horizontal plane. As a result, the user is urged to align a plurality of graphic objects (auxiliary circles RD_35A, RD_35B, RD_35C) corresponding to these plurality of body parts to the reference auxiliary circle RD_35D while recognizing whether the body is tilted forward, backward, leftward, or rightward.
以上のように、端末装置１０Ａは、ユーザの身体の動きを、逐次、点群データ等としてセンシングし、ユーザの身体の動きをセンシングした結果に基づいて、ユーザの少なくとも３つの特定の部位（上記の図３５、図３６の例では、頭部、肩、腰、かかとの４つの部位の位置を推定している）の位置を推定する。端末装置１０Ａは、少なくとも３つの特定の部位のうちいずれかを基準として（図３５、３６の例では、かかとの位置を基準としているが、腰など体軸に沿う部位のいずれかであってよい）、水平面において他の特定の部位の位置関係を示す図形オブジェクトを描画する位置を決定し、決定した位置に図形オブジェクトを表示させる。 As described above, the terminal device 10A sequentially senses the movement of the user's body as point cloud data or the like, and based on the results of sensing the movement of the user's body, estimates the positions of at least three specific parts of the user (in the examples of FIGS. 35 and 36, the positions of the four parts of the head, shoulders, waist, and heels are estimated). The terminal device 10A uses one of at least three specific parts as a reference (in the examples of FIGS. 35 and 36, the position of the heel is used as the reference, but it may be any part along the body axis such as the waist), determines the position to draw the graphic object indicating the positional relationship of the other specific parts on the horizontal plane, and displays the graphic object at the determined position.
端末装置１０Ａは、図３５のオブジェクト３５０１Ｄにおいて、ユーザが立位状態における前後左右のバランスを調整する動作を行う期間の残り時間の目安を表示する。これにより、ユーザは、残り時間内に、なるべく前後左右のバランスを調整しようと促され、ユーザの姿勢がよりいっそう改善されうる。
（イ）側方挙上The terminal device 10A displays, in the object 3501D in FIG. 35, an indication of the remaining time of the period in which the user performs an action to adjust the balance between the front, rear, left, and right in the standing position. As a result, the user is encouraged to adjust the front-back, left-right balance as much as possible within the remaining time, and the user's posture can be further improved.
(b) Lateral lift
立位の状態で、ユーザが両腕を広げたまま身体の側面より前に出すことなく、両腕を上げる動作を測定することで、ユーザの姿勢の良好さを評価することができる。側方挙上の動作において、立位の状態でユーザが両腕をあげきったタイミングを、動作のピーク時として説明する。 The good posture of the user can be evaluated by measuring the motion of raising both arms while the user is in a standing position without putting the arms out in front of the sides of the body. In the side lifting motion, the timing at which the user raises both arms in a standing position will be described as the peak time of the motion.
図３７は、端末装置１０Ａが、ユーザに対し、側方挙上の動作をさせるための画面例を示す図である。 FIG. 37 is a diagram showing an example of a screen on which the terminal device 10A causes the user to perform a side-lifting motion.
図３８は、ユーザの特定の部位の位置を推定した結果に基づいて、ユーザの身体の動きの目安となる図形オブジェクトを描画する位置を特定する処理を示す図である。 FIG. 38 is a diagram showing a process of specifying a position for drawing a graphic object that serves as a guideline for the movement of the user's body, based on the result of estimating the position of a specific part of the user.
図３９は、ユーザが身体を動かしている過程を示す図である。 FIG. 39 is a diagram showing a process in which the user is moving his/her body.
図４０は、ユーザが側方挙上の動作におけるピークのタイミングとなる、両腕をあげきった状態を示す図である。 FIG. 40 is a diagram showing a state in which the user raises both arms at the peak timing of the lateral lifting motion.
図４１は、ユーザが側方挙上の動作のピークのタイミングにおけるセンシング結果を保存して、比較可能なアバターとして表示する例を示す図である。 FIG. 41 is a diagram showing an example in which the user saves the sensing result at the peak timing of the side lifting motion and displays it as a comparable avatar.
図３７に示すように、ユーザは、側方挙上の動作を開始する前に、両腕を身体の側面につけた状態で立位となることで、初期の姿勢をとる。端末装置１０Ａは、初期の姿勢をとるよう音声または画像等でユーザに通知することとしてもよい。 As shown in FIG. 37, the user assumes an initial posture by standing with both arms on the sides of the body before starting the side lift motion. The terminal device 10A may notify the user by voice, image, or the like to take the initial posture.
端末装置１０Ａは、ユーザの初期の姿勢と、特定の部位の位置を推定した結果とに基づいて、図形オブジェクトを描画する。図示する例では、端末装置１０Ａは、画面３７００の左側面３７０１Ａにおいて、ユーザに対応するアバターＡＶＴ＿３７Ａ（ユーザの左側面から見た場合に対応）を表示する。端末装置１０Ａは、以下の図形オブジェクトを、左側面３７０１Ａにおいて描画する。
・ ユーザの前後のずれを知覚させやすくするための図形オブジェクトである補助線ＶＬ＿３７Ａ。ユーザが身体を動かしている間、移動せず固定的に配置される。
・ 初期の姿勢におけるユーザの頭部の表面の位置を示す補助線ＶＬ＿３７Ｄ。ユーザが側方挙上の動作をしている間、ユーザの身体の動きのセンシング結果であるアバターＡＶＴ＿３７Ａと、補助線ＶＬ＿３７Ｄとの位置関係をユーザに知覚させることで、ユーザの身体が前後に動いているかを、頭部に着目して認識することをよりいっそう容易にすることができる。ユーザが身体を動かしている間、移動せず固定的に配置される。
・ 初期の姿勢におけるユーザの腹部の表面の位置を示す補助線ＶＬ＿３７Ｅ。ユーザが側方挙上の動作をしている間、ユーザの身体の動きのセンシング結果であるアバターＡＶＴ＿３７Ａと、補助線ＶＬ＿３７Ｅとの位置関係をユーザに知覚させることで、ユーザの身体が前後に動いているかを、腹部に着目して認識することをよりいっそう容易にすることができる。ユーザが身体を動かしている間、移動せず固定的に配置される。
・ 補助線ＶＬ＿３７Ａと、補助線ＶＬ＿３７Ｄとの間の長さを示す補助線ＨＬ＿３７Ａ。ユーザが身体を動かしている間、移動せず固定的に配置される。
・ 初期の姿勢におけるユーザの肩の位置を認識しやすくするための補助線ＨＬ＿３７Ｂ。ユーザが身体を動かしている間、移動せず固定的に配置される。
・ 補助線ＶＬ＿３７Ａと、補助線ＶＬ＿３７Ｅとの間の長さを示す補助線ＨＬ＿３７Ｃ。ユーザが身体を動かしている間、移動せず固定的に配置される。The terminal device 10A draws a graphic object based on the user's initial posture and the result of estimating the position of the specific part. In the illustrated example, the terminal device 10A displays an avatar AVT_37A corresponding to the user on the left side 3701A of the screen 3700 (corresponding to when viewed from the user's left side). The terminal device 10A draws the following graphic objects on the left side 3701A.
- Auxiliary line VL_37A, which is a graphic object for making it easier for the user to perceive the front-rear deviation. It is fixedly placed without moving while the user is moving his or her body.
• An auxiliary line VL_37D indicating the position of the surface of the user's head in the initial posture. By making the user perceive the positional relationship between the avatar AVT_37A, which is the sensing result of the movement of the user's body, and the auxiliary line VL_37D while the user is doing the side lifting motion, it is possible to more easily recognize whether the user's body is moving back and forth by focusing on the head. It is fixedly placed without moving while the user is moving his or her body.
- Auxiliary line VL_37E indicating the position of the surface of the user's abdomen in the initial posture. By making the user perceive the positional relationship between the avatar AVT_37A, which is the sensing result of the movement of the user's body, and the auxiliary line VL_37E while the user is doing the side lifting motion, it is possible to more easily recognize whether the user's body is moving back and forth by focusing on the abdomen. It is fixedly placed without moving while the user is moving his or her body.
- An auxiliary line HL_37A indicating the length between the auxiliary line VL_37A and the auxiliary line VL_37D. It is fixedly placed without moving while the user is moving his or her body.
- An auxiliary line HL_37B for facilitating recognition of the position of the user's shoulders in the initial posture. It is fixedly placed without moving while the user is moving his or her body.
- An auxiliary line HL_37C indicating the length between the auxiliary line VL_37A and the auxiliary line VL_37E. It is fixedly placed without moving while the user is moving his or her body.
端末装置１０Ａは、右側面３７０１Ｃにおいて、アバターＡＶＴ＿３７Ｃ（ユーザを右側面から見た場合に対応）とともに、補助線ＶＬ＿３７Ｃ、ＶＬ＿３７Ｆ、ＶＬ＿３７Ｇ、ＨＬ＿３７Ｄ、ＨＬ＿３７Ｅ、ＨＬ＿３７Ｆを表示する。 The terminal device 10A displays auxiliary lines VL_37C, VL_37F, VL_37G, HL_37D, HL_37E, and HL_37F along with the avatar AVT_37C (corresponding to when the user is viewed from the right side) on the right side 3701C.
補助線ＶＬ＿３７Ｃは、補助線ＶＬ＿３７Ａに対応する。 The auxiliary line VL_37C corresponds to the auxiliary line VL_37A.
補助線ＶＬ＿３７Ｆは、補助線ＶＬ＿３７Ｄに対応する。 The auxiliary line VL_37F corresponds to the auxiliary line VL_37D.
補助線ＶＬ＿３７Ｇは、補助線ＶＬ＿３７Ｅに対応する。 The auxiliary line VL_37G corresponds to the auxiliary line VL_37E.
補助線ＨＬ＿３７Ｄは、補助線ＨＬ＿３７Ａに対応する。 The auxiliary line HL_37D corresponds to the auxiliary line HL_37A.
補助線ＨＬ＿３７Ｅは、補助線ＨＬ＿３７Ｂに対応する。 The auxiliary line HL_37E corresponds to the auxiliary line HL_37B.
補助線ＨＬ＿３７Ｆは、補助線ＨＬ＿３７Ｃに対応する。 The auxiliary line HL_37F corresponds to the auxiliary line HL_37C.
端末装置１０Ａは、正面３７０１Ｂにおいて、ユーザに対応するアバターＡＶＴ＿３７Ｂ（ユーザを正面から見た場合に対応）を表示する。端末装置１０Ａは、以下の図形オブジェクトを、正面３７０１Ｂにおいて表示する。
・ ユーザの左右のずれを知覚させやすくするための図形オブジェクトである補助線ＶＬ＿３７Ｂ。ユーザが身体を動かしている間、移動せず固定的に配置される。
・ アバターＡＶＴ＿３７Ｂと関連付けて、ユーザが側方挙上の動作をしている間、肘が曲がっているかを知覚させやすくするための補助線ＬＮ＿３７Ｌ（ユーザの左腕に対応）と補助線ＬＮ＿３７Ｒ（ユーザの右腕に対応）。端末装置１０Ａは、それぞれ、ユーザの身体の動きのセンシング結果と連動して、図形オブジェクトを描画する位置を更新する。すなわち、端末装置１０Ａは、アバターの動きと連動させて、補助線ＬＮ＿３７Ｌ、ＬＮ＿３７Ｒを描画する位置を更新する。
・ 補助線ＬＮ＿３７Ｌの終点を示す多角形ＱＢ＿３７Ａ（左腕に対応）、補助線ＬＮ＿３７Ｒの終点を示す多角形ＱＢ＿３７Ｂ（右腕に対応）。ユーザが側方挙動の動作中に肘を曲げてしまった場合、これら多角形ＱＢ＿３７ＢまたはＱＢ＿３７Ａが、アバターＡＶＴ＿３７Ｂから外れた位置に描画されることとなるため、ユーザは、アバターＡＶＴ＿３７Ｖと、多角形ＱＢ＿３７ＡまたはＱＢ＿３７Ｂとの位置関係を認識することで、肘の曲がりを容易に認識することができる。
・ ユーザが腕をあげきったときに、肩をすくめてしまっていないか（肩の関節を使って腕をあげられているか）をユーザに知覚させるための多角形ＱＢ＿３７Ｃ（左腕に対応）、多角形ＱＢ＿３７Ｄ（右腕に対応）。後述するように、端末装置１０Ａは、ユーザが両腕をあげきった場合に、肩をすくめないであげられた場合に、左腕については多角形ＱＢ＿３７Ｃと多角形ＱＢ＿３７Ａとが重なるよう、右腕については多角形ＱＢ＿３７Ｄと多角形ＱＢ＿３７Ｂとが重なるような位置に、多角形ＱＢ＿３７Ｃおよび多角形ＱＢ＿３７Ｄを描画する。The terminal device 10A displays an avatar AVT_37B corresponding to the user (corresponding to when the user is viewed from the front) on the front 3701B. The terminal device 10A displays the following graphical objects on the front 3701B.
- An auxiliary line VL_37B, which is a graphic object for making it easier for the user to perceive a left-right shift. It is fixedly placed without moving while the user is moving his or her body.
Auxiliary lines LN_37L (corresponding to the user's left arm) and Auxiliary lines LN_37R (corresponding to the user's right arm), associated with the avatar AVT_37B, to help the user perceive if the elbow is bent while doing the side lift motion. Each of the terminal devices 10A updates the drawing position of the graphic object in conjunction with the sensing result of the movement of the user's body. That is, the terminal device 10A updates the drawing positions of the auxiliary lines LN_37L and LN_37R in conjunction with the movement of the avatar.
A polygon QB_37A (corresponding to the left arm) indicating the end point of the auxiliary line LN_37L, and a polygon QB_37B (corresponding to the right arm) indicating the end point of the auxiliary line LN_37R. If the user bends his/her elbow during the lateral behavior, these polygons QB_37B or QB_37A are drawn at a position deviated from the avatar AVT_37B. Therefore, the user can easily recognize the bending of the elbow by recognizing the positional relationship between the avatar AVT_37V and the polygon QB_37A or QB_37B.
- A polygon QB_37C (corresponding to the left arm) and a polygon QB_37D (corresponding to the right arm) to make the user perceive whether the shoulder is shrugged (whether the arm is raised using the shoulder joint) when the user raises the arm. As will be described later, the terminal device 10A draws the polygons QB_37C and QB_37D at positions such that the polygons QB_37C and QB_37A overlap for the left arm and the polygons QB_37D and QB_37B overlap for the right arm when the user raises both arms without shrugging.
端末装置１０Ａは、側方挙上の動作をするようユーザに促すにあたり、初期の姿勢であることを示すアイコン３７０１Ｄと、側方挙上の動作中であることを示すアイコン３７０１Ｅと、測定が終了したことを示すアイコン３７０１Ｆとを表示する。 The terminal device 10A displays an icon 3701D indicating that the user is in the initial posture, an icon 3701E indicating that the side elevation is in progress, and an icon 3701F indicating that the measurement has been completed, when prompting the user to perform the side elevation.
これら図形オブジェクトを描画する処理について説明する。 Processing for drawing these graphic objects will be described.
図３８の例（Ａ）に示すように、端末装置１０Ａは、ユーザの身体の特定の部位として、腰の位置ＪＮＴ＿３８Ｂ（図１２の例の「骨盤中央」など）、腰と肩の間の位置ＪＮＴ＿３８Ｃ（図１２の例の「胸腰」など）、肩の位置ＪＮＴ＿３７Ｄ、頭部の位置ＪＮＴ＿３８Ｅを推定する。 As shown in the example (A) of FIG. 38, the terminal device 10A estimates, as specific parts of the user's body, a waist position JNT_38B (such as "pelvis center" in the example of FIG. 12), a position between the waist and shoulders JNT_38C (such as "chest waist" in the example of FIG. 12), a shoulder position JNT_37D, and a head position JNT_38E.
端末装置１０Ａは、補助線ＶＬ＿３７Ａについて、これら腰の位置ＪＮＴ＿３８Ｂ等の位置を通過して地面と垂直になるよう、描画する位置を特定する。 The terminal device 10A identifies a position to draw the auxiliary line VL_37A so that it passes through the waist position JNT_38B and the like and becomes perpendicular to the ground.
端末装置１０Ａは、補助線ＶＬ＿３７Ｄについて、頭部の位置ＪＮＴ＿３８Ｅを通過して、水平方向にユーザの後方から前方へと向かう場合の身体表面の位置に基づき、描画する位置を特定する。すなわち、端末装置１０Ａは、身体の部位の位置を推定した結果と、点群データとしてセンシングされるユーザの身体の動きのセンシング結果とに基づいて、図形オブジェクトを描画する位置を特定する。 The terminal device 10A specifies the drawing position of the auxiliary line VL_37D based on the position of the body surface when the auxiliary line VL_37D passes through the head position JNT_38E and extends horizontally from the rear to the front of the user. That is, the terminal device 10A identifies the position where the graphic object is to be drawn based on the result of estimating the position of the body part and the sensing result of the movement of the user's body sensed as point cloud data.
端末装置１０Ａは、補助線ＶＬ＿３７Ｅについて、腰の位置ＪＮＴ＿３８Ｂと、腰と肩の間の位置ＪＮＴ＿３８Ｃとの中間の位置を通過して、水平方向にユーザの後方から前方へと向かう場合の身体表面の位置に基づき、描画する位置を特定する。 The terminal device 10A specifies the drawing position of the auxiliary line VL_37E based on the position of the body surface when the auxiliary line VL_37E passes through the middle position between the waist position JNT_38B and the position JNT_38C between the waist and the shoulder and extends horizontally from the rear to the front of the user.
例（Ｃ）に示す各補助線を描画する方法は、例（Ａ）と同様であるとしてもよい。 The method of drawing each auxiliary line shown in example (C) may be the same as in example (A).
例（Ｂ）に示すように、端末装置１０Ａは、補助線ＶＬ＿３７Ｂを、ユーザの身体の部位として、例えば腰、骨盤の位置を推定した結果に基づいて描画する。ここで、端末装置１０Ａは、補助線ＶＬ＿３７Ｂを、ユーザの右足のかかとの位置と、左足のかかとの位置とを推定した結果に基づいて、これらの中間の位置を通過して地面に垂直になるよう描画することとしてもよい。 As shown in example (B), the terminal device 10A draws the auxiliary line VL_37B based on the results of estimating the positions of, for example, the waist and pelvis as parts of the user's body. Here, the terminal device 10A may draw the auxiliary line VL_37B so as to pass through an intermediate position and be perpendicular to the ground based on the results of estimating the positions of the user's right and left heels.
端末装置１０Ａは、補助線ＬＮ＿３７Ｌを、ユーザの手首の位置ＪＮＴ＿３８Ｆ（左手首）と、ユーザの肘の位置ＪＮＴ＿３８Ｇ（左ひじ）とを推定した結果に基づいて、左手首を起点とし、これら左手首から肘までの距離を、さらに肘から延長した点を終点（多角形ＱＢ＿３７Ａ）とするよう、描画する位置を特定する。 The terminal device 10A specifies the position to draw the auxiliary line LN_37L so that the starting point is the left wrist based on the results of estimating the user's wrist position JNT_38F (left wrist) and the user's elbow position JNT_38G (left elbow), and the distance from the left wrist to the elbow is set as the end point (polygon QB_37A) by extending the distance from the elbow.
端末装置１０Ａは、補助線ＬＮ＿３７Ｒを、ユーザの手首の位置ＪＮＴ＿３８Ｉ（右手首）と、ユーザの肘の位置ＪＮＴ＿３８Ｊ（右ひじ）とを推定した結果に基づいて、補助線ＬＮ＿３７Ｌと同様に補助線の長さを規定して、描画する位置を特定する。 The terminal device 10A defines the length of the auxiliary line LN_37R based on the results of estimating the position JNT_38I (right wrist) of the user's wrist and the position JNT_38J (right elbow) of the user's elbow, and specifies the position to draw the auxiliary line LN_37R by specifying the length of the auxiliary line in the same manner as the auxiliary line LN_37L.
端末装置１０Ａは、肩の位置ＪＮＴ＿３８Ｈ（左肩）に基づいて、ユーザの身体の外側かつ上方へ所定距離離れた座標を特定する。当該座標は、ユーザが側方挙上の動作のピークに達した場合に移動する肩の位置に相当するように設定する。端末装置１０Ａは、ユーザの体格の大きさに基づいて（例えば、ユーザの身長、肩幅の広さなど）、当該座標を特定することとしてもよい。端末装置１０Ａは、特定した座標値に基づいて、多角形ＱＢ＿３７Ｃを描画する位置を特定する。 Based on the shoulder position JNT_38H (left shoulder), the terminal device 10A identifies the coordinates outside and above the user's body by a predetermined distance. The coordinates are set to correspond to the position of the shoulder to which the user would move when the peak of the lateral lift is reached. The terminal device 10A may identify the coordinates based on the size of the user's physique (for example, the user's height, shoulder width, etc.). The terminal device 10A identifies the position to draw the polygon QB_37C based on the identified coordinate values.
端末装置１０Ａは、多角形ＱＢ＿３７Ｃを描画する位置を特定する方法と同様にして、ユーザの肩の位置ＪＮＴ＿３８Ｋ（右肩）に基づいて、多角形ＱＢ＿３７Ｄを描画する位置を特定する。 The terminal device 10A identifies the position for drawing the polygon QB_37D based on the user's shoulder position JNT_38K (right shoulder) in the same manner as the method for identifying the position for drawing the polygon QB_37C.
図３９に示すように、ユーザが腕を上げる動作をすると、端末装置１０Ａは、ユーザの身体の動きのセンシング結果の履歴と、手首の位置を特定した履歴とに基づいて、手の動きの軌跡を、軌跡ＬＮ＿３９Ａ（左手の動作の軌跡）、軌跡ＬＮ＿３９Ｃ（右手の動作の軌跡）として表示する。 As shown in FIG. 39 , when the user raises his/her arm, the terminal device 10A displays the trajectory of the hand motion as a trajectory LN_39A (left hand motion trajectory) and a trajectory LN_39C (right hand motion trajectory) based on the history of the sensing result of the user's body motion and the history of specifying the position of the wrist.
図４０に示すように、ユーザが両腕を挙げきってピークに達したとする。端末装置１０Ａは、ユーザの側方挙上の動作がピークに達したことを検出して（例えば、ユーザの特定の部位の位置の推定結果に基づいて、ユーザが両腕をあげたことを検知する）、当該タイミングにおけるセンシング結果（ユーザの姿勢）に対応するアバターを描画する。ここで、ユーザの身体の動きと連動して描画が更新される多角形ＱＢ＿３７Ａと、両腕をあげきったときの動作の目安となる多角形ＱＢ＿３７Ｃとが特定の位置関係である場合（例えば、これらが重なっている場合）に、これら多角形ＱＢ＿３７Ａまたは多角形ＱＢ＿３７Ｃの少なくともいずれかを、重なっていない場合とは異なる態様で表示してもよい。これにより、端末装置１０Ａは、ユーザに対し、側方挙上の動作が適切であること（肩がすくまっていないこと等）を容易に知覚させることができる。同様に、端末装置１０Ａは、多角形ＱＢ＿３７Ｂと、多角形ＱＢ＿３７Ｄとが特定の位置関係である場合に、そうでない場合と比べて表示の態様を異ならせることとしてもよい。 As shown in FIG. 40, it is assumed that the user reaches the peak by raising both arms. The terminal device 10A detects that the user's lateral lifting motion has reached a peak (for example, detects that the user has raised both arms based on the estimation result of the position of a specific part of the user), and draws an avatar corresponding to the sensing result (user's posture) at that timing. Here, when the polygon QB_37A whose drawing is updated in conjunction with the movement of the user's body and the polygon QB_37C used as a guideline for the movement when both arms are raised have a specific positional relationship (for example, when they overlap), at least one of these polygons QB_37A and QB_37C may be displayed in a different manner than when they do not overlap. As a result, the terminal device 10A can allow the user to easily perceive that the side elevation motion is appropriate (shoulders are not shrugged, etc.). Similarly, the terminal device 10A may change the display mode when the polygon QB_37B and the polygon QB_37D are in a specific positional relationship, compared to when they are not.
図４１に示すように、端末装置１０Ａは、ユーザの身体の動きのセンシング結果と連動して描画が更新されるアバターＡＶＴ＿３７Ａ、ＡＶＴ＿３７Ｃと並ぶように、それぞれピーク時のアバターの状態である履歴アバターＡＶＴ＿３７Ｄ、履歴アバターＡＶＴ＿３７Ｅを表示する。 As shown in FIG. 41 , the terminal device 10A displays history avatars AVT_37D and history avatars AVT_37E, which are the avatar states at the peak, so as to line up with the avatars AVT_37A and AVT_37C whose drawing is updated in conjunction with the sensing result of the movement of the user's body.
図４１に示すように、ユーザが側方挙上の動作をした場合の、両腕をあげきった状態のアバターと、ユーザが両腕をあげる過程の軌跡（軌跡ＬＮ＿３９Ａ、ＬＮ＿３９Ｃ）と、ユーザのリアルタイムの姿勢であるアバターＡＶＴ＿３７Ａ、ＡＶＴ＿３７Ｃとが並べて表示されるため、ユーザに対し、どのように動作を行うかを考えるための材料を提供することができる。
（ウ）しゃがみAs shown in FIG. 41 , the avatar with both arms fully raised when the user performs the side elevation motion, the trajectories of the process of the user raising both arms (trajectories LN_39A, LN_39C), and the avatars AVT_37A, AVT_37C, which are the user's real-time postures, are displayed side by side.
(c) Crouching
図４２は、端末装置１０Ａが、ユーザに対し、しゃがみの動作をさせるための画面例を示す図である。 FIG. 42 is a diagram showing an example of a screen on which the terminal device 10A causes the user to crouch.
図４３は、ユーザの特定の部位の位置を推定した結果に基づいて、ユーザの身体の動きの目安となる図形オブジェクトを描画する位置を特定する処理を示す図である。 FIG. 43 is a diagram showing a process of specifying a position for drawing a graphic object that serves as a guideline for the movement of the user's body, based on the result of estimating the position of a specific part of the user.
図４４は、ユーザが身体を動かしている過程を示す図である。 FIG. 44 is a diagram showing a process in which the user is moving his/her body.
図４５は、ユーザがしゃがみの動作におけるピークのタイミングとなる、しゃがみきった状態を示す図である。 FIG. 45 is a diagram showing a fully crouched state, which is the peak timing of the user's crouching motion.
図４６は、ユーザがしゃがみの動作のピークのタイミングにおけるセンシング結果を保存して、比較可能なアバターとして表示する例を示す図である。 FIG. 46 is a diagram showing an example in which the user saves the sensing result at the peak timing of the crouching motion and displays it as a comparable avatar.
図４２に示すように、しゃがみ動作を開始させる前の初期の姿勢において、端末装置１０Ａは、当該初期の姿勢と、特定の部位の位置を推定した結果とに基づいて、図形オブジェクトを描画する。 As shown in FIG. 42, in the initial posture before starting the crouching motion, the terminal device 10A draws a graphic object based on the initial posture and the results of estimating the positions of specific parts.
図示する例では、端末装置１０Ａは、画面４２００の左側面４２０１Ａにおいて、アバターＡＶＴ＿４２Ａを描画しつつ、以下の補助線を描画する。
・ ユーザの背中の角度を可視化するための補助線ＬＮ＿４２Ａ
・ ユーザのすねの角度を可視化するための補助線ＬＮ＿４２ＢIn the illustrated example, the terminal device 10A draws the following auxiliary lines on the left side 4201A of the screen 4200 while drawing the avatar AVT_42A.
- Auxiliary line LN_42A for visualizing the angle of the user's back
- Auxiliary line LN_42B for visualizing the user's shin angle
端末装置１０Ａは、右側面４２０１Ｃにおいて、アバターＡＶＴ＿４２Ｃを描画しつつ、以下の補助線を描画する。
・ ユーザの姿勢が前後に傾いていないかを知覚させるための補助線ＶＬ＿４２Ｃ。ユーザの身体の動きを測定する間、固定位置に表示される。The terminal device 10A draws the following auxiliary lines on the right side 4201C while drawing the avatar AVT_42C.
- Auxiliary line VL_42C for making the user perceive whether the posture is tilted forward or backward. It is displayed in a fixed position while measuring the movement of the user's body.
端末装置１０Ａは、正面４２０１Ｂにおいて、アバターＡＶＴ＿４２Ｂを描画しつつ、以下の補助線を描画する。
・ ユーザの姿勢が左右に傾いていないかを知覚させるための補助線ＶＬ＿４２Ｂ。ユーザの身体の動きを測定する間、固定位置に表示される。
・ ユーザの左足が左右に開いていないかを知覚させるための補助線ＬＮ＿３７Ｌ
・ ユーザの右足が左右に開いていないかを知覚させるための補助線ＬＮ＿３７ＲThe terminal device 10A draws the following auxiliary lines while drawing the avatar AVT_42B on the front 4201B.
- Auxiliary line VL_42B for letting the user perceive whether or not the user's posture is tilted to the left or right. It is displayed in a fixed position while measuring the movement of the user's body.
- Auxiliary line LN_37L for letting the user perceive whether or not the left leg of the user is spread to the left or right
- Auxiliary line LN_37R for making the user perceive whether or not the right leg of the user is open to the left or right
端末装置１０Ａは、しゃがみ動作を開始させる前の状態であることを示すオブジェクト４２０１Ｄ、しゃがみ動作を測定している間であることを示すオブジェクト４２０１Ｅ、測定を終了したことを示すオブジェクト４２０１Ｆを表示する。 The terminal device 10A displays an object 4201D indicating that the state is before the crouching motion is started, an object 4201E that indicates that the crouching motion is being measured, and an object 4201F that indicates that the measurement is finished.
図４３の例（Ａ）に示すように、端末装置１０Ａは、ユーザの部位の位置を推定した結果として、かかとの位置ＪＮＴ＿４３Ａと、膝の位置ＪＮＴ＿４３Ｂとに基づいて、かかとの位置ＪＮＴ＿４３Ａを起点として膝の位置ＪＮＴ＿４３Ｂを通過する線分を、補助線ＬＮ＿４２Ｂとして描画する。 As shown in the example (A) of FIG. 43 , the terminal device 10A draws a line segment starting from the heel position JNT_43A and passing through the knee position JNT_43B as an auxiliary line LN_42B based on the heel position JNT_43A and the knee position JNT_43B as a result of estimating the positions of the user's parts.
端末装置１０Ａは、腰（骨盤など）の位置ＪＮＴ＿４３Ｃと、肩の位置ＪＮＴ＿４３Ｄとに基づいて、腰の位置ＪＮＴ＿４３Ｃを起点として肩の位置ＪＮＴ＿４３Ｄを通過する線分を、補助線ＬＮ＿４２Ａとして描画する。 Based on the waist (pelvis, etc.) position JNT_43C and the shoulder position JNT_43D, the terminal device 10A draws a line segment starting from the waist position JNT_43C and passing through the shoulder position JNT_43D as an auxiliary line LN_42A.
ここで、端末装置１０Ａは、補助線ＬＮ＿４２Ａ、ＬＮ＿４２Ｂの終点の高さがそろうように、これら補助線の長さを決定することとしてもよい。 Here, the terminal device 10A may determine the lengths of the auxiliary lines LN_42A and LN_42B so that the end points of the auxiliary lines LN_42A and LN_42B have the same height.
例（Ｃ）に示すように、端末装置１０Ａは、かかとの位置ＪＮＴ＿４３Ｊに基づいて、地面に対して垂直となるよう、補助線ＶＬ＿４２Ｃを描画する位置を特定する。ここで、端末装置１０Ａは、かかとの位置ＪＮＴ＿４３Ｊとは別に、腰の位置などに基づいて、補助線ＶＬ＿４２Ｃを描画することとしてもよい。 As shown in example (C), the terminal device 10A specifies the position to draw the auxiliary line VL_42C so as to be perpendicular to the ground based on the heel position JNT_43J. Here, the terminal device 10A may draw the auxiliary line VL_42C based on the waist position or the like, in addition to the heel position JNT_43J.
例（Ｂ）に示すように、端末装置１０Ａは、かかとの位置ＪＮＴ＿４３Ｅ（左かかと）と、膝の位置ＪＮＴ＿４３Ｆ（左ひざ）とに基づいて、かかとの位置を起点とし、かかとから膝の長さを計測し、膝からさらに当該長さのぶん延長した点を終点として、補助線ＬＮ＿３７Ｌを描画する位置を特定する。 As shown in example (B), the terminal device 10A uses the heel position as the starting point based on the heel position JNT_43E (left heel) and the knee position JNT_43F (left knee), measures the length of the knee from the heel, and specifies the position where the auxiliary line LN_37L is drawn with the point extended from the knee by that length as the end point.
端末装置１０Ａは、補助線ＶＬ＿４２Ｂを、腰の位置ＪＮＴ＿４３Ｉを通過して地面に対して垂直となるよう、描画する位置を特定する。なお、端末装置１０Ａは、左右それぞれのかかとの位置（ＪＮＴ＿４３Ｅ、ＪＮＴ＿４３Ｇ）に基づいて、これらの中間となる位置を通過して地面に対して垂直となるよう、補助線ＶＬ＿４２Ｂを描画する位置を特定してもよい。 The terminal device 10A specifies a position to draw the auxiliary line VL_42B so that it passes through the waist position JNT_43I and is perpendicular to the ground. Note that the terminal device 10A may specify the position where the auxiliary line VL_42B is drawn so as to pass through the middle position and be perpendicular to the ground based on the positions of the left and right heels (JNT_43E, JNT_43G).
図４４に示すように、ユーザがしゃがみ動作をし始めると、端末装置１０Ａは、正面４２０１Ｂにおいて、ユーザがしゃがんだ軌跡ＬＮ＿４２Ｍを描画する。例えば、端末装置１０Ａは、ユーザの首の位置（または、頭部や肩）を推定した結果を履歴として保持することにより、軌跡ＬＮ＿４２Ｍを描画することとしてもよい。 As shown in FIG. 44 , when the user starts crouching, the terminal device 10A draws a trajectory LN_42M along which the user squats on the front surface 4201B. For example, the terminal device 10A may draw the trajectory LN_42M by holding the result of estimating the position of the user's neck (or head or shoulders) as a history.
端末装置１０Ａは、右側面４２０１Ｃにおいて、ユーザがしゃがんだ軌跡ＬＮ＿４２
Ｎを表示することとしてもよい。例えば、端末装置１０Ａは、ユーザの首の位置等を推定した結果を履歴として保持することにより、軌跡ＬＮ＿４２Ｎを描画することとしてもよい。In the right side 4201C of the terminal device 10A, the trajectory LN_42 along which the user crouched
N may be displayed. For example, the terminal device 10A may draw the trajectory LN_42N by holding the result of estimating the position of the user's neck or the like as a history.
これにより、ユーザは、軌跡ＬＮ＿４２Ｍと補助線ＶＬ＿４２Ｂとを比較して、左右にぶれずにしゃがめているか、軌跡ＬＮ＿４２Ｎと補助線ＶＬ＿４２Ｃとを比較して、前後にぶれずにしゃがめているかを容易に認識することができる。 Thereby, the user can easily recognize whether the user is squatting without moving left and right by comparing the trajectory LN_42M and the auxiliary line VL_42B, or whether the user is squatting without swaying forward and backward by comparing the trajectory LN_42N and the auxiliary line VL_42C.
図４５に示すように、ユーザがしゃがみ切ることにより、しゃがみ動作におけるピークに達する。端末装置１０Ａは、ユーザのしゃがみ動作がピークに達したことを検出することにより（例えば、特定の部位の位置を推定した結果に基づいて、ユーザのしゃがみ動作がピークに達した場合の姿勢と比較して、ピークに達したことを検出する）、当該ピークのタイミングにおけるセンシング結果（点群データ等）を保持する。 As shown in FIG. 45, a peak in crouching motion is reached as the user squats down. By detecting that the user's crouching motion has reached its peak (for example, based on the result of estimating the position of a specific part, the terminal device 10A detects that the user's crouching motion has reached its peak by comparing the posture when the user's crouching motion reaches its peak), and stores the sensing result (point cloud data, etc.) at the timing of the peak.
ここで、しゃがみきった状態で、端末装置１０Ａは、補助線ＬＮ＿４２Ｂ（つまり、膝の角度）と、補助線ＬＮ＿４２Ａ（つまり、背中の角度）とが開いているか判定してもよい。図４５の例では、補助線ＬＮ＿４２Ｂと補助線ＬＮ＿４２Ａとが、始点（かかとまたは腰）を基準とすると開いた状態となっており、前かがみになっておらず、良好であると判定してもよい。また、端末装置１０Ａは、補助線ＬＮ＿４２Ｂの終点（かかとを始点とした場合）と、補助線ＬＮ＿４２Ａの終点（腰を始点とした場合）とが、ユーザがしゃがみきった状態で地面からの高さがそろうように描画することとしてもよい。また、端末装置１０Ａは、これら補助線ＬＮ＿４２Ａの終点と、補助線ＬＮ＿４２Ｂの終点との距離が一定距離以上離れているか否かに応じて、ユーザの動作が良好であるか判定してもよい（場慣れている場合に良好であると判定する）。 Here, the terminal device 10A may determine whether the extension line LN_42B (that is, the angle of the knee) and the extension line LN_42A (that is, the angle of the back) are open in the fully crouched state. In the example of FIG. 45 , the auxiliary lines LN_42B and LN_42A are in an open state with respect to the starting point (heel or waist), and it may be determined that the person is not slouching and is good. In addition, the terminal device 10A may draw the end point of the auxiliary line LN_42B (when the heel is the starting point) and the end point of the auxiliary line LN_42A (when the waist is the starting point) so that they are at the same height from the ground when the user is fully squatting. In addition, the terminal device 10A may determine whether the user's motion is good according to whether the distance between the end point of the auxiliary line LN_42A and the end point of the auxiliary line LN_42B is greater than or equal to a certain distance (determines that the user's motion is good if the user is accustomed to the place).
図４６に示すように、ユーザがしゃがみきったあとに立ち上がると、端末装置１０Ａは、ユーザがしゃがみきった状態のセンシング結果を、左側面４２０１ＡにおいてアバターＡＶＴ＿４２Ｄ，正面４２０１ＢにおいてアバターＡＶＴ＿４２Ｅ、右側面４２０１ＣにおいてアバターＡＶＴ＿４２Ｆとして表示する。 As shown in FIG. 46, when the user stands up after crouching down, the terminal device 10A displays the sensing result of the user crouching down as an avatar AVT_42D on the left side 4201A, an avatar AVT_42E on the front 4201B, and an avatar AVT_42F on the right side 4201C.
端末装置１０Ａは、しゃがみきった状態における補助線ＬＮ＿４２Ａ、ＬＮ＿４２Ｂを、アバターＡＶＴ＿４２Ｄとともに左側面４２０１Ａにおいて表示する。 The terminal device 10A displays the auxiliary lines LN_42A and LN_42B in the crouched state on the left side 4201A together with the avatar AVT_42D.
端末装置１０Ａは、しゃがみきったあと（ピークのタイミングに到達した後）の立ち上がり時の軌跡ＬＮ＿４２Ｐ（例えば、首の位置に基づいて軌跡を描画する）を正面４２０１Ｂにおいて描画する。 The terminal device 10A draws the trajectory LN_42P (for example, the trajectory is drawn based on the position of the neck) at the time of standing up after crouching down (after reaching the peak timing) on the front 4201B.
端末装置１０Ａは、しゃがみきったあと（ピークのタイミングに到達した後）の立ち上がり時の軌跡ＬＮ＿４２Ｑ（例えば、首の位置に基づいて軌跡を描画する）を右側面４２０１Ｃにおいて描画する。
（エ）踏み出しつつ腰を落とす動作The terminal device 10A draws the trajectory LN_42Q (for example, the trajectory is drawn based on the position of the neck) at the time of rising after crouching down (after reaching the peak timing) on the right side 4201C.
(d) Lowering the waist while stepping forward
図４７は、端末装置１０Ａが、ユーザに対し、踏み出しつつ腰を落とす動作をさせるための画面例を示す図である。 FIG. 47 is a diagram showing an example of a screen on which the terminal device 10A causes the user to take a stepping motion and lower back.
図４８は、ユーザの初期の姿勢が適切であることをユーザに提示する局面の画面例を示す図である。 FIG. 48 is a diagram showing a screen example of a situation that presents to the user that the user's initial posture is appropriate.
図４９は、ユーザの動作の測定を開始する局面を示す図である。 FIG. 49 illustrates the phase of starting to measure the user's motion.
図５０は、ユーザの動作が適切であるか否かを判定し、判定した結果をユーザに提示する局面を示す図である。 FIG. 50 is a diagram showing a situation in which it is determined whether or not the user's motion is appropriate, and the determined result is presented to the user.
図５１は、ユーザの動作が適切であるか否かを判定し、判定した結果をユーザに提示する局面を示す図である。 FIG. 51 is a diagram showing a situation in which it is determined whether or not the user's motion is appropriate, and the determined result is presented to the user.
図４７に示すように、端末装置１０Ａは、画面４７００において、正面４７０１Ｂに、ユーザに対応するアバターＡＶＴ＿４７Ｂ（正面に対応）を表示する。端末装置１０Ａは、右側面４７０１Ｃに、ユーザに対応するアバターＡＶＴ＿４７Ｃ（右側面）と、ユーザの両足を踏み出す位置の目安となる補助線ＬＮ＿４７Ａ、補助線ＬＮ＿４７Ｂとを表示する。 As shown in FIG. 47, the terminal device 10A displays an avatar AVT_47B (corresponding to the front) corresponding to the user on the front 4701B of the screen 4700. FIG. The terminal device 10A displays, on the right side 4701C, an avatar AVT_47C (right side) corresponding to the user, and auxiliary lines LN_47A and LN_47B that serve as a guide for the position where the user steps both feet.
図示する例では、端末装置１０Ａは、ユーザが後ろ足をより後ろに下げるよう促す矢印上のオブジェクトを表示している。 In the illustrated example, the terminal device 10A displays an arrow-shaped object that prompts the user to lower the hind leg further behind.
図４７の例において、端末装置１０Ａは、ユーザの特定の部位の位置を推定した結果に基づいて、ユーザの足の長さを計測する。例えば、端末装置１０Ａは、ユーザのかかとの位置および腰（骨盤）の位置に基づいて、ユーザの足の長さを計測する。これにより、端末装置１０Ａは、ユーザが動作をする際に足を広げるべき距離を特定する。端末装置１０Ａは、ユーザの体格（例えば、足の長さ）に応じて、ユーザが足を広げるべき距離を調整することとしてもよい。端末装置１０Ａは、ユーザの足の長さを計測した結果に基づいて、補助線ＬＮ＿４７Ａと、補助線ＬＮ＿４７Ｂとの間隔を決定し、右側面４７０１Ｃに描画する。 In the example of FIG. 47, the terminal device 10A measures the length of the user's leg based on the result of estimating the position of the user's specific part. For example, the terminal device 10A measures the length of the user's legs based on the position of the user's heels and the position of the waist (pelvis). Thereby, the terminal device 10A specifies the distance to spread the legs when the user performs an action. The terminal device 10A may adjust the distance that the user should spread the legs according to the user's physique (for example, leg length). The terminal device 10A determines the interval between the auxiliary line LN_47A and the auxiliary line LN_47B based on the result of measuring the length of the user's leg, and draws it on the right side surface 4701C.
図示する例では、端末装置１０Ａは、画面４７００において、ユーザの腰の回転と肩の回転を可視化するためのオブジェクト４７０１Ｄを表示している。端末装置１０Ａは、ユーザの腰の回転を、骨盤の位置（図１２の例における「左骨盤」と「右骨盤」の位置）を推定した結果に基づいて特定する。端末装置１０Ａは、ユーザの肩の回転を、肩の位置（図１２の例における「左肩」と「右肩」）を推定した結果に基づいて特定する。 In the illustrated example, the terminal device 10A displays an object 4701D on the screen 4700 for visualizing the rotation of the user's hips and shoulders. The terminal device 10A identifies the rotation of the user's waist based on the result of estimating the positions of the pelvis (positions of "left pelvis" and "right pelvis" in the example of FIG. 12). The terminal device 10A identifies the rotation of the user's shoulders based on the result of estimating the positions of the shoulders (“left shoulder” and “right shoulder” in the example of FIG. 12).
端末装置１０Ａは、オブジェクト４７０１Ｄにおいて、例えば腰の位置（骨盤中央など）を基準として、腰の回転を示す補助線ＬＮ＿４７ＳＢと、肩の回転を示す補助線ＬＮ＿４７ＳＨとを表示する。これにより、ユーザは、踏み出しつつ腰を落とす動作において、腰と肩がどの程度回転しているかを知覚することが容易となる。 The terminal device 10A displays an auxiliary line LN_47SB indicating waist rotation and an auxiliary line LN_47SH indicating shoulder rotation, for example, with reference to the position of the waist (such as the center of the pelvis) in the object 4701D. This makes it easier for the user to perceive how much the hips and shoulders are rotating in the action of stepping forward and lowering the hips.
図４８に示すように、ユーザが足を開いて腰を落として上下させる動作を測定する前に、端末装置１０Ａは、両足を十分に開いているか否かを判定する。 As shown in FIG. 48, the terminal device 10A determines whether or not the legs are sufficiently opened before measuring the motion of the user opening the legs, lowering the waist, and raising and lowering the legs.
端末装置１０Ａは、以下のようにして、ユーザの両足が適切に前後に開かれている判定してもよい。
・ ユーザの身体の部位の位置を推定した結果に基づいて、足が開いている角度（左膝から骨盤へ向かう線分と、右ひざから骨盤へ向かう線分とにより形成される角度など）が所定以上である場合
・ ユーザが前後に踏み出した足の特定の部位（かかと等）と、補助線ＬＮ＿４７Ａ、補助線ＬＮ＿４７Ｂとが所定の位置関係である場合。例えば、ユーザの前足のかかとの位置を推定した結果と、補助線ＬＮ＿４７Ａとが重なっているまたは一定距離以内である場合。同様に、ユーザの後ろ足のかかとの位置を推定した結果と、補助線ＬＮ＿４７Ｂとが重なっているまたは一定距離以内である場合。The terminal device 10A may determine that the user's feet are properly opened forward and backward in the following manner.
・ When the angle at which the legs are open (such as the angle formed by the line segment extending from the left knee to the pelvis and the line segment extending from the right knee to the pelvis) is greater than or equal to a predetermined value based on the results of estimating the positions of the parts of the user's body. For example, when the result of estimating the position of the heel of the user's front leg and the auxiliary line LN_47A overlap or are within a certain distance. Similarly, when the result of estimating the position of the heel of the user's hind leg and the auxiliary line LN_47B overlap or are within a certain distance.
端末装置１０Ａは、前足と後ろ足それぞれについて、適切に開けている場合に、その旨を示すオブジェクトＯＢＪ＿４７ＡおよびオブジェクトＯＢＪ＿４７Ｂを表示する。端末装置１０Ａは、足が適切に開けていない場合、オブジェクトＯＢＪ＿４７ＡまたはオブジェクトＯＢＪ＿４７Ｂにおいて、その旨（例えば「ＮＧ」など）を表示する。 The terminal device 10A displays an object OBJ_47A and an object OBJ_47B indicating that the front and rear legs are properly opened, respectively. If the legs are not properly opened, the terminal device 10A displays a message to that effect (for example, "NG") in the object OBJ_47A or OBJ_47B.
端末装置１０Ａは、オブジェクトＯＢＧ＿４７ＡまたはオブジェクトＯＢＪ＿４７Ｂを、ユーザの特定の部位の位置を推定した結果に基づいて描画してもよい。例えば、端末装置１０Ａは、オブジェクトＯＢＪ＿４７Ａを、ユーザのかかとの位置を推定した結果の座標と関連付けて描画してもよい（例えば、オブジェクトＯＢＪ＿４７Ａの吹き出しを、ユーザのかかとの位置を基準として描画する。） The terminal device 10A may draw the object OBG_47A or the object OBJ_47B based on the result of estimating the position of a specific part of the user. For example, the terminal device 10A may draw the object OBJ_47A in association with the coordinates resulting from estimating the position of the user's heel (for example, the balloon of the object OBJ_47A is drawn based on the position of the user's heel).
以上のように、端末装置１０Ａは、ユーザが動作をする前の姿勢が適切であることを検出することに応答して、ユーザが動作を開始するための音声または画像等による通知（例えば、「ゆっくり腰を落とし、またもとに戻してください」等の、ユーザに具体的な動作の内容を想起させる通知）を行うこととしてもよい。これにより、ユーザは、動作をする前の姿勢が適切であることを確認でき、腰を上下させる動作を開始することが容易になる。 As described above, the terminal device 10A may, in response to detecting that the posture before the user's movement is appropriate, notify the user by voice or image for starting the movement (e.g., a notification that reminds the user of a specific movement, such as "slowly sit down and return to the original position"). As a result, the user can confirm that the posture before the action is appropriate, and can easily start the action of raising and lowering the waist.
図４９に示すように、ユーザが腰を上下させる動作を行う局面において、端末装置１０Ａは、正面４７０１Ｂにおいて、ユーザに対応するアバターＡＶＴ＿４７Ｂとともに、ユーザの動きにかかわらず固定的に（固定位置に）表示する補助線ＶＬ＿４７Ｂ、ＶＬ＿４７Ｅを描画する。 As shown in FIG. 49 , in a situation where the user raises and lowers the waist, the terminal device 10A draws the avatar AVT_47B corresponding to the user and auxiliary lines VL_47B and VL_47E that are displayed fixedly (in fixed positions) regardless of the movement of the user in the front 4701B.
補助線ＶＬ＿４７Ｂは、ユーザが腰を上下させる動作をしている間、ユーザが左右にぶれていないかを知覚させるための補助線である。端末装置１０Ａは、例えば、ユーザが腰を落とす動作を開始する前に、ユーザの腰の位置を推定した結果に基づいて、補助線ＶＬ＿４７Ｂを描画する。 The auxiliary line VL_47B is an auxiliary line for allowing the user to perceive whether or not the user is moving left and right while the user is moving up and down. For example, the terminal device 10A draws the auxiliary line VL_47B based on the result of estimating the position of the waist of the user before the user starts the motion of lowering the waist.
補助線ＶＬ＿４７Ｅは、ユーザが腰を上下させている間、ユーザの足（例えば、前足）が左右にぶれていないかを知覚させるための補助線である。端末装置１０Ａは、例えば、ユーザが腰を落とす動作を開始する前に、ユーザの前足のかかと及び膝の位置を推定した結果に基づいて、補助線ＶＬ＿４７Ｂを描画する。 The auxiliary line VL_47E is an auxiliary line for allowing the user to perceive whether the user's legs (for example, front legs) are swaying from side to side while the user is raising and lowering the waist. For example, the terminal device 10A draws the auxiliary line VL_47B based on the results of estimating the positions of the heel and knee of the front leg of the user before the user starts the motion of lowering the waist.
補助線ＶＬ＿４７Ｆは、ユーザが腰を上下させている間、ユーザの肩が左右にぶれていないかを知覚させるための補助線である。端末装置１０Ａは、ユーザが腰を落とす動作と連動して、補助線ＶＬ＿４７Ｆを描画する。 The auxiliary line VL_47F is an auxiliary line for allowing the user to perceive whether or not the user's shoulders are swaying from side to side while the user is moving his/her hips up and down. The terminal device 10A draws the auxiliary line VL_47F in conjunction with the motion of the user to sit down.
端末装置１０Ａは、右側面４７０１Ｃにおいて、ユーザに対応するアバターＡＶＴ＿４７Ｃとともに、ユーザの動きにかかわらず固定的に表示する補助線ＶＬ＿４７Ｃ、ＬＮ＿４７Ｃを表示する。 The terminal device 10A displays an avatar AVT_47C corresponding to the user and auxiliary lines VL_47C and LN_47C that are fixedly displayed regardless of the movement of the user on the right side 4701C.
補助線ＶＬ＿４７Ｃは、ユーザが腰を上下させている間、前後にぶれずに垂直に腰を落とせているかをユーザに知覚させるための補助線である。端末装置１０Ａは、例えば、ユーザが腰を落とす動作を開始する前に、ユーザの骨盤などの位置を推定した結果に基づいて、補助線ＶＬ＿４７Ｃを描画する。 The auxiliary line VL_47C is an auxiliary line for allowing the user to perceive whether or not the user can keep his or her hips down vertically without moving forward or backward while the user is raising or lowering his or her hips. For example, the terminal device 10A draws the auxiliary line VL_47C based on the result of estimating the position of the user's pelvis or the like before the user starts the motion of lowering his or her back.
補助線ＬＮ＿４７Ｃは、ユーザが腰を上下させている間、ユーザが前方向または後方向に腰を落としすぎていないか（例えば、膝が前に出すぎていないか）をユーザに知覚させるための補助線である。端末装置１０Ａは、例えば、ユーザが腰を落とす動作を開始する前に、ユーザのかかとなどの位置を推定した結果に基づいて、補助線ＬＮ＿４７Ｃを描画する。 The auxiliary line LN_47C is an auxiliary line that allows the user to perceive whether the user is leaning too much forward or backward (for example, whether the knees are too forward) while the user is raising and lowering the hips. For example, the terminal device 10A draws the auxiliary line LN_47C based on the result of estimating the position of the user's heel or the like before the user starts the motion of bending down.
端末装置１０Ａは、ユーザが腰を上下させる動作の速度と連動して、腰を落とす位置および腰を落とす速さの目安となるオブジェクトＯＢＪ＿４７Ｅと、オブジェクトＯＢＪ＿４７Ｆとを描画する。これらオブジェクトＯＢＪ＿４７Ｅと、オブジェクトＯＢＪ＿４７Ｆとは、ユーザが腰を上下させる速度と連動して、補助線ＶＬ＿４７Ｃ上に沿って移動する。 The terminal device 10A draws an object OBJ_47E and an object OBJ_47F, which serve as a guideline for the position and speed of lowering the waist, in conjunction with the speed of the user's lowering and lowering the waist. These objects OBJ_47E and OBJ_47F move along the auxiliary line VL_47C in conjunction with the speed at which the user raises and lowers his hips.
オブジェクトＯＢＪ＿４７Ｅは、ユーザが腰を上下させる間、首や肩の目安の位置をユーザに知覚させるためのオブジェクトである。 The object OBJ_47E is an object for allowing the user to perceive the reference positions of the neck and shoulders while the user raises and lowers the waist.
オブジェクトＯＢＪ＿４７Ｆは、ユーザが腰を上下させる間、腰の目安の位置をユーザに知覚させるためのオブジェクトである。 Object OBJ_47F is an object for allowing the user to perceive a reference position of the waist while the user moves the waist up and down.
図５０に示すように、ユーザが腰を落とそうとして、やや前のめりになっているとする。図示するように、端末装置１０Ａは、右側面４７０１Ｃにおいて、理想的な動きの目安となるオブジェクトＯＢＪ＿４７Ｅに対し、ユーザが身体を動かしている実際の位置（首、肩、頭などの位置の推定結果）を示すオブジェクトＯＢＪ＿４７Ｊを描画する。 As shown in FIG. 50, it is assumed that the user is leaning slightly forward in order to sit down. As illustrated, on the right side 4701C, the terminal device 10A draws an object OBJ_47J that indicates the actual position of the user's body movement (results of estimating the positions of the neck, shoulders, head, etc.) with respect to the object OBJ_47E that serves as a guideline for ideal movement.
端末装置１０Ａは、理想的な動きの目安となるオブジェクトＯＢＪ＿４７Ｆに対し、ユーザが身体を動かしている実際の位置（腰、骨盤などの位置の推定結果）を示すオブジェクトＯＢＪ＿４７Ｋを描画する。 The terminal device 10A draws an object OBJ_47K indicating the actual position (estimation result of the position of the waist, pelvis, etc.) at which the user is moving the body, with respect to the object OBJ_47F, which serves as a guideline for ideal movement.
端末装置１０Ａは、ユーザが垂直に腰を上下させられているか否かを容易に知覚させるため、オブジェクトＯＢＪ＿４７ＥとオブジェクトＯＢＪ＿４７Ｊとが所定の位置関係（重なっている、一定距離内にある等）にある場合に、そうでない場合と異なる表示態様で描画することとしてもよい。同様に、端末装置１０Ａは、オブジェクトＯＢＪ＿４７ＦとオブジェクトＯＢＪ＿４７Ｋとが所定の位置関係にある場合に、そうでない場合と異なる表示態様で描画することとしてもよい。これにより、ユーザが理想的な動きで腰を上下させられているか、また、ユーザが理想的な動きの目安に沿って身体を動かせているかをリアルタイムに知覚させることが容易となる。 In order to allow the user to easily perceive whether or not the user is moving their hips vertically, the terminal device 10A may render objects OBJ_47E and OBJ_47J in a different display manner when they are in a predetermined positional relationship (overlapping, within a certain distance, etc.). Similarly, when the object OBJ_47F and the object OBJ_47K are in a predetermined positional relationship, the terminal device 10A may draw them in a different display mode than when they are not. This makes it easy for the user to perceive in real time whether the user is moving his/her hips up and down in an ideal motion, and whether the user is moving the body in accordance with the ideal motion guideline.
端末装置１０Ａは、前足が適切に動作させられているか否かを判定し、判定した結果を、オブジェクトＯＢＪ＿４７Ｐにより表示する。例えば、端末装置１０Ａは、以下のようにして、前足が適切に動作させられているか否かを判定してもよい。
・ ユーザの前足のかかと、膝、骨盤など、前足の角度に基づいて、ユーザが前足を適切に動作させられているか（例えば、前方に乗り出しすぎていないか）を判定する
・ ユーザの下半身の部位の位置の推定結果（かかと、膝など）と、補助線ＬＮ＿４７Ｃとが所定の位置関係であるかを判定する。（例えば、かかとまたは膝の位置が補助線ＬＮ＿４７Ｃを超えている場合は前のめりである等。また、かかとの位置と膝の位置とを結ぶ線分（ひざの角度）が、補助線ＬＮ＿４７Ｃと所定の角度以内である場合は、腰を良好に落とせている等）The terminal device 10A determines whether or not the forefoot is properly moved, and displays the determination result as an object OBJ_47P. For example, the terminal device 10A may determine whether or not the front leg is properly operated as follows.
・Determine whether the user is properly moving the front legs (for example, whether the user is leaning forward too much) based on the angles of the front legs such as the heels, knees, and pelvis of the user. (For example, if the position of the heel or knee exceeds the auxiliary line LN_47C, the person is leaning forward, etc. If the line segment (knee angle) connecting the position of the heel and the knee is within a predetermined angle from the auxiliary line LN_47C, the hips are well lowered, etc.)
端末装置１０Ａは、オブジェクトＯＢＪ＿４７Ｐを、ユーザの部位の位置を推定した結果に基づいて、描画する位置を特定してもよい。例えば、端末装置１０Ａは、ユーザの膝の位置を基準にして、オブジェクトＯＢＪ＿４７Ｐを描画することとしてもよい。これにより、ユーザの身体の動作とともにリアルタイムにオブジェクトＯＢＪ＿４７Ｐが移動しつつ描画されることとなるため、ユーザが適切に身体を動かせているかを容易に知覚させることができる。 The terminal device 10A may specify the position to draw the object OBJ_47P based on the result of estimating the position of the user's body part. For example, the terminal device 10A may draw the object OBJ_47P based on the position of the user's knees. As a result, the object OBJ_47P is drawn while moving in real time with the movement of the user's body, so that it is possible to easily perceive whether the user is appropriately moving the body.
端末装置１０Ａは、後ろ足が適切に動作させられているか否かを判定し、判定した結果を、オブジェクトＯＢＪ＿４７Ｎにより表示する。上記の前足の場合と同様に、後ろ足が適切に動作させられているかを判定することとしてもよい。 The terminal device 10A determines whether or not the hind legs are properly moved, and displays the determination result as an object OBJ_47N. As in the case of the front legs described above, it may be determined whether the rear legs are properly operated.
端末装置１０Ａは、正面４７０１Ｂにおいて、前足が左右にぶれていないか否かを判定し、判定結果をオブジェクトＯＢＪ＿４７Ｍにより表示することとしてもよい。例えば、端末装置１０Ａは、かかとの位置および膝の位置を推定した結果に基づいて、膝の角度が垂直でない場合（例えば、補助線ＶＬ＿４７Ｅに対して所定以上の角度となっている場合）に、前足が左右にぶれていると判定することとしてもよい。図５０の例では、前足は左右にぶれておらず、オブジェクトＯＢＪ＿４７Ｍにおいて「ＯＫ」と表示されている。 The terminal device 10A may determine whether or not the front leg is swaying to the left or right in the front 4701B, and display the determination result as an object OBJ_47M. For example, the terminal device 10A may determine that the front leg is swaying to the left or right based on the results of estimating the heel position and the knee position when the knee angle is not vertical (for example, when the angle is greater than or equal to a predetermined angle with respect to the auxiliary line VL_47E). In the example of FIG. 50, the front leg does not move left and right, and "OK" is displayed in object OBJ_47M.
図５１に示すように、右側面４７０１Ｃにおいて、ユーザが腰を垂直に良好に上下させられており、オブジェクトＯＢＪ＿４７Ｐ、オブジェクトＯＢＪ＿４７Ｎにおいて「ＯＫ」と表示されている。 As shown in FIG. 51, on the right side 4701C, the user has his/her waist raised and lowered vertically, and "OK" is displayed for objects OBJ_47P and OBJ_47N.
＜第６の実施の形態＞ <Sixth Embodiment>
第６の実施の形態では、最初にトレーナーの動きを見ながらユーザがトレーニングを行い、途中から所定部位の動きについてアイテムを表示をする技術（表示制御）について説明する。 In the sixth embodiment, a technique (display control) will be described in which the user first trains while watching the movement of the trainer, and then displays items related to the movement of a predetermined part during the training (display control).
以下、図面を参照して本発明の好適な実施形態を説明する。第１の実施の形態における図１、図２、図３に本発明を適用可能な測定システム１の一実施形態を示している。 Preferred embodiments of the present invention will be described below with reference to the drawings. 1, 2, and 3 in the first embodiment show an embodiment of a measuring system 1 to which the present invention can be applied.
次に、図５２を用いて本実施形態におけるトレーニング処理について説明する。この処理は、端末装置１０における記憶部１６に記録されたプログラムをメモリ１５に展開して制御部１９０が実行することで実現する。もしくは、サーバ２０におけるストレージ２６に記録されたプログラムをメモリ２５に展開してプロセッサ２９が実行し、端末装置１０と通信することで実現しても良いが、以下の実施の形態においては端末装置１０が行うものとして説明をする。端末装置１０とサーバ２０とが以下説明をする制御を分担して行なっても良いが、表示は端末装置１０のディスプレイ１３２においてされる。なお、この処理は、端末装置１０および測定装置３１（もしくはカメラ１６０）に電源が入り、ユーザへのトレーニングの提供が可能になると開始する。 Next, the training process in this embodiment will be described with reference to FIG. This processing is realized by loading a program recorded in the storage unit 16 of the terminal device 10 into the memory 15 and executing it by the control unit 190 . Alternatively, the program recorded in the storage 26 of the server 20 may be developed in the memory 25, executed by the processor 29, and communicated with the terminal device 10, but in the following embodiment, the terminal device 10 will be described. The terminal device 10 and the server 20 may share the control described below, but the display is made on the display 132 of the terminal device 10 . It should be noted that this processing is started when the terminal device 10 and the measuring device 31 (or the camera 160) are powered on and training can be provided to the user.
ステップＳ５２０１では、制御部１９０は、端末装置１０のディスプレイ１３２において表示されるトレーニングメニュー（図面においては非表示）のうちいずれかが選択されたかを判定する。ステップＳ５２０１において、Ｙｅｓと判断した場合は、ステップＳ５２０２へ進み、そうでない場合は、トレーニングメニューが選択されるまで待つ。トレーニングメニューとは、腕振り、腕回し、膝回し、歩行などの反復を行うトレーニングメニューであり、サーバ２０を介してユーザが実行可能なトレーニングメニューに関する情報が取得される。ユーザは、ディスプレイ１３２へのタッチ操作により、トレーニングメニューを選択可能である。トレーニングメニューの選択操作が、トレーニングを開始する指示としても良いし、トレーニングメニューの後にトレーニングの開始を指示可能としても良い。トレーニングの開始指示はディスプレイ１３２へのタッチ操作もしくは音声等によって受付る。 In step S5201, control unit 190 determines whether one of the training menus (not shown in the drawing) displayed on display 132 of terminal device 10 is selected. If Yes in step S5201, the process proceeds to step S5202. Otherwise, the process waits until the training menu is selected. A training menu is a training menu for repeating arm swings, arm rotations, knee rotations, walking, and the like. The user can select a training menu by touching the display 132 . The selection operation of the training menu may be an instruction to start training, or it may be possible to instruct the start of training after the training menu. A training start instruction is received by a touch operation on the display 132, voice, or the like.
ステップＳ５２０２では、制御部１９０は、選択されたトレーニングメニューの情報を取得する。トレーニングメニューの情報には、後述するトレーニングメニューを行うトレーナーの動画および、所定の部位、所定の部位の動きの表示方法についての情報などが含まれている。トレーニングメニューの情報は図２に示す記憶部１８０にトレーニング項目情報１８５とともに記憶されている。 In step S5202, control unit 190 acquires information on the selected training menu. The information on the training menu includes a video of the trainer performing the training menu, which will be described later, a predetermined part, information on a display method of the movement of the predetermined part, and the like. Information on the training menu is stored together with training item information 185 in the storage unit 180 shown in FIG.
ステップＳ５２０３では、制御部１９０は、トレーナー動画像をディスプレイ１３２の第１の領域に表示する。図５３（ａ）、（ｂ）、（ｃ）には、腕振りの画面例を示している。図５３（ａ）には、腕振りがトレーニングメニューとして選択され（トレーニングの開始指示）、トレーニングが開始された直後の表示例を示している。見本となる予め記録されている動画であり、トレーナーが腕振りを行なっている様子を示す動画像５３０１がディスプレイ１３２の左側の領域であるａｒｅａ１に表示されている。 In step S<b>5203 , control unit 190 displays the trainer moving image on the first area of display 132 . FIGS. 53(a), (b), and (c) show screen examples of arm swing. FIG. 53(a) shows a display example immediately after arm swing is selected as a training menu (instruction to start training) and training is started. A moving image 5301 , which is a sample moving image that has been recorded in advance and shows a state in which the trainer is swinging his arm, is displayed in area 1 , which is the area on the left side of the display 132 .
ステップＳ５２０４では、制御部１９０は、第１の条件を満たすか否かを判定する。第１の条件とは、ユーザが選択したトレーニングメニューの動きをユーザに十分に見せたか否かを判定するためのものである。第１の条件とは、ステップＳ５２０３から反復運動を１０回や１５回といった所定回数トレーナーが行なった時間が経過したか、ステップＳ５２０３から１分や３０秒などの所定時間が経過したかのいずれかである。なお、腕振りの場合は両手が体に沿ってまっすぐに降ろされている状態から、右手と左手がそれぞれ前後に移動し、再び両手がまっすぐに降ろされている状態に戻るのを１回の動きとしてこれを繰り返す。もしくは、ユーザの動きを検知し、選択されたトレーニングメニューの反復運動をユーザが記憶したと判定したことを条件としても良い。腕振りのトレーニングメニューでは、ユーザが動きに迷うことなく右手と左手を前後に交互に振っているか（腕を回したり、両手を同方向に動かすことをしていないかなど）を判定する。腕振りの幅や肩幅の揺れ、頭の揺れ等が正しいフォームか否かはここでは判定しない。つまり、ユーザが行なっているトレーニングメニューの動き自体を理解したか否かを判定するための条件である。ステップＳ５２０４において、Ｙｅｓと判断した場合は、ステップＳ５２０７へ進み、そうでない場合は、ステップＳ５２０５へ進む。 In step S5204, control unit 190 determines whether or not the first condition is satisfied. The first condition is for determining whether or not the movement of the training menu selected by the user has been sufficiently shown to the user. The first condition is either a predetermined amount of time, such as 10 or 15 repetitive exercises, having elapsed from step S5203, or a predetermined amount of time, such as 1 minute or 30 seconds, having elapsed from step S5203. In addition, in the case of arm swing, from the state in which both hands are straight down along the body, the right hand and left hand move back and forth, respectively, and then return to the state in which both hands are straight down again. This is repeated as one movement. Alternatively, the user's movement may be detected and it may be determined that the user has memorized the repetitive exercise of the selected training menu. In the arm swing training menu, it is determined whether the user alternately swings the right hand and left hand back and forth without hesitation (whether the arm is rotated or both hands are moved in the same direction). Whether or not the width of the arm swing, the swing of the shoulder width, the swing of the head, etc. is correct or not is not determined here. In other words, it is a condition for determining whether or not the user understands the movement of the training menu itself. If Yes in step S5204, the process proceeds to step S5207; otherwise, the process proceeds to step S5205.
ステップＳ５２０５では、制御部１９０は、ユーザの身体全体の動きを取得する。ユーザの動きは、以下のように測定装置３１を介して検知（及び取得）をする。すなわち、測定装置３１が、ユーザの身体を検出することにより、ユーザの位置、ユーザの身体の各関節の位置を検出する。これにより、測定装置３１は、ユーザを構成する各関節を仮想的に接続した仮想的な骨（ボーン）を設定して、ユーザの身体の動きを計測する。測定装置３１は、Kinect（登録商標）の他に、スマートフォン等の端末であるとしてもよい。例えば、スマートフォンに深度カメラが設けられている場合、当該スマートフォンにより、ユーザの身体を、点群データ（ポイントクラウドデータ）として取得することができる。 In step S5205, the control unit 190 acquires the movement of the user's entire body. User movement is sensed (and captured) via measurement device 31 as follows. That is, the measuring device 31 detects the position of the user and the positions of the joints of the user's body by detecting the user's body. Thereby, the measuring device 31 sets a virtual bone (bone) that virtually connects each joint that constitutes the user, and measures the movement of the user's body. The measurement device 31 may be a terminal such as a smart phone in addition to Kinect (registered trademark). For example, when a smartphone is provided with a depth camera, the smartphone can acquire the user's body as point cloud data (point cloud data).
ステップＳ５２０６では、制御部１９０は、ユーザの点群データを示すアイテムをディスプレイ１３２の第２の領域にトレーナー動画像と並べて表示をする。点群データを示すアイテムは、ステップＳ５２０５で取得したユーザの動きに基づき動くため、ユーザの身体全体の動きがわかる。図５３（ａ）のディスプレイ１３２の右側の領域であるａｒｅａ２には、点群データを示すアイテム５３０２（ユーザを正面から見たアイテム）が表示されている。アイテム５３０２の描写方法については、第５の実施の形態において説明をした通りである。アイテム５３０２はユーザの頭から足の先まで示されており、ユーザは選択したトレーニングメニューにおける身体全体の動きを理解しやすい。ここで、ステップＳ５２０６で表示するアイテムは点群データを示すものでなくてもよく、ユーザの身体全体を示すユーザの実映像やキャラクターでも良い。ステップＳ５２０５、ステップＳ５２０６の処理は、５０ｆｐｓや１００ｆｐｓなどの所定の間隔で行われることにより、ユーザの動きをより正確に把握することができる。また、トレーナーの動画像とユーザの点群データを示すアイテムをともに表示することで、例えば腕振りにおける腕の振り幅や肩の動きなどの詳細に注目することなく、腕振りの動き自体に集中しやすくなる。 In step S5206, control unit 190 displays an item indicating the point cloud data of the user in the second area of display 132 side by side with the trainer moving image. Since the item representing the point cloud data moves based on the motion of the user acquired in step S5205, the motion of the user's entire body can be known. An item 5302 representing point cloud data (an item viewed from the front of the user) is displayed in area2, which is the area on the right side of the display 132 in FIG. 53(a). The rendering method of the item 5302 is as described in the fifth embodiment. Item 5302 is shown from the user's head to the tip of the foot, making it easy for the user to understand the movement of the entire body in the selected training menu. Here, the item displayed in step S5206 does not have to represent point cloud data, and may be a real image of the user or a character representing the user's entire body. By performing the processing in steps S5205 and S5206 at predetermined intervals such as 50 fps and 100 fps, it is possible to more accurately grasp the movement of the user. In addition, by displaying both the moving image of the trainer and the item showing the point cloud data of the user, it becomes easier to concentrate on the movement of the arm swing itself without paying attention to details such as the swing width of the arm and the movement of the shoulder.
ステップＳ５２０７では、制御部１９０は、点群データを示すアイテムをディスプレイ１３２より非表示にする。図５３（ｂ）のディスプレイ１３２ではアイテム５３０２が非表示になっている。なお、第１の条件を満たしたことに応じて、すぐに非表示にしなくてもよく、第１の条件を満たしてから１０秒や２０秒などの所定時間が経過してから非表示にしてもよいし、徐々に消失していってもよいし、サイズを小さくして表示をしても良い。また、後述する新たに表示するアイテムを表示しても表示領域に余裕がある場合には、非表示にしなくても良い。 In step S<b>5207 , control unit 190 hides the item indicating the point cloud data from display 132 . The item 5302 is hidden on the display 132 in FIG. 53(b). It should be noted that it does not have to be hidden immediately after the first condition is satisfied, it may be hidden after a predetermined time such as 10 seconds or 20 seconds has elapsed after the first condition is satisfied, it may disappear gradually, or it may be displayed in a reduced size. Also, if there is enough space in the display area to display the items to be newly displayed, which will be described later, they do not have to be hidden.
ステップＳ５２０８では、制御部１９０は、選択されたトレーニングメニューにおける所定の身体の部位の動きを取得する。所定の部位の動きの取得方法については、ステップＳ５２０５と同じである。腕振りの場合にはユーザの肩の動き、頭の動き、ひじの動きである。肩の動きは、ユーザの身体の中心を上から見た場合に、前後にどのくらい回転しているか（ＸＹ軸上の動き）を取得する。また、頭についてはユーザの身体を後ろから見た場合の頭の左右の揺れ（Ｘ軸方向の動き）、横から見た場合の頭の前後の揺れ（Ｙ軸方向の動き）を取得する。ひじの動きは、ユーザの身体を上から見た場合の前後の振れ幅を取得する。ここで、Ｘ軸とはユーザがディスプレイ１３２または測定装置３１を見ながら立った場合の、右肩から左肩に向かう方向、Ｙ軸とはユーザの進行方向、Ｚ軸はユーザから天井に向かう方向である。所定の身体の部位は、トレーニングメニューによって異なるし、部位の数も１つの場合もあるし複数の場合もある。 In step S5208, control unit 190 acquires the motion of a predetermined body part in the selected training menu. The method of obtaining the motion of the predetermined part is the same as in step S5205. In the case of arm swing, it is the user's shoulder movement, head movement, and elbow movement. As for the movement of the shoulder, how much the center of the user's body rotates back and forth (movement on the XY axes) when viewed from above is acquired. As for the head, the left and right shaking of the head (movement in the X-axis direction) when the user's body is viewed from behind and the front-back shaking (movement in the Y-axis direction) of the head when viewed from the side are acquired. For the movement of the elbow, the forward and backward amplitude of the user's body as viewed from above is obtained. Here, the X-axis is the direction from the right shoulder to the left shoulder when the user stands looking at the display 132 or the measuring device 31, the Y-axis is the user's traveling direction, and the Z-axis is the direction from the user to the ceiling. The predetermined body part differs depending on the training menu, and the number of body parts may be one or more.
ステップＳ５２０９では、制御部１９０は、所定の部位の動きを示すアイテムをディスプレイ１３２の第２の領域に表示する。図５３（ｂ）に示すようにａｒｅａ２には、ユーザの肩の回転角度や頭の動きを示すアイテム５３０３ａからｃが表示される。ひじの動きを示すアイテム５３０３ｄはａｒｅａ２とａｒｅａ１の間に表示される。アイテム５３０３はアイテム５３０３ａから５３０３ｄを含む。アイテム５３０３ａは、ユーザの直近の左右の肩の回転角度を示している。アイテム５３０３ｂは、ユーザの頭の左右の揺れを示している。アイテム５３０３ｃは、ユーザの頭の前後の揺れを示している。アイテム５３０３ｄは、ユーザのステップＳ５２０３で運動を開始してからの左右のひじの振れ幅の蓄積を示している。アイテム５３０３については、図５３（ｃ）を用いて詳細を後述する。これにより、ユーザは、トレーニングメニューにおける身体全体の動かし方から所定の部位の動かし方に注目することができる。つまり、身体全体が表示された点群のアイテムとは表示形態の異なるアイテム（所定の部位の動きを示すインジケータ）が表示されるので、重点部位の動きに注目できる。トレーニング開始からステップＳ５２０９のアイテムが表示されてしまうと、ユーザが肩の動きや頭の動きに注目してしまい、腕振りの動きを把握し切れない、もしくは肩や頭に注力するあまり上手く腕振りができない可能性がある。そこで、ユーザがある程度トレーニングメニューの動きを把握したあとで所定の部位の動きに関するアイテムを表示することでユーザはトレーニングの効果をあげやすくなる。所定の部位の動きを示すアイテムは、トレーニングが終了するまで表示され続ける。 In step S<b>5209 , control unit 190 displays an item indicating the movement of a predetermined part on the second area of display 132 . As shown in FIG. 53(b), items 5303a to 5303c indicating the rotation angle of the user's shoulder and movement of the head are displayed in area2. An item 5303d indicating elbow movement is displayed between area2 and area1. Item 5303 includes items 5303a through 5303d. Item 5303a indicates the rotation angles of the user's most recent left and right shoulders. Item 5303b indicates the side-to-side rocking of the user's head. Item 5303c shows the back-and-forth bobbing of the user's head. Item 5303d shows the accumulation of left and right elbow deflection since the user started exercising in step S5203. Item 5303 will be described later in detail with reference to FIG. 53(c). As a result, the user can focus on how to move a predetermined part from how to move the entire body in the training menu. That is, since an item (indicator indicating the movement of a predetermined part) is displayed in a different display form from the point cloud item in which the entire body is displayed, attention can be paid to the movement of the important part. If the item in step S5209 is displayed from the start of training, the user may focus on the movement of the shoulder or the head and may not be able to fully grasp the movement of the arm swing, or may not be able to swing the arm so well that the user focuses on the shoulder or head. Therefore, after the user has grasped the movement of the training menu to some extent, the user can easily increase the effect of the training by displaying the items related to the movement of the predetermined part. The item showing the movement of a given part continues to be displayed until the training is finished.
図５３（ｃ）は、アイテム５３０４ａから５３０４ｄを含んでおり、それぞれアイテム５３０３ａから５３０３ｄに対応する。アイテム５３０４ａからｄ（５３０３ａからｄ）は、ユーザの身体の中心から見て前後左右の動きをそれぞれ異なる色で示している。ｃｏｌｏｒ１はユーザの身体の中心から見て右側の動きを示すための色であり、ｃｏｌｏｒ２は左側、ｃｏｌｏｒ３は前側、ｃｏｌｏｒ４は後側の動きを示す色である。４方向それぞれに異なる色を使うことで、アイテム５３０３において示す所定の部位の動きの方向をユーザが直感的に理解することができる。 FIG. 53(c) includes items 5304a through 5304d, corresponding to items 5303a through 5303d, respectively. Items 5304a to 5304d (5303a to d) indicate movement in different colors in front, back, left, and right as viewed from the center of the user's body. color1 is a color for indicating movement on the right side as viewed from the center of the user's body, color2 is for indicating movement on the left side, color3 is for movement on the front side, and color4 is for movement on the rear side. By using different colors for each of the four directions, the user can intuitively understand the movement direction of the predetermined part indicated by the item 5303 .
アイテム５３０４ａは、ユーザの直近の左右の肩の回転角度を示しており、ユーザの動きに応じてｃｏｌｏｒ１、２で示される三角の指標が円の中心を軸として回転するインジケータである。また、ユーザの肩の回転角度に応じて後述するバーが更新される。ユーザを示すアイテム５３０５ａが円の中心に位置しており、鼻を示す突起が出ている方がユーザの進行方向を示す。アイテム５３０４ａにおいてｃｏｌｏｒ３、４で示すバーは円弧に沿っており、ユーザの肩が前後のいずれにどのくらい揺れているのか（回転しているか）を示すためのバーである。アイテム５３０５ａを中心（０度）として前側の角度Ａの範囲（０度＜Ａ＜１８０度）がｃｏｌｏｒ３、後側の角度Ｂの範囲（１８０度＜Ｂ＜３６０度）がｃｏｌｏｒ４で示されている。アイテム５３０４ａに示すように、ｃｏｌｏｒ１の三角の指標の先がｃｏｌｏｒ３のバー上に位置している場合には、右肩が前側に位置しており、さらにどのくらい揺れているのかを示す。ｃｏｌｏｒ２の三角の指標の先がｃｏｌｏｒ４のバー上に位置している場合には、左肩が後側に位置しており、さらにどのくらい回転しているのかを示す。ｃｏｌｏｒ３のバーは目盛りがあり、例えば１５度ごとに目盛りが設けられる。目盛りがあることによりユーザは、右肩の方が大きく揺れていることが直感的に把握することができる。 Item 5304a indicates the rotation angles of the user's most recent left and right shoulders, and is an indicator in which triangular indicators indicated by color 1 and 2 rotate around the center of the circle according to the user's movement. Also, a bar, which will be described later, is updated according to the rotation angle of the user's shoulder. An item 5305a indicating the user is positioned at the center of the circle, and the protrusion indicating the nose indicates the direction of travel of the user. The bars indicated by colors 3 and 4 in item 5304a run along an arc, and are bars for indicating how much the user's shoulders are swinging back and forth (whether they are rotating). With the item 5305a as the center (0 degrees), the front angle A range (0 degrees < A < 180 degrees) is indicated by color 3, and the rear angle B range (180 degrees < B < 360 degrees) is indicated by color 4. As shown in item 5304a, if the tip of the triangular index for color1 is positioned on the bar for color3, then the right shoulder is positioned forward and also indicates how much it is swaying. When the tip of the triangular index of color2 is positioned on the bar of color4, the left shoulder is positioned on the rear side, indicating how far it has rotated. The bar of color3 has a scale, for example, a scale is provided every 15 degrees. The presence of the scale allows the user to intuitively grasp that the right shoulder is swinging more.
アイテム５３０４ｂは、ユーザの頭の左右の揺れを示す扇状のアイテムである。アイテム５３０５ｂはユーザの身体を示しており、三角は肩より下、円は頭を示している。円の中に丸があるため、後ろから見た状態であることがわかる。アイテム５３０５ｂはユーザの頭の動きに合わせて扇をなす円の中心を軸に左右に揺れる。ユーザの後ろから見て右側はｃｏｌｏｒ１とｃｏｌｏｒ１１（ｃｏｌｏｒ１より濃い同系色の色）のバーで表示されており、左側はｃｏｌｏｒ２とｃｏｌｏｒ２１（ｃｏｌｏｒ２より濃い同系色の色）のバーで表示されている。バーは扇の円弧に沿って表示される。ｃｏｌｏｒ１と２は前回の腕振りの際の頭の揺れを示しており、ｃｏｌｏｒ１１と２１は今回の腕振りの際の頭の揺れを示している。例えば、ユーザの右手が前、左手が後ろにある状態では頭が右側に倒れやすくなるが、アイテム５３０４ｂでは、ｃｏｌｏｒ１のバーの長さよりもｃｏｌｏｒ１１のバーの長さの方が短くなっているので直前の腕振りの時より頭の揺れが小さくなったことがわかる。アイテム５３０４ｂに示す線（実際には非表示）は、ユーザがまっすぐに立っている場合の角度を示しており、バーはまっすぐに立った状態から左右に頭が揺れると表示される。 Item 5304b is a fan-shaped item that indicates the left and right shaking of the user's head. Item 5305b indicates the user's body, with the triangle below the shoulders and the circle the head. Since there is a circle within the circle, it can be seen that the image is viewed from behind. The item 5305b swings left and right about the center of the fan-shaped circle according to the movement of the user's head. Seen from behind the user, the right side is displayed with bars of color1 and color11 (similar colors darker than color1), and the left side is displayed with bars of color2 and color21 (similar colors darker than color2). A bar is displayed along the arc of the fan. Colors 1 and 2 indicate the shaking of the head during the previous arm swing, and colors 11 and 21 indicate the shaking of the head during the current arm swing. For example, when the user's right hand is in the front and the left hand is in the back, the head tends to fall to the right, but in item 5304b, the length of the color 11 bar is shorter than the length of the color 1 bar. The line (not actually displayed) shown in item 5304b indicates the angle when the user is standing straight, and the bar is displayed when the head sways left or right from standing straight.
アイテム５３０４ｃは、ユーザの頭の前後の揺れを示す扇状のアイテムである。アイテム５３０５ｃはユーザの身体を示しており、三角は肩より下、円は頭を示している。円とともに鼻を示す突起があるため、ユーザの右側から見た状態であることがわかる。アイテム５３０５ｃはユーザの頭の動きに合わせて扇をなす円の中心を軸に左右に揺れる。ユーザ中心から見て前側はｃｏｌｏｒ３とｃｏｌｏｒ３１（ｃｏｌｏｒ３より濃い同系色の色）のバーで表示されており、後側はｃｏｌｏｒ４とｃｏｌｏｒ４１（非表示だがｃｏｌｏｒ２より濃い同系色の色）のバーで表示されている。バーは扇の円弧に沿っている。ｃｏｌｏｒ３と４は前回の腕振りの際の頭の揺れを示しており、ｃｏｌｏｒ３１と４１（後ろに揺れていない例を示したため非表示）は今回の腕振りの際の頭の揺れを示している。アイテム５３０５ｂに示す線（実際には非表示）は、ユーザがまっすぐに立っている場合の角度を示しており、バーはまっすぐに立った状態から前後に頭が揺れると表示される。 Item 5304c is a fan-shaped item that indicates the back and forth shaking of the user's head. Item 5305c indicates the user's body, the triangle below the shoulders and the circle the head. It can be seen that it is viewed from the right side of the user because there is a projection indicating the nose along with the circle. The item 5305c swings left and right about the center of the fan-shaped circle according to the movement of the user's head. When viewed from the center of the user, the front side is displayed with bars of color3 and color31 (similar colors darker than color3), and the rear side is displayed with bars of color4 and color41 (not displayed but similar colors darker than color2). The bar follows the arc of the fan. Colors 3 and 4 indicate the shaking of the head during the previous swing of the arm, and colors 31 and 41 (not shown because an example of no shaking is shown behind) indicate the shaking of the head during the current swing of the arm. The line shown in item 5305b (not actually displayed) indicates the angle when the user is standing straight, and the bar is displayed when the head is swayed back and forth from the standing straight position.
アイテム５３０４ｄは、ユーザのステップＳ５２０３で運動を開始してからの左右のひじの振れ幅の蓄積（履歴）を示している。ｃｏｌｏｒ１（２）で示される部分は、右ひじ（左ひじ）の振れをユーザの上から見た場合の軌跡を示しており、直近の軌跡を示す線がこれまでの軌跡の蓄積とは識別可能な色（ｃｏｌｏｒ１より濃い色）で示される。アイテム５３０４ｄにおいても、ｃｏｌｏｒ３、４の線を表示することにより、ユーザの前後がアイテム内でどこかを示している。また、後述するようにｃｏｌｏｒ３、４の線はひじの振れ幅の前方と後方の目標位置を示している。 Item 5304d indicates the accumulation (history) of left and right elbow swing widths after the user started exercising in step S5203. The part indicated by color 1 (2) indicates the trajectory of the swing of the right elbow (left elbow) when viewed from above by the user, and the line indicating the most recent trajectory is indicated in a color (darker than color 1) distinguishable from the accumulated trajectory so far. In the item 5304d as well, lines of colors 3 and 4 are displayed to indicate where the user is before and after the item. Also, as will be described later, the lines of colors 3 and 4 indicate the target positions of the forward and rearward elbow swing widths.
以上のように、アイテム５３０３（５３０４）では、ユーザの頭の揺れ幅と肩の回転角度、ひじの振れ幅についてのインジケータをユーザが直感的にわかるように示している。これにより、ユーザは、ひじは左右均等に振れているが、肩は左右均等に回転できていないことなどがわかる。ステップＳ５２０８、ステップＳ５２０９の処理は、５０ｆｐｓや１００ｆｐｓなどの所定の間隔で行われることにより、ユーザの動きをより正確に把握することができる。また、音声においてアイテム５３０４の示す頭の揺れ幅と肩の揺れ幅、ひじの振れ幅についての解説をしても良い。例えば、ディスプレイ１３２が小さく、運動中のユーザが見えない場合には音声での解説は有効である。 As described above, item 5303 (5304) shows indicators for the user's head swing amplitude, shoulder rotation angle, and elbow swing amplitude so that the user can intuitively understand them. As a result, the user can understand that the elbows are swinging evenly, but the shoulders are not rotating evenly. By performing the processes in steps S5208 and S5209 at predetermined intervals such as 50 fps and 100 fps, it is possible to more accurately grasp the movement of the user. Also, the voice may explain the amplitude of head shaking, the amplitude of shoulder shaking, and the amplitude of elbow shaking indicated by the item 5304 . For example, if the display 132 is too small to see the user while exercising, audio commentary is useful.
ステップＳ５２１０では、制御部１９０は、トレーナー動画像を非表示にする。なお、トレーナー動画像として予め所定時間のみの長さが準備されており、所定時間が経過したら（第１の条件を満たす）動画が自動で非表示になる場合には、制御部１９０がトレーナー動画像の非表示を制御するわけではない。ステップＳ５２１０の処理はステップＳ５２０４でＹｅｓと判定された後、最初にステップＳ５２１０の処理を行う以外には処理をスキップする。 In step S5210, control unit 190 hides the trainer moving image. Note that if the length of the trainer moving image is prepared in advance for only a predetermined length of time, and the moving image is automatically hidden after the predetermined time has elapsed (satisfying the first condition), the control unit 190 does not control the hiding of the trainer moving image. The process of step S5210 is skipped except that the process of step S5210 is first performed after a determination of Yes is made in step S5204.
ステップＳ５２１１では、制御部１９０は、視点に関するガイダンス映像をディスプレイ１３２の第１の領域に表示し、音声でガイダンス通知を行う。所定の部位に関するガイダンスとは、ステップＳ５２０９において表示するアイテムの示す向きについて説明をするためのガイダンスである。図５４（ａ）、（ｂ）はユーザの頭の上から見た場合のインジケータについて説明するための動画像の一部である。図５４（ａ）のａｒｅａ１に表示されるアイテム５４０１は、人物を後ろから映した様子を示しており、図５４（ｂ）のアイテム５４０２は人物を上から映した様子を示している。実際には、アイテム５４０１からアイテム５４０２へのトランジションは動画像で示されるため、ユーザは視点が人物の上側から見たものになったことを認識できる。また、ステップＳ５２１３では「真上から見た肩の動きに注目してみましょう」という音声のガイダンスも発音される。ステップＳ５２１０、５２１１の処理は、ステップＳ５２０９と同時に行なっても良い。 In step S5211, control unit 190 displays a guidance image regarding the viewpoint in the first area of display 132, and issues guidance notification by voice. The guidance regarding the predetermined part is guidance for explaining the orientation of the item displayed in step S5209. FIGS. 54(a) and 54(b) are part of a moving image for explaining the indicator when viewed from above the user's head. An item 5401 displayed in area1 in FIG. 54(a) shows a person projected from behind, and an item 5402 shown in FIG. 54(b) shows a person projected from above. Actually, since the transition from the item 5401 to the item 5402 is shown by a moving image, the user can recognize that the viewpoint has changed to the one seen from above the person. Also, in step S5213, a voice guidance saying "Let's pay attention to the movement of the shoulder as seen from directly above" is also pronounced. The processing of steps S5210 and S5211 may be performed simultaneously with step S5209.
ステップＳ５２１２では、制御部１９０は、所定の部位の動きを示すアイテムに関するガイダンス画像（静止画）を第１の領域に表示し、ガイダンスを発声する。図５５（ａ）、（ｂ）のａｒｅａ１に表示されるアイテム５５０１、５５０２は、それぞれアイテム５３０３ａ、ｂについての説明をするためのアイテムである。アイテム５３０３ａと同じ形のアイテム５５０１では、右肩と左肩の前方回転と後方回転とを説明している。また、アイテム５３０３ｂと同じ形のアイテム５５０２では、右ひじと左ひじの位置を示していることと、ひじの振れる位置の前方目標と後方目標とを説明している。アイテム５３０３ａを表示するとともに、「肩の動きに合わせて画面上の針が動きます。肩の動きを左右対称にしましょう」というガイダンスも通知される。まず、アイテム５５０１のみをａｒｅａ１に表示し、次にアイテム５５０２を表示することで、ユーザがそれぞれのアイテムのガイダンス内容に注目することができる。ガイダンス画像は、ユーザの動きに応じて表示形態が変わらない。 In step S5212, control unit 190 displays in the first area a guidance image (still image) relating to an item showing movement of a predetermined part, and vocalizes guidance. Items 5501 and 5502 displayed in area 1 in FIGS. 55A and 55B are items for explaining items 5303a and 5303b, respectively. Item 5501, which has the same shape as item 5303a, describes forward and backward rotation of the right and left shoulders. Item 5502, which has the same shape as item 5303b, describes the positions of the right elbow and the left elbow, and the forward and backward targets of the swinging position of the elbow. In addition to displaying the item 5303a, the user is also notified of the guidance "The needle on the screen moves according to the movement of the shoulder. Make the movement of the shoulder symmetrical". First, by displaying only the item 5501 in the area1 and then displaying the item 5502, the user can pay attention to the guidance content of each item. The display form of the guidance image does not change according to the movement of the user.
ステップＳ５２１３では、制御部１９０は、トレーニングが終了されたか否かを判定する。トレーニングは、ユーザが手動で終了しても良いし、ステップＳ５２０３から３分や５分といった所定時間が経過したことに応じて終了しても良い。ステップＳ５２１３において、Ｙｅｓと判断した場合は、図５２の処理を終了し、そうでない場合は、ステップＳ５２０８へ進み、ユーザの動きに応じてインジケータを変化させる。 In step S5213, control unit 190 determines whether or not training has ended. The training may be terminated manually by the user, or may be terminated when a predetermined time such as 3 minutes or 5 minutes has elapsed from step S5203. If Yes in step S5213, the process of FIG. 52 is terminated. Otherwise, the process advances to step S5208 to change the indicator according to the movement of the user.
以上、説明した実施の形態によれば、ユーザはより分かりやすくトレーニングを行うことができる。前述したように、最初から所定の部位に関するアイテムを表示してしまうとユーザが所定の部位にばかり注目してしまいトレーニングがしにくくなる。よって、最初はユーザの身体全体を示すアイテムを表示しておき、途中から所定の部位に関するアイテムを表示することでユーザはトレーニング全体の動きを把握したあとで細かな動かし方に注目できる。また、トレーナーの動画像を非表示にすることでユーザはトレーナーばかりを見るのではなく、所定の部位に注目できる。 According to the embodiments described above, the user can perform training in a more comprehensible manner. As described above, if items related to a predetermined body part are displayed from the beginning, the user will focus only on the predetermined body part, making training difficult. Therefore, by displaying items representing the user's entire body at first and then displaying items related to a predetermined part in the middle, the user can pay attention to detailed movements after grasping the movement of the entire training. In addition, by hiding the moving image of the trainer, the user can focus on a predetermined part of the trainer instead of looking only at the trainer.
次に、第６の実施の形態の変形例について説明をする。図５２のステップＳ５２１０ではトレーナー動画像を非表示にし、ステップＳ５２１１、５２１２においてガイダンスを表示するとしたが、以下のようにしても良い。 Next, a modification of the sixth embodiment will be described. Although the trainer moving image is hidden in step S5210 of FIG. 52 and the guidance is displayed in steps S5211 and S5212, the following may be performed.
図５６（ａ）、（ｂ）にはトレーナー動画像を非表示にしたあとに表示するアイテムの例を示している。図５６（ａ）では、残りのトレーニング時間を５秒ごとに表示する変形例、図５６（ｂ）では、トレーナーの動きを点群データを示すアイテムで表示する変形例を示す。いずれの場合にも、トレーナー動画像が表示される（人物の動画が表示されるとついユーザが見てしまうため）よりも、アイテム５３０３への注目度をあげることができる。 FIGS. 56A and 56B show examples of items displayed after the trainer moving image is hidden. FIG. 56(a) shows a modified example in which the remaining training time is displayed every 5 seconds, and FIG. 56(b) shows a modified example in which the movement of the trainer is displayed with items representing point cloud data. In either case, it is possible to increase the degree of attention to the item 5303 rather than displaying the trainer moving image (because the user tends to see the displayed moving image of the person).
さらに、上述の実施の形態では、腕振りのトレーニングメニューについて説明をしたが、その他のトレーニングメニューの場合について説明をする。 Furthermore, in the above-described embodiment, the arm-swinging training menu has been described, but other training menus will be described.
図５７（ａ）、（ｂ）、（ｃ）は、膝回しの場合の画面例を示している。ステップＳ５２０３においてトレーナーの動画像５７０１をディスプレイ１３２のａｒｅａ１に表示し、ステップＳ５２０５においてユーザの身体全体の動きを取得し、ステップＳ５２０６において点群データを示すアイテム５７０２をａｒｅａ２に表示する（図５７（ａ））。さらに、ステップＳ５２０８において膝の動きを取得し、ステップＳ５２０９においてａｒｅａ２に膝の動きを示すアイテム５７０４を表示する（図５７（ｂ））。図５７（ｃ）は、膝の動きを示すアイテム５７０４について説明するための図である。アイテム５７０５は膝回しが開始された時のアイテムの表示形態を示しており、ユーザの足を実線の円が膝の位置、点線の円が目標位置を示している。アイテム５７０６は膝回しを始めた時のアイテムの表示形態を示しており、実線の円（膝）の動きた軌跡が示されている。アイテム５７０７は、２周目の膝回しが開始された時の表示形態を示しており、１周目とは異なる色で軌跡が示されている。アイテム５７０８は２周目が完了した際の表示形態を示している。つまり、Ｎ周目の軌跡と、Ｎ＋１周目の軌跡は異なる色で表示され、ユーザは点線の円に沿って膝回しができているのかを確認できる。なお、トレーナー動画像が非表示になったあとは、点群データを示すアイテム５７０３を表示しているが、アイテム５７０４のガイダンスを表示しても良い。このように、所定の部位の動きを示すアイテムは、目標とする円に沿って所定の部位を動かすようなゲーミング的なアイテムであっても良い。 FIGS. 57(a), (b), and (c) show screen examples in the case of knee rotation. In step S5203, the moving image 5701 of the trainer is displayed in the area1 of the display 132, in step S5205 the movement of the user's entire body is obtained, and in step S5206 the item 5702 representing the point cloud data is displayed in the area2 (FIG. 57(a)). Further, the motion of the knee is acquired in step S5208, and an item 5704 indicating the motion of the knee is displayed in area2 in step S5209 (FIG. 57(b)). FIG. 57(c) is a diagram for explaining an item 5704 indicating knee movement. An item 5705 indicates the display form of the item when knee rotation is started, and the solid-line circle indicates the knee position of the user's foot, and the dotted-line circle indicates the target position. An item 5706 shows the display form of the item when the knee rotation is started, and shows the trajectory of the movement of the solid-line circle (knee). Item 5707 shows the display form when the second round of knee rotation is started, and the trajectory is shown in a color different from that of the first round. Item 5708 shows the display form when the second round is completed. That is, the trajectory of the N round and the trajectory of the N+1 round are displayed in different colors, and the user can confirm whether or not the knee can be turned along the dotted circle. Although the item 5703 indicating the point cloud data is displayed after the trainer moving image is hidden, guidance for the item 5704 may be displayed. In this way, the item indicating the movement of the predetermined portion may be a gaming item that moves the predetermined portion along the target circle.
図５８（ａ）、（ｂ）、（ｃ）は、肩回しの場合の画面例を示している。ステップＳ５２０３においてトレーナーの動画像５８０１をディスプレイ１３２のａｒｅａ１に表示し、ステップＳ５２０５においてユーザの身体全体の動きを取得し、ステップＳ５２０６において点群データを示すアイテム５８０２をａｒｅａ２に表示する（図５８（ａ））。さらに、ステップＳ５２０８において手の動きを取得し、ステップＳ５２０９においてａｒｅａ２に手の動きを示すアイテム５８０４を表示する（図５８（ｂ））。図５８（ｃ）は、肩回しの際の手の動きを示すアイテム５８０４について説明するための図である。アイテム５８０５は膝回しの１周目が終了した際の表示形態であり、軌跡５８０５ａが示される。アイテム５８０６は、２周目の肩回しが開始された時の表示形態を示しており、１周目とは異なる色で軌跡が示されている。つまり、Ｎ周目の軌跡と、Ｎ＋１周目の軌跡は異なる色で表示され、ユーザは前回しと後ろ回しでの軌跡の違いを把握することができる。なお、トレーナー動画像が非表示になったあとは、点群データを示すアイテム５８０３を表示しているが、アイテム５８０４のガイダンスを表示しても良い。このように、所定の部位の動きを示すアイテムは、補助線であっても良い。 FIGS. 58(a), (b), and (c) show screen examples in the case of shoulder rotation. In step S5203, the moving image 5801 of the trainer is displayed in area1 of the display 132, in step S5205 the movement of the user's entire body is obtained, and in step S5206 an item 5802 indicating point cloud data is displayed in area2 (FIG. 58(a)). Further, the motion of the hand is acquired in step S5208, and an item 5804 indicating the motion of the hand is displayed in area2 in step S5209 (FIG. 58(b)). FIG. 58(c) is a diagram for explaining an item 5804 indicating a hand movement during shoulder rotation. An item 5805 is a display form when the first round of knee rotation is completed, and a trajectory 5805a is shown. Item 5806 shows the display form when the shoulder rotation of the second round is started, and the trajectory is shown in a color different from that of the first round. In other words, the trajectory of the N round and the trajectory of the N+1 round are displayed in different colors, and the user can grasp the difference between the trajectories of the previous rotation and the backward rotation. Although the item 5803 indicating the point cloud data is displayed after the trainer moving image is hidden, guidance for the item 5804 may be displayed. In this way, the item indicating the movement of a predetermined part may be an auxiliary line.
なお、制御部１９０が行うものとして説明した上述の各種の制御は１つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、システム全体の制御を行ってもよい。 Note that the various controls described above that are performed by the control unit 190 may be performed by a single piece of hardware, or a plurality of pieces of hardware may share the processing to control the entire system.
また、本発明をその好適な実施の形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。 In addition, although the present invention has been described in detail based on its preferred embodiments, the present invention is not limited to these specific embodiments, and various forms without departing from the scope of the present invention are also included in the present invention. Furthermore, each embodiment described above merely shows one embodiment of the present invention, and it is also possible to combine each embodiment as appropriate.
（他の実施形態） (Other embodiments)
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記録媒体は本発明を構成することになる。
＜付記＞
以上の各実施形態で説明した事項を以下に付記する。
（付記１）
コンピュータを動作させるためのプログラムであって、前記プログラムは、前記コンピュータのプロセッサに、ユーザの動きを検知する検知ステップと、予め定まった第１の動きに関するトレーニングを開始する指示を受け付ける受付ステップと、前記検知ステップにおいて検知した動きに基づき、当該動きを示すアイテムを表示するように制御する表示制御ステップであって、前記受付ステップにおいて前記指示を受け付けたことに応じて、前記第１の動きを示す動画像と、前記検知ステップにおいて検知した動きを示すアイテムを第１のアイテムとを並べて表示し、前記受付ステップにおいて前記指示を受け付けた後、所定の条件が満たされたことに応じて、前記検知ステップにおいて検知した動きを示すアイテムであって、前記第一のアイテムとは表示形態が異なり、前記ユーザの動きに応じて非表示にはならない第２のアイテムを新たに表示するように制御する表示制御ステップとを実行することを特徴とするプログラム。The present invention is also realized by executing the following processing. That is, the software (program) that realizes the functions of the above-described embodiments is supplied to a system or device via a network or various recording media, and the computer (or CPU, MPU, etc.) of the system or device reads and executes the program code. In this case, the program and the recording medium storing the program constitute the present invention.
<Appendix>
The items described in the above embodiments will be added below.
(Appendix 1)
A program for operating a computer, the program comprising: a detection step of detecting a movement of a user; a receiving step of receiving an instruction to start training related to a predetermined first movement; and a display control step of controlling the movement detected in the detection step to display an item representing the movement based on the movement detected in the detection step. , after receiving the instruction in the receiving step, in response to a predetermined condition being satisfied, a display control step of controlling to newly display a second item that indicates the movement detected in the detecting step, has a different display form from the first item and is not hidden according to the movement of the user.
１０ 端末装置、２０ サーバ、３０ 測定ユニット、３１ 測定装置、３２ マット、３３ ポール、１３２ ディスプレイ、１８１ ユーザ情報、１８２ 測定項目情報、１８３ 測定履歴情報、１８４ フレンドリスト、１８５ トレーニング項目情報、２８１ ユーザ情報データベース、２８２ 測定項目情報、２８３ 測定履歴データベース、２８４ フレンドリスト、２８５ トレーニング項目情報、２８７ 測定結果データベース、２８８ 評価結果データベース、２８９ ユーザアンケート情報、２９０ 評価結果データベース、２６０１ トレーニー情報データベース、２６０２ トレーナー情報データベース、２６０３ トレーニング履歴データベース
10 terminal device, 20 server, 30 measurement unit, 31 measurement device, 32 mat, 33 pole, 132 display, 181 user information, 182 measurement item information, 183 measurement history information, 184 friend list, 185 training item information, 281 user information database, 282 measurement item information, 283 measurement history database, 284 friend list, 285 training item information, 287 measurement result database, 288 evaluation result database, 289 user questionnaire information, 290 evaluation result database, 2601 trainee information database, 2602 trainer information database, 2603 training history database
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022003561AJP7150387B1 (en) | 2022-01-13 | 2022-01-13 | Programs, methods and electronics |
| JP2022152141AJP2023103157A (en) | 2022-01-13 | 2022-09-26 | Program, method and electronic apparatus |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022003561AJP7150387B1 (en) | 2022-01-13 | 2022-01-13 | Programs, methods and electronics |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022152141ADivisionJP2023103157A (en) | 2022-01-13 | 2022-09-26 | Program, method and electronic apparatus |
| Publication Number | Publication Date |
|---|---|
| JP7150387B1 JP7150387B1 (en) | 2022-10-11 |
| JP2023102856Atrue JP2023102856A (en) | 2023-07-26 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022003561AActiveJP7150387B1 (en) | 2022-01-13 | 2022-01-13 | Programs, methods and electronics |
| JP2022152141APendingJP2023103157A (en) | 2022-01-13 | 2022-09-26 | Program, method and electronic apparatus |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022152141APendingJP2023103157A (en) | 2022-01-13 | 2022-09-26 | Program, method and electronic apparatus |
| Country | Link |
|---|---|
| JP (2) | JP7150387B1 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2025075819A (en)* | 2023-10-31 | 2025-05-15 | 株式会社コロプラ | Program and system |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7743023B2 (en)* | 2023-06-23 | 2025-09-24 | 京楽産業．株式会社 | gaming machines |
| WO2025177660A1 (en)* | 2024-02-21 | 2025-08-28 | ソニーグループ株式会社 | Information processing system, information processing method, and program |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012039467A1 (en)* | 2010-09-22 | 2012-03-29 | パナソニック株式会社 | Exercise assistance system |
| JP2017023689A (en)* | 2015-07-24 | 2017-02-02 | 株式会社東芝 | Monitoring system, monitoring method and program |
| JP2017060572A (en)* | 2015-09-24 | 2017-03-30 | パナソニックＩｐマネジメント株式会社 | Functional training device |
| WO2017130339A1 (en)* | 2016-01-27 | 2017-08-03 | 株式会社ジェイアイエヌ | Information processing method, information processing device, and program |
| JP2017169985A (en)* | 2016-03-25 | 2017-09-28 | 株式会社ジンズ | Information processing method, program, and information processing apparatus |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012039467A1 (en)* | 2010-09-22 | 2012-03-29 | パナソニック株式会社 | Exercise assistance system |
| JP2017023689A (en)* | 2015-07-24 | 2017-02-02 | 株式会社東芝 | Monitoring system, monitoring method and program |
| JP2017060572A (en)* | 2015-09-24 | 2017-03-30 | パナソニックＩｐマネジメント株式会社 | Functional training device |
| WO2017130339A1 (en)* | 2016-01-27 | 2017-08-03 | 株式会社ジェイアイエヌ | Information processing method, information processing device, and program |
| JP2017169985A (en)* | 2016-03-25 | 2017-09-28 | 株式会社ジンズ | Information processing method, program, and information processing apparatus |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2025075819A (en)* | 2023-10-31 | 2025-05-15 | 株式会社コロプラ | Program and system |
| Publication number | Publication date |
|---|---|
| JP2023103157A (en) | 2023-07-26 |
| JP7150387B1 (en) | 2022-10-11 |
| Publication | Publication Date | Title |
|---|---|---|
| JP7263432B2 (en) | Treatment and/or exercise guidance process management system, program, computer device, and method for treatment and/or exercise guidance process management | |
| US11037369B2 (en) | Virtual or augmented reality rehabilitation | |
| JP7150387B1 (en) | Programs, methods and electronics | |
| KR101959079B1 (en) | Method for measuring and evaluating body performance of user | |
| US9330239B2 (en) | Cloud-based initiation of customized exercise routine | |
| JP6884306B1 (en) | System, method, information processing device | |
| JP7599238B2 (en) | Program, method, and information processing device | |
| US11983962B2 (en) | Information processing apparatus, and method | |
| US20150196804A1 (en) | Sensor-based evaluation and feedback of exercise performance | |
| US20230240594A1 (en) | Posture assessment program, posture assessment apparatus, posture assessment method, and posture assessment system | |
| US20230285806A1 (en) | Systems and methods for intelligent fitness solutions | |
| US20230116624A1 (en) | Methods and systems for assisted fitness | |
| JP2020174910A (en) | Exercise support system | |
| KR102457571B1 (en) | Augmented reality-based lumbar core twist exercise treatment system and lumbar core twist exercise treatment method | |
| JP6774582B1 (en) | Measurement system, program | |
| JP6741892B1 (en) | Measuring system, method, program | |
| JP2021068069A (en) | Providing method for unmanned training | |
| JP2022158701A (en) | program, method, information processing device | |
| JP6811349B1 (en) | Information processing equipment, methods, programs | |
| JP2022158694A (en) | program, method, information processing device | |
| US20250041668A1 (en) | Exercise menu management device, exercise management method, and computer program | |
| WO2024159402A1 (en) | An activity tracking apparatus and system | |
| KR20230102022A (en) | system and control method for acquiring and analyzing swing data by classifying golf swing stages through the use of MEMS sensors | |
| WO2025076479A1 (en) | Approaches to generating programmatic definitions of physical activities through automated analysis of videos | |
| CN120448963A (en) | Motion evaluation method, device, equipment and medium based on multi-mode perception |
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20220812 | |
| A871 | Explanation of circumstances concerning accelerated examination | Free format text:JAPANESE INTERMEDIATE CODE: A871 Effective date:20220812 | |
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20220901 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20220926 | |
| R150 | Certificate of patent or registration of utility model | Ref document number:7150387 Country of ref document:JP Free format text:JAPANESE INTERMEDIATE CODE: R150 | |
| S111 | Request for change of ownership or part of ownership | Free format text:JAPANESE INTERMEDIATE CODE: R313113 | |
| R350 | Written notification of registration of transfer | Free format text:JAPANESE INTERMEDIATE CODE: R350 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 |