JP7668459B2 - Exercise support system and exercise support method - Google Patents

Description

Translated fromJapanese

本発明は、運動のトレーニングを支援する運動支援システム及び運動支援方法に関する。The present invention relates to an exercise support system and an exercise support method that support exercise training.

近時の感染症の広がりにより、三密や感染を避けるために、従前のように、フィットネスジムに通うことが難しくなり、自宅でのちょっとした合間に、手軽に運動ができるソリューションの提供が望まれている。このようなソリューションの一つとして、スマートフォンを用いることで、所望する手本となるトレーニング映像とユーザの動きとをディスプレイ上で見比べることを可能にする技術が提案されている（例えば、特許文献１参照）。The recent spread of infectious diseases has made it difficult to visit fitness gyms as before in order to avoid the "three Cs" and infection, and so there is a demand for solutions that allow users to easily exercise at home during their free time. One such solution is a technology that uses a smartphone to make it possible to compare a desired model training video with the user's movements on a display (see, for example, Patent Document 1).

特開２０２０－１９５５７３号公報JP 2020-195573 A

しかしながら、特許文献１の技術によれば、手本となるトレーニング映像とユーザの動きとの差異がある程度分かるために客観的評価が可能になるものの、その差異の精度が低いという問題がある。特許文献１の技術では、スマートフォンに搭載されたカメラによってユーザの動きが検出されるが、そのようなカメラでは、画角、解像度及びフレームレートが十分ではないために、運動するユーザの動きを高精度に検出することが困難だからである。そのために、効果的な運動を支援したり、ユーザに運動の習慣化を促したりするには、特許文献１の技術では十分とはいえない。However, while the technology of Patent Document 1 allows for an objective evaluation because it is possible to discern to some extent the difference between the model training video and the user's movements, there is a problem in that the accuracy of the difference is low. With the technology of Patent Document 1, the user's movements are detected by a camera mounted on a smartphone, but such a camera has insufficient angle of view, resolution, and frame rate, making it difficult to detect the movements of an exercising user with high accuracy. For this reason, the technology of Patent Document 1 cannot be said to be sufficient for supporting effective exercise or encouraging users to make exercising a habit.

そこで、本発明は、このような状況に鑑みてなされたものであり、従来よりも効果的に運動を支援したり、ユーザに運動の習慣化を促して継続性を高めたりすることができる運動支援システム及び運動支援方法を提供することを目的とする。The present invention has been made in consideration of these circumstances, and aims to provide an exercise support system and an exercise support method that can support exercise more effectively than ever before and encourage users to make exercise a habit and increase continuity.

上記目的を達成するために、本発明の一形態に係る運動支援システムは、宅内でのユーザによる運動のトレーニングを支援する宅内装置と、施設内での前記ユーザによる運動のトレーニングを支援する施設装置と、通信路を介して前記宅内装置および施設装置に接続される運動支援装置と、前記宅内装置、前記施設装置及び前記運動支援装置の何れかの装置に備えられ、手本となるトレーニング映像を保持する記憶部とを備え、前記宅内装置は、映像を表示する第１表示部と、前記記憶部に保持されたトレーニング映像を前記第１表示部に表示させる制御をする第１制御部と、前記第１表示部に表示されたトレーニング映像に合わせて運動する前記ユーザの動きを検出する第１検出部とを有し、前記第１制御部は、さらに、前記第１検出部による検出結果に基づいて生成される、前記ユーザの運動を支援するための支援映像を前記トレーニング映像の表示に連動させて前記第１表示部に表示させる制御をし、前記施設装置は、映像を表示する第２表示部と、前記記憶部に保持されたトレーニング映像を前記第２表示部に表示させる制御をする第２制御部と、前記第２表示部に表示されたトレーニング映像に合わせて運動する前記ユーザの動きを、前記第１検出部よりも高精度で検出する第２検出部とを有し、前記第２制御部は、さらに、前記第２検出部によって検出された前記ユーザの動きと前記トレーニング映像が示す動きとの差異を算出し、算出した差異に基づいて生成される、前記ユーザの運動を支援するための支援映像を前記トレーニング映像の表示に連動させて前記第２表示部に表示させる制御をし、前記運動支援装置は、前記第２制御部によって算出された差異を示す差異データを取得し、取得した差異データに基づいて、手本となるトレーニング映像を生成し、前記宅内装置は、前記運動支援装置で生成された、手本となるトレーニング映像を、前記通信路を介して取得して前記記憶部に格納し、前記第１制御部は、前記記憶部に保持された、手本となるトレーニング映像を前記第１表示部に表示させる制御をし、前記第２制御部は、算出した差異に基づいて、前記ユーザの人体形状モデルを生成して筋力を算出し、生成した前記人体形状モデル及び算出した筋力を、前記支援映像として、前記第２表示部に表示させ、前記運動支援装置は、前記ユーザと前記トレーニング映像中のインストラクターの人体形状モデル及び筋力の差異を算出し、算出した前記差異を小さくする方向を示す矢印の画像を、前記ユーザの人体形状モデルに付加して加工することで、前記手本となる支援映像を生成する。 In order to achieve the above object, an exercise support system according to one embodiment of the present invention includes an in-home device that supports exercise training by a user at home, a facility device that supports exercise training by the user at a facility, an exercise support device connected to the in-home device and the facility device via a communication path, and a memory unit that is provided in any one of the in-home device, the facility device, and the exercise support device and stores a model training video, wherein the in-home device includes a first display unit that displays a video, a first control unit that controls the training video stored in the memory unit to be displayed on the first display unit, and a display unit that displays the training video on the first display unit. and a first detection unit that detects the movement of the user exercising in accordance with a training video stored in the storage unit, the first control unit further controls to display an assistance video for assisting the user's exercise, which is generated based on a detection result by the first detection unit, on the first display unit in conjunction with the display of the training video. The facility device has a second display unit that displays an image, a second control unit that controls to display the training video stored in the storage unit on the second display unit, and a second detection unit that detects the movement of the user exercising in accordance with the training video displayed on the second display unit with higher accuracy than the first detection unit. The second control unit further calculates a difference between the movement of the user detected by the second detection unit and the movement shown in the training video, and controls to display an assistance video for assisting the user's exercise, which is generated based on the calculated difference, on the second display unit in conjunction with the display of the training video. The exercise support device acquires difference data indicating the difference calculated by the second control unit, and generates a model training video based on the acquired difference data. The home device acquires the model training video generated by the exercise support device via the communication path and stores it in the storage unit. The first control unit controls the display of a model training video stored in the memory unit on the first display unit, the second control unit generates a human body shape model of the user and calculates muscle strength based on the calculated difference, and displays the generated human body shape model and the calculated muscle strength as the support video on the second display unit, and the exercise support device calculates the difference between the human body shape model and muscle strength of the user and the instructor in the training video, and generates the model support video by adding and processing an image of an arrow indicating the direction to reduce the calculated difference to the human body shape model of the user .

上記目的を達成するために、本発明の一形態に係る運動支援方法は、宅内でのユーザによる運動のトレーニングを支援する宅内装置と、施設内での前記ユーザによる運動のトレーニングを支援する施設装置と、通信路を介して少なくとも前記宅内装置に接続される運動支援装置と、前記宅内装置、前記施設装置及び前記運動支援装置の何れかの装置に備えられ、手本となるトレーニング映像を保持する記憶部とを備える運動支援システムによる運動支援方法であって、前記宅内装置が、前記記憶部に保持されたトレーニング映像を第１表示部に表示させるステップと、前記宅内装置が、第１検出部を用いて、前記第１表示部に表示されたトレーニング映像に合わせて運動する前記ユーザの動きを検出するステップと、前記宅内装置が、前記第１検出部による検出結果に基づいて生成される、前記ユーザの運動を支援するための支援映像を前記トレーニング映像の表示に連動させて前記第１表示部に表示させるステップと、前記施設装置が、前記記憶部に保持されたトレーニング映像を第２表示部に表示させるステップと、前記施設装置が、第２検出部を用いて、前記第２表示部に表示されたトレーニング映像に合わせて運動する前記ユーザの動きを、前記第１検出部よりも高精度で検出するステップと、前記施設装置が、前記第２検出部によって検出された前記ユーザの動きと前記トレーニング映像が示す動きとの差異を算出し、算出した差異に基づいて生成される、前記ユーザの運動を支援するための支援映像を前記トレーニング映像の表示に連動させて前記第２表示部に表示させるステップと、前記運動支援装置が、前記施設装置で算出された差異を示す差異データを取得し、取得した差異データに基づいて、手本となるトレーニング映像を生成するステップと、前記宅内装置が、前記運動支援装置で生成された、手本となるトレーニング映像を、前記通信路を介して取得して前記記憶部に格納し、前記記憶部に保持された、手本となるトレーニング映像を前記第１表示部に表示させる制御をするステップとを含み、前記前記施設装置は、算出した差異に基づいて、前記ユーザの人体形状モデルを生成して筋力を算出し、生成した前記人体形状モデル及び算出した筋力を、前記支援映像として、前記第２表示部に表示させ、前記運動支援装置は、前記ユーザと前記トレーニング映像中のインストラクターの人体形状モデル及び筋力の差異を算出し、算出した前記差異を小さくする方向を示す矢印の画像を、前記ユーザの人体形状モデルに付加して加工することで、前記手本となる支援映像を生成する。 In order to achieve the above object, an exercise support method according to one embodiment of the present invention is an exercise support method using an exercise support system including an in-home device that supports exercise training by a user at home, a facility device that supports exercise training by the user in a facility, an exercise support device connected to at least the in-home device via a communication path, and a storage unit that is provided in any one of the in-home device, the facility device, and the exercise support device and stores a model training video, the method including a step of the in-home device causing a first display unit to display the training video stored in the storage unit, and a step of the in-home device detecting the training video using a first detection unit. the facility device detects the user's movements exercising in accordance with the training video displayed on the second display unit using a second detection unit with higher accuracy than the first detection unit; the facility device calculates a difference between the user's movements detected by the second detection unit and the movements shown in the training video, and displays an assistance video for supporting the user's exercise, which is generated based on the calculated difference, on the second display unit in conjunction with the display of the training video; the exercise support device acquires difference data indicating the difference calculated by the facility device, and generates a model training video based on the acquired difference data; the home device acquires the model training video generated by the exercise support device via the communication path and stores it in the storage unit; and a step of controlling the display of an example training video stored in the memory unit on the first display unit, wherein the facility device generates a human body shape model of the user and calculates muscle strength based on the calculated difference, and displays the generated human body shape model and the calculated muscle strength as the support video on the second display unit, and the exercise support device calculates the difference between the human body shape model and muscle strength of the user and the instructor in the training video, and adds and processes an image of an arrow indicating the direction in which to reduce the calculated difference to the human body shape model of the user, thereby generating the example support video .

本発明により、従来よりも効果的に運動を支援したり、ユーザに運動の習慣化を促して継続性を高めたりすることができる運動支援システム及び運動支援方法が提供される。The present invention provides an exercise support system and an exercise support method that can support exercise more effectively than ever before and encourage users to make exercise a habit and increase continuity.

図１は、実施の形態に係る運動支援システムの全体構成図である。FIG. 1 is a diagram showing the overall configuration of an exercise support system according to an embodiment of the present invention.図２は、図１に示される運動支援システムの詳細な構成を示すブロック図である。FIG. 2 is a block diagram showing a detailed configuration of the exercise support system shown in FIG.図３は、実施の形態に係る運動支援システムにおける宅内装置の動作を示すフローチャートである。FIG. 3 is a flowchart showing the operation of the in-home device in the exercise support system according to the embodiment.図４は、実施の形態に係る運動支援システムにおける宅内装置の動作の様子を示す図である。FIG. 4 is a diagram showing the operation of the in-home device in the exercise support system according to the embodiment.図５は、実施の形態に係る運動支援システムにおける施設装置の動作を示すフローチャートである。FIG. 5 is a flowchart showing the operation of the facility device in the exercise support system according to the embodiment.図６は、実施の形態に係る運動支援システムにおける施設装置の動作の様子を示す図である。FIG. 6 is a diagram showing the operation of the facility device in the exercise support system according to the embodiment.図７Ａは、ユーザがトレーニングする場所におけるカメラ、床面ロードセル及び壁面ロードセルの配置例を示す図である。FIG. 7A is a diagram showing an example of the arrangement of cameras, floor load cells, and wall load cells in a location where a user trains.図７Ｂは、カメラ、床面ロードセル及び壁面ロードセルを用いた第２制御部によるユーザの動きの検出例を示す図である。FIG. 7B is a diagram showing an example of detection of a user's movement by the second control unit using a camera, a floor load cell, and a wall load cell.図７Ｃは、床面ロードセルによるユーザの重心位置の検出例を示す。FIG. 7C shows an example of detection of the user's center of gravity position by a floor load cell.図８は、図５におけるステップＳ２３ａ及びＳ２３ｂの詳細を示すフローチャートである。FIG. 8 is a flow chart showing the details of steps S23a and S23b in FIG.図９は、実施の形態に係る施設装置のプロジェクタによる支援映像及びトレーニング映像の表示例を示す図である。FIG. 9 is a diagram showing an example of a support video and a training video displayed by a projector of a facility device according to an embodiment.図１０は、運動しているユーザの状態に応じてトレーニング映像を変更する施設装置の動きを示すフローチャートである。FIG. 10 is a flow chart showing the operation of a facility device that changes training images depending on the state of a user who is exercising.図１１は、実施の形態の変形例に係る運動支援システムにおける運動支援装置の構成を示すブロック図である。FIG. 11 is a block diagram showing a configuration of an exercise support device in an exercise support system according to a modified example of the embodiment.図１２Ａは、実施の形態の変形例に係る運動支援システムにおける宅内装置と運動支援装置とのやりとりを示す通信シーケンス図である。FIG. 12A is a communication sequence diagram illustrating communication between an in-home device and an exercise support device in an exercise support system according to a modification of the embodiment.図１２Ｂは、実施の形態の変形例に係る運動支援システムにおける施設装置と運動支援装置とのやりとりを示す通信シーケンス図である。FIG. 12B is a communication sequence diagram showing communication between a facility device and an exercise support device in an exercise support system according to a modification of the embodiment.

以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示す。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であり、本発明を限定する主旨ではない。また、各図は、必ずしも厳密に図示したものではない。各図において、実質的に同一の構成については同一の符号を付し、重複する説明は省略又は簡略化する。The following describes in detail the embodiments of the present invention with reference to the drawings. Each embodiment described below is a specific example of the present invention. The numerical values, shapes, materials, components, the arrangement and connection of the components, steps, and the order of steps shown in the following embodiments are merely examples and are not intended to limit the present invention. Furthermore, each figure is not necessarily an exact illustration. In each figure, substantially identical configurations are given the same reference numerals, and duplicate explanations are omitted or simplified.

図１は、実施の形態に係る運動支援システム１０の全体構成図である。運動支援システム１０は、ユーザによる運動のトレーニングを支援するシステムであり、宅内でのユーザによる運動のトレーニングを支援する宅内装置２０と、フィットネスジム（オフィス、商業施設、教育機関、医療機関、介護施設、アトラクション施設）等の施設内でインストラクターによる指導の下でユーザが運動のトレーニングをすることを支援する施設装置３０と、インターネット等の通信路を介して宅内装置２０及び施設装置３０に接続されるエクササイズサーバとなる運動支援装置４０とを備える。Figure 1 is an overall configuration diagram of anexercise support system 10 according to an embodiment. Theexercise support system 10 is a system that supports exercise training by a user, and includes an in-home device 20 that supports exercise training by a user at home, afacility device 30 that supports exercise training by a user under the guidance of an instructor in a facility such as a fitness gym (office, commercial facility, educational institution, medical institution, nursing care facility, attraction facility), and anexercise support device 40 that serves as an exercise server connected to the in-home device 20 and thefacility device 30 via a communication path such as the Internet.

施設装置３０は、宅内装置２０に比べ、ユーザの運動における動きを高精度センシングすることで、ユーザのトレーニングを緻密かつ正確に支援することができる。この運動支援システム１０は、施設装置３０において高精度センシングされたユーザの動きが反映された、つまり、ユーザの個性を反映してユーザの運動を効果的に支援する手本となるトレーニング映像が運動支援装置４０で生成されて宅内装置２０にフィードバックされる点に特徴を有する。Compared to thehome device 20, thefacility device 30 can sense the user's movements during exercise with high precision, thereby providing detailed and accurate support for the user's training. Thisexercise support system 10 is characterized in that theexercise support device 40 generates training videos that reflect the user's movements sensed with high precision in thefacility device 30, that is, videos that reflect the user's individuality and serve as examples of effective support for the user's exercise, and feeds these videos back to thehome device 20.

図２は、図１に示される運動支援システム１０の詳細な構成を示すブロック図である。Figure 2 is a block diagram showing a detailed configuration of theexercise support system 10 shown in Figure 1.

宅内装置２０は、端末装置２１と、端末装置２１によって制御される周辺機器（照明装置２２、音響装置２３、プロジェクタ２４、空調装置２５）とで構成される。Theindoor device 20 is composed of aterminal device 21 and peripheral devices controlled by the terminal device 21 (lighting device 22,audio device 23,projector 24, and air conditioning device 25).

端末装置２１は、例えば、スマートフォン、タブレット等の携帯端末であり、カメラ２１ａ、ディスプレイ２１ｂ、第１記憶部２１ｃ、第１制御部２１ｄを備える。Theterminal device 21 is, for example, a mobile terminal such as a smartphone or a tablet, and is equipped with acamera 21a, a display 21b, afirst memory unit 21c, and afirst control unit 21d.

ディスプレイ２１ｂは、手本となるトレーニング映像及びユーザの運動を支援するための支援映像を表示するための第１表示部の一例であり、例えば、液晶ディスプレイである。Display 21b is an example of a first display unit for displaying model training video and support video to assist the user in exercising, and is, for example, a liquid crystal display.

第１記憶部２１ｃは、手本となるトレーニング映像を保持するための記憶部であり、例えば、半導体不揮発性メモリである。Thefirst storage unit 21c is a storage unit for storing model training video, and is, for example, a semiconductor non-volatile memory.

カメラ２１ａは、ディスプレイ２１ｂに表示されたトレーニング映像に合わせて運動するユーザの動きを検出する第１検出部の一例であり、例えば、デジタル撮像装置である。Camera 21a is an example of a first detection unit that detects the movements of the user exercising in accordance with the training video displayed on display 21b, and is, for example, a digital imaging device.

第１制御部２１ｄは、第１記憶部２１ｃに保持されたトレーニング映像をディスプレイ２１ｂ及び／又はプロジェクタ２４に表示させる制御をしたり、カメラ２１ａによる検出結果に基づいて、ユーザの運動を支援するための支援映像を生成し、生成した支援映像をトレーニング映像の表示に連動させてディスプレイ２１ｂ及び／又はプロジェクタ２４に表示させる制御をしたりする。第１制御部２１ｄは、プログラム等を格納するメモリ、プログラムを実行するＣＰＵ、周辺の構成要素と接続される入出力インタフェース、通信部２１ｅ等で構成される。通信部２１ｅは、無線又は有線での通信によって、外部の機器である周辺機器（照明装置２２、音響装置２３、プロジェクタ２４、空調装置２５）、運動支援装置４０、及び、施設装置３０と通信する通信インタフェースであり、例えば、ＷｉＦｉ（登録商標）又は携帯電話網用の通信カードである。Thefirst control unit 21d controls the display of the training video stored in thefirst storage unit 21c on the display 21b and/or theprojector 24, generates support video for supporting the user's exercise based on the detection results by thecamera 21a, and controls the display of the generated support video on the display 21b and/or theprojector 24 in conjunction with the display of the training video. Thefirst control unit 21d is composed of a memory for storing programs, a CPU for executing programs, an input/output interface connected to peripheral components, a communication unit 21e, etc. The communication unit 21e is a communication interface that communicates with external devices (lighting device 22,audio device 23,projector 24, air conditioner 25), theexercise support device 40, and thefacility device 30 by wireless or wired communication, and is, for example, a communication card for WiFi (registered trademark) or a mobile phone network.

なお、第１記憶部２１ｃは、宅内装置２０に設けられているとして説明したが、運動支援装置４０の第３記憶部４７または施設装置３０の第２記憶部３１ｃに設け、通信路を介して端末装置２１にトレーニング映像を送信し、第１制御部２１ｄにより、ディスプレイ２１ｂ及び／又はプロジェクタ２４に表示させるようにしてもよい。Although thefirst memory unit 21c has been described as being provided in the in-home device 20, it may be provided in thethird memory unit 47 of theexercise support device 40 or thesecond memory unit 31c of thefacility device 30, and the training video may be transmitted to theterminal device 21 via a communication path, and thefirst control unit 21d may display the video on the display 21b and/orprojector 24.

照明装置２２は、ユーザがいる空間を照明する装置であり、例えば、シーリングライト等のＬＥＤ照明装置であり、端末装置２１による制御の下で、トレーニング映像又は支援映像に連動して調光及び調色を行うことでユーザの運動意欲を増進させる演出効果を発揮する機器として使用してもよい。Thelighting device 22 is a device that illuminates the space in which the user is present, and may be, for example, an LED lighting device such as a ceiling light, and may be used as a device that provides a dramatic effect to increase the user's motivation to exercise by adjusting the brightness and color in conjunction with the training video or support video under the control of theterminal device 21.

音響装置２３は、ユーザがいる空間に楽曲等の音を提供するスピーカであり、端末装置２１による制御の下で、トレーニング映像又は支援映像に含まれる音声を再生することでユーザの運動意欲を増進させるための演出効果を発揮する機器として使用される。Theaudio device 23 is a speaker that provides music or other sounds to the space in which the user is located, and is used as a device that produces a dramatic effect to increase the user's motivation to exercise by playing back the audio contained in the training video or support video under the control of theterminal device 21.

プロジェクタ２４は、端末装置２１が備えるディスプレイ２１ｂに代えて、あるいは、ディスプレイ２１ｂとともに、端末装置２１による制御の下で、手本となるトレーニング映像及び支援映像を表示するための第１表示部の一例である。同様に第１端末装置２１による制御の下で、トレーニング映像又は支援映像に連動して、ユーザの運動意欲を増進させる演出効果を発揮する機器として使用してもよい。なお、第１表示部の一例としては、ＡｉｒＰｌａｙ（登録商標）に対応したＴＶ等であってもよい。Theprojector 24 is an example of a first display unit for displaying model training video and support video under the control of theterminal device 21, either in place of the display 21b provided in theterminal device 21 or together with the display 21b. Similarly, under the control of the firstterminal device 21, theprojector 24 may be used as a device that provides a dramatic effect that increases the user's motivation to exercise in conjunction with the training video or support video. Note that an example of the first display unit may be a TV compatible with AirPlay (registered trademark).

空調装置２５は、ユーザがいる空間の空気を調整する装置であり、例えば、エアコン、空気清浄機、サーキュレーター、扇風機等であり、端末装置２１による制御の下で、ユーザが運動するのに適した室温等の環境を維持する機器として使用される。Theair conditioning device 25 is a device that adjusts the air in the space where the user is present, such as an air conditioner, air purifier, circulator, electric fan, etc., and is used as equipment to maintain an environment such as room temperature suitable for the user to exercise under the control of theterminal device 21.

なお、端末装置２１は、必ずしも携帯端末である必要はなく、デスクトップＰＣ等の据置型の端末装置であってもよい。また、運動支援システム１０の構成要素としては、端末装置２１のディスプレイ２１ｂとプロジェクタ２４の両方は必ずしも必要ではなく、いずれか一方があればよい。また、運動支援システム１０の構成要素として、カメラ２１ａは、端末装置２１に備えられたものに限られず、それに代えて、あるいは、それに加えて、ｗｅｂカメラ等の外付けカメラであってもよい。また、周辺機器（照明装置２２、音響装置２３、プロジェクタ２４、空調装置２５）は、それぞれが独立した別個の機器である必要はなく、例えば、照明装置２２は、音響装置２３及びプロジェクタ２４が組み込まれた一体のスマートライトであってもよい。また、周辺機器（照明装置２２、音響装置２３、プロジェクタ２４、空調装置２５）は、運動支援システム１０の構成要素としては必ずしも必須の構成要素ではない。Theterminal device 21 does not necessarily have to be a mobile terminal, and may be a stationary terminal device such as a desktop PC. In addition, as components of theexercise support system 10, both the display 21b and theprojector 24 of theterminal device 21 are not necessarily required, and either one of them is sufficient. In addition, as a component of theexercise support system 10, thecamera 21a is not limited to being provided in theterminal device 21, and instead of or in addition to it, it may be an external camera such as a web camera. In addition, the peripheral devices (lighting device 22,audio device 23,projector 24, air conditioning device 25) do not necessarily have to be independent separate devices, and for example, thelighting device 22 may be an integrated smart light incorporating theaudio device 23 and theprojector 24. In addition, the peripheral devices (lighting device 22,audio device 23,projector 24, air conditioning device 25) are not necessarily essential components of theexercise support system 10.

施設装置３０は、コントローラ３１と、コントローラ３１によって制御される周辺機器（照明装置３２、音響装置３３、プロジェクタ３４、カメラ３６ａ～３６ｄ、空調装置３５、床面ロードセル３７ａ、壁面ロードセル３７ｂ）とで構成される。Thefacility equipment 30 is composed of acontroller 31 and peripheral devices controlled by the controller 31 (lighting equipment 32,audio equipment 33,projector 34,cameras 36a to 36d,air conditioning equipment 35,floor load cell 37a, andwall load cell 37b).

コントローラ３１は、周辺機器を制御する装置であり、例えば、ＰＣ等のコンピュータ装置であり、第２記憶部３１ｃ及び第２制御部３１ａを備える。Thecontroller 31 is a device that controls peripheral devices, such as a computer device such as a PC, and includes asecond memory unit 31c and asecond control unit 31a.

第２記憶部３１ｃは、手本となるトレーニング映像を保持するための記憶部であり、例えば、半導体不揮発性メモリである。Thesecond memory unit 31c is a memory unit for storing model training video, and is, for example, a semiconductor non-volatile memory.

第２制御部３１ａは、第２記憶部３１ｃに保持されたトレーニング映像をプロジェクタ３４に表示させる制御をしたり、カメラ３６ａ～３６ｄ、床面ロードセル３７ａ及び壁面ロードセル３７ｂによって検出されたユーザの動きとトレーニング映像が示す動きとの差異を算出し、算出した差異に基づいて、ユーザの運動を支援するための支援映像を生成し、生成した支援映像をトレーニング映像の表示に連動させてプロジェクタ３４に表示させる制御をしたりする。第２制御部３１ａは、プログラム等を格納するメモリ、プログラムを実行するＣＰＵ、周辺の構成要素と接続される入出力インタフェース、通信部３１ｂ等で構成される。通信部３１ｂは、無線又は有線での通信によって、外部の機器である周辺機器（照明装置３２、音響装置３３、プロジェクタ３４、カメラ３６ａ～３６ｄ、空調装置３５、床面ロードセル３７ａ、壁面ロードセル３７ｂ）、運動支援装置４０、及び、宅内装置２０と通信する通信インタフェースであり、例えば、ＷｉＦｉ（登録商標）又は携帯電話網用の通信カードである。Thesecond control unit 31a controls theprojector 34 to display the training video stored in thesecond storage unit 31c, calculates the difference between the user's movements detected by thecameras 36a-36d, thefloor load cell 37a, and thewall load cell 37b and the movements shown in the training video, generates an assistance video for assisting the user's exercise based on the calculated difference, and controls theprojector 34 to display the generated assistance video in conjunction with the display of the training video. Thesecond control unit 31a is composed of a memory for storing programs, etc., a CPU for executing programs, an input/output interface connected to peripheral components, a communication unit 31b, etc. The communication unit 31b is a communication interface that communicates with external devices such as peripheral devices (lighting device 32,audio device 33,projector 34,cameras 36a-36d,air conditioner 35,floor load cell 37a,wall load cell 37b),exercise support device 40, and in-home device 20 via wireless or wired communication, and is, for example, a communication card for WiFi (registered trademark) or a mobile phone network.

照明装置３２は、ユーザがいる空間を照明する装置であり、例えば、シーリングライト等のＬＥＤ照明装置であり、コントローラ３１による制御の下で、トレーニング映像又は支援映像に連動して調光及び調色を行うことでユーザの運動意欲を増進させる演出効果を発揮する機器として使用される。なお、ここでいう調色には、フルカラー調色が含まれる。Thelighting device 32 is a device that illuminates the space in which the user is present, and is, for example, an LED lighting device such as a ceiling light, and is used as a device that exerts a dramatic effect to increase the user's motivation to exercise by adjusting the brightness and color in conjunction with the training video or support video under the control of thecontroller 31. Note that color adjustment here includes full-color color adjustment.

音響装置３３は、ユーザがいる空間に楽曲等の音声を提供するスピーカであり、コントローラ３１による制御の下で、トレーニング映像又は支援映像に含まれる音声を再生することでユーザの運動意欲を増進させるための演出効果を発揮する機器として使用される。Theaudio device 33 is a speaker that provides sound such as music to the space in which the user is located, and is used as a device that produces a dramatic effect to increase the user's motivation to exercise by playing back the sound contained in the training video or support video under the control of thecontroller 31.

カメラ３６ａ～３６ｄは、プロジェクタ３４によって表示されたトレーニング映像に合わせて運動するユーザの動きを、宅内装置２０を構成する第１検出部（つまり、カメラ２１ａ）よりも高精度で検出する第２検出部の一例であり、例えば、デジタル撮像装置である。より詳しくは、カメラ３６ａ～３６ｄは、宅内装置２０が備えるカメラ２１ａよりも広画角及び高フレームレートの少なくとも１つの機能をもつ高機能カメラである。Cameras 36a to 36d are an example of a second detection unit that detects the movements of a user exercising in accordance with the training video displayed byprojector 34 with higher accuracy than the first detection unit (i.e.,camera 21a) constitutinghome device 20, and are, for example, digital imaging devices. More specifically,cameras 36a to 36d are high-performance cameras that have at least one of the functions of a wider angle of view and a higher frame rate thancamera 21a equipped inhome device 20.

プロジェクタ３４は、コントローラ３１による制御の下で、手本となるトレーニング映像及び支援映像を表示するための第２表示部の一例である。また、コントローラ３１による制御の下で、トレーニング映像又は支援映像に連動して、ユーザの運動意欲を増進させる演出効果を発揮する機器として使用される。Projector 34 is an example of a second display unit for displaying model training video and support video under the control ofcontroller 31. In addition,projector 34 is used as a device that, under the control ofcontroller 31, provides a dramatic effect that enhances the user's motivation to exercise in conjunction with the training video or support video.

空調装置３５は、ユーザがいる空間の空気を調整する装置であり、例えば、エアコン、空気清浄機、サーキュレーター、扇風機等であり、コントローラ３１による制御の下で、ユーザが運動するのに適した室温等の環境を維持する機器として使用される。Theair conditioning device 35 is a device that adjusts the air in the space where the user is present, such as an air conditioner, air purifier, circulator, electric fan, etc., and is used as equipment that maintains an environment, such as room temperature, suitable for the user to exercise under the control of thecontroller 31.

床面ロードセル３７ａ及び壁面ロードセル３７ｂは、それぞれ、施設の床面及び壁面に対するユーザの押圧力を検出する、第２検出部に含まれる力センサの一例であり、２次元状に配置されたロードセルセンサを内蔵するシートである。Thefloor load cell 37a and thewall load cell 37b are examples of force sensors included in the second detection unit that detect the user's pressing force against the floor and wall of the facility, respectively, and are sheets that incorporate load cell sensors arranged in a two-dimensional manner.

なお、施設装置３０は、第２検出部として、４台のカメラ３６ａ～３６ｄを備えたが、宅内装置２０を構成する第１検出部（つまり、カメラ２１ａ）よりも高精度であれば、１台だけ備えてもよいし、２台、３台、５台以上備えてもよい。また、周辺機器（照明装置３２、音響装置３３、プロジェクタ３４、カメラ３６ａ～３６ｄ、空調装置３５、床面ロードセル３７ａ、壁面ロードセル３７ｂ）は、それぞれが独立した別個の機器である必要はなく、例えば、照明装置３２は、音響装置３３及びプロジェクタ３４が組み込まれた一体のスマートライトであってもよい。また、照明装置３２、音響装置３３、空調装置３５、床面ロードセル３７ａ、及び、壁面ロードセル３７ｂは、運動支援システム１０の構成要素としては必ずしも必須の構成要素ではない。Thefacility device 30 is provided with fourcameras 36a to 36d as the second detection unit, but may be provided with only one, two, three, five or more, as long as the second detection unit (i.e.,camera 21a) constituting thehome device 20 is more accurate. In addition, the peripheral devices (lighting device 32,audio device 33,projector 34,cameras 36a to 36d,air conditioner 35,floor load cell 37a,wall load cell 37b) do not need to be independent, separate devices. For example, thelighting device 32 may be an integrated smart light incorporating theaudio device 33 andprojector 34. In addition, thelighting device 32,audio device 33,air conditioner 35,floor load cell 37a, andwall load cell 37b are not necessarily essential components of theexercise support system 10.

なお、第２記憶部３１ｃは、施設装置３０に設けられているとして説明したが、運動支援装置４０に設け、通信路を介して施設装置３０にトレーニング映像を送信し、第２制御部３１ａにより、プロジェクタ３４に表示させるようにしてもよい。In the above description, thesecond storage unit 31c is provided in thefacility device 30, but it may be provided in theexercise support device 40, and the training video may be transmitted to thefacility device 30 via a communication path, and thesecond control unit 31a may display the video on theprojector 34.

運動支援装置４０は、宅内装置２０及び施設装置３０をクライアントとするサーバ装置であり、例えば、プログラム等を格納するメモリ、プログラムを実行するＣＰＵ、周辺機器と接続される入出力インタフェース、通信部、周辺機器等で構成されるコンピュータ装置であり、機能的に、トレーニング映像生成部４１を備える。また、手本となるトレーニング映像を保持する第３記憶部４７を備えてもよい。Theexercise support device 40 is a server device with the in-home device 20 and thefacility device 30 as clients, and is a computer device that is composed of, for example, a memory that stores programs, a CPU that executes the programs, an input/output interface that connects to peripheral devices, a communication unit, peripheral devices, etc., and functionally includes a training video generation unit 41. It may also include athird storage unit 47 that stores model training videos.

トレーニング映像生成部４１は、施設装置３０の第２制御部３１ａによって算出された、ユーザの動きとトレーニング映像が示す動きとの差異を示す差異データを、通信路を介して取得し、取得した差異データに基づいて、手本となるトレーニング映像を生成する。例えば、トレーニング映像生成部４１は、施設装置３０で使用されるものと同じトレーニング映像を第３記憶部４７等の保持している。トレーニング映像生成部４１は、そのトレーニング映像に対して、施設装置３０から取得した差異データが示す差異を小さくする方向を示す矢印等の画像を付加したり、差異を小さくするようにガイドする音声を生成してトレーニング映像に含めたりする。The training video generating unit 41 acquires difference data, calculated by thesecond control unit 31a of thefacility device 30, indicating the difference between the user's movement and the movement shown in the training video via a communication path, and generates a model training video based on the acquired difference data. For example, the training video generating unit 41 stores the same training video as that used by thefacility device 30 in thethird storage unit 47, etc. The training video generating unit 41 adds to the training video an image, such as an arrow indicating a direction to reduce the difference indicated by the difference data acquired from thefacility device 30, or generates audio guiding the user to reduce the difference and includes it in the training video.

これにより、端末装置２１が、手本となるトレーニング映像を運動支援装置４０からダウンロードして第１記憶部２１ｃに格納し、宅内でのユーザによる運動時に再生することで、ユーザは、高精度な第２検出部（つまり、カメラ３６ａ～３６ｄ）を備える施設装置３０で生成された差異データを有効に活用した、ユーザの個性を反映したガイド付きのトレーニング映像を用いた効果的なトレーニングをすることができる。As a result, theterminal device 21 downloads model training video from theexercise support device 40, stores it in thefirst storage unit 21c, and plays it back when the user exercises at home, allowing the user to effectively train using guided training video that reflects the user's individuality and effectively utilizes the difference data generated by thefacility device 30 equipped with a highly accurate second detection unit (i.e.,cameras 36a to 36d).

なお、トレーニング映像生成部４１は、通信路を介することなく、オフラインで、例えば、ユーザが所有する可搬型の記録媒体を介して、施設装置３０から差異データを取得してもよい。The training video generator 41 may also obtain the difference data from thefacility device 30 offline, without using a communication path, for example, via a portable recording medium owned by the user.

次に、以上のように構成される運動支援システム１０の動作について、説明する。Next, we will explain the operation of theexercise support system 10 configured as described above.

図３は、実施の形態に係る運動支援システム１０における宅内装置２０の動作（つまり、運動支援方法の一例）を示すフローチャートである。図４は、実施の形態に係る運動支援システム１０における宅内装置２０の動作の様子を示す図である。Figure 3 is a flowchart showing the operation of the in-home device 20 in theexercise support system 10 according to the embodiment (i.e., an example of an exercise support method). Figure 4 is a diagram showing the operation of the in-home device 20 in theexercise support system 10 according to the embodiment.

宅内装置２０の第１制御部２１ｄは、通信部２１ｅを介して、運動支援装置４０、テレビ放送又はインターネット上のｗｅｂサイトから、手本となるトレーニング映像をダウンロードし、第１記憶部２１ｃに格納する（Ｓ１０）。Thefirst control unit 21d of thehome device 20 downloads model training video from theexercise support device 40, a television broadcast, or a website on the Internet via the communication unit 21e, and stores it in thefirst storage unit 21c (S10).

第１制御部２１ｄは、第１記憶部２１ｃに格納されたトレーニング映像をディスプレイ２１ｂ又はプロジェクタ２４に表示させる制御をする（Ｓ１１）。このとき、第１制御部２１ｄは、トレーニング映像に含まれる音声を音響装置２３で再生させてもよいし、トレーニング映像におけるインストラクターの動きの激しさを分析し、その分析結果に応じて、照明装置２２及び音響装置２３を制御することでユーザに演出効果を与えてもよいし、空調装置２５を制御することでより快適な室温に調整してもよい。Thefirst control unit 21d controls the display of the training video stored in thefirst storage unit 21c on the display 21b or the projector 24 (S11). At this time, thefirst control unit 21d may play the sound included in the training video on theaudio device 23, or may analyze the intensity of the instructor's movements in the training video and, depending on the analysis results, may control thelighting device 22 and theaudio device 23 to provide a dramatic effect to the user, or may control theair conditioning device 25 to adjust the room temperature to a more comfortable level.

第１制御部２１ｄは、カメラ２１ａを用いて、ディスプレイ２１ｂ又はプロジェクタ２４によって表示されたトレーニング映像に合わせて運動するユーザの動きを検出する（Ｓ１２）。つまり、第１制御部２１ｄは、カメラ２１ａを制御することで、カメラ２１ａに、運動するユーザの動きを撮影させる。Thefirst control unit 21d uses thecamera 21a to detect the movements of the user exercising in accordance with the training video displayed by the display 21b or the projector 24 (S12). In other words, thefirst control unit 21d controls thecamera 21a to cause thecamera 21a to capture the movements of the user exercising.

第１制御部２１ｄは、カメラ２１ａによる検出結果に基づいて、ユーザの運動を支援するための支援映像を生成する（Ｓ１３）。支援映像としては、カメラ２１ａによる撮影で得られたユーザの動きを示す映像であってもよいし、その映像に対して第１制御部２１ｄによる解析によって生成された人体形状モデル（つまり、スケルトンモデル）等の加工された動画であってもよい。人体形状モデルは、例えば、人体の骨格に対応した複数個のセグメントと人体の関節に対応した複数個のジョイントとにより表現されるモデルである。Thefirst control unit 21d generates an assistance video for assisting the user in exercising based on the detection result by thecamera 21a (S13). The assistance video may be an image showing the user's movements captured by thecamera 21a, or may be a processed video such as a human body shape model (i.e., a skeleton model) generated by analyzing the image by thefirst control unit 21d. The human body shape model is, for example, a model represented by a plurality of segments corresponding to the skeleton of the human body and a plurality of joints corresponding to the joints of the human body.

そして、第１制御部２１ｄは、図４に示されるように、生成した支援映像２４ａをトレーニング映像２４ｂの表示に連動させてディスプレイ２１ｂ及び／又はプロジェクタ２４に表示させるとともに、支援映像に音声が含まれる場合には、その音声を音響装置２３で再生させる制御をする（Ｓ１４）。Then, as shown in FIG. 4, thefirst control unit 21d controls the display 21b and/or theprojector 24 to display the generatedsupport video 24a in conjunction with the display of thetraining video 24b, and, if the support video includes audio, controls the audio to be played on the audio device 23 (S14).

このようにして、ユーザは、宅内で、手本となるトレーニング映像と自分の動きとを見比べながらトレーニングすることができる。このとき、手本となるトレーニング映像として、運動支援装置４０で生成された、差異データを用いてユーザの個性が反映されたトレーニング映像をダウンロードしておくことで（Ｓ１０）、効果的な運動が支援され、運動の習慣化が促進されて継続性が高められる。In this way, the user can train at home while comparing the model training video with their own movements. At this time, by downloading the model training video, which is generated by theexercise support device 40 and reflects the user's individuality using difference data (S10), effective exercise is supported, and the user is encouraged to make the exercise a habit, thereby increasing continuity.

なお、第１制御部２１ｄは、ステップＳ１０において、テレビ放送又はインターネット上のｗｅｂサイトから、運動支援装置４０の第３記憶部４７または施設装置３０の第２記憶部３１ｃに格納された手本となるトレーニング映像より、トレーニング映像をディスプレイ２１ｂ又はプロジェクタ２４に表示させる制御をするようにしてもよい（Ｓ１１）。In addition, in step S10, thefirst control unit 21d may control the display 21b or theprojector 24 to display training video from a model training video stored in thethird memory unit 47 of theexercise support device 40 or thesecond memory unit 31c of thefacility device 30 via television broadcast or a website on the Internet (S11).

図５は、実施の形態に係る運動支援システム１０における施設装置３０の動作（つまり、運動支援方法の一例）を示すフローチャートである。図６は、実施の形態に係る運動支援システム１０における施設装置３０の動作の様子を示す図である。Figure 5 is a flowchart showing the operation of thefacility device 30 in theexercise support system 10 according to the embodiment (i.e., an example of an exercise support method). Figure 6 is a diagram showing the operation of thefacility device 30 in theexercise support system 10 according to the embodiment.

施設装置３０の第２制御部３１ａは、通信部３１ｂを介して、運動支援装置４０、テレビ放送又はインターネット上のｗｅｂサイトから、手本となるトレーニング映像をダウンロードし、第２記憶部３１ｃに格納する（Ｓ２０）。Thesecond control unit 31a of thefacility device 30 downloads model training video from theexercise support device 40, a television broadcast, or a website on the Internet via the communication unit 31b, and stores it in thesecond storage unit 31c (S20).

第２制御部３１ａは、第２記憶部３１ｃに格納されたトレーニング映像をプロジェクタ３４に表示させる制御をする（Ｓ２１）。このとき、第２制御部３１ａは、トレーニング映像に含まれる音声を音響装置３３で再生させてもよいし、トレーニング映像におけるインストラクターの動きの激しさを分析し、その分析結果に応じて、照明装置３２及び音響装置３３を制御することでユーザの運動意欲を増進させる演出効果を与えてもよいし、空調装置３５を制御することでより快適な室温に調整してもよい。Thesecond control unit 31a controls theprojector 34 to display the training video stored in thesecond storage unit 31c (S21). At this time, thesecond control unit 31a may play the sound included in the training video on theaudio device 33, or may analyze the intensity of the instructor's movements in the training video and, depending on the analysis results, control thelighting device 32 andaudio device 33 to provide a dramatic effect that increases the user's motivation to exercise, or control theair conditioning device 35 to adjust the room temperature to a more comfortable level.

第２制御部３１ａは、第２検出部（つまり、カメラ３６ａ～３６ｄ、床面ロードセル３７ａ及び壁面ロードセル３７ｂ）を用いて、プロジェクタ３４によって表示されたトレーニング映像に合わせて運動するユーザの動きを高精度に検出する（Ｓ２２）。この詳細は後述する。Thesecond control unit 31a uses the second detection unit (i.e., thecameras 36a to 36d, thefloor load cell 37a, and thewall load cell 37b) to detect with high accuracy the movements of the user exercising in accordance with the training video displayed by the projector 34 (S22). This will be described in detail later.

そして、第２制御部３１ａは、第２検出部（つまり、カメラ３６ａ～３６ｄ、床面ロードセル３７ａ及び壁面ロードセル３７ｂ）によって検出されたユーザの動きとトレーニング映像が示す動きとの差異を算出し（Ｓ２３ａ）、算出した差異に基づいて、ユーザの運動を支援するための高精度な支援映像を生成する（Ｓ２３ｂ）。例えば、第２制御部３１ａは、算出した差異に基づいて、ユーザの人体形状モデルを生成して筋力を算出し、生成した人体形状モデル及び算出した筋力を、支援映像として、生成する。この詳細は後述する。Then, thesecond control unit 31a calculates the difference between the user's movement detected by the second detection unit (i.e., thecameras 36a-36d, thefloor load cell 37a, and thewall load cell 37b) and the movement shown in the training video (S23a), and generates a highly accurate support video for supporting the user's exercise based on the calculated difference (S23b). For example, thesecond control unit 31a generates a human body shape model of the user and calculates muscle strength based on the calculated difference, and generates the generated human body shape model and the calculated muscle strength as a support video. This will be described in detail later.

そして、第２制御部３１ａは、図６に示されるように、生成した支援映像５１をトレーニング映像５２の表示に連動させてプロジェクタ３４に表示させるとともに、支援映像５１に音声が含まれる場合には、その音声を音響装置３３で再生させる制御をする（Ｓ２４）。Then, as shown in FIG. 6, thesecond control unit 31a controls theprojector 34 to display the generatedsupport video 51 in conjunction with the display of thetraining video 52, and, if thesupport video 51 includes audio, controls theaudio device 33 to play the audio (S24).

なお、第２記憶部３１ｃは、施設装置３０に設けられているとして説明したが、運動支援装置４０に設け、通信路を介してコントローラ３１にトレーニング映像を送信し、第２制御部３１ａにより、プロジェクタ３４に表示させるようにしてもよい。In the above description, thesecond storage unit 31c is provided in thefacility device 30, but it may also be provided in theexercise support device 40, and the training video may be transmitted to thecontroller 31 via a communication path, and thesecond control unit 31a may display the video on theprojector 34.

図７Ａ～図７Ｃは、カメラ３６ａ～３６ｄ、床面ロードセル３７ａ及び壁面ロードセル３７ｂを用いてユーザの動きを高精度に検出するステップＳ２２の詳細を説明する図である。Figures 7A to 7C are diagrams explaining the details of step S22, in which the user's movements are detected with highaccuracy using cameras 36a to 36d,floor load cell 37a, andwall load cell 37b.

図７Ａは、ユーザがトレーニングする場所（つまり、空間）におけるカメラ３６ａ～３６ｄ、床面ロードセル３７ａ及び壁面ロードセル３７ｂの配置例を示す図である。図７Ａの（ａ）は、ユーザがトレーニングする場所（つまり、空間）を水平方向から見た図である。図７Ａの（ｂ）は、ユーザがトレーニングする場所（つまり、空間）を鉛直上方から見た図である。ユーザの正面には、ユーザの顔をズームして撮影するカメラ３６ａが配置され、ユーザの正面及び左右の壁には、ユーザの動きをキャプチャするＫｉｎｅｃｔ（マイクロソフト社の商標）を構成するカメラ３６ｂ～３６ｄが配置され、床には、シート状の床面ロードセル３７ａが配置され、ユーザの正面の壁面には、シート状の壁面ロードセル３７ｂが配置されている。Figure 7A is a diagram showing an example of the arrangement ofcameras 36a-36d,floor load cell 37a, andwall load cell 37b in a place (i.e., a space) where a user trains. (a) of Figure 7A is a diagram showing the place (i.e., a space) where a user trains viewed from the horizontal direction. (b) of Figure 7A is a diagram showing the place (i.e., a space) where a user trains viewed from vertically above.Camera 36a that zooms in and captures the user's face is placed in front of the user,cameras 36b-36d that constitute Kinect (a trademark of Microsoft Corporation) that capture the user's movements are placed in front of the user and on the walls to the left and right of the user, a sheet-likefloor load cell 37a is placed on the floor, and a sheet-likewall load cell 37b is placed on the wall in front of the user.

図７Ｂは、カメラ３６ａ～３６ｄ、床面ロードセル３７ａ及び壁面ロードセル３７ｂを用いた第２制御部３１ａによるユーザの動きの検出例を示す図である。ここでは、カメラ３６ｂ～３６ｄで撮影された映像に対して生成される人体形状モデルの関節の位置が丸印で示されている。Figure 7B is a diagram showing an example of detection of a user's movement by thesecond control unit 31a using thecameras 36a to 36d, thefloor load cell 37a, and thewall load cell 37b. Here, the positions of the joints of the human body shape model generated for the images captured by thecameras 36b to 36d are indicated by circles.

図７Ｃは、床面ロードセル３７ａによるユーザの重心位置の検出例を示す。図７Ｃの（ａ）は、床面ロードセル３７ａの上に静止して立つユーザと（左側の図）、そのときに床面ロードセル３７ａによって検出されるユーザの重心位置（右側の図における丸印３７ｃ）が示されている。図７Ｃの（ｂ）は、床面ロードセル３７ａの上で動くユーザと（左側の図）、そのときに床面ロードセル３７ａによって検出されるユーザの重心位置（右側の図における丸印３７ｃ）が示されている。Figure 7C shows an example of detection of a user's center of gravity position byfloor load cell 37a. Figure 7C (a) shows a user standing motionless onfloor load cell 37a (left diagram) and the position of the user's center of gravity detected byfloor load cell 37a at that time (circle 37c in the right diagram). Figure 7C (b) shows a user moving onfloor load cell 37a (left diagram) and the position of the user's center of gravity detected byfloor load cell 37a at that time (circle 37c in the right diagram).

図８は、図５におけるステップＳ２３ａ及びＳ２３ｂの詳細を示すフローチャートである。Figure 8 is a flowchart showing the details of steps S23a and S23b in Figure 5.

第２制御部３１ａは、カメラ３６ｂ～３６ｄで得られたユーザの動きを示す映像を解析することで、ユーザの人体形状モデルを生成して筋力を算出する（Ｓ２３ａ１）。同様にして、第２制御部３１ａは、トレーニング映像を解析することで、トレーニング映像中のインストラクターの人体形状モデルを生成して筋力を算出する（Ｓ２３ａ２）。Thesecond control unit 31a analyzes the video showing the user's movements obtained by thecameras 36b to 36d to generate a human body shape model of the user and calculate muscle strength (S23a1). Similarly, thesecond control unit 31a analyzes the training video to generate a human body shape model of the instructor in the training video and calculate muscle strength (S23a2).

より具体的には、人体形状モデルの生成については、第２制御部３１ａは、カメラ３６ｂ～３６ｄで得られた映像から、高速な物体検出が可能なＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）やＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ）の手法により、ユーザの領域を抽出する。そして、抽出した領域に対して、例えば、ＣＰＮ（Ｃａｓｃａｄｅｄ Ｐｙｒａｍｉｄ Ｎｅｔｗｏｒｋ）などの手法を用いて、各フレームの人物画像から骨格点を抽出し、各骨格点を結び、複数の体節及び関節を備えた三次元の人体形状モデルを生成する。また、筋力については、第２制御部３１ａは、人体形状モデルが運動を行う際の関節ごとの関節力を算出し、人体形状モデルにおける関節ごとに当該関節を支持する複数の筋肉について当該筋肉の体積及び当該筋肉が体節に付着する位置を定める筋肉モデル（筋肉・筋力データベース）から、人体形状モデルにおける関節ごとに関節力から求められる筋力を、当該関節を支持する複数の筋肉の断面積に応じて配分することにより筋肉ごとの筋力を算出する（特開２０１３－６８９７９号公報（特許文献２）参照）。More specifically, to generate the human body shape model, thesecond control unit 31a extracts the user's area from the images captured by thecameras 36b to 36d using techniques such as YOLO (You Only Look Once) and SSD (Single Shot Multibox Detector), which are capable of high-speed object detection. Then, for the extracted area, skeletal points are extracted from the person image in each frame using a technique such as CPN (Cascaded Pyramid Network), and the skeletal points are connected to generate a three-dimensional human body shape model with multiple body segments and joints. In addition, regarding muscle strength, thesecond control unit 31a calculates the joint force for each joint when the human body geometric model moves, and calculates the muscle strength for each muscle by distributing the muscle force calculated from the joint force for each joint in the human body geometric model according to the cross-sectional area of the multiple muscles supporting the joint from a muscle model (muscle and muscle strength database) that determines the volume of the multiple muscles supporting each joint in the human body geometric model and the position where the muscle attaches to the body segment (see JP 2013-68979 A (Patent Document 2)).

そして、第２制御部３１ａは、ユーザとインストラクターの人体形状モデル及び筋力の差異を算出し（Ｓ２３ａ３）、その差異を小さくする方向を示す矢印等の画像を、算出されたユーザの人体形状モデルに付加して加工することで、支援映像として、生成する（Ｓ２３ｂ１）。このとき、第２制御部３１ａは、算出した差異を説明する音声、又は、その差異を小さくするようにガイドする音声を生成して、支援映像に含めてもよい。Then, thesecond control unit 31a calculates the difference between the human body shape model and muscle strength of the user and the instructor (S23a3), and generates a support video by adding and processing an image such as an arrow indicating the direction to reduce the difference to the calculated human body shape model of the user (S23b1). At this time, thesecond control unit 31a may generate audio explaining the calculated difference or audio guiding the user to reduce the difference, and include it in the support video.

次に、第２制御部３１ａは、床面ロードセル３７ａ及び壁面ロードセル３７ｂで検出された押圧力を用いて、映像から算出したユーザの筋力を補正する（Ｓ２３ｂ２）。例えば、第２制御部３１ａは、映像から算出したユーザの筋力に対して、床面ロードセル３７ａ及び壁面ロードセル３７ｂで検出された押圧力から算出される筋力に近づける補正をする。Next, thesecond control unit 31a corrects the user's muscle strength calculated from the video using the pressure detected by thefloor load cell 37a and thewall load cell 37b (S23b2). For example, thesecond control unit 31a corrects the user's muscle strength calculated from the video to approach the muscle strength calculated from the pressure detected by thefloor load cell 37a and thewall load cell 37b.

さらに、第２制御部３１ａは、床面ロードセル３７ａ及び壁面ロードセル３７ｂで検出された押圧力から、生成された人体形状モデルの重心位置を補正する（Ｓ２３ｂ３）。例えば、第２制御部３１ａは、映像から算出したユーザの人体形状モデルの重心位置に対して、床面ロードセル３７ａで検出された重心位置に近づける補正をする。Furthermore, thesecond control unit 31a corrects the center of gravity position of the generated human body shape model based on the pressure detected by thefloor load cell 37a and thewall load cell 37b (S23b3). For example, thesecond control unit 31a corrects the center of gravity position of the user's human body shape model calculated from the video to approach the center of gravity position detected by thefloor load cell 37a.

このようにして補正された人体形状モデル及び筋力が、支援映像として、トレーニング映像の表示に連動させてプロジェクタ３４に表示されるとともに、支援映像に含まれる音声が音響装置３３で再生される。The human body shape model and muscle forces thus corrected are displayed as support images on theprojector 34 in conjunction with the display of the training images, and the audio included in the support images is played back by theaudio device 33.

図９は、実施の形態に係る施設装置３０のプロジェクタ３４による支援映像５１及びトレーニング映像５２の表示例を示す図である。本図に示されるように、支援映像５１は、ユーザの正面の壁の左側に表示され、運動するユーザの輪郭５１ａ、人体形状モデル５１ｂ、筋力５１ｃ、及び、手本となるトレーニング映像５２に近づける方向を示す矢印５１ｄで構成される。トレーニング映像５２は、ユーザの正面の壁の右側に表示され、映像中のインストラクターの輪郭５２ａ、人体形状モデル５２ｂ、及び、筋力５２ｃで構成される。Figure 9 is a diagram showing an example of the display ofsupport video 51 andtraining video 52 byprojector 34 offacility device 30 according to an embodiment. As shown in this figure,support video 51 is displayed on the left side of the wall in front of the user, and is composed of anoutline 51a of the exercising user, a humanbody shape model 51b,muscle strength 51c, and anarrow 51d indicating the direction to approach themodel training video 52.Training video 52 is displayed on the right side of the wall in front of the user, and is composed of anoutline 52a, a humanbody shape model 52b, andmuscle strength 52c of the instructor in the video.

このようにして、ユーザは、フィットネスジム等に設置された施設装置３０を利用することで、宅内でトレーニングする場合に比べ、トレーニング映像との差異を、高精度かつ多面的に知ることができ、効率的に、手本となるトレーニング映像に映っているインストラクターの動きに近づくトレーニングをすることができる。In this way, by using thefacility device 30 installed in a fitness gym or the like, the user can learn the differences with the training video with high accuracy and from multiple perspectives compared to training at home, and can efficiently train to imitate the movements of the instructor shown in the model training video.

なお、施設装置３０は、運動しているユーザの状態に応じてトレーニング映像を変更する機能を有している。図１０は、運動しているユーザの状態に応じてトレーニング映像を変更する施設装置３０の動きを示すフローチャートである。Thefacility device 30 has a function of changing the training video depending on the state of the user who is exercising. Figure 10 is a flowchart showing the operation of thefacility device 30 that changes the training video depending on the state of the user who is exercising.

第２制御部３１ａは、カメラ３６ａによって撮影された、運動しているユーザの顔画像から、ユーザの感情を推定する（Ｓ３０）。具体的には、第２制御部３１ａは、ユーザの顔画像から、顔の色、血流変化に伴う心拍数等の生理学データと、顔の特徴点の位置で特定される表情等の非生理学データを取得し、取得したこれらのデータに基づいて、ユーザの覚醒値と快適値とを算出し、ユーザのトレーニング状況から、「リラックスしている」、「辛い」等の感情を推定するとともに、推定した感情の程度（「リラックス感」、「辛さ」）を算出する（特開２０１７－１４４２２２号公報（特許文献３）参照）。Thesecond control unit 31a estimates the user's emotions from the facial image of the user exercising captured by thecamera 36a (S30). Specifically, thesecond control unit 31a acquires physiological data such as facial color and heart rate associated with changes in blood flow from the user's facial image, and non-physiological data such as facial expressions identified by the positions of facial feature points, and calculates the user's arousal value and comfort value based on the acquired data, estimates emotions such as "relaxed" or "hard" from the user's training status, and calculates the level of the estimated emotions ("sense of relaxation" or "hardness") (see JP 2017-144222 A (Patent Document 3)).

そして、第２制御部３１ａは、推定した感情が示すリラックス感が閾値よりも大きい場合（つまり、最も照合度の高い感情が「リラックス」であり、その照合度が閾値を超える場合）には（Ｓ３１でＹｅｓ）、表示しているトレーニング映像をより高い運動負荷のトレーニング映像に変更する（Ｓ３２）。例えば、第２制御部３１ａは、トレーニング映像の再生速度を早める。Then, when the sense of relaxation indicated by the estimated emotion is greater than the threshold value (i.e., when the emotion with the highest matching degree is "relaxed" and its matching degree exceeds the threshold value) (Yes in S31), thesecond control unit 31a changes the displayed training video to training video with a higher exercise load (S32). For example, thesecond control unit 31a increases the playback speed of the training video.

また、第２制御部３１ａは、推定した感情が示す辛さが閾値よりも大きい場合（つまり、最も照合度の高い感情が「辛い」であり、その照合度が閾値を超える場合）には（Ｓ３３でＹｅｓ）、表示しているトレーニング映像をより低い運動負荷のトレーニング映像に変更する（Ｓ３４）。例えば、第２制御部３１ａは、トレーニング映像の再生速度を遅くする。Furthermore, when the degree of difficulty indicated by the estimated emotion is greater than the threshold (i.e., when the emotion with the highest degree of matching is "difficult" and its degree of matching exceeds the threshold) (Yes in S33), thesecond control unit 31a changes the displayed training video to training video with a lower exercise load (S34). For example, thesecond control unit 31a slows down the playback speed of the training video.

このような感情推定によるトレーニング映像の変更により、ユーザに与えられる運動負荷は、ユーザの運動能力及びコンディションに応じた値となり、ユーザに対する運動支援が効果的に行われる。By modifying the training video based on such emotion estimation, the exercise load given to the user is determined according to the user's athletic ability and condition, providing effective exercise support to the user.

なお、上記実施の形態では、宅内装置２０及び施設装置３０は、ユーザの運動を支援するための支援映像を生成する等の各種処理を実行したが、これに加えて、あるいは、これに代えて、運動支援装置がサーバ装置として各種処理を実行してもよい。In the above embodiment, the in-home device 20 and thefacility device 30 perform various processes such as generating support images to support the user's exercise. In addition to this, or instead of this, the exercise support device may perform various processes as a server device.

図１１は、実施の形態の変形例に係る運動支援システム１０ａにおける運動支援装置４０ａの構成を示すブロック図である。この運動支援装置４０ａは、上記実施の形態に係る運動支援装置４０が備えるトレーニング映像生成部４１に加えて、人体形状モデル生成部４２、筋力算出部４３、支援映像生成部４４及び感情推定部４５を備える。FIG. 11 is a block diagram showing the configuration of anexercise support device 40a in anexercise support system 10a according to a modified embodiment. In addition to the training video generation unit 41 provided in theexercise support device 40 according to the above embodiment, thisexercise support device 40a also includes a human body shapemodel generation unit 42, a muscleforce calculation unit 43, an supportvideo generation unit 44, and a feelingestimation unit 45.

人体形状モデル生成部４２は、宅内装置２０及び施設装置３０から送られてくる、カメラで得られたユーザの動きを示す映像を解析することで、ユーザの人体形状モデルを生成したり、予め保持しているトレーニング映像を解析することで、トレーニング映像中のインストラクターの人体形状モデルを生成したりする。The human body shapemodel generating unit 42 generates a human body shape model of the user by analyzing the video images showing the user's movements captured by the cameras sent from thehome device 20 and thefacility device 30, and generates a human body shape model of the instructor in the training video by analyzing the training video stored in advance.

筋力算出部４３は、宅内装置２０及び施設装置３０から送られてくる、カメラで得られたユーザの動きを示す映像を解析することで、ユーザの筋力を算出したり、予め保持しているトレーニング映像を解析することで、トレーニング映像中のインストラクターの筋力を算出したりする。The musclestrength calculation unit 43 calculates the muscle strength of the user by analyzing the video images showing the user's movements captured by the cameras sent from thehome device 20 and thefacility device 30, and calculates the muscle strength of the instructor in the training video by analyzing the training video stored in advance.

上記人体形状モデル生成部４２及び上記筋力算出部４３の機能は、上記実施の形態における図８のフローチャートのステップＳ２３ａ１及びＳ２３ａ２の処理に相当する。The functions of the human body shapemodel generating unit 42 and the muscleforce calculating unit 43 correspond to the processing of steps S23a1 and S23a2 in the flowchart of FIG. 8 in the above embodiment.

支援映像生成部４４は、人体形状モデル生成部４２及び筋力算出部４３によって生成及び算出されたユーザとインストラクターの人体形状モデル及び筋力の差異を算出し、その差異を小さくする方向を示す矢印等の画像を、生成されたユーザの人体形状モデルに付加して加工することで、支援映像として生成する。このとき、施設装置３０から送られてくる床面ロードセル３７ａ及び壁面ロードセル３７ｂで検出された押圧力を用いて、筋力算出部４３によって算出されたユーザの筋力を補正してもよいし、その押圧力から、人体形状モデル生成部４２で生成された人体形状モデルの重心位置を補正してもよい。この支援映像生成部４４の機能は、上記実施の形態における図８のフローチャートのステップＳ２３ａ３～Ｓ２３ｂ３の処理に相当する。The supportvideo generating unit 44 calculates the difference between the human body geometric model and muscle strength of the user and the instructor generated and calculated by the human body geometricmodel generating unit 42 and the musclestrength calculating unit 43, and generates a support video by adding and processing an image such as an arrow indicating the direction to reduce the difference to the generated human body geometric model of the user. At this time, the user's muscle strength calculated by the musclestrength calculating unit 43 may be corrected using the pressure detected by thefloor load cell 37a and thewall load cell 37b sent from thefacility device 30, and the center of gravity position of the human body geometric model generated by the human body geometricmodel generating unit 42 may be corrected from the pressure. The function of this supportvideo generating unit 44 corresponds to the processing of steps S23a3 to S23b3 in the flowchart of FIG. 8 in the above embodiment.

感情推定部４５は、施設装置３０から送られてくる、カメラ３６ａによって撮影された運動しているユーザの顔画像から、ユーザの感情を推定する。この感情推定部４５の機能は、上記実施の形態における図１０のフローチャートのステップＳ３０の処理に相当する。Theemotion estimation unit 45 estimates the emotion of the user from the facial image of the user who is exercising captured by thecamera 36a and sent from thefacility device 30. The function of thisemotion estimation unit 45 corresponds to the processing of step S30 in the flowchart of FIG. 10 in the above embodiment.

図１２Ａは、実施の形態の変形例に係る運動支援システム１０ａにおける宅内装置２０と運動支援装置４０ａとのやりとりを示す通信シーケンス図である。図１２Ａの（ａ）は、宅内装置２０から運動支援装置４０ａに対して、宅内装置２０のカメラ２１ａで得られたユーザの動きを示す映像がアップロードされる処理が繰り返されるシーケンスを示している。図１２Ａの（ｂ）は、運動支援装置４０ａから宅内装置２０に対して、運動支援装置４０ａの人体形状モデル生成部４２、筋力算出部４３及び支援映像生成部４４によって生成された支援映像がストリーミング配信されるシーケンスを示している。図１２Ａの（ａ）に示されるシーケンスと図１２Ａの（ｂ）に示されるシーケンスとは、並行して行われる。このようなシーケンスにより、宅内装置２０は、リアルタイムで、運動支援装置４０ａで生成された支援映像を用いてユーザの運動を支援できる。12A is a communication sequence diagram showing the exchange between thehome device 20 and theexercise support device 40a in theexercise support system 10a according to the modified embodiment. FIG. 12A (a) shows a sequence in which thehome device 20 repeatedly uploads a video showing the user's movement captured by thecamera 21a of thehome device 20 to theexercise support device 40a. FIG. 12A (b) shows a sequence in which theexercise support device 40a streams the support video generated by the human body shapemodel generation unit 42, muscleforce calculation unit 43, and supportvideo generation unit 44 of theexercise support device 40a to thehome device 20. The sequence shown in FIG. 12A (a) and the sequence shown in FIG. 12A (b) are performed in parallel. With such a sequence, thehome device 20 can support the user's exercise in real time using the support video generated by theexercise support device 40a.

図１２Ｂは、実施の形態の変形例に係る運動支援システム１０ａにおける施設装置３０と運動支援装置４０ａとのやりとりを示す通信シーケンス図である。図１２Ｂの（ａ）は、施設装置３０から運動支援装置４０ａに対して、施設装置３０のカメラ３６ａ～３６ｄで得られたユーザの動きを示す映像、及び、床面ロードセル３７ａ及び壁面ロードセル３７ｂで検出されたユーザの押圧力のデータがアップロードされる処理が繰り返されるシーケンスを示している。図１２Ｂの（ｂ）は、運動支援装置４０ａから施設装置３０に対して、運動支援装置４０ａの人体形状モデル生成部４２、筋力算出部４３及び支援映像生成部４４によって生成された支援映像がストリーミングされ、運動支援装置４０ａの感情推定部４５で推定された感情を示すデータのダウンロードが繰り返されるシーケンスが示されている。図１２Ｂの（ａ）に示されるシーケンスと図１２Ｂの（ｂ）に示されるシーケンスとは、並行して行われる。このようなシーケンスにより、施設装置３０は、リアルタイムで、運動支援装置４０ａで生成された支援映像を用いユーザの運動を支援したり、ユーザの感情に応じてトレーニング映像の負荷を調整したりできる。Figure 12B is a communication sequence diagram showing the exchange between thefacility device 30 and theexercise support device 40a in theexercise support system 10a according to the modified embodiment. (a) of Figure 12B shows a sequence in which thefacility device 30 repeatedly uploads to theexercise support device 40a the images showing the user's movements obtained by thecameras 36a to 36d of thefacility device 30 and the data on the user's pressing force detected by thefloor load cell 37a and thewall load cell 37b. (b) of Figure 12B shows a sequence in which theexercise support device 40a repeatedly streams the support images generated by the human body shapemodel generation unit 42, the muscleforce calculation unit 43, and the supportimage generation unit 44 of theexercise support device 40a to thefacility device 30, and repeatedly downloads the data showing the emotions estimated by theemotion estimation unit 45 of theexercise support device 40a. The sequence shown in (a) of Figure 12B and the sequence shown in (b) of Figure 12B are performed in parallel. This sequence allows thefacility device 30 to support the user's exercise in real time using the support video generated by theexercise support device 40a, and to adjust the load of the training video according to the user's emotions.

なお、図１２Ａ及び図１２Ｂにおけるシーケンスの繰り返しは、例えば、運動支援装置４０ａにアップロードされる映像における所定単位（所定のフレーム数、所定時間、映像における各シーン）で行われる。Note that the sequence in Figures 12A and 12B is repeated, for example, at a predetermined unit (a predetermined number of frames, a predetermined time, or each scene in the video) in the video uploaded to theexercise support device 40a.

また、宅内装置２０、施設装置３０及び運動支援装置４０ａは、トレーニング映像の取得において、テレビ放送又はインターネット上のｗｅｂサイトからスポーツ選手又はインストラクターの運動映像を取得し、取得した運動映像から人体形状モデルを生成して筋力を算出し、生成した人体形状モデル及び算出した筋力を付加したトレーニング映像を生成してもよい。In addition, when acquiring training footage, the in-home device 20, thefacility device 30, and theexercise support device 40a may acquire exercise footage of an athlete or instructor from a television broadcast or a website on the Internet, generate a human body shape model from the acquired exercise footage, calculate muscle strength, and generate training footage that includes the generated human body shape model and the calculated muscle strength.

以上のように、本実施の形態に係る運動支援システム１０は、宅内でのユーザによる運動のトレーニングを支援する宅内装置２０と、施設内でのユーザによる運動のトレーニングを支援する施設装置３０と、通信路を介して少なくとも宅内装置２０に接続される運動支援装置４０と、宅内装置２０、施設装置３０及び運動支援装置４０の何れかの装置に備えられ、手本となるトレーニング映像を保持する記憶部とを備え、宅内装置２０は、映像を表示するディスプレイ２１ｂ及び／又はプロジェクタ２４等の第１表示部と、記憶部に保持されたトレーニング映像を第１表示部に表示させる制御をする第１制御部２１ｄと、第１表示部に表示されたトレーニング映像に合わせて運動するユーザの動きを検出するカメラ２１ａ等の第１検出部とを有し、第１制御部２１ｄは、さらに、第１検出部による検出結果に基づいて生成される、ユーザの運動を支援するための支援映像をトレーニング映像の表示に連動させて第１表示部に表示させる制御をし、施設装置３０は、映像を表示するプロジェクタ３４等の第２表示部と、記憶部に保持されたトレーニング映像を第２表示部に表示させる制御をする第２制御部３１ａと、第２表示部に表示されたトレーニング映像に合わせて運動するユーザの動きを、宅内装置２０の第１検出部よりも高精度で検出するカメラ３６ａ～３６ｄ等の第２検出部とを有し、第２制御部３１ａは、さらに、第２検出部によって検出されたユーザの動きとトレーニング映像が示す動きとの差異を算出し、算出した差異に基づいて生成される、ユーザの運動を支援するための支援映像をトレーニング映像の表示に連動させて第２表示部に表示させる制御をし、運動支援装置４０は、施設装置３０の第２制御部３１ａによって算出された差異を示す差異データを取得し、取得した差異データに基づいて、手本となるトレーニング映像を生成し、宅内装置２０は、運動支援装置４０で生成されたトレーニング映像を、通信路を介して取得して記憶部に格納する。As described above, theexercise support system 10 according to the present embodiment includes an in-home device 20 that supports exercise training by a user at home, afacility device 30 that supports exercise training by a user at a facility, anexercise support device 40 that is connected to at least the in-home device 20 via a communication path, and a memory unit that is provided in any of the in-home device 20, thefacility device 30, and theexercise support device 40 and stores a model training video. The in-home device 20 has a first display unit such as a display 21b and/or aprojector 24 that displays an image, afirst control unit 21d that controls the display of the training video stored in the memory unit on the first display unit, and a first detection unit such as acamera 21a that detects the movement of a user exercising in accordance with the training video displayed on the first display unit, and thefirst control unit 21d further controls a control unit that controls the display of an support video for supporting the user's exercise, which is generated based on the detection result by the first detection unit, on the first display unit in conjunction with the display of the training video. Thefacility device 30 has a second display unit such as aprojector 34 that displays an image, asecond control unit 31a that controls the display of the training image stored in the memory unit on the second display unit, and a second detection unit such ascameras 36a to 36d that detects the movements of the user exercising in accordance with the training image displayed on the second display unit with higher accuracy than the first detection unit of thehome device 20. Thesecond control unit 31a further calculates the difference between the user's movements detected by the second detection unit and the movements shown in the training image, and controls the display of an assistance image for assisting the user's exercise, which is generated based on the calculated difference, on the second display unit in conjunction with the display of the training image. Theexercise assistance device 40 acquires difference data indicating the difference calculated by thesecond control unit 31a of thefacility device 30, and generates a model training image based on the acquired difference data. Thehome device 20 acquires the training image generated by theexercise assistance device 40 via a communication path and stores it in the memory unit.

なお、上記記憶部は、それぞれ宅内装置２０および施設装置３０に、第１記憶部２１ｃ、第２記憶部３１ｃとして設けられ、宅内装置２０の第１制御部２１ｅは、第１記憶部２１ｃに保持されたトレーニング映像を第１表示部に表示させる制御を行い、施設装置２０の第２制御部３１ｄは、第２記憶部３１ｃに保持されたトレーニング映像を第２表示部に表示させる制御を行い、宅内装置３０は、運動支援装置４０で生成されたトレーニング映像を、通信路を介して取得して第１記憶部２１ｃに格納してもよい。The above-mentioned storage units are provided as afirst storage unit 21c and asecond storage unit 31c in thehome device 20 and thefacility device 30, respectively, and the first control unit 21e of thehome device 20 controls the first display unit to display the training video stored in thefirst storage unit 21c, and the second control unit 31d of thefacility device 20 controls the second display unit to display the training video stored in thesecond storage unit 31c, and thehome device 30 may obtain the training video generated by theexercise support device 40 via a communication path and store it in thefirst storage unit 21c.

これにより、施設装置３０における高精度センシングで得られた、トレーニング映像が示す動きとユーザの動きとの差異に関する情報が、運動支援装置４０を介して宅内装置２０にフィードバックされる。つまり、宅内装置２０では、ユーザは、ユーザの個性が反映されたユーザに好適なトレーニング映像を用いて、運動のトレーニングをすることができる。よって、従来よりも効果的な運動を支援したり、ユーザに運動の習慣化を促して継続性を高めたりすることができる運動支援システムが実現される。In this way, information regarding the difference between the movements shown in the training video and the user's movements, obtained by high-precision sensing in thefacility device 30, is fed back to thehome device 20 via theexercise support device 40. In other words, thehome device 20 allows the user to train using training videos that reflect the user's individuality and are suitable for the user. This realizes an exercise support system that can support exercise more effectively than ever before and encourage the user to make exercise a habit, thereby increasing continuity.

また、宅内装置２０において、第１表示部としてのディスプレイ２１ｂ、第１記憶部２１ｃ、第１制御部２１ｄ、及び、第１検出部としてのカメラ２１ａは、１台のスマートフォン等の端末装置２１を構成する。これにより、ユーザは、スマートフォン等の端末装置を用いて、手軽に、宅内で、運動のトレーニングをすることができる。In addition, in the in-home device 20, the display 21b as the first display unit, thefirst storage unit 21c, thefirst control unit 21d, and thecamera 21a as the first detection unit constitute asingle terminal device 21 such as a smartphone. This allows the user to easily train in exercise at home using the terminal device such as a smartphone.

また、宅内装置２０において、第１表示部は、プロジェクタ２４であり、第１記憶部２１ｃ、第１制御部２１ｄ、及び、第１検出部としてのカメラ２１ａは、プロジェクタ２４と通信路で接続される１台の端末装置２１を構成してもよい。これにより、ユーザは、宅内で、プロジェクタ２４による大画面を用いて、施設装置３０に近い環境で、運動のトレーニングをできる。In addition, in thehome device 20, the first display unit may be aprojector 24, and thefirst memory unit 21c, thefirst control unit 21d, and thecamera 21a as the first detection unit may constitute asingle terminal device 21 connected to theprojector 24 via a communication path. This allows the user to use the large screen of theprojector 24 at home to train in an environment similar to that of thefacility device 30.

また、施設装置３０では、第２制御部３１ａは、さらに、トレーニング映像の表示に連動させて、ユーザがいる空間に、ユーザの運動意欲を増進させる映像及び音響の少なくとも１つを提供する制御をする。これにより、施設装置３０では、運動するユーザに演出効果が提供され、ユーザの運動意欲が増進される。In addition, in thefacility device 30, thesecond control unit 31a further controls the provision of at least one of an image and sound that increases the user's motivation to exercise in the space in which the user is present, in conjunction with the display of the training video. In this way, thefacility device 30 provides a dramatic effect to the exercising user, increasing the user's motivation to exercise.

また、宅内装置２０の第１検出部は、１つのカメラ２１ａであり、施設装置３０では、第２検出部は、宅内装置２０のカメラ２１ａよりも広画角及び高フレームレートの少なくとも１つの機能をもつ１つ又は複数のカメラ３６ａ～３６ｄであり、第２表示部は、プロジェクタ３４である。これにより、施設装置３０では、ユーザの動きが高精度にセンシングされ、効果的にユーザの運動が支援され得る。The first detector of thehome device 20 is asingle camera 21a, and the second detector of thefacility device 30 is one ormore cameras 36a-36d that have at least one function of a wider angle of view and a higher frame rate than thecamera 21a of thehome device 20, and the second display is aprojector 34. This allows thefacility device 30 to sense the user's movements with high accuracy and effectively support the user's exercise.

また、運動支援装置４０は、テレビ放送又はインターネット上のｗｅｂサイトからスポーツ選手又はインストラクターの運動映像を取得し、取得した運動映像から人体形状モデルを生成して筋力を算出し、生成した人体形状モデル及び算出した筋力を用いてトレーニング映像を生成する。これにより、専門の制作会社に委託して場合に比べ、時間及びコストをかけることなく、質の良いトレーニング映像が生成される。Theexercise support device 40 also acquires exercise footage of athletes or instructors from television broadcasts or websites on the Internet, generates a human body shape model from the acquired exercise footage, calculates muscle strength, and generates training footage using the generated human body shape model and the calculated muscle strength. This allows high-quality training footage to be generated without the time and cost required when outsourcing to a specialized production company.

また、施設装置３０では、第２制御部３１ａは、算出した差異に基づいて、ユーザの人体形状モデルを生成して筋力を算出し、生成した人体形状モデル及び算出した筋力を、支援映像として、第２表示部としてのプロジェクタ３４に表示させる。これにより、施設装置３０では、ユーザは、表示された人体形状モデル及び筋力を確認することで、トレーニング映像と自分の動きとの差異を直感的に把握でき、効率よくスキルアップを図ることができる。In addition, in thefacility device 30, thesecond control unit 31a generates a human body shape model of the user based on the calculated difference, calculates muscle strength, and displays the generated human body shape model and calculated muscle strength as support images on theprojector 34, which serves as the second display unit. As a result, in thefacility device 30, the user can intuitively grasp the difference between the training image and his or her own movements by checking the displayed human body shape model and muscle strength, and can efficiently improve his or her skills.

また、第２検出部は、施設の床面及び壁面の少なくとも１つに対するユーザの押圧力を検出する力センサとしての床面ロードセル３７ａ及び壁面ロードセル３７ｂを含む。そして、）第２制御部３１ａは、床面ロードセル３７ａ及び壁面ロードセル３７ｂで検出された押圧力から、算出した筋力を補正する。これにより、ユーザによる現実の押圧力を反映した正確な筋力が算出される。The second detection unit also includes afloor load cell 37a and awall load cell 37b as force sensors that detect the user's pressing force against at least one of the floor and wall surfaces of the facility. Then, thesecond control unit 31a corrects the calculated muscle force from the pressing force detected by thefloor load cell 37a and thewall load cell 37b. This allows for the calculation of accurate muscle force that reflects the actual pressing force applied by the user.

また、第２制御部３１ａは、力センサとしての床面ロードセル３７ａ及び壁面ロードセル３７ｂで検出された押圧力から、生成した人体形状モデルの重心位置を補正する。これにより、ユーザによる現実の体重移動を反映した正確な重心位置が算出される。Thesecond control unit 31a also corrects the center of gravity position of the generated human body shape model based on the pressure detected by thefloor load cell 37a and thewall load cell 37b as force sensors. This allows an accurate center of gravity position to be calculated that reflects the actual weight shift of the user.

また、第２検出部は、ユーザの顔を撮影するカメラ３６ａを含み、第２制御部３１ａは、カメラ３６ａによって撮影されたユーザの顔から、ユーザの感情を推定し、推定した感情が示すリラックス感が閾値よりも大きい場合には、表示しているトレーニング映像をより高い運動負荷のトレーニング映像に変更し、推定した感情が示す辛さが閾値よりも大きい場合には、表示しているトレーニング映像をより低い運動負荷のトレーニング映像に変更する。これにより、ユーザに与えられる運動負荷は、ユーザの運動能力及びコンディションに応じた値となり、ユーザに対する運動支援が効果的に行われる。The second detection unit also includes acamera 36a that captures the user's face, and thesecond control unit 31a estimates the user's emotions from the user's face captured by thecamera 36a, and if the sense of relaxation indicated by the estimated emotions is greater than a threshold, changes the displayed training video to training video with a higher exercise load, and if the difficulty indicated by the estimated emotions is greater than a threshold, changes the displayed training video to training video with a lower exercise load. As a result, the exercise load given to the user is a value that corresponds to the user's athletic ability and condition, and exercise support for the user is effectively provided.

また、本発明は、宅内装置２０又は施設装置３０が有するプログラムとして実現されてもよい。そのプログラムは、運動支援システム１０における宅内装置２０又は施設装置３０が備えるコンピュータが実行するプログラムであって、記憶部に保持されたトレーニング映像を表示部に表示させる制御をするトレーニング映像表示ステップと、表示部に表示されたトレーニング映像に合わせて運動するユーザの動きを、検出部を用いて検出する検出ステップと、検出部による検出結果に基づいて生成される支援映像をトレーニング映像の表示に連動させて表示部に表示させる制御をする支援映像表示ステップとを含む。The present invention may also be realized as a program possessed by thehome device 20 or thefacility device 30. The program is executed by a computer provided in thehome device 20 or thefacility device 30 in theexercise support system 10, and includes a training video display step of controlling the display of training video stored in the storage unit, a detection step of detecting, using a detection unit, the movements of a user exercising in accordance with the training video displayed on the display unit, and an assistance video display step of controlling the display of an assistance video generated based on the detection result by the detection unit in conjunction with the display of the training video on the display unit.

このようなプログラムにより、従来よりも効果的な運動を支援したり、ユーザに運動の習慣化を促して継続性を高めたりすることができる運動支援システムの宅内装置２０又は施設装置３０が実現される。This program realizes an in-home device 20 orfacility device 30 of an exercise support system that can support more effective exercise than before and encourage users to make exercise a habit and increase continuity.

また、さらに、検出ステップでの検出結果を、通信路を介して運動支援装置４０ａに送信し、送信した検出結果に基づいて運動支援装置４０ａで生成された支援映像を取得する通信ステップを含み、支援映像表示ステップでは、通信ステップで取得された支援映像をトレーニング映像の表示に連動させて表示部に表示させる。これにより、サーバ装置としての運動支援装置４０ａと連携して動作するクライントプログラムが実現される。Furthermore, the method includes a communication step of transmitting the detection result in the detection step to theexercise support device 40a via a communication path, and acquiring the support video generated by theexercise support device 40a based on the transmitted detection result, and in the support video display step, the support video acquired in the communication step is displayed on the display unit in conjunction with the display of the training video. This realizes a client program that operates in conjunction with theexercise support device 40a as a server device.

また、本発明は、宅内装置２０又は施設装置３０が有するプログラムとして実現されてもよい。そのプログラムは、宅内装置２０又は施設装置３０が備えるコンピュータが実行するプログラムであって、テレビ放送又はインターネット上のｗｅｂサイトからスポーツ選手又はインストラクターの運動映像を取得し、取得した運動映像から人体形状モデルを生成して筋力を算出し、生成した人体形状モデル及び算出した筋力を用いてトレーニング映像を生成し、第１記憶部２１ｃ又は第２記憶部３１ｃに格納するステップを含む。これにより、専門の制作会社に委託して場合に比べ、時間及びコストをかけることなく、質の良いトレーニング映像が生成される。The present invention may also be realized as a program included in the in-home device 20 or thefacility device 30. The program is executed by a computer included in the in-home device 20 or thefacility device 30, and includes the steps of acquiring exercise video of an athlete or instructor from a television broadcast or a website on the Internet, generating a human body shape model from the acquired exercise video and calculating muscle strength, generating training video using the generated human body shape model and the calculated muscle strength, and storing the training video in thefirst storage unit 21c or thesecond storage unit 31c. This allows high-quality training video to be generated without spending time and money compared to outsourcing to a specialized production company.

また、本発明は、宅内でのユーザによる運動のトレーニングを支援する宅内装置２０と、施設内でのユーザによる運動のトレーニングを支援する施設装置３０と、通信路を介して宅内装置２０及び施設装置３０に接続される運動支援装置４０と、宅内装置２０、施設装置３０及び運動支援装置４０の何れかの装置に備えられ、手本となるトレーニング映像を保持する記憶部とを備える運動支援システム１０による運動支援方法であって、宅内装置２０が、記憶部に保持されたトレーニング映像をディスプレイ２１ｂ等の第１表示部に表示させるステップと、宅内装置２０が、カメラ２１ａ等の第１検出部を用いて、第１表示部に表示されたトレーニング映像に合わせて運動するユーザの動きを検出するステップと、宅内装置２０が、第１検出部による検出結果に基づいて生成される、ユーザの運動を支援するための支援映像をトレーニング映像の表示に連動させて第１表示部に表示させるステップと、施設装置３０が、記憶部に保持されたトレーニング映像を第２表示部に表示させるステップと、施設装置３０が、カメラ３６ａ～３６ｄ等の第２検出部を用いて、第２表示部に表示されたトレーニング映像に合わせて運動するユーザの動きを、宅内装置２０の第１検出部よりも高精度で検出するステップと、施設装置３０が、第２検出部によって検出されたユーザの動きとトレーニング映像が示す動きとの差異を算出し、算出した差異に基づいて生成される、ユーザの運動を支援するための支援映像をトレーニング映像の表示に連動させてプロジェクタ３４等の第２表示部に表示させるステップと、運動支援装置４０が、施設装置３０で算出された差異を示す差異データを取得し、取得した差異データに基づいて、手本となるトレーニング映像を生成するステップと、宅内装置２０が、運動支援装置４０で生成されたトレーニング映像を、通信路を介して取得して記憶部に格納するステップとを含む。The present invention also relates to an exercise support method using an exercise support system 10 including an in-home device 20 that supports exercise training by a user at home, a facility device 30 that supports exercise training by a user at a facility, an exercise support device 40 connected to the in-home device 20 and the facility device 30 via a communication path, and a memory unit provided in any of the in-home device 20, the facility device 30, and the exercise support device 40 and that stores a model training video, the method including the steps of: causing the in-home device 20 to display the training video stored in the memory unit on a first display unit such as a display 21b; causing the in-home device 20 to detect the movements of the user exercising in accordance with the training video displayed on the first display unit using a first detection unit such as a camera 21a; and causing the in-home device 20 to display an support video for supporting the user's exercise, which is generated based on the detection result by the first detection unit, on the first display unit in conjunction with the display of the training video; The facility device 30 displays the training video stored in the storage unit on the second display unit; the facility device 30 detects the user's movements, who is exercising in accordance with the training video displayed on the second display unit, using a second detection unit such as cameras 36a to 36d, with a higher accuracy than the first detection unit of the home device 20; the facility device 30 calculates the difference between the user's movements detected by the second detection unit and the movements shown in the training video, and displays the support video for supporting the user's exercise, which is generated based on the calculated difference, on the second display unit such as projector 34 in conjunction with the display of the training video; the exercise support device 40 acquires difference data indicating the difference calculated by the facility device 30, and generates a model training video based on the acquired difference data; and the home device 20 acquires the training video generated by the exercise support device 40 via a communication path and stores it in the storage unit.

これにより、施設装置３０における高精度センシングで得られた、トレーニング映像が示す動きとユーザの動きとの差異に関する情報が、運動支援装置４０を介して宅内装置２０にフィードバックされ、従来よりも運動の習慣化を促して継続性を高めることができる運動支援システムが実現される。In this way, information regarding the difference between the movements shown in the training video and the user's movements, obtained by high-precision sensing in thefacility device 30, is fed back to thehome device 20 via theexercise support device 40, realizing an exercise support system that can encourage the user to make exercise a habit and increase continuity more than ever before.

以上、本発明に係る運動支援システム及び運動支援方法について、実施の形態及び変形例に基づいて説明したが、本発明は、これらの実施の形態及び変形例に限定されるものではない。本発明の主旨を逸脱しない限り、当業者が思いつく各種変形を実施の形態及び変形例に施したものや、実施の形態及び変形例における一部の構成要素を組み合わせて構築される別の形態も、本発明の範囲内に含まれる。The exercise support system and exercise support method according to the present invention have been described above based on the embodiments and modifications, but the present invention is not limited to these embodiments and modifications. As long as they do not deviate from the spirit of the present invention, various modifications conceived by a person skilled in the art to the embodiments and modifications, and other forms constructed by combining some of the components in the embodiments and modifications, are also included within the scope of the present invention.

例えば、上記実施の形態では、トレーニング映像生成部４１は、運動支援装置４０に備えられたが、宅内装置２０の端末装置２１に備えられてもよい。その場合には、宅内装置２０の端末装置２１が、運動支援装置４０に代えて、施設装置３０で生成された差異データを取得し、取得した差異データに基づいて、手本となるトレーニング映像を生成して第１記憶部２１ｃに格納する。For example, in the above embodiment, the training video generating unit 41 is provided in theexercise support device 40, but it may be provided in theterminal device 21 of the in-home device 20. In that case, theterminal device 21 of the in-home device 20 acquires the difference data generated by thefacility device 30 instead of theexercise support device 40, and generates a model training video based on the acquired difference data and stores it in thefirst storage unit 21c.

また、上記実施の形態では、施設装置３０に床面ロードセル３７ａ及び壁面ロードセル３７ｂが設けられたが、宅内装置２０にも設けられてもよい。その場合には、宅内装置２０に設けられた床面ロードセル及び壁面ロードセルで検出されたユーザの押圧力のデータが運動支援装置４０ａにアップロードされ、運動支援装置４０ａの感情推定部４５で感情推定がされ、推定された感情を示すデータが宅内装置２０にダウンロードされ、宅内でのトレーニング映像の負荷の調整に用いられる。In the above embodiment, thefloor load cell 37a and thewall load cell 37b are provided in thefacility device 30, but they may also be provided in theindoor device 20. In that case, data on the user's pressure detected by the floor load cell and the wall load cell provided in theindoor device 20 is uploaded to theexercise support device 40a, emotion estimation is performed by theemotion estimation unit 45 of theexercise support device 40a, and data indicating the estimated emotion is downloaded to theindoor device 20 and used to adjust the load of the training video in the home.

また、感情推定の方法は、上記実施の形態で説明したものに限られず、低運動負荷時、あるいは、高運動負荷時のユーザの顔画像をディープラーニングで学習し、ユーザの顔画像を、感情データベースと比較することにより、どの感情であるか推定するようにしてもよい。この場合、多層ネットワークに特徴量を学習させる他、当該特徴量として、目の開き具合や、眉毛間の距離、眉間の皺、口元等を指定する機械学習を行っても良い。Furthermore, the method of emotion estimation is not limited to that described in the above embodiment, and it is also possible to learn facial images of the user during low or high exercise loads using deep learning, and to infer the emotion of the user by comparing the facial images with an emotion database. In this case, in addition to having the multi-layer network learn the features, machine learning may be performed to specify the degree of eye opening, the distance between eyebrows, wrinkles between the eyebrows, mouth, etc. as the features.

また、運動支援装置４０及び４０ａは、１台で構成される態様に限られず、例えば、処理機能に応じて分散された複数のサーバ装置で構成されてもよい。Furthermore, theexercise support device 40 and 40a are not limited to being configured as a single device, but may be configured as multiple server devices distributed according to processing functions, for example.

本発明は、トレーニング映像を用いてユーザの運動を支援する運動支援システムとして、特に、従来よりも効果的に運動を支援したり、ユーザに運動の習慣化を促して継続性を高めたりすることができる、宅内装置と施設装置とを含む運動支援システムとして、利用できる。The present invention can be used as an exercise support system that supports a user's exercise using training video, and in particular as an exercise support system that includes an in-home device and a facility device, which can support exercise more effectively than conventional methods and encourage users to make exercise a habit and increase continuity.

１０、１０ａ 運動支援システム
２０ 宅内装置
２１ 端末装置
２１ａ、３６ａ～３６ｄ カメラ
２１ｃ 第１記憶部
２１ｄ 第１制御部
２４、３４ プロジェクタ
２４ａ、５１ 支援映像
２４ｂ、５２ トレーニング映像
３０ 施設装置
３１ａ 第２制御部
３１ｃ 第２記憶部
４０、４０ａ 運動支援装置 10, 10aExercise support system 20 In-home device 21Terminal device 21a, 36a to36d Camera 21cFirst storage unit 21dFirst control unit 24, 34Projector 24a, 51Support video 24b, 52Training video 30Facility device 31aSecond control unit 31cSecond storage unit 40, 40a Exercise support device

Claims (13)

Translated fromJapanese

宅内でのユーザによる運動のトレーニングを支援する宅内装置と、
施設内での前記ユーザによる運動のトレーニングを支援する施設装置と、
通信路を介して前記宅内装置および前記施設装置に接続される運動支援装置と、
前記宅内装置、前記施設装置及び前記運動支援装置の何れかの装置に備えられ、手本となるトレーニング映像を保持する記憶部と、
を備え、
前記宅内装置は、
映像を表示する第１表示部と、
前記記憶部に保持されたトレーニング映像を前記第１表示部に表示させる制御をする第１制御部と、
前記第１表示部に表示されたトレーニング映像に合わせて運動する前記ユーザの動きを検出する第１検出部とを有し、
前記第１制御部は、さらに、前記第１検出部による検出結果に基づいて生成される、前記ユーザの運動を支援するための支援映像を前記トレーニング映像の表示に連動させて前記第１表示部に表示させる制御をし、
前記施設装置は、
映像を表示する第２表示部と、
前記記憶部に保持されたトレーニング映像を前記第２表示部に表示させる制御をする第２制御部と、
前記第２表示部に表示されたトレーニング映像に合わせて運動する前記ユーザの動きを、前記第１検出部よりも高精度で検出する第２検出部とを有し、
前記第２制御部は、さらに、前記第２検出部によって検出された前記ユーザの動きと前記トレーニング映像が示す動きとの差異を算出し、算出した差異に基づいて生成される、前記ユーザの運動を支援するための支援映像を前記トレーニング映像の表示に連動させて前記第２表示部に表示させる制御をし、
前記宅内装置は、前記運動支援装置で生成された、手本となるトレーニング映像を、前記通信路を介して取得して前記記憶部に格納し、前記第１制御部は、前記記憶部に保持された、手本となるトレーニング映像を前記第１表示部に表示させる制御をし、
前記第２制御部は、算出した差異に基づいて、前記ユーザの人体形状モデルを生成して筋力を算出し、生成した前記人体形状モデル及び算出した筋力を、前記支援映像として、前記第２表示部に表示させ、
前記運動支援装置は、前記ユーザと前記トレーニング映像中のインストラクターの人体形状モデル及び筋力の差異を算出し、算出した前記差異を小さくする方向を示す矢印の画像を、前記ユーザの人体形状モデルに付加して加工することで、前記手本となる支援映像を生成する、
運動支援システム。 an in-home device that supports exercise training by a user at home;
A facility device that supports exercise training by the user within a facility;
an exercise support device connected to the home device and the facility device via a communication path;
a storage unit that is provided in any one of the home device, the facility device, and the exercise support device and that stores a training video as a model;
Equipped with
The home device includes:
A first display unit that displays an image;
a first control unit that controls the first display unit to display the training video stored in the storage unit;
a first detection unit that detects a movement of the user exercising in accordance with the training video displayed on the first display unit,
The first control unit further controls the first display unit to display an assistance video for assisting the user in exercising, the assistance video being generated based on a detection result by the first detection unit, in conjunction with the display of the training video;
The facility device includes:
A second display unit that displays an image;
a second control unit that controls the second display unit to display the training video stored in the storage unit;
a second detection unit that detects the user's movement in accordance with the training video displayed on the second display unit with higher accuracy than the first detection unit;
The second control unit further calculates a difference between the movement of the user detected by the second detection unit and the movement shown in the training video, and controls the second display unit to display an assistance video for assisting the user's exercise, the assistance video being generated based on the calculated difference, in conjunction with the display of the training video;
the home device acquires a model training video generated by the exercise support device via the communication path and stores the model training video in the storage unit, and the first control unit controls the first display unit to display the model training video stored in the storage unit;
the second control unit generates a human body geometric model of the user based on the calculated difference, calculates muscle strength, and displays the generated human body geometric model and the calculated muscle strength as the support video on the second display unit;
the exercise support device calculates a difference between a human body shape model and a muscle strength of the user and an instructor in the training video, and generates the model support video by adding and processing an image of an arrow indicating a direction to reduce the calculated difference to the human body shape model of the user.
Exercise support system. 前記記憶部は、それぞれ前記宅内装置および前記施設装置に、第１記憶部、第２記憶部として設けられ、前記宅内装置の第１制御部は、前記第１記憶部に保持されたトレーニング映像を前記第１表示部に表示させる制御を行い、
前記施設装置の第２制御部は、前記第２記憶部に保持されたトレーニング映像を前記第２表示部に表示させる制御を行い、
前記宅内装置は、前記運動支援装置で生成されたトレーニング映像を、前記通信路を介して取得して前記第１記憶部に格納する、
請求項１記載の運動支援システム。 the storage unit is provided in the home apparatus and the facility apparatus as a first storage unit and a second storage unit, respectively, and a first control unit of the home apparatus performs control to cause the first display unit to display the training video stored in the first storage unit;
a second control unit of the facility device performing control to cause the second display unit to display the training video stored in the second storage unit;
the home device acquires the training video generated by the exercise support device via the communication path and stores the training video in the first storage unit;
The exercise support system according to claim 1 . 前記第１表示部、前記第１記憶部、前記第１制御部、及び、第１検出部は、１台の携帯端末を構成する、
請求項２記載の運動支援システム。 the first display unit, the first storage unit, the first control unit, and the first detection unit constitute one mobile terminal;
The exercise support system according to claim 2. 前記第１表示部は、プロジェクタであり、
前記第１記憶部、前記第１制御部、及び、第１検出部は、前記プロジェクタと通信路で接続される１台の携帯端末を構成する、
請求項２記載の運動支援システム。 the first display unit is a projector,
the first storage unit, the first control unit, and the first detection unit configure one mobile terminal connected to the projector via a communication path;
The exercise support system according to claim 2. 前記第２制御部は、さらに、前記トレーニング映像の表示に連動させて、前記ユーザがいる空間に、前記ユーザの運動意欲を増進させる映像及び音響の少なくとも１つを提供する制御をする、
請求項１～４のいずれか１項に記載の運動支援システム。 The second control unit further controls to provide at least one of an image and an audio that enhances the user's motivation to exercise in the space where the user is present, in conjunction with the display of the training image.
The exercise support system according to any one of claims 1 to 4. 前記第１検出部は、１つのカメラであり、
前記第２検出部は、前記第１検出部よりも広画角及び高フレームレートの少なくとも１つの機能をもつ１つ又は複数のカメラであり、
前記第２表示部は、プロジェクタである、
請求項１～５のいずれか１項に記載の運動支援システム。 the first detector is a camera,
the second detection unit is one or more cameras having at least one function of a wider angle of view and a higher frame rate than the first detection unit,
The second display unit is a projector.
The exercise support system according to any one of claims 1 to 5. 前記運動支援装置は、テレビ放送又はインターネット上のｗｅｂサイトからスポーツ選手又はインストラクターの運動映像を取得し、取得した前記運動映像から人体形状モデルを生成して筋力を算出し、生成した前記人体形状モデル及び算出した筋力を用いて前記トレーニング映像を生成する、
請求項１～６のいずれか１項に記載の運動支援システム。 the exercise support device acquires an exercise video of an athlete or an instructor from a television broadcast or a website on the Internet, generates a human body shape model from the acquired exercise video and calculates muscle strength, and generates the training video using the generated human body shape model and the calculated muscle strength.
The exercise support system according to any one of claims 1 to 6. 前記第２検出部は、前記施設の床面及び壁面の少なくとも１つに対する前記ユーザの押圧力を検出する力センサを含む、
請求項７記載の運動支援システム。 The second detection unit includes a force sensor that detects a pressing force of the user against at least one of a floor surface and a wall surface of the facility.
The exercise support system according to claim7 . 前記第２制御部は、前記力センサで検出された前記押圧力から、算出した前記筋力を補正する、
請求項８記載の運動支援システム。 The second control unit corrects the calculated muscle force from the pressing force detected by the force sensor.
The exercise support system according to claim8 . 前記第２制御部は、前記力センサで検出された前記押圧力から、生成した前記人体形状モデルの重心位置を補正する、
請求項８記載の運動支援システム。 The second control unit corrects a center of gravity position of the generated human body shape model based on the pressing force detected by the force sensor.
The exercise support system according to claim8 . 前記第２検出部は、前記ユーザの顔を撮影するカメラを含み、
前記第２制御部は、前記第２検出部によって撮影された前記ユーザの顔から、前記ユーザの感情を推定し、推定した前記感情が示すリラックス感が閾値よりも大きい場合には、表示しているトレーニング映像をより高い運動負荷のトレーニング映像に変更し、推定した前記感情が示す辛さが閾値よりも大きい場合には、表示しているトレーニング映像をより低い運動負荷のトレーニング映像に変更する、
請求項１～１０のいずれか１項に記載の運動支援システム。 the second detection unit includes a camera that captures an image of the user's face,
The second control unit estimates an emotion of the user from the face of the user photographed by the second detection unit, and when a sense of relaxation indicated by the estimated emotion is greater than a threshold, changes the displayed training video to a training video with a higher exercise load, and when a sense of pain indicated by the estimated emotion is greater than a threshold, changes the displayed training video to a training video with a lower exercise load.
The exercise support system according to any one of claims 1 to10 . 宅内でのユーザによる運動のトレーニングを支援する宅内装置と、施設内での前記ユーザによる運動のトレーニングを支援する施設装置と、通信路を介して少なくとも前記宅内装置及び前記施設装置に接続される運動支援装置と、前記宅内装置、前記施設装置及び前記運動支援装置の何れかの装置に備えられ、手本となるトレーニング映像を保持する記憶部とを備える運動支援システムによる運動支援方法であって、
前記宅内装置が、前記記憶部に保持されたトレーニング映像を第１表示部に表示させるステップと、
前記宅内装置が、第１検出部を用いて、前記第１表示部に表示されたトレーニング映像に合わせて運動する前記ユーザの動きを検出するステップと、
前記宅内装置が、前記第１検出部による検出結果に基づいて生成される、前記ユーザの運動を支援するための支援映像を前記トレーニング映像の表示に連動させて前記第１表示部に表示させるステップと、
前記施設装置が、前記記憶部に保持されたトレーニング映像を第２表示部に表示させるステップと、
前記施設装置が、第２検出部を用いて、前記第２表示部に表示されたトレーニング映像に合わせて運動する前記ユーザの動きを、前記第１検出部よりも高精度で検出するステップと、
前記施設装置が、前記第２検出部によって検出された前記ユーザの動きと前記トレーニング映像が示す動きとの差異を算出し、算出した差異に基づいて生成される、前記ユーザの運動を支援するための支援映像を前記トレーニング映像の表示に連動させて前記第２表示部に表示させるステップと、
前記運動支援装置が、前記施設装置で算出された差異を示す差異データを取得し、取得した差異データに基づいて、手本となるトレーニング映像を生成するステップと、
前記宅内装置が、前記運動支援装置で生成された、手本となるトレーニング映像を、前記通信路を介して取得して前記記憶部に格納し、前記記憶部に保持された、手本となるトレーニング映像を前記第１表示部に表示させる制御をするステップとを含み、
前記前記施設装置は、算出した差異に基づいて、前記ユーザの人体形状モデルを生成して筋力を算出し、生成した前記人体形状モデル及び算出した筋力を、前記支援映像として、前記第２表示部に表示させ、
前記運動支援装置は、前記ユーザと前記トレーニング映像中のインストラクターの人体形状モデル及び筋力の差異を算出し、算出した前記差異を小さくする方向を示す矢印の画像を、前記ユーザの人体形状モデルに付加して加工することで、前記手本となる支援映像を生成する、
運動支援方法。 An exercise support method using an exercise support system including: a home device that supports exercise training by a user at home; a facility device that supports exercise training by the user in a facility; an exercise support device connected to at least the home device and the facility device via a communication path; and a storage unit that is provided in any one of the home device, the facility device, and the exercise support device and stores a model training video,
a step of causing the home apparatus to display the training video stored in the storage unit on a first display unit;
a step of detecting, by a first detection unit, a movement of the user exercising in accordance with the training video displayed on the first display unit, by the home device;
a step of causing the indoor device to display, on the first display unit, an assistance video for assisting the user in exercising, the assistance video being generated based on a detection result by the first detection unit, in conjunction with display of the training video;
a step of causing the facility device to display the training video stored in the storage unit on a second display unit;
a step of detecting, by the facility device, a movement of the user exercising in accordance with the training video displayed on the second display unit, with a higher accuracy than that of the first detection unit;
a step in which the facility device calculates a difference between the movement of the user detected by the second detection unit and the movement shown in the training video, and displays an assistance video for assisting the user in exercising, the assistance video being generated based on the calculated difference, on the second display unit in conjunction with the display of the training video;
a step of the exercise support device acquiring difference data indicating the difference calculated by the facility device, and generating a model training video based on the acquired difference data;
a step of controlling the home device to acquire a model training video generated by the exercise support device via the communication path, store the model training video in the storage unit, and display the model training video stored in the storage unit on the first display unit;
the facility device generates a human body geometric model of the user based on the calculated difference, calculates muscle strength, and displays the generated human body geometric model and the calculated muscle strength as the support video on the second display unit;
the exercise support device calculates a difference between a human body shape model and a muscle strength of the user and an instructor in the training video, and generates the model support video by adding and processing an image of an arrow indicating a direction to reduce the calculated difference to the human body shape model of the user.
Exercise support methods. 前記記憶部は、それぞれ前記宅内装置および前記施設装置に、第１記憶部、第２記憶部として設けられてなる、請求項１２に記載の運動支援システムによる運動支援方法であって
前記宅内装置は、前記第１記憶部に保持されたトレーニング映像を前記第１表示部に表示させる制御を行うステップと、
前記施設装置は、前記第２記憶部に保持されたトレーニング映像を前記第２表示部に表示させる制御を行うステップと、
前記宅内装置は、前記運動支援装置で生成されたトレーニング映像を、前記通信路を介して取得して前記第１記憶部に格納するステップとを含む
請求項１２記載の運動支援方法。 13. The exercise support method using the exercise support system according to claim12 , wherein the storage unit is provided as a first storage unit and a second storage unit in the home device and the facility device, respectively. The exercise support method includes the steps of: in the home device, performing control to display the training video stored in the first storage unit on the first display unit;
a step of controlling the facility device to display the training video stored in the second storage unit on the second display unit;
The exercise support method according to claim12 , further comprising a step of: the in-home device acquiring, via the communication path, the training video generated by the exercise support device and storing the training video in the first storage unit.

Images