本発明は、身体内部情報推定方法、コンピュータプログラム、それを記憶した記憶媒体、および、身体内部情報推定装置に関する。 The present invention relates to a method for estimating information inside the body, a computer program, a storage medium for storing the computer program, and an information estimation device inside the body.
従来から、人体モデルを表すデータを用いて、人体内部に生じる力や人体内部の形状の変化を推定する技術が知られている(特許文献1〜3参照)。例えば、特許文献1には、骨格を表す剛体リンクを表すデータと、筋・腱・靱帯を表すデータにより定義された身体モデルに対して、身体代表部位の運動の加速度データを与え、逆運動学計算により筋・腱・靱帯の発生力を計算する技術が開示されている。特許文献2には、予め作成された人体内部組織の構造とその形状データを有する数値人体モデルの体表および内部組織の形状を変形させて、医療用のCT/MRI画像から得られた個人の体表や内部組織に近似させることにより、身体内部構造の3次元的な形状変化や配置変化を算出する技術が開示されている。特許文献3には、NURBS(Non-Uniform Rational B-Spline)による人体モデルの形状変形手法を用いて、人体の体表面の変形や、体表や内部に発生する力を算出する技術が開示されている。 Conventionally, there has been known a technique for estimating a force generated inside the human body or a change in the shape inside the human body using data representing a human body model (see Patent Documents 1 to 3). For example, Patent Document 1 provides acceleration data of movement of a representative part of a body to a body model defined by data representing a rigid body link representing a skeleton and data representing muscles, tendons, and ligaments, and reverse kinesiology. A technique for calculating the generated force of muscles, tendons, and ligaments by calculation is disclosed. In Patent Document 2, the body surface and the shape of the internal tissue of a numerical human body model having the structure of the internal tissue of the human body created in advance and the shape data thereof are deformed, and the shape of the individual obtained from the CT / MRI image for medical use is described. A technique for calculating a three-dimensional shape change or arrangement change of the internal structure of the body by making it approximate to the body surface or internal tissue is disclosed. Patent Document 3 discloses a technique for calculating the deformation of the body surface of the human body and the force generated on the body surface or inside by using the shape deformation method of the human body model by NURBS (Non-Uniform Rational B-Spline). ing.
しかしながら、上記先行技術によっても、身体モデルによる身体運動から身体内部の情報を推定する技術については、なお、改善の余地があった。例えば、上記先行技術によっても、身体運動情報から血圧や血管・神経の伝達量などの身体内部情報を推定することは困難であった。 However, even with the above-mentioned prior art, there is still room for improvement in the technique of estimating the information inside the body from the physical exercise by the body model. For example, even with the above-mentioned prior art, it was difficult to estimate body internal information such as blood pressure and blood vessel / nerve transmission amount from physical exercise information.
本発明は、上述した課題を解決するためになされたものであり、身体モデルを用いて、身体運動情報から身体内部情報を推定する技術の向上を図ることを目的とする。 The present invention has been made to solve the above-mentioned problems, and an object of the present invention is to improve a technique for estimating body internal information from body movement information by using a body model.
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。 The present invention has been made to solve at least a part of the above-mentioned problems, and can be realized as the following forms.
(1)本発明の一形態によれば、骨格を表す剛体リンクモデルのデータと、前記剛体リンクモデルに関連づけられた、骨、筋肉、血管、および、心臓を含む身体内部組織のモデルによって構成される身体モデルのデータと、を用いて、血圧や筋力を含む身体内部情報を推定する身体内部情報推定方法が提供される。この身体内部情報推定方法は、前記剛体リンクモデルに運動を表現させるための身体運動情報を入力する入力工程と、前記身体運動情報に基づく前記剛体リンクモデルの運動に追従して前記身体内部組織の形状変化を算出する変形計算工程と、数理モデルと数値解析の少なくとも一方を用いて、前記身体内部組織の形状変化から前記身体内部情報を推定する身体内部情報推定工程と、推定された前記身体内部情報を出力する出力工程と、を備える。 (1) According to one embodiment of the present invention, it is composed of data of a rigid link model representing a skeleton and a model of internal tissues of the body including bones, muscles, blood vessels, and the heart associated with the rigid link model. A method for estimating the inside of the body, which estimates the inside information of the body including blood pressure and muscular strength, is provided by using the data of the body model. In this method of estimating internal body information, an input step of inputting physical motion information for causing the rigid body link model to express a motion, and following the motion of the rigid body link model based on the physical motion information, the internal tissue of the body. A deformation calculation step for calculating a shape change, a body internal information estimation step for estimating the body internal information from the shape change of the body internal tissue using at least one of a mathematical model and a numerical analysis, and the estimated body internal It includes an output process for outputting information.
この構成によれば、剛体リンクモデルの運動に追従して身体内部組織の形状変化を算出する変形計算工程と、身体内部組織の形状変化から身体内部情報を推定する身体内部情報推定工程とを備えているため、身体運動情報から身体内部情報を推定することができる。 According to this configuration, a deformation calculation step of calculating the shape change of the body internal tissue following the movement of the rigid body link model and a body internal information estimation step of estimating the body internal information from the shape change of the body internal tissue are provided. Therefore, it is possible to estimate the internal information of the body from the physical exercise information.
(2)上記形態の身体内部情報推定方法において、前記変形計算工程では、前記剛体リンクモデルの運動に追従して前記身体モデルをFFDによって変形させることにより前記身体内部組織の形状変化を算出してもよい。この構成によれば、FFD(Free Form Deformation)によって、身体モデルを変形させることにより、簡易に身体内部組織の形状変化を算出することができる。 (2) In the body internal information estimation method of the above embodiment, in the deformation calculation step, the shape change of the body internal tissue is calculated by deforming the body model by FFD following the movement of the rigid body link model. May be good. According to this configuration, the shape change of the internal tissue of the body can be easily calculated by deforming the body model by FFD (Free Form Deformation).
(3)上記形態の身体内部情報推定方法において、前記身体内部情報推定工程では、数理モデルを用いて、前記身体内部情報のうちの血圧と筋力を算出するマクロ計算工程と、数値解析によって、前記身体内部情報のうちの血管血流量と神経電流量を算出するミクロ計算工程と、の少なくとも一方の工程が含まれていてもよい。この構成によれば、マクロ計算工程によって低計算コストで身体内部情報を算出できるとともに、ミクロ計算工程によって精確な身体内部情報を算出できる。 (3) In the body internal information estimation method of the above embodiment, in the body internal information estimation step, a macro calculation step of calculating blood pressure and muscle strength in the body internal information using a mathematical model, and numerical analysis are performed. At least one of a micro-calculation step of calculating the vascular blood pressure and the nerve current amount of the internal body information may be included. According to this configuration, the macro calculation process can calculate the internal body information at a low calculation cost, and the micro calculation process can calculate the accurate internal body information.
(4)上記形態の身体内部情報推定方法において、前記身体内部情報推定工程には、前記ミクロ計算工程において数値解析によって算出された前記身体内部情報を、前記マクロ計算工程において数理モデルを用いて前記身体内部情報を算出する際に利用する統合工程が含まれていてもよい。この構成によれば、数理モデルを用いて算出される身体内部情報の精度を向上させることができる。 (4) In the body internal information estimation method of the above embodiment, in the body internal information estimation step, the body internal information calculated by numerical analysis in the micro calculation step is used in the macro calculation step using a mathematical model. It may include an integration process used to calculate internal body information. According to this configuration, it is possible to improve the accuracy of the internal body information calculated by using the mathematical model.
(5)上記形態の身体内部情報推定方法において、 前記身体内部情報推定工程には、前記マクロ計算工程において数値モデルを用いて算出された前記身体内部情報を、前記ミクロ計算工程において数値解析によって前記身体内部情報を算出する際の境界条件として利用する統合工程が含まれていてもよい。この構成によれば、数値解析によって算出される身体内部情報の計算コストを低減させることができる。 (5) In the body internal information estimation method of the above embodiment, in the body internal information estimation step, the body internal information calculated by using a numerical model in the macro calculation step is subjected to numerical analysis in the micro calculation step. An integration step may be included that is used as a boundary condition when calculating body internal information. According to this configuration, it is possible to reduce the calculation cost of the internal body information calculated by the numerical analysis.
(6)上記形態の身体内部情報推定方法において、前記身体内部情報推定工程には、前記変形計算工程で計算された特定の筋肉の形状変化から、前記筋肉の長さの変化と、前記筋肉の収縮速度を算出し、算出した前記筋肉の長さの変化と、前記筋肉の収縮速度から数理モデルを用いて前記特定の筋肉の筋力を算出する工程が含まれていてもよい。この構成によれば、筋肉の長さの変化、および、筋肉の収縮速度と、筋力との関係が示された数理モデルを用いて容易に筋力を算出することができる。 (6) In the internal body information estimation method of the above embodiment, in the internal body information estimation step, a change in the length of the muscle and a change in the length of the muscle are obtained from the shape change of the specific muscle calculated in the deformation calculation step. A step of calculating the contraction rate and calculating the muscle strength of the specific muscle from the calculated change in the length of the muscle and the contraction rate of the muscle using a mathematical model may be included. According to this configuration, the muscle strength can be easily calculated using a mathematical model showing the relationship between the change in muscle length, the contraction speed of the muscle, and the muscle strength.
(7)上記形態の身体内部情報推定方法において、前記身体内部情報推定工程には、前記変形計算工程で計算された心臓の形状変化から、左心室の容積変化を算出し、算出した前記左心室の容積変化から数理モデルを用いて血圧を推定する工程が含まれていてもよい。この構成によれば、左心室の容積変化と血圧との関係が示された数理モデルを用いて容易に血圧を算出することができる。 (7) In the internal body information estimation method of the above embodiment, in the internal body information estimation step, the volume change of the left ventricle is calculated from the shape change of the heart calculated in the deformation calculation step, and the calculated left ventricle is calculated. A step of estimating the blood pressure using a mathematical model from the volume change of the above may be included. According to this configuration, blood pressure can be easily calculated using a mathematical model showing the relationship between the volume change of the left ventricle and blood pressure.
(8)上記形態の身体内部情報推定方法において、前記身体内部情報推定工程には、前記身体内部組織のうち、血管と脂肪とが一つの混合体として構成された混合体モデルを用いて、有限要素解析により血管血流量を推定する工程が含まれていてもよい。この構成によれば、血管と脂肪を含む混合体において、時間ステップごとの平衡方程式の解を求めることにより血管血流量を算出することができる。 (8) In the body internal information estimation method of the above embodiment, in the body internal information estimation step, a mixture model in which blood vessels and fat are formed as one mixture of the internal tissues of the body is used and finite. A step of estimating vascular blood flow by element analysis may be included. According to this configuration, in a mixture containing blood vessels and fat, the vascular blood flow can be calculated by finding the solution of the equilibrium equation for each time step.
なお、本発明は、種々の態様で実現することが可能であり、例えば、身体内部情報推定装置、身体内部情報計算システム、身体内部情報推定方法、身体内部情報の推定をコンピュータに実行させるコンピュータプログラム、これを記憶した記憶媒体などの形態で実現することができる。 The present invention can be realized in various aspects, for example, a body internal information estimation device, a body internal information calculation system, a body internal information estimation method, and a computer program for causing a computer to estimate internal body information. , This can be realized in the form of a storage medium or the like that stores this.
<第1実施形態>
  図1は、第1実施形態の身体内部情報推定装置10の構成を例示した説明図である。身体内部情報推定装置10は、身体モデルを用いたシミュレーションによって、身体運動情報から身体内の力学的・電気化学的情報(身体内部情報)を推定するコンピュータシステムである。身体内部情報推定装置10は、演算処理装置、記憶装置、および、入出力装置を含んで構成され、記憶装置に記憶されたプログラムを演算処理装置が実行することにより後述の2つの計算部(身体運動追従変形計算部12および身体内部情報計算部13)を構成する。記憶装置には、このプログラムのほか、後述する種々の身体モデル(剛体リンクモデル、筋骨格モデル、人体モデル、混合法用モデル等)を表すデータが記憶されている。身体内部情報推定装置10は、これら演算処理装置、記憶装置、および、入出力装置によって、身体運動情報入力部11と、身体運動追従変形計算部12と、身体内部情報計算部13と、身体内部情報出力部14と、が構成されている。<First Embodiment>
 FIG. 1 is an explanatory diagram illustrating the configuration of the body internal information estimation device 10 of the first embodiment. The body internal information estimation device 10 is a computer system that estimates mechanical and electrochemical information (body internal information) in the body from physical exercise information by simulation using a body model. The internal body information estimation device 10 is configured to include an arithmetic processing unit, a storage device, and an input / output device, and the arithmetic processing unit executes a program stored in the storage device to execute two calculation units (body) described later. It constitutes a motion-following deformation calculation unit 12 and a body internal information calculation unit 13). In addition to this program, the storage device stores data representing various body models (rigid body link model, musculoskeletal model, human body model, mixed method model, etc.) described later. The body internal information estimation device 10 uses these arithmetic processing devices, a storage device, and an input / output device to provide a body movement information input unit 11, a body movement tracking deformation calculation unit 12, a body internal information calculation unit 13, and the inside of the body. The information output unit 14 and the like are configured.
身体運動情報入力部11は、入力装置によって構成され身体運動情報が入力される。身体運動情報とは、所定期間における人の運動軌跡を特定可能な情報であり、例えば、人の各部位の位置座標や速度、加速度等の時刻歴データや、筋活性度の時刻歴データ等が含まれる。この身体運動情報を剛体リンクモデルや筋骨格モデルに与えることによって、これらのモデルに身体運動を表現させることができる。身体運動情報、剛体リンクモデル、および、筋骨格モデルについては後述する。 The physical exercise information input unit 11 is configured by an input device to input physical exercise information. Physical exercise information is information that can identify a person's movement trajectory during a predetermined period. For example, time history data such as position coordinates, speed, and acceleration of each part of a person, time history data of muscle activity, and the like are used. included. By giving this body movement information to the rigid body link model and the musculoskeletal model, it is possible to make these models express the body movement. The body movement information, the rigid body link model, and the musculoskeletal model will be described later.
身体運動追従変形計算部12は、身体運動情報入力部11に入力された身体運動情報を用いて身体運動を表現した際に、運動に追従して変形する身体内外部組織(皮膚、筋肉、血管、神経等)の形状変化を算出する。ここでは、身体運動情報を用いて身体運動を表現した際に、身体運動中の剛体リンクモデルに追従して、剛体リンクモデルの剛体部(例えば、上腕骨など)に関連づけられる皮膚、筋肉、血管、神経等の身体内外部組織を動かし、これらの形状を変化させる。形状を変化させる手法としては、例えば、コンピュータグラフィックス分野で用いられるFFD(Free Form Deformation)やNURBS(Non-Uniform Rational B-Spline)を例示することができる。FFDによる身体内外部組織の形状変化の一例については後述する。 When the body movement tracking deformation calculation unit 12 expresses the body movement using the body movement information input to the body movement information input unit 11, the body movement tracking deformation calculation unit 12 deforms in accordance with the movement (skin, muscle, blood vessel). , Nerve, etc.) Calculate the shape change. Here, when expressing physical exercise using physical exercise information, the skin, muscles, and blood vessels associated with the rigid body part (for example, humerus) of the rigid body link model are followed by the rigid body link model during physical exercise. , Moves internal and external tissues such as nerves and changes their shape. As a method for changing the shape, for example, FFD (Free Form Deformation) and NURBS (Non-Uniform Rational B-Spline) used in the field of computer graphics can be exemplified. An example of the shape change of the internal and external tissues in the body due to FFD will be described later.
身体内部情報計算部13は、身体運動追従変形計算部12によって算出された身体内外部組織の変形時の形状変化に基づいて身体内部情報を計算する。身体内部情報とは、身体内部の力学的情報または電気化学的情報であり、例えば、筋力、血流量、血圧、神経電流量、応力、ひずみ等を例示することができる。これらの計算方法については後述する。 The body internal information calculation unit 13 calculates the body internal information based on the shape change at the time of deformation of the internal and external tissues calculated by the body movement tracking deformation calculation unit 12. The internal body information is mechanical information or electrochemical information inside the body, and examples thereof include muscle strength, blood flow, blood pressure, nerve current amount, stress, and strain. These calculation methods will be described later.
身体内部情報出力部14は、出力装置によって構成され、身体内部情報計算部13から得られた身体内部情報を出力する。 The body internal information output unit 14 is configured by an output device, and outputs body internal information obtained from the body internal information calculation unit 13.
図2は、記憶装置に記憶されている剛体リンクモデル20を例示した説明図である。剛体リンクモデル20は、人体の骨を剛体のリンク21とし、人体の関節部をジョイント22としてモデル化したものである。身体運動追従変形計算部12(図1)は、例えば、剛体リンクモデル20に対して、モーションキャプチャー等によって計測された各関節や特徴点位置の運動データ(位置、速度、加速度)を関節角度や特徴点位置の時刻歴データとして与えることにより身体運動を表現することができる。 FIG. 2 is an explanatory diagram illustrating the rigid body link model 20 stored in the storage device. The rigid body link model 20 is a model in which the bone of the human body is a rigid body link 21 and the joint portion of the human body is a joint 22. The body motion tracking deformation calculation unit 12 (FIG. 1), for example, applies motion data (position, speed, acceleration) of each joint or feature point position measured by motion capture or the like to a rigid body link model 20 as a joint angle. Physical exercise can be expressed by giving it as time history data of the feature point position.
図3〜図5を用いて、記憶装置に記憶されている人体モデル30について説明する。図3は、人体モデル30の全身を例示した説明図である。図4は、人体モデル30の腕部分を例示した説明図である。図5は、人体モデル30の胸部付近を例示した説明図である。図3〜図5の全体で表される人体モデル30は、骨31、関節32、皮膚33、筋肉34、血管35、神経36、心臓37を含んで構成されている。図3には、人体モデル30のうちの骨31、関節32、血管35が示されている。図4には、人体モデル30の腕部(腕モデル)30aにおける筋肉34、血管35、神経36が示されている。図5(a)には、人体モデル30の胸部における骨31、皮膚33、心臓37が示されている。図5(b)には、人体モデル30の心臓37のうちの左心室37aと、右心室37bと、冠動脈35aと、大動脈35bとが示されている。 The human body model 30 stored in the storage device will be described with reference to FIGS. 3 to 5. FIG. 3 is an explanatory diagram illustrating the whole body of the human body model 30. FIG. 4 is an explanatory view illustrating the arm portion of the human body model 30. FIG. 5 is an explanatory view illustrating the vicinity of the chest of the human body model 30. The human body model 30 represented as a whole of FIGS. 3 to 5 is composed of a bone 31, a joint 32, a skin 33, a muscle 34, a blood vessel 35, a nerve 36, and a heart 37. FIG. 3 shows the bone 31, the joint 32, and the blood vessel 35 of the human body model 30. FIG. 4 shows muscles 34, blood vessels 35, and nerves 36 in the arm (arm model) 30a of the human body model 30. FIG. 5A shows the bone 31, the skin 33, and the heart 37 in the chest of the human body model 30. FIG. 5B shows the left ventricle 37a, the right ventricle 37b, the coronary artery 35a, and the aorta 35b of the heart 37 of the human body model 30.
ここでは、人体モデル30の骨31、関節32は、剛体リンクモデル20(図2)のリンク21、ジョイント22とそれぞれ関連づけられている。また、人体モデル30の皮膚33、筋肉34、血管35、神経36、心臓37は、剛体リンクモデル20のリンク21と関連づけられている。身体運動追従変形計算部12(図1)は、例えば、剛体リンクモデル20により身体運動を表現したときに、剛体リンクモデル20のリンク21に関連づけられている人体モデル30の皮膚33、筋肉34、血管35、神経36、心臓37を後述するFFD等によって変形させることができる。 Here, the bone 31 and the joint 32 of the human body model 30 are associated with the link 21 and the joint 22 of the rigid body link model 20 (FIG. 2), respectively. Further, the skin 33, the muscle 34, the blood vessel 35, the nerve 36, and the heart 37 of the human body model 30 are associated with the link 21 of the rigid body link model 20. The body movement tracking deformation calculation unit 12 (FIG. 1), for example, when the body movement is expressed by the rigid body link model 20, the skin 33 and the muscle 34 of the human body model 30 associated with the link 21 of the rigid body link model 20. The blood vessel 35, the nerve 36, and the heart 37 can be deformed by an FFD or the like described later.
図6〜図7を用いて、記憶装置に記憶されている筋骨格モデル40について説明する。図6は、筋骨格モデル40を例示した説明図であり、図7は、人体モデル30と筋骨格モデル40との対応関係を示した説明図である。図7では、人体モデル30の一部である腕モデル30aと、筋骨格モデル40の一部を構成する筋肉モデル41が示されている。図6の筋骨格モデル40は、図3の人体モデル30から作成することができる。具体的には、図7に示すように、人体モデル30(ここでは、腕モデル30a)に含まれる各筋肉34の3次元的な筋形状(筋ボリューム)を、両端の骨との付着点を結ぶ直線または曲線としてモデル化した筋肉モデル41を作成し、これを図2の剛体リンクモデル20に追加することによって筋骨格モデル40を作成できる。このように、筋骨格モデル40は、剛体リンクモデル20と対応づけられており、この筋骨格モデル40の筋肉モデル41に、筋電計測などにより推定された筋活性度や筋制御アルゴリズムにより算出された筋活性度の時刻歴データを与えることにより、身体運動を表現することができる。 The musculoskeletal model 40 stored in the storage device will be described with reference to FIGS. 6 to 7. FIG. 6 is an explanatory diagram illustrating the musculoskeletal model 40, and FIG. 7 is an explanatory diagram showing the correspondence between the human body model 30 and the musculoskeletal model 40. In FIG. 7, an arm model 30a which is a part of the human body model 30 and a muscle model 41 which constitutes a part of the musculoskeletal model 40 are shown. The musculoskeletal model 40 of FIG. 6 can be created from the human body model 30 of FIG. Specifically, as shown in FIG. 7, the three-dimensional muscle shape (muscle volume) of each muscle 34 included in the human body model 30 (here, the arm model 30a) is used to determine the attachment points to the bones at both ends. The musculoskeletal model 40 can be created by creating a muscle model 41 modeled as a connecting straight line or a curved line and adding it to the rigid link model 20 of FIG. In this way, the musculoskeletal model 40 is associated with the rigid body link model 20, and the muscle model 41 of the musculoskeletal model 40 is calculated by the muscle activity and the muscle control algorithm estimated by myoelectric measurement or the like. Physical exercise can be expressed by giving time history data of muscle activity.
図8は、FFDによる腕モデル30aの曲げを示した説明図である。人体モデル30の一部分である腕モデル30aの全体をFFD格子71で囲み、肘関節を中心として前腕部に回転運動を与えることにより腕を屈曲させることができる。この場合、筋肉34だけでなく内部に含まれる血管35や神経36も屈曲角度に応じて変形する。身体運動追従変形計算部12(図1)は、剛体リンクモデル20(図2)により身体運動を表現した際に、各時間ステップにおいてリンク21やジョイント22の位置や姿勢の変化に対応させてFFD格子を変形させる。これにより、身体内外部組織の形状変化をシミュレーションすることができる。このシミュレーションによって、例えば、運動時や運動前後におけける筋肉の長さの変化や筋肉の断面積の変化を算出することができる。 FIG. 8 is an explanatory view showing bending of the arm model 30a by the FFD. The entire arm model 30a, which is a part of the human body model 30, is surrounded by the FFD grid 71, and the arm can be flexed by giving a rotational movement to the forearm portion around the elbow joint. In this case, not only the muscle 34 but also the blood vessels 35 and nerves 36 contained therein are deformed according to the flexion angle. When the body movement tracking deformation calculation unit 12 (FIG. 1) expresses the body movement by the rigid body link model 20 (FIG. 2), the FFD corresponds to the change in the position and posture of the link 21 and the joint 22 in each time step. Deform the grid. This makes it possible to simulate changes in the shape of internal and external tissues. By this simulation, for example, changes in muscle length and changes in muscle cross-sectional area during and before and after exercise can be calculated.
図9は、FFDによる心臓モデル37のねじれ変形を示した説明図である。人体モデル30の一部分である心臓モデル37は、内部の左心室37aも表現されている。左心室37aを含む心臓モデル37全体をFFD格子で囲み、Z軸方向の収縮と、XY軸平面の収縮と、Z軸回りのねじりと、の3つの変形に分けてFFD格子に与えることによって、運動軌跡として心拍一周期における左心室容積の時系列変化を与えることができる。身体運動追従変形計算部12(図1)は、FFDを用いた心臓モデル37の形状変化をシミュレーションすることにより、左心室の容積の変化を算出することができる。 FIG. 9 is an explanatory diagram showing a torsional deformation of the heart model 37 by FFD. The heart model 37, which is a part of the human body model 30, also represents the internal left ventricle 37a. The entire heart model 37 including the left ventricle 37a is surrounded by an FFD lattice, and is given to the FFD lattice by dividing it into three deformations: contraction in the Z-axis direction, contraction in the XY-axis plane, and twisting around the Z-axis. A time-series change in the left ventricular volume in one cycle of the heartbeat can be given as a movement locus. The body movement tracking deformation calculation unit 12 (FIG. 1) can calculate the change in the volume of the left ventricle by simulating the shape change of the heart model 37 using the FFD.
図10は、身体内部情報計算部13の構成を示した説明図である。ここでは、身体内部情報計算部13による身体内部情報の算出方法について説明する。身体内部情報計算部13は、マクロ計算部131と、ミクロ計算部132とを備えている。 FIG. 10 is an explanatory diagram showing the configuration of the body internal information calculation unit 13. Here, a method of calculating the internal body information by the internal body information calculation unit 13 will be described. The body internal information calculation unit 13 includes a macro calculation unit 131 and a micro calculation unit 132.
マクロ計算部131は、身体運動追従変形計算部12によって算出された身体内外部組織の変形時の形状変化から、身体内の部位ごとの力学的・電気化学的情報をマクロ計算によって算出する。マクロ計算部131は、運動器系・循環器系の統合的数理モデルを使って、例えば、筋力、血流量、血圧、骨への力等を算出することができる。このマクロ計算は、身体運動や心臓の動きなどを低計算コストでシミュレーションできるため、学習の繰り返し計算に利用することができる。 The macro calculation unit 131 calculates mechanical and electrochemical information for each part in the body by macro calculation from the shape change at the time of deformation of the internal and external tissues in the body calculated by the body movement tracking deformation calculation unit 12. The macro calculation unit 131 can calculate, for example, muscle strength, blood flow, blood pressure, force on bones, and the like by using an integrated mathematical model of the locomotor system and the circulatory system. Since this macro calculation can simulate body movements and heart movements at low calculation cost, it can be used for iterative calculation of learning.
ミクロ計算部132は、身体内外部組織の変形時の形状変化から、身体の組織ごとの力学・電気化学的情報をミクロ計算によって算出する。ミクロ計算部132は、数値解析(有限要素解析等)によって、例えば、血管血流量、神経電流量、筋・血管・神経に作用する応力・歪み、筋断面積変化、神経伝達物質の濃度等を算出することができる。このミクロ計算は、血管や神経に作用する力、各組織の詳細な変形形状、血流や神経伝達などの情報を精確に得るために利用することができる。 The micro-calculation unit 132 calculates mechanical and electrochemical information for each tissue of the body by micro-calculation from the shape change at the time of deformation of the internal and external tissues of the body. The micro-calculation unit 132 uses numerical analysis (finite element analysis, etc.) to determine, for example, vascular blood flow, nerve current, stress / strain acting on muscles / blood vessels / nerves, changes in muscle cross-sectional area, concentration of neurotransmitters, etc. Can be calculated. This microcalculation can be used to accurately obtain information such as forces acting on blood vessels and nerves, detailed deformed shapes of each tissue, blood flow and nerve transmission.
ここでは、マクロ計算の例として、運動器系・循環器系の統合的数理モデルを使った筋力、血流量、血圧の算出例について説明する。また、ミクロ計算の例として、混合法による有限要素解析を使った血管血流量、神経電流量の算出例について説明する。なお、マクロ計算、ミクロ計算の両者は相互に補間しながら利用してもよい。これについては第2実施形態で例示する。 Here, as an example of macro calculation, an example of calculating muscle strength, blood flow, and blood pressure using an integrated mathematical model of the musculoskeletal system and the circulatory system will be described. In addition, as an example of micro calculation, a calculation example of vascular blood flow rate and nerve current amount using finite element analysis by the mixing method will be described. Both macro calculation and micro calculation may be used while interpolating with each other. This will be illustrated in the second embodiment.
<筋力の算出例>
  身体運動追従変形計算部12によって算出された身体内外部組織の変形時の形状変化から、身体内部情報計算部13のマクロ計算部131が数理モデルを用いて筋力を算出する方法について説明する。マクロ計算部131は、第M筋の筋張力FMを下記の式(1)によって算出することができる。<Example of calculating muscle strength>
 A method will be described in which the macro calculation unit 131 of the body internal information calculation unit 13 calculates muscle strength using a mathematical model from the shape change at the time of deformation of the internal and external tissues calculated by the body movement tracking deformation calculation unit 12. Macro calculation unit 131 can calculate the muscle force FM of the M muscle by equation (1) below.
式(1)に示すように、筋力FMは、筋断面積PCSAMと、単位面積あたりの力である筋応力との積で表現できる。式(1)の{}内(かっこ内)の第1項は、能動的な筋応力を示し、第2項は、受動的な筋応力を示している。各筋応力はその最大値σMmax(筋種毎に一定と仮定する、人の場合:5g/cm2)と、筋長さおよび筋収縮速度に関係する変数との積で表現される。FCE,L(LM)は筋の長さ変化に依存する。FCE,V(LM,L*M)は、筋の収縮速度に依存する。FPE(LM)は筋の長さ変化に依存する。αMは別途、筋制御アルゴリズムや筋電計測データから推定できる。As shown in equation (1), strength FM can be expressed by the product of the Sujidan area PCSAM, the muscle stress is the force per unit area. The first term in {} (in parentheses) of the formula (1) indicates an active muscle stress, and the second term indicates a passive muscle stress. Each muscle stress isexpressed as the product of its maximum value σ Mmax (assuming constant for each muscle type, in the case ofhumans: 5 g / cm 2 ) and variables related to muscle length and muscle contraction rate. FCE, L (LM) is dependent on the length variation of the muscle.F CE, V (L M, L * M) is dependent on the contraction rate of the muscle. FPE (LM) is dependent on the length variation of the muscle. αM can be estimated separately from the muscle control algorithm and myoelectric measurement data.
このように、筋力FMは、筋の長さ変化と、筋の収縮速度とを変数とする関数によって算出できる。時間ステップ毎の筋の長さ変化や筋の収縮速度は、身体運動追従変形計算部12において筋骨格モデル40やFFD変形計算から得られた腕の屈曲後の筋長さを測定することにより得ることができる。FFD変形計算で腕を屈曲させる方法は図8で説明した通りである。筋骨格モデル40で腕を屈曲させる場合、筋肉モデルに筋活性度の時刻歴データを与えて筋肉を収縮させるか、骨格部分である剛体リンクモデルに運動軌跡データを与えることによって屈曲させて、筋の長さを変化させることができる。以上のことから、身体内部情報計算部13は、身体運動追従変形計算部12によって算出された身体の変形からから筋力FMを算出することができる。Thus, muscle strength FM can be calculated by a function that varies in length and muscle, and muscle contraction speed and variable. The change in muscle length and the contraction speed of the muscle for each time step are obtained by measuring the muscle length after flexion of the arm obtained from the musculoskeletal model 40 and the FFD deformation calculation in the body movement tracking deformation calculation unit 12. be able to. The method of bending the arm in the FFD deformation calculation is as described in FIG. When the arm is flexed by the musculoskeletal model 40, the muscle is flexed by giving the muscle model time history data of muscle activity to contract the muscle or by giving the rigid body link model which is the skeleton part the motion locus data. The length of the can be changed. From the above, the body internal information calculation section 13 can calculate the strength FM from the body of the deformation calculated by the body motion tracking deformation calculation unit 12.
<血流量、血圧の算出例>
  身体運動追従変形計算部12によって算出された身体内外部組織の変形時の形状変化から、身体内部情報計算部13のマクロ計算部131が数理モデルを用いて血流量および血圧を算出する方法について説明する。マクロ計算部131は、動脈の血圧P(t)を下記の式(2)により算出することができる。また、心拍出量Q(t)を下記の式(3)により算出することができる。<Example of calculation of blood flow and blood pressure>
 Explains a method in which the macro calculation unit 131 of the body internal information calculation unit 13 calculates blood flow and blood pressure using a mathematical model from the shape change at the time of deformation of the internal and external tissues calculated by the body movement tracking deformation calculation unit 12. To do. The macro calculation unit 131 can calculate the blood pressure P (t) of the artery by the following formula (2). In addition, the cardiac output Q (t) can be calculated by the following formula (3).
<血管血流量、神経電流量の算出例>
  身体運動追従変形計算部12によって算出された身体内外部組織の変形時の形状変化から、身体内部情報計算部13のミクロ計算部132が数値解析によって血管血流量および神経電流量を算出する方法について説明する。ここでは、図11に示す混合法用モデルを用いた混合法による有限要素解析について説明する。<Example of calculation of vascular blood flow and nerve current>
 About the method that the micro calculation unit 132 of the body internal information calculation unit 13 calculates the vascular blood flow and the nerve current amount by numerical analysis from the shape change at the time of deformation of the internal and external tissues calculated by the body movement tracking deformation calculation unit 12. explain. Here, the finite element analysis by the mixing method using the model for the mixing method shown in FIG. 11 will be described.
図11は、人の腕の断面Saと混合法用腕モデル50を例示した説明図である。図11(a)に示すように、腕の断面Saには、皮膚53、筋肉54、骨51がそれぞれ配置され、皮膚53、筋肉54、骨51の隙間部分に、脂肪52と神経56と血管55とを含む混合体57が配置されている。筋肉54は、上腕筋541と、上腕二頭筋542(長頭542aおよび短頭542b)と、上腕三頭筋543(長頭543a、外側頭543b、および、内側頭543c)と、を含んでいる。骨51は、上腕骨である。図11(b)に示す混合法用腕モデル50では、皮膚53、筋肉54、骨51は、それぞれ有限要素法でメッシュ分割したモデルとして構成され、脂肪52と神経56と血管55は、一つの混合体57として有限要素法でメッシュ分割したモデル(混合体モデル)として構成されている。 FIG. 11 is an explanatory view illustrating a cross section Sa of a human arm and an arm model 50 for mixing method. As shown in FIG. 11A, the skin 53, the muscle 54, and the bone 51 are arranged on the cross section Sa of the arm, respectively, and the fat 52, the nerve 56, and the blood vessel are arranged in the gap between the skin 53, the muscle 54, and the bone 51. A mixture 57 containing 55 and 55 is arranged. The muscle 54 includes the brachial muscle 541, the brachial biceps 542 (long head 542a and brachycephaly 542b), and the triceps brachii 543 (long head 543a, lateral head 543b, and medial head 543c). There is. Bone 51 is the humerus. In the mixed method arm model 50 shown in FIG. 11B, the skin 53, the muscle 54, and the bone 51 are each configured as a mesh-divided model by the finite element method, and the fat 52, the nerve 56, and the blood vessel 55 are one. The mixture 57 is configured as a model (mixture model) divided into meshes by the finite element method.
混合法用腕モデル50を用いて解析をおこなう場合、身体内部情報計算部13は、腕モデル30aのFFD変形結果から得られる骨、筋肉、皮膚の位置を混合法用腕モデル50に与える。この際、モーフィング等の手法を用いて、FFDから得られる骨、筋肉、皮膚の形状データを混合法用腕モデル50に与える。身体内部情報計算部13は、混合法用腕モデル50に含まれる骨51、筋肉54、皮膚53に対して、各時間ステップで通常の有限要素解析をおこなう。脂肪52、神経56、血管55の混合体57に対しては、以下で説明する三相理論による混合法を用いて解析する。三相理論による混合法としては、例えば、非特許文献2の技術を採用することができる。 When the analysis is performed using the mixed method arm model 50, the body internal information calculation unit 13 gives the bone, muscle, and skin positions obtained from the FFD deformation result of the arm model 30a to the mixed method arm model 50. At this time, the bone, muscle, and skin shape data obtained from the FFD are given to the mixed method arm model 50 by using a method such as morphing. The body internal information calculation unit 13 performs a normal finite element analysis on the bone 51, the muscle 54, and the skin 53 included in the mixed method arm model 50 at each time step. The mixture 57 of fat 52, nerve 56, and blood vessel 55 is analyzed by using the mixing method based on the three-phase theory described below. As the mixing method based on the three-phase theory, for example, the technique of Non-Patent Document 2 can be adopted.
三相理論による混合法では、固体相・流体相・イオン相が巨視的に同じ空間位置を同時に占有すると仮定し、各相間の力学的・電気的な相互作用を考慮した平衡方程式を用いる。ここでは、脂肪52と神経56と血管55との混合体57において、脂肪52、血管55の血管壁、神経56の神経軸索を固体相、血管55内の血液、神経56内の神経伝達物質の流れを流体相、神経伝達物質が細胞へと伝わるときの過程をイオン相としてモデル化し、メッシュの各節点における平衡方程式から未知変数の解を求めることで解析をおこなう。 In the mixing method based on the three-phase theory, it is assumed that the solid phase, the fluid phase, and the ionic phase occupy the same spatial position macroscopically at the same time, and an equilibrium equation that considers the mechanical and electrical interactions between the phases is used. Here, in the mixture 57 of the fat 52, the nerve 56, and the blood vessel 55, the fat 52, the blood vessel wall of the blood vessel 55, the nerve axon of the nerve 56 are in the solid phase, the blood in the blood vessel 55, and the neurotransmitter in the nerve 56. The flow of blood is modeled as the fluid phase, and the process when the neurotransmitter is transmitted to the cell is modeled as the ionic phase, and the solution of the unknown variable is obtained from the equilibrium equation at each node of the mesh.
支配方程式は混合体・流体・イオンの3つの平衡方程式と3つの付帯条件式からなり、以下の式(4)〜(9)となる。式(4)は混合体の平衡方程式であり、式(5)は固体の圧縮条件式であり、式(6)は流体の平衡方程式であり、式(7)は混合体の圧縮条件式であり、式(8)はイオンの平衡方程式であり、式(9)は電気的中性条件である。ここではメッシュの各節点における未知変数である、固体相の変位(3自由度)をu、流体の相対速度(3自由度)をQw、固体相の圧力(1自由度)をλS、混合体の圧力(1自由度)をλm、4種類のイオンと5種の代謝物質の濃度(9自由度)をcα、電位(1自由度)をΨとしている。The governing equation consists of three equilibrium equations of mixture, fluid, and ions and three incidental conditional equations, and is the following equations (4) to (9). Equation (4) is a mixture equilibrium equation, equation (5) is a solid compression conditional equation, equation (6) is a fluid equilibrium equation, and equation (7) is a mixture compression conditional equation. Yes, equation (8) is an ion equilibrium equation, and equation (9) is an electrically neutral condition. Here, the displacement of the solid phase (3 degrees of freedom) is u, the relative velocity of the fluid (3 degrees of freedom) is Qw , and the pressure of the solid phase (1 degree of freedom) is λS , which are unknown variables at each node of the mesh. The pressure of the mixture (1 degree of freedom) is λm , the concentration of 4 types of ions and 5 types of metabolites (9 degrees of freedom) is cα, and the potential (1 degree of freedom) is Ψ.
これらの式(4)〜(9)から以下の式(10)に示す支配方程式が導かれる。ただし、すべての変数について空間的に離散化し解析領域のすべての節点についてまとめた未知ベクトル{X}を{X}={{u}T,{Qw}T,{λS}T,{λm}T,{cα}T,{Ψ}T }Tとする。From these equations (4) to (9), the governing equation shown in the following equation (10) is derived. However, the unknown vector {X}, which is spatially discretized for all variables and summarized for all nodes in the analysis domain, is {X} = {{u}T , {Qw }T , {λS }T , {λ.Let m }T , {cα}T , {Ψ}T }T.
なお、神経軸索に跳躍伝導が生じる場合、神経伝達物質の流れる速度は血流などに比べて大きいため、混合法を用いるメリットが小さくなる。そのため、この場合には固体相と流体相のみを利用する二相理論による混合法を採用してもよい。ただし、神経伝達が神経軸索からシナプスを介して化学的伝達により次の細胞に移動する過程はイオンでモデル化できるため、この部分をモデル化する場合には、イオン相を含めた三相理論による混合法を用いる法が好ましい。これによりイオンの変化から電位場も算出できる。 When saltatory conduction occurs in nerve axons, the flow speed of neurotransmitters is higher than that of blood flow, so the merit of using the mixing method is reduced. Therefore, in this case, a mixing method based on the two-phase theory using only the solid phase and the fluid phase may be adopted. However, since the process of neurotransmission from nerve axons to the next cell by chemical transmission via synapses can be modeled by ions, when modeling this part, a three-phase theory including the ionic phase The method using the mixing method according to is preferable. As a result, the potential field can also be calculated from the change in ions.
以上説明した、第1実施形態の身体内部情報推定装置10によれば、身体運動追従変形計算部12が、剛体リンクモデル20の身体運動に追従して身体内部組織の形状変化を算出し、身体内部情報計算部13が、身体内部組織の形状変化からマクロ計算またはミクロ計算によって身体内部情報を推定するため、身体運動情報から身体内部情報を推定することができる。また、本実施形態の身体内部情報推定装置10によれば、身体内部情報計算部13は、数理モデルを用いて、身体内部情報のうちの血圧Pと筋力FMを算出するマクロ計算部131と、数値解析によって、身体内部情報のうちの血管血流量と神経電流量を算出するミクロ計算部132と、を含んでいるため、マクロ計算部131によって低計算コストで身体内部情報を算出できるとともに、ミクロ計算部132によって精確な身体内部情報を算出できる。According to the body internal information estimation device 10 of the first embodiment described above, the body movement tracking deformation calculation unit 12 calculates the shape change of the body internal tissue following the body movement of the rigid body link model 20, and calculates the shape change of the body internal tissue. Since the internal information calculation unit 13 estimates the internal information of the body from the shape change of the internal tissue of the body by macro calculation or micro calculation, the internal information of the body can be estimated from the physical exercise information. Further, according to the intracorporeal information estimating apparatus 10 of the present embodiment, the body internal information calculating unit 13 uses a mathematical model, a macro calculation unit 131 for calculating the blood pressure P and strength FM of the internal body information , Since the micro calculation unit 132 that calculates the vascular blood flow and the nerve current amount among the internal body information by numerical analysis is included, the macro calculation unit 131 can calculate the internal body information at low calculation cost. Accurate body internal information can be calculated by the micro calculation unit 132.
このような、本実施形態の身体内部情報推定装置10によれば、身体の静止中または動作中において、既存の身体計測装置では計測が困難な身体内部情報を、コンピュータ上の人体モデルおよび人体モデルに身体機能を与える計算プログラムによって得ることができる。これにより、例えば、ゴルフスイング中において、関節における屈曲・伸展運動のともなう上腕の筋肉、血管、神経などの身体内部組織の形状変形と、その際の各組織の応力・ひずみ状態、血管・神経の伝達量、筋力等を算出できる。また、心拍運動や呼吸運動の時系列変化において、筋肉、血管、神経等の身体内部組織の形状変化と、その際の各組織の応力・ひずみ、血管・神経の伝達量、大動脈の血圧等を算出できる。 According to the body internal information estimation device 10 of the present embodiment, the human body model and the human body model on the computer can obtain the body internal information that is difficult to measure with the existing body measurement device while the body is stationary or in motion. Can be obtained by a calculation program that gives physical function to the body. As a result, for example, during a golf swing, the shape deformation of the internal tissues of the body such as the muscles, blood vessels, and nerves of the upper arm accompanying the flexion / extension movement in the joint, the stress / strain state of each tissue at that time, and the blood vessels / nerves The amount of transmission, muscle strength, etc. can be calculated. In addition, in the time-series changes of heartbeat and respiratory movements, the shape changes of internal tissues such as muscles, blood vessels, and nerves, the stress / strain of each tissue at that time, the amount of blood vessels / nerves transmitted, the blood pressure of the aorta, etc. Can be calculated.
また、本実施形態の身体内部情報推定装置10によれば、運動による筋負荷、関節負荷だけでなく、心拍上昇、血圧、呼吸変化等、身体運動中の身体全体にかかる負荷を可視化することができるので、スポーツ競技選手の育成強化や呼吸器系、循環器系を含む様々な疾患を抱える患者のリハビリ支援や、高齢者の歩行支援等に利用することができる。また、既存の身体計測装置では計測が困難な身体内部情報を低計算コストで算出できるので、繰り返し学習に活用しやすく、身体内部情報を取り入れたニューラルネットワークモデルを容易に構築することができる。 Further, according to the body internal information estimation device 10 of the present embodiment, it is possible to visualize not only the muscle load and joint load due to exercise but also the load applied to the entire body during physical exercise such as heart rate increase, blood pressure, and respiratory change. Therefore, it can be used for strengthening the training of athletes, rehabilitation support for patients with various diseases including respiratory system and circulatory system, and walking support for elderly people. In addition, since it is possible to calculate internal body information that is difficult to measure with an existing body measuring device at a low calculation cost, it is easy to use for iterative learning, and a neural network model incorporating the internal body information can be easily constructed.
<第2実施形態>
  図12は、第2実施形態の身体内部情報計算部13Aの構成を例示した説明図である。第2実施形態の身体内部情報計算部13Aは、第1実施形態の身体内部情報計算部13と比較すると、さらに、統合部133を備えている点が異なる。統合部133は、マクロ計算部131からの身体内部情報と、ミクロ計算部132からの身体内部情報を相互に補間しながら利用する。例えば、統合部133は、マクロ計算部131からの身体内部情報をミクロ計算部132に与え、ミクロ計算の境界条件に利用させることができる。一方、ミクロ計算部132からの身体内部情報をマクロ計算部131に与え、マクロ計算の式の物性パラメータに利用させることができる。<Second Embodiment>
 FIG. 12 is an explanatory diagram illustrating the configuration of the internal body information calculation unit 13A of the second embodiment. The body internal information calculation unit 13A of the second embodiment is different from the body internal information calculation unit 13 of the first embodiment in that it further includes an integration unit 133. The integration unit 133 uses the body internal information from the macro calculation unit 131 and the body internal information from the micro calculation unit 132 while interpolating each other. For example, the integration unit 133 can give the body internal information from the macro calculation unit 131 to the micro calculation unit 132 and use it as a boundary condition for the micro calculation. On the other hand, the body internal information from the micro calculation unit 132 can be given to the macro calculation unit 131 and used as a physical property parameter of the macro calculation formula.
<筋力の算出例>
  第1実施形態では、マクロ計算部131が、式(1)により筋力を算出する際に、筋断面積PCSAMは一定値と仮定した。しかし、第2実施形態では、マクロ計算部131が、第1実施形態の式(1)により筋力を算出する際に、統合部133は、ミクロ計算部132が算出した筋断面積Aをマクロ計算部131に与える。すなわち、マクロ計算部131は、ミクロ計算部132が算出した筋断面積Aを式(1)の筋断面積PCSAMとして使用する。ミクロ計算部132は、腕の筋断面積Aを算出する場合には、混合法用腕モデル50(図11(b))を用いて、各時間ステップにおいてFFD計算で得られる骨、筋、皮膚等の位置情報を、混合法用腕モデル50の境界条件として与える。混合法用腕モデル50の筋や皮膚を超弾性体などの材料でモデル化すれば、血液など流体相の影響を考慮して筋の変形を算出することができるので、より精度よく筋断面積Aを求めることができる。また、混合法の有限要素解析で腕の変形状態を解析する場合には、FFDで腕を変形させた場合と異なり、変形時に筋が骨に貫入する事態が生じにくく、この意味でもより精度よく筋断面積Aを算出できるといえる。<Example of calculating muscle strength>
 In the first embodiment, when the macro calculation unit 131 calculates the muscle strength by the equation (1), it is assumed that themuscle cross-sectional area PCSA M is a constant value. However, in the second embodiment, when the macro calculation unit 131 calculates the muscle strength by the formula (1) of the first embodiment, the integration unit 133 macro-calculates the muscle cross-sectional area A calculated by the micro calculation unit 132. It is given to the part 131. That is, the macro calculation unit 131 uses the muscle cross-sectional area A calculated by the micro calculation unit 132 as the muscle cross-sectional area PCSAM of the equation (1). When calculating the muscle cross-sectional area A of the arm, the micro calculation unit 132 uses the mixed method arm model 50 (FIG. 11 (b)) to obtain bones, muscles, and skin by FFD calculation in each time step. Etc. are given as boundary conditions of the mixed method arm model 50. If the muscles and skin of the arm model 50 for the mixed method are modeled with a material such as a superelastic body, the muscle deformation can be calculated in consideration of the influence of the fluid phase such as blood, so that the muscle cross-sectional area can be calculated more accurately. A can be obtained. In addition, when analyzing the deformed state of the arm by the finite element analysis of the mixing method, unlike the case where the arm is deformed by FFD, the situation where the muscle penetrates into the bone at the time of deformation is unlikely to occur, and in this sense, it is more accurate. It can be said that the muscle cross-sectional area A can be calculated.
図13は、羽状筋64を例示した説明図である。式(1)の筋断面積PCSAMは、図13に示すように、筋線維の方向の断面積であるため、羽状角θを考慮した断面積であるAcosθがより好ましい。本実施形態によれば、筋の3次元的な詳細な変形状態から解剖学図の筋走行を参照して羽状角を算出できるため、より高精度に筋力を算出することができる。FIG. 13 is an explanatory diagram illustrating the pennate muscle 64.As shown in FIG. 13, the muscle cross-sectional area PCSA M of the formula (1) is the cross-sectional area in the direction of the muscle fibers, and therefore Acos θ, which is the cross-sectional area in consideration of the pinnate angle θ, is more preferable. According to this embodiment, since the pinnate angle can be calculated from the three-dimensional detailed deformation state of the muscle by referring to the muscle running in the anatomical chart, the muscle strength can be calculated with higher accuracy.
<力・応力・ひずみや血流量の算出例>
  ミクロ計算部132は、上述した混合法用腕モデル50(図11(b))を用いた解析により、筋や骨にかかる力・応力・ひずみだけでなく、血管や神経にかかる力・応力・ひずみや血流量も計算することができる。この際、統合部133は、マクロ計算部131によるマクロ計算の結果をミクロ計算部132に与えてもよい。これにより、算出される値の精度の向上を図ることができる。統合部133は、マクロ計算部131によるマクロ計算から得られた骨や筋の力、血流量などの情報を、混合法用腕モデル50の境界面における骨と筋の力や血流量(境界条件)としてミクロ計算部132に入力してもよい。また、骨と筋の形状の時系列変化をミクロ計算部132に与えれば、混合法有限要素解析の計算は、脂肪層と血管と神経の部分だけとなりミクロ計算部132の計算量を減らすことができる。<Example of calculation of force / stress / strain and blood flow>
 The micro-calculation unit 132 analyzes not only the force / stress / strain applied to muscles and bones but also the force / stress / stress applied to blood vessels and nerves by analysis using the above-mentioned arm model 50 for mixing method (FIG. 11 (b)). Strain and blood flow can also be calculated. At this time, the integration unit 133 may give the result of the macro calculation by the macro calculation unit 131 to the micro calculation unit 132. As a result, the accuracy of the calculated value can be improved. The integration unit 133 uses information such as bone and muscle force and blood flow obtained from the macro calculation by the macro calculation unit 131 to obtain information such as bone and muscle force and blood flow (boundary condition) at the boundary surface of the mixed method arm model 50. ) May be input to the micro calculation unit 132. Further, if the time series change of the shape of the bone and the muscle is given to the micro calculation unit 132, the calculation of the mixed method finite element analysis is limited to the fat layer, the blood vessel and the nerve part, and the calculation amount of the micro calculation unit 132 can be reduced. it can.
<血圧の算出例>
  マクロ計算部131が、第1実施形態の式(2)により血圧を算出する際に、統合部133は、ミクロ計算部132が算出した大動脈のコンプライアンスCwと抹消血管抵抗Rpをマクロ計算部131に与えてもよい。これにより、マクロ計算部131は、ミクロ計算部132が算出した大動脈のコンプライアンスCwを式(2)のコンプライアンスθとして使用することができる。第1実施形態では、式(2)において、大動脈のコンプライアンスθと抹消血管抵抗Rは定数としている。しかし、大動脈のコンプライアンスCwは、以下の式(12)に示すように、最高血圧時の大動脈の断面積の最大値Amax、動脈の効果長l、および、心臓の収縮、拡張におけるそれぞれの近心動脈内血圧pの影響を受ける。<Blood pressure calculation example>
 When the macro calculation unit 131 calculates the blood pressure by the formula (2) of the first embodiment, the integration unit 133 transfers the aortic compliance Cw and the peripheral vascular resistance Rp calculated by the micro calculation unit 132 to the macro calculation unit 131. May be given. As a result, the macro calculation unit 131 can use the aortic compliance Cw calculated by the micro calculation unit 132 as the compliance θ of the equation (2). In the first embodiment, in the formula (2), the aortic compliance θ and the peripheral vascular resistance R are constants. However, as shown in the following equation (12), the compliance Cw of the aorta is the maximum value Amax of the cross-sectional area of the aorta at the time of systolic blood pressure, the effective length l of the artery, and the proximity of each in contraction and dilation of the heart. Affected by intracardiac blood pressure p.
上記式(12)の近心動脈内血圧p、および、式(2)の末梢血管抵抗Rは、以下で説明するように、末梢での神経伝達物質ノルエピネフリン(ノルアドレナリン)の濃度CvNEの影響を受ける。具体的には、近心動脈内血圧p、および、末梢血管抵抗Rは、下記の式(13)、および、式(14)に示すように、ともに式(15)で定義される拡張期血圧を決定づける因子τv(t)の関数になっている。式(15)および式(16)に示すように、この因子τv(t)は、末梢での神経伝達物質ノルエピネフリンの濃度CvNEの影響を受ける。ここから、近心動脈内血圧p、および、末梢血管抵抗Rは、末梢での神経伝達物質ノルエピネフリンの濃度CvNEの影響を受けることがわかる。The mesial arterial blood pressure p of the above formula (12) and the peripheral vascular resistance R of the formula (2) are affected bythe concentration Cv NE of the neurotransmitter norepinephrine (noradrenaline) in the periphery, as explained below. receive. Specifically, the mesial arterial blood pressure p and the peripheral vascular resistance R are both diastolic blood pressures defined by the formula (15) as shown in the following formulas (13) and (14). It is a function of the factor τv (t) that determines. As shown in formulas (15) and (16), this factor τv (t) is affected bythe concentration Cv NE of the peripheral neurotransmitter norepinephrine. From this, it can be seen that the blood pressure p in the mesial artery and the peripheral vascular resistance R areaffected by the concentration Cv NE of the neurotransmitter norepinephrine in the periphery.
以上から、大動脈の断面積A、大動脈の効果長さl、神経伝達物質ノルエピネフリンの濃度CvNEがわかれば、末梢血管抵抗R、大動脈のコンプライアンスθが得られ、血圧をより精度よく算出できることがわかる。最高血圧時の大動脈の断面積の最大値Amax、および、動脈の効果長lは、大動脈の伸展性や容積変化の特徴を示している。大動脈の伸展性が低下すると血圧が上昇し、大動脈が硬いと容積変化に対応するため血圧が上昇する。大動脈のコンプライアンスθは、単位圧力の増加に対する血管容積の増加量を示す。末梢血管抵抗Rは、血管の硬さと関係する。つまり、上記によって末梢血管抵抗R、および、大動脈のコンプライアンスθを得ることで、血管の硬さを考慮することができ、血圧の予測精度の向上を図ることができる。From the above, it can be seen that if the cross-sectional area A of the aorta, the effect length l of the aorta, and the concentration CvNE of the neurotransmitter norepinephrine are known, peripheral vascular resistance R and compliance θ of the aorta can be obtained, and blood pressure can be calculated more accurately. ..The maximum value A max of the cross-sectional area of the aorta at the time of systolic blood pressure and the effective length l of the artery are characteristic of the extensibility and volume change of the aorta. When the aorta's extensibility decreases, the blood pressure rises, and when the aorta is stiff, the blood pressure rises in response to volume changes. Aortic compliance θ indicates the amount of increase in vessel volume with increasing unit pressure. Peripheral vascular resistance R is associated with vascular hardness. That is, by obtaining the peripheral vascular resistance R and the compliance θ of the aorta by the above, the hardness of the blood vessel can be taken into consideration, and the accuracy of blood pressure prediction can be improved.
FFDと混合法による3次元的な大動脈の変形計算によって、血管の収縮を考慮した、動脈の断面積Aや動脈の効果長さlを算出できる。また、混合法によって神経伝達物質ノルエピネフリン濃度CvNEを算出できる。よって、FFDと混合法から、末梢血管抵抗Rと大動脈のコンプライアンスθを算出でき、精度のより高い動脈血圧Pを算出することができる。ノルエピネフリン濃度CvNEは、例えば、混合法用腕モデル50において、神経伝達をシナプス伝達まで考慮してイオン相を扱うと算出することができる。なお、ノルエピネフリン濃度CvNEは、交感神経の活動度や時間遅れの影響を受ける。混合法を用いてノルエピネフリンのイオン濃度を算出し、FFDによる神経の変形から時間遅れを算出することで、交感神経の活動度の算出過程で仮定された定数を特定することができ、算出精度を向上させることができる。The cross-sectional area A of the artery and the effective length l of the artery can be calculated in consideration of the contraction of the blood vessel by the three-dimensional deformation calculation of the aorta by the FFD and the mixing method. In addition, the neurotransmitter norepinephrine concentration CvNE can be calculated by the mixing method. Therefore, the peripheral vascular resistance R and the compliance θ of the aorta can be calculated from the FFD and the mixing method, and the arterial blood pressure P with higher accuracy can be calculated. The norepinephrine concentration CvNE can be calculated, for example, by treating the ionic phase in consideration of neurotransmission up to synaptic transmission in the mixed arm model 50. The norepinephrine concentration CvNE is affected by the activity of the sympathetic nerve and the time delay. By calculating the ion concentration of norepinephrine using the mixing method and calculating the time delay from the deformation of the nerve due to FFD, the constant assumed in the process of calculating the activity of the sympathetic nerve can be specified, and the calculation accuracy can be improved. Can be improved.
以上説明した、第2実施形態の身体内部情報推定装置によれば、身体内部情報計算部13Aの統合部133は、マクロ計算部131からの身体内部情報と、ミクロ計算部132からの身体内部情報を相互に補間しながら利用するため、身体内部情報の精度を向上させつつ計算コストの低減を図ることができる。例えば、統合部133は、マクロ計算部131によって数理モデルを用いて算出された身体内部情報をミクロ計算部132に与え、ミクロ計算の境界条件に利用させることができる。これにより、数値解析によって算出される身体内部情報の計算コストを低減させることができる。一方、ミクロ計算部132によって数値解析によって算出された身体内部情報をマクロ計算部131に与え、マクロ計算の式の物性パラメータに利用させることができる。これにより、数理モデルを用いて算出される身体内部情報の精度を向上させることができる。 According to the body internal information estimation device of the second embodiment described above, the integrated unit 133 of the body internal information calculation unit 13A has the body internal information from the macro calculation unit 131 and the body internal information from the micro calculation unit 132. Is used while interpolating with each other, so that it is possible to reduce the calculation cost while improving the accuracy of the information inside the body. For example, the integration unit 133 can give the body internal information calculated by the macro calculation unit 131 using the mathematical model to the micro calculation unit 132 and use it as a boundary condition for the micro calculation. As a result, the calculation cost of the internal body information calculated by the numerical analysis can be reduced. On the other hand, the body internal information calculated by the micro calculation unit 132 by the numerical analysis can be given to the macro calculation unit 131 and used as the physical property parameter of the macro calculation formula. This makes it possible to improve the accuracy of body internal information calculated using a mathematical model.
<本実施形態の変形例>
  本発明は上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。<Modified example of this embodiment>
 The present invention is not limited to the above-described embodiment, and can be implemented in various aspects without departing from the gist thereof. For example, the following modifications are also possible.
  [変形例1]
  第1、第2実施形態で示したマクロ計算部131によるミクロ計算例や、ミクロ計算部132によるマクロ計算例は、その一例であり、マクロ計算部131やミクロ計算部132によって推定される身体内部情報は、本実施形態で例示した内容に限定されない。例えば、非特許文献1に記載されている数理モデルを用いて身体内部情報を算出してもよいし、非特許文献2に記載されている数値解析法を採用してもよい。また、第2実施形態で示した統合部133は、マクロ計算部131によって算出された筋力や血圧と、ミクロ計算部132によって算出された筋肉の応力、ひずみ、血管の血流量、流速、圧力、神経の電流量、イオン伝達速度から、関節角度、筋伸び、血圧、心拍数等の身体内部情報を算出してもよい。[Modification 1]
 The micro calculation example by the macro calculation unit 131 and the macro calculation example by the micro calculation unit 132 shown in the first and second embodiments are examples thereof, and the inside of the body estimated by the macro calculation unit 131 and the micro calculation unit 132. The information is not limited to the content illustrated in this embodiment. For example, the information inside the body may be calculated using the mathematical model described in Non-Patent Document 1, or the numerical analysis method described in Non-Patent Document 2 may be adopted. Further, the integrated unit 133 shown in the second embodiment includes muscle strength and blood pressure calculated by the macro calculation unit 131, muscle stress and strain calculated by the micro calculation unit 132, blood vessel blood flow, flow velocity, and pressure. Internal information such as joint angle, muscle elongation, blood pressure, and heart rate may be calculated from the amount of electric current of the nerve and the ion transmission rate.
  [変形例2]
  第1実施形態では、混合法用モデルとして腕モデル50を例示した。しかし、混合法用モデルは、身体の任意の部位について作成可能である。すなわち、身体内部情報計算部13は、身体の任意の部位についての身体内部情報を推定することができる。また、本実施形態では人体モデルを用いて人間の身体内部情報を推定しているが、身体内部情報推定装置10は、人以外の任意の生き物のモデルを用いて、その生き物の身体内部情報を推定することができる。[Modification 2]
 In the first embodiment, the arm model 50 is exemplified as a model for the mixed method. However, mixed method models can be created for any part of the body. That is, the body internal information calculation unit 13 can estimate the body internal information about any part of the body. Further, in the present embodiment, the human body internal information is estimated using the human body model, but the body internal information estimation device 10 uses the model of an arbitrary creature other than the human body to estimate the internal information of the creature. Can be estimated.
  [変形例3]
  第1実施形態の身体内部情報推定装置10は、記憶装置に、剛体リンクモデル20、人体モデル30、筋骨格モデル40、混合法用腕モデル50が記憶されているものとして説明した。しかし、これらのモデルは例示であり、これらの一部のモデルを記憶していなくてもよいし、これら以外のモデルを記憶していてもよい。また、身体内部情報推定装置10は、身体内部情報を算出する際に、必要な身体モデルをその都度作成する機能を有していてもよい。[Modification 3]
 The internal body information estimation device 10 of the first embodiment has been described assuming that the rigid body link model 20, the human body model 30, the musculoskeletal model 40, and the mixed method arm model 50 are stored in the storage device. However, these models are examples, and some of these models may not be stored, or models other than these may be stored. Further, the body internal information estimation device 10 may have a function of creating a necessary body model each time when calculating the body internal information.
  [変形例4]
  第1実施形態の身体内部情報計算部13は、マクロ計算部131とミクロ計算部132を備えているものとした。しかし、身体内部情報計算部13は、マクロ計算部131とミクロ計算部132の一方のみを備えていてもよい。[Modification example 4]
 It is assumed that the internal body information calculation unit 13 of the first embodiment includes a macro calculation unit 131 and a micro calculation unit 132. However, the body internal information calculation unit 13 may include only one of the macro calculation unit 131 and the micro calculation unit 132.
  [変形例5]
  第1実施形態の身体内部情報推定装置10は、マクロ計算部131によるマクロ計算と、ミクロ計算部132によるミクロ計算を各タイムステップで同時におこなうこともできるし、マクロ計算のみ、ミクロ計算のみをおこなうこともできる。また、マクロ計算、ミクロ計算の同時計算について繰り返し計算をおこなうことや、身体の複数部位(上肢、下肢、内臓など)の結果を利用しあうこともできる。これにより、マクロ計算、ミクロ計算それぞれの計算精度の向上を図ることができる。[Modification 5]
 The internal body information estimation device 10 of the first embodiment can simultaneously perform the macro calculation by the macro calculation unit 131 and the micro calculation by the micro calculation unit 132 at each time step, or perform only the macro calculation and only the micro calculation. You can also do it. It is also possible to repeatedly perform macro calculations and simultaneous calculations of micro calculations, and to use the results of multiple parts of the body (upper limbs, lower limbs, internal organs, etc.). As a result, it is possible to improve the calculation accuracy of each of the macro calculation and the micro calculation.
以上、実施形態、変形例に基づき本態様について説明してきたが、上記した態様の実施の形態は、本態様の理解を容易にするためのものであり、本態様を限定するものではない。本態様は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本態様にはその等価物が含まれる。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することができる。 Although the present embodiment has been described above based on the embodiments and modifications, the embodiments of the above-described embodiments are for facilitating the understanding of the present embodiment, and do not limit the present embodiment. This aspect may be modified or improved without departing from its spirit and claims, and this aspect includes its equivalents. In addition, if the technical feature is not described as essential in the present specification, it may be deleted as appropriate.
    10…身体内部情報推定装置
    11…身体運動情報入力部
    12…身体運動追従変形計算部
    13…身体内部情報計算部
    131…マクロ計算部
    132…ミクロ計算部
    133…統合部
    14…身体内部情報出力部
    20…剛体リンクモデル
    21…リンク
    22…ジョイント
    30…人体モデル
    40…筋骨格モデル
    50…混合法用腕モデル
    31、51…骨
    41…筋肉モデル
    32…関節
    52…脂肪
    33、53…皮膚
    34、54…筋肉
    541…上腕筋
    542…上腕二頭筋
    543…上腕三頭筋
    35、55…血管
    36、56…神経
    37…心臓
    57…混合体10 ... Body internal information estimation device 11 ... Body movement information input unit 12 ... Body movement tracking deformation calculation unit 13 ... Body internal information calculation unit 131 ... Macro calculation unit 132 ... Micro calculation unit 133 ... Integration unit 14 ... Body internal information output unit 20 ... rigid body link model 21 ... link 22 ... joint 30 ... human body model 40 ... musculoskeletal model 50 ... mixed method arm model 31, 51 ... bone 41 ... muscle model 32 ... joint 52 ... fat 33, 53 ... skin 34, 54 … Muscle 541… Upper arm muscle 542… Upper arm bicep muscle 543… Upper arm triceps muscle 35, 55… Vascular 36, 56… Nerve 37… Heart 57… Mixture
| Application Number | Priority Date | Filing Date | Title | 
|---|---|---|---|
| JP2018038026AJP6835014B2 (en) | 2018-03-02 | 2018-03-02 | Internal body information estimation method, computer program, storage medium that stores it, and internal body information estimation device | 
| PCT/JP2019/006086WO2019167721A1 (en) | 2018-03-02 | 2019-02-19 | Internal body information estimation method, computer program, storage medium storing same, and, internal body information estimation device | 
| Application Number | Priority Date | Filing Date | Title | 
|---|---|---|---|
| JP2018038026AJP6835014B2 (en) | 2018-03-02 | 2018-03-02 | Internal body information estimation method, computer program, storage medium that stores it, and internal body information estimation device | 
| Publication Number | Publication Date | 
|---|---|
| JP2019150332A JP2019150332A (en) | 2019-09-12 | 
| JP6835014B2true JP6835014B2 (en) | 2021-02-24 | 
| Application Number | Title | Priority Date | Filing Date | 
|---|---|---|---|
| JP2018038026AActiveJP6835014B2 (en) | 2018-03-02 | 2018-03-02 | Internal body information estimation method, computer program, storage medium that stores it, and internal body information estimation device | 
| Country | Link | 
|---|---|
| JP (1) | JP6835014B2 (en) | 
| WO (1) | WO2019167721A1 (en) | 
| Publication number | Priority date | Publication date | Assignee | Title | 
|---|---|---|---|---|
| WO2023175936A1 (en)* | 2022-03-18 | 2023-09-21 | 三菱電機株式会社 | Simulation device | 
| Publication number | Priority date | Publication date | Assignee | Title | 
|---|---|---|---|---|
| JPS6449540A (en)* | 1987-08-19 | 1989-02-27 | Toshimitsu Musha | Simulator for cardiac electric phenomenon | 
| US5818452A (en)* | 1995-08-07 | 1998-10-06 | Silicon Graphics Incorporated | System and method for deforming objects using delta free-form deformation | 
| JP2945630B2 (en)* | 1996-07-08 | 1999-09-06 | 株式会社エイ・ティ・アール通信システム研究所 | 3D video creation device | 
| JP3896665B2 (en)* | 1998-01-05 | 2007-03-22 | ソニー株式会社 | How to create a numerical model for a vertebrate or a robot imitating it | 
| JP3558596B2 (en)* | 2000-12-22 | 2004-08-25 | 株式会社パスコ | Human body numerical management system and human body modeling system | 
| GB0414328D0 (en)* | 2004-06-25 | 2004-07-28 | Imp College Innovations Ltd | Method of correlating internal tissue movement | 
| CA2553546A1 (en)* | 2005-07-29 | 2007-01-29 | Avid Technology, Inc. | Three-dimensional animation of soft tissue of characters using controls associated with a surface mesh | 
| US8315812B2 (en)* | 2010-08-12 | 2012-11-20 | Heartflow, Inc. | Method and system for patient-specific modeling of blood flow | 
| US8922547B2 (en)* | 2010-12-22 | 2014-12-30 | Electronics And Telecommunications Research Institute | 3D model shape transformation method and apparatus | 
| JP2013068979A (en)* | 2011-09-20 | 2013-04-18 | Panasonic Corp | Muscle force estimation device and program | 
| WO2016168194A1 (en)* | 2015-04-13 | 2016-10-20 | Case Western Reserve University | Dual energy x-ray coronary calcium grading | 
| JP6836038B2 (en)* | 2016-09-07 | 2021-02-24 | 和人 林 | Human body model providing system, human body model transformation method, and computer program | 
| Publication number | Publication date | 
|---|---|
| JP2019150332A (en) | 2019-09-12 | 
| WO2019167721A1 (en) | 2019-09-06 | 
| Publication | Publication Date | Title | 
|---|---|---|
| Röhrle et al. | Three-dimensional finite element modelling of muscle forces during mastication | |
| Van den Bogert et al. | A real-time system for biomechanical analysis of human movement and muscle function | |
| Guidoboni et al. | Cardiovascular function and ballistocardiogram: A relationship interpreted via mathematical modeling | |
| Delp et al. | OpenSim: open-source software to create and analyze dynamic simulations of movement | |
| US12396685B2 (en) | Systems and methods for cardiovascular blood flow and musculoskeletal modeling for predicting device failure or clinical events | |
| Finsberg et al. | Estimating cardiac contraction through high resolution data assimilation of a personalized mechanical model | |
| Lee et al. | A survey of modeling and simulation of skeletal muscle | |
| JP6835014B2 (en) | Internal body information estimation method, computer program, storage medium that stores it, and internal body information estimation device | |
| Saputra et al. | A real-time control system of upper-limb human musculoskeletal model with environmental integration | |
| Chincisan et al. | A computational approach to calculate personalized pennation angle based on MRI: effect on motion analysis | |
| JP6873871B2 (en) | Musculoskeletal force estimation system | |
| Mountjoy et al. | Use of the fast orthogonal search method to estimate optimal joint angle for upper limb Hill-muscle models | |
| Tang et al. | Development of software for human muscle force estimation | |
| Niroomandi et al. | Real-time computer modeling in prevention of foot pressure ulcer using patient-specific finite element model and model order reduction techniques | |
| Noei et al. | Analysis of movement of an elbow joint with a wearable robotic exoskeleton Using OpenSim software | |
| Koshelev et al. | A modified mathematical model of the anatomy of the cardiac left ventricle | |
| Zhou et al. | A preliminary study on surface electromyography signal analysis for motion characterization during catheterization | |
| Ponnaluri et al. | Model of left ventricular contraction: Validation criteria and boundary conditions | |
| Tokuyasu et al. | Mechanical modeling of a beating heart for a cardiac palpation training system | |
| Meister et al. | Additional clinical applications | |
| Lueken et al. | Using synthesized imu data to train a long-short term memory-based neural network for unobtrusive gait analysis with a sparse sensor setup | |
| Behr et al. | A three-dimensional human trunk model for the analysis of respiratory mechanics | |
| Chabiniok et al. | Trials on tissue contractility estimation from cardiac cine MRI using a biomechanical heart model | |
| Moosavi et al. | An emg-driven musculoskeletal model to predict muscle forces during performing a weight training exercise with a dumbbell | |
| Akhras et al. | Neural and musculoskeletal modeling: its role in neurorehabilitation | 
| Date | Code | Title | Description | 
|---|---|---|---|
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20190619 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20190712 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20200107 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20200227 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20200714 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20200817 | |
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20210105 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20210118 | |
| R150 | Certificate of patent or registration of utility model | Ref document number:6835014 Country of ref document:JP Free format text:JAPANESE INTERMEDIATE CODE: R150 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 |