JP2004223128A - Medical practice support apparatus and method - Google Patents

Abstract

Translated fromJapanese

【課題】医療器具の医療行為対象部に対する位置が所定範囲内あるいは所定経路上にあるか否かを確認できるようにする。
【解決手段】手術支援装置１は、術部の３次元画像データを記憶する術部３次元情報記憶部１０７、術者より術部に対する領域または経路の設定を受け付ける領域・経路設定部１０８と、医療器具の術部に対する相対位置（器具位置）を入手する３次元運動計測装置ＩＦ部１０２と、ナビゲーション処理部１１０とを有する。ナビゲーション処理部１１０は、術部３次元情報記憶部１０７に記憶されている３次元画像データにより特定される術部の映像を、３次元運動計測装置ＩＦ部１０２で入手した器具位置と共に表示する。また、器具位置が設定されている領域または経路から外れる場合に、警告のための制御を行なう。
【選択図】図４An object of the present invention is to confirm whether a position of a medical device with respect to a medical practice target portion is within a predetermined range or on a predetermined route.
An operation support apparatus includes an operation unit 3D information storage unit that stores 3D image data of an operation unit, an area / path setting unit that receives setting of an area or a path for the operation unit by an operator, The medical device includes a three-dimensional motion measurement device IF unit 102 that obtains a relative position (device position) of a medical device with respect to an operation part, and a navigation processing unit 110. The navigation processing unit 110 displays the video of the operative site specified by the three-dimensional image data stored in the operative unit three-dimensional information storage unit 107 together with the instrument position obtained by the three-dimensional motion measurement device IF unit 102. In addition, when an appliance position deviates from a set area or route, a warning control is performed.
[Selection diagram] FIG.

Description

Translated fromJapanese

【０００１】
【発明の属する技術分野】
本発明は、コンピュータを用いた医療行為の支援技術に関する。
【０００２】
【従来の技術】
コンピュータを用いた手術支援システムが提案されている。従来の手術支援システムは、ＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）やＣＴ（Ｃｏｍｐｕｔｅｒ Ｔｏｍｏｇｒｐｈｙ）などの医療用画像化装置（医用画像モダリティ）から術部の断層画像データを複数取り込み、これらの断層画像データを基に術部の３次元情報を生成する。また、手術器具に取り付けられたマーカと、術部に取り付けられたマーカとを、受光カメラあるいは受光センサで空間座標情報を取得することで、手術器具の術部に対する位置を計測する。そして、３次元情報から生成される術部の画像を、手術器具の術部に対する位置と共に、表示装置に表示する。このようにすることで、手術器具の術部に対する位置を、表示装置に表示された画像から確認できるようにしている。
【０００３】
なお、この種の手術支援システムとして、メドトロニックソファモアダネック社の「ＴＲＥＯＮ（商標）」、冨木医療器株式会社の「Ｅａｓｙ ＶＩｓｕａｌ Ａｄｖｉｓｅｒ Ｎａｖｉｇａｔｉｏｎ Ｓｙｓｔｅｍ」、株式会社ケイ・ジー・ディの「ＩＮＴＡＧＥ」などがある。また、この種の手術支援システムに関する先行技術文献として、特許文献１がある。
【０００４】
【特許文献１】
特開平９−１７３３５２号公報
【０００５】
【発明が解決しようとする課題】
従来の手術支援システムは、術部の画像を、手術器具の術部に対する位置と共に表示するのみであった。つまり、術者は、手術器具の術部に対する位置を、術者が予め設定した領域内あるいは経路上（リハーサルで設定された領域内あるいは経路上）にあるか否かを確認することはできなかった。
【０００６】
本発明は上記事情に鑑みてなされたものであり、本発明の目的は、手術などの医療行為に対して、医療器具の医療行為対象部に対する位置が所定範囲内あるいは所定経路上にあるか否かを確認できる技術を提供することにある。
【０００７】
【課題を解決するための手段】
上記課題を解決するために、本発明の医療行為支援装置は、医療対象部の３次元情報を記憶する医療対象情報記憶手段と、操作者より前記医療対象情報記憶手段に記憶されている３次元情報により特定される医療対象部に対する領域または経路の設定を受け付ける領域・経路設定手段と、医療器具の前記医療対象部に対する位置情報を入手する位置情報入手手段と、前記医療対象情報記憶手段に記憶されている３次元情報により特定される前記医療対象部の画像を、前記位置情報入手手段で入手した位置情報により特定される前記医療器具の前記医療対象部に対する位置と共に表示するための画像情報を生成する画像情報生成手段と、前記位置情報入手手段で入手した位置情報により特定される前記医療器具の前記医療対象部に対する位置と前記領域・経路設定手段で設定された領域の境界または経路との距離を監視し、その距離に応じて警告のための制御を行う警告制御手段と、を有する。
【０００８】
たとえば、前記医療器具の前記医療対象部に対する位置と前記領域の境界との距離が所定の警戒量以内となった場合に、前記医療器具の前記医療対象部に対する位置が前記領域・経路設定手段で設定された領域から外れる可能性があるとして、警告のための制御を行う。あるいは、前記医療器具の前記医療対象部に対する位置と前記経路との距離が所定の警戒量以上となった場合に、前記医療器具の前記医療対象部に対する位置が前記領域・経路設定手段で設定された経路から外れる可能性があるとして、警告のための制御を行う。
【０００９】
本発明によれば、前記の構成により、操作者は、医療器具の医療行為対象部に対する相対位置が所定範囲内あるいは所定経路上にあるか否かを確認できる。したがって、医療器具の医療行為対象部に対する相対位置が所定範囲あるいは所定経路から外れないように支援することができる。
【００１０】
ここで、前記医療器具がマスタ・スレーブ型ロボット手術システムであもよい。この場合、前記警告制御手段は、前記警告のための制御として前記ロボット手術システムに、マスタマニピュレータの可動範囲を制限するための通知信号を送信するとよい。そして、マスタ・スレーブ型ロボット手術システムに、本発明の医療行為支援装置より送信される通知信号を受信する通知信号受信手段と、前記通知信号受信手段が前記通知信号を受信している場合、マスタマニピュレータの可動範囲を制限する可動制御手段と、を設けるとよい。前記可動制御手段としては、例えば、前記マスタマニピュレータに入力された操作内容を記憶する記憶手段を有し、前記マスタマニピュレータに入力された操作内容により特定されるスレーブマニピュレータの位置が、前記記憶手段に記憶されている過去の操作内容により定まるスレーブマニピュレータの移動範囲外になる場合に、前記マスタマニピュレータに反力を発生させることで、前記マスタマニピュレータの可動範囲を制限するものでもよい。
【００１１】
このようにすれば、医療器具の医療行為対象部に対する位置が所定範囲あるいは所定経路から外れることを防止することができる。
【００１２】
また、前記領域・経路設定手段は、操作者より前記医療対象情報記憶手段に記憶されている３次元情報により特定される医療対象部に対する位置の指定を、前記医療対象部に対する領域あるいは経路を定める指定位置の１つとして受け付ける指定受付手段と、前記指定受付手段で受け付けた指定位置を含む平面で、前記医療対象情報記憶手段に記憶されている３次元情報により特定される医療対象部を、切断することにより得られる断面図を表示するための断面画像情報を生成する断面画像情報生成手段と、前記医療対象情報記憶手段に記憶されている３次元情報により特定される前記医療対象部の３次元画像を、前記指定受付手段で受け付けた複数の指定位置により特定される領域あるいは経路と共に表示するための３次元画像情報を生成する３次元画像情報生成手段と、を有するものでもよい。
【００１３】
このようにすれば、所定領域あるいは所定経路を設定するための指定位置を、この指定位置を含む医療対象部の断面画像および３次元画像の両方から視覚的に把握することができるので、指定位置の確認が容易になる。
【００１４】
また、前記画像情報生成手段は、前記位置情報入手手段で入手した位置情報により特定される前記医療器具の前記医療対象部に対する位置を含む平面で、前記医療対象情報記憶手段に記憶されている３次元情報により特定される医療対象部を、切断することにより得られる断面図を表示するための断面画像情報を生成する断面画像情報生成手段と、前記医療対象情報記憶手段に記憶されている３次元情報により特定される前記医療対象部の３次元画像を、前記位置情報入手手段で入手した位置情報により特定される前記医療器具の前記医療対象部に対する位置および前記領域・経路設定手段で設定された前記医療対象部に対する領域あるいは経路と共に表示するための３次元画像情報を生成する３次元画像情報生成手段と、を有するものでもよい。
【００１５】
このようにすれば、医療器具の医療対象部に対する位置と、所定領域あるいは所定経路との関係を、この位置を含む医療対象部の断面画像および３次元画像の両方から視覚的に把握することができるので、医療器具の医療対象部に対する位置の確認が容易になる。
【００１６】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。
【００１７】
図１は、本発明の一実施形態が適用された手術支援システムの概略図である。
【００１８】
図示するように、本実施形態の手術支援システムは、手術支援装置１と、マスタ・スレーブ型ロボット手術システム２と、ＭＲＩ装置３と、３次元座標計測装置４と、手術台５と、を備えて構成される。
【００１９】
ＭＲＩ装置３は、ＭＲＩにより患者の術部の断層画像を撮影する。本実施形態のＭＲＩ装置３は、例えばＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ ｉｎＭｅｄｉｃｉｎｅ）を利用して、撮影した断層画像データを手術支援装置１に通信する機能を備えた、既存のＭＲＩ装置を利用できる。なお、図１では、ＭＲＩ装置３を制御するＭＲＩ制御装置（撮影した断層画像データを手術支援装置１に通信する機能は、通常、ＭＲＩ制御装置が有している）を、ＭＲＩ装置３に含めている。しかし、ＭＲＩ装置３およびＭＲＩ制御装置は、それぞれ別個の装置であってもかまわない。
【００２０】
３次元運動計測装置４は、手術具に取り付けられた少なくとも１組のマーカ（不図示）、および、術部あるいは術部を手術台５に固定するための固定フレーム６に取り付けられた少なくとも１組のマーカを、カメラ（あるいはセンサ）４１で追跡することにより、手術具および術部の相対位置（３次元座標位置、以下、器具位置と呼ぶ）を計測する。あるいは、器具位置および手術具の姿勢を計測する。そして、計測結果を手術支援装置１に送信する。３次元運動計測装置４としては、例えばＮＤＩ社の「Ｐｏｌａｒｉｓ」（登録商標）がある。
【００２１】
手術台５は、移動可能に構成されており、固定フレーム６により術部が固定された患者を、ＭＲＩ装置３の所定の撮影位置に搬送するために用いられる。また、固定フレーム６により術部が固定された患者を、スレーブマニピュレータ２２の所定の手術位置に搬送するために用いられる。
【００２２】
マスタ・スレーブ型ロボット手術システム２は、手術具を動かすスレーブマニピュレータ２２と、術者より操作内容を受け付けるマスタマニピュレータ２３と、マスタマニピュレータ２３を介して術者より受け付けた操作内容に従いスレーブマニピュレータ２２の動きを制御する制御装置２１と、を有する。
【００２３】
マスタマニピュレータは、術者が行った操作入力の力の大きさと方向を検出する。操作力が一定の閾値を超えた場合は、入力された方向に操作がなされたとみなし、操作制御部を用いて操作部を入力方向に制御する。
【００２４】
本実施形態のマスタ・スレーブ型ロボット手術システム２は、手術支援装置１からの指示に従い、マスタマニピュレータ２３による術者の操作内容の受付けを制限する機能を有する。その他については、既存のマスタ・スレーブ型ロボット手術システム（遠隔手術システム）と同様である。
【００２５】
図２は、制御装置２１およびマスタマニピュレータ２３の概略構成図である。
【００２６】
図示するように、制御装置２１は、マスタマニピュレータ２３と通信を行なうためのマスタマニピュレータＩＦ部２１１と、手術支援装置１と通信を行なうための手術支援装置ＩＦ部２１２と、スレーブマニピュレータ２２と通信を行なうためのスレーブマニピュレータＩＦ部２１３と、主制御部２１４とを有する。主制御部２１４は、制御信号生成部２１４１と、操作制限信号生成部２１４３とを有する。
【００２７】
制御信号生成部２１４１は、マスタマニピュレータＩＦ部２１１を介してマスタマニピュレータ２３より受け付けた操作信号に従い、スレーブマニピュレータ２２の制御信号を生成し、これをスレーブマニピュレータＩＦ部２１３を介してスレーブマニピュレータ２２に送信する。
【００２８】
操作制限信号生成部２１４３は、手術支援装置ＩＦ部２１２を介して手術支援装置１より受け付けた通知信号に従い、マスタマニピュレータ２３による術者の操作内容の受付けを制限するための操作制限信号（アクチュエータ制御信号）を生成する。そして、マスタマニピュレータＩＦ部２１１を介してマスタマニピュレータ２３にこの操作制限信号を送信する。
【００２９】
なお、制御装置２１は、ＣＰＵ、メモリおよび外部装置とのインターフェースを備えたコンピュータシステムにおいて、ＣＰＵがメモリにロードされた所定のプログラムを実行することにより、実現することができる。この場合、ＩＦ部２１２〜２１３は、ＣＰＵが外部装置とのインターフェースを制御することで実現できる。
【００３０】
また、図示するように、マスタマニピュレータ２３は、制御装置２１と通信を行なうための制御装置ＩＦ部２３１と、術者より操作内容を受け付けるための操作部（把持部）２３２と、操作部２３２で受け付けた操作内容をセンサにより検出し、検出した操作内容に応じた操作信号を生成して、これを制御装置ＩＦ部２３１を介して制御装置２１に送信する操作信号生成部２３３と、操作部２３２の動きを制限する操作制御部２３４と、を有する。
【００３１】
操作制御部２３４は、操作部２３２に入力された操作力から操作がなされたとみなす閾値を変化させ、操作入力に必要な力の最小値を大きくし、操作がなされたとみなされたときに、操作部２３２の動作速度の最大値を小さくし、入力された操作を各軸方向の成分に分解して動作範囲を超えてしまう成分のみキャンセルするなどして、操作部２３２の動きを制限する。
【００３２】
図３は、制御装置２１の動作を説明するためのフロー図である。
【００３３】
図３において、主制御部２１４の操作制限信号生成部２１４３は、手術支援装置ＩＦ部２１２を介して手術支援装置１より通知信号を受信しているか否かを判断する（Ｓ１００１）。また、主制御部２１４の制御信号生成部２１４１は、マスタマニピュレータＩＦ部２１１を介してマスタマニピュレータ２３より操作信号を受信しているか否かを判断する（Ｓ１００２）。
【００３４】
Ｓ１００１において、通知信号を受信している場合、操作制限信号生成部２１４３は、マスタマニピュレータ２３による術者の操作内容の受付けを制限するための操作制限信号を生成する。そして、マスタマニピュレータＩＦ部２１１を介してマスタマニピュレータ２３へ操作制限信号を送信する（Ｓ１００４）。それから、Ｓ１００２を実行する。Ｓ１００１において、通知信号を受信していない場合は、Ｓ１００４を実行せずにＳ１００２に移行する。
【００３５】
Ｓ１００２において、操作信号を受信している場合、制御信号生成部２１４１は、受信している操作信号が示す操作内容に応じて、スレーブマニピュレータ２２の動きを制御するための制御信号を生成する。例えば、操作信号が手術具の位置（あるいは位置および姿勢）を表している場合、スレーブマニピュレータ２２が把持する手術具を、現在位置から操作信号が表す位置へ移動させるための（あるいは操作信号が表す位置へ移動させ且つ操作信号が表す姿勢にさせるための）制御信号を生成する。そして、生成した制御信号を、これをスレーブマニピュレータＩＦ部２１３を介してスレーブマニピュレータ２２に送信する（Ｓ１００３）。それから、Ｓ１００１に戻る。Ｓ１００２において、操作信号を受信していない場合は、Ｓ１００３を実行せずにＳ１００１に戻る。
【００３６】
マスタマニピュレータ２３において、操作制御部２３４は、制御装置ＩＦ部２３１を介して制御装置２１より操作制限信号を受信している場合、操作部２３２に入力された操作力から操作がなされたとみなす閾値を変化させて、操作入力に必要な力の最小値を大きくする。そして、入力された操作力から操作がなされたとみなされたときに、操作部２３２の動作速度の最大値を小さくして、入力された操作力を各軸方向の成分に分解し、動作範囲を超えてしまう成分のみキャンセルして、操作部２３２の動きを制限する。
【００３７】
これは、例えば、操作制御部２３４に、以下の処理を行なわせることで実現できる。すなわち、マスタマニピュレータ２３は、術者が操作部２３２に入力した操作力の大きさを操作部２３２に取り付けた力センサで計測する。通常、所定の閾値を超えない操作力の入力は、誤差として入力自体をキャンセルするよう制御される。操作制限信号を受信している場合、その閾値を大きくすることで、これまでと同じ軽い力で操作してた場合は、その入力がキャンセルされることになる。現在の術具の位置と動作範囲の境界との距離が所定の警戒量より近づいたとき、あるいは、経路から外れた距離が所定の警戒量を超えたときに、それらの距離に応じて操作制限信号が警戒の度合いをアナログ値として伝達する場合は、そのアナログ値の増減に従い、閾値の増加分を変化させる。つまり、境界に近づくに従い、あるいは、経路から外れていくにしがたい操作入力を受け付けるための操作力が増加する。さらに、境界に所定距離まで近づいた場合には閾値を最大に設定し、そこから境界を越える方向への操作がなされても入力をキャンセルする。
【００３８】
図１７に示すように、動作領域の境界に近づくときは、境界までの距離ａ［ｍｍ］までは閾値Ａ［Ｎ］以上の操作力を入力した場合に操作可能であり、ａ［ｍｍ］からｂ［ｍｍ］までは所定の割合で閾値が増え、Ｂ［Ｎ］に距離に応じた増加分の値以上の操作力を入力した場合に操作可能である。ｂ［ｍｍ］以上に近づかないように、ｂ［ｍｍ］で閾値を無限大として、すべての入力をキャンセルすることができる。経路から外れないように制御する場合は、経路から外れた距離ｃ［ｍｍ］、ｄ［ｍｍ］などに応じて同様に閾値を変化させればよい。
【００３９】
術具の動きを図１６（ａ）に示す。術具を点２３５１から点２３５２へ動作させる操作を行うと、操作に必要な閾値が増大していくため、操作部２３２が重く感じるようになり、さらに点２３５２からベクトル２３５５の方向へ術具を動作させるように操作部２３２を操作した場合、境界と術具の距離が所定量の近さになった点２３５６で操作部２３２を停止するよう操作部２３２のアクチュエータを制御する。（図１６（ａ））。
【００４０】
操作制限信号を受けて閾値が増加し、操作部２３２が重くなっているときに、動作領域の境界から遠ざかる方向への操作や経路に戻る方向への操作は、逆に軽くなるため、正しい方向へと導かれるような感覚を術者に与えることができる。
【００４１】
マスタマニピュレータ２３は、操作部２３２を制御するアクチュエータの出力に応じて操作部２３２の動作速度が決定されるため、動作速度の最大値が大きい場合は、すばやい操作部２３２の操作にアクチュエータが追従し、すばやい動作をスレーブマニピュレータ２２に伝達することができる。操作制限信号を受信している場合は、その受信した値に応じて、操作速度の最大値を下げるよう制御する。これにより、すばやい操作を防止し、動作領域の境界近くや経路から外れた場所での操作は、その位置に応じてゆっくりとした操作しかできなくなり、術者に動作領域の境界に近いこと、あるいは、経路から外れていることを警告することができる。
【００４２】
図１６（ｂ）のように、点２３５１から点２３５２へ術具を動作させた結果、術具が動作領域の境界にあり、操作制限信号を受けている場合、点２３５２から動作領域の境界を越える方向２３５７へ向けて操作部２３２に力を加えると、そのベクトル２３５７の各軸成分（図１６（ｂ）ではベクトル成分２３５８、２３５９）のうち境界を越える方向へのベクトル量を０に制限する。これにより、操作制限された操作部２３２の動作は、ベクトル２３５８方向となり、境界に沿って操作部２３２を動かすことになる。なお、図１６（ｂ）は２次元で表しているが、実際はＸＹＺの３成分を持つ。そのうち、一つが境界を越える方向への操作である場合、残りの二つの成分の合成ベクトルが操作部の動作方向になる。
なお、成分の分解方向はＸＹＺだけでない。境界に垂直な方向と、境界に水平な互いに直交する２方向とをその場で設定し、これらの方向に入力を分解してもよい。この場合、境界に垂直な方向成分により境界を越えてしまう入力である場合は、残りの２成分（境界に水平な成分）の合成ベクトルを操作部の動作方向にするという成分分解方法でもかまわない。
【００４３】
実際は、操作制御部２３４は、上記に示した閾値制御、速度制御、成分分解による制御を組み合わせて、設定された動作領域から出ないように、あるいは、経路から離れないように操作部２３２の動きを制御する。
【００４４】
次に、手術支援装置１について説明する。
【００４５】
手術支援装置１は、ＭＲＩ装置３で撮影した複数の断層映像データと、３次元運動計測装置４が計測する器具位置とを用いて、術者により設定された領域内または経路上に器具位置が位置するように、術者によるマスタ・スレーブ型ロボット手術システム２の操作をナビゲーションする。
【００４６】
図４は、手術支援装置１の概略構成図である。
【００４７】
図示するように、手術支援装置１は、ＭＲＩ装置ＩＦ部１０１と、３次元運動計測装置ＩＦ部１０２と、マスタ・スレーブ型ロボット手術システムＩＦ部１０３と、指示受付部１０４と、表示制御部１０５と、術部３次元情報生成部１０６と、術部３次元情報記憶部１０７と、領域・経路設定部１０８と、領域・経路記憶部１０９と、ナビゲーション処理部１１０と、を有する。
【００４８】
ＭＲＩ装置ＩＦ部１０１は、例えばＤＩＣＯＭを利用してＭＲＩ装置３と通信を行ない、ＭＲＩ装置３より術部の断層画像データを受信する。
【００４９】
３次元運動計測装置ＩＦ部１０２は、３次元運動計測装置４と通信を行なって、３次元運動計測装置が計測した器具位置（あるいは器具位置および手術具の姿勢）の情報を入手する。
【００５０】
マスタ・スレーブ型ロボット手術システムＩＦ部１０３は、マスタ・スレーブ型ロボット手術システム２（制御装置２１）と通信を行なって、後述するナビゲーション処理部１１０により生成された通知信号を送信する。
【００５１】
指示受付部１０４は、マウス、キーボードなどの入力装置に接続され、当該入力装置を介して操作者の指示を受け付ける。
【００５２】
表示制御部１０５は、ＣＲＴ、ＬＣＤなどの表示装置に接続され、後述する領域・経路設定部１０８やナビゲーション処理部１１０よりの指示に従い、当該表示装置に各種画面を表示するための表示信号を生成し当該表示装置に出力する。
【００５３】
術部３次元情報生成部１０６は、ＭＲＩ装置ＩＦ部１０１を介して、ＭＲＩ装置３より入手した術部の複数の断層画像データを用いて、当該術部の３次元画像データを生成する。そして、生成した術部の３次元画像データを、術部３次元情報記憶部１０７に記憶する。
【００５４】
領域・経路設定部１０８は、指示受付部１０４を介して術者より、術部に対する領域あるいは経路の設定を受け付ける。そして、設定された領域あるいは経路の情報（３次元座標情報）を、領域・経路記憶部１０９に記憶する。
【００５５】
ナビゲーション処理部１１０は、指示受付部１０４よりのナビゲーション指示に従い、術者が領域・経路記憶部１０９に記憶されている領域内であるいは経路に沿って手術を行なえるように、マスタ・スレーブ型ロボット手術システム２の操作をナビゲーションする。
【００５６】
なお、手術支援装置１は、ＣＰＵ、メモリおよび外部装置とのインターフェースを備えたコンピュータシステムにおいて、ＣＰＵがメモリにロードされた所定のプログラムを実行することにより、実現することができる。この場合、記憶部１０９、１０７には、ＨＤＤ等の外部記憶装置あるいはメモリを利用することができる。また、ＩＦ部１０１〜１０３や指示受付部１０４は、ＣＰＵが外部装置とのインターフェースを制御することで実現できる。また、表示制御部１０５は、ＣＰＵが表示制御回路を制御することで実現できる。
【００５７】
図５は、手術支援装置１の動作を説明するためのフロー図である。
【００５８】
図５において、指示受付部１０４は、手術支援装置１に接続された入力装置を介して操作者より３次元情報生成指示を受け付けると（Ｓ２００１でＹｅｓ）、その旨を術部３次元情報生成部１０６に通知する。これを受けて、術部３次元情報生成部１０６は、ＭＲＩ装置ＩＦ部１０１を介してＭＲＩ装置３より、術部の断層画像データを複数入手する。そして、これらの断層画像データから術部の３次元画像データを生成するための３次元画像データ化処理を行ない、生成した３次元画像データを、術部３次元情報記憶部１０７に記憶する（Ｓ２００２）。
【００５９】
また、指示受付部１０４は、前記入力装置を介して操作者より領域・経路設定指示を受け付けると（Ｓ２００３でＹｅｓ）、その旨を領域・経路設定部１０８に通知する。これを受けて、領域・経路設定部１０８は、指示受付部１０４を介して操作者より術部に対する領域あるいは経路の設定を受け付けるための領域・経路設定処理を行ない、設定された領域あるいは経路の情報を、領域・経路記憶部１０９に記憶する（Ｓ２００４）。
【００６０】
また、指示受付部１０４は、前記入力装置を介して操作者よりナビゲーション指示を受け付けると（Ｓ２００５でＹｅｓ）、その旨をナビゲーション処理部１１０に通知する。これを受けて、ナビゲーション処理部１１０は、術者が領域・経路記憶部１０９に記憶されている領域内であるいは経路に沿って手術を行なえるように、マスタ・スレーブ型ロボット手術システム２の操作をナビゲーションするナビゲーション処理を行なう（Ｓ２００６）。
【００６１】
次に、術部３次元情報生成部１０６による３次元画像データ化処理（図５のＳ２００２）について説明する。
【００６２】
この３次元画像データ化処理には、従来の技術で説明した既存の手術支援システムの技術を用いることができる。
【００６３】
例えば、患者を手術台５に載せ、術部を固定フレーム６で固定する。この際、術部あるいは固定フレーム６にマーカを少なくとも１組設置しておく。それから、手術台５を移動してＭＲＩ装置３の所定位置に置く。そして、術部あるいは固定フレーム６に設置された少なくとも１組のマーカを用いて、ＭＲＩ装置３に対して３次元座標系の原点、Ｘ軸、Ｙ軸およびＺ軸を設定する。それから、ＭＲＩ装置３で術部の断層画像データを撮像位置を変えながら複数撮像し、これらを撮像位置の座標情報と共に術部３次元情報生成部１０６に送信する。術部３次元情報生成部１０６は、これらの断層画像データを３次元座標系上の対応する位置に展開することで、術部の３次元画像データを生成する。
【００６４】
次に、領域・経路設定部１０８による領域・経路設定処理について説明する。
【００６５】
図６は、領域・経路設定部１０８による領域・経路設定処理を説明するためのフロー図である。
【００６６】
先ず、領域・経路設定部１０８は、表示制御部１０５を介して表示装置に、領域・経路の新規登録および更新登録のいずれかを選択させるための選択画面を表示させ、指示受付部１０４を介して入力装置より選択結果を受け付ける（Ｓ３００１）。
【００６７】
Ｓ３００１で受け付けた選択結果が新規登録である場合（Ｓ３００２でＹｅｓ）、領域・経路設定部１０８は、次の処理を行なう（Ｓ３００３〜Ｓ３００８）。 先ず、領域・経路設定部１０８は、既存のＣＧ技術を利用して、術部の３次元画像表示データ作成処理を行なう（Ｓ３００３）。すなわち、領域・経路設定部１０８は、術部３次元情報記憶部１０７に記憶されている３次元画像データによって特定される術部の仮想オブジェクトを、３次元座標空間上に配置する。そして、仮想的なカメラの視線を基準点に向けて撮影することにより得られる術部の仮想オブジェクトの画像を、表示装置に表示する術部の３次元画像とし、この画像の表示データを生成する。なお、仮想的なカメラの配置位置（視点）および基準点の位置は、手術支援装置１に接続された入力装置を介して、操作者より設定を受け付けるようにしてもよい。
【００６８】
次に、領域・経路設定部１０８は、既存のＣＧ技術を利用して、術部の断層画像表示データ作成処理を行なう（Ｓ３００４）。すなわち、領域・経路設定部１０８は、術部３次元情報記憶部１０７に記憶されている３次元画像データによって特定される術部の仮想オブジェクトを、３次元座標空間上に配置する。そして、基準点（この基準点は、３次元画像表示データ作成処理で用いた基準点と同じものとする）を含むＸ軸に垂直な平面で術部の仮想オブジェクトを切断することにより得られる当該仮想オブジェクトの切断面を、表示装置に表示する術部の第１の断層画像とし、この断層画像の表示データを生成する。また、前記基準点を含むＹ軸に垂直な平面で術部の仮想オブジェクトを切断することにより得られる当該仮想オブジェクトの切断面を、表示装置に表示する術部の第２の断層画像とし、この断層画像の表示データを生成する。さらに、前記基準点を含むＺ軸に垂直な平面で術部の仮想オブジェクトを切断することにより得られる当該仮想オブジェクトの切断面を、表示装置に表示する術部の第３の断層画像とし、この断層画像の表示データを生成する。
【００６９】
領域・経路設定部１０８は、以上のようにして、術部の３次元画像表示データおよび断層画像表示データを生成したならば、表示制御部１０５を介して表示装置に、術部の３次元画像および断層画像を含む新規登録用の領域・経路設定画面を表示させる（Ｓ３００５）。そして、指示受付部１０４を介して入力装置より、術部の３次元画像および断層画像に含まれている基準点を、領域の境界あるいは経路を定める指定位置の１つに設定するか否かを受け付ける（Ｓ３００６）。
【００７０】
指示受付部１０４を介して入力装置より、基準点を指定位置に設定する旨の指示を受け付けたならば（Ｓ３００６でＹｓｅ）、領域・経路設定部１０８は、この基準点の３次元座標値を、領域・経路記憶部１０９に記憶し（Ｓ３００７）、それからＳ３００８に移行する。一方、基準点を指定位置に設定する旨の指示を受け付けていないならば（Ｓ３００６でＮｏ）、直ちにＳ３００８に移行する。
【００７１】
Ｓ３００８において、領域・経路設定部１０８は、指示受付部１０４を介して入力装置より終了指示を受け付けたか否かを判断する。終了指示を受け付けていないならば（Ｓ３００８でＮｏ）、Ｓ３００３に戻って処理を続ける。一方、終了指示を受け付けているならば（Ｓ３００８でＹｅｓ）、処理を終了する。
【００７２】
以上の処理によって領域・経路記憶部１０９に記憶された指定位置を記憶順に結ぶことで形成される線により、術部に対する経路を特定することができる。あるいは、３次元座標系上におけるこの線のＸ座標の最大および最小値、Ｙ座標の最大および最小値、そして、Ｚ座標の最大および最小値により、術部に対する領域を特定することができる。
【００７３】
図７は、図６に示すＳ３００３〜Ｓ３００８での処理によって、手術支援装置１に接続された表示装置に表示される新規登録用の領域・経路設定画面の一例を示している。
【００７４】
図７において、符号８１〜８３はＳ３００４で生成された術部の第１〜第３の断層画像表示データを表示するための表示エリア、符号８４はＳ３００３で生成された術部の３次元画像表示データを表示するための表示エリア、符号８８は位置指定ボタン、そして、符号８９は終了ボタンである。また、各表示エリア８１〜８４において、符号８５は原点、符号８６はＳ３００７での処理により領域・経路記憶部１０９に記憶された指定位置、そして、符号８７は基準点である。各表示エリア８１〜８４の表示画像は、基準点８７が中心に位置するように表示されている。
【００７５】
ここで、操作者が手術支援装置１に接続された入力装置を用いてカーソル８７ａを操作することで、断層画像表示データの表示エリア８１〜８３のいずれかで基準点８７を選択し移動させると、Ｓ３００３〜Ｓ３００５の処理により、各表示エリア８１〜８４にて移動後の基準点８７が中心に位置するように、各表示エリア８１〜８４の表示データが更新される。
【００７６】
また、操作者が手術支援装置１に接続された入力装置を用いてカーソル８７ａを操作して位置指定ボタン８８を選択すると、Ｓ３００７での処理により、そのときに各表示エリア８１〜８４に表示されている基準点８７の３次元座標値が、領域の境界あるいは経路を定める指定位置の１つの３次元座標値として、領域・経路記憶部１０９に記憶される。
【００７７】
また、操作者が手術支援装置１に接続された入力装置を用いてカーソル８７ａを操作して終了ボタン８９を選択すると、Ｓ３００８での処理により経路・領域設定処理が終了する。
【００７８】
図６に戻って説明を続ける。
【００７９】
Ｓ３００１で受け付けた選択結果が更新登録である場合（Ｓ３００２でＮｏ）、領域・経路設定部１０８は、次の処理を行なう（Ｓ３００９〜Ｓ３０１４）。
【００８０】
先ず、領域・経路設定部１０８は、Ｓ３００３と同じ要領で術部の３次元画像表示データ作成処理を行なう（Ｓ３００９）。但し、領域・経路記憶部１０９に記憶されている指定位置を記憶順に結ぶことで形成される線により表される経路、あるいは、この線のＸ座標の最大および最小値、Ｙ座標の最大および最小値、そして、Ｚ座標の最大および最小値で仕切られる空間により表される領域を、術部の仮想オブジェクトと共に３次元座標空間上に配置する。このようにすることで、術部および経路または領域の３次元画像表示データを生成する。ここで、経路あるいは領域は、例えばαブレンディング等を利用して、術部の仮想オブジェクトとの位置関係にかかわらず常に３次元画像に表示されるようにする。
【００８１】
次に、領域・経路設定部１０８は、Ｓ３００４と同じ要領で術部の断層画像表示データ作成処理を行なう（Ｓ３０１０）。但し、領域・経路記憶部１０９に記憶されている指定位置を記憶順に結ぶことで形成される線により表される経路、あるいは、この線のＸ座標の最大および最小値、Ｙ座標の最大および最小値、そして、Ｚ座標の最大および最小値で仕切られる空間により表される領域を、術部の仮想オブジェクトと共に３次元座標空間上に配置する。このようにすることで、術部および経路または領域の断層画像表示データを生成する。ここで、経路あるいは領域は、例えばαブレンディング等を利用して、術部の仮想オブジェクトとの位置関係にかかわらず常に断層画像に表示されるようにする。
【００８２】
領域・経路設定部１０８は、以上のようにして、３次元画像表示データおよび断層画像表示データを生成したならば、表示制御部１０５を介して表示装置に、術部および経路または領域の３次元画像および断層画像を含む更新登録用の領域・経路設定画面を表示させる（Ｓ３０１１）。そして、指示受付部１０４を介して入力装置より、術部と共に表示されている指定位置のいずれかを基準点の位置に変更するか否かを受け付ける（Ｓ３０１２）。
【００８３】
指示受付部１０４を介して入力装置より、いずれかの指定位置を基準点の位置に変更する旨の指示を受け付けたならば（Ｓ３０１２でＹｓｅ）、領域・経路設定部１０８は、領域・経路記憶部１０９に記憶されている前記いずれかの指定位置を、前記基準点の３次元座標値に置き換え（Ｓ３０１３）、それからＳ３０１４に移行する。一方、いずれかの指定位置を基準点の位置に変更する旨の指示を受け付けていないならば（Ｓ３０１２でＮｏ）、直ちにＳ３０１４に移行する。
【００８４】
Ｓ３０１４において、領域・経路設定部１０８は、指示受付部１０４を介して入力装置より終了指示を受け付けたか否かを判断する。終了指示を受け付けていないならば（Ｓ３０１４でＮｏ）、Ｓ３００９に戻って処理を続ける。一方、終了指示を受け付けているならば（Ｓ３０１４でＹｅｓ）、処理を終了する。
【００８５】
図８は、図６に示すＳ３００９〜Ｓ３０１４での処理によって、手術支援装置１に接続された表示装置に表示される更新登録用の領域・経路設定画面の一例を示している。
【００８６】
図８に示す更新登録用の領域・経路設定画面例において、図７に示す新規登録用の領域・経路設定画面例と異なる点は、位置指定ボタン８８に代えて、指定位置選択ボタン９０および位置変更ボタン９１を設けた点である。
【００８７】
指定位置選択ボタン９０は、表示エリア８１〜８４に表示されている指定位置８６の中から位置を変更する指定位置８６ａを選択するのに用いる。操作者が手術支援装置１に接続された入力装置を用いてカーソル８７ａを操作し、表示エリア８１〜８４に表示されているいずれかの指定位置８６を選択した状態で指定位置選択ボタン９０を選択すると、前記いずれかの指定位置８６が位置変更する候補の指定位置８６ａとして選択される。
【００８８】
位置変更ボタン９１は、指定位置選択ボタン８８により選択された指定位置８６ａの３次元座標値を基準点８７の位置に変更するのに用いる。操作者が手術支援装置１に接続された入力装置を用いてカーソル８７ａを操作し、指定位置選択ボタン８８により位置変更する候補の指定位置８６ａが選択されている状態で、位置変更ボタン９１を選択すると、Ｓ３０１３での処理により、領域・経路記憶部１０９に記憶されている前記指定位置８６ａの３次元座標値が、そのときに表示エリア８１〜８４に表示されている基準点８７の３次元座標値に更新される。
【００８９】
次に、ナビゲーション処理部１１０によるナビゲーション処理について説明する。
【００９０】
図９は、ナビゲーション処理部１１０によるナビゲーション処理を説明するためのフロー図である。
【００９１】
先ず、ナビゲーション処理部１１０は、３次元運動計測装置ＩＦ部１０２を介して３次元運動計測装置４より、器具位置（あるいは器具位置および手術具の姿勢）の情報を入手する（Ｓ４００１）。
【００９２】
なお、本実施形態において、３次元運動計測装置４は、ＭＲＩ装置３での断層画像の撮影に用いられた３次元座標系と同じ３次元座標系を用いて器具位置を計測している。つまり、術部あるいは固定フレーム６に設置された少なくとも１組のマーカを用いて、ＭＲＩ装置３の場合と同じ要領により、３次元運動計測装置４に対して、３次元座標系の原点、Ｘ軸、Ｙ軸およびＺ軸が設定される。そして、３次元運動計測装置４は、術部あるいは固定フレーム６に設置された少なくとも１組のマーカおよびスレーブマニピュレータ２２が把持する手術具に取り付けられた少なくとも１組のマーカをカメラ（あるいはセンサ）４１で検出することにより、前記３次元座標系上における器具位置（あるいは器具位置および手術具の姿勢）を計測し、その計測結果を手術支援装置１に送信している。
【００９３】
さて、ナビゲーション処理部１１０は、器具位置（あるいは器具位置および手術具の姿勢）の情報を入手したならば、術部３次元情報記憶部１０７に記憶されている３次元画像データを用いて、図６のＳ３００３と同じ要領で術部の３次元画像表示データ作成処理を行なう（Ｓ４００２）。但し、領域・経路記憶部１０９に記憶されている指定位置を記憶順に結ぶことで形成される線により表される経路、あるいは、この線のＸ座標の最大および最小値、Ｙ座標の最大および最小値、そして、Ｚ座標の最大および最小値で仕切られる空間により表される領域と、器具位置（あるいは器具位置および手術具の姿勢）を表す画像とを、術部の仮想オブジェクトと共に３次元座標系上に配置する。このようにすることで、術部、経路または領域、および、器具位置（あるいは器具位置および手術具の姿勢）の３次元画像表示データを生成する。経路あるいは領域、および、器具位置（あるいは器具位置および手術具の姿勢）は、例えばαブレンディング等を利用して、術部の仮想オブジェクトとの位置関係に関わらず常に３次元画像に表示されるようにする。
【００９４】
次に、ナビゲーション処理部１１０は、術部３次元情報記憶部１０７に記憶されている３次元画像データを用いて、図６のＳ３００４と同じ要領で術部の断層画像表示データ作成処理を行なう（Ｓ４００３）。但し、領域・経路記憶部１０９に記憶されている指定位置を記憶順に結ぶことで形成される線により表される経路、あるいは、この線のＸ座標の最大および最小値、Ｙ座標の最大および最小値、そして、Ｚ座標の最大および最小値で仕切られる空間により表される領域と、器具位置（あるいは器具位置および手術具の姿勢）を表す画像とを、術部の仮想オブジェクトと共に３次元座標系上に配置する。このようにすることで、術部、経路または領域、および、器具位置（あるいは器具位置および手術具の姿勢）の断層画像表示データを生成する。経路あるいは領域、および、器具位置（あるいは器具位置および手術具の姿勢）は、例えばαブレンディング等を利用して、術部の仮想オブジェクトとの位置関係に関わらず常に断層画像に表示されるようにする。
【００９５】
さて、ナビゲーション処理部１１０は、以上のようにして、術部、経路または領域、および、器具位置（あるいは器具位置および手術具の姿勢）の、３次元画像表示データと断層画像表示データとを生成したならば、表示制御部１０５を介して表示装置に、術部、経路または領域、および、器具位置（あるいは器具位置および手術具の姿勢）の、３次元画像と断層画像とを含むナビゲーション画面を表示させる（Ｓ４００４）。
【００９６】
次に、ナビゲーション処理部１１０は、領域・経路記憶部１０９に記憶されている指定位置を記憶順に結ぶことで形成される線により表される経路から、あるいは、この線のＸ座標の最大および最小値、Ｙ座標の最大および最小値、そして、Ｚ座標の最大および最小値で仕切られる空間により表される領域から、器具位置が外れる可能性が高いか否かを調べる（Ｓ４００５）。
【００９７】
器具位置が経路から外れる可能性が高いか否かの判断は、器具位置および経路間の距離を監視し、当該距離が所定値以上となった場合に、経路から外れる可能性が高いと判断すればよい。たとえば、器具位置および経路間の最短距離（器具位置から経路へ向けて引いた垂線の長さ）が所定のマージン（例えば術者により設定されたマージン）より長い場合に、経路から外れる可能性が高いと判断すればよい。
【００９８】
また、器具位置が領域から外れる可能性が高いか否かの判断は、器具位置および領域の境界間の距離を監視し、当該距離が所定値以内となった場合に、領域から外れる可能性が高いと判断すればよい。たとえば、器具位置が領域内にあることを前提として、器具位置および領域の境界間の最短距離（器具位置から領域の境界へ向けて引いた垂線の長さ）が所定のマージン（例えば術者により設定されたマージン）より短い場合に、領域から外れる可能性が高いと判断すればよい。
【００９９】
さて、ナビゲーション処理部１１０は、器具位置が経路あるいは領域から外れる可能性が高いと判断した場合（Ｓ４００５でＹｅｓ）、通知信号を生成し、これをマスタ・スレーブ型ロボット手術システムＩＦ部１０３を介してマスタ・スレーブ型ロボット手術システム２に送信する（Ｓ４００６）。それから、Ｓ４００７に移行する。一方、経路あるいは領域から外れる可能性が高くないと判断した場合は（Ｓ４００５でＮｏ）、直ちにＳ４００７に移行する。
【０１００】
Ｓ４００７において、ナビゲーション処理部１１０は、指示受付部１０４を介して入力装置より終了指示を受け付けたか否かを判断する。終了指示を受け付けていないならば（Ｓ４００７でＮｏ）、Ｓ４００１に戻って処理を続ける。一方、終了指示を受け付けているならば（Ｓ４００７でＹｅｓ）、処理を終了する。
【０１０１】
以上の処理により、領域・経路記憶部１０９に記憶された経路に沿って、あるいは領域の範囲内で、手術が行なわれるように、術者によるマスタ・スレーブロボット手術システム２の操作をナビゲーションすることができる。つまり、術者は、ナビゲーション画面を通して、予め設定された経路に沿って、あるいは、領域の範囲内で、手術が行なわれているか否かを確認することができる。また、器具位置が予め設定された経路に沿って移動するように、あるいは、予め設定された領域の範囲内で移動するように、マスタマニピュレータ２３の操作部２３２の動きを制限することにより、術者に警告することができる。
【０１０２】
図１０は、図９に示す処理によって、手術支援装置１に接続された表示装置に表示されるナビゲーション画面の一例を示している。
【０１０３】
図１０に示すナビゲーション画面例では、図７に示す新規登録用の領域・経路設定画面例と異なり、位置指定ボタン８８が設けられていない。また、器具位置が基準点８７に設定されている。
【０１０４】
次に、本実施形態の手術支援システムを用いて、手術を行なう場合の処理の流れについて説明する。
【０１０５】
図１１は、本実施形態の手術支援システムを用いて手術を行なう場合の処理の流れを説明するための図である。
【０１０６】
（１）手術準備（Ｓ５１０１）
（１−１）術部の３次元画像データ生成（Ｓ５００１）
術者は、患者を手術台５に載せ、術部を固定フレーム６で固定する。この際、術部あるいは固定フレーム６にマーカを少なくとも１組設置しておく。それから、手術台５を移動してＭＲＩ装置３の所定位置に移動する。そして、術部あるいは固定フレーム６に設置した少なくとも１組のマーカを用いてＭＲＩ装置に３次元座標系の原点、Ｘ軸、Ｙ軸およびＺ軸を設定する。それから、ＭＲＩ装置３で術部の断層画像データを撮像位置を変えながら複数撮像し、これらを撮像位置の座標情報と共に、ＭＲＩ装置３から術部３次元情報生成部１０６に送信する。術部３次元情報生成部１０６は、術部の３次元画像データ生成処理（図５のＳ２００２）を実行し、これらの断層画像データを３次元座標系上の対応する位置に展開することで、術部の３次元画像データを生成する。
【０１０７】
（１−２）術部に対する領域・経路の設定（Ｓ５００２）
術者は、手術支援装置１に接続された入力装置を介して、手術支援装置１に領域・経路設定指示を入力し、さらに、新規登録指示を入力する。これを受けて、領域・経路設定部１０８は、領域・経路の新規登録処理（図６のＳ３００３〜Ｓ３００８）を行ない、術部に対する領域・経路の設定を術者より受け付ける。
【０１０８】
（２）手術（Ｓ５１０２）
（２−１）術部の３次元画像データ生成（Ｓ５００３）
Ｓ５００１と同じ要領で、術部の３次元画像データを生成する。これは、患者の体調等により、手術の準備段階と手術直前とで、術部の状態が変化する可能性があることを考慮したものである。これにより、術部３次元情報記憶部１０７に記憶されている術部の３次元画像データが最新のものに更新される。
【０１０９】
（２−２）術部に対する領域・経路の修正（Ｓ５００４）
術者は、手術支援装置１に接続された入力装置を介して、手術支援装置１に領域・経路設定指示を入力し、さらに、更新登録指示を入力する。これを受けて、領域・経路設定部１０８は、領域・経路の更新登録処理（図６のＳ３００９〜Ｓ３０１４）を行ない、術部に対する領域・経路を修正を術者より受け付ける。
【０１１０】
（２−２）手術のナビゲーション（Ｓ５００５）
術者は、患者を載せた手術台５をＭＲＩ装置３からスレーブマニピュレータ２２の所定位置に移動する。次に、ＭＲＩ装置３に設定した３次元座標系と同じ要領で、３次元運動計測装置４に３次元座標系を設定する。
【０１１１】
次に、術者は、手術支援装置１に接続された入力装置を介して、手術支援装置１にナビゲーション指示を入力する。また、３次元運動計測装置４により器具位置の計測を開始し、計測結果を３次元運動計測装置４からナビゲーション処理部１１０に送信する。ナビゲーション処理部１１０は、ナビゲーション処理（図９）を実行し、領域・経路記憶部１０９に記憶されている経路に沿って、あるいは領域内で手術が行なわれるように、術者によるマスタ・スレーブロボット手術システム２の操作をナビゲーションする。
【０１１２】
ここで、例えば手術が長時間に及ぶ場合、術部の状態の変化に対応するため、上記のＳ５００３〜Ｓ５００４を繰り返すようにしてもよい（Ｓ５００６）。
【０１１３】
以上、本発明の一実施形態について説明した。
【０１１４】
本実施形態の手術支援システムによれば、上記の構成により、術者は、ナビゲーション画面（図１０参照）を介して、術者が設定した領域内あるいは経路上に器具位置があるか否かを確認できる。また、ナビゲーション画面により器具位置を術部の断層画像および３次元画像の両方から視覚的に把握することができる。
【０１１５】
また、本実施形態の手術支援システムは、器具位置が予め設定された経路に沿って移動するように、あるいは、予め設定された領域の範囲内で移動するように、マスタマニピュレータ２３の操作部２３２の動きが制限される。したがって、手術が領域内あるいは経路に沿って行なわれるように、術者によるマスタ・スレーブ型ロボット手術システム２の操作をナビゲーションすることができる。
【０１１６】
さらに、本実施形態の手術支援システムによれば、上記の構成により、術者は、領域・経路設定画面（図７、図８参照）を介して、術部に対する領域あるいは経路を設定するための指定位置を、術部の断層画像および３次元画像の両方から視覚的に把握することができる。これにより、指定位置の確認が容易になる。
【０１１７】
なお、本発明は上記の実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。
【０１１８】
たとえば、上記の実施形態において、手術支援装置１のナビゲーション処理１１０は、３次元運動計測装置４により計測された器具位置が、予め設定された経路あるいは領域から外れる可能性が高いか否かを判断し、外れる可能性が高いと判断した場合に通知信号を生成して、これをマスタ・スレーブ型ロボット手術システム２に送信している（図９のＳ４００５、Ｓ４００６）。
【０１１９】
ここで、ナビゲーション処理１１０は、外れる可能性のレベルに応じた通知信号を送信し、マスタ・スレーブ型ロボット手術システム２は、その通知信号が表すレベルに応じて、操作部の２３４に入力された操作に対して発生させる反力を制御するようにしてもよい。
【０１２０】
例えば、手術支援装置１において、ナビゲーション処理１１０は、予め設定された経路と器具位置との距離を、３つのレベルに分類する。そして、前記経路と器具位置との距離が中間のレベルに分類される場合は外れる可能性が「高い」と判断し、最も長いレベルに分類される場合は外れる可能性が「かなり高い」と判断する。そして、その判断結果に応じた通知信号を生成する。なお、前記経路と器具位置との距離が最も短いレベルに分類される場合は、器具位置が前記経路から外れる可能性が低いと判断し、この場合は通知信号を生成しない。
【０１２１】
あるいは、予め設定された領域の境界と器具位置との距離を、３つのレベルに分類する。そして、器具位置が前記領域内にあることを前提に、前記境界と器具位置との距離が中間のレベルに分類される場合は外れる可能性が「高い」と判断し、最も短いレベルに分類される場合は外れる可能性が「かなり高い」と判断する。そして、その判断結果に応じた通知信号を生成する。なお、前記経路と器具位置との距離が最も長いレベルに分類される場合は、器具位置が前記経路から外れる可能性が低いと判断し、この場合は通知信号を生成しない。
【０１２２】
また、マスタ・スレーブ型ロボット手術システム２において、制御装置２１の主制御部２１４は、手術支援装置ＩＦ部２１２を介して手術支援装置１より通知信号を受信した場合に、その通知信号が表すレベルに応じた操作制限信号を生成し、マスタマニピュレータＩＦ部２１１を介してマスタマニピュレータ２３へ送信する（図３のＳ１００１、Ｓ１００４）。
【０１２３】
そして、マスタマニピュレータ２３の操作制御部２３４は、制御装置ＩＦ部２３１を介して制御装置２１より受信している操作制限信号に対応する通知信号が表すレベルが「かなり高い」である場合、上記の実施形態と同様に、操作部２３２の可動範囲を過去に受け付けた操作内容により定まる手術具の位置（あるいは位置および姿勢）に対応する範囲に制限する。
【０１２４】
つまり、操作信号生成部２３３で生成される操作信号が表す手術具の位置（あるいは位置および姿勢）が、過去（例えば現在より所定時間以内）に受け付けた操作内容より定まる手術具の動作範囲外になるか否かを判断する。そして、前記動作範囲外になると判断した場合に、操作部２３２に大きな反力を発生させて操作部２３２をロックさせる。
【０１２５】
一方、制御装置２１より受信している操作制限信号に対応する通知信号が表すレベルが単に「高い」である場合、操作信号生成部２３３で生成される操作信号が表す手術具の位置（あるいは位置および姿勢）が、過去に受け付けた操作内容より定まる手術具の動作範囲外になると判断した場合に、操作部２３２に、当該操作部２３２をロックさせない程度の反力（通知信号が表すレベルが「かなり高い」である場合よりも小さい反力）を発生させる。
【０１２６】
また、上記の実施形態では、３次元運動計測装置４で計測された器具位置が予め設定されている領域あるいは経路から外れる可能性が高いか否かを、手術支援装置１にて判断している。しかし、本発明はこれに限定されない。
【０１２７】
以下に、上記の実施形態の第１変形例について説明する。
【０１２８】
第１変形例において、手術支援装置１は、ナビゲーション処理に際し、先ず、マスタ・スレーブ型ロボット手術システム２に、操作者により設定された領域あるいは経路の情報を送信する。それから、マスタ・スレーブ型ロボット手術システム２に、３次元運動計測装置４で計測された器具位置の情報を転送する。一方、マスタ・スレーブ型ロボット手術システム２の制御装置２１は、手術支援装置１より領域あるいは経路の情報を受信して、制御装置２１が備える記憶装置に記憶する。それから、手術支援装置１より器具位置の情報を受信し、この情報と先に記憶装置に記憶しておいた領域あるいは経路の情報とを比較して、器具位置が当該領域あるいは経路から外れる可能性が高いか否かを判断する。そして、外れる可能性が高いと判断した場合には、そのレベルに応じた操作制限信号を生成し、マスタマニピュレータ２３に送信する。
【０１２９】
図１２は、本実施形態の第１変形例で用いるマスタ・スレーブ型ロボット手術システム２の制御装置２１およびマスタマニピュレータ２３の概略図である。
【０１３０】
図１２に示すように、この第１変形例で用いる制御装置２１が図２に示す制御装置２１と異なる点は、主制御部２１４に代えて主制御部２１４ａが用いられている点である。主制御部２１４ａは、制御信号生成部２１４１と、領域・経路記憶部２１４２と、操作制御信号生成部２１４３ａと、を有する。
【０１３１】
制御信号生成部２１４１は、図２に示す主制御部２１４の制御信号生成部２１４１と同じである。つまり、マスタマニピュレータＩＦ部２１１を介してマスタマニピュレータ２３より受け付けた操作信号に従い、スレーブマニピュレータ２２の制御信号を生成し、これをスレーブマニピュレータＩＦ部２１３を介してスレーブマニピュレータ２２に送信する。
【０１３２】
領域・経路記憶部２１４２は、手術支援装置ＩＦ部２１２を介して手術支援装置１より受け付けた、手術支援装置ＩＦ部２１２の領域・経路記憶部１０９に記憶されている領域あるいは経路の情報を記憶する。
【０１３３】
操作制限信号生成部２１４３ａは、手術支援装置ＩＦ部２１２を介して手術支援装置１より受け付けた器具位置の情報と、領域・経路記憶部２１４２に記憶されている領域あるいは経路の情報とを比較して、前記器具位置が前記経路あるいは領域から外れる可能性が高いか否かを判断する。そして、外れる可能性が高いと判断した場合に、そのレベルに応じた操作制限信号を生成し、マスタマニピュレータＩＦ部２１１を介してマスタマニピュレータ２３に送信する。
【０１３４】
図１３は、本実施形態の第１変形例で用いる手術支援装置１のナビゲーション処理部１１０によるナビゲーション処理を説明するためのフロー図である。
【０１３５】
先ず、ナビゲーション処理部１１０は、領域・経路記憶部１０９に記憶されている各指定位置の情報を、その記憶順を示す情報と共に読み出す。そして、読み出した各指定位置の情報およびその記憶順を示す情報を、マスタ・スレーブ型ロボット手術システムＩＦ部１０３を介してマスタ・スレーブ型ロボット手術システム２に送信する（Ｓ６００１）。
【０１３６】
次に、ナビゲーション処理部１１０は、図９に示すＳ４００１〜Ｓ４００４の処理を行なって、表示装置にナビゲーション画面を表示させる（Ｓ６００２）。
【０１３７】
次に、ナビゲーション処理部１１０は、Ｓ６００２において、３次元運動計測装置ＩＦ部１０２を介して３次元運動計測装置４より入手した器具位置の情報を、マスタ・スレーブ型ロボット手術システムＩＦ部１０３を介してマスタ・スレーブ型ロボット手術システム２に送信する（Ｓ６００３）。
【０１３８】
それから、ナビゲーション処理部１１０は、指示受付部１０４を介して入力装置より終了指示を受け付けたか否かを判断する。終了指示を受け付けていないならば（Ｓ６００４でＮｏ）、Ｓ６００２に戻って処理を続ける。一方、終了指示を受け付けているならば（Ｓ６００４でＹｅｓ）、処理を終了する。
【０１３９】
図１４は図１２に示す制御装置２１の動作を説明するためのフロー図である。
【０１４０】
図１４において、主制御部２１４の操作制限信号生成部２１４３ａは、手術支援装置ＩＦ部２１２を介して手術支援装置１より器具位置の情報を受信しているか否かを判断する（Ｓ７００１）。また、主制御部２１４の制御信号生成部２１４１は、マスタマニピュレータＩＦ部２１１を介してマスタマニピュレータ２３より操作信号を受信しているか否かを判断する（Ｓ７００２）。
【０１４１】
Ｓ７００２において、操作信号を受信している場合、制御信号生成部２１４１は、図３のＳ１００３と同じ要領により、受信している操作信号が示す操作内容に応じて、スレーブマニピュレータ２２の動きを制御するための制御信号を生成する（Ｓ７００３）。それから、Ｓ７００１に戻る。
【０１４２】
また、Ｓ７００１において、器具位置の情報を受信している場合、操作制限信号生成部２１４３ａは、図３のＳ４００５と同じ要領により、領域・経路記憶部２１４２に記憶されている指定位置の情報をその記憶順に結ぶことで形成される線により表される経路から、あるいは、この線のＸ座標の最大および最小値、Ｙ座標の最大および最小値、そして、Ｚ座標の最大および最小値で仕切られる空間により表される領域から、器具位置が外れる可能性が高いか否かを調べる（Ｓ７００４）。
【０１４３】
さて、操作制限信号生成部２１４３ａは、器具位置が前記経路あるいは領域から外れる可能性が高いと判断した場合（Ｓ７００４でＹｅｓ）、その可能性のレベルに応じた操作制限信号を生成する。例えば、器具位置と前記経路あるいは領域の境界との間の距離の関数（器具位置が経路から離れるほど反力が大きくなるような関数、あるいは、器具位置が領域の境界に近づくほど反力が大きくなるような関数）として表される反力を発生させるための操作制限信号を生成する。そして、生成した操作制限信号を、マスタマニピュレータＩＦ部２１１を介してマスタマニピュレータ２３に送信する（Ｓ７００５）。それから、Ｓ７００１に戻る。
【０１４４】
マスタマニピュレータ２３において、操作制御部２３４は、制御装置ＩＦ部２３１を介して制御装置２１より操作制限信号を受信している場合、操作信号生成部２３３で生成される操作信号を監視する。そして、この操作信号が表す手術具の位置（あるいは位置および姿勢）が、過去（例えば現在より所定時間以内）に受け付けた操作内容より定まる手術具の動作範囲外になるか否かを判断する。そして、前記動作範囲外になると判断した場合に、操作部２３２に、受信している操作制限信号に応じた反力を発生させる。
【０１４５】
また、上記の実施形態において、図１５に示す第２変形例のように、手術支援装置１に、マスタ・スレーブ型ロボット手術システム２の制御装置２１の機能を持たせてもよい。
【０１４６】
また、上記の実施形態では、図５のＳ２００４に示す領域・経路設定処理における領域設定方法として、基準点を記憶し、これをつなげて経路にし、経路のＸＹＺの最大最小値からなる領域を設定するようにしている（図６参照）。しかし、本発明はこれに限定されない。以下に、図５のＳ２００４に示す領域・経路設定処理における他の領域設定方法について説明する。
【０１４７】
先ず、領域・経路設定部１０８は、手術支援装置１に接続された表示装置に、図１８に示すような領域・経路設定画面を表示する（この例では、術中の撮像画像の様子で示している）。この領域・経路設定画面において、図７に示す設定画面と同じ機能を有するものには同じ符号を付している。
【０１４８】
図１８に示す領域・経路設定画面において、右側には、「領域指定」ボタン９０１、「経路指定」ボタン９０２、「ポイント移動」ボタン９１１、「ポイント追加」ボタン９１２、「ポイント削除」ボタン９１３、「終了」ボタン８９の各ボタンが配置されている。左側には、基準点を中心にしたＸＹＺの断面画像８１〜８３および立体画像８４とが表示されている。基準点は、術部８７１内部に位置するように予め設定されている。このような画面において、カーソル８７ａにより断面画像８１〜８３上の位置が指示されると、指定された位置（３次元位置）が領域・経路設定のためのポイントに設定され記憶装置に記憶される。上記の実施形態で説明した領域設定方法と異なり、そのポイントを基準位置にして断面画像８１〜８３および立体画像８４を更新するという処理は行わない。
【０１４９】
断面画像８１〜８３および立体画像８４の上でダブルクリックを行うと、ダブルクリックされた画面が例えば４倍の大きさ（ＸＹＺの断面画像８１〜８３および立体画像８４を合わせたスペースいっぱいの大きさ）に拡大表示され、他の３つの画像は、領域・経路設定画面から省略される。再びダブルクリックすると、元の４つの画像の画面に戻る。
【０１５０】
上記の一連の処理を図１９を用いて説明する。先ず、領域・経路設定部１０８は、手術支援装置１に接続された表示装置に、図１８に示すような領域・経路設定画面を表示したならば、「終了」ボタン８９が選択されたか否かをチェックする（Ｓ２００４１）。選択されているならば、そのままこの処理を終了する。
【０１５１】
選択されていないならば、次に、領域・経路設定部１０８は、「領域指定」ボタン９０１および「経路指定」ボタン９０２のどちらかが選択されたか否かをチェックする（Ｓ２００４２）。他のボタンが選択されたか、あるいは何も押されない場合、Ｓ２００４１に戻る。
【０１５２】
一方、「領域指定」ボタン９０１および「経路指定」ボタン９０２のどちらかが選択されている場合、領域・経路設定部１０８は、ＸＹＺの断面画像８１〜８３のうち、いずれかの画像上でダブルクリックがなされたか否かをチェックする（Ｓ２００４３）。
【０１５３】
ＸＹＺの断面画像８１〜８３のうちのいずれかの画像上でダブルクリックされた場合、その画像の拡大縮小処理を行う（Ｓ２００４５）。つまり、拡大されている画像（この場合、他の画像は表示されていない）上でダブルクリックされたならば、ＸＹＺの断面画像８１〜８３および立体画像８４を表示する縮小画面に戻し、縮小画面において、ある画像上でダブルクリックされたならば、その画像を拡大表示する。
【０１５４】
次に、領域・経路設定部１０８は、現在、拡大画像が表示されているか否かを確認し、拡大画像であれば、ポイント設定処理を行なう（Ｓ２００４６）。ポイント設定処理の段階では、「ポイント移動」ボタン９１１、「ポイント追加」ボタン９１２および「ポイント削除」ボタン９１３の受け付けを行う。ポイント設定処理が終了したならば、Ｓ２００４１に戻る。
【０１５５】
次に、ポイント設定処理の詳細について説明する。
【０１５６】
先ず、領域を設定する場合におけるポイント設定処理（図１８に示すような領域・経路設定画面において「領域指定」ボタン９０１が選択された場合）について説明する。
【０１５７】
領域設定では、対象となる術部（患部）の領域を設定し、次いで術部にいたるまでの動作領域を設定する。一例として腫瘍の摘出を例に説明する。
【０１５８】
摘出する腫瘍がＸＹＺの３つの断面画像８１〜８３上で見えるように、基準点が予め設定される。操作者がＸＹＺの３つの断面画像８１〜８３のいずれかでダブルクリックすると、領域・経路設定部１０８は、ダブルクリックされた断面画像を拡大表示する。そして、拡大表示された断面画像上において、操作者がマウスなどの入力装置でカーソル８７ａを操作し、患部の輪郭に合わせてクリックすると、クリックされた位置に１つ目のポイントを設定する。同様に、操作者が患部の輪郭に合わせてクリックすると、領域・経路設定部１０８は、その都度ポイントを設定する。領域・経路設定部１０８は、ポイントされた順番にポイント間を線で結合させ、最初と最後のポイントも線で結合させることで、複数のポイントで形作られた平面領域を設定し、これを各断面画像上に表示する。
【０１５９】
腫瘍輪郭は周囲に対してコントラストが異なるように（腫瘍輪郭が周囲に対して識別可能な形態で）撮像され、その結果、術部３次元情報記憶部１０７には、ＸＹＺの断面画像８１〜８３および立体画像８４において、腫瘍輪郭のコントラストが周囲に対して異なるように（腫瘍輪郭が周囲に対して識別できるように）、術部の３次元情報が記憶されている。領域・経路設定部１０８は、操作者のクリック位置から所定範囲内において、最もコントラストが変化している部位にポイントを設定する。これにより、操作者は、ラフに輪郭をかたどっていくだけで正確に術部領域を設定できる。さらに細かく設定したい場合は、術部をズームして表示させればよい。ズーム機能は、画像処理において特別なものではなく、既存の技術を利用できる。
【０１６０】
さて、操作者は、拡大表示された断面画像上における平面領域（第一の平面領域）の設定が終了したならば、この拡大画像をダブルクリックして縮小画面表示に戻る。
【０１６１】
図１８に示すような領域・経路設定画面において、先ほど設定した平面領域は、１つの断面画像では腫瘍の淵をかたどる平面領域として、他の２つの断面画像では、直線として表示される。残りの２つの断面画像のうち１つをダブルクリックして拡大表示させ、２つ目の平面領域を、１つ目の平面領域と同様に、術部の輪郭をポイントしていくことで設定する。３つ目の平面領域も同様に設定する。これにより、術部領域は、図２０（ａ）に示すように、３つの断面画像８１〜８３のそれぞれで平面領域として表される。
【０１６２】
領域・経路設定部１０８は、以上のようにして３つの断面画像８１〜８３のそれぞれで平面領域が設定されると、これらの平面領域に基づいて術部領域の３次元領域を算出する。
【０１６３】
図２０（ａ）において、断面画像８１上で設定した平面領域８１１を、断面画像８１に沿って積分していく。具体的には、領域設定を行うための所定の分解能に応じて、図２０（ｂ）に示すように、断面画像８１と平行な平面に対し、当該平面上に位置する新たな（平面領域８１１と平行な）平面領域８１２を作成する。先ず、平面領域８１２の境界と断面画像８２との交点が、断面画像８２上で設定した平面領域８２１との境界と合致し、且つ、平面領域８１２の境界と断面画像８８との交点が、断面画像８３上で設定した平面領域８３１との境界と合致する平面領域８１１の相似形状を、平面領域８１２として作成する。それから、作成した平面領域８１２の境界に複数のポイントを設定する。例えば、平面領域８１１の各設定ポイントに対応する平面領域８１２上の各位置にポイントを設定する。そして、設定した各ポイントの位置を、各ポイントから所定範囲内の位置であってコントラスト変化量の高い位置に移動して、平面領域８１２を特定する各設定ポイント（の座標位置）を修正する。この処理を、平面領域８３１の両端部８３２、８３３間に位置する、断面画像８１と平行な複数の平面に対して行なう。これにより、術部の３次元領域が設定される。
【０１６４】
以上のようにして術部領域（３次元領域）が設定されると、領域・経路設定部１０８は、図１８に示すような領域・経路設定画面の立体画像８４上に、設定された術部領域を重畳表示する。これにより、操作者は、立体表示された患者の画像を任意に回転させながら、実際の患部と設定した術部領域との整合性を確認することができる。
【０１６５】
なお、設定した術部領域あるいは平面領域は、図１８に示すような領域・経路設定画面上の「ポイント移動」ボタン９１１、「ポイント追加」ボタン９１２、および、「ポイント削除」ボタン９１３を用いて修正することが可能である。領域・経路設定部１０８は、操作者によって「ポイント移動」ボタン９１１が選択され、ポイントが選択され、それからカーソル８７ａで位置が指定されると、選択されたポイントの座標を、指定された位置の座標に更新する。また、操作者によって「ポイント追加」ボタン９１２が選択され、次に、カーソル８７ａで位置が指定されると、その位置を座標情報とするポイントを新たに設定する。また、操作者によって「ポイント削除」ボタン９１３が選択され、次に、カーソル８７ａでポイントが選択されると、選択されたポイントを削除する。
【０１６６】
以上のようにして術部領域が設定されると、次に、領域・経路設定部１０８は、術部にいたるまでの動作領域を設定する。
【０１６７】
領域・経路設定部１０８は、図１８に示すような領域・経路設定画面において、ユーザインターフェースを介して操作者より受けつけた指示に従い、ＸＹＺの３つの断面画像８１〜８３における基準点を変更する。操作者は、基準点を変更することで、ＸＹＺの３つの断面画像８１〜８３に患部の開口部が表示されるようにする。それから、図２１に示すように、術部領域の設定と同じ要領により、操作者の指示に従い、断面画像８１〜８３のそれぞれで複数のポイント（８１ｐ１，８１ｐ２，．．．．８１ｐｎ，８２ｐ１，８２ｐ２，．．．．８２ｐｎ，８３ｐ１，８３ｐ２，．．．．８３ｐｎ）を設定して平面領域を作成する。
【０１６８】
このとき、操作者は、術部まで術具をアプローチさせることができるように、断面画像８２、８３上で作成する平面領域８２ａ、８３ａの一部を術部に重ねる。また、操作者は、周囲の正常組織に接触しないように各ポイント（８２ｐ１，８２ｐ２，．．．．８２ｐｎ，８３ｐ１，８３ｐ２，．．．．８３ｐｎ）を配置して平面領域８２ａ、８３ａを作成する。さらに、操作者は、断面画像８１では、開口部分の淵に沿ってポイント（８１ｐ１，８１ｐ２，．．．．８１ｐｎ）を配置して、平面領域８１ａを作成する。領域・経路設定部１０８は、各平面領域８１ａ、８２ａ、８３ａを用いて、術部領域の設定と同様の手法により、術部にいたるまでの動作領域を作成して各設定ポイントの座標を取得する。
【０１６９】
それから、領域・経路設定部１０８は、術部領域および術部にいたるまでの動作領域の両方が設定されると、両方の和集合を術具の動作領域とし、この動作領域を特定する各設定ポイントの座標を記憶領域（領域・経路記憶部１０９）に記録する。
【０１７０】
なお、実際の手術では、治療動作を開始するときに、患者に対してスレーブマニピュレータ２２の術具位置をセッティングしてから治療に入る。その際、ここで設定した動作領域内に術具が位置するような範囲にセッティングをするなどの事前準備を行えばよい。
【０１７１】
次に、経路を設定する場合におけるポイント設定処理（図１８に示すような領域・経路設定画面において「経路指定」ボタン９０２が選択された場合）について説明する。
【０１７２】
経路設定は、例えば、空間の領域では動作範囲が広すぎる場合や、血管に沿って処置を行う場合や、正常組織を避けてレーザなどを照射する道筋などを指定する場合などに使用する。具体例として、先ほど設定した動作領域内の腫瘍を摘出した後、領域の境界上に腫瘍の取り残しを発見し、これにレーザを照射する場合を例に説明する。
【０１７３】
この場合、術具の動作領域は先ほど設定した領域をそのまま引き継ぎ、その領域の中でさらに、レーザを照射する軌跡を設定することになる。図１８に示すような領域・経路設定画面において、操作者によりカーソル８７ａで位置が指定されると、当該位置がポイントに設定されると共に、この位置が基準点となるように、３つの断面画像８１〜８３および立体画像８４を更新する。さらに、カーソル８７ａで位置が指定されると、当該位置が次のポイントに設定されると共に、この位置が基準点となるように、３つの断面画像８１〜８３および立体画像８４を更新する。以上のようにして設定された複数のポイントにより、経路が形成される。
【０１７４】
また、上記の実施形態では、制御装置２１からマスタマニピュレータ２３へ送信した操作制限信号により、操作制御部２３４が操作部２３２に反力を発生させることで、器具位置が予め設定された領域あるいは経路から外れる可能性が高いことを術者に警告している。しかし、警告のための制御は、このような操作部２３２の制御に限定されない。例えば、制御装置２１が、マスタマニピュレータ２３から送られてくる操作信号にかかわらず、スレーブマニピュレータ２２への制御信号の送信を停止することにより、器具位置が領域あるいは経路から外れる可能性が高いことを術者に警告してもよい。
【０１７５】
上記の実施形態では、操作部の入力方向を成分分解し、その中で設定した境界を越える成分・経路から外れる成分をキャンセルして、操作の可動範囲を制限している。しかし、可動範囲を制限する制御はマスタマニピュレータ２３で行うだけではなく、スレーブマニピュレータ２２で行ってもよい。例えば、操作者により入力された操作信号を受けた制御装置２１は、手術支援装置１からの信号を参照しながら、操作信号に基づくスレーブマニピュレータの動作を生成する際に、スレーブマニピュレータ２２の動作方向を、座標系のＸＹＺ方向、あるいは動作領域の境界面に対する垂直方向および水平方向、あるいは設定された経路の長手方向と経路に直行する２方向とに分解する。分解された成分のうち、スレーブマニピュレータ２２の動作信号のうち、境界を超えてしまう成分・経路から外れる成分についてはキャンセルする。このように、スレーブマニピュレータ２２において動作方向の成分分解を用いた警告のための可動範囲制御を行ってもよい。
【０１７６】
また、上記の実施形態では、手術器具としてマスタ・スレーブ型ロボット手術システム２を用いた場合を例にとり説明した。しかし、本発明は、マスタ・スレーブ型ロボット手術システム２以外の通常の手術器具にも同様に適用できる。この場合、手術支援装置１は、警告のための制御として、例えば警告音をスピーカから出力するなどして、器具位置が領域あるいは経路から外れる可能性が高いことを術者に警告すればよい。
【０１７７】
また、上記の実施形態では、術部の断層画像を撮影する装置として、ＭＲＩ装置を用いた場合を例にとり説明した。しかし、本発明はこれに限定されない。ＣＴ（Ｃｏｍｐｕｔｅｒ Ｔｏｍｏｇｒｐｈｙ）装置やＰＥＴ（Ｐｏｓｉｔｒｏｎ Ｅｍｉｓｓｉｏｎ Ｔｏｍｏｇｒａｐｈｙ）装置などのその他の医療用画像化装置（医用画像モダリティ）を用いて術部の断層画像を撮影し、断層画像データを手術支援装置に取り込んでもよい。
【０１７８】
また、本発明は、手術のみならず、様々な医療行為（例えば、患者から細胞等を採取する行為など）を支援する支援システムにも同様に適用可能である。
【０１７９】
【発明の効果】
以上説明したように、本発明によれば、手術などの医療行為に対して、医療器具の医療行為対象部に対する位置が所定範囲内あるいは所定経路上にあるか否かを確認できる。
【図面の簡単な説明】
【図１】本発明の一実施形態が適用された手術支援システムの概略図である。
【図２】制御装置２１およびマスタマニピュレータ２３の概略構成図である。
【図３】制御装置２１の動作を説明するためのフロー図である。
【図４】手術支援装置１の概略構成図である。
【図５】手術支援装置１の動作を説明するためのフロー図である。
【図６】領域・経路設定部１０８による領域・経路設定処理を説明するためのフロー図である。
【図７】手術支援装置１に接続された表示装置に表示される新規登録用の領域・経路設定画面の一例を示す図である。
【図８】手術支援装置１に接続された表示装置に表示される更新登録用の領域・経路設定画面の一例を示す図である。
【図９】ナビゲーション処理部１１０によるナビゲーション処理を説明するためのフロー図である。
【図１０】手術支援装置１に接続された表示装置に表示されるナビゲーション画面の一例を示す図である。
【図１１】図１に示す手術支援システムを用いて手術を行なう場合の処理の流れを説明するための図である。
【図１２】本発明の一実施形態の第１変形例で用いるマスタ・スレーブ型ロボット手術システムの制御装置２１およびマスタマニピュレータ２３の概略構成図である。
【図１３】本発明の一実施形態の第１変形例で用いる手術支援措置１のナビゲーション処理部１１０によるナビゲーション処理を説明するためのフロー図である。
【図１４】図１２に示す制御装置の動作を説明するためのフロー図である。
【図１５】本発明の一実施形態の第２変形例を示す概略図である。
【図１６】本発明の一実施形態における術具の動きを説明するための図である。
【図１７】本発明の一実施形態における術具の動作領域と操作に必要な操作力との関係を説明するための図である。
【図１８】手術支援装置１に接続された表示装置に表示される領域・経路設定画面の一例を示す図である。
【図１９】図５のＳ２００４に示す領域・経路設定処理における他の領域設定方法を説明するためのフロー図である。
【図２０】図１８に示す画面を介して設定された３つの平面領域により特定される術部領域を説明するための図である。
【図２１】手術支援装置１に接続された表示装置に表示される領域・経路設定画面の一例を示す図である。
【符号の説明】
１…手術支援装置、１ａ…手術支援装置、２…マスタ・スレーブ型ロボット手術システム、３…ＭＲＩ装置、４…３次元計測装置、５…手術台、６…固定フレーム、２１…制御装置、２２…スレーブマニピュレータ、２３…マスタマニピュレータ、１０１…ＭＲＩ装置ＩＦ部、１０２…３次元計測装置ＩＦ部、１０３…マスタ・スレーブ型ロボット手術システムＩＦ部、１０４…指示受付部、１０５…表示制御部、１０６…術部３次元情報生成部、１０７…術部３次元情報記憶部、１０８…領域・経路設定部、１０９…領域・経路記憶部、１１０…ナビゲーション処理部、１１０ａ…ナビゲーション処理部、１３２…スレーブマニピュレータ側制御信号ＩＦ部、１３２…マスタマニピュレータ側制御信号ＩＦ部、２１１…マスタマニピュレータＩＦ部、２１２…手術支援装置ＩＦ部、２１３…スレーブマニピュレータＩＦ部、２１４…主制御部、２１４ａ…主制御部、２３１…制御装置ＩＦ部、２３２…操作部、２３３…操作信号生成部、２３４…操作制御部、２１４１…制御信号生成部、２１４２…領域・経路記憶部、２１４３…操作制限信号生成部、２１４３ａ…操作制限信号生成部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a technology for assisting a medical practice using a computer.
[0002]
[Prior art]
A surgery support system using a computer has been proposed. A conventional surgery support system fetches a plurality of tomographic image data of an operation site from a medical imaging device (medical image modality) such as MRI (Magnetic Resonance Imaging) or CT (Computer Tomography), and based on these tomographic image data. Generate three-dimensional information of the surgical site. In addition, the position of the surgical instrument with respect to the operative site is measured by acquiring spatial coordinate information of the marker attached to the surgical instrument and the marker attached to the operative site using a light receiving camera or a light receiving sensor. Then, the image of the operation part generated from the three-dimensional information is displayed on the display device together with the position of the surgical instrument with respect to the operation part. By doing so, the position of the surgical instrument with respect to the operation site can be confirmed from the image displayed on the display device.
[0003]
Examples of this type of surgery support system include "TREON (trademark)" of Medtronic Sofamore Danek, "Easy Visual Adviser Navigation System" of Tomiki Medical Instrument Co., Ltd., and "INTAGE" of KG Inc. There is. Patent Document 1 is a prior art document relating to this kind of surgery support system.
[0004]
[Patent Document 1]
JP-A-9-173352
[0005]
[Problems to be solved by the invention]
The conventional surgery support system only displays the image of the operation site together with the position of the surgical instrument with respect to the operation site. In other words, the surgeon cannot confirm whether the position of the surgical instrument with respect to the surgical site is in the region or route set by the surgeon (in the region or route set by rehearsal). Was.
[0006]
The present invention has been made in view of the above circumstances, and an object of the present invention is to determine whether or not the position of a medical device with respect to a medical practice target portion is within a predetermined range or on a predetermined route for medical procedures such as surgery. It is to provide a technology that can confirm whether or not it is possible.
[0007]
[Means for Solving the Problems]
In order to solve the above problems, a medical practice support apparatus according to the present invention includes a medical target information storage unit that stores three-dimensional information of a medical target unit, and a three-dimensional information stored in the medical target information storage unit by an operator. Area / route setting means for receiving setting of an area or a route for a medical target portion specified by information; position information obtaining means for obtaining position information of a medical device with respect to the medical target portion; and storage in the medical target information storage means Image information for displaying the image of the medical target portion specified by the given three-dimensional information together with the position of the medical device specified by the position information obtained by the position information obtaining means with respect to the medical target portion. Image information generating means to be generated, and the position of the medical device with respect to the medical target portion specified by the position information obtained by the position information obtaining means, The distance between the set area boundary or route serial region-routing means to monitor, having a warning control means for controlling for the alert in response to the distance.
[0008]
For example, when the distance between the position of the medical device with respect to the medical target portion and the boundary of the region is within a predetermined caution amount, the position of the medical device with respect to the medical target portion is determined by the region / path setting means. Control is performed for warning that there is a possibility of departure from the set area. Alternatively, when the distance between the position of the medical device with respect to the medical target portion and the route is equal to or greater than a predetermined caution amount, the position of the medical device with respect to the medical target portion is set by the region / path setting means. Control for warning that there is a possibility of deviating from the route.
[0009]
According to the present invention, with the above configuration, the operator can check whether the relative position of the medical device with respect to the medical action target portion is within a predetermined range or on a predetermined route. Therefore, it is possible to assist the medical device so that the relative position with respect to the medical action target portion does not deviate from the predetermined range or the predetermined route.
[0010]
Here, the medical device may be a master / slave type robotic surgery system. In this case, the warning control means may transmit a notification signal for limiting the movable range of the master manipulator to the robot surgery system as control for the warning. And, in the master-slave type robot surgery system, a notification signal receiving means for receiving a notification signal transmitted from the medical practice support device of the present invention, and when the notification signal receiving means has received the notification signal, the master And a movable control means for limiting a movable range of the manipulator. As the movable control means, for example, has a storage means for storing the operation content input to the master manipulator, the position of the slave manipulator specified by the operation content input to the master manipulator, the storage means In a case where the movement is out of the movement range of the slave manipulator determined by the stored past operation contents, a reaction force may be generated on the master manipulator to limit the movement range of the master manipulator.
[0011]
With this configuration, it is possible to prevent the position of the medical device with respect to the medical action target portion from deviating from the predetermined range or the predetermined route.
[0012]
The area / path setting means specifies the position of the operator with respect to the medical target part specified by the three-dimensional information stored in the medical target information storage means, and determines the area or path for the medical target part. Cutting off a medical target part specified by the three-dimensional information stored in the medical target information storage means on a plane including the specified receiving part received as one of the specified positions and the specified position received by the specified receiving part; Cross-sectional image information generating means for generating cross-sectional image information for displaying a cross-sectional view obtained by performing the processing, and a three-dimensional image of the medical target portion specified by the three-dimensional information stored in the medical target information storage means Generating three-dimensional image information for displaying an image together with an area or a route specified by a plurality of designated positions received by the designated receiving means And a three-dimensional image information generation unit that, may have an.
[0013]
With this configuration, the designated position for setting the predetermined area or the predetermined path can be visually grasped from both the cross-sectional image and the three-dimensional image of the medical target portion including the specified position. Confirmation becomes easy.
[0014]
Further, the image information generating means is a plane including the position of the medical device specified by the position information obtained by the position information obtaining means with respect to the medical target part, and is stored in the medical target information storage means. Cross-sectional image information generating means for generating cross-sectional image information for displaying a cross-sectional view obtained by cutting the medical target portion specified by the dimensional information, and three-dimensional information stored in the medical target information storage means The three-dimensional image of the medical target portion specified by the information is set by the position of the medical device specified by the position information obtained by the position information obtaining means with respect to the medical target portion and the area / path setting means. Three-dimensional image information generating means for generating three-dimensional image information to be displayed together with an area or a route for the medical target part. There.
[0015]
With this configuration, the relationship between the position of the medical device with respect to the medical target portion and the predetermined region or predetermined route can be visually grasped from both the cross-sectional image and the three-dimensional image of the medical target portion including this position. Since it is possible, it is easy to confirm the position of the medical device with respect to the medical target portion.
[0016]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described.
[0017]
FIG. 1 is a schematic diagram of a surgery support system to which an embodiment of the present invention has been applied.
[0018]
As shown in the figure, the surgery support system of the present embodiment includes a surgery support device 1, a master / slave type robot surgery system 2, anMRI device 3, a three-dimensional coordinate measuring device 4, and an operating table 5. It is composed.
[0019]
TheMRI apparatus 3 captures a tomographic image of a surgical site of a patient by MRI. TheMRI apparatus 3 of the present embodiment can use an existing MRI apparatus having a function of communicating captured tomographic image data to the surgery support apparatus 1 using, for example, DICOM (Digital Imaging and Communication in Medicine). In FIG. 1, theMRI apparatus 3 includes an MRI control apparatus that controls the MRI apparatus 3 (the function of communicating captured tomographic image data to the surgery support apparatus 1 is usually included in the MRI control apparatus). ing. However, theMRI apparatus 3 and the MRI control apparatus may be separate apparatuses.
[0020]
The three-dimensional motion measuring device 4 includes at least one set of markers (not shown) attached to a surgical instrument, and at least one set attached to a operative part or a fixed frame 6 for fixing the operative part to an operating table 5. The relative position (three-dimensional coordinate position, hereinafter referred to as an instrument position) of the surgical tool and the operative part is measured by tracking the marker of the above with a camera (or a sensor) 41. Alternatively, the instrument position and the posture of the surgical tool are measured. Then, the measurement result is transmitted to the surgery support apparatus 1. As the three-dimensional motion measuring device 4, for example, there is "Polaris" (registered trademark) of NDI.
[0021]
The operating table 5 is configured to be movable, and is used for transporting the patient, to which the operation section is fixed by the fixed frame 6, to a predetermined imaging position of theMRI apparatus 3. It is also used for transporting a patient whose operation section is fixed by the fixed frame 6 to a predetermined operation position of theslave manipulator 22.
[0022]
The master-slave type robot surgery system 2 includes aslave manipulator 22 for moving a surgical tool, amaster manipulator 23 for receiving operation contents from the operator, and a movement of theslave manipulator 22 according to operation contents received from the operator via themaster manipulator 23. And acontrol device 21 for controlling the
[0023]
The master manipulator detects the magnitude and direction of the force of the operation input performed by the operator. When the operation force exceeds a certain threshold value, it is considered that an operation has been performed in the input direction, and the operation unit is controlled in the input direction using the operation control unit.
[0024]
The master-slave type robotic surgery system 2 according to the present embodiment has a function of restricting themaster manipulator 23 from accepting the operation contents of the operator in accordance with an instruction from the surgery support apparatus 1. Others are the same as the existing master / slave type robot operation system (remote operation system).
[0025]
FIG. 2 is a schematic configuration diagram of thecontrol device 21 and themaster manipulator 23.
[0026]
As shown in the figure, thecontrol device 21 communicates with a master manipulator IFunit 211 for communicating with themaster manipulator 23, a surgery support device IFunit 212 for communicating with the surgery support device 1, and aslave manipulator 22. It has a slave manipulator IFunit 213 for performing the operation and amain control unit 214. Themain control unit 214 has a controlsignal generation unit 2141 and an operation restrictionsignal generation unit 2143.
[0027]
The controlsignal generation unit 2141 generates a control signal for theslave manipulator 22 according to the operation signal received from themaster manipulator 23 via the master manipulator IFunit 211, and transmits the control signal to theslave manipulator 22 via the slave manipulator IFunit 213. I do.
[0028]
The operation restrictionsignal generation unit 2143 follows an operation restriction signal (actuator control) for restricting themaster manipulator 23 from accepting the operation contents of the operator according to the notification signal received from the operation support apparatus 1 via the operation support apparatus IFunit 212. Signal). Then, the operation restriction signal is transmitted to themaster manipulator 23 via the master manipulator IFunit 211.
[0029]
Thecontrol device 21 can be realized in a computer system having a CPU, a memory, and an interface with an external device, by the CPU executing a predetermined program loaded in the memory. In this case, theIF units 212 to 213 can be realized by the CPU controlling an interface with an external device.
[0030]
As shown in the figure, themaster manipulator 23 includes a control device IFunit 231 for communicating with thecontrol device 21, an operation unit (gripping unit) 232 for receiving operation contents from the operator, and anoperation unit 232. An operationsignal generation unit 233 that detects the received operation content by a sensor, generates an operation signal corresponding to the detected operation content, and transmits the operation signal to thecontrol device 21 via the control device IFunit 231; And anoperation control unit 234 for restricting the movement of the user.
[0031]
Theoperation control unit 234 changes the threshold value for determining that an operation has been performed based on the operation force input to theoperation unit 232, increases the minimum value of the force required for the operation input, and performs an operation when it is determined that the operation has been performed. The movement of theoperation unit 232 is restricted by reducing the maximum value of the operation speed of theunit 232, decomposing the input operation into components in the respective axial directions, and canceling only the component exceeding the operation range.
[0032]
FIG. 3 is a flowchart for explaining the operation of thecontrol device 21.
[0033]
3, the operation restrictionsignal generation unit 2143 of themain control unit 214 determines whether or not a notification signal has been received from the surgery support apparatus 1 via the surgery support apparatus IF unit 212 (S1001). Further, the controlsignal generation unit 2141 of themain control unit 214 determines whether or not an operation signal has been received from themaster manipulator 23 via the master manipulator IF unit 211 (S1002).
[0034]
In step S1001, if the notification signal has been received, the operation restrictionsignal generation unit 2143 generates an operation restriction signal for restricting acceptance of the operation content of the operator by themaster manipulator 23. Then, an operation restriction signal is transmitted to themaster manipulator 23 via the master manipulator IF unit 211 (S1004). Then, S1002 is executed. If a notification signal has not been received in step S1001, the process advances to step S1002 without executing step S1004.
[0035]
If an operation signal has been received in S1002, the controlsignal generation unit 2141 generates a control signal for controlling the movement of theslave manipulator 22 according to the operation content indicated by the received operation signal. For example, when the operation signal indicates the position (or position and posture) of the surgical tool, the surgical tool held by theslave manipulator 22 is moved from the current position to the position indicated by the operation signal (or represented by the operation signal). A control signal (for moving to the position and the posture represented by the operation signal). Then, the generated control signal is transmitted to theslave manipulator 22 via the slave manipulator IF unit 213 (S1003). Then, the process returns to S1001. If the operation signal has not been received in S1002, the process returns to S1001 without executing S1003.
[0036]
In themaster manipulator 23, when theoperation control unit 234 receives an operation restriction signal from thecontrol device 21 via the control device IFunit 231, theoperation control unit 234 sets a threshold value for determining that an operation has been performed based on the operation force input to theoperation unit 232. By changing, the minimum value of the force required for the operation input is increased. Then, when it is determined that an operation has been performed based on the input operation force, the maximum value of the operation speed of theoperation unit 232 is reduced, and the input operation force is decomposed into components in each axial direction, and the operation range is changed. The movement of theoperation unit 232 is restricted by canceling only the component that exceeds.
[0037]
This can be realized, for example, by causing theoperation control unit 234 to perform the following processing. That is, themaster manipulator 23 measures the magnitude of the operation force input to theoperation unit 232 by the operator using the force sensor attached to theoperation unit 232. Usually, an input of an operating force that does not exceed a predetermined threshold is controlled to cancel the input itself as an error. When the operation restriction signal is received, the threshold is increased, and if the operation is performed with the same light force as before, the input is canceled. When the distance between the current position of the surgical tool and the boundary of the operation range is closer than a predetermined warning amount, or when the distance deviating from the route exceeds the predetermined warning amount, the operation is limited according to the distance. When the signal transmits the degree of vigilance as an analog value, the increment of the threshold is changed according to the increase or decrease of the analog value. In other words, the operation force for accepting an operation input that is difficult to approach the boundary or deviates from the route increases. Further, when the vehicle approaches the boundary to a predetermined distance, the threshold is set to the maximum, and the input is canceled even if an operation is performed from that to the direction beyond the boundary.
[0038]
As shown in FIG. 17, when approaching the boundary of the operation area, the operation can be performed when an operation force equal to or larger than the threshold value A [N] is input up to the distance a [mm] to the boundary. The threshold value increases at a predetermined rate up to b [mm], and the operation can be performed when an operation force equal to or larger than the increase value corresponding to the distance is input to B [N]. By setting the threshold value to infinity at b [mm], all inputs can be canceled so as not to approach b [mm] or more. When controlling so as not to deviate from the route, the threshold value may be similarly changed according to the distance c [mm] or d [mm] deviated from the route.
[0039]
The movement of the surgical tool is shown in FIG. When the operation of moving the surgical tool from thepoint 2351 to thepoint 2352 is performed, the threshold required for the operation increases, so that theoperation unit 232 feels heavy, and further the surgical tool is moved from thepoint 2352 to thevector 2355. When theoperation unit 232 is operated to operate, the actuator of theoperation unit 232 is controlled so as to stop theoperation unit 232 at apoint 2356 where the distance between the boundary and the surgical tool is close to a predetermined amount. (FIG. 16 (a)).
[0040]
When the threshold is increased in response to the operation restriction signal and theoperation unit 232 is heavy, an operation in a direction away from the boundary of the operation area or an operation in a direction to return to the route is lightened in the opposite direction. It can give the surgeon a sense of being guided to.
[0041]
Since the operation speed of theoperation unit 232 is determined according to the output of the actuator that controls theoperation unit 232, themaster manipulator 23 follows the operation of theoperation unit 232 quickly when the maximum value of the operation speed is large. , The quick operation can be transmitted to theslave manipulator 22. If an operation restriction signal has been received, control is performed so as to lower the maximum value of the operation speed according to the received value. As a result, quick operation is prevented, and operation near the boundary of the operation area or in a place deviated from the route can only be performed slowly depending on the position, and the operator is close to the boundary of the operation area, or Can warn you that you are out of the route.
[0042]
As shown in FIG. 16B, as a result of operating the surgical tool frompoint 2351 topoint 2352, when the surgical tool is at the boundary of the operation area and has received the operation restriction signal, the operation tool is moved frompoint 2352 to the boundary of the operation area. When a force is applied to theoperation unit 232 in thecrossing direction 2357, the vector amount of each axis component of the vector 2357 (thevector components 2358 and 2359 in FIG. 16B) in the direction crossing the boundary is limited to zero. . Thereby, the operation of theoperation unit 232 whose operation is restricted is in the direction of thevector 2358, and theoperation unit 232 is moved along the boundary. Although FIG. 16B shows two dimensions, it actually has three components of XYZ. If one of the operations is in the direction beyond the boundary, the resultant vector of the remaining two components becomes the operation direction of the operation unit.
Note that the decomposition directions of the components are not limited to XYZ. A direction perpendicular to the boundary and two directions perpendicular to each other and horizontal to the boundary may be set on the spot, and the input may be decomposed in these directions. In this case, in the case of an input that exceeds the boundary due to a direction component perpendicular to the boundary, a component decomposition method may be used in which the combined vector of the remaining two components (the component horizontal to the boundary) is set to the operation direction of the operation unit. .
[0043]
Actually, theoperation control unit 234 combines the threshold control, the speed control, and the control based on the component decomposition described above, and moves theoperation unit 232 so that theoperation unit 232 does not go out of the set operation area or keep away from the route. Control.
[0044]
Next, the operation support device 1 will be described.
[0045]
The surgery support apparatus 1 uses the plurality of tomographic image data captured by theMRI apparatus 3 and the instrument position measured by the three-dimensional motion measuring apparatus 4 to determine the instrument position in an area set by the operator or on a route. The operation of the master / slave type robotic surgery system 2 by the operator is navigated so as to be located.
[0046]
FIG. 4 is a schematic configuration diagram of the surgery support device 1.
[0047]
As shown in the figure, the surgery support device 1 includes an MRI device IFunit 101, a three-dimensional motion measurement device IFunit 102, a master / slave type robot surgery system IFunit 103, aninstruction receiving unit 104, and adisplay control unit 105. , An operation unit 3Dinformation generation unit 106, an operation unit 3Dinformation storage unit 107, an area /route setting unit 108, an area /route storage unit 109, and anavigation processing unit 110.
[0048]
The MRI apparatus IFunit 101 communicates with theMRI apparatus 3 using, for example, DICOM, and receives tomographic image data of an operation site from theMRI apparatus 3.
[0049]
The three-dimensional motion measurement device IFunit 102 communicates with the three-dimensional motion measurement device 4 to obtain information on the instrument position (or the instrument position and the posture of the surgical tool) measured by the three-dimensional motion measurement device.
[0050]
The master / slave type robot surgery system IFunit 103 communicates with the master / slave type robot surgery system 2 (control device 21) and transmits a notification signal generated by anavigation processing unit 110 described later.
[0051]
Theinstruction receiving unit 104 is connected to an input device such as a mouse and a keyboard, and receives an instruction from the operator via the input device.
[0052]
Thedisplay control unit 105 is connected to a display device such as a CRT or an LCD, and generates a display signal for displaying various screens on the display device in accordance with an instruction from an area /route setting unit 108 and anavigation processing unit 110 described later. And outputs it to the display device.
[0053]
The operation unit 3Dinformation generation unit 106 generates three-dimensional image data of the operation unit using the plurality of tomographic image data of the operation unit obtained from theMRI apparatus 3 via the MRI apparatus IFunit 101. Then, the generated three-dimensional image data of the operation part is stored in the operation part three-dimensionalinformation storage unit 107.
[0054]
The region /route setting unit 108 receives a setting of a region or a route for an operation part from an operator via theinstruction receiving unit 104. Then, information (three-dimensional coordinate information) of the set area or route is stored in the area /route storage unit 109.
[0055]
Thenavigation processing unit 110 follows a master / slave type robot so that an operator can perform an operation in an area stored in the area /path storage unit 109 or along a path according to a navigation instruction from theinstruction receiving unit 104. Navigation of the operation of the operation system 2 is performed.
[0056]
The surgery support apparatus 1 can be realized in a computer system having a CPU, a memory, and an interface with an external device, by the CPU executing a predetermined program loaded in the memory. In this case, an external storage device such as an HDD or a memory can be used as thestorage units 109 and 107. Further, theIF units 101 to 103 and theinstruction receiving unit 104 can be realized by the CPU controlling an interface with an external device. Further, thedisplay control unit 105 can be realized by a CPU controlling a display control circuit.
[0057]
FIG. 5 is a flowchart for explaining the operation of the surgery support device 1.
[0058]
In FIG. 5, when theinstruction receiving unit 104 receives an instruction to generate three-dimensional information from an operator via an input device connected to the surgery support apparatus 1 (Yes in S2001), theinstruction receiving unit 104 reports that fact to the operation unit. Notify 106. In response to this, the operation unit 3Dinformation generation unit 106 obtains a plurality of tomographic image data of the operation unit from theMRI apparatus 3 via the MRI apparatus IFunit 101. Then, a three-dimensional image data conversion process for generating three-dimensional image data of the operative part from these tomographic image data is performed, and the generated three-dimensional image data is stored in the operative part three-dimensional information storage unit 107 (S2002). ).
[0059]
In addition, when theinstruction receiving unit 104 receives an area / route setting instruction from the operator via the input device (Yes in S2003), theinstruction receiving unit 104 notifies the area /route setting unit 108 of that. In response to this, the region /route setting unit 108 performs a region / route setting process for accepting the setting of the region or route for the operative site from the operator via theinstruction receiving unit 104, and performs the setting of the set region or route. The information is stored in the area / path storage unit 109 (S2004).
[0060]
When receiving a navigation instruction from the operator via the input device (Yes in S2005), theinstruction receiving unit 104 notifies thenavigation processing unit 110 of that. In response to this, thenavigation processing unit 110 operates the master / slave type robotic surgery system 2 so that the surgeon can perform an operation within the area stored in the area /path storage unit 109 or along the path. Is performed (S2006).
[0061]
Next, the three-dimensional image data conversion process (S2002 in FIG. 5) by the surgical unit three-dimensionalinformation generation unit 106 will be described.
[0062]
For the three-dimensional image data processing, the technology of the existing surgery support system described in the conventional technology can be used.
[0063]
For example, the patient is placed on the operating table 5, and the operative site is fixed with the fixing frame 6. At this time, at least one set of markers is installed on the operative site or the fixed frame 6. Then, the operating table 5 is moved to a predetermined position on theMRI apparatus 3. Then, the origin, the X axis, the Y axis, and the Z axis of the three-dimensional coordinate system are set for theMRI apparatus 3 using at least one set of markers installed on the operation section or the fixed frame 6. Then, theMRI apparatus 3 images a plurality of tomographic image data of the operation site while changing the imaging position, and transmits these to the operation unit 3Dinformation generation unit 106 together with the coordinate information of the imaging position. The operative part three-dimensionalinformation generation unit 106 generates three-dimensional image data of the operative part by developing these tomographic image data at corresponding positions on the three-dimensional coordinate system.
[0064]
Next, an area / route setting process performed by the area /route setting unit 108 will be described.
[0065]
FIG. 6 is a flowchart for explaining the area / route setting processing by the area /route setting unit 108.
[0066]
First, the area /route setting unit 108 causes the display device to display a selection screen for selecting any of new registration and update registration of the area / route via thedisplay control unit 105, and then displays the selection screen via theinstruction receiving unit 104. Then, a selection result is received from the input device (S3001).
[0067]
If the selection result received in S3001 is new registration (Yes in S3002), the area /route setting unit 108 performs the following processing (S3003 to S3008). First, the region /path setting unit 108 performs 3D image display data creation processing of the surgical site using the existing CG technology (S3003). That is, the region /path setting unit 108 arranges the virtual object of the surgical site specified by the three-dimensional image data stored in the surgical unit three-dimensionalinformation storage unit 107 on the three-dimensional coordinate space. Then, an image of the virtual object of the surgical site obtained by shooting with the line of sight of the virtual camera toward the reference point is used as a three-dimensional image of the surgical site to be displayed on the display device, and display data of this image is generated. . The arrangement position (viewpoint) of the virtual camera and the position of the reference point may be set by an operator via an input device connected to the surgery support apparatus 1.
[0068]
Next, the area /path setting unit 108 performs tomographic image display data creation processing of the operative site using the existing CG technology (S3004). That is, the region /path setting unit 108 arranges the virtual object of the surgical site specified by the three-dimensional image data stored in the surgical unit three-dimensionalinformation storage unit 107 on the three-dimensional coordinate space. Then, the virtual object of the surgical site is obtained by cutting the virtual object of the surgical site on a plane perpendicular to the X axis including a reference point (this reference point is the same as the reference point used in the three-dimensional image display data creation processing). The cut surface of the virtual object is used as the first tomographic image of the surgical site to be displayed on the display device, and display data of this tomographic image is generated. Further, a cut surface of the virtual object obtained by cutting the virtual object of the surgical site on a plane perpendicular to the Y axis including the reference point is set as a second tomographic image of the surgical site to be displayed on a display device, and The display data of the tomographic image is generated. Further, a cut surface of the virtual object of the surgical site obtained by cutting the virtual object of the surgical site on a plane perpendicular to the Z axis including the reference point is set as a third tomographic image of the surgical site to be displayed on a display device. The display data of the tomographic image is generated.
[0069]
When the three-dimensional image display data and the tomographic image display data of the operative part are generated as described above, the region /path setting unit 108 transmits the three-dimensional image of the operative part to the display device via thedisplay control unit 105. A new registration area / route setting screen including the tomographic image is displayed (S3005). Then, the input device via theinstruction receiving unit 104 determines whether the reference point included in the three-dimensional image and the tomographic image of the operative site is set to one of the designated positions that determines the boundary of the region or the route. Accepted (S3006).
[0070]
When an instruction to set the reference point at the designated position is received from the input device via the instruction receiving unit 104 (Yes in S3006), the area /route setting unit 108 sets the three-dimensional coordinate value of this reference point to Are stored in the area / path storage unit 109 (S3007), and then the flow shifts to S3008. On the other hand, if an instruction to set the reference point at the designated position has not been received (No in S3006), the process immediately proceeds to S3008.
[0071]
In step S3008, the area /path setting unit 108 determines whether an end instruction has been received from the input device via theinstruction receiving unit 104. If the termination instruction has not been received (No in S3008), the process returns to S3003 and continues. On the other hand, if an end instruction has been received (Yes in S3008), the process ends.
[0072]
By the above processing, the path to the operative site can be specified by the line formed by connecting the designated positions stored in the area /path storage unit 109 in the storage order. Alternatively, the area for the surgical site can be specified by the maximum and minimum values of the X coordinate, the maximum and minimum values of the Y coordinate, and the maximum and minimum values of the Z coordinate of this line on the three-dimensional coordinate system.
[0073]
FIG. 7 shows an example of a new registration area / route setting screen displayed on the display device connected to the surgery support apparatus 1 by the processing in S3003 to S3008 shown in FIG.
[0074]
7,reference numerals 81 to 83 denote display areas for displaying the first to third tomographic image display data of the operative site generated in S3004, andreference numeral 84 denotes a three-dimensional image display of the operative site generated in S3003. A display area for displaying data,reference numeral 88 is a position designation button, andreference numeral 89 is an end button. In each of thedisplay areas 81 to 84,reference numeral 85 denotes an origin,reference numeral 86 denotes a designated position stored in the area /path storage unit 109 by the processing in S3007, andreference numeral 87 denotes a reference point. The display images of thedisplay areas 81 to 84 are displayed such that thereference point 87 is located at the center.
[0075]
Here, when the operator operates thecursor 87a using the input device connected to the surgery support apparatus 1, thereference point 87 is selected and moved in any of thedisplay areas 81 to 83 of the tomographic image display data. , S3003 to S3005, the display data in each of thedisplay areas 81 to 84 is updated so that thereference point 87 after movement in each of thedisplay areas 81 to 84 is located at the center.
[0076]
When the operator operates thecursor 87a using the input device connected to the surgery support apparatus 1 and selects theposition designation button 88, the display in thedisplay areas 81 to 84 at that time is performed by the processing in S3007. The three-dimensional coordinate value of thereference point 87 is stored in the area /path storage unit 109 as one three-dimensional coordinate value of a designated position that defines the boundary of the area or the path.
[0077]
When the operator operates thecursor 87a using the input device connected to the surgery support apparatus 1 and selects theend button 89, the processing in S3008 ends the path / area setting processing.
[0078]
Returning to FIG. 6, the description will be continued.
[0079]
If the selection result received in S3001 is update registration (No in S3002), the area /route setting unit 108 performs the following processing (S3009 to S3014).
[0080]
First, the region /path setting unit 108 performs a three-dimensional image display data creation process of the surgical site in the same manner as in S3003 (S3009). However, a path represented by a line formed by connecting the designated positions stored in the area /path storage unit 109 in the order of storage, or the maximum and minimum values of the X coordinate and the maximum and minimum values of the Y coordinate of this line An area represented by a space separated by the value and the maximum and minimum values of the Z coordinate is arranged on the three-dimensional coordinate space together with the virtual object of the surgical site. By doing so, three-dimensional image display data of the operative site and the path or region is generated. Here, the route or the area is always displayed in a three-dimensional image by using, for example, α blending, regardless of the positional relationship with the virtual object of the surgical site.
[0081]
Next, the area /path setting unit 108 performs tomographic image display data creation processing of the operative site in the same manner as in S3004 (S3010). However, a path represented by a line formed by connecting the designated positions stored in the area /path storage unit 109 in the order of storage, or the maximum and minimum values of the X coordinate and the maximum and minimum values of the Y coordinate of this line An area represented by a space separated by the value and the maximum and minimum values of the Z coordinate is arranged on the three-dimensional coordinate space together with the virtual object of the surgical site. By doing so, tomographic image display data of the operative site and the path or region is generated. Here, the path or the area is always displayed on the tomographic image by using, for example, α blending or the like, regardless of the positional relationship with the virtual object of the surgical site.
[0082]
After generating the three-dimensional image display data and the tomographic image display data as described above, the region /path setting unit 108 provides the display device via thedisplay control unit 105 with the three-dimensional image of the surgical site and the path or region. An update registration area / route setting screen including the image and the tomographic image is displayed (S3011). Then, it is received from the input device via theinstruction receiving unit 104 whether or not any of the designated positions displayed together with the operative part is changed to the position of the reference point (S3012).
[0083]
If an instruction to change any of the designated positions to the position of the reference point is received from the input device via the instruction receiving unit 104 (Yes in S3012), the area /route setting unit 108 stores the area / route. Any one of the designated positions stored in theunit 109 is replaced with the three-dimensional coordinate value of the reference point (S3013), and the process proceeds to S3014. On the other hand, if an instruction to change any of the designated positions to the position of the reference point has not been received (No in S3012), the process immediately proceeds to S3014.
[0084]
In step S3014, the area /route setting unit 108 determines whether an end instruction has been received from the input device via theinstruction receiving unit 104. If the end instruction has not been received (No in S3014), the process returns to S3009 and continues. On the other hand, if an end instruction has been received (Yes in S3014), the process ends.
[0085]
FIG. 8 shows an example of an update registration area / route setting screen displayed on the display device connected to the surgery support apparatus 1 by the processing in S3009 to S3014 shown in FIG.
[0086]
The difference between the example of the area / route setting screen for update registration shown in FIG. 8 and the example of the area / route setting screen for new registration shown in FIG. The point is that achange button 91 is provided.
[0087]
The designatedposition selection button 90 is used to select a designatedposition 86a whose position is to be changed from the designatedpositions 86 displayed in thedisplay areas 81 to 84. The operator operates thecursor 87a using the input device connected to the surgery support apparatus 1, and selects the designatedposition selection button 90 in a state where any one of the designatedpositions 86 displayed in thedisplay areas 81 to 84 is selected. Then, any one of the designatedpositions 86 is selected as a candidate designatedposition 86a whose position is to be changed.
[0088]
Theposition change button 91 is used to change the three-dimensional coordinate value of the designatedposition 86a selected by the designatedposition selection button 88 to the position of thereference point 87. The operator operates thecursor 87 a using the input device connected to the surgery support apparatus 1, and selects theposition change button 91 in a state where the candidate specifiedposition 86 a to be changed in position is selected by the specifiedposition selection button 88. Then, by the processing in S3013, the three-dimensional coordinate value of the designatedposition 86a stored in the area /path storage unit 109 is changed to the three-dimensional coordinate of thereference point 87 displayed in thedisplay areas 81 to 84 at that time. Updated to value.
[0089]
Next, navigation processing by thenavigation processing unit 110 will be described.
[0090]
FIG. 9 is a flowchart for explaining the navigation processing by thenavigation processing unit 110.
[0091]
First, thenavigation processing unit 110 obtains information on the instrument position (or the instrument position and the posture of the surgical instrument) from the three-dimensional motion measurement device 4 via the three-dimensional motion measurement device IF unit 102 (S4001).
[0092]
In the present embodiment, the three-dimensional motion measuring device 4 measures the position of the instrument using the same three-dimensional coordinate system as the three-dimensional coordinate system used for capturing the tomographic image by theMRI device 3. In other words, the origin of the three-dimensional coordinate system, the X-axis, , Y axis and Z axis are set. The three-dimensional motion measuring device 4 uses a camera (or a sensor) 41 for at least one set of markers installed on the surgical site or the fixed frame 6 and at least one set of markers attached to the surgical tool held by theslave manipulator 22. , The instrument position (or the instrument position and the posture of the surgical instrument) on the three-dimensional coordinate system is measured, and the measurement result is transmitted to the surgery support apparatus 1.
[0093]
By the way, if thenavigation processing unit 110 obtains the information on the instrument position (or the instrument position and the posture of the surgical tool), thenavigation processing unit 110 uses the three-dimensional image data stored in the surgical unit three-dimensionalinformation storage unit 107 to generate a diagram. The three-dimensional image display data creation processing of the operative part is performed in the same manner as in S3003 of S6 (S4002). However, a path represented by a line formed by connecting the designated positions stored in the area /path storage unit 109 in the order of storage, or the maximum and minimum values of the X coordinate and the maximum and minimum values of the Y coordinate of this line A region represented by a value and a space partitioned by the maximum and minimum values of the Z coordinate, and an image representing the instrument position (or the instrument position and the posture of the surgical instrument) together with the virtual object of the surgical site in a three-dimensional coordinate system Place on top. By doing so, three-dimensional image display data of the operative site, the path or the area, and the instrument position (or the instrument position and the posture of the surgical instrument) are generated. The path or region and the tool position (or tool position and posture of the surgical tool) are always displayed in a three-dimensional image by using, for example, α blending, regardless of the positional relationship with the virtual object of the surgical site. To
[0094]
Next, thenavigation processing unit 110 uses the three-dimensional image data stored in the operation unit 3Dinformation storage unit 107 to perform tomographic image display data creation processing of the operation unit in the same manner as in S3004 in FIG. S4003). However, a path represented by a line formed by connecting the designated positions stored in the area /path storage unit 109 in the order of storage, or the maximum and minimum values of the X coordinate and the maximum and minimum values of the Y coordinate of this line A region represented by a value and a space partitioned by the maximum and minimum values of the Z coordinate, and an image representing the instrument position (or the instrument position and the posture of the surgical instrument) together with the virtual object of the surgical site in a three-dimensional coordinate system Place on top. By doing so, tomographic image display data of the operative site, path or region, and the instrument position (or the instrument position and the posture of the surgical instrument) are generated. The path or region and the instrument position (or the instrument position and the posture of the surgical tool) are always displayed on the tomographic image using, for example, α blending, regardless of the positional relationship with the virtual object of the surgical site. I do.
[0095]
As described above, thenavigation processing unit 110 generates the three-dimensional image display data and the tomographic image display data of the surgical site, the route or the area, and the tool position (or the tool position and the posture of the surgical tool). Then, a navigation screen including a three-dimensional image and a tomographic image of the surgical site, the route or the area, and the tool position (or the tool position and the posture of the surgical tool) is displayed on the display device via thedisplay control unit 105. It is displayed (S4004).
[0096]
Next, thenavigation processing unit 110 starts from the route represented by the line formed by connecting the designated positions stored in the area /route storage unit 109 in the order of storage, or the maximum and minimum X coordinates of this line. It is checked whether or not there is a high possibility that the position of the appliance will deviate from the area represented by the space defined by the values, the maximum and minimum values of the Y coordinate, and the maximum and minimum values of the Z coordinate (S4005).
[0097]
To determine whether the device position is likely to deviate from the route, monitor the device position and the distance between the routes, and if the distance exceeds a predetermined value, determine that the possibility of deviating from the route is high. Just fine. For example, if the shortest distance between the instrument position and the path (the length of a perpendicular drawn from the instrument position toward the path) is longer than a predetermined margin (for example, a margin set by an operator), the path may deviate from the path. You only need to judge that it is high.
[0098]
In addition, whether or not the appliance position is likely to deviate from the region is determined by monitoring the distance between the appliance position and the boundary of the region, and when the distance is within a predetermined value, there is a possibility that the appliance position may deviate from the region. You only need to judge that it is high. For example, assuming that the tool position is within the region, the shortest distance between the tool position and the boundary of the region (the length of the perpendicular drawn from the tool position toward the boundary of the region) is determined by a predetermined margin (for example, by the surgeon). If it is shorter than the (set margin), it may be determined that there is a high possibility of deviating from the area.
[0099]
When thenavigation processing unit 110 determines that there is a high possibility that the instrument position deviates from the route or the area (Yes in S4005), thenavigation processing unit 110 generates a notification signal and transmits the notification signal via the master / slave type robot surgery system IFunit 103. To the master / slave type robotic surgery system 2 (S4006). Then, the process shifts to S4007. On the other hand, if it is determined that the possibility of deviating from the route or the area is not high (No in S4005), the process immediately proceeds to S4007.
[0100]
In step S4007, thenavigation processing unit 110 determines whether an end instruction has been received from the input device via theinstruction receiving unit 104. If the termination instruction has not been received (No in S4007), the process returns to S4001 and continues. On the other hand, if an end instruction has been received (Yes in S4007), the process ends.
[0101]
Through the above processing, navigation of the operation of the master / slave robotic surgery system 2 by the operator so that the surgery is performed along the route stored in the region /route storage unit 109 or within the range of the region. Can be. That is, the surgeon can check whether or not the surgery is being performed along the preset route or within the range of the region through the navigation screen. In addition, by restricting the movement of theoperation unit 232 of themaster manipulator 23 so that the tool position moves along a preset route or within a range of a preset area, a surgical operation is performed. Can warn people.
[0102]
FIG. 10 shows an example of a navigation screen displayed on the display device connected to the surgery support apparatus 1 by the processing shown in FIG.
[0103]
In the example of the navigation screen shown in FIG. 10, unlike the example of the area / route setting screen for new registration shown in FIG. 7, theposition designation button 88 is not provided. Further, the tool position is set at thereference point 87.
[0104]
Next, a flow of processing when performing surgery using the surgery support system of the present embodiment will be described.
[0105]
FIG. 11 is a diagram for explaining the flow of processing when performing surgery using the surgery support system of the present embodiment.
[0106]
(1) Preparation for surgery (S5101)
(1-1) Three-dimensional image data generation of an operation part (S5001)
The surgeon places the patient on the operating table 5, and fixes the operation site with the fixing frame 6. At this time, at least one set of markers is installed on the operative site or the fixed frame 6. Then, the operating table 5 is moved to a predetermined position of theMRI apparatus 3. Then, the origin, the X-axis, the Y-axis, and the Z-axis of the three-dimensional coordinate system are set in the MRI apparatus using at least one set of markers installed on the operation section or the fixed frame 6. Then, theMRI apparatus 3 images a plurality of tomographic image data of the operation site while changing the imaging position, and transmits these to the operation unit 3Dinformation generation unit 106 together with the coordinate information of the imaging position. The operative part 3Dinformation generation unit 106 executes the operative part 3D image data generation processing (S2002 in FIG. 5), and develops these tomographic image data at corresponding positions on the three-dimensional coordinate system. Generate three-dimensional image data of the surgical site.
[0107]
(1-2) Setting of an area and a route for an operation part (S5002)
The surgeon inputs an area / route setting instruction to the surgery support apparatus 1 via an input device connected to the surgery support apparatus 1, and further inputs a new registration instruction. In response to this, the area /route setting unit 108 performs a new area / route registration process (S3003 to S3008 in FIG. 6), and accepts the setting of the area / route for the operating unit from the operator.
[0108]
(2) Surgery (S5102)
(2-1) Generation of three-dimensional image data of the surgical site (S5003)
Three-dimensional image data of the operative site is generated in the same manner as in S5001. This is in consideration of the possibility that the state of the operative portion may change between the preparatory stage of the operation and immediately before the operation depending on the physical condition of the patient. Thereby, the three-dimensional image data of the surgical part stored in the surgical part three-dimensionalinformation storage unit 107 is updated to the latest one.
[0109]
(2-2) Correction of the region / path for the surgical site (S5004)
The surgeon inputs an area / route setting instruction to the surgery support apparatus 1 via an input device connected to the surgery support apparatus 1, and further inputs an update registration instruction. In response to this, the area /path setting unit 108 performs area / path update registration processing (S3009 to S3014 in FIG. 6), and accepts correction of the area / path for the surgical site from the operator.
[0110]
(2-2) Navigation of operation (S5005)
The operator moves the operating table 5 on which the patient is placed from theMRI apparatus 3 to a predetermined position on theslave manipulator 22. Next, a three-dimensional coordinate system is set in the three-dimensional motion measuring device 4 in the same manner as the three-dimensional coordinate system set in theMRI device 3.
[0111]
Next, the operator inputs a navigation instruction to the surgery support apparatus 1 via an input device connected to the surgery support apparatus 1. In addition, measurement of the position of the appliance is started by the three-dimensional motion measurement device 4, and the measurement result is transmitted from the three-dimensional motion measurement device 4 to thenavigation processing unit 110. Thenavigation processing unit 110 executes a navigation process (FIG. 9), and performs a master / slave robot operation by an operator so that an operation is performed along a route stored in the area /path storage unit 109 or in the area. Navigation of the operation of the operation system 2 is performed.
[0112]
Here, for example, when the operation is performed for a long time, the above-described steps S5003 to S5004 may be repeated to cope with a change in the state of the operation part (S5006).
[0113]
Hereinabove, one embodiment of the present invention has been described.
[0114]
According to the surgery support system of the present embodiment, with the above-described configuration, the surgeon can determine via the navigation screen (see FIG. 10) whether there is an instrument position in an area set by the surgeon or on the route. You can check. Further, the position of the instrument can be visually grasped from both the tomographic image and the three-dimensional image of the surgical site on the navigation screen.
[0115]
In addition, theoperation support system 232 of themaster manipulator 23 controls the operation support system of the present embodiment so that the instrument position moves along a preset path or moves within a preset area. Movement is restricted. Therefore, the operation of the master / slave type robotic surgery system 2 by the operator can be navigated so that the surgery is performed within the region or along the route.
[0116]
Further, according to the surgery support system of the present embodiment, with the above configuration, the operator can set an area or a path for the operative site via the area / path setting screen (see FIGS. 7 and 8). The designated position can be visually grasped from both the tomographic image and the three-dimensional image of the operative site. This facilitates confirmation of the designated position.
[0117]
It should be noted that the present invention is not limited to the above embodiment, and various modifications are possible within the scope of the gist.
[0118]
For example, in the above embodiment, thenavigation processing 110 of the surgery support apparatus 1 determines whether the instrument position measured by the three-dimensional motion measuring apparatus 4 is likely to deviate from a preset route or area. Then, when it is determined that there is a high possibility of departure, a notification signal is generated and transmitted to the master / slave type robotic surgery system 2 (S4005, S4006 in FIG. 9).
[0119]
Here, thenavigation processing 110 transmits a notification signal according to the level of the possibility of departure, and the master-slave type robotic surgery system 2 is input to theoperation unit 234 according to the level represented by the notification signal. The reaction force generated for the operation may be controlled.
[0120]
For example, in the surgery support apparatus 1, thenavigation processing 110 classifies a distance between a preset route and an instrument position into three levels. If the distance between the route and the device position is classified into an intermediate level, it is determined that the possibility of departure is "high", and if the distance is classified into the longest level, the possibility of departure is determined to be "very high". I do. Then, a notification signal according to the result of the determination is generated. If the distance between the route and the tool position is classified as the shortest level, it is determined that the possibility that the tool position deviates from the route is low, and in this case, no notification signal is generated.
[0121]
Alternatively, the distance between the preset boundary of the region and the position of the device is classified into three levels. Then, assuming that the tool position is within the area, if the distance between the boundary and the tool position is classified into an intermediate level, it is determined that the possibility of departure is “high” and is classified into the shortest level. If so, it is judged that the possibility of departure is "very high". Then, a notification signal corresponding to the result of the determination is generated. If the distance between the route and the device position is classified as the longest level, it is determined that the possibility that the device position deviates from the route is low, and in this case, no notification signal is generated.
[0122]
Further, in the master-slave type robot surgery system 2, when themain control unit 214 of thecontrol device 21 receives a notification signal from the surgery support device 1 via the surgery support device IFunit 212, the level represented by the notification signal Is generated and transmitted to themaster manipulator 23 via the master manipulator IF unit 211 (S1001, S1004 in FIG. 3).
[0123]
When the level indicated by the notification signal corresponding to the operation restriction signal received from thecontrol device 21 via the control device IFunit 231 is “very high”, theoperation control unit 234 of themaster manipulator 23 Similarly to the embodiment, the movable range of theoperation unit 232 is limited to a range corresponding to the position (or position and posture) of the surgical instrument determined by the content of the operation received in the past.
[0124]
In other words, the position (or position and orientation) of the surgical instrument represented by the operation signal generated by the operationsignal generation unit 233 is out of the operation range of the surgical instrument determined by the operation content received in the past (for example, within a predetermined time from the present). It is determined whether or not. Then, when it is determined that the operation is out of the operation range, a large reaction force is generated in theoperation unit 232 to lock theoperation unit 232.
[0125]
On the other hand, when the level indicated by the notification signal corresponding to the operation restriction signal received from thecontrol device 21 is simply “high”, the position (or the position of the surgical tool) indicated by the operation signal generated by the operationsignal generation unit 233 is displayed. And the posture) are determined to be out of the operation range of the surgical instrument determined from the operation content received in the past, the reaction force (the level indicated by the notification signal is “ The reaction force is smaller than if it were "highly high."
[0126]
Further, in the above embodiment, the surgery support apparatus 1 determines whether or not the instrument position measured by the three-dimensional motion measuring apparatus 4 is likely to deviate from a preset area or route. . However, the present invention is not limited to this.
[0127]
Hereinafter, a first modified example of the above embodiment will be described.
[0128]
In the first modified example, the surgery support apparatus 1 first transmits information on an area or a route set by the operator to the master-slave type robot surgery system 2 during the navigation processing. Then, the information on the instrument position measured by the three-dimensional motion measuring device 4 is transferred to the master / slave type robot surgery system 2. On the other hand, thecontrol device 21 of the master-slave type robot surgery system 2 receives the information on the area or the route from the surgery support device 1 and stores it in the storage device provided in thecontrol device 21. Then, information on the position of the instrument is received from the surgery support apparatus 1, and the information is compared with the information on the area or the path previously stored in the storage device. Is determined to be high. When it is determined that there is a high possibility of departure, an operation restriction signal corresponding to the level is generated and transmitted to themaster manipulator 23.
[0129]
FIG. 12 is a schematic diagram of thecontrol device 21 and themaster manipulator 23 of the master-slave type robot surgery system 2 used in the first modification of the present embodiment.
[0130]
As shown in FIG. 12, thecontrol device 21 used in the first modification is different from thecontrol device 21 shown in FIG. 2 in that amain control unit 214a is used instead of themain control unit 214. Themain control unit 214a includes a controlsignal generation unit 2141, an area /path storage unit 2142, and an operation controlsignal generation unit 2143a.
[0131]
Thecontrol signal generator 2141 is the same as thecontrol signal generator 2141 of themain controller 214 shown in FIG. That is, in accordance with an operation signal received from themaster manipulator 23 via the master manipulator IFunit 211, a control signal for theslave manipulator 22 is generated and transmitted to theslave manipulator 22 via the slave manipulator IFunit 213.
[0132]
The area /path storage unit 2142 stores information on an area or a path that is received from the operation support apparatus 1 via the operation support apparatus IFunit 212 and is stored in the area /path storage unit 109 of the operation support apparatus IFunit 212. I do.
[0133]
The operation restrictionsignal generation unit 2143a compares the information on the instrument position received from the surgery support apparatus 1 via the surgery support apparatus IFunit 212 with the information on the area or the path stored in the area /path storage unit 2142. Then, it is determined whether or not there is a high possibility that the device position deviates from the route or the area. When it is determined that there is a high possibility of departure, an operation restriction signal corresponding to the level is generated and transmitted to themaster manipulator 23 via the master manipulator IFunit 211.
[0134]
FIG. 13 is a flowchart illustrating a navigation process performed by thenavigation processing unit 110 of the surgery support device 1 used in the first modification of the present embodiment.
[0135]
First, thenavigation processing unit 110 reads information of each designated position stored in the area /route storage unit 109 together with information indicating the storage order. Then, the read information of each designated position and the information indicating the storage order are transmitted to the master-slave robot operation system 2 via the master-slave robot operation system IF unit 103 (S6001).
[0136]
Next, thenavigation processing unit 110 performs the processing of S4001 to S4004 shown in FIG. 9 to display the navigation screen on the display device (S6002).
[0137]
Next, in S6002, thenavigation processing unit 110 transmits the information on the instrument position obtained from the three-dimensional motion measurement device 4 via the three-dimensional motion measurement device IFunit 102 via the master-slave type robot surgery system IFunit 103. To the master / slave type robot surgery system 2 (S6003).
[0138]
Then, thenavigation processing unit 110 determines whether an end instruction has been received from the input device via theinstruction receiving unit 104. If the end instruction has not been received (No in S6004), the process returns to S6002 and continues. On the other hand, if an end instruction has been received (Yes in S6004), the process ends.
[0139]
FIG. 14 is a flowchart for explaining the operation ofcontrol device 21 shown in FIG.
[0140]
In FIG. 14, the operation restrictionsignal generation unit 2143a of themain control unit 214 determines whether or not information on the instrument position has been received from the surgery support device 1 via the surgery support device IF unit 212 (S7001). The controlsignal generation unit 2141 of themain control unit 214 determines whether an operation signal has been received from themaster manipulator 23 via the master manipulator IF unit 211 (S7002).
[0141]
If an operation signal is received in S7002, the controlsignal generation unit 2141 controls the movement of theslave manipulator 22 according to the operation content indicated by the received operation signal in the same manner as in S1003 in FIG. Control signal is generated (S7003). Then, the process returns to S7001.
[0142]
Also, in S7001, when the information on the appliance position is received, the operation restrictionsignal generation unit 2143a transmits the information on the designated position stored in the area /route storage unit 2142 in the same manner as in S4005 in FIG. A space defined by a path represented by a line formed by connecting in the order of storage, or by the maximum and minimum values of the X coordinate, the maximum and minimum values of the Y coordinate, and the maximum and minimum values of the Z coordinate of this line It is determined whether or not there is a high possibility that the position of the device will deviate from the region represented by (S7004).
[0143]
When the operation restrictionsignal generation unit 2143a determines that there is a high possibility that the appliance position deviates from the path or the area (Yes in S7004), the operation restrictionsignal generation unit 2143a generates an operation restriction signal according to the level of the possibility. For example, a function of the distance between the instrument position and the boundary of the path or area (a function in which the reaction force increases as the instrument position moves away from the path, or the reaction force increases as the instrument position approaches the boundary of the area) An operation restriction signal for generating a reaction force represented by the following function is generated. Then, the generated operation restriction signal is transmitted to themaster manipulator 23 via the master manipulator IF unit 211 (S7005). Then, the process returns to S7001.
[0144]
In themaster manipulator 23, theoperation control unit 234 monitors the operation signal generated by the operationsignal generation unit 233 when receiving the operation restriction signal from thecontrol device 21 via the control device IFunit 231. Then, it is determined whether or not the position (or the position and the posture) of the surgical instrument represented by the operation signal is out of the operation range of the surgical instrument determined by the operation content received in the past (for example, within a predetermined time from the present). Then, when it is determined that the operation is out of the operation range, theoperation unit 232 generates a reaction force according to the received operation restriction signal.
[0145]
Further, in the above-described embodiment, the operation support device 1 may have the function of thecontrol device 21 of the master-slave type robot operation system 2 as in a second modification shown in FIG.
[0146]
In the above-described embodiment, as an area setting method in the area / path setting processing shown in S2004 of FIG. 5, a reference point is stored and connected to form a path, and an area including the maximum and minimum values of XYZ of the path is set. (See FIG. 6). However, the present invention is not limited to this. The following describes another area setting method in the area / route setting processing shown in S2004 of FIG.
[0147]
First, the area /path setting unit 108 displays an area / path setting screen as shown in FIG. 18 on a display device connected to the surgery support apparatus 1 (in this example, a state of a captured image during operation is shown). There). In this area / route setting screen, those having the same functions as those in the setting screen shown in FIG. 7 are denoted by the same reference numerals.
[0148]
In the area / route setting screen shown in FIG. 18, on the right side, an “area designation”button 901, a “route designation”button 902, a “point move”button 911, an “add point”button 912, a “point delete”button 913, Each button of the “end”button 89 is arranged. On the left side, XYZcross-sectional images 81 to 83 and astereoscopic image 84 centered on the reference point are displayed. The reference point is set in advance so as to be located inside theoperation section 871. In such a screen, when a position on thecross-sectional images 81 to 83 is designated by thecursor 87a, the designated position (three-dimensional position) is set as a point for setting an area / route and stored in the storage device. . Unlike the area setting method described in the above embodiment, the processing of updating thecross-sectional images 81 to 83 and thestereoscopic image 84 with that point as the reference position is not performed.
[0149]
When the double-click is performed on thecross-sectional images 81 to 83 and the three-dimensional image 84, the double-clicked screen is, for example, four times as large (the size of the full space including the XYZcross-sectional images 81 to 83 and the three-dimensional image 84). ), And the other three images are omitted from the area / route setting screen. Double-click again to return to the original four image screen.
[0150]
The above series of processing will be described with reference to FIG. First, if an area / path setting screen as shown in FIG. 18 is displayed on the display device connected to the surgery support apparatus 1, the area /path setting unit 108 determines whether the “end”button 89 has been selected. Is checked (S20041). If it has been selected, this process ends.
[0151]
If not, the area /route setting unit 108 checks whether one of the “area designation”button 901 and the “route designation”button 902 has been selected (S20042). If another button has been selected or nothing has been pressed, the process returns to S20041.
[0152]
On the other hand, when either the “region designation”button 901 or the “route designation”button 902 is selected, the region /route setting unit 108 double-clicks on any of the XYZcross-sectional images 81 to 83. It is checked whether a click has been made (S20043).
[0153]
When double-clicking on any one of the XYZcross-sectional images 81 to 83, the image is enlarged or reduced (S20045). That is, if the user double-clicks on the enlarged image (in this case, no other images are displayed), the screen returns to the reduced screen displaying the XYZsectional images 81 to 83 and thestereoscopic image 84, and the reduced screen is displayed. In, if a double click is performed on a certain image, the image is enlarged and displayed.
[0154]
Next, the area /path setting unit 108 checks whether or not an enlarged image is currently displayed, and if it is an enlarged image, performs a point setting process (S20046). At the stage of the point setting processing, the “point movement”button 911, the “point addition”button 912, and the “point deletion”button 913 are received. Upon completion of the point setting process, the process returns to S20041.
[0155]
Next, details of the point setting process will be described.
[0156]
First, a description will be given of a point setting process in a case where an area is set (a case where the “area designation”button 901 is selected on the area / route setting screen as shown in FIG. 18).
[0157]
In the region setting, a region of a target operation part (affected part) is set, and then an operation region up to the operation part is set. As an example, the removal of a tumor will be described as an example.
[0158]
The reference point is set in advance so that the tumor to be removed can be seen on the threecross-sectional images 81 to 83 of XYZ. When the operator double-clicks on any of the three XYZcross-sectional images 81 to 83, the area /path setting unit 108 enlarges and displays the double-clicked cross-sectional image. Then, when the operator operates thecursor 87a with an input device such as a mouse on the enlarged and displayed cross-sectional image and clicks on the contour of the affected part, a first point is set at the clicked position. Similarly, when the operator clicks on the contour of the affected part, the area /path setting unit 108 sets a point each time. The area /path setting unit 108 sets a plane area formed by a plurality of points by connecting the points with a line in the order in which the points are pointed, and also connecting the first and last points with the line. Display on the cross-sectional image.
[0159]
The tumor contour is imaged such that the contrast is different from the surroundings (in a form in which the tumor contour can be distinguished from the surroundings). In the three-dimensional image 84, the three-dimensional information of the operative site is stored so that the contrast of the tumor outline is different from the surroundings (so that the tumor outline can be distinguished from the surroundings). The area /path setting unit 108 sets a point at a site where the contrast is changed most within a predetermined range from the click position of the operator. Thus, the operator can accurately set the operative area simply by following the outline roughly. If more detailed settings are desired, the operating section may be displayed by zooming. The zoom function is not special in image processing, and can use existing technology.
[0160]
When the setting of the plane area (first plane area) on the enlarged and displayed cross-sectional image is completed, the operator double-clicks the enlarged image to return to the reduced screen display.
[0161]
In the area / path setting screen as shown in FIG. 18, the plane area set earlier is displayed as a plane area that follows the edge of a tumor in one cross-sectional image, and as a straight line in the other two cross-sectional images. Double-click one of the remaining two cross-sectional images to enlarge and display it, and set the second plane area by pointing the outline of the surgical site in the same manner as the first plane area . The third plane area is set similarly. As a result, the operative area is represented as a plane area in each of the threecross-sectional images 81 to 83, as shown in FIG.
[0162]
When the plane area is set in each of the threecross-sectional images 81 to 83 as described above, the area /path setting unit 108 calculates a three-dimensional area of the operation area based on these plane areas.
[0163]
In FIG. 20A, theplane area 811 set on thecross-sectional image 81 is integrated along thecross-sectional image 81. Specifically, as shown in FIG. 20B, a new plane (plane area 811) positioned on the plane parallel to thecross-sectional image 81 is set in accordance with a predetermined resolution for setting the area. A plane region 812 (parallel to) is created. First, the intersection between the boundary of theplane region 812 and thecross-sectional image 82 matches the boundary with theplane region 821 set on thecross-sectional image 82, and the intersection between the boundary of theplane region 812 and thecross-sectional image 88 is A similar shape of theplane area 811 that matches the boundary with theplane area 831 set on theimage 83 is created as theplane area 812. Then, a plurality of points are set at the boundary of the createdplane area 812. For example, a point is set at each position on theplane area 812 corresponding to each set point of theplane area 811. Then, the position of each set point is moved from the point to a position within a predetermined range with a high contrast change amount, and (the coordinate position of) each set point that specifies theplanar area 812 is corrected. This processing is performed on a plurality of planes parallel to thecross-sectional image 81, which are located between both ends 832 and 833 of theplane area 831. As a result, a three-dimensional region of the surgical site is set.
[0164]
When the operation section area (three-dimensional area) is set as described above, the area /path setting section 108 displays the set operation section on thestereoscopic image 84 of the area / path setting screen as shown in FIG. The area is superimposed and displayed. This allows the operator to check the consistency between the actual affected area and the set operation area while arbitrarily rotating the stereoscopically displayed patient image.
[0165]
Note that the set operative section area or plane area is set using a “point move”button 911, an “add point”button 912, and a “point delete”button 913 on the area / path setting screen as shown in FIG. It is possible to modify. When the “point move”button 911 is selected by the operator and the point is selected, and then the position is designated by thecursor 87a, the area /path setting unit 108 changes the coordinates of the selected point to the designated position. Update to coordinates. When the operator selects the “add point”button 912 and then specifies a position with thecursor 87a, a new point having the position as coordinate information is newly set. In addition, when the operator selects the “point delete”button 913 and then selects a point with thecursor 87a, the selected point is deleted.
[0166]
After the operation section area is set as described above, the area /path setting section 108 sets an operation area up to the operation section.
[0167]
The region /route setting unit 108 changes the reference points in the threecross-sectional images 81 to 83 of XYZ in accordance with the instruction received from the operator via the user interface on the region / route setting screen as shown in FIG. The operator changes the reference point so that the opening of the affected part is displayed on the threecross-sectional images 81 to 83 of XYZ. Then, as shown in FIG. 21, in accordance with the operator's instruction, a plurality of points (81p1, 81p2,... 81pn, 82p1, 82p2) are provided in each of thecross-sectional images 81 to 83 in the same manner as the setting of the operation area. , ... 82pn, 83p1, 83p2, ... 83pn) to create a plane area.
[0168]
At this time, the operator overlaps a part of theplane areas 82a and 83a created on thecross-sectional images 82 and 83 so that the surgical tool can approach the surgical site. The operator arranges the points (82p1, 82p2,... 82pn, 83p1, 83p2,... 83pn) so as not to come into contact with surrounding normal tissues, and createsplane areas 82a, 83a. . Further, the operator arranges the points (81p1, 81p2,... 81pn) along the edge of the opening in thecross-sectional image 81 to create theplane area 81a. The area /path setting unit 108 uses theplane areas 81a, 82a, and 83a to create an operation area up to the operative site and obtain the coordinates of each set point in the same manner as the setting of the operative area. I do.
[0169]
Then, when both the operative region and the operation region up to the operative site are set, the region /path setting unit 108 sets the union of both as the operation region of the surgical tool, and sets each of the settings for specifying this operation region. The coordinates of the point are recorded in a storage area (area / path storage unit 109).
[0170]
In the actual operation, when starting the treatment operation, the treatment tool is set after setting the surgical tool position of theslave manipulator 22 with respect to the patient. At this time, preparations such as setting in a range where the surgical tool is located in the operation area set here may be performed.
[0171]
Next, a description will be given of a point setting process in the case of setting a route (when the “route designation”button 902 is selected on the area / route setting screen as shown in FIG. 18).
[0172]
The path setting is used, for example, when the operation range is too wide in a space area, when performing a treatment along a blood vessel, or when specifying a path to irradiate a laser or the like while avoiding normal tissue. As a specific example, a case will be described in which, after a tumor in the previously set operation area is excised, a residual tumor is found on the boundary of the area, and a laser is applied to this.
[0173]
In this case, the operating area of the surgical tool takes over the previously set area as it is, and further sets a trajectory for laser irradiation within the area. In the area / path setting screen as shown in FIG. 18, when a position is designated by the operator with thecursor 87a, the position is set as a point and the three sectional images are set so that this position becomes a reference point. 81 to 83 and thestereoscopic image 84 are updated. Further, when a position is designated by thecursor 87a, the position is set to the next point, and the threesectional images 81 to 83 and the three-dimensional image 84 are updated so that the position becomes a reference point. A route is formed by the plurality of points set as described above.
[0174]
In the above-described embodiment, theoperation control unit 234 generates a reaction force on theoperation unit 232 in response to the operation restriction signal transmitted from thecontrol device 21 to themaster manipulator 23. Warns the surgeon that it is likely to deviate from However, the control for warning is not limited to such control of theoperation unit 232. For example, by stopping the transmission of the control signal to theslave manipulator 22 irrespective of the operation signal sent from themaster manipulator 23, thecontrol device 21 determines that there is a high possibility that the device position deviates from the area or the route. You may warn the surgeon.
[0175]
In the above-described embodiment, the input direction of the operation unit is decomposed, and components that deviate from a path or a route that exceeds a set boundary are canceled to limit the movable range of the operation. However, the control for limiting the movable range may be performed not only by themaster manipulator 23 but also by theslave manipulator 22. For example, thecontrol device 21 that has received the operation signal input by the operator refers to the signal from the surgery support device 1 and generates the operation of the slave manipulator based on the operation signal when the operation direction of theslave manipulator 22 is generated. Is decomposed into the XYZ directions of the coordinate system, the vertical direction and the horizontal direction with respect to the boundary surface of the operation area, or the longitudinal direction of the set path and two directions orthogonal to the path. Of the decomposed components, of the operation signals of theslave manipulator 22, components that deviate from the component / path that exceed the boundary are canceled. As described above, theslave manipulator 22 may perform the movable range control for warning using the component decomposition of the operation direction.
[0176]
In the above embodiment, the case where the master / slave type robotic surgery system 2 is used as a surgical instrument has been described as an example. However, the present invention can be similarly applied to ordinary surgical instruments other than the master-slave type robot surgical system 2. In this case, as a control for warning, the surgery support apparatus 1 may output a warning sound from a speaker, for example, to warn the operator that the instrument position is likely to deviate from the area or the route.
[0177]
Further, in the above-described embodiment, an example in which an MRI apparatus is used as an apparatus for capturing a tomographic image of an operation site has been described. However, the present invention is not limited to this. Using a CT (Computer Tomography) device or a PET (Position Emission Tomography) device or other medical imaging device (medical image modality), a tomographic image of the operative site is captured, and the tomographic image data is taken into the surgery support device. Good.
[0178]
In addition, the present invention can be similarly applied to a support system that supports not only surgery but also various medical actions (for example, an action of collecting cells or the like from a patient).
[0179]
【The invention's effect】
As described above, according to the present invention, it is possible to confirm whether or not the position of a medical device with respect to a medical practice target portion is within a predetermined range or on a predetermined route for a medical procedure such as an operation.
[Brief description of the drawings]
FIG. 1 is a schematic diagram of a surgery support system to which an embodiment of the present invention has been applied.
FIG. 2 is a schematic configuration diagram of acontrol device 21 and amaster manipulator 23.
FIG. 3 is a flowchart for explaining the operation of thecontrol device 21;
FIG. 4 is a schematic configuration diagram of the surgery support device 1.
FIG. 5 is a flowchart for explaining the operation of the surgery support device 1.
FIG. 6 is a flowchart illustrating an area / route setting process performed by an area / route setting unit;
FIG. 7 is a view showing an example of a new registration area / route setting screen displayed on a display device connected to the surgery support apparatus 1.
8 is a diagram showing an example of an update registration area / route setting screen displayed on a display device connected to the surgery support apparatus 1. FIG.
FIG. 9 is a flowchart illustrating a navigation process performed by a navigation processing unit.
FIG. 10 is a diagram showing an example of a navigation screen displayed on a display device connected to the surgery support device 1.
11 is a diagram for explaining a flow of a process when performing a surgery using the surgery support system shown in FIG. 1;
FIG. 12 is a schematic configuration diagram of acontrol device 21 and amaster manipulator 23 of a master-slave type robotic surgery system used in a first modification of one embodiment of the present invention.
FIG. 13 is a flowchart for explaining navigation processing by thenavigation processing unit 110 of the surgery support procedure 1 used in the first modification of one embodiment of the present invention.
FIG. 14 is a flowchart for explaining the operation of the control device shown in FIG. 12;
FIG. 15 is a schematic diagram showing a second modification of the embodiment of the present invention.
FIG. 16 is a view for explaining the movement of the surgical instrument according to the embodiment of the present invention.
FIG. 17 is a view for explaining the relationship between the operation area of the surgical instrument and the operation force required for operation in one embodiment of the present invention.
FIG. 18 is a diagram illustrating an example of an area / route setting screen displayed on a display device connected to the surgery support apparatus 1.
FIG. 19 is a flowchart for explaining another area setting method in the area / path setting processing shown in S2004 of FIG. 5;
FIG. 20 is a diagram for explaining an operation region specified by three plane regions set via the screen shown in FIG. 18;
FIG. 21 is a diagram showing an example of an area / route setting screen displayed on a display device connected to the surgery support apparatus 1.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Surgery support apparatus, 1a ... Surgery support apparatus, 2 ... Master / slave type robot surgery system, 3 ... MRI apparatus, 4 ... Three-dimensional measuring apparatus, 5 ... Surgical table, 6 ... Fixed frame, 21 ... Control device, 22 ... Slave manipulator, 23 ... Master manipulator, 101 ... MRI device IF unit, 102 ... Three-dimensional measurement device IF unit, 103 ... Master / slave type robotic surgery system IF unit, 104 ... Instruction receiving unit, 105 ... Display control unit, 106 ... Operative part three-dimensional information generation part, 107 operative part three-dimensional information storage part, 108 area / route setting part, 109 area / route storage part, 110 navigation processing part, 110a navigation processing part, 132 slave Control signal IF section on manipulator side, 132 ... Control signal IF section on master manipulator side, 211 ... Master manipulator IF section, 212 ... Surgery support apparatus IF section, 213 ... Slave manipulator IF section, 214 ... Main control section, 214a ... Main control section, 231 ... Control apparatus IF section, 232 ... Operation section, 233 ... Operation signal generation section, 234 ... operation control unit, 2141 ... control signal generation unit, 2142 ... area / path storage unit, 2143 ... operation restriction signal generation unit, 2143a ... operation restriction signal generation unit

Claims (13)

Translated fromJapanese

医療対象部の３次元情報を記憶する医療対象情報記憶手段と、
操作者より前記医療対象情報記憶手段に記憶されている３次元情報により特定される医療対象部に対する領域または経路の設定を受け付ける領域・経路設定手段と、
医療器具の前記医療対象部に対する位置情報を入手する位置情報入手手段と、前記医療対象情報記憶手段に記憶されている３次元情報により特定される前記医療対象部の画像を、前記位置情報入手手段で入手した位置情報により特定される前記医療器具の前記医療対象部に対する位置と共に表示するための画像情報を生成する画像情報生成手段と、
前記位置情報入手手段で入手した位置情報により特定される前記医療器具の前記医療対象部に対する位置と前記領域・経路設定手段で設定された領域の境界または経路との距離を監視し、その距離に応じて警告のための制御を行う警告制御手段と、を有すること
を特徴とする医療行為支援装置。Medical target information storage means for storing three-dimensional information of the medical target unit;
An area / path setting means for receiving a setting of an area or a path for a medical target part specified by three-dimensional information stored in the medical target information storage means from an operator;
A position information obtaining unit that obtains position information of the medical device with respect to the medical target unit, and an image of the medical target unit specified by the three-dimensional information stored in the medical target information storage unit; Image information generating means for generating image information for displaying together with the position of the medical device with respect to the medical target portion specified by the position information obtained in,
The distance between the position of the medical device specified by the position information obtained by the position information obtaining means with respect to the medical target portion and the boundary or path of the area set by the area / path setting means is monitored. And a warning control unit for performing a control for a warning in response to the request.請求項１記載の医療行為支援装置であって、
前記医療器具は、マスタ・スレーブ型ロボット手術システムであり、
前記警告制御手段は、前記警告のための制御として前記ロボット手術システムに、マスタマニピュレータの可動範囲を制限するための通知信号を送信すること
を特徴とする医療行為支援装置。The medical practice support device according to claim 1,
The medical device is a master-slave type robotic surgery system,
The medical action support device, wherein the warning control unit transmits a notification signal for limiting a movable range of a master manipulator to the robot surgery system as control for the warning.請求項１または２記載の医療行為支援装置であって、
前記領域・経路設定手段は、
操作者より、前記医療対象情報記憶手段に記憶されている３次元情報により特定される医療対象部に対する位置の指定を、前記医療対象部に対する領域あるいは経路を定める指定位置の１つとして受け付ける指定受付手段と、
前記指定受付手段で受け付けた指定位置を含む平面で、前記医療対象情報記憶手段に記憶されている３次元情報により特定される医療対象部を、切断することにより得られる断面図を表示するための断面画像情報を生成する断面画像情報生成手段と、
前記医療対象情報記憶手段に記憶されている３次元情報により特定される前記医療対象部の３次元画像を、前記指定受付手段で受け付けた複数の指定位置により特定される領域あるいは経路と共に表示するための３次元画像情報を生成する３次元画像情報生成手段と、を有すること
を特徴とする医療行為支援装置。The medical practice support device according to claim 1 or 2,
The area / route setting means,
A designation reception for accepting a designation of a position with respect to a medical target portion specified by three-dimensional information stored in the medical target information storage means as one of designated positions for defining an area or a route for the medical target portion from an operator. Means,
A cross-sectional view obtained by cutting the medical target portion specified by the three-dimensional information stored in the medical target information storage means on a plane including the specified position received by the specification receiving means. Cross-sectional image information generating means for generating cross-sectional image information,
To display a three-dimensional image of the medical target part specified by the three-dimensional information stored in the medical target information storage means, together with an area or a path specified by a plurality of designated positions received by the specification receiving means. And a three-dimensional image information generating means for generating the three-dimensional image information.請求項１または２記載の医療行為支援装置であって、
前記領域・経路設定手段は、
前記医療対象情報記憶手段に記憶されている３次元情報により特定される医療対象部を、切断することにより得られる複数の断面図を表示するための断面画像情報を生成する断面画像情報生成手段と、
操作者より、前記断面画像情報生成手段によって生成された断面画像情報が表す複数の断面画像各々での領域の指定を受け付ける指定受付手段と、を有し、
前記指定受付手段により前記複数の断面画像各々に対して指定された領域に基づいて、前記医療対象情報記憶手段に記憶されている３次元情報により特定される医療対象部に対する領域を決定すること
を特徴とする医療行為支援装置。The medical practice support device according to claim 1 or 2,
The area / route setting means,
Cross-sectional image information generating means for generating cross-sectional image information for displaying a plurality of cross-sectional views obtained by cutting a medical target portion specified by three-dimensional information stored in the medical target information storage means; ,
From an operator, designation designation receiving means for accepting designation of an area in each of the plurality of cross-sectional images represented by the cross-sectional image information generated by the cross-sectional image information generating means,
Determining a region for a medical target portion specified by the three-dimensional information stored in the medical target information storage unit based on the region specified for each of the plurality of cross-sectional images by the specification receiving unit; Characteristic medical practice support device.請求項４記載の医療行為支援装置であって、
前記医療対象情報記憶手段には、
医療対象部に対する領域が前記医療対象部に対する他の部分から識別可能な形態で、前記医療対象部の３次元情報が記憶されており、
前記領域・経路設定手段は、
前記断面画像に対して指定された領域の輪郭上の点の位置を、当該断面画像における前記医療対象部に対する他の部分から識別可能な領域の輪郭上の点の位置に移動させることで、前記指定された領域を修正すること
を特徴とする医療行為支援装置。The medical practice support device according to claim 4, wherein
In the medical target information storage means,
The three-dimensional information of the medical target unit is stored in a form in which an area for the medical target unit can be identified from other parts of the medical target unit,
The area / route setting means,
By moving the position of a point on the contour of the region specified for the cross-sectional image to the position of a point on the contour of the region that can be identified from another portion of the cross-sectional image with respect to the medical target portion, A medical practice support device characterized by correcting a specified area.請求項１または２記載の医療行為支援装置であって、
前記画像情報生成手段は、
前記位置情報入手手段で入手した位置情報により特定される前記医療器具の前記医療対象部に対する位置を含む平面で、前記医療対象情報記憶手段に記憶されている３次元情報により特定される医療対象部を、切断することにより得られる断面図を表示するための断面画像情報を生成する断面画像情報生成手段と、
前記医療対象情報記憶手段に記憶されている３次元情報により特定される前記医療対象部の３次元画像を、前記位置情報入手手段で入手した位置情報により特定される前記医療器具の前記医療対象部に対する位置および前記領域・経路設定手段で設定された前記医療対象部に対する領域あるいは経路と共に表示するための３次元画像情報を生成する３次元画像情報生成手段と、を有すること
を特徴とする医療行為支援装置。The medical practice support device according to claim 1 or 2,
The image information generating means,
A medical object part specified by three-dimensional information stored in the medical object information storage means, on a plane including a position of the medical instrument specified by the position information obtained by the position information obtaining means with respect to the medical object part; A cross-sectional image information generating means for generating cross-sectional image information for displaying a cross-sectional view obtained by cutting,
The three-dimensional image of the medical target part specified by the three-dimensional information stored in the medical target information storage means, the medical target part of the medical instrument specified by the position information obtained by the position information obtaining means And a three-dimensional image information generating means for generating three-dimensional image information to be displayed together with the position or the area and the path for the medical target portion set by the area / path setting means. Support device.請求項１、２、３、４、５または６記載の医療行為支援装置であって、
前記医療対象部を画像化する医療用画像化装置から前記医療対象部の断層画像情報を取り込む画像情報取込み手段と、
前記画像情報取込み手段で複数取り込んだ断層画像情報に基づいて、前記医療対象部の３次元情報を生成する医療対象情報生成手段と、をさらに有すること
を特徴とする医療行為支援装置。The medical practice support device according to claim 1, 2, 3, 4, 5, or 6,
An image information capturing unit that captures tomographic image information of the medical target unit from a medical imaging device that images the medical target unit,
A medical target information generating unit configured to generate three-dimensional information of the medical target unit based on a plurality of tomographic image information captured by the image information capturing unit.請求項１、２、３、４、５、６または７記載の医療行為支援装置であって、
前記位置情報入力手段は、前記医療器具に取り付けられたマーカをカメラあるいはセンサで検出することで前記医療器具の前記医療対象部に対する位置を計測する３次元運動計測装置から前記位置情報を入手すること
を特徴とする医療行為支援装置。The medical practice support device according to claim 1, 2, 3, 4, 5, 6, or 7,
The position information input unit obtains the position information from a three-dimensional motion measurement device that measures a position of the medical device with respect to the medical target unit by detecting a marker attached to the medical device with a camera or a sensor. A medical practice support device characterized by the following.請求項２記載の医療行為支援装置より送信される前記通知信号を受信する通知信号受信手段と、
前記通知信号受信手段が前記通知信号を受信している場合、マスタマニピュレータの可動範囲を制限する可動制御手段と、を有すること
を特徴とするマスタ・スレーブ型ロボット手術システム。Notification signal receiving means for receiving the notification signal transmitted from the medical practice support apparatus according to claim 2,
A master / slave type robotic surgery system, comprising: a movable control unit configured to limit a movable range of a master manipulator when the notification signal receiving unit receives the notification signal.医療対象部に対する領域または経路の情報を記憶する領域・経路記憶手段と、
医療器具の前記医療対象部に対する位置情報を入手する位置情報入手手段と、
前記位置情報入手手段で入手した位置情報により特定される前記医療器具の前記医療対象部に対する位置と前記領域・経路記憶手段に記憶されている領域の境界または経路との距離を監視し、その距離に応じてマスタマニピュレータの可動範囲を制限する可動制御手段と、を有すること
を特徴とするマスタ・スレーブ型ロボット手術システム。An area / path storage means for storing information on an area or a path for the medical target unit;
Position information obtaining means for obtaining position information for the medical target part of the medical device,
The distance between the position of the medical device specified by the position information obtained by the position information obtaining unit with respect to the medical target unit and the boundary or path of the area stored in the area / path storage unit is monitored. And a movable control means for restricting a movable range of the master manipulator according to the condition.請求項９または１０記載のマスタ・スレーブ型ロボット手術システムであって、
前記可動制御手段は、
前記マスタマニピュレータに入力された操作力から操作がなされたとみなす閾値を変化させて、操作入力に必要な力の最小値を大きくすると共に、入力された操作力から操作がなされたとみなされたときに、前記マスタマニピュレータの動作速度の最大値を小さくして、入力された操作力を各軸方向の成分に分解し、動作範囲を超えてしまう成分のみキャンセルして、前記マスタマニピュレータの可動範囲を制限すること
を特徴とするマスタ・スレーブ型ロボット手術システム。The master / slave type robot surgery system according to claim 9 or 10,
The movable control means,
By changing a threshold value that is considered to have been operated from the operation force input to the master manipulator, and increasing the minimum value of the force required for the operation input, when it is considered that the operation was performed from the input operation force By reducing the maximum value of the operation speed of the master manipulator, the input operating force is decomposed into components in the respective axial directions, and only the components exceeding the operation range are canceled to limit the movable range of the master manipulator. Master / slave type robotic surgery system医療対象部の３次元情報を記憶する医療対象情報記憶手段と、
操作者より前記医療対象情報記憶手段に記憶されている３次元情報により特定される医療対象部に対する領域または経路の設定を受け付ける領域・経路設定手段と、
医療器具の前記医療対象部に対する位置情報を入手する位置情報入手手段と、
前記医療対象情報記憶手段に記憶されている３次元情報により特定される前記医療対象部の画像を、前記位置情報入手手段で入手した位置情報により特定される前記医療器具の前記医療対象部に対する位置と共に表示するための画像情報を生成する画像情報生成手段と、
前記位置情報入手手段で入手した位置情報により特定される前記医療器具の前記医療対象部に対する位置と前記領域・経路設定手段で設定された領域の境界または経路との距離を監視し、その距離に応じてマスタ・スレーブ型ロボット手術システムのマスタマニピュレータの可動範囲を制限する可動制御手段と、を有すること
を特徴とする医療行為支援装置。Medical target information storage means for storing three-dimensional information of the medical target unit;
An area / path setting means for receiving a setting of an area or a path for a medical target part specified by three-dimensional information stored in the medical target information storage means from an operator;
Position information obtaining means for obtaining position information for the medical target part of the medical device,
The image of the medical target portion specified by the three-dimensional information stored in the medical target information storage means is the position of the medical device with respect to the medical target part specified by the position information obtained by the position information obtaining means. Image information generating means for generating image information to be displayed together with,
The distance between the position of the medical device specified by the position information obtained by the position information obtaining means with respect to the medical target portion and the boundary or path of the area set by the area / path setting means is monitored. And a movable control means for restricting a movable range of the master manipulator of the master / slave type robotic surgery system in response to the request.コンピュータによる医療行為支援方法であって、
前記コンピュータは、
ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を介して、操作者より、前記コンピュータに記憶されている３次元情報により特定される医療対象部に対する領域または経路の設定を受け付ける領域・経路設定ステップと、
３次元運動計測装置から医療器具の前記医療対象部に対する位置情報を入手する位置情報入手ステップと、
ＧＵＩを介して、操作者に、前記３次元情報により特定される前記医療対象部の画像を、入手した前記位置情報により特定される前記医療器具の前記医療対象部に対する位置と共に表示する表示ステップと、
入手した前記位置情報により特定される前記医療器具の前記医療対象部に対する位置と前記設定された領域の境界または経路との距離を監視し、その距離に応じて警告のための制御を行う警告制御ステップと、を行なうこと
を特徴とする医療行為支援方法。A computer-aided medical practice support method,
The computer is
An area / path setting step of receiving setting of an area or a path for a medical target portion specified by three-dimensional information stored in the computer from an operator via a GUI (Graphical User Interface);
A position information obtaining step of obtaining position information of the medical device with respect to the medical target unit from the three-dimensional motion measuring device;
Displaying, via a GUI, an operator with an image of the medical target portion specified by the three-dimensional information, together with a position of the medical device specified by the obtained position information with respect to the medical target portion; ,
Warning control for monitoring the distance between the position of the medical device specified by the obtained position information with respect to the medical target portion and the boundary or path of the set area, and performing control for warning according to the distance And a step for performing a medical practice support method.

Images