【０００１】[0001]
【発明の属する技術分野】本発明は、内視鏡で撮影した
画像を表示する画像表示装置に係り、特に、外部から直
接観察することができない内部空間を有する体内などの
内部画像を表示するのに好適な画像表示装置に関するも
のである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image display device for displaying an image captured by an endoscope, and more particularly to an image display device for displaying an internal image of a body having an internal space which cannot be directly observed from the outside. The present invention relates to a suitable image display device.
【０００２】[0002]
【従来の技術】外科手術中における患者への侵襲を少な
くする手法として、内視鏡によって体内画像を撮影しな
がら手術を行う非開胸、非開腹手術が盛んに行われるよ
うになってきている。2. Description of the Related Art Non-thoracotomy and non-abdominal surgery, in which surgery is performed while capturing an in-vivo image with an endoscope, have been actively performed as a technique for reducing invasion to a patient during a surgical operation. .
【０００３】ところが、内視鏡はその視野が狭いため、
全体的な位置関係がわかりにくく、また内視鏡画像だけ
を見ていた場合に、現在どの方向を向いているのか、ど
の部分を見ているのかがわからないといった問題があ
り、この解決手法が強く望まれている。However, endoscopes have a narrow field of view,
There is a problem that the overall positional relationship is difficult to understand, and when viewing only the endoscope image, it is difficult to know which direction is currently facing and which part is being viewed. Is desired.
【０００４】一方、脳外科手術の支援を目的とした画像
支援システムとして、次の文献「 Ramin Shahidi, "App
lications of Virtual Reality in Stereotactic Surge
ry:Volumetric Image Navigation via Surgical Micros
cope", CAR95 Computer Assisted Radiology, pp.1126-
1138(1995)」に紹介されているようなシステムがある。
この文献では、患部を露出させた定位脳手術におけるCo
mputer Aided Surgeryにおいて、術中の顕微鏡画像に術
前のＭＲＩ画像データを利用した３次元画像を合成表示
し、手術支援を行うと共に、ステレオカメラを用いて術
具をトラッキングし、術具と患部との関係も計測し、定
位脳手術を支援することが記述されている。[0004] On the other hand, as an image support system for supporting brain surgery, the following document "Ramin Shahidi," App
lications of Virtual Reality in Stereotactic Surge
ry: Volumetric Image Navigation via Surgical Micros
cope ", CAR95 Computer Assisted Radiology, pp. 1126-
1138 (1995) ".
In this document, Co is used in stereotactic surgery that exposes the affected area.
In the mputer Aided Surgery, a 3D image using preoperative MRI image data is synthesized and displayed on an intraoperative microscope image, and surgery is supported, and a surgical tool is tracked using a stereo camera. It also describes the relationship and supports stereotactic brain surgery.
【０００５】そこで、この文献に記述された画像支援シ
ステムの顕微鏡を内視鏡に置き換えて内視鏡画像をＭＲ
Ｉ画像データと合成して表示する方法が考えられる。Therefore, the microscope of the image support system described in this document is replaced with an endoscope, and the endoscope image is MR
A method of combining and displaying the image data with the I image data is conceivable.
【０００６】[0006]
【発明が解決しようとする課題】しかし、前記文献に記
述された画像支援システムの顕微鏡は、露出した術部を
ターゲットとして位置が固定されたものであるため、顕
微鏡画像がどの部分の位置の画像であるかを認識する必
要はない。これに対し、内視鏡は体内で位置が自由に移
動するため、その位置と視線方法を正確に認識する必要
がある。また、体内の位置と視線方向を認識した後、術
前に撮影した視野の大きなＭＲＩ画像データなどとの位
置合わせを行ったうえで表示する必要がある。従って、
前記の文献に記述された画像支援システムの顕微鏡を内
視鏡に置き換えたのみでは、非開胸、非開腹手術を支援
するための内視鏡画像を表示することはできない。However, since the microscope of the image assisting system described in the above-mentioned document has a fixed position with an exposed surgical site as a target, the microscope image is an image of any position. There is no need to know if it is. On the other hand, since the position of the endoscope moves freely in the body, it is necessary to accurately recognize the position and the gaze method. Further, after recognizing the position in the body and the direction of the line of sight, it is necessary to display the MRI image data taken before surgery, which has a large field of view, after performing positioning. Therefore,
It is not possible to display an endoscopic image for supporting non-thoracotomy and non-laparotomy surgery only by replacing the microscope of the image support system described in the above-mentioned document with an endoscope.
【０００７】また、内視鏡として立体内視鏡を用いた場
合、その両眼の視差によって該立体内視鏡で撮影してい
る体内画像を構成している複数の特徴点の３次元位置を
復元することができるが、各特徴点の３次元位置が判明
したとしても、術具によって撮影中の画像の一部が隠れ
てしまった場合、両眼の画像における特徴点同士の対応
付けが困難になるという問題がある。さらに、術具によ
って隠れた部分の位置が認識できないという問題があ
る。When a stereoscopic endoscope is used as an endoscope, the three-dimensional positions of a plurality of feature points constituting an in-vivo image photographed by the stereoscopic endoscope can be determined by the parallax between the two eyes. Although it can be restored, even if the three-dimensional position of each feature point is found, if a part of the image being captured is hidden by the surgical tool, it is difficult to associate feature points in the images of both eyes. Problem. Furthermore, there is a problem that the position of the part hidden by the surgical tool cannot be recognized.
【０００８】また、内視鏡では体内臓器の表面の画像し
か撮影できないため、臓器表面下で内出血しているよう
な状態を把握できないという問題がある。[0008] In addition, since an endoscope can only capture an image of the surface of an internal organ, there is a problem that it is impossible to grasp a state where internal bleeding occurs under the surface of the organ.
【０００９】さらに、内視鏡画像の３次元位置を復元す
る場合、画像自体の歪によって誤差が生じてしまい、３
次元位置を高精度で復元できないという問題がある。Further, when restoring the three-dimensional position of the endoscope image, an error occurs due to distortion of the image itself, and the
There is a problem that the dimensional position cannot be restored with high accuracy.
【００１０】本発明の第１の目的は、外部から遮蔽され
た対象物の内部空間を視野の狭い内視鏡で撮影した画像
を表示する場合に、内視鏡画像あるいは内視鏡自体の対
象物全体における３次元的な位置関係および視線方向を
容易に把握することができる画像処理システムを提供す
ることにある。A first object of the present invention is to display an image of an internal space of an object shielded from the outside by an endoscope having a narrow field of view, and to display an image of the endoscope itself or an object of the endoscope itself. An object of the present invention is to provide an image processing system capable of easily grasping a three-dimensional positional relationship and a line-of-sight direction in an entire object.
【００１１】また、本発明の第２の目的は、内視鏡画像
の一部が術具などの操作具によって隠れてしまった場合
でも、予め撮影しておいた画像と内視鏡画像との対応付
けを容易に行い、隠れた部分の位置を把握することがで
きる画像処理システムを提供することにある。Further, a second object of the present invention is to provide a method of combining an image taken in advance with an endoscope image even when a part of the endoscope image is hidden by an operating tool such as a surgical tool. An object of the present invention is to provide an image processing system capable of easily performing correspondence and grasping the position of a hidden part.
【００１２】また、本発明の第３の目的は、内視鏡では
撮影できない内側の状態を把握することができる画像処
理装置を提供することにある。A third object of the present invention is to provide an image processing apparatus capable of grasping an inner state which cannot be photographed by an endoscope.
【００１３】さらに、本発明の第４の目的は、内視鏡画
像自体に歪に起因する３次元位置の復元誤差を補正し、
内視鏡画像の３次元位置を高精度で復元することができ
る画像処理装置を提供することにある。Further, a fourth object of the present invention is to correct a three-dimensional position restoration error caused by distortion in an endoscope image itself,
An object of the present invention is to provide an image processing device capable of restoring a three-dimensional position of an endoscope image with high accuracy.
【００１４】[0014]
【課題を解決するための手段】上記第１の目的を達成す
るために、本発明は、内視鏡の対象物内部空間内の３次
元位置および視線方向を計測すると共に、内視鏡による
撮影範囲を含む対象物の３次元断層像を撮影し、この３
次元断層像に基づき内視鏡の視線方向とは異なる方向か
ら見た３次元画像を生成し、その生成された３次元画像
と内視鏡先端部のモデル画像との合成画像と共に、内視
鏡の撮影画像とを同時に表示するように構成したことを
特徴とする。In order to achieve the first object, the present invention measures a three-dimensional position and a line-of-sight direction in an internal space of an object of an endoscope, and performs photographing with the endoscope. A three-dimensional tomographic image of the object including the range is taken, and
Generating a three-dimensional image viewed from a direction different from the line-of-sight direction of the endoscope based on the three-dimensional tomographic image, and a composite image of the generated three-dimensional image and a model image of the tip of the endoscope; Are simultaneously displayed.
【００１５】また、上記第２の目的を達成するために、
本発明は、立体内視鏡を用い、この立体内視鏡の対象物
内部空間内の３次元位置および視線方向を計測すると共
に、立体内視鏡による撮影範囲を含む対象物の３次元断
層像を撮影し、この３次元断層像に基づき立体内視鏡の
視線方向と同じ方向から見た３次元画像を生成し、さら
に、立体内視鏡の両眼の視差に基づき該立体内視鏡で撮
影した対象物の内部空間内の画像の複数の特徴点の３次
元位置を復元し、その復元された立体内視鏡画像の複数
の特徴点と３次元画像生成手段により生成された３次元
画像の複数の特徴点との対応付けを行い、対応付け後の
３次元画像と立体内視鏡の片眼の撮影画像とを合成して
表示するようにし、さらに、術具等の操作具で隠された
特徴点については立体内視鏡の視線方向と同じ方向から
見た３次元画像から求めるように構成したことを特徴と
する。Further, in order to achieve the second object,
The present invention uses a stereoscopic endoscope to measure a three-dimensional position and a line-of-sight direction of the stereoscopic endoscope in an internal space of the object, and to provide a three-dimensional tomographic image of the object including an imaging range of the stereoscopic endoscope. Is generated, and a three-dimensional image viewed from the same direction as the line of sight of the stereoscopic endoscope is generated based on the three-dimensional tomographic image. Further, based on the parallax between the two eyes of the stereoscopic endoscope, the stereoscopic endoscope is used. The three-dimensional positions of a plurality of feature points of the captured image in the internal space of the object are restored, and the plurality of feature points of the restored stereoscopic endoscope image and the three-dimensional image generated by the three-dimensional image generating means are restored. Are associated with a plurality of feature points, and the three-dimensional image after the association and the captured image of one eye of the stereoscopic endoscope are combined and displayed, and further hidden by an operating tool such as a surgical tool. The feature points are 3D images viewed from the same direction as the viewing direction of the stereoscopic endoscope Characterized by being configured to determine.
【００１６】さらに上記第３の目的を達成するために、
本発明は、３次元位置が復元された立体内視鏡画像上の
１点を指定し、その指定された立体内視鏡画像上の位置
を中心とし、該指定された位置を通り、立体内視鏡の視
線方向と垂直な１ないし複数の断面における３次元画像
を断層像撮影手段による３次元断層像から再生成し、そ
の再生成された１ないし複数の断面における重ね合わせ
３次元画像を生成し、表示手段に表示させるように構成
したことを特徴とする。Further, in order to achieve the third object,
The present invention designates one point on a stereoscopic endoscope image in which a three-dimensional position is restored, centers on the designated position on the stereoscopic endoscope image, passes through the designated position, and performs stereoscopic imaging. A three-dimensional image in one or more cross sections perpendicular to the line of sight of the endoscope is regenerated from the three-dimensional tomographic image by the tomographic imaging means, and a superimposed three-dimensional image in the regenerated one or more cross sections is generated. In addition, it is configured to display on the display means.
【００１７】さらに、上記第４の目的を達成するため
に、本発明は、対象物内部空間内に挿入された操作具の
先端の３次元位置を検出すると共に、立体内視鏡の両眼
の視差に基づき、前記操作具の先端の３次元位置を復元
し、これら２つの３次元位置を比較し、その差によって
立体内視鏡の撮影画像の３次元位置を復元するためのパ
ラメータを調整するように構成したことを特徴とする。Further, in order to achieve the fourth object, the present invention detects the three-dimensional position of the tip of the operating tool inserted into the internal space of the object, and detects the three-dimensional position of both eyes of the stereoscopic endoscope. Based on the parallax, the three-dimensional position of the tip of the operating tool is restored, these two three-dimensional positions are compared, and the difference is used to adjust parameters for restoring the three-dimensional position of the image captured by the stereoscopic endoscope. It is characterized by having such a configuration.
【００１８】[0018]
【発明の実施の形態】以下、本発明の実施の形態を図面
に基づいて詳細に説明する。Embodiments of the present invention will be described below in detail with reference to the drawings.
【００１９】図１は、本発明を適用した画像処理装置の
第１の実施形態を示す機能ブロック図である。この第１
の実施形態は、内視鏡を用いた手術を支援することを想
定した構成を示すものであり、以下では、手術を受ける
患者を被術者、内視鏡や術具を扱う人を術者、画像処理
に関する操作を行う人を操作者とする。なお、操作者と
術者は同一人物であっても良く、術者や操作者は一人で
も複数でも良い。また、操作の入力はポインティングデ
バイス、キー入力、音声入力などにより可能であるもの
とする。FIG. 1 is a functional block diagram showing a first embodiment of an image processing apparatus to which the present invention is applied. This first
The embodiment of the present invention shows a configuration assuming that the operation using an endoscope is supported. Hereinafter, a patient who undergoes an operation is referred to as a subject, and a person who handles an endoscope or a surgical tool is referred to as an operator A person who performs an operation related to image processing is an operator. The operator and the operator may be the same person, and the number of operators and operators may be one or more. It is assumed that the input of the operation can be performed by a pointing device, a key input, a voice input, or the like.
【００２０】この第１の実施形態の画像処理装置は、大
別すると、術前に撮影したＭＲ等の３次元画像と内視鏡
によって撮影した体内の画像とを合成して出力する画像
合成装置１１、画像合成に関する各種の指示やパラメー
タを入力する入力装置１２、合成された画像を表示する
表示手段１３、Ｘ線，ＤＲ等の２次元画像を撮影する２
次元計測装置（２Ｄ計測装置）１４、ＣＴ，ＭＲＩ等の
３次元断層を撮影する３次元計測装置（３Ｄ計測装置）
１５、鉗子等の術具の３次元位置および内視鏡の３次元
位置，視線方向を計測する位置計測装置１６、術部の２
次元画像を撮影する内視鏡１７、心電計や血圧計などの
バイタルデータを計測するバイタルデータ計測装置１８
とから構成されている。The image processing apparatus according to the first embodiment is roughly classified into an image synthesizing apparatus for synthesizing and outputting a three-dimensional image such as an MR photographed before operation and an in-vivo image photographed by an endoscope. 11, an input device 12 for inputting various instructions and parameters relating to image synthesis, a display unit 13 for displaying a synthesized image, and capturing a two-dimensional image such as an X-ray and a DR 2.
Dimension measurement device (2D measurement device) 14, three-dimensional measurement device for photographing three-dimensional tomography such as CT and MRI (3D measurement device)
15, a position measuring device 16 for measuring a three-dimensional position of a surgical instrument such as forceps, a three-dimensional position of an endoscope, and a line of sight,
An endoscope 17 for taking a three-dimensional image, a vital data measuring device 18 for measuring vital data such as an electrocardiograph or a sphygmomanometer
It is composed of
【００２１】画像合成装置１１は、内視鏡１７で撮影し
た画像や前記の各種の計測装置で計測したデータを記憶
するハードディスクや光磁気ディスクで構成されたデー
タ記憶装置１１１を備え、さらに座標系／位置合わせ手
段１１２、セグメンテーション手段１１３、３次元画像
生成手段１１４、断面画像生成手段１１５、３次元画像
復元等画像処理手段１１６、３次元コンピュータグラフ
ィック画像生成手段（３ＤＣＧ生成手段）１１７、画像
合成手段１１８を備えている。The image synthesizing device 11 includes a data storage device 111 composed of a hard disk or a magneto-optical disk for storing images photographed by the endoscope 17 and data measured by the various measuring devices described above. / Alignment means 112, segmentation means 113, three-dimensional image generation means 114, cross-section image generation means 115, three-dimensional image restoration and other image processing means 116, three-dimensional computer graphic image generation means (3DCG generation means) 117, image synthesis means 118 is provided.
【００２２】鉗子等の術具の３次元位置および内視鏡の
３次元位置，視線方向を計測する位置計測装置１６は、
図２に示すように、内視鏡１７および術具１９を先端部
に保持するマニピュレータ１６１，１６２に組み込まれ
ている。すなわち、マニピュレータ１６１を代表して説
明すると、このマニピュレータ１６１は水平方向の回転
機構１６３、垂直面内の回転機構１６４，１６５、水平
方向の回転機構１６６、内視鏡１７の円周方向への回転
機構１６７を備え、これらの各回転機構１６３〜１６７
には各回転角θ１〜θ５を検出するポテンショメータな
どの回転角度検出センサが組み込まれ、これらの回転角
度検出センサによって検出した各回転角θ１〜θ５と各
回転機構を結ぶリンクの長さおよび内視鏡の長さに基づ
き内視鏡１７の３次元位置および視線方向を特定するよ
うに構成されている。The position measuring device 16 for measuring the three-dimensional position of a surgical instrument such as forceps, the three-dimensional position of an endoscope, and the line of sight is
As shown in FIG. 2, the endoscope 17 and the surgical instrument 19 are incorporated in manipulators 161 and 162 which hold the distal end. That is, when the manipulator 161 is described as a representative, the manipulator 161 includes a horizontal rotation mechanism 163, a vertical rotation mechanism 164, 165, a horizontal rotation mechanism 166, and a rotation of the endoscope 17 in a circumferential direction. Mechanism 167, and each of these rotation mechanisms 163-167.
Incorporates a rotation angle detection sensor such as a potentiometer for detecting each of the rotation angles θ1 to θ5, and the length and the endoscope of the link connecting each of the rotation angles θ1 to θ5 detected by these rotation angle detection sensors and each of the rotation mechanisms. The three-dimensional position and the line-of-sight direction of the endoscope 17 are specified based on the length of the mirror.
【００２３】術具１９を保持するマニピュレータ１６２
についても同様の構成となっている。A manipulator 162 for holding the surgical tool 19
Has the same configuration.
【００２４】なお、磁気センサや電波を用いて術具の３
次元位置および内視鏡の３次元位置，視線方向を計測す
る構成にすることができる。It is to be noted that a surgical instrument is used by using a magnetic sensor or a radio wave.
A configuration for measuring the three-dimensional position, the three-dimensional position of the endoscope, and the line of sight of the endoscope can be adopted.
【００２５】入力装置１２は、キーボードやマウス、ト
ラックボール、タブレット、音声入力装置などで構成さ
れる。The input device 12 includes a keyboard, a mouse, a trackball, a tablet, a voice input device, and the like.
【００２６】表示手段１１３は、ディスプレイやフィル
ム、ヘッドマウントディスプレイなどの周知の表示装置
で構成される。The display means 113 comprises a well-known display device such as a display, a film, and a head-mounted display.
【００２７】図３は、内視鏡を用いた手術を行う場合の
作業の流れを示すフローチャートであり、まず、術前に
Ｘ線ＣＴやＭＲＩなどの３次元計測装置１５を用い、被
術者の患部を含む領域の３次元断層像を撮影し、データ
記憶装置１１１に記憶させておく（ステップ３０１）。FIG. 3 is a flow chart showing the flow of the operation when performing an operation using an endoscope. First, before the operation, a three-dimensional measuring device 15 such as an X-ray CT or MRI is used. A three-dimensional tomographic image of an area including the affected part is photographed and stored in the data storage device 111 (step 301).
【００２８】次に、記憶された３次元断層像を患部や臓
器ごとにセグメンテーションを行い、さらに特徴点の抽
出も行う（ステップ３０２）。続いて、セグメンテーシ
ョンされた３次元断層像を用いて術前の手術計画を作成
し、その手術計画に従って様々な角度から見た患部と周
辺組織との関係を示す治療計画画像あるいは参照画像を
作成し、データ記憶装置１１１内に記憶させる（ステッ
プ３０３）。このステップ３０３までが術前の作業であ
る。Next, the stored three-dimensional tomographic image is segmented for each affected part or organ, and feature points are extracted (step 302). Subsequently, a preoperative surgical plan is created using the segmented three-dimensional tomographic image, and a treatment plan image or a reference image showing the relationship between the affected area and the surrounding tissue viewed from various angles is created according to the surgical plan. Are stored in the data storage device 111 (step 303). Up to this step 303 is the preoperative operation.
【００２９】次に、以上のような準備作業が終了したな
らば、樹術を開始することになるが、手術開始に当っ
て、術前に撮影した３次元断層像と術中に撮影する内視
鏡画像（あるいは３次元断層像）との位置合わせを行う
ためのキャリブレーションを行う（ステップ３０４）。
このキャリブレーション実施後において、内視鏡１７に
よって患部に挿入した内視鏡１７によって術部の画像を
撮影し、その内視鏡画像と術前に作成しておいた治療計
画画像あるいは参照画像とを合成し、内視鏡画像が患部
のどの位置の画像であるかが分かるように表示手段１３
に表示し、非開腹手術、非開胸手術を支援する。Next, when the above-described preparation work is completed, the tree operation is started. At the start of the operation, a three-dimensional tomographic image taken before the operation and an endoscopic image taken during the operation are provided. Calibration for aligning with a mirror image (or a three-dimensional tomographic image) is performed (step 304).
After performing the calibration, an image of the operative site is photographed by the endoscope 17 inserted into the affected part by the endoscope 17, and the endoscopic image is combined with the treatment plan image or the reference image created before the operation. Are displayed on the display unit 13 so that the position of the endoscope image in the affected part can be understood.
Display and assist non-laparotomy and non-thoracotomy surgery.
【００３０】図４は、図１の実施形態における各種の計
測データと画像処理の関係を示す機能説明図であり、４
０１は術前に撮影しておいたＸ線やＤＲ等の術前２次元
画像データ、４０２は術前に撮影しておいたＸ線ＣＴや
ＭＲＩ等の術前３次元画像データ、４０３は術中に撮影
したＸ線ＣＴやＭＲＩ、立体内視鏡等の術中３次元画像
データ、４０４は術中に撮影した内視鏡の術中２次元画
像データ、４０５は内視鏡１７の３次元位置および視線
方向ならびに術具１９の３次元位置を示す位置データ、
４０６は心電計等から出力されるバイタルデータ、４０
７はセグメンテーションされた３次元画像データ、４０
８は３次元位置が復元された内視鏡の画像データ、４０
９は術前に作成しておいた術前計画画像データである。FIG. 4 is a functional explanatory view showing the relationship between various measurement data and image processing in the embodiment of FIG.
Reference numeral 01 denotes preoperative two-dimensional image data such as X-ray and DR taken before operation, reference numeral 402 denotes preoperative three-dimensional image data such as X-ray CT and MRI taken before operation, and reference numeral 403 denotes intraoperative. Intraoperative three-dimensional image data of an X-ray CT, MRI, stereoscopic endoscope, etc., taken during the operation, 404 represents intraoperative two-dimensional image data of the endoscope taken during the operation, and 405 represents the three-dimensional position and gaze direction of the endoscope 17 And position data indicating the three-dimensional position of the surgical tool 19,
Reference numeral 406 denotes vital data output from an electrocardiograph or the like;
7 is a segmented three-dimensional image data, 40
Reference numeral 8 denotes endoscope image data whose three-dimensional position has been restored,
Reference numeral 9 denotes preoperative planning image data created before the operation.
【００３１】なお、これらのデータ４０１〜４０９の全
てが必ずしも必要というわけではなく、少なくとも、Ｘ
線ＣＴなどの断層像撮影装置による術前３次元画像デー
タ４０２、内視鏡画像の術中２次元画像データ４０４、
術具等の位置データ４０５が必要である。これらのデー
タに基づき画像合成装置１１の各部が以下で説明するよ
うな処理を行う。なお、画像合成装置１１の各部は、そ
れぞれに必要なパラメータについて、ユーザから入力を
得る手段が用意されており、ユーザの入力が無い場合に
は、あらかじめ設定されたパラメータにて処理を行う。It is to be noted that not all of these data 401 to 409 are necessarily required.
Preoperative three-dimensional image data 402 by a tomographic imaging apparatus such as a line CT, intraoperative two-dimensional image data 404 of an endoscopic image,
Position data 405 of a surgical tool or the like is required. Based on these data, each unit of the image synthesizing device 11 performs processing as described below. Each unit of the image synthesizing apparatus 11 is provided with means for obtaining an input from the user for parameters necessary for the respective units. When there is no input from the user, processing is performed using preset parameters.
【００３２】表示手段１３８には、手術のターゲットと
なる領域４１１、そのターゲット４１１周辺の臓器４１
２、グラフィックスで描画された内視鏡１７、同じくグ
ラフィックスで描画された鉗子などの術具１９などが表
示される。The display means 138 displays an area 411 to be a target of an operation and organs 41 around the target 411.
2. An endoscope 17 drawn with graphics, a surgical tool 19 such as forceps also drawn with graphics, and the like are displayed.
【００３３】まず、各種の術前データと術中に得られる
データの座標系や位置合わせを座標系／位置合わせ手段
１１２により行う。ただし、座標系や位置が一致してい
る場合には不要である。First, the coordinate system / positioning means 112 performs the coordinate system and positioning of various preoperative data and data obtained during the operation. However, it is unnecessary when the coordinate system and the position match.
【００３４】ここでは、座標系は直交座標系に合わせる
ものとし、手術の前に、Ｘ線やＤＲ，ＭＲＩ，ＣＴなど
により、手術する部位を含む領域の術前２次元画像デー
タ４０１や術前３次元画像データ４０２を計測してお
き、術中に得られるデータとの位置は一致しているする
ものとする。Here, the coordinate system is set to the rectangular coordinate system. Before the operation, the preoperative two-dimensional image data 401 or the preoperative image of the region including the part to be operated is obtained by X-ray, DR, MRI, CT or the like. It is assumed that the three-dimensional image data 402 is measured, and the position of the three-dimensional image data 402 coincides with the data obtained during the operation.
【００３５】次に、術前３次元画像データ４０２から、
手術中に参照する際に必要となる臓器などをしきい値に
基づく方法や領域拡張に基づく方法などによるセグメン
テーションをセグメンテーション手段１１３により行
い、セグメンテーションされた３次元画像データ４０７
を生成する。なお、この処理は行わなくてもよく、また
通常は術前に行うが、術中にセグメンテーションをし直
してもよい。Next, from the preoperative three-dimensional image data 402,
The segmentation unit 113 performs segmentation of an organ or the like necessary for reference during the operation by a method based on a threshold value or a method based on area expansion, and the segmented three-dimensional image data 407.
Generate This processing need not be performed, and is usually performed before the operation, but the segmentation may be performed again during the operation.
【００３６】次に、術前３次元画像データ４０２または
セグメンテーションされた３次元画像データ４０７よ
り、ボリュームレンダリングなどの可視化手法により、
３次元画像生成手段１１４で３次元画像を生成し、さら
に必要に応じて、術前計画画像データ４０９を作成す
る。Next, from the preoperative three-dimensional image data 402 or the segmented three-dimensional image data 407, a visualization technique such as volume rendering is used.
A three-dimensional image is generated by the three-dimensional image generating means 114, and, if necessary, preoperative planning image data 409 is generated.
【００３７】手術中には、内視鏡１７や術具１９などの
位置データ４０５がリアルタイムで入力される。、３次
元画像生成手段１１４は術前３次元画像データ４０２、
術中３次元画像データ４０３またはセグメンテーション
された３次元画像データ４０７から、被術者の臓器など
の３次元画像を生成し、３ＤＣＧ生成手段２６は内視鏡
１７，術具１９の位置データ４０５から、内視鏡１７，
術具１９の３次元位置および視線方向（あるいは姿勢）
に応じた３次元のモデル画像をグラフィックス処理で生
成する。During the operation, position data 405 of the endoscope 17 and the surgical instrument 19 are input in real time. The three-dimensional image generating means 114 includes preoperative three-dimensional image data 402;
From the intraoperative three-dimensional image data 403 or the segmented three-dimensional image data 407, a three-dimensional image of the organ of the subject is generated, and the 3DCG generating unit 26 obtains the position data 405 of the endoscope 17 and the surgical tool 19 from the position data 405. Endoscope 17,
Three-dimensional position and gaze direction (or posture) of the surgical tool 19
Is generated by graphics processing.
【００３８】このとき、３次元のモデル画像を生成する
方向は、内視鏡１７の視線方向と垂直方向をデフォルト
とし、内視鏡１７の視線方向とは異なるようにする。内
視鏡１７の視線方向と垂直方向とは、図５に示すよう
に、内視鏡１７の視線方向５０１の上下方向５０２，５
０３および左右方向５０４，５０５のいずれかに相当す
る。これは、内視鏡１７が何処を向いているかを上下方
向または左右方向の画像によって把握するようにするた
めであり、例えば、内視鏡１７が箱体５０６の内側を向
いている場合には、側面５０７から他の側面５０８の方
向を見た画像が生成される。At this time, the direction in which the three-dimensional model image is generated is defaulted to the line of sight of the endoscope 17 and the vertical direction, and is made different from the line of sight of the endoscope 17. As shown in FIG. 5, the line-of-sight direction and the vertical direction of the endoscope 17 are the vertical directions 502 and 5 of the line-of-sight direction 501 of the endoscope 17.
03 and any of the left and right directions 504 and 505. This is in order to grasp where the endoscope 17 is facing by an image in the vertical direction or the horizontal direction. For example, when the endoscope 17 is facing the inside of the box 506, , An image in which the direction from the side surface 507 to the other side surface 508 is viewed.
【００３９】これにより、内視鏡１７自体の向きと患部
付近での３次元位置が分かり、内視鏡で撮影した画像と
内視鏡１７の位置関係、さらには術具の位置関係を容易
に把握できるようにする。その後、ユーザの指示があれ
ば、３次元画像生成方向を変更し、指示された方向から
見た臓器の画像および内視鏡１７，術具１９の３次元モ
デル画像を生成する。Thus, the orientation of the endoscope 17 itself and the three-dimensional position near the affected part can be known, and the positional relationship between the image taken by the endoscope and the endoscope 17 and the positional relationship between the surgical tools can be easily determined. Be able to grasp. After that, if there is a user's instruction, the three-dimensional image generation direction is changed, and an image of the organ viewed from the specified direction and a three-dimensional model image of the endoscope 17 and the surgical tool 19 are generated.
【００４０】このようにして３次元画像生成手段１１４
で生成された画像は画像合成手段１１８によって合成さ
れ、その３次元合成画像４１０は表示手段１３に表示さ
れる。Thus, the three-dimensional image generating means 114
Are synthesized by the image synthesizing means 118, and the three-dimensional synthesized image 410 is displayed on the display means 13.
【００４１】表示手段１３には、術中２次元画像データ
４０４のうちの内視鏡画像４１３も同時に表示される。The display means 13 also displays an endoscopic image 413 of the intraoperative two-dimensional image data 404 at the same time.
【００４２】以上の処理により、図４の表示手段１３に
表示された画像の例のように、術者は、内視鏡１７や術
具１９の３次元位置と、手術のターゲットとなる領域４
１１やその周辺の臓器４１２などの位置関係を容易に把
握することが可能となる。この表示方向は任意に変更可
能であり、３次元的に認識することができる。これによ
り、内視鏡１７の視野だけではわかりにくかった手術が
容易になる。By the above processing, as in the example of the image displayed on the display means 13 in FIG. 4, the operator can determine the three-dimensional positions of the endoscope 17 and the surgical instrument 19 and the area 4 to be the target of the operation.
It is possible to easily grasp the positional relationship of the organ 11 and its surrounding organs 412 and the like. This display direction can be arbitrarily changed and can be recognized three-dimensionally. This facilitates an operation that is difficult to understand only with the field of view of the endoscope 17.
【００４３】図６および図７に上記の方法を用いて、術
前計画画像や２次元の内視鏡画像、バイタルデータなど
の複数のデータを合成表示した例を示す。FIGS. 6 and 7 show examples in which a plurality of data such as a preoperative planning image, a two-dimensional endoscope image, and vital data are synthesized and displayed by using the above method.
【００４４】図６では、表示手段１３の画面は１つであ
り、３次元合成画像４１０中に術具１９や内視鏡１７な
どの位置関係を３次元的に合成した画像が表示され、２
次元の内視鏡画像４１３と超音波画像４１４、バイタル
サイン４１４は現在の状況をリアルタイムで表示してい
る。４１６は患部の術前計画画像、４１７は患部を含め
た全体の３次元画像、４１８〜４２０は患部付近の複数
の断面像を示し、術前計画の参照を行っている。４２１
は内視鏡１７の３次元位置および視線方向を示す数値情
報、４２２は術具である鉗子の３次元位置および視線方
向を示す数値情報である。In FIG. 6, the screen of the display means 13 is one, and an image obtained by three-dimensionally synthesizing the positional relationship of the surgical tool 19 and the endoscope 17 is displayed in the three-dimensional synthesized image 410.
The three-dimensional endoscope image 413, the ultrasonic image 414, and the vital sign 414 display the current situation in real time. Reference numeral 416 denotes a preoperative plan image of the diseased part, 417 denotes a whole three-dimensional image including the diseased part, and 418 to 420 denote a plurality of cross-sectional images near the diseased part, and refer to a preoperative plan. 421
Is numerical information indicating the three-dimensional position and the line-of-sight direction of the endoscope 17, and 422 is numerical information indicating the three-dimensional position and the line-of-sight direction of the forceps as the surgical instrument.
【００４５】これらの表示画像の配置はユーザが任意に
指定できるものとし、ウィンドウ数、画面数（モニタ
数）も可変とする。すなわち、図７（ａ）に示すよう
に、表示画面を複数用意し、各画面に３次元合成画像４
１０、内視鏡画像４１３、超音波画像４１４等を１つず
つ表示してもよい。このとき、術中に計測される超音波
画像４１４や内視鏡画像４１３と、術前データを用いて
生成される３次元合成画像４１０は別の画面に表示する
ことにより、リアルタイム情報と、それ以外の情報を明
瞭に区別して把握することが可能になり、術中の混乱を
避けることが可能である。The arrangement of these display images can be arbitrarily specified by the user, and the number of windows and the number of screens (the number of monitors) are also variable. That is, as shown in FIG. 7A, a plurality of display screens are prepared, and a three-dimensional composite image 4 is displayed on each screen.
10, the endoscope image 413, the ultrasonic image 414, and the like may be displayed one by one. At this time, the ultrasonic image 414 and the endoscopic image 413 measured during the operation and the three-dimensional composite image 410 generated using the preoperative data are displayed on separate screens, so that real-time information and other Information can be clearly distinguished and grasped, and confusion during the operation can be avoided.
【００４６】また、図７（ｂ）に示すように、複数の表
示画面によって１つのウィンドウを構成し、３次元合成
画像４１０を大画面で表示してもよい。さらに、図７
（ｃ）に示すように、重ね合わせが可能な画像、例え
ば、後述する３次元位置の復元された立体内視鏡画像４
２３と視点視線の同じＣＴ断面画像から再構成した３次
元術前計画画像４１６とＭＲＩ画像から再構成した血管
の３次元画像４２４などを複数選択した場合には、半透
明に各画像を重ね合わせ、その重ね合わせ画像４２５を
作成し、表示してもよい。このとき、半透明の度合い
は、任意に変更可能とする。As shown in FIG. 7B, one window may be formed by a plurality of display screens, and the three-dimensional composite image 410 may be displayed on a large screen. Further, FIG.
As shown in (c), a superimposable image, for example, a stereoscopic endoscope image 4 in which a three-dimensional position described later is restored.
When a plurality of three-dimensional preoperative planning images 416 reconstructed from CT cross-sectional images having the same viewpoint and viewpoint are selected, and a plurality of three-dimensional images 424 of blood vessels reconstructed from MRI images are selected, the images are semi-transparently superimposed. , The superimposed image 425 may be created and displayed. At this time, the degree of translucency can be arbitrarily changed.
【００４７】次に、両眼に視差を持つ立体内視鏡を用い
て術部の画像を撮影し、術部画像を構成する複数の特徴
点の３次元位置を３Ｄ復元等画像処理手段１１６で復元
する手法について説明する。Next, an image of the operative site is photographed using a stereoscopic endoscope having parallax between both eyes, and the three-dimensional positions of a plurality of feature points constituting the operative site image are image-processed by the image processing means 116 such as 3D reconstruction. A method of restoring will be described.
【００４８】図８は、立体内視鏡によって撮影したター
ゲットとなる領域１１の画像の例を示す図であり、８０
１が左目用、８０２が右目用の内視鏡画像であり、１９
は術具である。FIG. 8 is a diagram showing an example of an image of the target area 11 taken by a stereoscopic endoscope.
1 is an endoscope image for the left eye, 802 is an endoscope image for the right eye, and 19
Is a surgical tool.
【００４９】左右の画像の対応点が分かれば、立体内視
鏡の光学的特性から奥行方向の情報を生成することが可
能である。これは、谷内田編「ＭＡＲＵＺＥＮ Ａｄｃ
ａｎｃｅｄ Ｔｅｃｈｎｏｌｏｇｙ ；コンピュータビ
ジョン；ｐｐ１１８−１２４」、および出口著「コンピ
ュータビジョンのための幾何学２ ステレオの仕掛けを
解き明かす；情報処理、ｖｏｌ３７，ｐｐ６６２」で説
明されている手法を用いることにより生成することが可
能である。If the corresponding points of the left and right images are known, it is possible to generate information in the depth direction from the optical characteristics of the stereoscopic endoscope. This is the version of Yauchida "Maruzen Adc
anced Technology; Computer Vision; pp 118-124, and Exit, "Unraveling the Geometry for Computer Vision 2 Stereo Enhancements; Information Processing, vol 37, pp 662". It is possible.
【００５０】しかし、術具１９が存在するため、左右の
画像間で対応点が取れない場合があったり、誤った対応
点をとる場合がある。However, due to the presence of the surgical tool 19, a corresponding point may not be obtained between the left and right images, or an incorrect corresponding point may be obtained.
【００５１】そこで、本発明では、第１の手法として、
まず、左右の立体内視鏡画像から術具１９の画像を抽出
する。術具１９の画像は周辺領域の組織と色が違うこと
から比較的容易に識別することが可能である。Therefore, in the present invention, as a first technique,
First, an image of the surgical tool 19 is extracted from the left and right stereoscopic endoscope images. The image of the surgical tool 19 can be identified relatively easily because the color of the tissue differs from that of the surrounding area.
【００５２】次に、術具１９の画像を除いた領域から、
特徴点として、例えばエッジの交点を用いるとして、a
〜g、a'〜d'、f'〜h'を特徴点として抽出する。このと
き、術具の境界はエッジとしないことにする。特徴点と
しては、高輝度点や低輝度点などを用いてもよい。Next, from the area excluding the image of the surgical instrument 19,
As a feature point, for example, using an intersection of edges, a
~ G, a '~ d', f '~ h' are extracted as feature points. At this time, the boundary of the surgical tool is not an edge. As the feature point, a high luminance point, a low luminance point, or the like may be used.
【００５３】すると、左右の画像においてa〜dとa'〜
d'、及びf,gとf',g'が対応するが、e,h'に対応する点は
ない。これは術具１９の画像により、対応する点が隠さ
れてしまっているためである。立体内視鏡の光学的及び
幾何学的特性が既知であれば、１つの画像上のある点の
もう一方の画像上での点の位置は、ある直線上にあるこ
とが分かるため、そのライン上を探すことで、対応点を
見つけることが可能である。図８の例では、特徴点e及
びh'に対応する点は存在しないため、この点は無視する
ことにする。もし、同一ライン上に特徴点が複数ある場
合には、特徴点の属性（例えばエッジの方向など）から
対応点を決定する。Then, in the left and right images, a to d and a 'to
d 'and f, g correspond to f', g ', but there is no point corresponding to e, h'. This is because the corresponding point is hidden by the image of the surgical tool 19. If the optical and geometric characteristics of the stereoscopic endoscope are known, the position of a point on one image on another image is known to be on a straight line, so that the line By searching above, it is possible to find the corresponding point. In the example of FIG. 8, since there is no point corresponding to the feature points e and h ′, this point is ignored. If there are a plurality of feature points on the same line, corresponding points are determined from the attributes of the feature points (eg, edge directions).
【００５４】以上の手法により、術野を手前で遮る術具
１９などによる、対応点の誤りを回避することが可能と
なり、ターゲットとなる領域１１の画像を構成する複数
の特徴点の３次元位置を容易に復元することができる。According to the above-described method, it is possible to avoid an error in the corresponding point due to the surgical tool 19 or the like that blocks the operation field in the near side, and the three-dimensional positions of a plurality of feature points constituting the image of the target area 11 can be avoided. Can be easily restored.
【００５５】次に、立体内視鏡の両眼の視差に基づき、
術具を取り除いた画像を復元し、術具によって隠された
部分の特徴点を復元する手法について図９を用いて説明
する。Next, based on the parallax of both eyes of the stereoscopic endoscope,
A method of restoring an image from which an operation tool is removed and restoring feature points of a portion hidden by the operation tool will be described with reference to FIG.
【００５６】ここでは、立体内視鏡の位置姿勢は固定状
態と考える。このとき、図９（ａ）のように、最初は術
具がなく、ターゲットとなる領域１１の臓器が表示され
ていて、徐々に同図（ｂ），（ｃ）のように術具１９が
立体内視鏡の視野に入ってくるような場合を考える。こ
のような場合、臓器のみが表示されている図９（ａ）の
状態では、すべての特徴点ａ〜ｈに関して３次元位置を
復元可能であるが、術具１９が視野に入ってくると、そ
の術具１９に遮られた部分、すなわち図９（ｂ）のe,
g、同図（ｃ）のc, e, hに関しては３次元位置は復元不
可能になる。Here, it is assumed that the position and orientation of the stereoscopic endoscope are fixed. At this time, as shown in FIG. 9A, there is no surgical tool at first, and the organ in the target area 11 is displayed, and the surgical tool 19 is gradually moved as shown in FIGS. 9B and 9C. Consider a case in which it comes into the field of view of a stereoscopic endoscope. In such a case, in the state of FIG. 9A in which only the organ is displayed, the three-dimensional position can be restored with respect to all the feature points a to h. The part blocked by the surgical tool 19, ie, e,
g, the three-dimensional position cannot be restored for c, e, and h in FIG.
【００５７】そこで、立体内視鏡の位置姿勢が変わらな
い場合には、術具１９が視野内に存在しない状態で（こ
れは幾何学的な条件から求められる）、立体内視鏡画像
中の特徴点に関して３次元位置を復元し、術具１９が視
野に入ってからは、臓器の各特徴点３次元位置は、最初
に求めた復元結果を利用することにする。Therefore, when the position and orientation of the stereoscopic endoscope do not change, the surgical instrument 19 is not present in the visual field (this is obtained from geometrical conditions), and the stereoscopic endoscope image is displayed. The three-dimensional position of the feature point is restored, and after the surgical tool 19 enters the field of view, the three-dimensional position of each feature point of the organ uses the restoration result obtained first.
【００５８】以上のような方法により、術具によって臓
器の画像が隠された場合であっても、立体内視鏡の両眼
の視差により、臓器の各特徴点の３次元位置が復元で
き、結果的に臓器の形状を把握することができる。According to the above-described method, even when the image of the organ is hidden by the surgical tool, the three-dimensional position of each feature point of the organ can be restored by the parallax between both eyes of the stereoscopic endoscope. As a result, the shape of the organ can be grasped.
【００５９】臓器の各特徴点の３次元位置が復元できた
ならば、この３次元位置情報と、術具１９の位置情報か
ら、術具１９が重要な臓器に接触しそうになった場合に
警告を提示するなどのモニタリングが可能となり、立体
内視鏡だけでは奥行き関係が分かりにくい場合にも安全
な手術が可能となる。このとき、術具１９の３次元位置
は、位置計測装置１６センサ或いは立体内視鏡に映った
術具１９の位置から得ることができる。If the three-dimensional position of each feature point of the organ can be restored, the three-dimensional position information and the position information of the surgical tool 19 warn when the surgical tool 19 is about to come into contact with an important organ. Can be monitored, and a safe operation can be performed even when the depth relationship is difficult to understand using only a stereoscopic endoscope. At this time, the three-dimensional position of the surgical tool 19 can be obtained from the position measuring device 16 sensor or the position of the surgical tool 19 reflected on the stereoscopic endoscope.
【００６０】上記のようにして、立体内視鏡の左右の画
像において対応関係にある各特徴点の３次元位置の復元
が可能となるが、画像中のすべての特徴点に対応して３
次元位置を復元することは困難で、特徴がなく、対応の
付かなかった点の３次元位置は復元できない。As described above, it is possible to restore the three-dimensional positions of the corresponding feature points in the left and right images of the stereoscopic endoscope.
It is difficult to recover the three-dimensional position, and the three-dimensional position of a point that has no features and has no correspondence cannot be recovered.
【００６１】そこで、次に、図１０を用いて、特徴点以
外の点の特徴点３次元位置の復元方法について説明す
る。図１０において、１０１は術前にセグメンテーショ
ンした３次元画像データ４０７から生成した臓器の３次
元モデルである。Next, a method of restoring the three-dimensional position of a feature point other than the feature point will be described with reference to FIG. In FIG. 10, reference numeral 101 denotes a three-dimensional model of an organ generated from three-dimensional image data 407 segmented before surgery.
【００６２】このとき、術前データの座標系と術中の立
体内視鏡などの座標系の統合は済んでいるものとする。At this time, it is assumed that the coordinate system of the preoperative data has been integrated with the coordinate system of the intraoperative stereoscopic endoscope and the like.
【００６３】まず、前述の手法により３次元位置を復元
した特徴点Ａ，Ｂ，Ｃと臓器の術前に作成した３次元モ
デル１０１上の特徴点Ａ’，Ｂ’，Ｃ’との対応をと
り、各特徴点が立体内視鏡画像と対応するように変形
し、位置合わせを行う。このとき、立体内視鏡の位置、
姿勢は位置計測装置１６の出力情報によって認識可能な
ため、３次元モデル１０１と立体内視鏡画像の対応は容
易に付くが、自動的に対応がとれない場合には、操作者
が対応点を指示しても良い。この位置合わせのための情
報を用いると、立体内視鏡画像中で、３次元位置が復元
されていない特徴点Ｘは、３次元モデル１０１上の対応
する点Ｘ’の位置で近似できることになる。First, the correspondence between the feature points A, B, and C whose three-dimensional positions have been restored by the above-described method and the feature points A ′, B ′, and C ′ on the three-dimensional model 101 created before the operation of the organ will be described. Then, each feature point is deformed so as to correspond to the stereoscopic endoscope image, and alignment is performed. At this time, the position of the stereoscopic endoscope,
Since the posture can be recognized by the output information of the position measuring device 16, the correspondence between the three-dimensional model 101 and the stereoscopic endoscope image is easily attached. However, when the correspondence cannot be automatically established, the operator sets the corresponding point. You may instruct. By using the information for this alignment, the feature point X in which the three-dimensional position is not restored in the stereoscopic endoscope image can be approximated by the position of the corresponding point X ′ on the three-dimensional model 101. .
【００６４】この手法により、数点の特徴点同士の対応
をとることにより、立体内視鏡画像中に映ったモデル化
された臓器領域に関して、３次元位置を得ることができ
る。すなわち、立体内視鏡画像上の特徴点以外の点にお
ける３次元位置についても求めることができる。According to this method, a three-dimensional position can be obtained with respect to a modeled organ region shown in a stereoscopic endoscope image by associating several feature points. That is, the three-dimensional position at a point other than the feature point on the stereoscopic endoscope image can also be obtained.
【００６５】以上のような方法で３次元位置の復元され
た立体内視鏡画像と、術前に計測した３次元画像データ
４０７から生成した３次元画像との対応をとり、位置を
合わせ、しかも術前の３次元画像データ４０７から内部
の腫瘍情報などをセグメンテーションしておいて図７
（ｃ）に示したように合成表示することにより、表面情
報しか見ることができない立体内視鏡画像中に、腫瘍情
報など内部情報を重ねて表示することが可能となり、術
者へ提示できる情報量を増やすことができる。The three-dimensional endoscope image whose three-dimensional position is restored by the above-described method and the three-dimensional image generated from the three-dimensional image data 407 measured before the operation are corresponded, and the positions are matched. FIG. 7 shows a segmentation of the internal tumor information and the like from the preoperative three-dimensional image data 407.
By combining and displaying as shown in (c), internal information such as tumor information can be superimposed and displayed in a stereoscopic endoscope image in which only surface information can be viewed, and information that can be presented to the operator The amount can be increased.
【００６６】また、立体内視鏡の視野よりも大きな領域
の３次元画像に立体内視鏡画像を重ね合わせることによ
り、仮想的に広い視野で手術ができることになり、術者
の負担が軽減される。Further, by superimposing a stereoscopic endoscope image on a three-dimensional image of an area larger than the visual field of the stereoscopic endoscope, it is possible to perform surgery in a virtually wide visual field, thereby reducing the burden on the operator. You.
【００６７】次に、立体内視鏡画像上の特徴点の３次元
位置を利用した断面画像を再構成する手法について図１
１を用いて説明する。Next, a method for reconstructing a cross-sectional image using a three-dimensional position of a feature point on a stereoscopic endoscope image will be described with reference to FIG.
1 will be described.
【００６８】まず、図１１（ａ）に示すような画像（こ
こでは、立体内視鏡の片目画像を代表して示す）が表示
されている状態であるとする。この状態で、操作者は断
面画像を見たい位置の中心１０２を内視鏡画像上で指定
する。その指定はマウスやタブレット、タッチパネルな
どのポインティングデバイスを用いる。First, it is assumed that an image as shown in FIG. 11A (here, a one-eye image of a stereoscopic endoscope is shown) is displayed. In this state, the operator specifies the center 102 of the position where the user wants to view the cross-sectional image on the endoscope image. For the designation, a pointing device such as a mouse, a tablet, and a touch panel is used.
【００６９】指定された点の３次元位置は前述した手法
によって求まる。そこで、その指定した位置１０２を通
り、立体内視鏡の視線方向と垂直な平面の画像（視線方
向と同じ方向を見た時の画像）１０３を、術前に計測し
た術前３次元画像データ４０２または術中に撮影した術
中３次元画像データ４０３から再構成する。The three-dimensional position of the designated point is obtained by the above-described method. Therefore, an image 103 of a plane passing through the designated position 102 and perpendicular to the line-of-sight direction of the stereoscopic endoscope (image when the same direction as the line-of-sight direction is viewed) 103 is converted into preoperative three-dimensional image data measured before the operation. Reconstruction is performed from the intraoperative three-dimensional image data 403 taken during operation 402 or.
【００７０】この場合、断面画像を生成する大きさや形
状は操作者が入力できるものとするが、デフォルトでは
例えば図１１（ｂ）に示すように指定点１０２を中心と
する画素数Ｎ×Ｎの正方形であるとし、指定した位置１
０２を断面画像上に重ねて表示する。In this case, it is assumed that the size and shape of the cross-sectional image can be input by the operator. By default, for example, as shown in FIG. At the specified position 1
02 is superimposed and displayed on the cross-sectional image.
【００７１】断面の表示は、図１１（ｂ）に示すように
断面画像１０３のみで表示する他に、図１１（ｃ）に示
すように立体内視鏡画像を重ね合わせた画像１０４とし
てもよい。これにより、全体における立体内視鏡画像の
位置の把握や、断面画像による診断的情報などを得るこ
とができる。The cross section is displayed by using only the cross section image 103 as shown in FIG. 11B, or may be an image 104 obtained by superimposing a stereoscopic endoscope image as shown in FIG. 11C. . Thereby, it is possible to grasp the position of the stereoscopic endoscope image in the whole and obtain diagnostic information based on the cross-sectional image.
【００７２】さらに、図１１（ｄ）に示すようにパラメ
ータにより断面位置を視線方向に沿って平行移動した画
像１０５を表示することにより、立体内視鏡画像では見
ることができない表面の下の情報を得ることができる。
このとき、指定した位置１０２を通る視線方向と断面位
置との交点１０６を表示することにより、指定位置１０
２との位置関係を分かりやすく提示することが可能とな
る。Further, as shown in FIG. 11D, by displaying the image 105 in which the cross-sectional position is translated along the line of sight according to the parameters as shown in FIG. 11D, information below the surface that cannot be seen in the stereoscopic endoscope image is displayed. Can be obtained.
At this time, by displaying the intersection 106 between the line-of-sight direction passing through the designated position 102 and the cross-sectional position, the designated position 10
2 can be presented in an easy-to-understand manner.
【００７３】次に、図１１で説明した断面画像を奥行方
向に複数加算した画像を表示する手法について図１２を
用いて説明する。Next, a method of displaying an image obtained by adding a plurality of cross-sectional images described in FIG. 11 in the depth direction will be described with reference to FIG.
【００７４】まず、図１１で説明したのと同様に、立体
内視鏡画像上の点１０２を指定することで、断面加算画
像を生成する範囲を指定する。次に、指定した点１０２
の位置から奥行き方向（立体内視鏡の視線方向の視点か
ら遠ざかる向き）に指定された深さ分（指定されない場
合はデフォルト値で）の断面画像１０３，１０５，１０
６を術前３次元画像データ４０３から生成し、それらを
加算した画像１０８を図１２（ｂ）に示すようにして表
示する。この場合、表示法は、図１１の場合と同様に立
体内視鏡画像を重ねて表示しても良いし、別に表示して
もよい。例えば図１２（ｃ）の断面画像中に血溜像１０
７が存在した場合、各断面画像を重ね合わせて表示する
ことにより、立体内視鏡の方向から見た場合の深さ方向
の位置情報を提示することができる。First, in the same manner as described with reference to FIG. 11, by specifying the point 102 on the stereoscopic endoscope image, the range for generating the slice addition image is specified. Next, the designated point 102
Cross-section images 103, 105, and 10 of the depth specified from the position of the depth direction (the direction away from the viewpoint in the direction of the line of sight of the stereoscopic endoscope) (default value if not specified)
6 is generated from the preoperative three-dimensional image data 403, and an image 108 obtained by adding them is displayed as shown in FIG. In this case, as the display method, the stereoscopic endoscope image may be displayed in an overlapping manner as in the case of FIG. 11 or may be displayed separately. For example, in the cross-sectional image of FIG.
In the case where 7 is present, by superimposing and displaying the cross-sectional images, it is possible to present positional information in the depth direction when viewed from the direction of the stereoscopic endoscope.
【００７５】図１１で説明した例では、深さ方向の情報
を得るために断面位置を平行移動しなければならないと
いう手間がかかったが、図１２で説明した手法を用いる
ことにより、１度の操作で、一断面では得られない情報
を得ることが可能になり、表面深部の患部や血溜の位置
などを同時に把握できる。In the example described with reference to FIG. 11, it has been time-consuming to translate the cross-sectional position in order to obtain information in the depth direction. However, by using the method described with reference to FIG. By operation, it is possible to obtain information that cannot be obtained in one cross section, and it is possible to simultaneously grasp the affected part in the deep part of the surface, the position of the blood reservoir, and the like.
【００７６】次に、単眼の内視鏡画像あるいは立体内視
鏡画像から各特徴点の３次元位置情報を復元するタイミ
ングについて図１３のフローチャートを用いて説明す
る。Next, the timing for restoring the three-dimensional position information of each feature point from a monocular endoscope image or a stereoscopic endoscope image will be described with reference to the flowchart of FIG.
【００７７】内視鏡（単眼内視鏡あるいは立体内視鏡）
が術者により体内へ挿入されているときには、その撮影
画像は刻々と変わるため、その都度、各特徴点の３次元
位置の復元を行っては無駄が多い。Endoscope (monocular endoscope or stereoscopic endoscope)
When the operator is inserted into the body by the operator, the captured image changes every moment, and it is wasteful to restore the three-dimensional position of each feature point every time.
【００７８】そこで、内視鏡の移動が停止するのを検出
し、停止した時点で撮影画像を構成する各特徴点の３次
元位置の復元処理を行う。例えば、内視鏡の位置・姿勢
データ（位置・視線方向データ）を位置計測装置１６よ
り入手し（ステップ１３１）、時間的に以前（例えば１
秒前）の位置・姿勢データと比較を行う（ステップ１３
２）。この比較の結果、値が異なった場合には、一定時
間（例えば１秒間）経過後、再びステップ１３１に戻
り、現在の位置・姿勢データを入手する。しかし、値が
同じの場合には、内視鏡は固定された（停止した）と判
断し、内視鏡画像の３次元位置の復元処理を行う（ステ
ップ１３３）。Therefore, the stop of the movement of the endoscope is detected, and at the time of the stop, the three-dimensional position of each feature point constituting the captured image is restored. For example, the position / posture data (position / viewing direction data) of the endoscope is obtained from the position measurement device 16 (step 131), and the data is obtained before the time (for example, 1).
(Seconds ago) is compared with the position / posture data (step 13)
2). As a result of the comparison, if the values are different, after a lapse of a predetermined time (for example, one second), the process returns to step 131 again to obtain the current position / posture data. However, if the values are the same, it is determined that the endoscope has been fixed (stopped), and the three-dimensional position of the endoscope image is restored (step 133).
【００７９】ここで、内視鏡が移動しない限り３次元位
置の復元を行わない方法をとると、観察している臓器が
変形した場合などに対応できないため、操作者からの指
示によるユーザ割込みによって３次元位置の復元処理を
実行するようにする（ステップ１３４）。さらに、内視
鏡の位置・姿勢が変更された場合には、内視鏡の制御機
構より、割り込みが発生し（ステップ１３５）、ステッ
プ１３１へ戻る。Here, if a method is used in which the three-dimensional position is not restored unless the endoscope is moved, it is not possible to cope with a case where the organ being observed is deformed, etc. A three-dimensional position restoration process is executed (step 134). Further, when the position / posture of the endoscope is changed, an interrupt is generated by the control mechanism of the endoscope (step 135), and the process returns to step 131.
【００８０】このようにすることにより、３次元位置の
復元処理における冗長な処理を省くことができ、処理時
間の短縮を図ることが可能になる。By doing so, redundant processing in the three-dimensional position restoration processing can be omitted, and the processing time can be shortened.
【００８１】次に、立体内視鏡に映った術具位置を参照
して内視鏡画像の３次元位置を復元する差異のパラメー
タを調整するキャリブレーションについて図１４を用い
て説明する。Next, the calibration for adjusting the difference parameter for restoring the three-dimensional position of the endoscopic image with reference to the position of the surgical tool reflected on the stereoscopic endoscope will be described with reference to FIG.
【００８２】各種の術具や内視鏡などを正確に制御する
ためには、各術具や内視鏡などの位置合わせを行う必要
がある。術具や内視鏡などを保持し、位置／姿勢を制御
するマニピュレータ間の誤差は、共通絶対位置を事前に
合わせることによりキャリブレーションすることができ
る。一方、立体内視鏡画像から３次元位置を復元した位
置に関しては、視差の誤差、画像の歪み、対応点のずれ
などから、誤差が生じる。In order to accurately control various surgical tools and endoscopes, it is necessary to perform positioning of each surgical tool and endoscope. An error between manipulators that hold a surgical tool, an endoscope, or the like and control the position / orientation can be calibrated by adjusting a common absolute position in advance. On the other hand, regarding the position where the three-dimensional position is restored from the stereoscopic endoscope image, an error occurs due to a parallax error, image distortion, a shift of a corresponding point, and the like.
【００８３】そこで、立体内視鏡画像に映った術具から
復元した３次元位置とマニピュレータ１６１による制御
位置との位置合わせを行う。Therefore, the three-dimensional position restored from the surgical tool shown in the stereoscopic endoscope image is aligned with the control position by the manipulator 161.
【００８４】マニピュレータ１６１の位置を(x,y,z)と
し、立体内視鏡画像から復元された３次元位置を(u,v,
w)としたとき、次の「数１」により座標変換がされるも
のとする。The position of the manipulator 161 is (x, y, z), and the three-dimensional position restored from the stereoscopic endoscope image is (u, v, z).
When w) is assumed, coordinate conversion is performed by the following “Equation 1”.
【００８５】[0085]
【数１】(Equation 1)
【００８６】この場合、一般には、より高次の項を加え
た非線型な変換を行ってもよいが、その分未知の係数が
増え、計算量が増加するため、線形変換に非線型の項を
１つ加えた「数１」を用いることにする。In this case, in general, nonlinear conversion may be performed by adding a higher-order term. However, since the unknown coefficients increase and the calculation amount increases accordingly, the nonlinear conversion is performed in the linear conversion. Will be used.
【００８７】さて、「数１」を用いた場合、未知の係数
は１５個となる。一組のマニピュレータ位置(x,y,z)と
立体内視鏡復元位置(u,v,w)からは３つの方程式を生成
できるため、すべての未知数を解くためには５点以上の
対応点が必要となる。５点あれば解を求められ、６点以
上の場合、最小２乗法などの手法で平均的により安定な
解を求めることになる。ここでは、５点の対応点(x0,y
0,z0)→(u0,v0,w0),....,(x4,y4,z4)→(u4,v4,w4)が与
えられたとすると、「数２」が得られる。When "Equation 1" is used, there are 15 unknown coefficients. Since three equations can be generated from a set of manipulator positions (x, y, z) and a stereoscopic endoscope restoration position (u, v, w), five or more corresponding points are needed to solve all unknowns. Is required. If there are five points, a solution can be obtained. If there are six or more points, an average more stable solution is obtained by a method such as the least squares method. Here, five corresponding points (x0, y
If (0, z0) → (u0, v0, w0),..., (X4, y4, z4) → (u4, v4, w4), “Equation 2” is obtained.
【００８８】[0088]
【数２】(Equation 2)
【００８９】ここで、「数２」をマニピュレータ位置行
列Ｘ、係数行列Ａ、内視鏡復元位置行列Ｕを用いて書き
換えると、係数行列Ａは「数３」のように求められる。Here, when "Equation 2" is rewritten using the manipulator position matrix X, coefficient matrix A, and endoscope restoration position matrix U, the coefficient matrix A is obtained as "Equation 3".
【００９０】[0090]
【数３】(Equation 3)
【００９１】以上のようにして求めた係数をパラメータ
として用い、立体内視鏡画像より復元された３次元位置
をマニピュレータ１６１の３次元位置へ変換することに
より、３次元位置の復元精度を向上することが可能とな
る。Using the coefficients obtained as described above as parameters, the three-dimensional position restored from the stereoscopic endoscope image is converted to the three-dimensional position of the manipulator 161 to improve the three-dimensional position restoration accuracy. It becomes possible.
【００９２】また、この手法を逆に用いてマニピュレー
タ１６２の異常を検知できる。このことについて図１４
のフローチャートを用いて説明する。Further, the abnormality of the manipulator 162 can be detected by using this method in reverse. This is illustrated in FIG.
This will be described with reference to the flowchart of FIG.
【００９３】マニピュレータ１６２を機械により自動駆
動していた場合、急激な電圧低下や、電磁ノイズによる
制御値の異常、アクチュエータの故障などにより異常動
作することが考えられ、危険が考えられる。そこで、立
体内視鏡画像に映った術具の位置と、術具の制御情報を
比較して監視することにより、異常を検知することがで
きる。If the manipulator 162 is automatically driven by a machine, abnormal operation may occur due to a sudden voltage drop, abnormal control value due to electromagnetic noise, malfunction of the actuator, and the like, which may be dangerous. Therefore, an abnormality can be detected by comparing and monitoring the position of the surgical tool shown in the stereoscopic endoscope image with control information of the surgical tool.
【００９４】まず、立体内視鏡画像から復元した臓器等
の特徴点の３次元位置と術具位置とのキャリブレーショ
ンを行う。（ステップ１４１）手術中は一定間隔（例え
ば１秒間隔）で立体内視鏡画像から術具の３次元位置を
復元し（ステップ１４２）、術具制御情報との比較を行
い（ステップ１４３）、その差がしきい値を超えた場合
には、術具の移動を停止し（ステップ１４４）、手術を
中断する。術者が位置関係の確認を行い（ステップ１４
５）、問題がなければステップ１４１に戻り、キャリブ
レーションを行い手術を再開する。First, calibration is performed between the three-dimensional position of the feature point of an organ or the like restored from the stereoscopic endoscope image and the position of the surgical tool. (Step 141) During the operation, the three-dimensional position of the surgical tool is restored from the stereoscopic endoscope image at regular intervals (for example, at one-second intervals) (Step 142), and comparison with surgical tool control information is performed (Step 143). If the difference exceeds the threshold value, the movement of the surgical tool is stopped (step 144), and the operation is interrupted. The operator confirms the positional relationship (step 14)
5) If there is no problem, return to step 141, perform calibration, and restart the operation.
【００９５】このようにすることにより、より安全にマ
ニピュレータ１６２を用いた手術を行うことが可能とな
る。By doing so, it is possible to more safely perform an operation using the manipulator 162.
【００９６】以上説明した実施形態によれば、内視鏡下
の手術において、手術の低侵襲化、時間短縮、安全性向
上、術者の負担軽減などが達成できる。According to the above-described embodiment, in an operation under an endoscope, it is possible to achieve a less invasive operation, a reduced time, an improved safety, a reduced burden on an operator, and the like.
【００９７】具体的には、視野の狭い内視鏡では確認す
ることができない全体における３次元的な位置関係、す
なわち内視鏡がどの方向を向いているのか、どの部分を
見ているのかなどの位置関係を容易に把握することが可
能となる。More specifically, a three-dimensional positional relationship of the whole that cannot be confirmed with an endoscope having a narrow field of view, that is, what direction the endoscope is facing, what part is being viewed, and the like. Can be easily grasped.
【００９８】また、術前の画像や現在の状況を示す様々
な情報を合成し、選択的に表示することが可能なため、
非開腹手術等における術者の現状認識を補助することが
できる。Further, since it is possible to combine pre-operative images and various information indicating the current situation and selectively display them,
It is possible to assist the operator in recognizing the current situation in non-laparotomy surgery and the like.
【００９９】また、術具等によって立体内視鏡画像の一
部が隠れてしまった場合でも、立体内視鏡画像から体内
画像の特徴点の３次元位置の復元を対応点の特定に時間
をかけずに精度よくできるようになり、その結果として
術前の画像との位置合わせが容易になる。Even when a part of the stereoscopic endoscope image is hidden by an operating tool or the like, it takes time to specify the corresponding point by restoring the three-dimensional position of the feature point of the in-vivo image from the stereoscopic endoscope image. It is possible to perform the operation with high precision without using the image, and as a result, the alignment with the preoperative image is facilitated.
【０１００】さらに、術具と臓器との距離などを計測可
能であり、重要臓器を侵襲しそうになった場合などに警
告を出すこともできる。Further, the distance between the surgical tool and the organ can be measured, and a warning can be issued when an important organ is about to be invaded.
【０１０１】また、内視鏡では観察できない表面深部の
状態を、容易な操作により、術前の断層画像より生成し
て提示することができる。Further, the state of the deep surface which cannot be observed by the endoscope can be generated and presented from the preoperative tomographic image by an easy operation.
【０１０２】さらに、内視鏡画像の歪に起因する３次元
位置の復元精度を向上させ、内視鏡画像の３次元位置を
高精度で検出することが可能になったうえ、術具の位置
を画像上でモニタリングすることで、術具を保持するマ
ニピュレータの異常を検知できるなどの効果がある。Further, the accuracy of restoring the three-dimensional position caused by the distortion of the endoscope image is improved, and the three-dimensional position of the endoscope image can be detected with high accuracy. Monitoring on the image has an effect of detecting an abnormality of the manipulator holding the surgical tool.
【０１０３】ところで、本発明は、内視鏡下の外科手術
を支援する場合に限らず、内部空間が外部から遮蔽さ
れ、外部から内視鏡を挿入して内部空間を観察する場合
に同様に適用することができる。図１５に、その一例を
示す。The present invention is not limited to the case of assisting a surgical operation under an endoscope, but is similarly applicable to a case where an internal space is shielded from the outside and an endoscope is inserted from the outside to observe the internal space. Can be applied. FIG. 15 shows an example thereof.
【０１０４】図１５において、１５１は地中から発掘さ
れた古代の棺であり、内部には空気に触れると急速に品
質が変質するような装飾品等の文化財が収納されている
とする。このような棺１５１については、内部をさらす
ことなく内部の文化財の調査を行うことが必要になる。In FIG. 15, reference numeral 151 denotes an ancient coffin excavated from underground, and it is assumed that a cultural property such as a decorative article whose quality rapidly changes when exposed to air is stored therein. With respect to such a coffin 151, it is necessary to investigate the inside cultural assets without exposing the inside.
【０１０５】そこで、棺１５１の全体の断層像、あるい
は底部の２次元平面画像を高エネルギーの産業用Ｘ線Ｃ
Ｔによって撮影した後、棺１５１の一部の小さな隙間か
らマニピュレータ１６１に保持された内視鏡１７を挿入
し、棺１５１の内部の画像を撮影する。そして、産業用
Ｘ線ＣＴによって撮影した事前画像と内視鏡によって撮
影した画像とを前記の実施形態と同様の画像処理によっ
て処理する。この場合の画像処理装置の構成は、図１に
おける構成から心電計等の計測装置および術具を保持す
るマニピュレータを削除した構成になる。Therefore, the whole tomographic image of the coffin 151 or the two-dimensional plane image of the bottom is converted to a high-energy industrial X-ray C
After photographing by T, the endoscope 17 held by the manipulator 161 is inserted through a small gap in a part of the coffin 151, and an image of the inside of the coffin 151 is photographed. Then, the preliminary image photographed by the industrial X-ray CT and the image photographed by the endoscope are processed by the same image processing as in the above embodiment. The configuration of the image processing apparatus in this case is a configuration in which the measurement device such as an electrocardiograph and the manipulator that holds the surgical tool are removed from the configuration in FIG.
【０１０６】これにより、内視鏡で撮影している内在物
と、棺１５１内における３次元的な位置関係を容易に把
握することができる。As a result, it is possible to easily grasp the three-dimensional positional relationship between the internal object photographed by the endoscope and the inside of the coffin 151.
【０１０７】さらに、産業用Ｘ線ＣＴによって撮影した
事前画像から生成した３次元モデルに体し、内視鏡画像
をテキスチャとしてマッピングすることにより、画像処
理装置内に内在物である装飾品等の文化財の３次元画像
データを蓄積することができる。Further, by embedding into a three-dimensional model generated from a preliminary image photographed by industrial X-ray CT and mapping an endoscope image as a texture, an ornament such as an ornament, which is an internal object, is included in the image processing apparatus. It is possible to accumulate three-dimensional image data of cultural properties.
【０１０８】このような応用の他に、内部が見えない構
造物、例えば上下水道設備、原子力設備、建築物などの
構造物を対象にして、内部を調査する場合に適用するこ
とができる。In addition to such applications, the present invention can be applied to the case where the inside is to be investigated for a structure where the inside cannot be seen, for example, a structure such as a water and sewage facility, a nuclear facility, and a building.
【０１０９】[0109]
【発明の効果】以上詳細に説明したように、本発明によ
る画像処理装置によれば、外部から遮蔽された対象物の
内部空間を視野の狭い内視鏡で撮影した画像を表示する
場合に、内視鏡画像あるいは内視鏡自体の対象物全体に
おける３次元的な位置関係および視線方向を容易に把握
することができる。As described above in detail, according to the image processing apparatus of the present invention, when displaying an image obtained by photographing the internal space of an object shielded from the outside with an endoscope having a narrow field of view, The three-dimensional positional relationship and the gaze direction of the endoscope image or the endoscope itself in the entire object can be easily grasped.
【０１１０】また、内視鏡画像の一部が術具などの操作
具によって隠れてしまった場合でも、予め撮影しておい
た画像と内視鏡画像との対応付けを容易に行い、隠れた
部分の位置を把握することができる。Further, even when a part of the endoscope image is hidden by an operating tool such as a surgical tool, it is easy to associate the previously captured image with the endoscope image, and The position of the part can be grasped.
【０１１１】また、内視鏡では撮影できない内側の状態
を把握することができる。Further, it is possible to grasp an inner state that cannot be photographed by the endoscope.
【０１１２】さらに、内視鏡画像自体に歪に起因する３
次元位置の復元誤差を補正し、内視鏡画像の３次元位置
を高精度で復元することができる。Further, the endoscope image itself may have 3
The restoration error of the three-dimensional position can be corrected, and the three-dimensional position of the endoscope image can be restored with high accuracy.
【０１１３】特に、内視鏡下の手術支援に適用した場
合、手術の低侵襲化、時間短縮、安全性向上、術者の負
担軽減などを図れるという優れた効果が得られる。In particular, when the present invention is applied to an operation support under an endoscope, an excellent effect of reducing the invasiveness of the operation, shortening the time, improving the safety, and reducing the burden on the operator can be obtained.
【図１】本発明を適用した画像処理装置の第１の実施形
態を示す機能ブロック図である。FIG. 1 is a functional block diagram illustrating a first embodiment of an image processing apparatus to which the present invention has been applied.
【図２】位置計測装置を内蔵したマニピュレータの例を
示す図である。FIG. 2 is a diagram illustrating an example of a manipulator incorporating a position measuring device.
【図３】内視鏡を用いた手術を行う場合の作業の流れを
示すフローチャートである。FIG. 3 is a flowchart showing a work flow when performing an operation using an endoscope.
【図４】各種の計測データと画像処理の関係を示す機能
説明図である。FIG. 4 is a functional explanatory diagram showing a relationship between various types of measurement data and image processing.
【図５】内視鏡の視線方向と垂直な方向の説明図であ
る。FIG. 5 is an explanatory diagram of a direction perpendicular to the line of sight of the endoscope.
【図６】合成表示画面の例を示す説明図である。FIG. 6 is an explanatory diagram illustrating an example of a composite display screen.
【図７】合成表示画面の他の例を示す説明図である。FIG. 7 is an explanatory diagram showing another example of the composite display screen.
【図８】立体内視鏡画像からの特徴点の３次元位置復元
のための対応点を求める処理の説明図である。FIG. 8 is an explanatory diagram of a process of obtaining a corresponding point for three-dimensional position restoration of a feature point from a stereoscopic endoscope image.
【図９】術前画像を用いて立体内視鏡画像の特徴点の３
次元位置を復元する処理の説明図である。FIG. 9 shows three characteristic points of a stereoscopic endoscope image using a preoperative image.
It is explanatory drawing of the process which restores a dimension position.
【図１０】特徴点でない位置の３次元位置を復元する処
理の説明図である。FIG. 10 is an explanatory diagram of a process of restoring a three-dimensional position that is not a feature point.
【図１１】内視鏡画像上で指定した位置の断面画像を表
示する例の説明図である。FIG. 11 is an explanatory diagram of an example of displaying a cross-sectional image at a position specified on an endoscope image.
【図１２】内視鏡画像上で指定した位置の断面加算画像
を表示する例の説明図である。FIG. 12 is an explanatory diagram of an example of displaying a slice addition image at a position designated on an endoscope image.
【図１３】立体内視鏡画像からの３次元位置を復元処理
のフローチャートである。FIG. 13 is a flowchart of a process of restoring a three-dimensional position from a stereoscopic endoscope image.
【図１４】術具位置の監視処理のフローチャートであ
る。FIG. 14 is a flowchart of a surgical instrument position monitoring process.
【図１５】箱体の内部を内視鏡で観察する場合に適用し
た第２の実施形態を示す概略構成図である。FIG. 15 is a schematic configuration diagram showing a second embodiment applied to a case where the inside of a box is observed with an endoscope.
１１…画像合成装置、１２…入力装置、１３…表示手
段、１４…２Ｄ計測装置、１５…３Ｄ計測装置、１６…
位置計測装置、１７…内視鏡、１９…術具、１１１…デ
ータ記憶装置、１１２…座標系／位置合わせ手段、１１
３…セグメンテーション手段、１１４…３Ｄ画像生成手
段、１１５…断面画像生成手段、１１６…３Ｄ復元等画
像処理手段、１１７…３ＤＣＧ生成手段、１６１，１６
２…マニピュレータ。11 image synthesizing device, 12 input device, 13 display means, 14 2D measuring device, 15 3D measuring device, 16
Position measuring device, 17 endoscope, 19 surgical tool, 111 data storage device, 112 coordinate system / positioning means, 11
3 ... Segmentation means, 114 ... 3D image generation means, 115 ... Section image generation means, 116 ... 3D reconstruction and other image processing means, 117 ... 3DCG generation means, 161, 16
2. Manipulator.
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9154793AJPH11309A (en) | 1997-06-12 | 1997-06-12 | Image processing device |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9154793AJPH11309A (en) | 1997-06-12 | 1997-06-12 | Image processing device |
| Publication Number | Publication Date |
|---|---|
| JPH11309Atrue JPH11309A (en) | 1999-01-06 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP9154793APendingJPH11309A (en) | 1997-06-12 | 1997-06-12 | Image processing device |
| Country | Link |
|---|---|
| JP (1) | JPH11309A (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001133696A (en)* | 1999-11-02 | 2001-05-18 | Olympus Optical Co Ltd | Microscope device for surgery |
| WO2001074266A1 (en)* | 2000-03-30 | 2001-10-11 | The Board Of Trustees Of The Leland Stanford Junior University | Apparatus and method for calibrating an endoscope |
| JP2002238839A (en)* | 2001-02-16 | 2002-08-27 | Olympus Optical Co Ltd | Endoscope system |
| JP2002263053A (en)* | 2001-03-06 | 2002-09-17 | Olympus Optical Co Ltd | Medical image display device and method |
| JP2005021354A (en)* | 2003-07-01 | 2005-01-27 | Olympus Corp | Surgery remotely supporting apparatus |
| JP2005211533A (en)* | 2004-01-30 | 2005-08-11 | Olympus Corp | Virtual image display system |
| JP2005211531A (en)* | 2004-01-30 | 2005-08-11 | Olympus Corp | Virtual image display system |
| JP2006006567A (en)* | 2004-06-24 | 2006-01-12 | Olympus Corp | Endoscopic image display device |
| JP2007152027A (en)* | 2005-12-08 | 2007-06-21 | Univ Waseda | Endoscope visual field expanding system, endoscope visual field expanding device, and endoscope visual field expanding program |
| JP2007244746A (en)* | 2006-03-17 | 2007-09-27 | Olympus Medical Systems Corp | Observation system |
| JP2009247677A (en)* | 2008-04-08 | 2009-10-29 | Fujinon Corp | Endoscope system |
| KR20110037948A (en)* | 2008-06-27 | 2011-04-13 | 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 | Medical robotic system providing an auxiliary screen of an articulated device extending from the distal end of the entry guide |
| US7951070B2 (en) | 2003-06-02 | 2011-05-31 | Olympus Corporation | Object observation system and method utilizing three dimensional imagery and real time imagery during a procedure |
| WO2011114731A1 (en)* | 2010-03-17 | 2011-09-22 | 富士フイルム株式会社 | System, method, device, and program for supporting endoscopic observation |
| WO2011122032A1 (en)* | 2010-03-31 | 2011-10-06 | 富士フイルム株式会社 | Endoscope observation supporting system and method, and device and programme |
| JP2012504017A (en)* | 2008-09-30 | 2012-02-16 | インテュイティブ サージカル オペレーションズ， インコーポレイテッド | Medical robot system providing a computer generated auxiliary view of camera equipment to control tip placement and orientation |
| JP2012133365A (en)* | 2010-12-22 | 2012-07-12 | General Electric Co <Ge> | System and method for rotary machine online monitoring |
| JP2012521855A (en)* | 2009-03-31 | 2012-09-20 | インテュイティブ サージカル オペレーションズ， インコーポレイテッド | Synthetic representation of surgical robot |
| JP2012235983A (en)* | 2011-05-13 | 2012-12-06 | Olympus Medical Systems Corp | Medical image display system |
| JP2013031660A (en)* | 2011-08-02 | 2013-02-14 | Samsung Electronics Co Ltd | Method and apparatus for processing medical image, and robotic surgery system using image guidance |
| JP2013111160A (en)* | 2011-11-28 | 2013-06-10 | Fujifilm Corp | Endoscope |
| WO2013141155A1 (en) | 2012-03-17 | 2013-09-26 | 学校法人早稲田大学 | Image completion system for in-image cutoff region, image processing device, and program therefor |
| JP2013540455A (en)* | 2010-08-04 | 2013-11-07 | メドテック | Assisted automatic data collection method for anatomical surfaces |
| JP2014104328A (en)* | 2012-11-30 | 2014-06-09 | Toyota Keeramu:Kk | Operation support system, operation support method, and operation support program |
| US8903546B2 (en) | 2009-08-15 | 2014-12-02 | Intuitive Surgical Operations, Inc. | Smooth control of an articulated instrument across areas with different work space conditions |
| US8918211B2 (en) | 2010-02-12 | 2014-12-23 | Intuitive Surgical Operations, Inc. | Medical robotic system providing sensory feedback indicating a difference between a commanded state and a preferred pose of an articulated instrument |
| WO2015011758A1 (en)* | 2013-07-22 | 2015-01-29 | 株式会社 東芝 | Display system |
| WO2015029318A1 (en)* | 2013-08-26 | 2015-03-05 | パナソニックＩｐマネジメント株式会社 | 3d display device and 3d display method |
| JP2015066021A (en)* | 2013-09-27 | 2015-04-13 | エフ・エーシステムエンジニアリング株式会社 | Three-dimensional navigation image generation device |
| US9084623B2 (en) | 2009-08-15 | 2015-07-21 | Intuitive Surgical Operations, Inc. | Controller assisted reconfiguration of an articulated instrument during movement into and out of an entry guide |
| US9089256B2 (en) | 2008-06-27 | 2015-07-28 | Intuitive Surgical Operations, Inc. | Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide |
| US9101397B2 (en) | 1999-04-07 | 2015-08-11 | Intuitive Surgical Operations, Inc. | Real-time generation of three-dimensional ultrasound image using a two-dimensional ultrasound transducer in a robotic system |
| US9138129B2 (en) | 2007-06-13 | 2015-09-22 | Intuitive Surgical Operations, Inc. | Method and system for moving a plurality of articulated instruments in tandem back towards an entry guide |
| JP2015228955A (en)* | 2014-06-04 | 2015-12-21 | ソニー株式会社 | Image processing device, image processing method, and program |
| JP2016505315A (en)* | 2012-12-20 | 2016-02-25 | アヴァテラメディカル ゲーエムベーハー | Endoscope with multi-camera system for minimally invasive surgery |
| JP2016508765A (en)* | 2013-01-21 | 2016-03-24 | シーメンス アクチエンゲゼルシヤフトＳｉｅｍｅｎｓ Ａｋｔｉｅｎｇｅｓｅｌｌｓｃｈａｆｔ | Endoscopy, especially for minimally invasive surgery |
| US9333042B2 (en) | 2007-06-13 | 2016-05-10 | Intuitive Surgical Operations, Inc. | Medical robotic system with coupled control modes |
| US9345387B2 (en) | 2006-06-13 | 2016-05-24 | Intuitive Surgical Operations, Inc. | Preventing instrument/tissue collisions |
| JPWO2014010191A1 (en)* | 2012-07-11 | 2016-06-20 | パナソニックＩｐマネジメント株式会社 | 3D image display apparatus and 3D image display method |
| US9469034B2 (en) | 2007-06-13 | 2016-10-18 | Intuitive Surgical Operations, Inc. | Method and system for switching modes of a robotic system |
| US9492927B2 (en) | 2009-08-15 | 2016-11-15 | Intuitive Surgical Operations, Inc. | Application of force feedback on an input device to urge its operator to command an articulated instrument to a preferred pose |
| US9592096B2 (en) | 2011-11-30 | 2017-03-14 | Medtech S.A. | Robotic-assisted device for positioning a surgical instrument relative to the body of a patient |
| JP2017513662A (en)* | 2014-03-28 | 2017-06-01 | インテュイティブ サージカル オペレーションズ， インコーポレイテッド | Alignment of Q3D image with 3D image |
| JP2017518147A (en)* | 2014-03-28 | 2017-07-06 | インテュイティブ サージカル オペレーションズ， インコーポレイテッド | Quantitative three-dimensional imaging of surgical scenes |
| US9718190B2 (en) | 2006-06-29 | 2017-08-01 | Intuitive Surgical Operations, Inc. | Tool position and identification indicator displayed in a boundary area of a computer display screen |
| JP2017185225A (en)* | 2016-03-31 | 2017-10-12 | コヴィディエン リミテッド パートナーシップ | Thoracic endoscope for surface scanning |
| US9788909B2 (en) | 2006-06-29 | 2017-10-17 | Intuitive Surgical Operations, Inc | Synthetic representation of a surgical instrument |
| JP2018027289A (en)* | 2016-08-16 | 2018-02-22 | コー・ヤング・テクノロジー・インコーポレーテッド | Surgical robot system for stereotactic surgery and control method for stereotactic robot |
| US9916691B2 (en) | 2013-02-14 | 2018-03-13 | Seiko Epson Corporation | Head mounted display and control method for head mounted display |
| US10008017B2 (en) | 2006-06-29 | 2018-06-26 | Intuitive Surgical Operations, Inc. | Rendering tool information as graphic overlays on displayed images of tools |
| JP2018163106A (en)* | 2017-03-27 | 2018-10-18 | 株式会社トプコン | Lens meter |
| US10334227B2 (en) | 2014-03-28 | 2019-06-25 | Intuitive Surgical Operations, Inc. | Quantitative three-dimensional imaging of surgical scenes from multiport perspectives |
| US10350009B2 (en) | 2014-03-28 | 2019-07-16 | Intuitive Surgical Operations, Inc. | Quantitative three-dimensional imaging and printing of surgical implants |
| US10507066B2 (en) | 2013-02-15 | 2019-12-17 | Intuitive Surgical Operations, Inc. | Providing information of tools by filtering image areas adjacent to or on displayed images of the tools |
| JP2020093102A (en)* | 2018-12-13 | 2020-06-18 | バイオセンス・ウエブスター・（イスラエル）・リミテッドＢｉｏｓｅｎｓｅ Ｗｅｂｓｔｅｒ （Ｉｓｒａｅｌ）， Ｌｔｄ． | Composite visualization of body part |
| US11071591B2 (en) | 2018-07-26 | 2021-07-27 | Covidien Lp | Modeling a collapsed lung using CT data |
| JP6993043B1 (en)* | 2020-10-27 | 2022-01-13 | リバーフィールド株式会社 | Surgical support device |
| US11266465B2 (en) | 2014-03-28 | 2022-03-08 | Intuitive Surgical Operations, Inc. | Quantitative three-dimensional visualization of instruments in a field of view |
| US11304771B2 (en) | 2014-03-28 | 2022-04-19 | Intuitive Surgical Operations, Inc. | Surgical system with haptic feedback based upon quantitative three-dimensional imaging |
| US11705238B2 (en) | 2018-07-26 | 2023-07-18 | Covidien Lp | Systems and methods for providing assistance during surgery |
| WO2025009009A1 (en)* | 2023-07-03 | 2025-01-09 | オリンパスメディカルシステムズ株式会社 | Image processing device, image processing method, and image processing program |
| JP2025503662A (en)* | 2022-01-10 | 2025-02-04 | エンドルクス インコーポレイテッド | SYSTEMS, DEVICES, AND METHODS FOR ENDOSCOPY |
| US12239396B2 (en) | 2008-06-27 | 2025-03-04 | Intuitive Surgical Operations, Inc. | Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide |
| US12266040B2 (en) | 2009-03-31 | 2025-04-01 | Intuitive Surgical Operations, Inc. | Rendering tool information as graphic overlays on displayed images of tools |
| US12357400B2 (en) | 2006-06-29 | 2025-07-15 | Intuitive Surgical Operations, Inc. | Synthetic representation of a surgical robot |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9232984B2 (en) | 1999-04-07 | 2016-01-12 | Intuitive Surgical Operations, Inc. | Real-time generation of three-dimensional ultrasound image using a two-dimensional ultrasound transducer in a robotic system |
| US10271909B2 (en) | 1999-04-07 | 2019-04-30 | Intuitive Surgical Operations, Inc. | Display of computer generated image of an out-of-view portion of a medical device adjacent a real-time image of an in-view portion of the medical device |
| US10433919B2 (en) | 1999-04-07 | 2019-10-08 | Intuitive Surgical Operations, Inc. | Non-force reflecting method for providing tool force information to a user of a telesurgical system |
| US9101397B2 (en) | 1999-04-07 | 2015-08-11 | Intuitive Surgical Operations, Inc. | Real-time generation of three-dimensional ultrasound image using a two-dimensional ultrasound transducer in a robotic system |
| JP2001133696A (en)* | 1999-11-02 | 2001-05-18 | Olympus Optical Co Ltd | Microscope device for surgery |
| EP1267740A1 (en)* | 2000-03-30 | 2003-01-02 | Cbyon, Inc. | Apparatus and method for calibrating an endoscope |
| WO2001074266A1 (en)* | 2000-03-30 | 2001-10-11 | The Board Of Trustees Of The Leland Stanford Junior University | Apparatus and method for calibrating an endoscope |
| JP2002238839A (en)* | 2001-02-16 | 2002-08-27 | Olympus Optical Co Ltd | Endoscope system |
| JP2002263053A (en)* | 2001-03-06 | 2002-09-17 | Olympus Optical Co Ltd | Medical image display device and method |
| US7951070B2 (en) | 2003-06-02 | 2011-05-31 | Olympus Corporation | Object observation system and method utilizing three dimensional imagery and real time imagery during a procedure |
| JP2005021354A (en)* | 2003-07-01 | 2005-01-27 | Olympus Corp | Surgery remotely supporting apparatus |
| JP2005211533A (en)* | 2004-01-30 | 2005-08-11 | Olympus Corp | Virtual image display system |
| JP2005211531A (en)* | 2004-01-30 | 2005-08-11 | Olympus Corp | Virtual image display system |
| JP2006006567A (en)* | 2004-06-24 | 2006-01-12 | Olympus Corp | Endoscopic image display device |
| JP2007152027A (en)* | 2005-12-08 | 2007-06-21 | Univ Waseda | Endoscope visual field expanding system, endoscope visual field expanding device, and endoscope visual field expanding program |
| JP2007244746A (en)* | 2006-03-17 | 2007-09-27 | Olympus Medical Systems Corp | Observation system |
| US9345387B2 (en) | 2006-06-13 | 2016-05-24 | Intuitive Surgical Operations, Inc. | Preventing instrument/tissue collisions |
| US10773388B2 (en) | 2006-06-29 | 2020-09-15 | Intuitive Surgical Operations, Inc. | Tool position and identification indicator displayed in a boundary area of a computer display screen |
| US9801690B2 (en) | 2006-06-29 | 2017-10-31 | Intuitive Surgical Operations, Inc. | Synthetic representation of a surgical instrument |
| US11865729B2 (en) | 2006-06-29 | 2024-01-09 | Intuitive Surgical Operations, Inc. | Tool position and identification indicator displayed in a boundary area of a computer display screen |
| US11638999B2 (en) | 2006-06-29 | 2023-05-02 | Intuitive Surgical Operations, Inc. | Synthetic representation of a surgical robot |
| US10730187B2 (en) | 2006-06-29 | 2020-08-04 | Intuitive Surgical Operations, Inc. | Tool position and identification indicator displayed in a boundary area of a computer display screen |
| US9718190B2 (en) | 2006-06-29 | 2017-08-01 | Intuitive Surgical Operations, Inc. | Tool position and identification indicator displayed in a boundary area of a computer display screen |
| US10737394B2 (en) | 2006-06-29 | 2020-08-11 | Intuitive Surgical Operations, Inc. | Synthetic representation of a surgical robot |
| US12357400B2 (en) | 2006-06-29 | 2025-07-15 | Intuitive Surgical Operations, Inc. | Synthetic representation of a surgical robot |
| US10137575B2 (en) | 2006-06-29 | 2018-11-27 | Intuitive Surgical Operations, Inc. | Synthetic representation of a surgical robot |
| US9789608B2 (en) | 2006-06-29 | 2017-10-17 | Intuitive Surgical Operations, Inc. | Synthetic representation of a surgical robot |
| US9788909B2 (en) | 2006-06-29 | 2017-10-17 | Intuitive Surgical Operations, Inc | Synthetic representation of a surgical instrument |
| US10008017B2 (en) | 2006-06-29 | 2018-06-26 | Intuitive Surgical Operations, Inc. | Rendering tool information as graphic overlays on displayed images of tools |
| US11432888B2 (en) | 2007-06-13 | 2022-09-06 | Intuitive Surgical Operations, Inc. | Method and system for moving a plurality of articulated instruments in tandem back towards an entry guide |
| US10695136B2 (en) | 2007-06-13 | 2020-06-30 | Intuitive Surgical Operations, Inc. | Preventing instrument/tissue collisions |
| US12295681B2 (en) | 2007-06-13 | 2025-05-13 | Intuitive Surgical Operations, Inc. | Method and system for retracting an instrument into an entry guide |
| US11751955B2 (en) | 2007-06-13 | 2023-09-12 | Intuitive Surgical Operations, Inc. | Method and system for retracting an instrument into an entry guide |
| US12097002B2 (en) | 2007-06-13 | 2024-09-24 | Intuitive Surgical Operations, Inc. | Medical robotic system with coupled control modes |
| US10188472B2 (en) | 2007-06-13 | 2019-01-29 | Intuitive Surgical Operations, Inc. | Medical robotic system with coupled control modes |
| US9138129B2 (en) | 2007-06-13 | 2015-09-22 | Intuitive Surgical Operations, Inc. | Method and system for moving a plurality of articulated instruments in tandem back towards an entry guide |
| US9629520B2 (en) | 2007-06-13 | 2017-04-25 | Intuitive Surgical Operations, Inc. | Method and system for moving an articulated instrument back towards an entry guide while automatically reconfiguring the articulated instrument for retraction into the entry guide |
| US9333042B2 (en) | 2007-06-13 | 2016-05-10 | Intuitive Surgical Operations, Inc. | Medical robotic system with coupled control modes |
| US9901408B2 (en) | 2007-06-13 | 2018-02-27 | Intuitive Surgical Operations, Inc. | Preventing instrument/tissue collisions |
| US9469034B2 (en) | 2007-06-13 | 2016-10-18 | Intuitive Surgical Operations, Inc. | Method and system for switching modes of a robotic system |
| US10271912B2 (en) | 2007-06-13 | 2019-04-30 | Intuitive Surgical Operations, Inc. | Method and system for moving a plurality of articulated instruments in tandem back towards an entry guide |
| US11399908B2 (en) | 2007-06-13 | 2022-08-02 | Intuitive Surgical Operations, Inc. | Medical robotic system with coupled control modes |
| JP2009247677A (en)* | 2008-04-08 | 2009-10-29 | Fujinon Corp | Endoscope system |
| KR20160119871A (en)* | 2008-06-27 | 2016-10-14 | 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 | Medical robotic system providing an auxiliary view of articulatable instruments extending out of a distal end of an entry guide |
| JP2014012212A (en)* | 2008-06-27 | 2014-01-23 | Intuitive Surgical Operations Inc | Medical robotic system for providing auxiliary visual field of articulatable instrument extending from entrance guide distal end |
| US9717563B2 (en) | 2008-06-27 | 2017-08-01 | Intuitive Surgical Operations, Inc. | Medical robotic system providing an auxilary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide |
| US11382702B2 (en) | 2008-06-27 | 2022-07-12 | Intuitive Surgical Operations, Inc. | Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide |
| KR20110037948A (en)* | 2008-06-27 | 2011-04-13 | 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 | Medical robotic system providing an auxiliary screen of an articulated device extending from the distal end of the entry guide |
| US9089256B2 (en) | 2008-06-27 | 2015-07-28 | Intuitive Surgical Operations, Inc. | Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide |
| US11638622B2 (en) | 2008-06-27 | 2023-05-02 | Intuitive Surgical Operations, Inc. | Medical robotic system providing an auxiliary view of articulatable instruments extending out of a distal end of an entry guide |
| US8864652B2 (en) | 2008-06-27 | 2014-10-21 | Intuitive Surgical Operations, Inc. | Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the positioning and orienting of its tip |
| US12239396B2 (en) | 2008-06-27 | 2025-03-04 | Intuitive Surgical Operations, Inc. | Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide |
| KR20160118384A (en)* | 2008-06-27 | 2016-10-11 | 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 | Medical robotic system providing an auxiliary view of articulatable instruments extending out of a distal end of an entry guide |
| US10368952B2 (en) | 2008-06-27 | 2019-08-06 | Intuitive Surgical Operations, Inc. | Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide |
| US10258425B2 (en) | 2008-06-27 | 2019-04-16 | Intuitive Surgical Operations, Inc. | Medical robotic system providing an auxiliary view of articulatable instruments extending out of a distal end of an entry guide |
| US9516996B2 (en) | 2008-06-27 | 2016-12-13 | Intuitive Surgical Operations, Inc. | Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the position and orienting of its tip |
| JP2012504017A (en)* | 2008-09-30 | 2012-02-16 | インテュイティブ サージカル オペレーションズ， インコーポレイテッド | Medical robot system providing a computer generated auxiliary view of camera equipment to control tip placement and orientation |
| JP2016064155A (en)* | 2009-03-31 | 2016-04-28 | インテュイティブ サージカル オペレーションズ， インコーポレイテッド | Synthetic representation of surgical robot |
| US11941734B2 (en) | 2009-03-31 | 2024-03-26 | Intuitive Surgical Operations, Inc. | Rendering tool information as graphic overlays on displayed images of tools |
| JP2012521855A (en)* | 2009-03-31 | 2012-09-20 | インテュイティブ サージカル オペレーションズ， インコーポレイテッド | Synthetic representation of surgical robot |
| US10282881B2 (en) | 2009-03-31 | 2019-05-07 | Intuitive Surgical Operations, Inc. | Rendering tool information as graphic overlays on displayed images of tools |
| JP2016101506A (en)* | 2009-03-31 | 2016-06-02 | インテュイティブ サージカル オペレーションズ， インコーポレイテッド | Synthetic representation of surgical robot |
| JP2016073686A (en)* | 2009-03-31 | 2016-05-12 | インテュイティブ サージカル オペレーションズ， インコーポレイテッド | Synthetic representation of surgical robot |
| US10984567B2 (en) | 2009-03-31 | 2021-04-20 | Intuitive Surgical Operations, Inc. | Rendering tool information as graphic overlays on displayed images of tools |
| US12266040B2 (en) | 2009-03-31 | 2025-04-01 | Intuitive Surgical Operations, Inc. | Rendering tool information as graphic overlays on displayed images of tools |
| JP2016052521A (en)* | 2009-03-31 | 2016-04-14 | インテュイティブ サージカル オペレーションズ， インコーポレイテッド | Synthetic representation of surgical robot |
| US9492927B2 (en) | 2009-08-15 | 2016-11-15 | Intuitive Surgical Operations, Inc. | Application of force feedback on an input device to urge its operator to command an articulated instrument to a preferred pose |
| US10959798B2 (en) | 2009-08-15 | 2021-03-30 | Intuitive Surgical Operations, Inc. | Application of force feedback on an input device to urge its operator to command an articulated instrument to a preferred pose |
| US9084623B2 (en) | 2009-08-15 | 2015-07-21 | Intuitive Surgical Operations, Inc. | Controller assisted reconfiguration of an articulated instrument during movement into and out of an entry guide |
| US8903546B2 (en) | 2009-08-15 | 2014-12-02 | Intuitive Surgical Operations, Inc. | Smooth control of an articulated instrument across areas with different work space conditions |
| US10772689B2 (en) | 2009-08-15 | 2020-09-15 | Intuitive Surgical Operations, Inc. | Controller assisted reconfiguration of an articulated instrument during movement into and out of an entry guide |
| US9956044B2 (en) | 2009-08-15 | 2018-05-01 | Intuitive Surgical Operations, Inc. | Controller assisted reconfiguration of an articulated instrument during movement into and out of an entry guide |
| US10271915B2 (en) | 2009-08-15 | 2019-04-30 | Intuitive Surgical Operations, Inc. | Application of force feedback on an input device to urge its operator to command an articulated instrument to a preferred pose |
| US11596490B2 (en) | 2009-08-15 | 2023-03-07 | Intuitive Surgical Operations, Inc. | Application of force feedback on an input device to urge its operator to command an articulated instrument to a preferred pose |
| US10537994B2 (en) | 2010-02-12 | 2020-01-21 | Intuitive Surgical Operations, Inc. | Medical robotic system providing sensory feedback indicating a difference between a commanded state and a preferred pose of an articulated instrument |
| US8918211B2 (en) | 2010-02-12 | 2014-12-23 | Intuitive Surgical Operations, Inc. | Medical robotic system providing sensory feedback indicating a difference between a commanded state and a preferred pose of an articulated instrument |
| US10828774B2 (en) | 2010-02-12 | 2020-11-10 | Intuitive Surgical Operations, Inc. | Medical robotic system providing sensory feedback indicating a difference between a commanded state and a preferred pose of an articulated instrument |
| US9622826B2 (en) | 2010-02-12 | 2017-04-18 | Intuitive Surgical Operations, Inc. | Medical robotic system providing sensory feedback indicating a difference between a commanded state and a preferred pose of an articulated instrument |
| US9179822B2 (en) | 2010-03-17 | 2015-11-10 | Fujifilm Corporation | Endoscopic observation supporting system, method, device and program |
| WO2011114731A1 (en)* | 2010-03-17 | 2011-09-22 | 富士フイルム株式会社 | System, method, device, and program for supporting endoscopic observation |
| JP2011193885A (en)* | 2010-03-17 | 2011-10-06 | Fujifilm Corp | System, method, apparatus and program for supporting endoscope observation |
| JP2011212244A (en)* | 2010-03-31 | 2011-10-27 | Fujifilm Corp | Endoscope observation supporting system and method, and device and program |
| US9375133B2 (en) | 2010-03-31 | 2016-06-28 | Fujifilm Corporation | Endoscopic observation support system |
| WO2011122032A1 (en)* | 2010-03-31 | 2011-10-06 | 富士フイルム株式会社 | Endoscope observation supporting system and method, and device and programme |
| JP2013540455A (en)* | 2010-08-04 | 2013-11-07 | メドテック | Assisted automatic data collection method for anatomical surfaces |
| US10039476B2 (en) | 2010-08-04 | 2018-08-07 | Medtech S.A. | Method for the automated and assisted acquisition of anatomical surfaces |
| US9750432B2 (en) | 2010-08-04 | 2017-09-05 | Medtech S.A. | Method for the automated and assisted acquisition of anatomical surfaces |
| JP2012133365A (en)* | 2010-12-22 | 2012-07-12 | General Electric Co <Ge> | System and method for rotary machine online monitoring |
| JP2012235983A (en)* | 2011-05-13 | 2012-12-06 | Olympus Medical Systems Corp | Medical image display system |
| JP2013031660A (en)* | 2011-08-02 | 2013-02-14 | Samsung Electronics Co Ltd | Method and apparatus for processing medical image, and robotic surgery system using image guidance |
| JP2013111160A (en)* | 2011-11-28 | 2013-06-10 | Fujifilm Corp | Endoscope |
| US10159534B2 (en) | 2011-11-30 | 2018-12-25 | Medtech S.A. | Robotic-assisted device for positioning a surgical instrument relative to the body of a patient |
| US10667876B2 (en) | 2011-11-30 | 2020-06-02 | Medtech S.A. | Robotic-assisted device for positioning a surgical instrument relative to the body of a patient |
| US9592096B2 (en) | 2011-11-30 | 2017-03-14 | Medtech S.A. | Robotic-assisted device for positioning a surgical instrument relative to the body of a patient |
| WO2013141155A1 (en) | 2012-03-17 | 2013-09-26 | 学校法人早稲田大学 | Image completion system for in-image cutoff region, image processing device, and program therefor |
| JPWO2014010191A1 (en)* | 2012-07-11 | 2016-06-20 | パナソニックＩｐマネジメント株式会社 | 3D image display apparatus and 3D image display method |
| US9374574B2 (en) | 2012-07-11 | 2016-06-21 | Panasonic Intellectual Property Management Co., Ltd. | Three-dimensional video display apparatus and three-dimensional video display method |
| JP2014104328A (en)* | 2012-11-30 | 2014-06-09 | Toyota Keeramu:Kk | Operation support system, operation support method, and operation support program |
| JP2016505315A (en)* | 2012-12-20 | 2016-02-25 | アヴァテラメディカル ゲーエムベーハー | Endoscope with multi-camera system for minimally invasive surgery |
| JP2016508765A (en)* | 2013-01-21 | 2016-03-24 | シーメンス アクチエンゲゼルシヤフトＳｉｅｍｅｎｓ Ａｋｔｉｅｎｇｅｓｅｌｌｓｃｈａｆｔ | Endoscopy, especially for minimally invasive surgery |
| US9916691B2 (en) | 2013-02-14 | 2018-03-13 | Seiko Epson Corporation | Head mounted display and control method for head mounted display |
| US10169925B2 (en) | 2013-02-14 | 2019-01-01 | Seiko Epson Corporation | Head mounted display and control method for head mounted display |
| US11806102B2 (en) | 2013-02-15 | 2023-11-07 | Intuitive Surgical Operations, Inc. | Providing information of tools by filtering image areas adjacent to or on displayed images of the tools |
| US11389255B2 (en) | 2013-02-15 | 2022-07-19 | Intuitive Surgical Operations, Inc. | Providing information of tools by filtering image areas adjacent to or on displayed images of the tools |
| US10507066B2 (en) | 2013-02-15 | 2019-12-17 | Intuitive Surgical Operations, Inc. | Providing information of tools by filtering image areas adjacent to or on displayed images of the tools |
| WO2015011758A1 (en)* | 2013-07-22 | 2015-01-29 | 株式会社 東芝 | Display system |
| JPWO2015011758A1 (en)* | 2013-07-22 | 2017-03-02 | 株式会社東芝 | Display system |
| WO2015029318A1 (en)* | 2013-08-26 | 2015-03-05 | パナソニックＩｐマネジメント株式会社 | 3d display device and 3d display method |
| JPWO2015029318A1 (en)* | 2013-08-26 | 2017-03-02 | パナソニックＩｐマネジメント株式会社 | 3D display device and 3D display method |
| JP2015066021A (en)* | 2013-09-27 | 2015-04-13 | エフ・エーシステムエンジニアリング株式会社 | Three-dimensional navigation image generation device |
| US10334227B2 (en) | 2014-03-28 | 2019-06-25 | Intuitive Surgical Operations, Inc. | Quantitative three-dimensional imaging of surgical scenes from multiport perspectives |
| US10368054B2 (en) | 2014-03-28 | 2019-07-30 | Intuitive Surgical Operations, Inc. | Quantitative three-dimensional imaging of surgical scenes |
| US11304771B2 (en) | 2014-03-28 | 2022-04-19 | Intuitive Surgical Operations, Inc. | Surgical system with haptic feedback based upon quantitative three-dimensional imaging |
| US10350009B2 (en) | 2014-03-28 | 2019-07-16 | Intuitive Surgical Operations, Inc. | Quantitative three-dimensional imaging and printing of surgical implants |
| JP2017513662A (en)* | 2014-03-28 | 2017-06-01 | インテュイティブ サージカル オペレーションズ， インコーポレイテッド | Alignment of Q3D image with 3D image |
| US11266465B2 (en) | 2014-03-28 | 2022-03-08 | Intuitive Surgical Operations, Inc. | Quantitative three-dimensional visualization of instruments in a field of view |
| US12262951B2 (en) | 2014-03-28 | 2025-04-01 | Intuitive Surgical Operations, Inc. | Quantitative three-dimensional visualization of instruments in a field of view |
| JP2017518147A (en)* | 2014-03-28 | 2017-07-06 | インテュイティブ サージカル オペレーションズ， インコーポレイテッド | Quantitative three-dimensional imaging of surgical scenes |
| US10827906B2 (en) | 2014-06-04 | 2020-11-10 | Sony Corporation | Endoscopic surgery image processing apparatus, image processing method, and program |
| JP2015228955A (en)* | 2014-06-04 | 2015-12-21 | ソニー株式会社 | Image processing device, image processing method, and program |
| JP2019042551A (en)* | 2016-03-31 | 2019-03-22 | コヴィディエン リミテッド パートナーシップ | Thoracic endoscope for surface scanning |
| JP2017185225A (en)* | 2016-03-31 | 2017-10-12 | コヴィディエン リミテッド パートナーシップ | Thoracic endoscope for surface scanning |
| CN109998449A (en)* | 2016-03-31 | 2019-07-12 | 柯惠有限合伙公司 | Thoracic endoscope for surface scanning |
| US11179219B2 (en) | 2016-08-16 | 2021-11-23 | Koh Young Technology Inc. | Surgical robot system for stereotactic surgery and method for controlling stereotactic surgery robot |
| US10548681B2 (en) | 2016-08-16 | 2020-02-04 | Koh Young Technology Inc. | Surgical robot system for stereotactic surgery and method for controlling stereotactic surgery robot |
| JP2018027289A (en)* | 2016-08-16 | 2018-02-22 | コー・ヤング・テクノロジー・インコーポレーテッド | Surgical robot system for stereotactic surgery and control method for stereotactic robot |
| JP2018163106A (en)* | 2017-03-27 | 2018-10-18 | 株式会社トプコン | Lens meter |
| US11701179B2 (en) | 2018-07-26 | 2023-07-18 | Covidien Lp | Modeling a collapsed lung using CT data |
| US12004815B2 (en) | 2018-07-26 | 2024-06-11 | Covidien Lp | Modeling a collapsed lung using CT data |
| US12243634B2 (en) | 2018-07-26 | 2025-03-04 | Covidien Lp | Systems and methods for providing assistance during surgery |
| US11705238B2 (en) | 2018-07-26 | 2023-07-18 | Covidien Lp | Systems and methods for providing assistance during surgery |
| US11071591B2 (en) | 2018-07-26 | 2021-07-27 | Covidien Lp | Modeling a collapsed lung using CT data |
| JP2020093102A (en)* | 2018-12-13 | 2020-06-18 | バイオセンス・ウエブスター・（イスラエル）・リミテッドＢｉｏｓｅｎｓｅ Ｗｅｂｓｔｅｒ （Ｉｓｒａｅｌ）， Ｌｔｄ． | Composite visualization of body part |
| JP6993043B1 (en)* | 2020-10-27 | 2022-01-13 | リバーフィールド株式会社 | Surgical support device |
| EP4179954A4 (en)* | 2020-10-27 | 2023-08-30 | RIVERFIELD Inc. | Surgery assisting device |
| WO2022091210A1 (en)* | 2020-10-27 | 2022-05-05 | リバーフィールド株式会社 | Surgery assisting device |
| JP2025503662A (en)* | 2022-01-10 | 2025-02-04 | エンドルクス インコーポレイテッド | SYSTEMS, DEVICES, AND METHODS FOR ENDOSCOPY |
| WO2025009009A1 (en)* | 2023-07-03 | 2025-01-09 | オリンパスメディカルシステムズ株式会社 | Image processing device, image processing method, and image processing program |
| Publication | Publication Date | Title |
|---|---|---|
| JPH11309A (en) | Image processing device | |
| US11883118B2 (en) | Using augmented reality in surgical navigation | |
| JP6083103B2 (en) | Image complementation system for image occlusion area, image processing apparatus and program thereof | |
| CN109069217B (en) | System and method for pose estimation and calibration of fluoroscopic imaging systems in image-guided surgery | |
| JP6395995B2 (en) | Medical video processing method and apparatus | |
| CN102512209B (en) | Ultrasonic diagnostic equipment | |
| JP6643362B2 (en) | Method and apparatus for providing updated patient images during robotic surgery | |
| JP5657467B2 (en) | Medical image display system | |
| EP3395282A1 (en) | Endoscopic view of invasive procedures in narrow passages | |
| JP2019507623A (en) | System and method for using aligned fluoroscopic images in image guided surgery | |
| Navab et al. | Laparoscopic virtual mirror new interaction paradigm for monitor based augmented reality | |
| JP2013202313A (en) | Surgery support device and surgery support program | |
| JP2011212301A (en) | Projection image generation apparatus and method, and program | |
| JPH11161813A (en) | Operation simulation device | |
| US11771508B2 (en) | Robotically-assisted surgical device, robotically-assisted surgery method, and system | |
| WO2023065988A1 (en) | Collision detection method and apparatus, device, and readable storage medium | |
| US20250072969A1 (en) | Systems and methods for integrating intra-operative image data with minimally invasive medical techniques | |
| EP3944254A1 (en) | System for displaying an augmented reality and method for generating an augmented reality | |
| US10376335B2 (en) | Method and apparatus to provide updated patient images during robotic surgery | |
| Jing et al. | Navigating system for endoscopic sinus surgery based on augmented reality | |
| US20250120569A1 (en) | Systems and methods for a differentiated interaction environment | |
| JP7495216B2 (en) | Endoscopic surgery support device, endoscopic surgery support method, and program | |
| JP7182127B2 (en) | ROBOT SURGERY SUPPORT DEVICE, INFORMATION OUTPUT METHOD, AND PROGRAM | |
| JP5751993B2 (en) | Image processing apparatus, image processing method, and program | |
| Navab et al. | Laparoscopic Virtual Mirror |