WO2019035206A1 - Medical system and image generation method - Google Patents

Abstract

Translated fromJapanese

医療システムは、処置具と、撮像部を有する内視鏡と、前記撮像部が取得した撮像画像から表示画像を生成する制御装置と、前記表示画像を表示する表示装置と、医療機器を選択する入力装置と、を備え、前記制御装置は、前記内視鏡から前記処置具までの相対位置を計測し、前記制御装置は、前記相対位置に基づいて、前記表示画像に映る前記処置具に対して相対的な位置にあって相対的な大きさを有する前記医療機器の仮想画像を、前記表示画像に重畳する。The medical system selects a treatment tool, an endoscope having an imaging unit, a control device that generates a display image from a captured image acquired by the imaging unit, a display device that displays the display image, and a medical device. An input device, wherein the control device measures a relative position from the endoscope to the treatment tool, and the control device measures the treatment tool shown in the display image based on the relative position And superimpose a virtual image of the medical device having a relative size and a relative size on the display image.

Description

Translated fromJapanese

医療システムおよび画像生成方法Medical system and image generation method

　本発明は、医療システムおよび医療システムを用いた画像生成方法に関する。The present invention relates to a medical system and an image generation method using the medical system.

　腹腔鏡下手術では、患者の腹部などに複数の穴を開け、内視鏡、鉗子、電気メスといった各種医療機器を挿入し、内視鏡で撮像された映像を確認することで、患部の観察および施術が行われる。この腹腔鏡下手術は、切開領域が少なくて済むため、患者に対する負担を軽減することが可能である。In laparoscopic surgery, a plurality of holes are made in the patient's abdomen etc., various medical devices such as an endoscope, forceps, and an electric scalpel are inserted, and observation of the affected area is confirmed by confirming an image captured by the endoscope. And the procedure is performed. This laparoscopic surgery can reduce the burden on the patient because it requires less incision area.

　腹腔鏡下手術では、処置に合わせて適切な種類の医療機器が選択され、選択された医療機器が腹腔内に挿入される。例えば、腹壁に形成されたヘルニア門をメッシュで塞ぐ腹壁ヘルニア手術においては、術者はヘルニア門を塞ぐために必要十分な最適なサイズのメッシュを選択し、選択したメッシュを腹腔内に挿入する必要がある。In laparoscopic surgery, the appropriate type of medical device is selected in accordance with the procedure, and the selected medical device is inserted into the abdominal cavity. For example, in abdominal wall hernia surgery in which the hernia gate formed in the abdominal wall is closed with mesh, the operator needs to select a mesh with the optimal size necessary and sufficient to close the hernia gate, and insert the selected mesh into the abdominal cavity is there.

　術者は、内視鏡で撮像された映像を確認して、３次元空間内における組織の輪郭の長さや面積を推測し、最適なサイズのメッシュを選択する。選択したメッシュを腹腔内に挿入し、メッシュのサイズがヘルニア門に対して小さいことが判明した場合、術者はメッシュを腹腔内から取り出し、再選択したメッシュを再び腹腔内に挿入する必要がある。術者の経験や技術によっては、メッシュ選択の試行錯誤に時間がかかるという課題がある。The operator confirms the image captured by the endoscope, estimates the length and area of the contour of the tissue in the three-dimensional space, and selects a mesh of an optimal size. If the selected mesh is inserted into the abdominal cavity and the size of the mesh is found to be small relative to the hernia gate, the operator needs to remove the mesh from the abdominal cavity and reinsert the reselected mesh into the abdominal cavity . Depending on the experience and technique of the operator, there is a problem that it takes time for trial and error of mesh selection.

　特許文献１には、内視鏡が取得した組織の内視鏡画像から、３次元空間内における組織の輪郭の長さや面積を計測することができる遠隔手術ロボットシステムが記載されている。遠隔手術ロボットシステムは、例えば、処置具で指定された計測点の間の距離を計測し、計測した距離情報を内視鏡画像に重畳して表示することができる。遠隔手術ロボットシステムを使用する術者は、内視鏡画像に映る組織の３次元空間内における寸法等を把握することができる。Patent Document 1 describes a telesurgery robot system capable of measuring the length and area of a contour of a tissue in a three-dimensional space from an endoscopic image of the tissue acquired by the endoscope. The telesurgical robot system can measure, for example, the distance between measurement points designated by a treatment tool, and superimpose the measured distance information on an endoscopic image for display. The operator who uses the telesurgical robot system can grasp the dimensions and the like in the three-dimensional space of the tissue shown in the endoscopic image.

米国特許９１５５５９２号明細書US Patent No. 9155592

　しかしながら、特許文献１に記載の遠隔手術ロボットシステムは、３次元空間の計測を実施するためには測定点の指定等の手続きが必要で、３次元空間内における寸法等を迅速に計測できるものではなかった。また、術者は、３次元空間内における寸法等の計測結果から、最適な種類の医療機器を直感的に判断することは難しかった。However, the telesurgical robot system described inPatent Document 1 requires procedures such as designation of measurement points in order to perform measurement in a three-dimensional space, and it is possible to rapidly measure dimensions etc. in the three-dimensional space. It was not. In addition, it has been difficult for the operator to intuitively determine the most appropriate type of medical device from the measurement results of dimensions and the like in the three-dimensional space.

　上記事情を踏まえ、本発明は、適切な種類の医療機器の選択を支援可能な医療システムおよび医療システムを用いた画像生成方法を提供することを目的とする。In the light of the above circumstances, the present invention aims to provide a medical system capable of supporting selection of an appropriate type of medical device and an image generation method using the medical system.

　上記課題を解決するために、この発明は以下の手段を提案している。
　本発明に係る医療システムは、処置具と、撮像部を有する内視鏡と、前記撮像部が取得した撮像画像から表示画像を生成する制御装置と、前記表示画像を表示する表示装置と、医療機器を選択する入力装置と、を備え、前記制御装置は、前記内視鏡から前記処置具までの相対位置を計測し、前記制御装置は、前記相対位置に基づいて、前記表示画像に映る前記処置具に対して相対的な位置にあって相対的な大きさを有する前記医療機器の仮想画像を、前記表示画像に重畳する。In order to solve the above-mentioned subject, this invention proposes the following means.
A medical system according to the present invention includes a treatment tool, an endoscope having an imaging unit, a control device that generates a display image from a captured image acquired by the imaging unit, a display device that displays the display image, and medical treatment An input device for selecting a device, the control device measures a relative position from the endoscope to the treatment tool, and the control device reflects the display image based on the relative position A virtual image of the medical device at a relative position to the treatment tool and having a relative size is superimposed on the display image.

　本発明に係る画像生成方法は、内視鏡の撮像部が取得した撮像画像から表示画像を生成する医療システムにおいて、入力装置を用いて医療機器を選択させる医療機器選択工程と、内視鏡から処置具までの相対位置を計測する相対位置計測工程と、前記相対位置に基づいて、前記表示画像に映る前記処置具に対して相対的な位置にあって相対的な大きさを有する前記医療機器の仮想画像を、前記表示画像に重畳する仮想画像重畳工程と、を備える。The image generation method according to the present invention is a medical system in which a display image is generated from a captured image acquired by an imaging unit of an endoscope, and a medical device selecting step of selecting a medical device using an input device; The medical device having a relative size relative to the treatment tool shown in the display image based on the relative position measuring step of measuring the relative position to the treatment tool and the relative position And a virtual image superimposing step of superimposing the virtual image on the display image.

　本発明の医療システムおよび画像生成方法によれば、適切な種類の医療機器の選択を支援することができる。According to the medical system and image generation method of the present invention, selection of an appropriate type of medical device can be assisted.

本発明の第一実施形態に係る医療システムの全体構成を示す図である。It is a figure showing the whole medical system composition concerning a first embodiment of the present invention.同医療システムのハードウェア構成図である。It is a hardware block diagram of the medical system.同医療システムの制御部の全体構成例を示す図である。It is a figure which shows the example of whole structure of the control part of the medical system.同医療システムを用いた腹腔鏡下手術の様子を示す図である。It is a figure which shows the mode of laparoscopic surgery using the medical system.同医療システムにおいて、選択されたメッシュＡの仮想画像が重畳された表示画像を示している。In the medical system, the display image on which the virtual image of the selected mesh A is superimposed is shown.同医療システムにおいて、選択されたメッシュＢの仮想画像が重畳された表示画像を示している。In the medical system, the display image on which the virtual image of the selected mesh B is superimposed is shown.同医療システムを用いて大腸切離を行う腹腔鏡下手術の様子を示す図である。It is a figure which shows the mode of laparoscopic surgery which performs a large intestine detachment using the same medical care system.同医療システムにおいて、選択されたステープラＡの仮想画像が重畳された表示画像を示している。In the medical system, the display image on which the virtual image of the selected stapler A is superimposed is shown.同医療システムにおいて、選択されたステープラＢの仮想画像が重畳された表示画像を示している。In the medical system, the display image on which the virtual image of the selected stapler B is superimposed is shown.同医療システムの変形例の全体構成を示す図である。It is a figure which shows the whole structure of the modification of the medical system.同医療システムの変形例の全体構成を示す図である。It is a figure which shows the whole structure of the modification of the medical system.本発明の第二実施形態に係る医療システムにおいて、選択されたメッシュＡの仮想画像が重畳された表示画像を示している。The medical system which concerns on 2nd embodiment of this invention WHEREIN: The display image on which the virtual image of the selected mesh A was superimposed is shown.同医療システムにおいて、選択されたメッシュＡの仮想画像が重畳された表示画像を示している。In the medical system, the display image on which the virtual image of the selected mesh A is superimposed is shown.同医療システムにおいて、選択されたメッシュＡの仮想画像が重畳された表示画像を示している。In the medical system, the display image on which the virtual image of the selected mesh A is superimposed is shown.同医療システムにおいて、選択されたステープラＢの仮想画像が重畳された表示画像を示している。In the medical system, the display image on which the virtual image of the selected stapler B is superimposed is shown.本発明の第三実施形態に係る医療システムの内視鏡を示している。The endoscope of the medical system concerning a third embodiment of the present invention is shown.同医療システムにおいて、選択されたスネアＡの仮想画像が重畳された表示画像を示している。In the medical system, the display image on which the virtual image of the selected snare A is superimposed is shown.同医療システムにおいて、選択されたスネアＢの仮想画像が重畳された表示画像を示している。In the medical system, the display image on which the virtual image of the selected snare B is superimposed is shown.

（第一実施形態）
　本発明の第一実施形態について、図１から図１１を参照して説明する。なお、図面を見やすくするため、各構成要素の寸法等は適宜調整されている。First Embodiment
A first embodiment of the present invention will be described with reference to FIGS. In addition, in order to make a drawing legible, the dimension etc. of each component are adjusted suitably.

　図１は、本実施形態に係る医療システム１００の全体構成を示す図である。
　医療システム１００は、図１に示すように、処置具１と、内視鏡２と、制御装置３と、表示装置４と、入力装置５と、を備えている。医療システム１００は、腹腔鏡下手術において、腹壁に開けた別々の孔（開口）から処置具１や内視鏡２などを挿入して行う処置を支援するシステムである。FIG. 1 is a diagram showing an entire configuration of amedical system 100 according to the present embodiment.
As shown in FIG. 1, themedical system 100 includes atreatment tool 1, anendoscope 2, acontrol device 3, adisplay device 4, and aninput device 5. Themedical system 100 is a system that supports a treatment to be performed by inserting thetreatment instrument 1 or theendoscope 2 or the like from separate holes (openings) opened in an abdominal wall in laparoscopic surgery.

　処置具１は、図１に示すように、患者の腹腔内に挿入可能な長尺の挿入部１０と、挿入部１０の基端側に設けられた操作部１１と、を有する。術者は、患者の腹部Ｂに穿刺したトロッカＴに挿入部１０を通し、挿入部１０を腹腔内に導入する。処置の種類や患部の状況により、術者は複数の処置具１を腹腔内に導入する場合もある。As shown in FIG. 1, thetreatment tool 1 has anelongated insertion portion 10 that can be inserted into the abdominal cavity of a patient, and anoperation portion 11 provided on the proximal end side of theinsertion portion 10. The operator passes theinsertion portion 10 through the trocar T which is punctured in the abdomen B of the patient and introduces theinsertion portion 10 into the abdominal cavity. Depending on the type of treatment and the condition of the affected area, the operator may introduce a plurality oftreatment tools 1 into the abdominal cavity.

　挿入部１０は、図１に示すように、先端に患者の患部を処置する処置部１２を有する。本実施形態において処置部１２は、一対の把持部材１２ａで構成された把持機構である。As shown in FIG. 1, theinsertion portion 10 has atreatment portion 12 at the tip end for treating an affected area of a patient. In the present embodiment, thetreatment unit 12 is a gripping mechanism configured by a pair of grippingmembers 12 a.

　操作部１１は、一対の把持部材１２ａを操作する部材である。操作部１１はハンドルを有しており、ハンドルを操作部１１の他の部分に対して相対移動させることで、処置部１２の一対の把持部材１２ａを開閉させる。術者は、片手で操作部１１を保持して、処置部１２を操作することができる。Theoperation unit 11 is a member for operating the pair of grippingmembers 12a. Theoperation unit 11 has a handle, and moves the handle relative to the other portion of theoperation unit 11 to open and close the pair of holdingmembers 12 a of thetreatment unit 12. The operator can operate thetreatment unit 12 by holding theoperation unit 11 with one hand.

　図２は、処置具１を除く医療システム１００のハードウェア構成図である。
　内視鏡２は、図１および図２に示すように、患者の腹腔内に挿入可能な長尺で硬性の挿入部２０と、持手部２１と、を有する。術者は、図１に示すように、患者の腹部Ｂに穿刺したトロッカＴに挿入部２０を通し、挿入部２０を腹腔内に導入する。FIG. 2 is a hardware configuration diagram of themedical system 100 excluding thetreatment tool 1.
As shown in FIGS. 1 and 2, theendoscope 2 has an elongatedrigid insertion portion 20 which can be inserted into the abdominal cavity of a patient, and ahandle portion 21. As shown in FIG. 1, the operator passes theinsertion portion 20 through the trocar T which is punctured in the abdomen B of the patient and introduces theinsertion portion 20 into the abdominal cavity.

　図１に示すように、挿入部２０は先端に、患者の腹部内の様子を撮影するためのレンズや撮像素子を有する撮像部２２が設けられている。腹腔内に導入された挿入部２０は、撮像部２２が腹部内の処置対象の患部を撮影可能な位置に配置される。撮像部２２は、光学ズームもしくは電子ズームの機能を有していてもよい。As shown in FIG. 1, theinsertion unit 20 is provided at the tip thereof with animaging unit 22 having a lens for imaging a situation in the abdomen of a patient and an imaging element. Theinsertion unit 20 introduced into the abdominal cavity is disposed at a position where theimaging unit 22 can photograph an affected area in the abdomen that is a treatment target. Theimaging unit 22 may have an optical zoom or electronic zoom function.

　術者は、持手部２１を持って内視鏡２を移動させることで、内視鏡２の撮像部２２の位置や向きを変更することができる。
　なお、挿入部２０は、能動的に湾曲する能動湾曲部をさらに有してもよい。挿入部２０の一部に設けられた能動湾曲部を湾曲させることで、撮像部２２の位置や向きを変更することができる。The operator can change the position and the orientation of theimaging unit 22 of theendoscope 2 by holding theholding unit 21 and moving theendoscope 2.
Theinsertion portion 20 may further include an active bending portion that actively bends. By bending the active bending portion provided in a part of theinsertion portion 20, the position and the orientation of theimaging unit 22 can be changed.

　持手部２１の内部には、撮像部２２を制御する制御信号線や、撮像部２２が撮像した撮像画像を転送する伝送信号等が配線されている。A control signal line for controlling theimaging unit 22, a transmission signal for transferring a captured image captured by theimaging unit 22, and the like are wired inside thehand holding unit 21.

　制御装置３は、図２に示すように、制御部３３を有している。制御装置３は、内視鏡２の撮像部２２が撮像した撮像画像を受信し、表示画像として表示装置４に転送する。Thecontrol device 3 has acontrol unit 33, as shown in FIG. Thecontrol device 3 receives the captured image captured by theimaging unit 22 of theendoscope 2 and transfers it to thedisplay device 4 as a display image.

　制御部３３は、ＣＰＵ（Central Processing Unit）やメモリ等のプログラム実行可能なハードウェアを備えた装置（コンピュータ）によって構成される。制御部３３の機能は、ＣＰＵを制御するプログラムを制御部３３が読み込んで実行することにより、ソフトウェアの機能として実現可能である。
　なお、制御部３３の少なくとも一部を専用の論理回路等によって構成してもよい。
　さらには、制御部３３を構成する少なくとも一部のハードウェアを通信回線で結ぶことでも同様の機能を実現可能である。Thecontrol unit 33 is configured by a device (computer) provided with hardware capable of executing programs such as a CPU (Central Processing Unit) and a memory. The function of thecontrol unit 33 can be realized as a function of software by thecontrol unit 33 reading and executing a program for controlling the CPU.
Note that at least a part of thecontrol unit 33 may be configured by a dedicated logic circuit or the like.
Furthermore, the same function can be realized by connecting at least a part of hardware configuring thecontrol unit 33 with a communication line.

　図３（ａ）は、制御部３３の全体構成例を示す図である。
　制御部３３は、図３（ａ）に示すように、ＣＰＵ３４と、プログラムを読み込み可能なメモリ３５と、記憶部３６と、入出力制御部３７と、を有している。制御部３３に提供された、制御部３３の動作を制御するためのプログラムがメモリ３５に読み込まれ、ＣＰＵ３４によって実行される。FIG. 3A shows an example of the overall configuration of thecontrol unit 33. As shown in FIG.
As shown in FIG. 3A, thecontrol unit 33 includes aCPU 34, amemory 35 capable of reading a program, astorage unit 36, and an input /output control unit 37. A program provided to thecontrol unit 33 for controlling the operation of thecontrol unit 33 is read into thememory 35 and executed by theCPU 34.

　記憶部３６は、上述したプログラムや必要なデータを記憶する不揮発性の記録媒体である。記憶部３６は、例えばＲＯＭやハードディスク等で構成される。記憶部３６に記録されたプログラムは、メモリ３５に読み込まれ、ＣＰＵ３４によって実行される。Thestorage unit 36 is a non-volatile storage medium storing the above-described program and necessary data. Thestorage unit 36 is configured of, for example, a ROM, a hard disk or the like. The program recorded in thestorage unit 36 is read into thememory 35 and executed by theCPU 34.

　記憶部３６には、例えば、鉗子、電気メス、ステープラ、スネア、メッシュ等の腹腔内に導入される医療機器の「種別」と、医療機器の「種別」ごとの仮想画像または仮想画像をプログラム実行により生成可能な仮想画像用形状データと、が保存されている。また、サイズのバリエーションがある医療機器に関しては、「サイズ」ごとの仮想画像または「サイズ」ごとの仮想画像を生成することができる仮想画像用形状データも記憶部３６に保存される。
　以降の説明において、仮想画像または仮想画像用形状データのことを、「仮想画像データ」と称し、医療機器の「種別」と「サイズ」ごとの仮想画像データのことを、「医療機器情報」と称す。Thestorage unit 36 executes, for example, virtual images or virtual images of “types” of medical devices introduced into the abdominal cavity, such as forceps, electric scalpel, stapler, snare, mesh, etc., and “types” of medical devices. And shape data for virtual image that can be generated. Further, with regard to medical devices having variations in size, virtual image shape data capable of generating a virtual image for each “size” or a virtual image for each “size” is also stored in thestorage unit 36.
In the following description, virtual image or virtual image shape data is referred to as "virtual image data", and virtual image data for each "type" and "size" of a medical device is referred to as "medical device information". Name.

　入出力制御部３７は、内視鏡２からの入力データを受け取り、その入力データをＣＰＵ３４等に転送する。また、入出力制御部３７は、ＣＰＵ３４の指示に基づき、内視鏡２や表示装置４に対するデータや制御信号等を生成する。The input /output control unit 37 receives input data from theendoscope 2 and transfers the input data to theCPU 34 or the like. The input /output control unit 37 also generates data, control signals, and the like for theendoscope 2 and thedisplay device 4 based on an instruction of theCPU 34.

　制御部３３は、内視鏡２から入力データとして撮像画像を受け取り、その撮像画像をメモリ３５に読み込む。メモリ３５に読み込まれたプログラムに基づき、ＣＰＵ３４は撮像画像に対して画像処理を行う。画像処理が実施された撮像画像は、表示画像として表示装置４に転送される。Thecontrol unit 33 receives a captured image as input data from theendoscope 2 and reads the captured image into thememory 35. Based on the program read into thememory 35, theCPU 34 performs image processing on the captured image. The captured image subjected to the image processing is transferred to thedisplay device 4 as a display image.

　制御部３３は、通常モードと仮想画像重畳モードの少なくとも二種類の画像処理の動作モードを有している。動作モードは、プログラムによって制御される。
　通常モードで動作する制御部３３は、撮像画像に対して画像フォーマット変換やコントラスト調整やリサイズ処理などの画像処理を行って表示画像を生成する。
　仮想画像重畳モードで動作する制御部３３は、通常モードにおける画像処理に加えて、後述する医療機器の仮想画像を、表示画像に重畳する画像処理を行う。Thecontrol unit 33 has at least two types of image processing operation modes of a normal mode and a virtual image superposition mode. The operating mode is controlled by the program.
Thecontrol unit 33 operating in the normal mode performs image processing such as image format conversion, contrast adjustment, and resizing processing on the captured image to generate a display image.
In addition to the image processing in the normal mode, thecontrol unit 33 operating in the virtual image superposition mode performs an image processing of superimposing a virtual image of a medical device described later on a display image.

　ここで、制御部３３は、１つのハードウェアに備わる装置に限られない。例えば、制御部３３は、ＣＰＵ３４と、メモリ３５と、記憶部３６と、入出力制御部３７とをそれぞれ別体のハードウェアとして分離した上で、ハードウェア同士を通信回線で接続することで構成してもよい。あるいは、制御部３３は、記憶部３６を分離して、同様に通信回線で接続することで、制御部３３をクラウドシステムとして実現してもよい。Here, thecontrol unit 33 is not limited to the device provided in one piece of hardware. For example, thecontrol unit 33 is configured by separating theCPU 34, thememory 35, thestorage unit 36, and the input /output control unit 37 as separate pieces of hardware, and then connecting the hardware through a communication line. You may Alternatively, thecontrol unit 33 may realize thecontrol unit 33 as a cloud system by separating thestorage unit 36 and similarly connecting through the communication line.

　なお、制御部３３は、図３（ａ）に示すＣＰＵ３４、メモリ３５、記憶部３６、および入出力制御部３７以外のもので、制御装置３の動作を制御するために必要なものを、さらに有してもよい。例えば、図３（ｂ）に示すように、制御部３３は、ＣＰＵ３４が行っていた画像処理や画像認識処理の一部もしくは全部を行う画像演算部３８をさらに有してもよい。画像演算部３８をさらに有することで、制御部３３は、特定の画像処理や画像認識処理を高速に実行することができる。また、上記の表示画像のメモリ３５から表示装置４への転送を行う画像転送部をさらに有してもよい。Thecontrol unit 33 is other than theCPU 34, thememory 35, thestorage unit 36, and the input /output control unit 37 shown in FIG. 3A, and further, those necessary to control the operation of thecontrol device 3 are further included. You may have. For example, as shown in FIG. 3B, thecontrol unit 33 may further include an image operation unit 38 that performs part or all of the image processing and image recognition processing performed by theCPU 34. By further including the image calculation unit 38, thecontrol unit 33 can execute specific image processing and image recognition processing at high speed. Further, it may further include an image transfer unit for transferring the display image from thememory 35 to thedisplay device 4.

　表示装置４は、制御装置３が転送した表示画像を表示する装置である。表示装置４は、ＬＣＤディスプレイ等の公知のモニタ４１を有している。表示装置４は、モニタ４１を複数有してもよい。表示装置４は、モニタ４１の代わりに、ヘッドマウントディスプレイやプロジェクタを備えていてもよい。Thedisplay device 4 is a device that displays the display image transferred by thecontrol device 3. Thedisplay device 4 has a knownmonitor 41 such as an LCD display. Thedisplay device 4 may have a plurality ofmonitors 41. Thedisplay device 4 may include a head mounted display or a projector instead of themonitor 41.

　モニタ４１は、制御装置３が生成したＧＵＩ(Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ)画像をＧＵＩ表示することもできる。例えば、モニタ４１は、術者に対して医療システム１００の制御情報表示や注意喚起表示をＧＵＩ表示することができる。
また、制御部３３が術者からの情報入力を必要とする場合、入力装置５から情報を入力することを促すメッセージや情報入力に必要なＧＵＩ表示を、表示装置４は表示することもできる。Themonitor 41 can also display a GUI (Graphical User Interface) image generated by thecontrol device 3 as a GUI. For example, themonitor 41 can display a control information display of themedical system 100 and an alert display on the GUI for the operator.
In addition, when thecontrol unit 33 needs information input from the operator, thedisplay device 4 can also display a message prompting the user to input information from theinput device 5 or a GUI display necessary for the information input.

　入力装置５は、術者が制御部３３に対しての指示等を入力する装置である。入力装置５は、図２に示すように、入力部５１を有する。Theinput device 5 is a device by which an operator inputs an instruction or the like to thecontrol unit 33. Theinput device 5 has aninput unit 51 as shown in FIG.

　入力部５１は、制御部３３の画像処理の動作モードを選択し、また、表示画像に仮想画像として重畳表示する医療機器を選択する装置である。入力部５１は、スイッチにより構成されていてもよいし、タッチパネルにより構成されていてもよい。タッチパネルはモニタ４１と一体化されていてもよい。Theinput unit 51 is a device that selects an operation mode of image processing of thecontrol unit 33, and selects a medical device to be superimposed and displayed as a virtual image on a display image. Theinput unit 51 may be configured by a switch or may be configured by a touch panel. The touch panel may be integrated with themonitor 41.

　入力部５１は、キーボードやマウスにより構成されていてもよい。この場合、制御部３３は、動作モード一覧や医療機器一覧をモニタ４１にＧＵＩ表示し、モニタ４１に表示される一覧から、術者は所望の動作モードや医療機器をキーボードやマウスへの操作入力によって選択してもよい。制御装置３は、入力部５１から術者が入力した選択情報を取得する。Theinput unit 51 may be configured by a keyboard or a mouse. In this case, thecontrol unit 33 displays a list of operation modes and a list of medical devices on themonitor 41 as a GUI, and from the list displayed on themonitor 41, the operator inputs desired operation modes and operation of medical devices to the keyboard and mouse. It may be selected by Thecontrol device 3 acquires, from theinput unit 51, selection information input by the operator.

　術者は、入力部５１を用いて、医療機器一覧から、例えば、鉗子、電気メス、ステープラ、スネア、メッシュ等の腹腔内に導入される医療機器の「種別」を選択することができる。また、サイズのバリエーションがある医療機器に関しては「サイズ」も選択することができる。The operator can use theinput unit 51 to select the “type” of the medical device to be introduced into the abdominal cavity, such as forceps, electric scalpel, stapler, snare or mesh, from the medical device list. Also, for medical devices that have variations in size, "size" can also be selected.

　次に、腹壁に形成されたヘルニア門をメッシュで塞ぐ腹腔鏡下手術を例として、医療システム１００の動作および医療システム１００を用いた画像生成方法を、図４および図５を参照して説明する。図４は、医療システム１００を用いた腹腔鏡下手術の様子を示す図である。Next, the operation of themedical system 100 and an image generation method using themedical system 100 will be described with reference to FIGS. 4 and 5 by taking laparoscopic surgery as an example in which a hernia gate formed in the abdominal wall is closed with mesh. . FIG. 4 is a view showing laparoscopic surgery using themedical system 100. As shown in FIG.

　術者は、患者の腹部ＢにトロッカＴを設置するための孔（開口）を複数設け、孔にトロッカＴを穿刺する。次に術者は、図４に示すように、医療システム１００の処置具１の挿入部１０と内視鏡２の挿入部２０とを、患者の腹部Ｂに穿刺されたトロッカＴに通して、腹腔内に導入する。The operator provides a plurality of holes (openings) for placing the trocar T in the abdomen B of the patient, and punctures the trocar T in the holes. Next, as shown in FIG. 4, the operator passes theinsertion portion 10 of thetreatment tool 1 of themedical system 100 and theinsertion portion 20 of theendoscope 2 through the trocar T punctured in the abdomen B of the patient, Introduce into the abdominal cavity.

　術者は、図４に示すように、表示画像Ｄに処置対象のヘルニア門Ｈが含まれるように、持手部２１を持って内視鏡２を移動させて、内視鏡の撮像部２２の位置や向きを変更する。撮像部２２が光学ズームもしくは電子ズームの機能を有している場合は、その機能を調整する。図４に示す表示画像Ｄには、処置具１の挿入部１０の処置部１２が撮像されている。制御部３３の画像処理の動作モードは「通常モード」に初期設定されているため、医療機器の仮想画像は表示画像Ｄには重畳されていない。The operator holds thehandle 21 and moves theendoscope 2 so that the hernia gate H to be treated is included in the display image D as shown in FIG. Change the position or orientation of If theimaging unit 22 has an optical zoom or electronic zoom function, the function is adjusted. In the display image D shown in FIG. 4, thetreatment unit 12 of theinsertion unit 10 of thetreatment tool 1 is imaged. Since the operation mode of the image processing of thecontrol unit 33 is initially set to the “normal mode”, the virtual image of the medical device is not superimposed on the display image D.

　次に、術者は、ヘルニア門Ｈを塞ぐためのメッシュを腹腔内に導入する前に、ヘルニア門Ｈを塞ぐために必要十分な最適なメッシュのサイズを検討する。術者は制御部３３の画像処理の動作モードを「仮想画像重畳モード」に設定する。Next, before introducing the mesh for closing the hernia gate H into the abdominal cavity, the operator examines the optimal mesh size necessary and sufficient for closing the hernia gate H. The operator sets the operation mode of the image processing of thecontrol unit 33 to the “virtual image superposition mode”.

　動作モードが「仮想画像重畳モード」に設定された制御部３３は、医療機器一覧と、入力部５１から医療機器の「種別」と「サイズ」を選択することを促すメッセージとをモニタ４１に表示させる。
　術者は、入力部５１を操作し、最適なサイズであると推測した「メッシュＡ」を選択する（医療機器選択工程）。Thecontrol unit 33 in which the operation mode is set to the “virtual image superposition mode” displays on the monitor 41 a medical device list and a message prompting the user to select the “type” and “size” of the medical device from theinput unit 51 Let
The operator operates theinput unit 51 to select “mesh A” which is estimated to be the optimum size (medical device selection step).

　動作モードが「仮想画像重畳モード」に設定された制御部３３は、内視鏡２の撮像部２２から処置具の処置部１２までの３次元相対位置を計測する（相対位置計測工程）。
　３次元相対位置の計測は公知の方法から適宜選択した方法により実施することができる。例えば、画像処理による位置計測（ケース１）、ステレオカメラによる位置計測（ケース２）、レーザ等による位置計測（ケース３）、センシングによる位置測定（ケース４）などの方法を使用することができる。Thecontrol unit 33 in which the operation mode is set to the “virtual image superposition mode” measures the three-dimensional relative position from theimaging unit 22 of theendoscope 2 to thetreatment unit 12 of the treatment instrument (relative position measurement step).
The measurement of the three-dimensional relative position can be performed by a method appropriately selected from known methods. For example, methods such as position measurement by image processing (case 1), position measurement by stereo camera (case 2), position measurement by laser etc (case 3), position measurement by sensing (case 4), etc. can be used.

　撮像部２２が撮像した撮像画像を用いて、処置部１２までの３次元相対位置を計測することができる（ケース１）。例えば、移動する処置部１２を撮影し、画像特徴の移動量から３次元相対位置を計測することができる。また、処置部１２の寸法が既知である場合は、その寸法に基づいて３次元相対位置を計測することもできる。また、処置部１２に光学マーカ等の目印を設けることで、３次元相対位置を容易に計測することができる。The three-dimensional relative position to thetreatment unit 12 can be measured using the captured image captured by the imaging unit 22 (case 1). For example, the movingtreatment unit 12 can be photographed, and the three-dimensional relative position can be measured from the movement amount of the image feature. If the dimensions of thetreatment section 12 are known, the three-dimensional relative position can also be measured based on the dimensions. In addition, by providing a mark such as an optical marker on thetreatment unit 12, the three-dimensional relative position can be easily measured.

　撮像部２２をステレオカメラで構成することで、ステレオカメラの視差画像を用いて、撮像部２２から処置部１２までの３次元相対位置を計測することができる（ケース２）。By configuring theimaging unit 22 with a stereo camera, it is possible to measure a three-dimensional relative position from theimaging unit 22 to thetreatment unit 12 using a parallax image of the stereo camera (case 2).

　レーザ、光、超音波等を撮像部２２から発し、そのフィードバック情報から、撮像部２２から処置部１２までの３次元相対位置を計測することができる（ケース３）。撮像部２２からパターン投影を行って、パターン投影結果を解析することで、処置部１２までの３次元相対位置を計測してもよい。Laser, light, ultrasonic waves and the like are emitted from theimaging unit 22, and the three-dimensional relative position from theimaging unit 22 to thetreatment unit 12 can be measured from the feedback information (case 3). The three-dimensional relative position to thetreatment unit 12 may be measured by performing pattern projection from theimaging unit 22 and analyzing the pattern projection result.

　また、処置部１２や撮像部２２に、磁気センサ等を設置し、外部のアンテナが受信した磁気センサ等の位置情報から、撮像部２２から処置部１２までの３次元相対位置を計測することができる（ケース４）。In addition, a magnetic sensor or the like may be installed in thetreatment unit 12 or theimaging unit 22, and the three-dimensional relative position from theimaging unit 22 to thetreatment unit 12 may be measured from position information such as a magnetic sensor received by an external antenna. Yes (case 4).

　ここで、ケース１からケース４に示した３次元相対位置の計測方法において、処置部１２の３次元相対位置に加えて、処置部１２の３次元相対姿勢を計測できる方法が望ましい。Here, in the method of measuring the three-dimensional relative position shown incase 1 tocase 4, it is desirable to be able to measure the three-dimensional relative posture of thetreatment unit 12 in addition to the three-dimensional relative position of thetreatment unit 12.

　なお、医療機器選択工程と相対位置計測工程とは、制御部３３が並列に実施してもよいし、いずれかを先に実施してもよい。In addition, thecontrol part 33 may parallelly implement a medical device selection process and a relative-position measurement process, and may implement either one first.

　次に、制御部３３は、３次元相対位置の計測結果に基づいて、選択された医療機器の仮想画像を表示画像Ｄに重畳する（仮想画像重畳工程）。図５（ａ）は、医療機器として選択された「メッシュＡ」の仮想画像ＶＭ１が、処置部１２が映る位置に重畳された表示画像Ｄを示している。図５（ｂ）は、処置具１を移動させた場合の表示画像Ｄを示している。Next, thecontrol unit 33 superimposes the virtual image of the selected medical device on the display image D based on the measurement result of the three-dimensional relative position (virtual image superposition step). FIG. 5A shows a display image D in which the virtual image VM1 of “mesh A” selected as the medical device is superimposed on the position where thetreatment unit 12 appears. FIG. 5 (b) shows a display image D when thetreatment tool 1 is moved.

　制御部３３は、仮想画像ＶＭ１の表示画像Ｄへの重畳処理において、透明度を設定することができる。仮想画像ＶＭ１が半透明となるように表示画像Ｄに重畳することで、仮想画像ＶＭ１によって重畳された部分に予め表示されていた表示内容も確認することができる。Thecontrol unit 33 can set the transparency in the process of superimposing the virtual image VM1 on the display image D. By superimposing the virtual image VM1 on the display image D so that the virtual image VM1 is translucent, it is possible to confirm the display content previously displayed on the portion superimposed by the virtual image VM1.

　制御部３３は、撮像部２２から処置部１２までの相対距離に基づいて、表示画像Ｄに映る処置部１２に対して相対的な位置にあって相対的な大きさを有する選択された医療機器の仮想画像ＶＭ１を生成する。仮想画像ＶＭ１の生成には、記憶部３６に保存されている医療機器情報を用いる。Thecontrol unit 33 is a selected medical device having a relative size to thetreatment unit 12 shown in the display image D based on the relative distance from theimaging unit 22 to thetreatment unit 12. To generate a virtual image VM1 of The medical device information stored in thestorage unit 36 is used to generate the virtual image VM1.

　仮想画像ＶＭ１が重畳された表示画像Ｄは、モニタ４１に表示される。術者は、図５（ａ）に示すように、仮に「メッシュＡ」を処置部１２が保持している場合の様子を仮想的に見ることができる。The display image D on which the virtual image VM1 is superimposed is displayed on themonitor 41. As shown in FIG. 5 (a), the operator can virtually see the situation where thetreatment section 12 is holding "mesh A".

　術者が処置具１を移動させ、表示画像Ｄ内の処置部１２の位置が変更された場合、メッシュＡの仮想画像ＶＭ１は表示画像Ｄに映る処置部１２に対して相対的な位置に重畳されるため、メッシュＡの仮想画像ＶＭ１が重畳される位置も変更される。すなわち、メッシュＡの仮想画像ＶＭ１が重畳される位置は、表示画像Ｄ内の処置部１２の位置に追従する。When the operator moves thetreatment tool 1 and the position of thetreatment unit 12 in the display image D is changed, the virtual image VM1 of the mesh A is superimposed on the position relative to thetreatment unit 12 shown in the display image D Therefore, the position where the virtual image VM1 of the mesh A is superimposed is also changed. That is, the position where the virtual image VM1 of the mesh A is superimposed follows the position of thetreatment unit 12 in the display image D.

　術者は、処置具１を移動させ、メッシュＡの仮想画像ＶＭ１の表示画像Ｄ内における位置を変更することができる。術者は、図５（ｂ）に示すように、腹壁に形成されたヘルニア門Ｈ付近に処置部１２を移動させることで、選択したメッシュＡの仮想画像ＶＭ１をヘルニア門Ｈ付近に重畳させることができる。The operator can move thetreatment tool 1 to change the position of the virtual image VM1 of the mesh A in the display image D. The operator superimposes the virtual image VM1 of the selected mesh A in the vicinity of the hernia gate H by moving thetreatment portion 12 to the vicinity of the hernia gate H formed in the abdominal wall, as shown in FIG. 5 (b). Can.

　メッシュＡの仮想画像ＶＭ１は、表示画像Ｄに映る処置部１２に対して相対的な大きさを有するように、表示画像Ｄに重畳される。そのため、表示画像Ｄに重畳されたメッシュＡの仮想画像ＶＭ１の大きさは、３次元空間内に現実のメッシュＡが実際に存在する表示画像におけるメッシュＡの現実画像と、ほぼ同じ大きさとなる。すなわち、メッシュＡの仮想画像ＶＭ１の大きさは、表示画像Ｄ内の処置部１２の大きさに追従する。例えば、処置部１２が撮像部２２から遠い位置にある場合は、処置部１２が撮像部２２から近い位置にある場合と比較して、メッシュＡの仮想画像ＶＭ１は小さく重畳される。The virtual image VM1 of the mesh A is superimposed on the display image D so as to have a relative size with respect to thetreatment unit 12 shown in the display image D. Therefore, the size of the virtual image VM1 of the mesh A superimposed on the display image D is substantially the same size as the real image of the mesh A in the display image in which the actual mesh A actually exists in the three-dimensional space. That is, the size of the virtual image VM1 of the mesh A follows the size of thetreatment unit 12 in the display image D. For example, when thetreatment unit 12 is at a position far from theimaging unit 22, the virtual image VM <b> 1 of the mesh A is small and superimposed as compared to the case where thetreatment unit 12 is at a position near to theimaging unit 22.

　術者は、表示画像Ｄに映るメッシュＡの仮想画像ＶＭ１を見て、選択したメッシュＡがヘルニア門Ｈを塞ぐために必要十分な大きさを有しているかを、３次元空間内における寸法等を実際に計測することなく、直感的に把握することができる。The operator looks at the virtual image VM1 of the mesh A shown in the display image D, determines whether the selected mesh A has a size sufficient for closing the hernia gate H, the size etc. in the three-dimensional space It can be intuitively grasped without actually measuring it.

相対位置計測工程において、３次元相対位置に加えて、処置部１２の３次元相対姿勢を計測できる場合、仮想画像重畳工程において、３次元相対姿勢を使用することができる。メッシュＡの仮想画像ＶＭ１は、表示画像Ｄに映る処置部１２に対して相対的な姿勢を有するように、表示画像Ｄに重畳される。例えば、術者が処置具１を長手軸を中心に回転させた場合、メッシュの仮想画像ＶＭ１は、処置具１の長手軸と平行な軸を中心軸として回転した画像として生成されて重畳される。メッシュの仮想画像ＶＭ１を回転させることで、より直感的に、３次元空間内における寸法等を把握することができる。In the relative position measurement process, in addition to the three-dimensional relative position, when the three-dimensional relative attitude of thetreatment unit 12 can be measured, the three-dimensional relative attitude can be used in the virtual image superposition process. The virtual image VM1 of the mesh A is superimposed on the display image D so as to have a posture relative to thetreatment unit 12 shown in the display image D. For example, when the operator rotates thetreatment tool 1 about the longitudinal axis, the mesh virtual image VM1 is generated and superimposed as an image rotated about an axis parallel to the longitudinal axis of thetreatment tool 1 . By rotating the virtual image VM1 of the mesh, the dimensions and the like in the three-dimensional space can be grasped more intuitively.

　図６（ａ）は、医療機器として「メッシュＡ」よりもサイズの小さな「メッシュＢ」を選択した場合における、「メッシュＢ」の仮想画像ＶＭ２が重畳された表示画像Ｄを示している。図５（ｂ）は、処置具１を移動させた場合の表示画像Ｄを示している。FIG. 6A shows a display image D on which the virtual image VM2 of “mesh B” is superimposed when “mesh B” smaller in size than “mesh A” is selected as the medical device. FIG. 5 (b) shows a display image D when thetreatment tool 1 is moved.

　術者は、図６（ｂ）に示すように、腹壁に形成されたヘルニア門Ｈ付近に処置部１２を移動させることで、選択したメッシュＢの仮想画像ＶＭ２をヘルニア門Ｈ付近に重畳表示させることができる。
　術者は、表示画像Ｄに映るメッシュＢの仮想画像ＶＭ２を見て、選択したメッシュＢがヘルニア門Ｈを塞ぐために必要十分な大きさを有していないことを、直感的に把握することができる。The operator moves thetreatment section 12 to the vicinity of the hernia gate H formed on the abdominal wall to display the virtual image VM2 of the selected mesh B superimposed on the vicinity of the hernia gate H, as shown in FIG. 6B. be able to.
The operator can intuitively grasp that the selected mesh B does not have a necessary and sufficient size for closing the hernia gate H by looking at the virtual image VM2 of the mesh B shown in the display image D. it can.

　次に、ステープラを用いて大腸の切離を行う腹腔鏡下手術を例として、医療システム１００の動作および医療システム１００を用いた画像生成方法を、図７から図９を参照して説明する。図７は医療システム１００を用いて大腸切離を行う腹腔鏡下手術の様子を示す図である。Next, the operation of themedical system 100 and a method of generating an image using themedical system 100 will be described with reference to FIGS. 7 to 9, taking laparoscopic surgery in which the large intestine is detached using a stapler as an example. FIG. 7 is a view showing laparoscopic surgery in which a large intestine is detached using themedical system 100. As shown in FIG.

　術者は、図７に示すように、表示画像Ｄに処置対象の大腸の切離部分Ｐが含まれるように、持手部２１を持って内視鏡２を移動させて、内視鏡２の撮像部２２の位置や向きを変更する。図７に示す表示画像Ｄには、処置具１の挿入部１０の処置部１２が撮像されている。制御部３３の画像処理の動作モードは「通常モード」に初期設定されているため、医療機器の仮想画像は表示画像Ｄには重畳されていない。The operator holds the holdingportion 21 and moves theendoscope 2 so that the display image D includes the cutaway portion P of the large intestine to be treated, as shown in FIG. The position and the orientation of theimaging unit 22 are changed. Thetreatment portion 12 of theinsertion portion 10 of thetreatment tool 1 is imaged in the display image D shown in FIG. 7. Since the operation mode of the image processing of thecontrol unit 33 is initially set to the “normal mode”, the virtual image of the medical device is not superimposed on the display image D.

　次に、術者は、大腸の切離部分Ｐを切離するためのステープラを腹腔内に導入する前に、大腸の切離部分Ｐを切離するために必要十分なステープラのサイズを検討する。術者は制御部３３の画像処理の動作モードを「仮想画像重畳モード」に設定する。Next, the operator examines the size of the stapler necessary and sufficient for separating the separated portion P of the large intestine before introducing the stapler for separating the separated portion P of the large intestine into the abdominal cavity. . The operator sets the operation mode of the image processing of thecontrol unit 33 to the “virtual image superposition mode”.

　術者は、医療機器選択工程において、医療機器の種別としてステープラを選択し、さらに最適なサイズであると推測した「ステープラＡ」を選択する。In the medical device selection step, the operator selects a stapler as the type of medical device, and further selects “stapler A” which is estimated to be the optimum size.

　制御部３３は、相対位置計測工程において計測した、内視鏡２の撮像部２２から処置具の処置部１２までの３次元相対位置に基づいて、仮想画像重畳工程において、図８に示すように「ステープラＡ」の仮想画像ＶＳ１を表示画像Ｄに重畳する。As shown in FIG. 8 in the virtual image superimposing step, based on the three-dimensional relative position from theimaging portion 22 of theendoscope 2 to thetreatment portion 12 of the treatment instrument, which is measured in the relative position measuring step. The virtual image VS1 of "stapler A" is superimposed on the display image D.

　術者は、表示画像Ｄに映るステープラＡの仮想画像ＶＳ１を見て、選択したステープラＡが大腸の切離部分Ｐを切離するために必要十分な大きさを有していないことを、直感的に把握することができる。The operator looks at the virtual image VS1 of the stapler A shown in the display image D, and instincts that the selected stapler A does not have the necessary and sufficient size to cut off the separated portion P of the large intestine. Can be grasped.

　術者は、医療機器選択工程において、ステープラＡよりもサイズが大きい「ステープラＢ」を選択し直す。制御部３３は、仮想画像重畳工程において、図９に示すように「ステープラＢ」の仮想画像ＶＳ２を表示画像Ｄに重畳する。In the medical device selection step, the operator reselects the "stapler B" which is larger than the stapler A. Thecontrol unit 33 superimposes the virtual image VS2 of the "stapler B" on the display image D as shown in FIG. 9 in the virtual image superposition step.

　術者は、表示画像Ｄに映るステープラＢの仮想画像ＶＳ２を見て、選択したステープラＢが大腸の切離部分Ｐを切離するために必要十分な大きさを有していることを、直感的に把握することができる。The operator looks at the virtual image VS2 of the stapler B shown in the display image D, and instincts that the selected stapler B has a necessary and sufficient size to cut off the separated portion P of the large intestine. Can be grasped.

（第一実施形態の効果）
　本実施形態の医療システム１００によれば、術者は、表示画像Ｄに映る医療機器の仮想画像を見て、選択した医療機器が必要十分な大きさを有しているかを、３次元空間内における寸法等を実際に計測することなく、直感的に把握することができる。医療機器の選択の試行錯誤にかかる時間を削減し、適切な種類の医療機器の選択を支援することができる。(Effect of the first embodiment)
According to themedical system 100 of the present embodiment, the operator looks at the virtual image of the medical device shown in the display image D and determines whether the selected medical device has a necessary and sufficient size in the three-dimensional space. Can be intuitively grasped without actually measuring dimensions and the like. The time taken for trial and error in the selection of medical devices can be reduced, and the selection of appropriate types of medical devices can be supported.

（変形例）
　以上、本発明の第一実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。また、上述の第一実施形態および以下で示す変形例において示した構成要素は適宜に組み合わせて構成することが可能である。(Modification)
The first embodiment of the present invention has been described in detail with reference to the drawings, but the specific configuration is not limited to this embodiment, and design changes and the like within the scope of the present invention are also included. . In addition, the components shown in the above-described first embodiment and the modifications described below can be combined appropriately.

　例えば、上記実施形態では、医療機器の仮想画像は、表示画像Ｄにおいて処置部１２が映る位置に重畳されたが、仮想画像の表示画像への重畳位置は、上記実施形態の態様に限定されない。電気メス等の他の処置部を用いる場合において、処置部の先端や側部等が位置する場所に仮想画像を重畳してもよい。For example, in the above embodiment, the virtual image of the medical device is superimposed on the position where thetreatment unit 12 appears in the display image D, but the superimposed position of the virtual image on the display image is not limited to the aspect of the above embodiment. In the case of using another treatment unit such as an electric scalpel, the virtual image may be superimposed on the position where the tip or side portion of the treatment unit is located.

　例えば、上記実施形態では、仮想画像の表示画像への重畳は、制御部３３において実施されていたが、仮想画像の表示画像への重畳の態様は、上記実施形態の態様に限定されない。例えば、仮想画像の表示画像への重畳は、表示装置において行われてもよい。制御部３３は、重畳表示に必要な重畳位置やサイズなどの情報を算出し、その算出結果を基に表示装置が仮想画像の表示画像への重畳を行ったうえで、モニタ４１に表示画像を表示してもよい。For example, in the above embodiment, the superimposition of the virtual image on the display image is performed in thecontrol unit 33, but the mode of the superimposition of the virtual image on the display image is not limited to the aspect of the above embodiment. For example, superimposition of a virtual image on a display image may be performed on a display device. Thecontrol unit 33 calculates information such as the superposition position and size necessary for superposition display, and the display device performs superposition on the display image of the virtual image based on the calculation result, and then the display image is displayed on themonitor 41. You may display it.

　例えば、上記実施形態において示した表示装置４は、モニタ４１で構成されていたが、表示装置４はプロジェクタで構成されていてもよい。プロジェクタを内視鏡２の撮像部２２に組みこみ、現実の３次元空間にプロジェクタで医療機器の仮想画像の映像の投影（プロジェクションマッピング）を行ってもよい。術者は、より直感的に最適な医療機器の選択を行うことができる。プロジェクタを内視鏡２の撮像部２２に組みこむ場合、プロジェクタから赤外のパターン光を対象に照射して、処置部等との３次元相対位置の計測を行ってもよい。For example, although thedisplay device 4 shown in the above embodiment is configured by themonitor 41, thedisplay device 4 may be configured by a projector. A projector may be incorporated into theimaging unit 22 of theendoscope 2 and projection (projection mapping) of an image of a virtual image of a medical device may be performed by the projector in a real three-dimensional space. The operator can more intuitively select the most appropriate medical device. When the projector is incorporated into theimaging unit 22 of theendoscope 2, infrared pattern light may be irradiated from the projector to measure the three-dimensional relative position with the treatment unit or the like.

　例えば、上記実施形態において示した内視鏡２は、術者が直接手に持って操作するものであったが、内視鏡の形態は上記実施形態の内視鏡２に限定されない。例えば、図１０に示す医療システム１００の変形例である医療システム１００Ｂにおいては、内視鏡２Ｂは関節２３を複数有する多関節ロボットアーム２１Ｂを有している。
　医療システム１００Ｂにおいては、内視鏡２Ｂの先端の撮像部２２の３次元位置は、多関節ロボットアーム２１Ｂの制御情報から算出することができる。For example, although theendoscope 2 shown in the above embodiment is operated by the operator holding it directly, the form of the endoscope is not limited to theendoscope 2 of the above embodiment. For example, in amedical system 100B which is a modification of themedical system 100 shown in FIG. 10, theendoscope 2B includes an articulatedrobot arm 21B having a plurality ofjoints 23.
In themedical system 100B, the three-dimensional position of theimaging unit 22 at the tip of theendoscope 2B can be calculated from control information of the articulatedrobot arm 21B.

　例えば、上記実施形態においては示した処置具１は、術者が直接手に持って操作するものであったが、処置具の形態は上記実施形態の処置具１に限定されない。例えば、図１１に示す医療システム１００の変形例である医療システム１００Ｃにおいては、処置具１Ｂは関節１３を複数有する多関節ロボットアーム１１Ｂを有している。
　医療システム１００Ｃにおいては、処置具１Ｂの先端の処置部１２の３次元位置は、多関節ロボットアーム１１Ｂの制御情報から算出することができる。For example, although thetreatment tool 1 shown in the above embodiment is held by the operator directly and operated, the form of the treatment tool is not limited to thetreatment tool 1 of the above embodiment. For example, in a medical system 100C which is a modified example of themedical system 100 shown in FIG. 11, thetreatment tool 1B includes an articulatedrobot arm 11B having a plurality ofjoints 13.
In the medical system 100C, the three-dimensional position of thetreatment section 12 at the tip of thetreatment tool 1B can be calculated from control information of the articulatedrobot arm 11B.

（第二実施形態）
　本発明の第二実施形態について、図１２から図１５を参照して説明する。本実施形態は、表示画像に映る３次元空間の深度計測が行われる点が第一実施形態と異なっている。以降の説明において、既に説明したものと共通する構成については、同一の符号を付して重複する説明を省略する。Second Embodiment
A second embodiment of the present invention will be described with reference to FIGS. 12-15. The present embodiment is different from the first embodiment in that depth measurement in a three-dimensional space shown in a display image is performed. In the following description, the same reference numerals are assigned to components common to those described above, and redundant description will be omitted.

　本実施形態に係る医療システム２００の全体構成は、第一実施形態に係る医療システム１００と同じである。医療システム２００の制御部３３は、相対位置計測工程において、内視鏡２の撮像部２２から処置具の処置部１２までの３次元相対位置に加えて、内視鏡２の撮像部２２から、表示画像に映る３次元空間に存在する組織等（物体）までの「３次元相対深度」も計測する点が異なっている。The whole structure of the medical system 200 which concerns on this embodiment is the same as themedical system 100 which concerns on 1st embodiment. In the relative position measurement step, thecontrol unit 33 of the medical system 200 adds to the three-dimensional relative position from theimaging unit 22 of theendoscope 2 to thetreatment unit 12 of the treatment instrument, from theimaging unit 22 of theendoscope 2 The difference is that the "three-dimensional relative depth" to a tissue or the like (object) present in the three-dimensional space shown in the display image is also measured.

　本実施形態においては、医療システム２００の制御部３３の記憶部３６には、仮想画像用形状データが必ず保存されている。In the present embodiment, the virtual image shape data is always stored in thestorage unit 36 of thecontrol unit 33 of the medical system 200.

　次に、腹壁に形成されたヘルニア門をメッシュで塞ぐ腹腔鏡下手術を例として、医療システム２００の動作および医療システム２００を用いた画像生成方法を、図１２から図１５を参照して説明する。第一実施形態の医療システム１００と異なる部分についてのみ説明を行う。Next, an operation of the medical system 200 and an image generation method using the medical system 200 will be described with reference to FIGS. 12 to 15 by taking laparoscopic surgery in which a hernia gate formed in the abdominal wall is closed with a mesh as an example. . Only differences from themedical system 100 of the first embodiment will be described.

　術者は制御部３３の画像処理の動作モードを「仮想画像重畳モード」に設定する。
　術者は、入力部５１を操作し、最適なサイズであると推測した「メッシュＡ」を選択する（医療機器選択工程）。The operator sets the operation mode of the image processing of thecontrol unit 33 to the “virtual image superposition mode”.
The operator operates theinput unit 51 to select “mesh A” which is estimated to be the optimum size (medical device selection step).

　動作モードが「仮想画像重畳モード」に設定された制御部３３は、第一実施形態同様、内視鏡２の撮像部２２から処置具の処置部１２までの３次元相対位置を計測する（相対位置計測工程）。相対位置計測工程では、内視鏡２の撮像部２２から、表示画像に映る３次元空間に存在する組織等までの「３次元相対深度」も計測する。Thecontrol unit 33 whose operation mode is set to the “virtual image superposition mode” measures the three-dimensional relative position from theimaging unit 22 of theendoscope 2 to thetreatment unit 12 of the treatment tool as in the first embodiment (relative Position measurement process). In the relative position measurement step, the “three-dimensional relative depth” from theimaging unit 22 of theendoscope 2 to the tissue or the like present in the three-dimensional space shown in the display image is also measured.

　３次元相対深度の計測は公知の方法から適宜選択した方法により実施することができる。例えば、画像処理によるパッシブ型の深度計測（ケースＰ）、パターン等の投影によるアクティブ型の深度計測（ケースＡ）、などの方法を使用することができる。The measurement of the three-dimensional relative depth can be performed by a method appropriately selected from known methods. For example, methods such as passive depth measurement by image processing (case P), active depth measurement by projection of a pattern or the like (case A), and the like can be used.

　撮像部２２が撮像した撮像画像を用いて、処置部１２までの３次元相対深度を計測することができる（ケースＰ）。例えば、移動する処置部１２を撮影し、画像特徴の移動量から３次元相対深度を計測することができる。撮像部２２がステレオカメラで構成されている場合、ステレオカメラの視差画像を用いて、撮像部２２から組織等までの３次元相対深度を計測することができる。The three-dimensional relative depth to thetreatment unit 12 can be measured using the captured image captured by the imaging unit 22 (case P). For example, the movingtreatment unit 12 can be photographed, and the three-dimensional relative depth can be measured from the movement amount of the image feature. When theimaging unit 22 is configured by a stereo camera, it is possible to measure a three-dimensional relative depth from theimaging unit 22 to a tissue or the like by using a parallax image of the stereo camera.

　レーザ、光、超音波等を撮像部２２から発し、そのフィードバック情報から、撮像部２２から組織等までの３次元相対深度を計測することができる（ケースＡ）。撮像部２２から縞模様やランダムパターンのパターン投影を行って、パターン投影結果を解析することで、組織等までの３次元相対深度を計測してもよい。Laser, light, ultrasonic waves and the like are emitted from theimaging unit 22, and the three-dimensional relative depth from theimaging unit 22 to the tissue and the like can be measured from the feedback information (case A). The three-dimensional relative depth to the tissue or the like may be measured by performing pattern projection of a striped pattern or a random pattern from theimaging unit 22 and analyzing the pattern projection result.

　次に、制御部３３は、３次元相対位置および３次元相対深度の計測結果に基づいて、選択された医療機器の仮想画像を表示画像Ｄに重畳する（仮想画像重畳工程）。図１２から図１４は、医療機器として選択された「メッシュＡ」の仮想画像ＶＭ１が重畳された表示画像Ｄを示している。
　また、制御部３３は、３次元相対深度の計測結果に基づいて、図１２に示すように、表示画像Ｄに映る３次元空間に存在する組織等の凹凸を示すワイヤフレームＦを表示画像Ｄに重畳する。術者は、ワイヤフレームＦが重畳された表示画像Ｄにより、表示画像Ｄに映る３次元空間に存在する組織等の凹凸を容易に把握することができる。Next, thecontrol unit 33 superimposes the virtual image of the selected medical device on the display image D based on the measurement results of the three-dimensional relative position and the three-dimensional relative depth (virtual image superposition step). 12 to 14 show the display image D on which the virtual image VM1 of "mesh A" selected as the medical device is superimposed.
Further, as shown in FIG. 12, thecontrol unit 33 sets the display image D to a wire frame F indicating unevenness of a tissue or the like present in the three-dimensional space shown in the display image D based on the measurement result of the three-dimensional relative depth. Superimpose. The operator can easily grasp the unevenness of the tissue or the like present in the three-dimensional space shown in the display image D by the display image D on which the wire frame F is superimposed.

　制御部３３は、仮想画像重畳工程において、撮像部２２から処置部１２までの「３次元相対位置」と、撮像部２２から表示画像に映る３次元空間に存在する組織等までの「３次元相対深度」を、リアルタイムに計測する。また、仮想画像が重畳されている医療機器に関しては、記憶部３６に仮想画像用形状データが保存されている。
　そのため、制御部３３は、仮想画像が重畳されている医療機器が、仮に現実の医療機器であった場合、表示画像に映る３次元空間に存在する組織等に接触するかどうかの判定（接触判定）を行うことができる。Thecontrol unit 33 controls the “three-dimensional relative position” from theimaging unit 22 to thetreatment unit 12 and the “three-dimensional relative position” from theimaging unit 22 to the tissue etc. existing in the three-dimensional space shown in the display image Depth is measured in real time. Further, regarding the medical device on which the virtual image is superimposed, shape data for virtual image is stored in thestorage unit 36.
Therefore, when the medical device on which the virtual image is superimposed is a real medical device, thecontrol unit 33 determines whether the tissue or the like present in the three-dimensional space shown in the display image is touched (contact determination )It can be performed.

　術者が腹壁に形成されたヘルニア門Ｈ付近に処置部１２を移動させた際、仮想画像が重畳されているメッシュＡが、仮に同じ３次元位置に実際に存在した場合、表示画像に映る３次元空間に存在する組織等に接触すると制御部３３が判定すると、図１３に示すように、制御部３３は接触が発生することを示す表示を表示画像Ｄに重畳する。When the operator moves thetreatment unit 12 near the hernia gate H formed in the abdominal wall, if the mesh A on which the virtual image is superimposed is actually present at the same three-dimensional position, it appears in thedisplay image 3 When thecontrol unit 33 determines that the tissue or the like existing in the dimensional space is in contact, as shown in FIG. 13, thecontrol unit 33 superimposes a display indicating that the contact occurs on the display image D.

　術者は、表示画像Ｄに映るメッシュＡの仮想画像ＶＭ１を見て、選択したメッシュＡが、障害物に妨害されることなくヘルニア門Ｈを塞ぐことが可能かを、直感的に把握することができる。The operator sees the virtual image VM1 of the mesh A in the display image D and intuitively grasps whether the selected mesh A can block the hernia gate H without being obstructed by the obstacle. Can.

　制御部３３は、図１４に示すように、腹壁に形成されたヘルニア門Ｈ付近に処置部１２が接近した場合、メッシュＡの仮想画像を、３次元空間に存在する組織等に接触するように変形させて重畳させてもよい。術者は、組織等に沿って変形したメッシュＡの仮想画像ＶＭ１を見て、選択したメッシュＡがヘルニア門Ｈを塞ぐことが可能かを、より直感的に把握することができる。Thecontrol unit 33 causes the virtual image of the mesh A to contact a tissue or the like existing in a three-dimensional space when thetreatment unit 12 approaches the vicinity of the hernia gate H formed in the abdominal wall as shown in FIG. It may be deformed and superimposed. The operator can more intuitively understand whether the selected mesh A can close the hernia gate H by looking at the virtual image VM1 of the mesh A deformed along the tissue or the like.

　図１５は、医療システム２００において、大腸の切離を行うために選択されたステープラＢの仮想画像ＶＳ２が重畳された表示画像Ｄを示している。FIG. 15 shows a display image D on which the virtual image VS2 of the stapler B selected to perform the separation of the large intestine in the medical system 200 is superimposed.

　術者が処置部１２を表示画面Ｄにおいて右側に移動させた場合、図１５（ａ）に示すように、制御部３３はステープラＢが仮に現実の医療機器であった場合、右側に位置する組織に接触すると判定し、接触が発生することを示す表示を表示画像Ｄに重畳する。When the operator moves thetreatment unit 12 to the right on the display screen D, as shown in FIG. 15A, when the stapler B is an actual medical device, thecontrol unit 33 determines the tissue positioned on the right. It is determined that the touch image is touched, and a display indicating that the touch occurs is superimposed on the display image D.

　術者が処置部１２を表示画面Ｄにおいて左側に移動させた場合、図１５（ｂ）に示すように、制御部３３はステープラＢが仮に現実の医療機器であった場合、左側に位置する組織に接触すると判定し、接触が発生することを示す表示を表示画像Ｄに重畳する。接触が発生することを示す表示は、接触が発生すると判定した場所に重畳表示される。When the operator moves thetreatment unit 12 to the left on the display screen D, as shown in FIG. 15B, when the stapler B is an actual medical device, thecontrol unit 33 determines the tissue located on the left. It is determined that the touch image is touched, and a display indicating that the touch occurs is superimposed on the display image D. The display indicating that the contact occurs is superimposed on the place where it is determined that the contact occurs.

　術者は、表示画像Ｄに映るステープラＢの仮想画像ＶＳ２を見て、選択したステープラＢが、周囲にある障害物に妨害されることなく大腸を切離することが可能かを、直感的に把握することができる。The operator looks at the virtual image VS2 of the stapler B shown in the display image D, and intuitively determines whether the selected stapler B can disconnect the large intestine without being obstructed by the obstacle around it. It can be grasped.

（第二実施形態の効果）
　本実施形態の医療システム２００によれば、術者は、表示画像Ｄに映る医療機器の仮想画像を見て、選択した医療機器が、障害物に妨害されることがないかを、直感的に把握することができる。医療機器の選択の試行錯誤にかかる時間を削減し、適切な種類の医療機器の選択を支援することができる。(Effect of the second embodiment)
According to the medical system 200 of the present embodiment, the operator looks at the virtual image of the medical device shown in the display image D and intuitively determines whether the selected medical device is obstructed by the obstacle. It can be grasped. The time taken for trial and error in the selection of medical devices can be reduced, and the selection of appropriate types of medical devices can be supported.

（第三実施形態）
　本発明の第三実施形態について、図１６から図１８を参照して説明する。本実施形態は、内視鏡が硬性でなく軟性である点が第一実施形態および第二実施形態と異なっている。以降の説明において、既に説明したものと共通する構成については、同一の符号を付して重複する説明を省略する。Third Embodiment
A third embodiment of the present invention will be described with reference to FIGS. The present embodiment is different from the first and second embodiments in that the endoscope is not rigid but flexible. In the following description, the same reference numerals are assigned to components common to those described above, and redundant description will be omitted.

　本実施形態に係る医療システム３００の全体構成は、第一実施形態に係る医療システム１００と同じである。内視鏡２Ｃが軟性の挿入部を有している点が異なっている。
　次に、ＥＭＲ手術を例として、医療システム３００の動作および医療システム３００を用いた画像生成方法を、図１６から図１８を参照して説明する。The whole structure of the medical system 300 which concerns on this embodiment is the same as themedical system 100 which concerns on 1st embodiment. The difference is that the endoscope 2C has a flexible insertion portion.
Next, the operation of the medical system 300 and an image generation method using the medical system 300 will be described with reference to FIGS. 16 to 18 by taking EMR surgery as an example.

　図１６は医療システム３００の内視鏡２Ｃを示している。
　医療システム３００において、図１６（ａ）に示すように、処置部１２として局注針１２ｂが取り付けられた処置具が、内視鏡２Ｃに設けられたルーメンに挿通される。術者は、病変の向こう側の辺縁部に局注針１２ｂを刺して、粘膜下層にゆっくり局注材を入れ、病変を持ち上げる。その後、図１６（ｂ）に示すように、処置部１２としてスネア１２ｃが取り付けられた処置具が、内視鏡２Ｃに設けられたルーメンに挿通される。術者はスネア１２ｃを用いて、病変の切離を行う。
　術者は、病変の大きさや形状に合わせて、最適な大きさと形状のスネア１２ｃを選択する必要がある。術者の経験や技術によっては、スネアの選択の試行錯誤に時間がかかる。FIG. 16 shows an endoscope 2C of the medical system 300.
In the medical system 300, as shown in FIG. 16A, a treatment tool to which thelocal injection needle 12b is attached as thetreatment unit 12 is inserted through the lumen provided in the endoscope 2C. The operator inserts the local injection material into the submucosa layer slowly by piercing thelocal injection needle 12b at the peripheral edge beyond the lesion to lift the lesion. After that, as shown in FIG. 16B, the treatment tool to which thesnare 12c is attached as thetreatment unit 12 is inserted through the lumen provided in the endoscope 2C. The operator uses thesnare 12c to separate the lesion.
The operator needs to select thesnare 12c of the optimum size and shape in accordance with the size and shape of the lesion. Depending on the experience and skill of the caster, trial and error of the selection of the snare takes time.

　そこで術者は、処置部１２として局注針１２ｂが取り付けられた処置具を体内に導入している際に、制御部３３の画像処理の動作モードを「仮想画像重畳モード」に設定する。術者は、入力部５１を操作し、最適なサイズであると推測した「スネアＡ」を選択する（医療機器選択工程）。Therefore, the operator sets the operation mode of the image processing of thecontrol unit 33 to the “virtual image superposition mode” when introducing the treatment tool to which thelocal injection needle 12b is attached as thetreatment unit 12 into the body. The operator operates theinput unit 51 to select “Snare A” which is estimated to be the optimum size (medical device selection step).

　図１７は、医療システム３００において、選択されたスネアＡの仮想画像ＶＷ１が、局注針１２ｂが映る位置に重畳された表示画像Ｄを示している。
　術者は、表示画像Ｄに映るスネアＡの仮想画像ＶＭ１を見て、選択したスネアＡが病変の切離のために必要十分な大きさを有していることを、直感的に把握することができる。FIG. 17 shows a display image D in which the virtual image VW1 of the selected snare A is superimposed on the position where thelocal injection needle 12b appears in the medical system 300.
The operator intuitively grasps the virtual image VM1 of the snare A shown in the display image D and that the selected snare A has a necessary and sufficient size for the separation of the lesion. Can.

　図１８は、医療システム３００において、スネアＡよりもサイズが小さいスネアＢが選択され、スネアＢの仮想画像ＶＷ２が重畳された表示画像を示している。
　術者は、表示画像Ｄに映るスネアＢの仮想画像ＶＭ２を見て、選択したスネアＢが病変の切離のために必要十分な大きさを有していないことを、直感的に把握することができる。FIG. 18 shows a display image in which the snare B smaller in size than the snare A is selected in the medical system 300 and the virtual image VW2 of the snare B is superimposed.
The operator should intuitively understand that the selected snare B does not have a necessary and sufficient size for dissection of the lesion by looking at the virtual image VM2 of the snare B shown in the display image D. Can.

（第三実施形態の効果）
　本実施形態の医療システム３００によれば、軟性の内視鏡を用いる場合であっても、術者は、表示画像Ｄに映る医療機器の仮想画像を見て、選択した医療機器が必要十分な大きさを有しているかを、３次元空間内における寸法等を実際に計測することなく、直感的に把握することができる。医療機器の選択の試行錯誤にかかる時間を削減し、適切な種類の医療機器の選択を支援することができる。(Effect of the third embodiment)
According to the medical system 300 of the present embodiment, even in the case of using a flexible endoscope, the operator looks at the virtual image of the medical device shown in the display image D, and the selected medical device is necessary and sufficient. Whether it has a size can be intuitively grasped without actually measuring the dimensions and the like in the three-dimensional space. The time taken for trial and error in the selection of medical devices can be reduced, and the selection of appropriate types of medical devices can be supported.

（第四実施形態）
　本発明の第四実施形態について説明する。本実施形態は、医療機器選択工程が医療機器の在庫管理システムと連携している点が第一実施形態から第三実施形態と異なっている。以降の説明において、既に説明したものと共通する構成については、同一の符号を付して重複する説明を省略する。Fourth Embodiment
A fourth embodiment of the present invention will be described. The present embodiment is different from the first embodiment to the third embodiment in that the medical device selection process is linked with the stock management system of the medical device. In the following description, the same reference numerals are assigned to components common to those described above, and redundant description will be omitted.

　本実施形態に係る医療システム４００の全体構成は、第一実施形態に係る医療システム１００と同じである。The whole structure of the medical system 400 which concerns on this embodiment is the same as themedical system 100 which concerns on 1st embodiment.

　動作モードが「仮想画像重畳モード」に設定された制御部３３は、医療機器一覧と、入力部５１から医療機器の「種別」と「サイズ」を選択することを促すメッセージとをモニタ４１に表示させる。
　制御部３３は院内の医療機器の在庫管理システムと接続されており、表示される医療機器一覧に合わせて、各医療機器の在庫状況を表示することができる。
　術者は、在庫の有無を確認したうえで、仮想画像として表示する医療機器を選択することができる。実際の在庫がない医療機器を選択した場合、選択した医療機器が最適なサイズであったとしても、その医療機器を実際にすぐに使用することはできない。医療機器の在庫状況を表示することができれば、実際に使用できる医療機器から、医療機器を選択することができ、医療機器の選択の試行錯誤にかかる時間を削減し、適切な種類の医療機器の選択を支援することができる。Thecontrol unit 33 in which the operation mode is set to the “virtual image superposition mode” displays on the monitor 41 a medical device list and a message prompting the user to select the “type” and “size” of the medical device from theinput unit 51 Let
Thecontrol unit 33 is connected to an in-hospital inventory management system of medical devices, and can display the inventory status of each medical device according to the displayed medical device list.
The operator can select the medical device to be displayed as a virtual image after confirming the presence or absence of the stock. If you select a medical device that does not have an actual inventory, you can not actually use the medical device immediately, even if the selected medical device is the optimal size. If it is possible to display the stock status of medical devices, medical devices can be selected from the medical devices that can actually be used, reducing the time taken for trial and error in the selection of medical devices, and of appropriate types of medical devices. Can support selection.

　本発明は、内視鏡を備える医療システムに適用することができる。The present invention can be applied to a medical system provided with an endoscope.

１００，１００Ｂ、１００Ｃ、２００，３００，４００　医療システム
１、１Ｂ　処置具
１０　　　挿入部
１１　　　操作部
１２　　　処置部
１２ａ　　把持部材
１２ｂ　　局注針
１２ｃ　　スネア
２、２Ｂ、２Ｃ　内視鏡
２０　　　挿入部
２１　　　持手部
２２　　　撮像部
３　　　　制御装置
３３　　　制御部
３５　　　メモリ
３６　　　記憶部
３７　　　入出力制御部
３８　　　画像演算部
４　　　　表示装置
４１　　　モニタ
５　　　　入力装置
５１　　　入力部100, 100B, 100C, 200, 300, 400medical system 1,1B treatment tool 10insertion unit 11operation unit 12treatment unit12a grasping member 12blocal injectionneedle 12c snare 2, 2B,2C endoscope 20insertion unit 21 holdinghand Unit 22Imaging unit 3Control device 33Control unit 35Memory 36Storage unit 37 Input / output control unit 38Image operation unit 4Display device 41Monitor 5Input device 51 Input unit

Claims (12)

Translated fromJapanese

　処置具と、
　撮像部を有する内視鏡と、
　前記撮像部が取得した撮像画像から表示画像を生成する制御装置と、
　前記表示画像を表示する表示装置と、
　医療機器を選択する入力装置と、を備え、
　前記制御装置は、前記内視鏡から前記処置具までの相対位置を計測し、
　前記制御装置は、前記相対位置に基づいて、前記表示画像に映る前記処置具に対して相対的な位置にあって相対的な大きさを有する前記医療機器の仮想画像を、前記表示画像に重畳する、
　医療システム。Treatment tools,
An endoscope having an imaging unit;
A control device that generates a display image from the captured image acquired by the imaging unit;
A display device for displaying the display image;
And an input device for selecting a medical device,
The control device measures the relative position from the endoscope to the treatment tool,
The control device superimposes, on the display image, a virtual image of the medical device having a relative size at a position relative to the treatment tool shown in the display image based on the relative position. Do,
Medical system.　前記制御装置は、前記内視鏡に対する前記処置具の相対姿勢を計測し、
　前記制御装置は、前記相対姿勢に基づいて、前記表示画像に映る前記処置具に対して相対的な姿勢となる前記医療機器の仮想画像を、前記表示画像に重畳する、
　請求項１に記載の医療システム。The control device measures the relative posture of the treatment tool with respect to the endoscope,
The control device superimposes, on the display image, a virtual image of the medical device, which is a posture relative to the treatment tool shown in the display image, based on the relative posture.
The medical system according to claim 1.　前記制御装置は、通常モードと仮想画像重畳モードの少なくとも二種類の動作モードを有し、
　前記制御装置は、前記動作モードが前記通常モードに設定されている場合、前記仮想画像を重畳しない前記表示画像を生成し、
　前記制御装置は、前記動作モードが前記仮想画像重畳モードに設定されている場合、前記仮想画像を重畳した前記表示画像を生成する、
　請求項１に記載の医療システム。The control device has at least two operation modes of a normal mode and a virtual image superposition mode.
The control device generates the display image in which the virtual image is not superimposed, when the operation mode is set to the normal mode.
The control device generates the display image on which the virtual image is superimposed, when the operation mode is set to the virtual image superposition mode.
The medical system according to claim 1.　前記制御装置は、前記表示画像に映る物体までの相対深度を測定し、
　前記制御装置は、前記相対位置および前記相対深度に基づいて、前記仮想画像が前記表示画像に重畳されている前記医療機器が、仮に現実の医療機器であった場合、前記表示画像に映る物体に接触するかどうかの判定を行う、
　請求項１から請求項３のいずれか一項に記載の医療システム。The control device measures relative depth to an object shown in the display image;
If the medical device on which the virtual image is superimposed on the display image is a real medical device based on the relative position and the relative depth, the control device is an object shown in the display image. Determine if it will touch,
The medical system according to any one of claims 1 to 3.　前記制御装置は、前記相対深度に基づいて、前記表示画像に映る物体の凹凸を示すワイヤフレームを前記表示画像に重畳する、
　請求項４に記載の医療システム。The control device superimposes, on the display image, a wire frame indicating unevenness of an object shown in the display image based on the relative depth.
The medical system according to claim 4.　前記制御装置は、選択可能な前記医療機器の医療機器情報を記憶しており、前記医療機器情報に基づき、前記表示装置に選択可能な前記医療機器を表示する、
　請求項１から請求項３のいずれか一項に記載の医療システム。The control device stores medical device information of the selectable medical device, and displays the selectable medical device on the display device based on the medical device information.
The medical system according to any one of claims 1 to 3.　前記医療機器情報には、院内の前記医療機器の在庫情報が含まれる、
　請求項６に記載の医療システム。The medical device information includes inventory information of the medical device in a hospital.
The medical system according to claim 6.　前記制御装置は、前記医療機器の前記仮想画像を、前記医療機器の前記仮想画像が半透明となるように、前記表示画像に重畳する、
　請求項１から請求項７のいずれか一項に記載の医療システム。The control apparatus superimposes the virtual image of the medical device on the display image such that the virtual image of the medical device is translucent.
The medical system according to any one of claims 1 to 7.　内視鏡の撮像部が取得した撮像画像から表示画像を生成する医療システムにおいて、
　入力装置を用いて医療機器を選択させる医療機器選択工程と、
　内視鏡から処置具までの相対位置を計測する相対位置計測工程と、
　前記相対位置に基づいて、前記表示画像に映る前記処置具に対して相対的な位置にあって相対的な大きさを有する前記医療機器の仮想画像を、前記表示画像に重畳する仮想画像重畳工程と、を備える、
　画像生成方法。In a medical system that generates a display image from a captured image acquired by an imaging unit of an endoscope
A medical device selection step of selecting a medical device using an input device;
A relative position measuring step of measuring a relative position from the endoscope to the treatment tool;
Virtual image superimposing step of superimposing a virtual image of the medical device having a relative size at a position relative to the treatment tool shown in the display image based on the relative position on the display image And
Image generation method.　前記相対位置計測工程は、前記相対位置に加えて、前記内視鏡に対する前記処置具の相対姿勢を計測し、
　前記仮想画像重畳工程は、前記相対姿勢に基づいて、前記表示画像に映る前記処置具に対して相対的な姿勢となる前記医療機器の仮想画像を、前記表示画像に重畳する、
　請求項９に記載の画像生成方法。In the relative position measurement step, in addition to the relative position, the relative posture of the treatment tool with respect to the endoscope is measured.
The virtual image superimposing step superimposes, on the display image, a virtual image of the medical device which is in a posture relative to the treatment tool shown in the display image based on the relative posture.
The image generation method according to claim 9.　通常モードと仮想画像重畳モードの少なくとも二種類の動作モードを有し、
　前記動作モードが前記仮想画像重畳モードに設定されている場合のみ、医療機器選択工程と、相対位置計測工程と、仮想画像重畳工程と、を実施する、
　請求項９に記載の画像生成方法。Has at least two operation modes: normal mode and virtual image superposition mode,
The medical device selection step, the relative position measurement step, and the virtual image superposition step are performed only when the operation mode is set to the virtual image superposition mode.
The image generation method according to claim 9.　前記相対位置計測工程は、前記表示画像に映る物体までの相対深度を測定し、
　前記仮想画像重畳工程は、前記相対位置および前記相対深度に基づいて、仮想画像が前記表示画像に重畳されている前記医療機器が、仮に現実の医療機器であった場合、前記表示画像に映る物体に接触するかどうかの判定を行い、前記接触が発生すると判断した場合は、接触を示す表示を、前記表示画像に重畳する、
　請求項９に記載の画像生成方法。The relative position measurement step measures relative depth to an object shown in the display image,
In the virtual image superimposing step, when the medical device on which the virtual image is superimposed on the display image is an actual medical device based on the relative position and the relative depth, an object shown in the display image To determine whether or not the touch occurs, and when it is determined that the touch occurs, a display indicating the touch is superimposed on the display image.
The image generation method according to claim 9.

Images