以下、本発明の実施形態について、図面を参照しつつ説明を行う。Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図1から図13は、本発明の実施形態に係るものである。1 to 13 relate to the embodiment of the present invention.
医療用システム1は、図1に示すように、被検体内に存在する生体組織等の所望の被写体の観察に用いられる内視鏡システム1Aと、当該被検体内に存在する所望の処置対象部位の処置に用いられる処置システム1Bと、を有して構成されている。また、内視鏡システム1A及び処置システム1Bは、信号ケーブル30を介して接続されている。図1は、実施形態に係る医療用システムの要部の構成を示す図である。As shown in FIG. 1, themedical system 1 includes anendoscope system 1A used for observing a desired subject such as a living tissue existing in a subject, and a desired treatment target site existing in the subject. And atreatment system 1B used for the treatment. In addition, theendoscope system 1A and thetreatment system 1B are connected via asignal cable 30. Drawing 1 is a figure showing the composition of the principal part of the medical system concerning an embodiment.
内視鏡システム1Aは、図1に示すように、被検体内に挿入されるとともに、当該被検体内に存在する生体組織等の被写体を撮像して得られた画像を出力するように構成された内視鏡装置2と、当該被写体に照射される光を内視鏡装置2に供給するように構成された光源装置3と、内視鏡装置2から出力される画像に対して所定の画像処理を施すことにより表示用画像を生成して出力するように構成されたプロセッサ4と、プロセッサ4から出力される表示用画像等を画面上に表示するように構成された表示装置5と、を有している。また、処置システム1Bは、図1に示すように、被検体内に挿入されるとともに、当該被検体内に存在する処置対象部位の生体組織に対してエネルギーを印加して処置を行うように構成された処置具61と、当該処置対象部位の生体組織に印加されるエネルギーを処置具61に供給するように構成された処置具制御装置62と、を有している。As shown in FIG. 1, theendoscope system 1A is configured to be inserted into a subject and output an image obtained by imaging a subject such as a living tissue existing in the subject. A predetermined image with respect to the image output from theendoscope apparatus 2, thelight source apparatus 3 configured to supply the light applied to the subject to theendoscope apparatus 2, and theendoscope apparatus 2. Aprocessor 4 configured to generate and output a display image by performing processing, and adisplay device 5 configured to display a display image output from theprocessor 4 on a screen; Have. In addition, as shown in FIG. 1, thetreatment system 1B is configured to be inserted into a subject and apply treatment to a living tissue of a treatment target site existing in the subject to perform treatment. And a treatmenttool control device 62 configured to supply thetreatment tool 61 with energy applied to the living tissue of the treatment target site.
内視鏡装置2は、細長の挿入部6を備えた光学視管21と、光学視管21の接眼部7に対して着脱可能なカメラユニット22と、を有して構成されている。Theendoscope apparatus 2 includes anoptical viewing tube 21 having anelongated insertion portion 6 and acamera unit 22 that can be attached to and detached from theeyepiece portion 7 of theoptical viewing tube 21.
光学視管21は、被検体内に挿入可能な細長の挿入部6と、挿入部6の基端部に設けられた把持部8と、把持部8の基端部に設けられた接眼部7と、を有して構成されている。Theoptical viewing tube 21 includes anelongated insertion portion 6 that can be inserted into a subject, agripping portion 8 provided at the proximal end portion of theinsertion portion 6, and an eyepiece portion provided at the proximal end portion of thegripping portion 8. 7.
挿入部6の内部には、図2に示すように、ケーブル13aを介して供給される光を伝送するためのライトガイド11が挿通されている。図2は、実施形態に係る内視鏡システム及び処置システムの具体的な構成の一例を説明するための図である。As shown in FIG. 2, alight guide 11 for transmitting light supplied through acable 13a is inserted into theinsertion portion 6. FIG. 2 is a diagram for explaining an example of a specific configuration of the endoscope system and the treatment system according to the embodiment.
ライトガイド11の出射端部は、図2に示すように、挿入部6の先端部における照明レンズ15の近傍に配置されている。また、ライトガイド11の入射端部は、把持部8に設けられたライトガイド口金12に配置されている。The exit end of thelight guide 11 is disposed in the vicinity of theillumination lens 15 at the distal end of theinsertion section 6 as shown in FIG. Further, the incident end portion of thelight guide 11 is disposed in alight guide base 12 provided in thegrip portion 8.
ケーブル13aの内部には、図2に示すように、光源装置3から供給される光を伝送するためのライトガイド13が挿通されている。また、ケーブル13aの一方の端部には、ライトガイド口金12に対して着脱可能な接続部材(不図示)が設けられている。また、ケーブル13aの他方の端部には、光源装置3に対して着脱可能なライトガイドコネクタ14が設けられている。As shown in FIG. 2, alight guide 13 for transmitting light supplied from thelight source device 3 is inserted into thecable 13a. A connection member (not shown) that can be attached to and detached from thelight guide base 12 is provided at one end of thecable 13a. Alight guide connector 14 that can be attached to and detached from thelight source device 3 is provided at the other end of thecable 13a.
挿入部6の先端部には、ライトガイド11により伝送された光を外部へ出射するための照明レンズ15と、外部から入射される光に応じた光学像を得るための対物レンズ17と、が設けられている。また、挿入部6の先端面には、照明レンズ15が配置された照明窓(不図示)と、対物レンズ17が配置された観察窓(不図示)と、が相互に隣接して設けられている。At the distal end of theinsertion portion 6, there are anillumination lens 15 for emitting the light transmitted by thelight guide 11 to the outside, and anobjective lens 17 for obtaining an optical image corresponding to the light incident from the outside. Is provided. An illumination window (not shown) in which theillumination lens 15 is arranged and an observation window (not shown) in which theobjective lens 17 is arranged are provided adjacent to each other on the distal end surface of theinsertion portion 6. Yes.
挿入部6の内部には、図2に示すように、対物レンズ17により得られた光学像を接眼部7へ伝送するための複数のレンズLEを具備するリレーレンズ18が設けられている。すなわち、リレーレンズ18は、対物レンズ17から入射した光を伝送する伝送光学系としての機能を具備して構成されている。2, arelay lens 18 including a plurality of lenses LE for transmitting an optical image obtained by theobjective lens 17 to theeyepiece unit 7 is provided inside theinsertion unit 6. That is, therelay lens 18 has a function as a transmission optical system that transmits light incident from theobjective lens 17.
接眼部7の内部には、図2に示すように、リレーレンズ18により伝送された光学像を肉眼で観察可能とするための接眼レンズ19が設けられている。As shown in FIG. 2, aneyepiece lens 19 is provided inside theeyepiece unit 7 so that the optical image transmitted by therelay lens 18 can be observed with the naked eye.
カメラユニット22は、励起光カットフィルタ23と、ダイクロイックミラー24と、撮像素子25A及び25Bと、信号処理回路26と、を有して構成されている。また、カメラユニット22は、信号ケーブル28の端部に設けられたコネクタ29を介してプロセッサ4に着脱可能に構成されている。Thecamera unit 22 includes an excitationlight cut filter 23, adichroic mirror 24,imaging elements 25A and 25B, and asignal processing circuit 26. Thecamera unit 22 is configured to be detachable from theprocessor 4 via aconnector 29 provided at an end of thesignal cable 28.
励起光カットフィルタ23は、接眼レンズ19を経て出射される光から励起光の反射光を除去する光学フィルタとして構成されている。すなわち、励起光カットフィルタ23は、光源装置3から出射されるIR光(後述)と同じ波長帯域の光を遮断しつつ、当該IR光以外の波長帯域の光を透過させるような光学特性を具備して構成されている。The excitationlight cut filter 23 is configured as an optical filter that removes reflected light of excitation light from light emitted through theeyepiece lens 19. That is, the excitationlight cut filter 23 has optical characteristics such that light in the wavelength band other than the IR light is transmitted while blocking light in the same wavelength band as IR light (described later) emitted from thelight source device 3. Configured.
ダイクロイックミラー24は、励起光カットフィルタ23を経て出射される出射光に含まれる可視域の光を撮像素子25A側へ透過させるとともに、当該出射光に含まれる近赤外域の光を撮像素子25B側へ反射するような光学特性を具備して構成されている。Thedichroic mirror 24 transmits light in the visible range included in the output light emitted through the excitationlight cut filter 23 to theimage sensor 25A side, and transmits light in the near infrared region included in the output light to theimage sensor 25B side. It is configured to have optical characteristics that reflect the light.
撮像素子25Aは、例えば、可視域に感度を有するカラーCCDまたはカラーCMOSのようなイメージセンサを具備して構成されている。また、撮像素子25Aは、プロセッサ4から出力される撮像素子駆動信号に応じた撮像動作を行うように構成されている。また、撮像素子25Aは、ダイクロイックミラー24を透過した可視域の光を撮像し、当該撮像した可視域の光に応じた画像を生成して信号処理回路26へ出力するように構成されている。Theimage sensor 25A is configured to include an image sensor such as a color CCD or color CMOS having sensitivity in the visible range. The image sensor 25 </ b> A is configured to perform an imaging operation according to an image sensor drive signal output from theprocessor 4. The imaging element 25 </ b> A is configured to capture visible light that has passed through thedichroic mirror 24, generate an image corresponding to the captured visible light, and output the image to thesignal processing circuit 26.
撮像素子25Bは、例えば、近赤外域に感度を有するモノクロCCDまたはモノクロCMOSのようなイメージセンサを具備して構成されている。また、撮像素子25Bは、プロセッサ4から出力される撮像素子駆動信号に応じた撮像動作を行うように構成されている。また、撮像素子25Bは、ダイクロイックミラー24により反射された赤外域の光を撮像し、当該撮像した赤外域の光に応じた画像を生成して信号処理回路26へ出力するように構成されている。Theimage sensor 25B is configured to include an image sensor such as a monochrome CCD or monochrome CMOS having sensitivity in the near infrared region. In addition, theimage sensor 25B is configured to perform an imaging operation in accordance with an image sensor drive signal output from theprocessor 4. Theimage sensor 25B is configured to image the infrared light reflected by thedichroic mirror 24, generate an image corresponding to the captured infrared light, and output the image to thesignal processing circuit 26. .
信号処理回路26は、撮像素子25A及び25Bから出力される画像に対し、例えば、相関二重サンプリング処理、ゲイン調整処理、及び、A/D変換処理等のような所定の信号処理をそれぞれ施すように構成されている。また、信号処理回路26は、前述の所定の信号処理を施した画像を、信号ケーブル28が接続されたプロセッサ4へ出力するように構成されている。Thesignal processing circuit 26 performs predetermined signal processing such as correlated double sampling processing, gain adjustment processing, and A / D conversion processing on the images output from theimage sensors 25A and 25B, respectively. It is configured. Further, thesignal processing circuit 26 is configured to output the image subjected to the predetermined signal processing described above to theprocessor 4 to which thesignal cable 28 is connected.
光源装置3は、発光部31と、合波器32と、集光レンズ33と、光源制御部34と、を有して構成されている。Thelight source device 3 includes alight emitting unit 31, amultiplexer 32, acondenser lens 33, and a lightsource control unit 34.
発光部31は、青色LED311と、緑色LED312と、赤色LED313と、琥珀色LED314と、近赤外LD(レーザダイオード)315と、を有して構成されている。Thelight emitting unit 31 includes ablue LED 311, agreen LED 312, ared LED 313, anamber LED 314, and a near infrared LD (laser diode) 315.
青色LED311は、青色域に強度を有する(狭帯域な)光であるB光を発するように構成されている。具体的には、青色LED311は、例えば、中心波長が460nm付近に設定され、かつ、帯域幅が20nm程度に設定されたB光を発するように構成されている。また、青色LED311は、光源制御部34の制御に応じて点灯状態または消灯状態に切り替わるように構成されている。また、青色LED311は、点灯状態において、光源制御部34の制御に応じた強度のB光を発生するように構成されている。なお、B光の中心波長は、青色域に設定される限りにおいては、460nmとは異なる波長に設定されていてもよい。また、B光の帯域幅は、中心波長に応じた所定の帯域幅に設定されていればよい。Theblue LED 311 is configured to emit B light which is light (narrow band) having intensity in the blue region. Specifically, theblue LED 311 is configured to emit B light having a center wavelength set to around 460 nm and a bandwidth set to about 20 nm, for example. Further, theblue LED 311 is configured to be switched between a lighting state and a light-off state according to the control of the lightsource control unit 34. Further, theblue LED 311 is configured to generate B light having an intensity according to the control of the lightsource control unit 34 in the lighting state. Note that the center wavelength of the B light may be set to a wavelength different from 460 nm as long as it is set in the blue region. In addition, the bandwidth of the B light may be set to a predetermined bandwidth corresponding to the center wavelength.
緑色LED312は、緑色域に強度を有する(狭帯域な)光であるG光を発するように構成されている。具体的には、緑色LED312は、例えば、中心波長が540nm付近に設定され、かつ、帯域幅が20nm程度に設定されたG光を発するように構成されている。また、緑色LED312は、光源制御部34の制御に応じて点灯状態または消灯状態に切り替わるように構成されている。また、緑色LED312は、点灯状態において、光源制御部34の制御に応じた強度のG光を発生するように構成されている。なお、G光の中心波長は、緑色域に設定される限りにおいては、540nmとは異なる波長に設定されていてもよい。また、G光の帯域幅は、中心波長に応じた所定の帯域幅に設定されていればよい。Thegreen LED 312 is configured to emit G light which is light (narrow band) having intensity in the green region. Specifically, thegreen LED 312 is configured to emit G light whose center wavelength is set to around 540 nm and whose bandwidth is set to about 20 nm, for example. Further, thegreen LED 312 is configured to be switched between a lighting state and a light-off state according to the control of the lightsource control unit 34. Further, thegreen LED 312 is configured to generate G light having an intensity according to the control of the lightsource control unit 34 in the lighting state. The center wavelength of the G light may be set to a wavelength different from 540 nm as long as it is set in the green range. Moreover, the bandwidth of G light should just be set to the predetermined bandwidth according to the center wavelength.
赤色LED313は、赤色域に強度を有する(狭帯域な)光であるR光を発するように構成されている。具体的には、赤色LED313は、例えば、中心波長が630nm付近に設定され、かつ、帯域幅が20nm程度に設定されたR光を発するように構成されている。また、赤色LED313は、光源制御部34の制御に応じて点灯状態または消灯状態に切り替わるように構成されている。また、赤色LED313は、点灯状態において、光源制御部34の制御に応じた強度のR光を発生するように構成されている。なお、R光の中心波長は、赤色域に設定される限りにおいては、例えば、630nmとは異なる波長に設定されていてもよい。また、R光の帯域幅は、中心波長に応じた所定の帯域幅に設定されていればよい。Thered LED 313 is configured to emit R light which is light (narrow band) having intensity in a red region. Specifically, thered LED 313 is configured to emit R light having a center wavelength set to around 630 nm and a bandwidth set to about 20 nm, for example. Further, thered LED 313 is configured to switch between a lighting state and a light-off state according to the control of the lightsource control unit 34. Further, thered LED 313 is configured to generate R light having an intensity according to the control of the lightsource control unit 34 in the lighting state. The center wavelength of the R light may be set to a wavelength different from 630 nm, for example, as long as it is set in the red region. Moreover, the bandwidth of R light should just be set to the predetermined bandwidth according to the center wavelength.
琥珀色LED314は、例えば、中心波長が600nm付近に設定された(狭帯域な)琥珀色光であるA光を発するように構成されている。すなわち、琥珀色LED314は、生体組織の深部及び当該生体組織の深部に存在する太径の血管である深部血管に到達可能な光(特殊光)であるA光を発するように構成されている。また、琥珀色LED314は、光源制御部34の制御に応じて点灯状態または消灯状態に切り替わるように構成されている。また、琥珀色LED314は、点灯状態において、光源制御部34の制御に応じた強度のA光を発生するように構成されている。Theamber LED 314 is configured to emit, for example, A light which is amber light (narrow band) whose center wavelength is set to around 600 nm. That is, theamber LED 314 is configured to emit A light that is light (special light) that can reach a deep blood vessel that is a deep blood vessel and a deep blood vessel that exists in the deep portion of the biological tissue. Further, theamber LED 314 is configured to switch between a lighting state and a light-off state according to the control of the lightsource control unit 34. Further, theamber LED 314 is configured to generate A light having an intensity according to the control of the lightsource control unit 34 in the lighting state.
近赤外LD315は、例えば、中心波長が800nmに設定された(狭帯域な)近赤外光であるIR光を発するように構成されている。すなわち、近赤外LD315は、被検体に投与されたICG(インドシアニングリーン)等の所定の蛍光薬剤を励起して蛍光を発生させることが可能な励起光であるIR光を発するように構成されている。さらに換言すると、近赤外LD315は、生体組織の深部及び当該生体組織の深部に存在する神経に到達可能な光(特殊光)であるIR光を発するように構成されている。また、近赤外LD315は、光源制御部34の制御に応じて点灯状態または消灯状態に切り替わるように構成されている。また、近赤外LD315は、点灯状態において、光源制御部34の制御に応じた強度のIR光を発生するように構成されている。The near-infrared LD 315 is configured to emit IR light, which is near-infrared light having a center wavelength set at 800 nm (narrow band), for example. That is, the near-infrared LD 315 is configured to emit IR light that is excitation light that can excite a predetermined fluorescent agent such as ICG (Indocyanine Green) administered to the subject to generate fluorescence. ing. In other words, the near-infrared LD 315 is configured to emit IR light that is light (special light) that can reach the deep part of the living tissue and nerves existing in the deep part of the living tissue. Further, the near-infrared LD 315 is configured to switch between a lighting state and a light-off state according to the control of the lightsource control unit 34. The near-infrared LD 315 is configured to generate IR light having an intensity according to the control of the lightsource control unit 34 in the lighting state.
合波器32は、発光部31から発せられた各光を合波して集光レンズ33に入射させることができるように構成されている。Themultiplexer 32 is configured to be able to multiplex each light emitted from thelight emitting unit 31 so as to enter thecondenser lens 33.
集光レンズ33は、合波器32を経て入射した光を集光してライトガイド13へ出射するように構成されている。Thecondenser lens 33 is configured to collect the light incident through themultiplexer 32 and output it to thelight guide 13.
光源制御部34は、プロセッサ4から出力されるシステム制御信号に基づき、発光部31の各光源に対する制御を行うように構成されている。The lightsource control unit 34 is configured to control each light source of thelight emitting unit 31 based on a system control signal output from theprocessor 4.
プロセッサ4は、医療用制御装置としての機能を具備して構成されている。また、プロセッサ4は、撮像素子駆動部41と、画像入力部42と、画像処理部43と、表示制御部44と、入力I/F(インターフェース)45と、発音装置46と、制御部47と、を有して構成されている。なお、本実施形態においては、例えば、プロセッサ4の撮像素子駆動部41、画像入力部42、画像処理部43、表示制御部44及び制御部47の各部が、個々の電子回路として構成されていてもよく、または、FPGA(Field Programmable Gate Array)等の集積回路における回路ブロックとして構成されていてもよい。また、本実施形態においては、例えば、プロセッサ4が1つ以上のCPUを具備して構成されていてもよい。Theprocessor 4 has a function as a medical control device. In addition, theprocessor 4 includes an imagesensor driving unit 41, animage input unit 42, animage processing unit 43, adisplay control unit 44, an input I / F (interface) 45, a sound generator 46, and acontrol unit 47. , And is configured. In the present embodiment, for example, the imagesensor driving unit 41, theimage input unit 42, theimage processing unit 43, thedisplay control unit 44, and thecontrol unit 47 of theprocessor 4 are configured as individual electronic circuits. Alternatively, it may be configured as a circuit block in an integrated circuit such as an FPGA (Field Programmable Gate Array). In the present embodiment, for example, theprocessor 4 may include one or more CPUs.
撮像素子駆動部41は、制御部47から出力されるシステム制御信号に応じ、撮像素子25A及び25Bを駆動させるための撮像素子駆動信号を生成して出力するように構成されている。The imagesensor drive unit 41 is configured to generate and output an image sensor drive signal for driving theimage sensors 25A and 25B in accordance with a system control signal output from thecontrol unit 47.
画像入力部42は、内視鏡装置2により得られた画像が入力されるとともに、当該入力された画像の出力先を制御部47から出力されるシステム制御信号に応じて切り替えるための動作を行うように構成されている。Theimage input unit 42 receives an image obtained by theendoscope apparatus 2 and performs an operation for switching an output destination of the input image according to a system control signal output from thecontrol unit 47. It is configured as follows.
画像処理部43は、制御部47から出力されるシステム制御信号に応じ、画像入力部42から出力される画像に対して所定の画像処理を施すことにより距離情報(後述)を取得し、当該取得した距離情報を表示制御部44及び制御部47へそれぞれ出力するように構成されている。また、画像処理部43は、例えば、図3に示すように、処置具抽出処理部431と、特定組織抽出処理部432と、距離情報取得部433と、を有して構成されている。図3は、実施形態に係るプロセッサに設けられた画像処理部の具体的な構成の一例を説明するための図である。Theimage processing unit 43 acquires distance information (described later) by performing predetermined image processing on the image output from theimage input unit 42 in accordance with the system control signal output from thecontrol unit 47, and acquires the information. This distance information is output to thedisplay control unit 44 and thecontrol unit 47, respectively. Further, for example, as illustrated in FIG. 3, theimage processing unit 43 includes a treatment instrumentextraction processing unit 431, a specific tissueextraction processing unit 432, and a distanceinformation acquisition unit 433. FIG. 3 is a diagram for explaining an example of a specific configuration of the image processing unit provided in the processor according to the embodiment.
処置具抽出処理部431は、画像入力部42を経て出力される画像全域から処置具61に相当する領域を抽出するための処理である処置具抽出処理を行うように構成されている。また、処置具抽出処理部431は、前述の処置具抽出処理により抽出した処置具61のみを含む画像である処置具抽出画像を生成して距離情報取得部433へ出力するように構成されている。The treatment instrumentextraction processing unit 431 is configured to perform a treatment instrument extraction process that is a process for extracting a region corresponding to thetreatment instrument 61 from the entire image output via theimage input unit 42. In addition, the treatment instrumentextraction processing unit 431 is configured to generate a treatment instrument extraction image that is an image including only thetreatment instrument 61 extracted by the above-described treatment instrument extraction process and output the treatment instrument extraction image to the distanceinformation acquisition unit 433. .
特定組織抽出処理部432は、画像入力部42を経て出力される画像全域から、制御部47から出力されるシステム制御信号に応じた特定組織に相当する領域を抽出するための処理である特定組織抽出処理を行うように構成されている。また、特定組織抽出処理部432は、前述の特定組織抽出処理により抽出した特定組織のみを含む画像である特定組織抽出画像を生成して距離情報取得部433へ出力するように構成されている。The specific tissueextraction processing unit 432 is a process for extracting a region corresponding to the specific tissue according to the system control signal output from thecontrol unit 47 from the entire image output via theimage input unit 42. An extraction process is performed. In addition, the specific tissueextraction processing unit 432 is configured to generate a specific tissue extraction image that is an image including only the specific tissue extracted by the above-described specific tissue extraction processing and output the specific tissue extraction image to the distanceinformation acquisition unit 433.
距離情報取得部433は、処置具抽出処理部431から出力される処置具抽出画像に含まれる処置具と、特定組織抽出処理部432から出力される特定組織抽出画像に含まれる特定組織と、の間の距離を算出するための処理である距離算出処理を行うように構成されている。また、距離情報取得部433は、前述の距離算出処理により算出した距離を示す情報である距離情報を取得するとともに、当該取得した距離情報を表示制御部44及び制御部47へそれぞれ出力するように構成されている。すなわち、距離情報取得部433は、処置具抽出処理部431の処理により抽出された処置具61と、特定組織抽出処理部432の処理により抽出された特定組織と、の間の距離を示す情報である距離情報を取得するように構成されている。The distanceinformation acquisition unit 433 includes a treatment tool included in the treatment tool extraction image output from the treatment toolextraction processing unit 431 and a specific tissue included in the specific tissue extraction image output from the specific tissueextraction processing unit 432. A distance calculation process, which is a process for calculating the distance between them, is performed. The distanceinformation acquisition unit 433 acquires distance information that is information indicating the distance calculated by the above-described distance calculation processing, and outputs the acquired distance information to thedisplay control unit 44 and thecontrol unit 47, respectively. It is configured. That is, the distanceinformation acquisition unit 433 is information indicating the distance between thetreatment tool 61 extracted by the processing of the treatment toolextraction processing unit 431 and the specific tissue extracted by the processing of the specific tissueextraction processing unit 432. It is configured to acquire certain distance information.
表示制御部44は、画像入力部42から出力される画像と、画像処理部43から出力される距離情報と、制御部47から出力されるシステム制御信号と、に基づいて表示用画像を生成し、当該生成した表示用画像を表示装置5へ出力するように構成されている。Thedisplay control unit 44 generates a display image based on the image output from theimage input unit 42, the distance information output from theimage processing unit 43, and the system control signal output from thecontrol unit 47. The generated display image is output to thedisplay device 5.
入力I/F45は、術者等のユーザの操作に応じた指示等を行うことが可能な1つ以上のスイッチ及び/またはボタンを具備して構成されている。また、入力I/F45は、ユーザの操作に応じ、A光またはIR光のいずれか一方を光源装置3から出射させるための指示を行うことができるように構成されている。The input I /F 45 is configured to include one or more switches and / or buttons capable of giving instructions according to the operation of the user such as the operator. Further, the input I /F 45 is configured to be able to issue an instruction to emit either the A light or the IR light from thelight source device 3 in accordance with a user operation.
発音装置46は、例えば、スピーカ等を具備して構成されている。また、発音装置46は、制御部47から出力されるシステム制御信号に応じた音を発するように構成されている。The sounding device 46 includes, for example, a speaker. The sound generator 46 is configured to emit a sound corresponding to a system control signal output from thecontrol unit 47.
制御部47は、入力I/F44においてなされた指示に応じた動作を行わせるためのシステム制御信号を生成して出力するように構成されている。また、制御部47は、発光部31から発せられる光を時分割に被写体に照射させるためのシステム制御信号を生成して光源制御部34へ出力するように構成されている。また、制御部47は、撮像素子25A及び25Bの撮像動作を制御するためのシステム制御信号を生成して撮像素子駆動部41へ出力するように構成されている。また、制御部47は、発光部31から発せられる光を時分割に被写体に照射する際の照射パターンに応じ、内視鏡装置2により得られた画像の出力先の切り替えに係る動作を行わせるためのシステム制御信号を生成して画像入力部42へ出力するように構成されている。また、制御部47は、画像処理部43から出力される距離情報と、ケーブル30を介して接続されている処置具制御装置62から出力される動作状態情報(後述)と、に応じた動作を行うように構成されている。Thecontrol unit 47 is configured to generate and output a system control signal for performing an operation in accordance with an instruction made at the input I /F 44. Thecontrol unit 47 is configured to generate a system control signal for irradiating the subject with light emitted from thelight emitting unit 31 in a time-sharing manner and output the system control signal to the lightsource control unit 34. Thecontrol unit 47 is configured to generate a system control signal for controlling the imaging operation of theimaging elements 25A and 25B and output the system control signal to the imagingelement driving unit 41. In addition, thecontrol unit 47 performs an operation related to switching of an output destination of an image obtained by theendoscope apparatus 2 according to an irradiation pattern when the subject is irradiated with light emitted from thelight emitting unit 31 in a time division manner. The system control signal is generated and output to theimage input unit 42. Further, thecontrol unit 47 performs an operation according to the distance information output from theimage processing unit 43 and the operation state information (described later) output from the treatmentinstrument control device 62 connected via thecable 30. Configured to do.
表示装置5は、例えば、LCD(液晶ディスプレイ)等を具備し、プロセッサ4から出力される表示用画像等を表示することができるように構成されている。Thedisplay device 5 includes, for example, an LCD (liquid crystal display) and the like, and is configured to display a display image output from theprocessor 4.
処置具61は、図1に示すように、ハンドル部71と、基端側がハンドル部71に取り付けられたシャフト72と、シャフト72の先端側に設けられた処置部73と、を有して構成されている。また、処置具61は、ハンドル部71から延出するケーブル63を介して処置具制御装置62に接続されている。また、処置部73は、開閉可能な一対のジョー部材73a及び73bを有して構成されている。As shown in FIG. 1, thetreatment instrument 61 includes ahandle portion 71, ashaft 72 having a proximal end attached to thehandle portion 71, and atreatment portion 73 provided on the distal end side of theshaft 72. Has been. Thetreatment instrument 61 is connected to the treatmentinstrument control device 62 via acable 63 extending from thehandle portion 71. Thetreatment portion 73 is configured to have a pair ofjaw members 73a and 73b that can be opened and closed.
ハンドル部71は、例えば、複数の操作レバーを具備し、当該複数の操作レバーの操作に応じて処置部73のジョー部材73a及び73bの開閉状態を変化させることができるように構成されている。また、ハンドル部71には、術者等のユーザの操作に応じた指示を処置具制御装置62に対して行うための1つ以上のスイッチを具備するスイッチ部74が設けられている。Thehandle portion 71 includes, for example, a plurality of operation levers, and is configured to be able to change the open / close state of thejaw members 73a and 73b of thetreatment portion 73 in accordance with the operation of the plurality of operation levers. In addition, thehandle portion 71 is provided with aswitch portion 74 having one or more switches for giving instructions to the treatmentinstrument control device 62 in accordance with an operation of a user such as an operator.
シャフト72は、例えば、円筒形状等のような、被検体の体壁に設置されるトラカールを介して当該被検体の内部に挿入可能な細長形状を具備して形成されている。Theshaft 72 is formed to have an elongated shape that can be inserted into the subject via a trocar placed on the body wall of the subject, such as a cylindrical shape.
処置部73は、ジョー部材73a及び73bにおいて生体組織を挟持することができるように構成されている。また、処置部73は、ジョー部材73a及び73bにより挟持されている生体組織に対し、処置具制御装置62から供給されるエネルギーを印加することができるように構成されている。Thetreatment section 73 is configured to be able to hold a living tissue between thejaw members 73a and 73b. In addition, thetreatment unit 73 is configured to apply energy supplied from the treatmentinstrument control device 62 to the living tissue held between thejaw members 73a and 73b.
スイッチ部74は、ユーザの操作に応じ、生体組織を切開する際に用いられる超音波及び生体組織を凝固する際に用いられる高周波電流のうちの少なくともいずれか一方のエネルギーを処置具制御装置62から供給させるための指示を行うことができるように構成されている。また、スイッチ部74は、ユーザの操作に応じ、処置具61に対するエネルギーの供給状態の切替方法を手動切替または自動切替のいずれかに設定するための指示を行うことができるように構成されている。Theswitch unit 74 generates energy from at least one of an ultrasonic wave used when incising the living tissue and a high-frequency current used when coagulating the living tissue from the treatmentinstrument control device 62 in accordance with a user operation. It is comprised so that the instruction | indication for supplying can be performed. In addition, theswitch unit 74 is configured to be able to issue an instruction for setting the switching method of the energy supply state for thetreatment instrument 61 to either manual switching or automatic switching in accordance with a user operation. .
処置具制御装置62は、例えば、処置具61に供給するエネルギーを生成するための電源回路、及び、処置具61に対する制御を行うための制御回路等を具備して構成されている。また、処置具制御装置62は、図1及び図2に示すように、ケーブル30を介して制御部47に接続されているとともに、ケーブル63を介して処置具61に接続されている。また、処置具制御装置62は、処置部73において挟持されている生体組織に対して印加されるエネルギーとして、例えば、超音波及び高周波電流を生成して処置具61へ供給することができるように構成されている。また、処置具制御装置62は、例えば、処置具61へ供給する超音波の周波数を変化させることにより、当該超音波の出力レベルを変化させることができるように構成されている。また、処置具制御装置62は、スイッチ部74においてなされた指示に応じ、処置具61に対するエネルギーの供給状態の切替方法が手動切替または自動切替のどちらに設定されているかを示す動作状態情報を生成して制御部47へ出力するように構成されている。また、処置具制御装置62は、処置具61に対するエネルギーの供給状態の切替方法が手動切替に設定されている場合に、スイッチ部74の指示に応じたエネルギーを処置具61に供給するための動作を行うように構成されている。また、処置具制御装置62は、処置具61に対するエネルギーの供給状態の切替方法が自動切替に設定されている場合に、制御部47から出力されるシステム制御信号に応じたエネルギーを処置具61に供給するための動作を行うように構成されている。The treatmentinstrument control device 62 includes, for example, a power supply circuit for generating energy to be supplied to thetreatment instrument 61, a control circuit for controlling thetreatment instrument 61, and the like. Further, as shown in FIGS. 1 and 2, the treatmentinstrument control device 62 is connected to thecontrol unit 47 via thecable 30 and to thetreatment instrument 61 via thecable 63. Further, the treatmentinstrument control device 62 can generate, for example, an ultrasonic wave and a high-frequency current as energy applied to the living tissue held in thetreatment unit 73 and supply the generated energy to thetreatment instrument 61. It is configured. The treatmentinstrument control device 62 is configured to change the output level of the ultrasonic wave by changing the frequency of the ultrasonic wave supplied to thetreatment instrument 61, for example. In addition, the treatmentinstrument control device 62 generates operation state information indicating whether the energy supply state switching method for thetreatment instrument 61 is set to manual switching or automatic switching in response to an instruction made in theswitch unit 74. And output to thecontrol unit 47. In addition, the treatmentinstrument control device 62 operates to supply energy to thetreatment instrument 61 according to the instruction of theswitch unit 74 when the switching method of the energy supply state for thetreatment instrument 61 is set to manual switching. Is configured to do. In addition, the treatmentinstrument control device 62 supplies energy corresponding to the system control signal output from thecontrol unit 47 to thetreatment instrument 61 when the switching method of the energy supply state to thetreatment instrument 61 is set to automatic switching. It is comprised so that the operation | movement for supplying may be performed.
次に、本実施形態の医療用システム1の動作等について説明する。Next, the operation of themedical system 1 of the present embodiment will be described.
ユーザは、例えば、医療用システム1の各部を接続して電源を投入し、かつ、被検者の腹壁に複数のトラカールを設置した状態において、当該複数のトラカールのうちの1つのトラカールから当該被検者の体腔内へ挿入部6を挿入するとともに、当該複数のトラカールのうちの他の1つのトラカールから当該被検者の体腔内へシャフト72(及び処置部73)を挿入する。また、ユーザは、例えば、医療用システム1の各部を接続して電源を投入した後、入力I/F44を操作することにより、光源装置3からA光を出射させるための指示を行うとともに、スイッチ部74を操作することにより、処置具61に対するエネルギーの供給状態の切替方法を自動切替に設定する。そして、このようなユーザの操作に応じ、処置具61に対するエネルギーの供給状態の切替方法が自動切替に設定されていることを示す動作状態情報が処置具制御装置62から制御部47へ出力される。また、ユーザは、例えば、光源装置3からA光を出射させるための指示を行った後、被検体内における処置対象の生体組織(以降、処置対象部位とも称する)を撮像可能な位置に挿入部6の先端部を配置するとともに、当該処置対象の生体組織の近傍に処置具61の処置部73を配置する。For example, the user connects each part of themedical system 1 and turns on the power, and in a state where a plurality of trocars are installed on the abdominal wall of the subject, the user removes the subject from one trocar of the plurality of trocars. Theinsertion section 6 is inserted into the body cavity of the examiner, and the shaft 72 (and the treatment section 73) is inserted into the body cavity of the subject from the other one trocar among the plurality of trocars. Further, for example, the user operates the input I /F 44 after connecting each part of themedical system 1 and turning on the power, thereby giving an instruction to emit the A light from thelight source device 3 and the switch. By operating theunit 74, the switching method of the energy supply state for thetreatment instrument 61 is set to automatic switching. In response to such user operation, operation state information indicating that the method of switching the state of energy supply to thetreatment instrument 61 is set to automatic switching is output from the treatmentinstrument control device 62 to thecontrol unit 47. . In addition, for example, after the user gives an instruction to emit A light from thelight source device 3, the insertion unit is inserted at a position where a biological tissue to be treated (hereinafter also referred to as a treatment target site) in the subject can be imaged. 6 is disposed, and thetreatment portion 73 of thetreatment instrument 61 is disposed in the vicinity of the biological tissue to be treated.
制御部47は、プロセッサ4の電源が投入され、光源装置3がプロセッサ4に接続され、かつ、A光を出射させるための指示が入力I/F44においてなされた際に、R光、G光及びB光を混合した白色光であるWL光と、A光と、を交互に被写体に照射させるためのシステム制御信号を生成して光源制御部34へ出力する。すなわち、制御部47は、被検体内に挿入された処置具61により処置される処置対象部位に対し、当該被検体内の生体組織の表層を照明するための光であるWL光と、当該被検体内の生体組織の深部に到達可能な光であるA光と、を交互に照射させるためのシステム制御信号を生成して光源制御部34へ出力する。When theprocessor 4 is turned on, thelight source device 3 is connected to theprocessor 4, and an instruction for emitting A light is given at the input I /F 44, A system control signal for alternately irradiating the subject with WL light, which is white light mixed with B light, and A light is generated and output to the lightsource control unit 34. That is, thecontrol unit 47 illuminates the treatment target site to be treated by thetreatment tool 61 inserted into the subject with WL light, which is light for illuminating the surface layer of the living tissue in the subject, A system control signal for alternately irradiating A light, which is light that can reach the deep part of the living tissue in the specimen, is generated and output to the lightsource control unit 34.
光源制御部34は、プロセッサ4から出力されるシステム制御信号に基づき、青色LED311、緑色LED312及び赤色LED313の3色のLEDを点灯させつつ琥珀色LED314及び近赤外LD315を消灯させる制御と、琥珀色LED314を点灯させつつ当該3色のLED及び近赤外LD315を消灯させる制御と、を発光部31に対して交互に行う。そして、このような光源制御部34の動作に応じ、WL光及びA光が交互に処置対象部位を含む被写体に照射されるとともに、当該WL光が照射された当該被写体を撮像素子25Aで撮像して得られる白色光画像WLIと、当該A光が照射された当該被写体を撮像素子25Aで撮像して得られる琥珀光画像ALIと、が内視鏡装置2からそれぞれ出力される。Based on the system control signal output from theprocessor 4, the lightsource control unit 34 controls to turn off theamber LED 314 and the near-infrared LD 315 while turning on the three LEDs of theblue LED 311, thegreen LED 312 and thered LED 313, Control for turning off the LEDs of the three colors and the near-infrared LD 315 while turning on thecolor LED 314 is alternately performed on thelight emitting unit 31. Then, according to the operation of the lightsource control unit 34, WL light and A light are alternately irradiated onto the subject including the treatment target region, and the subject irradiated with the WL light is imaged by theimaging element 25A. Theendoscope apparatus 2 outputs a white light image WLI obtained in this way and a fluorescent image ALI obtained by imaging the subject irradiated with the A light with theimaging device 25A.
A光の照射時に内視鏡装置2から出力される白色光画像WLIには、例えば、図4に示すように、琥珀光画像ALIに比べて視認性が低い状態で撮像された深部血管と、毛細血管等のような生体組織の粘膜表層またはその付近に存在する深部血管以外の構造物と、処置具61の先端部に設けられた処置部73と、が含まれている。図4は、実施形態に係る内視鏡システムにより取得される白色光画像を模式的に示した図である。For example, as shown in FIG. 4, the white light image WLI output from theendoscope apparatus 2 at the time of irradiation with the A light includes a deep blood vessel imaged in a state where the visibility is lower than that of the fluorescent image ALI, A structure other than deep blood vessels existing in or near the mucosal surface layer of a living tissue such as a capillary blood vessel and atreatment portion 73 provided at the distal end portion of thetreatment instrument 61 are included. FIG. 4 is a diagram schematically illustrating a white light image acquired by the endoscope system according to the embodiment.
琥珀光画像ALIは、例えば、図5に示すように、被検体内における深部血管の存在箇所が相対的に暗くなり、かつ、当該被検体内における深部血管の存在箇所以外の箇所が相対的に明るくなるような画像として取得される。また、琥珀光画像ALIには、例えば、図5に示すように、生体組織の粘膜深部に存在する深部血管と、白色光画像WLIに比べて視認性が低い状態で撮像された当該深部血管以外の構造物と、処置具61の先端部に設けられた処置部73と、が含まれている。図5は、実施形態に係る内視鏡システムにより取得される琥珀光画像を模式的に示した図である。In the fluorescence image ALI, for example, as shown in FIG. 5, the location of the deep blood vessel in the subject is relatively dark, and the location other than the location of the deep blood vessel in the subject is relatively dark. Acquired as a bright image. Further, in the fluorescence image ALI, for example, as shown in FIG. 5, other than the deep blood vessels existing in the deep mucosa of the living tissue and the deep blood vessels imaged in a state where the visibility is lower than that of the white light image WLI. And atreatment portion 73 provided at the distal end portion of thetreatment instrument 61 are included. FIG. 5 is a diagram schematically illustrating a fluorescent image acquired by the endoscope system according to the embodiment.
制御部47は、プロセッサ4の電源が投入され、かつ、A光を被写体に照射させるための指示が入力I/F44において行われた際に、内視鏡装置2から出力される白色光画像WLIを処置具抽出処理部431及び表示制御部44へ出力させるとともに、内視鏡装置2から出力される琥珀光画像ALIを特定組織抽出処理部432及び表示制御部44へ出力させるためのシステム制御信号を生成して画像入力部42へ出力する。すなわち、このような制御部47の動作によれば、内視鏡装置2から出力される白色光画像WLIが画像入力部42を経て処置具抽出処理部431及び表示制御部44に入力されるとともに、内視鏡装置2から出力される琥珀光画像ALIが画像入力部42を経て特定組織抽出処理部432及び表示制御部44に入力される。When theprocessor 4 is turned on and an instruction for irradiating the subject with A light is given at the input I /F 44, thecontrol unit 47 outputs the white light image WLI output from theendoscope apparatus 2. Is output to the treatment instrumentextraction processing unit 431 and thedisplay control unit 44, and the system control signal for causing the specific tissueextraction processing unit 432 and thedisplay control unit 44 to output the fluorescent image ALI output from theendoscope apparatus 2 Is output to theimage input unit 42. That is, according to the operation of thecontrol unit 47 as described above, the white light image WLI output from theendoscope apparatus 2 is input to the treatment instrumentextraction processing unit 431 and thedisplay control unit 44 via theimage input unit 42. The fluorescent image ALI output from theendoscope apparatus 2 is input to the specific tissueextraction processing unit 432 and thedisplay control unit 44 via theimage input unit 42.
処置具抽出処理部431は、画像入力部42を経て出力される白色光画像WLIの全域から処置具61に相当する領域を抽出するための処置具抽出処理を行う。The treatment instrumentextraction processing unit 431 performs a treatment instrument extraction process for extracting a region corresponding to thetreatment instrument 61 from the entire area of the white light image WLI output via theimage input unit 42.
具体的には、処置具抽出処理部431は、例えば、白色光画像WLIに含まれる各画素のうち、赤色成分の輝度値と、緑色成分の輝度値と、青色成分の輝度値と、がいずれも閾値TPA以上となる画素群を処置具61に相当する領域として抽出するような処理を処置具抽出処理として行う。Specifically, the treatment instrumentextraction processing unit 431, for example, of the luminance value of the red component, the luminance value of the green component, and the luminance value of the blue component among the pixels included in the white light image WLI. In addition, a process for extracting a pixel group having a threshold value TPA or more as a region corresponding to thetreatment instrument 61 is performed as the treatment instrument extraction process.
処置具抽出処理部431は、前述の処置具抽出処理により抽出した処置具61のみを含む処置具抽出画像TRIを生成して距離情報取得部433へ出力する。The treatment instrumentextraction processing unit 431 generates a treatment instrument extraction image TRI including only thetreatment instrument 61 extracted by the above-described treatment instrument extraction process, and outputs the treatment instrument extraction image TRI to the distanceinformation acquisition unit 433.
特定組織抽出処理部432は、制御部47から出力されるシステム制御信号に応じ、A光が被写体に照射されている際に、画像入力部42を経て出力される琥珀光画像ALIの全域から深部血管に相当する領域を抽出するための処理を特定組織抽出処理として行う。In response to the system control signal output from thecontrol unit 47, the specific tissueextraction processing unit 432 performs a deep portion from the entire region of the fluorescent image ALI output via theimage input unit 42 when the subject is irradiated with the A light. Processing for extracting a region corresponding to a blood vessel is performed as specific tissue extraction processing.
具体的には、特定組織抽出処理部432は、例えば、琥珀光画像ALIに含まれる各画素のうち、閾値TPAとは異なる閾値TPB以下の輝度値を有する画素群を深部血管に相当する領域として抽出するような処理を特定組織抽出処理として行う。Specifically, the specific tissueextraction processing unit 432 sets, for example, a pixel group having a luminance value equal to or lower than the threshold value TPA different from the threshold value TPA among the pixels included in the fluorescent image ALI as a region corresponding to the deep blood vessel. Processing to extract is performed as specific tissue extraction processing.
特定組織抽出処理部432は、前述の特定組織抽出処理により抽出した深部血管のみを含む画像である深部血管抽出画像DVIを生成して距離情報取得部433へ出力する。The specific tissueextraction processing unit 432 generates a deep blood vessel extraction image DVI that is an image including only the deep blood vessels extracted by the specific tissue extraction processing described above, and outputs the deep blood vessel extraction image DVI to the distanceinformation acquisition unit 433.
距離情報取得部433は、処置具抽出処理部431から出力される処置具抽出画像TRIに含まれる処置具61と、特定組織抽出処理部432から出力される深部血管抽出画像DVIに含まれる深部血管と、の間の距離を算出するための距離算出処理を行う。The distanceinformation acquisition unit 433 includes atreatment tool 61 included in the treatment tool extraction image TRI output from the treatment toolextraction processing unit 431 and a deep blood vessel included in the deep blood vessel extraction image DVI output from the specific tissueextraction processing unit 432. And a distance calculation process for calculating the distance between.
具体的には、距離情報取得部433は、例えば、処置具抽出処理部431から出力される処置具抽出画像TRIと、特定組織抽出処理部432から出力される深部血管抽出画像DVIと、を合成することにより距離算出用画像を生成し、当該生成した距離算出用画像に含まれる処置部73の先端と深部血管との間の最短距離に相当する距離DMNAを算出するような処理を距離算出処理として行う。Specifically, the distanceinformation acquisition unit 433 synthesizes, for example, the treatment tool extraction image TRI output from the treatment toolextraction processing unit 431 and the deep blood vessel extraction image DVI output from the specific tissueextraction processing unit 432. The distance calculation processing is performed by generating a distance calculation image and calculating a distance DMNA corresponding to the shortest distance between the distal end of thetreatment unit 73 and the deep blood vessel included in the generated distance calculation image. Do as.
すなわち、以上に述べたような距離情報取得部433の動作によれば、例えば、処置部73の先端と深部血管との間の距離が遠い場合には、図6に示すような距離算出用画像DCIAが生成される。また、以上に述べたような距離情報取得部433の動作によれば、例えば、処置部73の先端と深部血管との間の距離が近い場合には、図7に示すような距離算出用画像DCIBが生成される。図6及び図7は、処置具と深部血管との間の距離を算出する際に用いられる距離算出用画像の一例を示す図である。That is, according to the operation of the distanceinformation acquisition unit 433 as described above, for example, when the distance between the distal end of thetreatment unit 73 and the deep blood vessel is far, the distance calculation image as shown in FIG. A DCIA is generated. Further, according to the operation of the distanceinformation acquisition unit 433 as described above, for example, when the distance between the distal end of thetreatment unit 73 and the deep blood vessel is short, the image for distance calculation as shown in FIG. A DCIB is generated. 6 and 7 are diagrams illustrating an example of a distance calculation image used when calculating the distance between the treatment tool and the deep blood vessel.
距離情報取得部433は、前述の距離算出処理により算出した距離DMNAを示す情報である距離情報を取得するとともに、当該取得した距離情報を表示制御部44及び制御部47へそれぞれ出力する。なお、距離情報取得部433は、例えば、処置具抽出画像TRI及び深部血管抽出画像DVIのうちの少なくとも一方を得ることができない場合、すなわち、距離DMNAを算出することができない場合には、表示制御部44及び制御部47への距離情報の出力を行わない。The distanceinformation acquisition unit 433 acquires distance information that is information indicating the distance DMNA calculated by the above-described distance calculation processing, and outputs the acquired distance information to thedisplay control unit 44 and thecontrol unit 47, respectively. The distanceinformation acquisition unit 433, for example, displays control when it is not possible to obtain at least one of the treatment instrument extraction image TRI and the deep blood vessel extraction image DVI, that is, when the distance DMNA cannot be calculated. The distance information is not output to theunit 44 and thecontrol unit 47.
制御部47は、ケーブル30を介して接続されている処置具制御装置62から出力される動作状態情報に基づき、処置具61に対するエネルギーの供給状態の切替方法が自動切替に設定されていることを検出した場合に、画像処理部43から出力される距離情報に応じて表示制御部44及び処置具制御装置62等に対して制御を行うためのシステム制御信号を生成して出力する。Based on the operation state information output from the treatmentinstrument control device 62 connected via thecable 30, thecontrol unit 47 confirms that the energy supply state switching method for thetreatment instrument 61 is set to automatic switching. If detected, a system control signal for controlling thedisplay control unit 44, the treatmentinstrument control device 62, and the like is generated and output according to the distance information output from theimage processing unit 43.
具体的には、制御部47は、例えば、距離情報取得部433から出力される距離情報により示される距離DMNAが閾値TDAより大きいことを検出した場合、または、距離情報取得部433から距離情報が出力されない場合には、白色光画像WLIを表示装置5に表示させるためのシステム制御信号を生成して表示制御部44へ出力し、スイッチ部74の指示に応じたエネルギーを処置具61に供給させるためのシステム制御信号を生成して処置具制御装置62へ出力する。すなわち、このような制御部47の動作によれば、距離DMNAが閾値TDAより大きい場合、または、距離情報取得部433から距離情報が出力されない場合において、処置具61に対するエネルギーの供給状態をスイッチ部74において手動で切り替えることができる。Specifically, for example, thecontrol unit 47 detects that the distance DMNA indicated by the distance information output from the distanceinformation acquisition unit 433 is larger than the threshold value TDA, or the distance information is received from the distanceinformation acquisition unit 433. If not output, a system control signal for displaying the white light image WLI on thedisplay device 5 is generated and output to thedisplay control unit 44, and energy corresponding to the instruction of theswitch unit 74 is supplied to thetreatment instrument 61. A system control signal for generating the control signal is generated and output to the treatmentinstrument control device 62. That is, according to the operation of thecontrol unit 47, when the distance DMNA is larger than the threshold value TDA or when the distance information is not output from the distanceinformation acquisition unit 433, the energy supply state to thetreatment instrument 61 is changed to the switch unit. Manual switching at 74 is possible.
また、制御部47は、例えば、距離情報取得部433から出力される距離情報により示される距離DMNAが閾値TDA以下でありかつ閾値TDB(<TDA)よりも大きいことを検出した場合には、当該距離DMNAの値を白色光画像WLIに併せて表示装置5に表示させるためのシステム制御信号を生成して表示制御部44へ出力し、ビープ音等の所定の音を発生させるためのシステム制御信号を生成して発音装置46へ出力し、出力レベルPLCの超音波を処置具61に供給させるためのシステム制御信号を生成して処置具制御装置62へ出力する。For example, when thecontrol unit 47 detects that the distance DMNA indicated by the distance information output from the distanceinformation acquisition unit 433 is equal to or smaller than the threshold value TDA and larger than the threshold value TDB (<TDA), A system control signal for generating a predetermined sound such as a beep sound by generating a system control signal for causing thedisplay device 5 to display the value of the distance DMNA together with the white light image WLI and outputting it to thedisplay control unit 44. Is generated and output to the sound generator 46, and a system control signal for supplying thetreatment instrument 61 with the ultrasonic wave of the output level PLC is generated and output to thetreatment instrument controller 62.
また、制御部47は、例えば、距離情報取得部433から出力される距離情報により示される距離DMNAが閾値TDB以下であることを検出した場合には、当該距離DMNAの値を琥珀光画像ALIに併せて表示装置5に表示させるためのシステム制御信号を生成して表示制御部44へ出力し、ビープ音等の所定の音を発生させるためのシステム制御信号を生成して発音装置46へ出力し、出力レベルPLCよりも低い出力レベルPLDの超音波を処置具61に供給させるためのシステム制御信号を生成して処置具制御装置62へ出力する。すなわち、制御部47は、距離DMNAが閾値TDB以下である場合に、距離DMNAが閾値TDBよりも大きい場合よりも生体組織の切開能力を抑えた超音波を処置具61に供給させるためのシステム制御信号を生成して処置具制御装置62へ出力する。なお、本実施形態の制御部47は、距離DMNAが閾値TDB以下であることを検出した場合に、出力レベルPLDを0まで低下させるための、すなわち、処置具61に対する超音波の供給を停止させるためのシステム制御信号を生成して処置具制御装置62へ出力するものであってもよい。For example, when thecontrol unit 47 detects that the distance DMNA indicated by the distance information output from the distanceinformation acquisition unit 433 is equal to or smaller than the threshold TDB, thecontrol unit 47 sets the value of the distance DMNA to the fluorescent image ALI. In addition, a system control signal to be displayed on thedisplay device 5 is generated and output to thedisplay control unit 44, and a system control signal for generating a predetermined sound such as a beep sound is generated and output to the sound generation device 46. Then, a system control signal for causing thetreatment instrument 61 to supply ultrasonic waves with an output level PLD lower than the output level PLC is generated and output to thetreatment instrument controller 62. That is, when the distance DMNA is equal to or less than the threshold value TDB, thecontrol unit 47 controls thesystem 61 to supply thetreatment instrument 61 with ultrasonic waves that suppress the incision ability of the living tissue more than when the distance DMNA is larger than the threshold value TDB. A signal is generated and output to the treatmentinstrument control device 62. In addition, thecontrol part 47 of this embodiment stops the supply of the ultrasonic wave for reducing the output level PLD to 0, ie, thetreatment tool 61, when detecting that the distance DMNA is below the threshold value TDB. A system control signal may be generated and output to the treatmentinstrument control device 62.
すなわち、以上に述べたような、A光の照射時における制御部47の動作によれば、距離DMNAが閾値TDA以下である場合に、当該距離DMNAの値が表示装置5に表示されるとともに、ビープ音等の所定の音が発音装置46から発せられる。また、以上に述べたような、A光の照射時における制御部47の動作によれば、距離DMNAが閾値TDA以下でありかつ閾値TDBよりも大きい場合に、処置部73により挟持されている処置対象の生体組織に対して超音波が印加されるとともに、白色光画像WLIが表示用画像として表示装置5に表示される。また、以上に述べたような、A光の照射時における制御部47の動作によれば、距離DMNAが閾値TDB以下である場合に、処置部73により挟持されている生体組織に対して出力レベルPLCよりも低い出力レベルPLDの超音波を印加することができるとともに、琥珀光画像ALIが白色光画像WLIの代わりに表示用画像として表示装置5に表示される。そのため、以上に述べたような、A光の照射時における制御部47の動作によれば、例えば、処置具61に対して超音波を供給しつつ生体組織に対する処置を行う(生体組織を切開する)際に、当該生体組織の近傍に位置する深部血管を処置部73により偶発的に損傷してしまうリスクを低減することができる。That is, according to the operation of thecontrol unit 47 at the time of irradiation of A light as described above, when the distance DMNA is equal to or less than the threshold value TDA, the value of the distance DMNA is displayed on thedisplay device 5, and A predetermined sound such as a beep sound is emitted from the sound generation device 46. Further, according to the operation of thecontrol unit 47 at the time of irradiation with the A light as described above, when the distance DMNA is equal to or smaller than the threshold value TDA and larger than the threshold value TDB, the treatment held by thetreatment unit 73 is performed. An ultrasonic wave is applied to the target biological tissue, and a white light image WLI is displayed on thedisplay device 5 as a display image. Further, according to the operation of thecontrol unit 47 at the time of irradiation with the A light as described above, when the distance DMNA is equal to or less than the threshold value TDB, the output level with respect to the living tissue held by thetreatment unit 73 An ultrasonic wave having an output level PLD lower than that of the PLC can be applied, and the fluorescent image ALI is displayed on thedisplay device 5 as a display image instead of the white light image WLI. Therefore, according to the operation of thecontrol unit 47 at the time of irradiation with the A light as described above, for example, a treatment is performed on a living tissue while supplying an ultrasonic wave to the treatment instrument 61 (cutting the living tissue). ), The risk of accidentally damaging deep blood vessels located in the vicinity of the living tissue by thetreatment unit 73 can be reduced.
なお、制御部47は、A光の照射時において、以下のような動作を行うことにより、超音波及び高周波電流の両方を処置具61に供給させるようにすることもできる。In addition, thecontrol part 47 can also be made to supply both the ultrasonic wave and the high frequency current to thetreatment tool 61 by performing the following operation | movement at the time of irradiation of A light.
具体的には、制御部47は、例えば、距離情報取得部433から出力される距離情報により示される距離DMNAが閾値TDA以下でありかつ閾値TDBよりも大きいことを検出した場合に、出力レベルPLEの超音波と、出力レベルPLFの高周波電流と、を処置具61に供給させるためのシステム制御信号を生成して処置具制御装置62へ出力する。なお、このような場合において、制御部47は、出力レベルPLFを0まで低下させるためのシステム制御信号を生成して処置具制御装置62へ出力するものであってもよい。Specifically, for example, when thecontrol unit 47 detects that the distance DMNA indicated by the distance information output from the distanceinformation acquisition unit 433 is equal to or less than the threshold value TDA and greater than the threshold value TDB, the output level PLE The system control signal for causing thetreatment instrument 61 to supply the ultrasonic wave and the high-frequency current of the output level PLF is generated and output to thetreatment instrument controller 62. In such a case, thecontrol unit 47 may generate a system control signal for reducing the output level PLF to 0 and output it to the treatmentinstrument control device 62.
また、制御部47は、例えば、距離情報取得部433から出力される距離情報により示される距離DMNAが閾値TDB以下であることを検出した場合に、出力レベルPLEよりも低い出力レベルPLGの超音波と、出力レベルPLFよりも高い出力レベルPLHの高周波電流と、を処置具61に供給させるためのシステム制御信号を生成して処置具制御装置62へ出力する。For example, when thecontrol unit 47 detects that the distance DMNA indicated by the distance information output from the distanceinformation acquisition unit 433 is equal to or less than the threshold value TDB, the ultrasonic wave having an output level PLG lower than the output level PLE is used. Then, a system control signal for causing thetreatment instrument 61 to supply a high-frequency current having an output level PLH higher than the output level PLF is generated and output to thetreatment instrument controller 62.
そして、以上に述べたような制御部47の動作によれば、例えば、処置具61に対して超音波及び高周波電流を同時に供給しつつ生体組織に対する処置を行う際に、当該処置対象の生体組織の近傍に位置する深部血管を処置部73により偶発的に損傷してしまうリスクを低減しつつ、当該処置対象の生体組織の凝固性能を向上させることができる。According to the operation of thecontrol unit 47 as described above, for example, when performing a treatment on a living tissue while simultaneously supplying ultrasonic waves and high-frequency current to thetreatment instrument 61, the living tissue to be treated It is possible to improve the coagulation performance of the treatment target living tissue while reducing the risk of accidentally damaging deep blood vessels located in the vicinity of thetreatment vessel 73.
なお、本実施形態の各部の構成を適宜変形することにより、距離DMNAが閾値TDB以下である場合に、特定組織抽出処理部432の処理により抽出された深部血管を示す情報を白色光画像WLIに併せて表示装置5に表示させるための制御が制御部47により行われるようにしてもよい。具体的には、距離DMNAが閾値TDB以下である場合に、例えば、特定組織抽出処理部432の処理により抽出された深部血管を白色光画像WLI内において強調した強調画像を生成して表示装置5に表示させるための制御が制御部47により行われるようにしてもよい。そして、このような制御部47の制御によれば、例えば、図8に模式的に示すような、白色光画像WLIに含まれる深部血管の領域の赤色成分の画素値を深部血管抽出画像DVIに含まれる当該深部血管の領域の画素値で置換した画像に相当する深部血管強調画像DEIが、琥珀光画像ALIの代わりに表示用画像として表示装置5に表示される。図8は、表示装置に表示される深部血管強調画像を模式的に示した図である。In addition, by appropriately modifying the configuration of each unit of the present embodiment, when the distance DMNA is equal to or less than the threshold value TDB, information indicating the deep blood vessel extracted by the processing of the specific tissueextraction processing unit 432 is added to the white light image WLI. In addition, thecontrol unit 47 may perform control for displaying on thedisplay device 5. Specifically, when the distance DMNA is equal to or smaller than the threshold TDB, for example, thedisplay device 5 generates an enhanced image in which the deep blood vessels extracted by the processing of the specific tissueextraction processing unit 432 are emphasized in the white light image WLI. Thecontrol unit 47 may be configured to perform control for displaying on the screen. According to such control of thecontrol unit 47, for example, the pixel value of the red component of the deep blood vessel region included in the white light image WLI, as schematically shown in FIG. 8, is added to the deep blood vessel extraction image DVI. A deep blood vessel emphasized image DEI corresponding to the image replaced with the pixel value of the included deep blood vessel region is displayed on thedisplay device 5 as a display image instead of the fluorescent image ALI. FIG. 8 is a diagram schematically showing a deep blood vessel emphasis image displayed on the display device.
また、本実施形態においては、距離DMNAが閾値TDA以下である場合に、当該距離DMNAの値を表示装置5に表示させるための制御、及び、所定の音を発音装置46から発生させるための制御のうちの少なくとも一方の制御が制御部47により行われればよい。Further, in the present embodiment, when the distance DMNA is equal to or less than the threshold value TDA, control for displaying the value of the distance DMNA on thedisplay device 5 and control for generating a predetermined sound from the sound generation device 46. It is sufficient that at least one of the controls is performed by thecontrol unit 47.
ユーザは、例えば、IR光により励起されかつ当該IR光よりも長波長な近赤外の蛍光であるFL光を発生する蛍光薬剤FLPを被検体に投与した状態において、入力I/F44を操作することにより、IR光を被写体に照射させるための指示を行う。また、ユーザは、例えば、光源装置3からIR光を出射させるための指示を行った後、被検体内における処置対象の生体組織を撮像可能な位置に挿入部6の先端部を配置するとともに、当該処置対象の生体組織の近傍に処置具61の処置部73を配置する。なお、本実施形態において被検体に投与される蛍光薬剤FLPは、例えば、神経に特異的に結合する標的分子と、インドシアニングリーン等の蛍光色素と、を含むような薬剤であるものとする。For example, the user operates the input I /F 44 in a state where a fluorescent agent FLP that is excited by IR light and generates FL light that is near-infrared fluorescence having a longer wavelength than the IR light is administered to the subject. Thus, an instruction for irradiating the subject with IR light is issued. In addition, for example, after giving an instruction for emitting IR light from thelight source device 3, the user arranges the distal end portion of theinsertion portion 6 at a position where the treatment target living tissue in the subject can be imaged. Thetreatment portion 73 of thetreatment tool 61 is disposed in the vicinity of the biological tissue to be treated. In this embodiment, the fluorescent drug FLP administered to the subject is a drug that includes, for example, a target molecule that specifically binds to a nerve and a fluorescent dye such as indocyanine green.
制御部47は、プロセッサ4の電源が投入され、光源装置3がプロセッサ4に接続され、かつ、IR光を出射させるための指示が入力I/F44においてなされた際に、WL光と、IR光と、を交互に被写体に照射させるためのシステム制御信号を生成して光源制御部34へ出力する。すなわち、制御部47は、被検体内に挿入された処置具61により処置される処置対象部位に対し、当該被検体内の生体組織の表層を照明するための光であるWL光と、当該被検体内の生体組織の深部に到達可能な光であるIR光と、を交互に照射させるためのシステム制御信号を生成して光源制御部34へ出力する。Thecontroller 47 turns on the WL light and the IR light when the power of theprocessor 4 is turned on, thelight source device 3 is connected to theprocessor 4 and an instruction for emitting IR light is given at the input I /F 44. And a system control signal for alternately irradiating the subject to thelight source controller 34 and outputting the system control signal to thelight source controller 34. That is, thecontrol unit 47 illuminates the treatment target site to be treated by thetreatment tool 61 inserted into the subject with WL light, which is light for illuminating the surface layer of the living tissue in the subject, A system control signal for alternately irradiating IR light, which is light that can reach the deep part of the biological tissue in the specimen, is generated and output to the lightsource control unit 34.
光源制御部34は、プロセッサ4から出力されるシステム制御信号に基づき、青色LED311、緑色LED312及び赤色LED313の3色のLEDを点灯させつつ琥珀色LED314及び近赤外LD315を消灯させる制御と、近赤外LD315を点灯させつつ当該3色のLED及び琥珀色LED314を消灯させる制御と、を発光部31に対して交互に行う。そして、このような光源制御部34の動作に応じ、WL光及びIR光が交互に処置対象部位を含む被写体に照射されるとともに、当該WL光が照射された当該被写体を撮像素子25Aで撮像して得られる白色光画像WLIと、当該IR光が照射された当該被写体から発せられるFL光を撮像素子25Bで撮像して得られる蛍光画像FLIと、が内視鏡装置2からそれぞれ出力される。Based on the system control signal output from theprocessor 4, the lightsource control unit 34 performs control to turn off theamber LED 314 and the nearinfrared LD 315 while turning on the three LEDs of theblue LED 311, thegreen LED 312 and thered LED 313. Control for turning off the three-color LED and theamber LED 314 while turning on theinfrared LD 315 is alternately performed on thelight emitting unit 31. Then, according to the operation of the lightsource control unit 34, WL light and IR light are alternately irradiated onto the subject including the treatment target region, and the subject irradiated with the WL light is imaged by theimaging element 25A. Theendoscope apparatus 2 outputs a white light image WLI obtained in this way and a fluorescent image FLI obtained by imaging the FL light emitted from the subject irradiated with the IR light with theimaging device 25B.
IR光の照射時に内視鏡装置2から出力される白色光画像WLIには、例えば、図9に示すように、蛍光画像FLIに比べて視認性が低い状態で撮像された神経と、毛細血管等のような生体組織の粘膜表層またはその付近に存在する神経以外の構造物と、処置具61の先端部に設けられた処置部73と、が含まれている。また、IR光の照射時に内視鏡装置2から出力される白色光画像WLIには、図示しないが、被検体内における処置対象の生体組織が含まれている。図9は、実施形態に係る内視鏡システムにより取得される白色光画像を模式的に示した図である。In the white light image WLI output from theendoscope apparatus 2 at the time of irradiation with IR light, for example, as shown in FIG. 9, nerves and capillaries that are imaged in a state where visibility is lower than that of the fluorescence image FLI. A structure other than nerves existing in or near the mucous membrane surface layer of a living tissue such as the above, and atreatment portion 73 provided at the distal end portion of thetreatment tool 61 are included. In addition, although not shown, the white light image WLI output from theendoscope apparatus 2 at the time of irradiation with IR light includes biological tissue to be treated in the subject. FIG. 9 is a diagram schematically illustrating a white light image acquired by the endoscope system according to the embodiment.
蛍光画像FLIは、例えば、図10に示すように、被検体内における神経の存在箇所が相対的に明るくなり、かつ、当該被検体内における神経の存在箇所以外の箇所が相対的に暗くなるような画像として取得される。また、蛍光画像FLIには、例えば、図10に示すように、生体組織の粘膜深部に存在する神経と、処置具61の先端部に設けられた処置部73と、が含まれている。図10は、実施形態に係る内視鏡システムにより取得される蛍光画像を模式的に示した図である。For example, as shown in FIG. 10, the fluorescence image FLI is such that the location of the nerve in the subject becomes relatively bright and the location other than the location of the nerve in the subject becomes relatively dark. Acquired as a simple image. Further, for example, as shown in FIG. 10, the fluorescence image FLI includes nerves existing in the deep mucosa of the living tissue and atreatment portion 73 provided at the distal end portion of thetreatment instrument 61. FIG. 10 is a diagram schematically illustrating a fluorescence image acquired by the endoscope system according to the embodiment.
制御部47は、プロセッサ4の電源が投入され、かつ、IR光を被写体に照射させるための指示が入力I/F44において行われた際に、内視鏡装置2から出力される白色光画像WLIを処置具抽出処理部431及び表示制御部44へ出力させるとともに、内視鏡装置2から出力される蛍光画像FLIを特定組織抽出処理部432及び表示制御部44へ出力させるためのシステム制御信号を生成して画像入力部42へ出力する。すなわち、このような制御部47の動作によれば、内視鏡装置2から出力される白色光画像WLIが画像入力部42を経て処置具抽出処理部431及び表示制御部44に入力されるとともに、内視鏡装置2から出力される蛍光画像FLIが画像入力部42を経て特定組織抽出処理部432及び表示制御部44に入力される。When theprocessor 4 is turned on and an instruction for irradiating the subject with IR light is given at the input I /F 44, thecontrol unit 47 outputs the white light image WLI output from theendoscope apparatus 2. Is output to the treatment instrumentextraction processing unit 431 and thedisplay control unit 44, and a system control signal for causing the specific tissueextraction processing unit 432 and thedisplay control unit 44 to output the fluorescent image FLI output from theendoscope apparatus 2 is provided. Generate and output to theimage input unit 42. That is, according to the operation of thecontrol unit 47 as described above, the white light image WLI output from theendoscope apparatus 2 is input to the treatment instrumentextraction processing unit 431 and thedisplay control unit 44 via theimage input unit 42. The fluorescence image FLI output from theendoscope apparatus 2 is input to the specific tissueextraction processing unit 432 and thedisplay control unit 44 via theimage input unit 42.
処置具抽出処理部431は、画像入力部42を経て出力される白色光画像WLIの全域から処置具61に相当する領域を抽出するための処置具抽出処理を行うとともに、当該処置具抽出処理により抽出した処置具61のみを含む処置具抽出画像TRIを生成して距離情報取得部433へ出力する。The treatment toolextraction processing unit 431 performs a treatment tool extraction process for extracting a region corresponding to thetreatment tool 61 from the entire area of the white light image WLI output through theimage input unit 42, and the treatment tool extraction process A treatment instrument extraction image TRI including only the extractedtreatment instrument 61 is generated and output to the distanceinformation acquisition unit 433.
特定組織抽出処理部432は、制御部47から出力されるシステム制御信号に応じ、IR光が被写体に照射されている際に、画像入力部42を経て出力される蛍光画像FLIの全域から神経に相当する領域を抽出するための処理を特定組織抽出処理として行う。In response to the system control signal output from thecontrol unit 47, the specific tissueextraction processing unit 432 transmits nerves from the entire fluorescent image FLI output via theimage input unit 42 when IR light is irradiated on the subject. Processing for extracting the corresponding region is performed as specific tissue extraction processing.
具体的には、特定組織抽出処理部432は、例えば、蛍光画像FLIに含まれる各画素のうち、閾値TPC以上の輝度値を有する画素群を神経に相当する領域として抽出するような処理を特定組織抽出処理として行う。Specifically, for example, the specific tissueextraction processing unit 432 specifies a process of extracting a pixel group having a luminance value equal to or higher than the threshold value TPC among the pixels included in the fluorescent image FLI as a region corresponding to a nerve. Performed as a tissue extraction process.
特定組織抽出処理部432は、前述の特定組織抽出処理により抽出した神経のみを含む画像である神経抽出画像NRIを生成して距離情報取得部433へ出力する。The specific tissueextraction processing unit 432 generates a nerve extraction image NRI that is an image including only the nerve extracted by the above-described specific tissue extraction processing, and outputs it to the distanceinformation acquisition unit 433.
距離情報取得部433は、処置具抽出処理部431から出力される処置具抽出画像TRIに含まれる処置具61と、特定組織抽出処理部432から出力される神経抽出画像NRIに含まれる神経と、の間の距離を算出するための距離算出処理を行う。The distanceinformation acquisition unit 433 includes atreatment tool 61 included in the treatment tool extraction image TRI output from the treatment toolextraction processing unit 431, a nerve included in the nerve extraction image NRI output from the specific tissueextraction processing unit 432, A distance calculation process for calculating the distance between the two is performed.
具体的には、距離情報取得部433は、例えば、処置具抽出処理部431から出力される処置具抽出画像TRIと、特定組織抽出処理部432から出力される神経抽出画像NRIと、を合成することにより距離算出用画像を生成し、当該生成した距離算出用画像に含まれる処置部73の先端と神経との間の最短距離に相当する距離DMNBを算出するような処理を距離算出処理として行う。Specifically, the distanceinformation acquisition unit 433 synthesizes, for example, the treatment tool extraction image TRI output from the treatment toolextraction processing unit 431 and the nerve extraction image NRI output from the specific tissueextraction processing unit 432. Thus, a distance calculation image is generated, and a process for calculating the distance DMNB corresponding to the shortest distance between the distal end of thetreatment unit 73 and the nerve included in the generated distance calculation image is performed as the distance calculation process. .
すなわち、以上に述べたような距離情報取得部433の動作によれば、例えば、処置部73の先端と神経との間の距離が遠い場合には、図11に示すような距離算出用画像DCICが生成される。また、以上に述べたような距離情報取得部433の動作によれば、例えば、処置部73の先端と神経との間の距離が近い場合には、図12に示すような距離算出用画像DCIDが生成される。図11及び図12は、処置具と神経との間の距離を算出する際に用いられる距離算出用画像の一例を示す図である。That is, according to the operation of the distanceinformation acquisition unit 433 as described above, for example, when the distance between the distal end of thetreatment unit 73 and the nerve is far, the distance calculation image DCIC as shown in FIG. Is generated. Further, according to the operation of the distanceinformation acquisition unit 433 as described above, for example, when the distance between the distal end of thetreatment unit 73 and the nerve is short, the distance calculation image DCID as shown in FIG. Is generated. 11 and 12 are diagrams illustrating an example of a distance calculation image used when calculating the distance between the treatment tool and the nerve.
距離情報取得部433は、前述の距離算出処理により算出した距離DMNBを示す情報である距離情報を取得するとともに、当該取得した距離情報を表示制御部44及び制御部47へそれぞれ出力する。なお、距離情報取得部433は、例えば、処置具抽出画像TRI及び神経抽出画像NRIのうちの少なくとも一方を得ることができない場合、すなわち、距離DMNBを算出することができない場合には、表示制御部44及び制御部47への距離情報の出力を行わない。The distanceinformation acquisition unit 433 acquires distance information that is information indicating the distance DMNB calculated by the above-described distance calculation process, and outputs the acquired distance information to thedisplay control unit 44 and thecontrol unit 47, respectively. The distanceinformation acquisition unit 433, for example, when it is not possible to obtain at least one of the treatment instrument extraction image TRI and the nerve extraction image NRI, that is, when the distance DMNB cannot be calculated, 44 and the distance information to thecontrol unit 47 is not output.
制御部47は、ケーブル30を介して接続されている処置具制御装置62から出力される動作状態情報に基づき、処置具61に対するエネルギーの供給状態の切替方法が自動切替に設定されていることを検出した場合に、画像処理部43から出力される距離情報に応じて表示制御部44及び処置具制御装置62等に対して制御を行うためのシステム制御信号を生成して出力する。Based on the operation state information output from the treatmentinstrument control device 62 connected via thecable 30, thecontrol unit 47 confirms that the energy supply state switching method for thetreatment instrument 61 is set to automatic switching. If detected, a system control signal for controlling thedisplay control unit 44, the treatmentinstrument control device 62, and the like is generated and output according to the distance information output from theimage processing unit 43.
具体的には、制御部47は、例えば、距離情報取得部433から出力される距離情報により示される距離DMNBが閾値TDCより大きいことを検出した場合、または、距離情報取得部433から距離情報が出力されない場合には、白色光画像WLIを表示装置5に表示させるためのシステム制御信号を生成して表示制御部44へ出力し、スイッチ部74の指示に応じたエネルギーを処置具61に供給させるためのシステム制御信号を生成して処置具制御装置62へ出力する。すなわち、このような制御部47の動作によれば、距離DMNBが閾値TDCより大きい場合、または、距離情報取得部433から距離情報が出力されない場合において、処置具61に対するエネルギーの供給状態をスイッチ部74において手動で切り替えることができる。Specifically, for example, when thecontrol unit 47 detects that the distance DMNB indicated by the distance information output from the distanceinformation acquisition unit 433 is larger than the threshold TDC, or the distance information is received from the distanceinformation acquisition unit 433. If not output, a system control signal for displaying the white light image WLI on thedisplay device 5 is generated and output to thedisplay control unit 44, and energy corresponding to the instruction of theswitch unit 74 is supplied to thetreatment instrument 61. A system control signal for generating the control signal is generated and output to the treatmentinstrument control device 62. That is, according to the operation of thecontrol unit 47 as described above, when the distance DMNB is larger than the threshold value TDC or when the distance information is not output from the distanceinformation acquisition unit 433, the energy supply state to thetreatment instrument 61 is switched to the switch unit. Manual switching at 74 is possible.
また、制御部47は、例えば、距離情報取得部433から出力される距離情報により示される距離DMNBが閾値TDC以下でありかつ閾値TDD(<TDC)よりも大きいことを検出した場合には、当該距離DMNBの値を白色光画像WLIに併せて表示装置5に表示させるためのシステム制御信号を生成して表示制御部44へ出力し、ビープ音等の所定の音を発生させるためのシステム制御信号を生成して発音装置46へ出力し、出力レベルPLAの超音波と、出力レベルPLIの高周波電流と、を処置具61に供給させるためのシステム制御信号を生成して処置具制御装置62へ出力する。For example, when thecontrol unit 47 detects that the distance DMNB indicated by the distance information output from the distanceinformation acquisition unit 433 is equal to or smaller than the threshold TDC and larger than the threshold TDD (<TDC), A system control signal for generating a predetermined sound such as a beep sound by generating a system control signal for causing thedisplay device 5 to display the value of the distance DMNB together with the white light image WLI and outputting it to thedisplay control unit 44. Is generated and output to the sound generator 46, and a system control signal for supplying thetreatment instrument 61 with the ultrasonic wave of the output level PLA and the high-frequency current of the output level PLI is generated and output to thetreatment instrument controller 62. To do.
また、制御部47は、例えば、距離情報取得部433から出力される距離情報により示される距離DMNBが閾値TDD以下であることを検出した場合には、当該距離DMNBの値を蛍光画像FLIに併せて表示装置5に表示させるためのシステム制御信号を生成して表示制御部44へ出力し、ビープ音等の所定の音を発生させるためのシステム制御信号を生成して発音装置46へ出力し、出力レベルPLAよりも低い出力レベルPLBの超音波と、出力レベルPLI以下の出力レベルPLJの高周波電流と、を処置具61に供給させるためのシステム制御信号を生成して処置具制御装置62へ出力する。なお、本実施形態の制御部47は、距離DMNBが閾値TDD以下であることを検出した場合に、出力レベルPLJを0まで低下させるための、すなわち、処置具61に対する高周波電流の供給を停止させるためのシステム制御信号を生成して処置具制御装置62へ出力するものであってもよい。For example, when thecontrol unit 47 detects that the distance DMNB indicated by the distance information output from the distanceinformation acquisition unit 433 is equal to or less than the threshold value TDD, thecontrol unit 47 combines the value of the distance DMNB with the fluorescence image FLI. A system control signal for display on thedisplay device 5 is generated and output to thedisplay control unit 44, a system control signal for generating a predetermined sound such as a beep sound is generated and output to the sound generation device 46, A system control signal for causing thetreatment instrument 61 to supply ultrasonic waves having an output level PLB lower than the output level PLA and a high-frequency current having an output level PLJ lower than the output level PLI is generated and output to thetreatment instrument controller 62. To do. In addition, thecontrol part 47 of this embodiment stops supply of the high frequency current for reducing the output level PLJ to 0, ie, thetreatment tool 61, when detecting that the distance DMNB is below the threshold value TDD. A system control signal may be generated and output to the treatmentinstrument control device 62.
すなわち、以上に述べたような、IR光の照射時における制御部47の動作によれば、距離DMNBが閾値TDC以下である場合に、当該距離DMNBの値が表示装置5に表示されるとともに、ビープ音等の所定の音が発音装置46から発せられる。また、以上に述べたような、IR光の照射時における制御部47の動作によれば、距離DMNBが閾値TDC以下でありかつ閾値TDDよりも大きい場合に、処置部73により挟持されている処置対象の生体組織に対して出力レベルPLAの超音波が印加されるとともに、白色光画像WLIが表示用画像として表示装置5に表示される。また、以上に述べたような、A光の照射時における制御部47の動作によれば、距離DMNBが閾値TDD以下である場合に、処置部73により挟持されている生体組織に対して出力レベルPLBの超音波が印加されるとともに、蛍光画像FLIが白色光画像WLIの代わりに表示用画像として表示装置5に表示される。That is, according to the operation of thecontrol unit 47 at the time of IR light irradiation as described above, when the distance DMNB is equal to or less than the threshold TDC, the value of the distance DMNB is displayed on thedisplay device 5, and A predetermined sound such as a beep sound is emitted from the sound generation device 46. Further, according to the operation of thecontrol unit 47 at the time of irradiation with IR light as described above, the treatment held by thetreatment unit 73 when the distance DMNB is equal to or smaller than the threshold TDC and larger than the threshold TDD. The ultrasonic wave of the output level PLA is applied to the target living tissue, and the white light image WLI is displayed on thedisplay device 5 as a display image. Further, according to the operation of thecontrol unit 47 at the time of irradiation with the A light as described above, when the distance DMNB is equal to or less than the threshold value TDD, the output level with respect to the living tissue sandwiched by thetreatment unit 73. While the PLB ultrasonic waves are applied, the fluorescent image FLI is displayed on thedisplay device 5 as a display image instead of the white light image WLI.
なお、本実施形態の各部の構成を適宜変形することにより、距離DMNBが閾値TDD以下である場合に、特定組織抽出処理部432の処理により抽出された神経を示す情報を白色光画像WLIに併せて表示装置5に表示させるための制御が制御部47により行われるようにしてもよい。具体的には、距離DMNBが閾値TDD以下である場合に、例えば、特定組織抽出処理部432の処理により抽出された神経を白色光画像WLI内において強調した強調画像を生成して表示装置5に表示させるための制御が制御部47により行われるようにしてもよい。そして、このような制御部47の制御によれば、例えば、図13に模式的に示すような、白色光画像WLIに含まれる神経の領域の緑色成分の画素値に対して神経抽出画像NRIに含まれる当該神経の領域の画素値を加算した画像に相当する神経強調画像NEIが、蛍光画像FLIの代わりに表示用画像として表示装置5に表示される。図13は、表示装置に表示される神経強調画像を模式的に示した図である。In addition, when the distance DMNB is equal to or smaller than the threshold value TDD, information indicating the nerve extracted by the processing of the specific tissueextraction processing unit 432 is combined with the white light image WLI by appropriately modifying the configuration of each unit of the present embodiment. Then, the control for displaying on thedisplay device 5 may be performed by thecontrol unit 47. Specifically, when the distance DMNB is equal to or less than the threshold value TDD, for example, an enhanced image in which the nerve extracted by the processing of the specific tissueextraction processing unit 432 is enhanced in the white light image WLI is generated and displayed on thedisplay device 5. Control for display may be performed by thecontrol unit 47. Then, according to such control of thecontrol unit 47, for example, as shown schematically in FIG. 13, the nerve extracted image NRI is converted to the pixel value of the green component of the nerve region included in the white light image WLI. A nerve-enhanced image NEI corresponding to an image obtained by adding the pixel values of the included nerve area is displayed on thedisplay device 5 as a display image instead of the fluorescent image FLI. FIG. 13 is a diagram schematically illustrating a nerve-enhanced image displayed on the display device.
また、本実施形態においては、距離DMNBが閾値TDC以下である場合に、当該距離DMNBの値を表示装置5に表示させるための制御、及び、所定の音を発音装置46から発生させるための制御のうちの少なくとも一方の制御が制御部47により行われればよい。In the present embodiment, when the distance DMNB is equal to or smaller than the threshold TDC, control for displaying the value of the distance DMNB on thedisplay device 5 and control for generating a predetermined sound from the sound generation device 46. It is sufficient that at least one of the controls is performed by thecontrol unit 47.
すなわち、制御部47は、白色光画像WLIを表示装置5に表示させるための制御を行い、さらに、距離情報取得部433から出力される距離情報により示される距離に応じ、被検体内に挿入された処置具61により処置される処置対象部位における深部血管または神経の存在を報知するための制御、及び、当該処置対象部位の処置を行う際に処置具61に対して供給されるエネルギーの供給状態を変化させるための制御のうちの少なくともいずれか一方の制御を行うように構成されている。That is, thecontrol unit 47 performs control for displaying the white light image WLI on thedisplay device 5, and is further inserted into the subject according to the distance indicated by the distance information output from the distanceinformation acquisition unit 433. Control for notifying the presence of deep blood vessels or nerves in the treatment target site to be treated by thetreatment tool 61 and the supply state of energy supplied to thetreatment tool 61 when performing the treatment of the treatment target site It is comprised so that at least any one control of the control for changing may be performed.
以上に述べたように、本実施形態によれば、A光の照射時に距離情報取得部433において算出される距離DMNAに応じ、表示装置5に表示される表示用画像を白色光画像WLIまたは琥珀光画像ALIのいずれかに切り替えることができるとともに、処置具61に供給されるエネルギーを超音波または高周波電流のいずれかに切り替えることができる。従って、本実施形態によれば、例えば、表示装置5に表示される表示用画像の切り替えに係る操作、及び、処置具61に供給されるエネルギーの種類の切り替えに係る操作を行わずとも、処置対象の生体組織の粘膜深部に存在する深部血管の位置を確認しつつ、当該生体組織に対する処置を進めることができるため、内視鏡観察下で生体組織に対する処置を行う術者の負担を軽減することができる。As described above, according to the present embodiment, the display image displayed on thedisplay device 5 is displayed as the white light image WLI or 琥珀 according to the distance DMNA calculated by the distanceinformation acquisition unit 433 when the A light is irradiated. While being able to switch to either of the optical images ALI, the energy supplied to thetreatment tool 61 can be switched to either ultrasonic waves or high-frequency currents. Therefore, according to the present embodiment, for example, the procedure for switching the display image displayed on thedisplay device 5 and the operation for switching the type of energy supplied to thetreatment instrument 61 can be performed without performing the procedure. Since it is possible to proceed with the treatment of the living tissue while confirming the position of the deep blood vessel existing in the deep mucous membrane of the target living tissue, the burden on the operator who performs the treatment of the living tissue under endoscopic observation is reduced. be able to.
また、以上に述べたように、本実施形態によれば、IR光の照射時に距離情報取得部433において算出される距離DMNBに応じ、表示装置5に表示される表示用画像を白色光画像WLIまたは蛍光画像FLIのいずれかに切り替えることができるとともに、処置具61に供給される超音波の出力レベルをPLAまたはPLBのいずれかに切り替えることができる。従って、本実施形態によれば、例えば、表示装置5に表示される表示用画像の切り替えに係る操作、及び、処置具61に供給されるエネルギーの出力レベルの切り替えに係る操作を行わずとも、処置対象の生体組織の粘膜深部に存在する神経の位置を確認しつつ、当該生体組織に対する処置を進めることができるため、内視鏡観察下で生体組織に対する処置を行う術者の負担を軽減することができる。Further, as described above, according to the present embodiment, the display image displayed on thedisplay device 5 is displayed as the white light image WLI according to the distance DMNB calculated by the distanceinformation acquisition unit 433 at the time of irradiation with IR light. Alternatively, it is possible to switch to one of the fluorescent images FLI, and to switch the output level of the ultrasonic wave supplied to thetreatment instrument 61 to either PLA or PLB. Therefore, according to the present embodiment, for example, without performing an operation related to switching of a display image displayed on thedisplay device 5 and an operation related to switching of an output level of energy supplied to thetreatment instrument 61, Since the treatment of the living tissue can be performed while confirming the position of the nerve existing in the deep mucosa of the living tissue to be treated, the burden on the operator who performs the treatment on the living tissue under endoscopic observation is reduced. be able to.
なお、本実施形態によれば、例えば、R光、G光及びB光が時分割に被写体に照射される場合において、当該R光が照射された当該被写体を撮像して得られる画像である画像RLI、当該G光が照射された当該被写体を撮像して得られる画像である画像GLI、または、当該B光が照射された当該被写体を撮像して得られる画像である画像BLIのいずれか1つの画像の全域から処置具に相当する領域を抽出するための処置具抽出処理が処置具抽出処理部431により行われるようにしてもよい。Note that, according to the present embodiment, for example, when the subject is irradiated with R light, G light, and B light in a time division manner, the image is an image obtained by imaging the subject irradiated with the R light. Any one of RLI, an image GLI which is an image obtained by imaging the subject irradiated with the G light, and an image BLI which is an image obtained by imaging the subject irradiated with the B light The treatment toolextraction processing unit 431 may perform a treatment tool extraction process for extracting a region corresponding to the treatment tool from the entire area of the image.
なお、本発明は、上述した実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。It should be noted that the present invention is not limited to the above-described embodiment, and various changes and applications can be made without departing from the spirit of the invention.
本出願は、2017年6月5日に日本国に出願された特願2017-110959号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。This application is filed on the basis of the priority claim of Japanese Patent Application No. 2017-110959 filed in Japan on June 5, 2017. Shall be quoted.