JP6006035B2

Movatterモバイル変換

Info

Publication number: JP6006035B2
Application number: JP2012178428A
Authority: JP
Inventors: 克彦吉村
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2012-08-10
Filing date: 2012-08-10
Publication date: 2016-10-12
Anticipated expiration: 2032-08-10
Also published as: JP2014033932A

Description

本発明は、立体視内視鏡システムに関するものである。 The present invention relates to a stereoscopic endoscope system.

従来、２つの対物光学系と２つのイメージセンサとを備える立体視内視鏡が知られている（例えば、特許文献１参照。）。
この特許文献１の立体視内視鏡は、一方の対物光学系を他方の対物光学系より細く構成し、細い方の対物光学系の解像度を太い方の対物光学系の解像度より小さく構成することにより、内視鏡の挿入部をより細く構成している。Conventionally, a stereoscopic endoscope including two objective optical systems and two image sensors is known (for example, see Patent Document 1).
In the stereoscopic endoscope ofPatent Document 1, one objective optical system is configured to be thinner than the other objective optical system, and the resolution of the narrower objective optical system is configured to be smaller than the resolution of the thicker objective optical system. Thus, the insertion portion of the endoscope is configured to be thinner.

この場合に、特許文献１の立体視内視鏡は、観察者の両眼には異なる解像度の画像が提示されるが、一方の眼に鮮明に提示された高解像度の画像が他方の眼に不鮮明に提示された低解像度の画像に優先するように脳が自然に処理するので、一方の画像が他方の画像より不鮮明なものとなっても観察に支障は無いという考え方に立って構成されている。 In this case, in the stereoscopic endoscope ofPatent Document 1, images of different resolutions are presented to both eyes of the observer, but a high-resolution image clearly presented to one eye is presented to the other eye. Because the brain naturally processes to give priority to low-resolution images that are unclearly displayed, it is structured based on the idea that there is no hindrance to observation even if one image is blurred compared to the other image. Yes.

特表平１１−５１０６１５号公報Japanese National Patent Publication No. 11-510615

しかしながら、特許文献１の立体視内視鏡では、観察者の両眼に提示される画像の解像度の相違は、観察中に観察者の脳内で自然に補間されるため、観察者の脳には常に負担がかかり、長時間見続けていると疲労するという問題がある。 However, in the stereoscopic endoscope ofPatent Document 1, the difference in resolution of the images presented to the observer's eyes is naturally interpolated in the observer's brain during the observation. Is always burdensome, and there is a problem of fatigue if you keep watching for a long time.

本発明は、上述した事情に鑑みてなされたものであって、大小の撮像部によって挿入部を細径化しつつ、長時間観察しても疲れにくい立体視内視鏡システムを提供することを目的としている。 The present invention has been made in view of the above-described circumstances, and an object thereof is to provide a stereoscopic endoscope system that is less fatigued even when observed for a long time while reducing the diameter of the insertion portion with a large and small imaging unit. It is said.

上記目的を達成するために、本発明は以下の手段を提供する。
本発明の一態様は、被検体に挿入可能な挿入部に配置され、解像度の異なる２つの画像を取得可能な撮像部と、該撮像部により取得された２つの画像を処理する画像処理部と、該画像処理部により処理された画像を表示する画像表示部とを備え、前記撮像部が、第１の画像を取得する第１の撮像素子と、該第１の撮像素子と前記挿入部の長手方向に交差する方向に並んで配置され、前記第１の画像よりも解像度が低い第２の画像を取得する、前記第１の撮像素子よりも小さい第２の撮像素子とを備え、前記画像処理部が、前記第２の画像の解像度を前記第１の画像の解像度に近づけるように変換する解像度変換部を備える立体視内視鏡システムを提供する。In order to achieve the above object, the present invention provides the following means.
One aspect of the present invention is an imaging unit that is disposed in an insertion unit that can be inserted into a subject and that can acquire two images with different resolutions, and an image processing unit that processes the two images acquired by the imaging unit. An image display unit that displays an image processed by the image processing unit,wherein the imaging unit includes afirst imaging device that acquires a first image, the first imaging device, and the insertion unit. A second image sensor smaller than the first image sensor, which is arranged side by side in a direction intersecting the longitudinal direction and obtains a second image having a resolution lower than that of the first image, and the image A stereoscopic endoscope system is provided that includes a resolution conversion unit that converts a resolution ofthe second image so as to approach the resolution ofthe first image .

本態様によれば、被検体に挿入部を挿入し、撮像部によって解像度の異なる２つの画像が取得されると、取得された２つの画像が画像処理部に送られて、画像処理部内の解像度変換部によって、解像度の低い一方の画像の解像度を他方の画像の解像度に近づけるように変換する処理が行われる。画像処理部において処理された画像は画像表示部に送られて表示される。 According to this aspect, when the insertion unit is inserted into the subject and two images with different resolutions are acquired by the imaging unit, the two acquired images are sent to the image processing unit, and the resolution in the image processing unit The conversion unit converts the resolution of one image having a low resolution so as to approach the resolution of the other image. The image processed in the image processing unit is sent to the image display unit and displayed.

このようにすることで、２つの画像の内の一方を低い解像度で取得するので、対応する光学系を細く構成することができて、挿入部を細径化することができる。そして、得られた解像度の異なる２つの画像をそのまま画像表示部に表示するのではなく、解像度を近づけて表示するので、観察者の両眼に提示される画像の解像度の相違が低減され、脳内で補間する必要がなくなって脳の負担を軽減でき、長時間見続けることにより発生する疲労を低減することができる。 In this way, one of the two images is acquired with a low resolution, so that the corresponding optical system can be configured to be thin and the insertion portion can be reduced in diameter. Then, since the two images having different resolutions are not displayed as they are on the image display unit, but are displayed close to each other, the difference in resolution of the images presented to the eyes of the observer is reduced, and the brain It is possible to reduce the burden on the brain by eliminating the need for interpolation, and to reduce fatigue caused by continuing to watch for a long time.

上記態様においては、前記解像度変換部により解像度が近づけられた前記第１の画像と前記第２の画像との間において対応する点の情報を取得する対応点探索部と、該対応点探索部により取得された対応点について、前記第２の画像の情報を前記第１の画像の情報に置き換える置換処理部とを備えていてもよい。In the above aspect, the corresponding point search unit that acquires information of corresponding points betweenthe first image and the second image whose resolutions are approximated by the resolution conversion unit, and the corresponding point search unit A replacement processing unit that replaces the information ofthe second image with the information ofthe first image for the acquired corresponding point may be provided.

このようにすることで、解像度変換部に２つの画像が入力されると、対応点探索部が２つの画像間の対応する点の情報を取得し、置換処理部が、各対応点について、解像度の低い一方の画像の情報を解像度の高い他方の画像の情報に置き換えることにより、低い方の解像度を高い方の解像度に近づけることができる。 In this way, when two images are input to the resolution conversion unit, the corresponding point search unit acquires information on corresponding points between the two images, and the replacement processing unit determines the resolution for each corresponding point. By substituting the information of one of the lower images with the information of the other image having the higher resolution, the lower resolution can be made closer to the higher resolution.

また、上記態様においては、前記置換処理部が、画素単位で画像の情報を置き替えてもよいし、複数画素からなるブロック単位で画像の情報を置き替えてもよい。 In the above aspect, the replacement processing unit may replace image information in units of pixels, or may replace image information in units of blocks including a plurality of pixels.

本発明によれば、大小の撮像部によって挿入部を細径化しつつ、長時間観察しても疲れにくくすることができるという効果を奏する。 According to the present invention, there is an effect that it is possible to reduce fatigue even when observed for a long time while reducing the diameter of the insertion portion with a large and small imaging unit.

本発明の第１の実施形態に係る立体視内視鏡システムを示す全体構成図である。1 is an overall configuration diagram showing a stereoscopic endoscope system according to a first embodiment of the present invention.図１の立体視内視鏡システムに備えられる画像処理部を示すブロック図である。It is a block diagram which shows the image process part with which the stereoscopic endoscope system of FIG. 1 is equipped.本発明の第２の実施形態に係る立体視内視鏡システムの画像処理部を示すブロック図である。It is a block diagram which shows the image process part of the stereoscopic endoscope system which concerns on the 2nd Embodiment of this invention.図３の画像処理部における対応点探索部の動作を説明するフローチャートである。It is a flowchart explaining operation | movement of the corresponding point search part in the image processing part of FIG.図３の画像処理部における置換処理部の動作を説明するフローチャートである。It is a flowchart explaining the operation | movement of the replacement process part in the image process part of FIG.図５の置換処理部による置換処理を説明する図である。It is a figure explaining the replacement process by the replacement process part of FIG.図６の置換処理の第１の変形例を示す図である。It is a figure which shows the 1st modification of the replacement process of FIG.図６の置換処理の第２の変形例を示す図である。It is a figure which shows the 2nd modification of the replacement process of FIG.

本発明の第１の実施形態に係る立体視内視鏡システム１について図面を参照して以下に説明する。
本実施形態に係る立体視内視鏡システム１は、図１に示されるように、患者の体内に挿入される挿入部２を有する内視鏡３と、該内視鏡３により取得された画像を処理する画像処理部４と、該画像処理部４により処理された画像を表示する画像表示部５とを備えている。Astereoscopic endoscope system 1 according to a first embodiment of the present invention will be described below with reference to the drawings.
As shown in FIG. 1, astereoscopic endoscope system 1 according to this embodiment includes anendoscope 3 having aninsertion portion 2 to be inserted into a patient's body, and an image acquired by theendoscope 3. And animage display unit 5 for displaying an image processed by theimage processing unit 4.

内視鏡３は、挿入部２の先端に配置された２つの対物光学系６ａ，６ｂと、該対物光学系６ａ，６ｂにより集光された患部からの光を撮影する２つの撮像素子７ａ，７ｂとを備える撮像部８を有している。一方の対物光学系６ａは他方の対物光学系６ｂよりも細径に形成され、該細径の対物光学系６ａにより集光された光は、他方の対物光学系６ｂにより集光された光を撮影する撮像素子７ｂよりも低分解能の撮像素子７ａを用いて撮影されるようになっている。 Theendoscope 3 includes two objectiveoptical systems 6a and 6b disposed at the distal end of theinsertion portion 2, and twoimaging elements 7a and 6b that capture light from the affected area collected by the objectiveoptical systems 6a and 6b. 7b. One objectiveoptical system 6a is formed with a diameter smaller than that of the other objective optical system 6b, and the light condensed by the objectiveoptical system 6a having the small diameter is the light condensed by the other objective optical system 6b. Photographing is performed using animage sensor 7a having a lower resolution than theimage sensor 7b to be photographed.

２つの対物光学系６ａ，６ｂは、光軸に交差する方向に並んで配置されており、これにより、同一の患部を異なる方向から観察することができるようになっている。
これにより、挿入部２は、太径の対物光学系６ｂおよび大きい撮像素子７ｂを２つ備える場合と比較して、外径を十分に細径化することができ、体内への挿入性を容易にすることができるようになっている。The two objectiveoptical systems 6a and 6b are arranged side by side in a direction intersecting with the optical axis, whereby the same affected part can be observed from different directions.
As a result, theinsertion section 2 can sufficiently reduce the outer diameter compared to the case where the large-diameter objective optical system 6b and the twolarge imaging elements 7b are provided, and is easy to insert into the body. Can be made.

画像処理部４は、図２に示されるように、２つの撮像素子７ａ，７ｂにより取得された第１，第２の画像信号Ａ１，Ａ２から２つの画像Ｇ，Ｇ２をそれぞれ生成する画像生成部９ａ，９ｂと、低解像度の撮像素子７ａにより取得された第１の画像信号Ａ１から生成された画像Ｇに対し、該画像Ｇの解像度を増加させる処理を施す解像度変換部１０とを備えている。解像度変換部１０は、低解像度の画像Ｇに対して、バイリニア補間やバイキュービック補間のような公知の画素補間処理を行うことにより、該低解像度の画像Ｇの解像度を高解像度の画像Ｇ２の解像度に近づけるようになっている。 As shown in FIG. 2, theimage processing unit 4 generates two images G and G2 from the first and second image signals A1 and A2 acquired by the twoimaging elements 7a and 7b, respectively. 9a and 9b, and aresolution conversion unit 10 that performs a process of increasing the resolution of the image G on the image G generated from the first image signal A1 acquired by the low-resolution image sensor 7a. . Theresolution conversion unit 10 performs a known pixel interpolation process such as bilinear interpolation or bicubic interpolation on the low resolution image G, thereby changing the resolution of the low resolution image G to the resolution of the high resolution image G2. It comes to be close to.

低解像度の画像信号Ａ１から生成された画像Ｇは、解像度変換部１０によって解像度を向上されて、第１の画像Ｇ１として、画像処理部４から出力されるようになっている。
他方、高解像度の画像信号Ａ２から生成された画像Ｇ２は、そのまま第２の画像Ｇ２として画像処理部４から出力されるようになっている。
なお、解像度変換部１０は、低解像度の画像Ｇを高解像度の画像Ｇ２と同一の解像度まで向上することが好ましい。The image G generated from the low-resolution image signal A1 is improved in resolution by theresolution conversion unit 10 and output from theimage processing unit 4 as the first image G1.
On the other hand, the image G2 generated from the high-resolution image signal A2 is directly output from theimage processing unit 4 as the second image G2.
Note that theresolution conversion unit 10 preferably improves the low resolution image G to the same resolution as the high resolution image G2.

画像表示部５は、観察者の両眼に第１の画像Ｇ１と第２の画像Ｇ２とをそれぞれ区別して提示することができる装置であり、ヘッドマウントディスプレイや３Ｄモニタあるいは３Ｄプロジェクタである。 Theimage display unit 5 is a device that can separately present the first image G1 and the second image G2 to both eyes of the observer, and is a head-mounted display, a 3D monitor, or a 3D projector.

このように構成された本実施形態に係る立体視内視鏡システム１によれば、患者の体内に挿入部２が挿入され、その先端が患部に対向して配置された状態で、図示しない照明部から患部に照明光が照射されると、患部からの光あるいは患部において発生した蛍光等が、２つの対物光学系６ａ，６ｂによって結像され、それぞれ別個の撮像素子７ａ，７ｂによって撮影される。 According to thestereoscopic endoscope system 1 according to the present embodiment configured as described above, the illumination unit (not shown) is inserted in the state where theinsertion unit 2 is inserted into the body of the patient and the distal end thereof is disposed to face the affected region. When illumination light is irradiated from the part to the affected part, the light from the affected part or the fluorescence generated in the affected part is imaged by the two objectiveoptical systems 6a and 6b and photographed by the separateimage pickup elements 7a and 7b, respectively. .

２つの対物光学系６ａ，６ｂは、光軸方向に交差する方向に並んで配置されているので、取得される２つの画像信号Ａ１，Ａ２は、視差を有する画像信号となっている。
細径の対物光学系６ａにより結像され、低解像度の撮像素子７ａにより撮影されることにより取得された第１の画像信号Ａ１は、画像処理部４内の画像生成部９ａに入力されて低解像度の画像Ｇが生成される。一方、太径の対物光学系６ｂにより結像され、高解像度の撮像素子７ｂにより撮影されることにより取得された第２の画像信号Ａ２は、画像処理部４内の画像生成部９ｂに入力されて高解像度の画像Ｇ２が生成される。Since the two objectiveoptical systems 6a and 6b are arranged side by side in a direction intersecting the optical axis direction, the two acquired image signals A1 and A2 are image signals having parallax.
The first image signal A1 imaged by the objectiveoptical system 6a having a small diameter and captured by the low-resolution imaging device 7a is input to theimage generation unit 9a in theimage processing unit 4 and is low. A resolution image G is generated. On the other hand, the second image signal A2 formed by imaging with the large-diameter objective optical system 6b and captured by the high-resolution imaging device 7b is input to theimage generation unit 9b in theimage processing unit 4. Thus, a high-resolution image G2 is generated.

低解像度の画像Ｇは、解像度変換部１０に入力されることにより画素補間処理が施され、解像度が向上させられた第１の画像Ｇ１として画像表示部５に出力される。高解像度の画像Ｇ２は、そのまま第２の画像Ｇ２として画像表示部５に出力される。
画像表示部５は、例えば、第１の画像Ｇ１を観察者の右眼に、第２の画像Ｇ２を観察者の左眼に入射させるように表示する。The low-resolution image G is input to theresolution conversion unit 10 and subjected to pixel interpolation processing, and is output to theimage display unit 5 as a first image G1 with improved resolution. The high-resolution image G2 is output to theimage display unit 5 as it is as the second image G2.
For example, theimage display unit 5 displays the first image G1 so as to be incident on the right eye of the observer and the second image G2 is incident on the left eye of the observer.

これにより、観察者の脳内においては第１の画像Ｇ１と第２の画像Ｇ２とが融像されて、患部を立体的に観察することができる。
この場合において、本実施形態に係る立体視内視鏡システム１においては、一方の対物光学系６ａおよび撮像素子７ａを他方の対物光学系６ｂおよび撮像素子７ｂに対して細径に構成したので、挿入部２を細径化でき、挿入性を向上することができることは前に述べたとおりである。Thereby, in the observer's brain, the first image G1 and the second image G2 are fused, and the affected part can be observed three-dimensionally.
In this case, in thestereoscopic endoscope system 1 according to the present embodiment, one objectiveoptical system 6a and theimage sensor 7a are configured to have a smaller diameter than the other objective optical system 6b and theimage sensor 7b. As described above, the diameter of theinsertion portion 2 can be reduced, and the insertability can be improved.

しかし、本実施形態においては２つの異なる解像度の画像Ｇ，Ｇ２を観察者の両眼にそのまま提示するのではなく、解像度を近づける処理を行った後に表示するので、観察者の脳内で行われる融像処理を少ない負担で行わせることができ、長時間観察時の疲労を大幅に低減することができるという利点がある。 However, in this embodiment, the images G and G2 having two different resolutions are not presented to the viewer's eyes as they are, but are displayed after performing a process for bringing the resolution closer, and thus are performed in the brain of the viewer. There is an advantage that the fusion processing can be performed with a small burden and fatigue during long-time observation can be greatly reduced.

なお、本実施形態においては、撮像部８として細径、太径２つの対物光学系６ａ，６ｂと大小２つの撮像素子７ａ，７ｂとを備えるものを例示したが、これに代えて、太径の対物光学系６ｂと、細径の内視鏡（図示略：例えば、鉗子チャネルを経由して挿入する。）とにより撮像部８を構成してもよい。
また、単一の対物光学系で集光した光を瞳分割手段（図示略）によって分割し、大小２つの撮像素子によりそれぞれ撮影する方式の撮像部８を採用してもよい。In the present embodiment, theimaging unit 8 is exemplified as including the two small and large objectiveoptical systems 6a and 6b and the two large andsmall imaging elements 7a and 7b. Theimaging unit 8 may be configured by the objective optical system 6b and a small-diameter endoscope (not shown: inserted through, for example, a forceps channel).
Alternatively, animage pickup unit 8 may be employed in which light collected by a single objective optical system is divided by pupil dividing means (not shown) and photographed by two large and small image sensors.

次に、本発明の第２の実施形態に係る立体視内視鏡システム１１について説明する。
本実施形態の説明において第１の実施形態に係る立体視内視鏡システム１と構成を共通とする箇所には同一符号を付して説明を省略する。Next, a stereoscopic endoscope system 11 according to a second embodiment of the present invention will be described.
In the description of the present embodiment, the same reference numerals are given to portions having the same configuration as thestereoscopic endoscope system 1 according to the first embodiment, and the description thereof is omitted.

本実施形態に係る立体視内視鏡システム１１は、画像処理部１２において第１の実施形態に係る立体視内視鏡システム１と相違している。
本実施形態における画像処理部１２は、図３に示されるように、解像度変換部１０から出力された第１の画像Ｇ１と、画像生成部９ｂから出力された第２の画像Ｇ２とに基づいて、対応点を探索する対応点探索部１３と、対応点が発見された場合にその情報を記憶するメモリ１４と、第２の画像Ｇ２内に第１の画像Ｇ１の各画素との対応点（以下、対応画素とも言う。）が存在する場合に、第１の画像Ｇ１内の各画素を第２の画像Ｇ２内の対応画素に置き換える置換処理部１５とを備えている。The stereoscopic endoscope system 11 according to the present embodiment is different from thestereoscopic endoscope system 1 according to the first embodiment in animage processing unit 12.
As shown in FIG. 3, theimage processing unit 12 in the present embodiment is based on the first image G1 output from theresolution conversion unit 10 and the second image G2 output from theimage generation unit 9b. Corresponding points (corresponding points) between the correspondingpoint search unit 13 for searching for corresponding points, amemory 14 for storing information when corresponding points are found, and each pixel of the first image G1 in the second image G2. (Hereinafter also referred to as “corresponding pixel”), areplacement processing unit 15 that replaces each pixel in the first image G1 with a corresponding pixel in the second image G2 is provided.

本実施形態に係る立体視内視鏡システム１１の作用について以下に説明する。
第１の実施形態と同様にして、第１の画像Ｇ１および第２の画像Ｇ２が生成されると、これらの画像Ｇ１，Ｇ２は対応点探索部１３に入力され、図４に示されるように、対応点探索部１３において低解像度の画像Ｇから生成された第１の画像Ｇ１内の画素が選択される（ステップＳ１）。The operation of the stereoscopic endoscope system 11 according to this embodiment will be described below.
As in the first embodiment, when the first image G1 and the second image G2 are generated, these images G1 and G2 are input to the correspondingpoint search unit 13, and as shown in FIG. The correspondingpoint search unit 13 selects a pixel in the first image G1 generated from the low-resolution image G (step S1).

次いで、対応点探索部１３においては、選択された第１の画像Ｇ１内の画素に対応する第２の画像Ｇ２内の対応画素が探索される（ステップＳ２）。対応画素の探索は、公知のブロックマッチングの手法により、マッチングの相関値が所定の閾値より高い画素を選出する。選択された第１の画像Ｇ１内の画素に対して、第２の画像Ｇ２内の全ての画素の相関値を順次求めるとともに、相関値が閾値より高い画素を選出し、複数の画素が選出された場合には、相関値が最も高い画素を対応画素として決定する。 Next, the correspondingpoint search unit 13 searches for a corresponding pixel in the second image G2 corresponding to the selected pixel in the first image G1 (step S2). In the search for the corresponding pixel, a pixel having a matching correlation value higher than a predetermined threshold is selected by a known block matching method. For the selected pixel in the first image G1, the correlation values of all the pixels in the second image G2 are sequentially obtained, and pixels having a correlation value higher than the threshold are selected, and a plurality of pixels are selected. In such a case, the pixel having the highest correlation value is determined as the corresponding pixel.

そして、探索の結果、対応画素が存在したか否かが判定され（ステップＳ３）、存在した場合には、その対応点情報がメモリ１４に記憶される（ステップＳ４）。対応点情報としては、第１の画像Ｇ１および第２の画像Ｇ２の対応する画素のアドレスを挙げることができる。
また、対応点探索部１３において、第１の画像Ｇ１内の全ての画素について相関値を算出した結果、所定の閾値より高い相関値の画素が発見できなかった場合には、第１の画像Ｇ１内のその画素をオクルージョン領域としてメモリ１４内に記憶する（ステップＳ５）。この後に、第１の画像Ｇ１の全ての画素について、対応点の探索がなされたか否かが判定され（ステップＳ６）、終了していない場合にはステップＳ１からの工程が繰り返される。Then, it is determined whether or not the corresponding pixel exists as a result of the search (step S3). If there is a corresponding pixel, the corresponding point information is stored in the memory 14 (step S4). Corresponding point information can include addresses of corresponding pixels of the first image G1 and the second image G2.
In addition, when the correspondingpoint search unit 13 calculates correlation values for all the pixels in the first image G1, as a result of finding no pixels having a correlation value higher than a predetermined threshold, the first image G1. The pixel is stored in thememory 14 as an occlusion area (step S5). Thereafter, it is determined whether or not the corresponding points have been searched for all the pixels of the first image G1 (step S6). If the search has not been completed, the processes from step S1 are repeated.

そして、対応点探索が終了した後には、第１の画像Ｇ１が置換処理部１５に入力され、置換処理部１５において、対応点が存在した第１の画像Ｇ１内の各画素を、第２の画像Ｇ２内の対応画素に置き換える処理が行われる。
置換処理部１５においては、図５に示されるように、第１の画像Ｇ１内の画素が選択され（ステップＳ１１）、メモリ１４内の対応点情報が参照され（ステップＳ１２）、対応点が存在するか否かが判定され（ステップＳ１３）、存在しない場合、すなわち、オクルージョン領域として記憶されている場合には、そのままの画素値が使用される。Then, after the corresponding point search is completed, the first image G1 is input to thereplacement processing unit 15. In thereplacement processing unit 15, each pixel in the first image G1 in which the corresponding point exists is replaced with the second image. Processing to replace the corresponding pixel in the image G2 is performed.
As shown in FIG. 5, thereplacement processing unit 15 selects a pixel in the first image G1 (step S11), refers to the corresponding point information in the memory 14 (step S12), and has a corresponding point. Whether or not to do so is determined (step S13), and if it does not exist, that is, if it is stored as an occlusion area, the pixel value is used as it is.

一方、対応点が存在する場合には、図６に示されるように、第１の画像Ｇ１内の画素Ｐ１が第２の画像Ｇ２内の対応画素Ｐ２と置き換えられる（ステップＳ１４）。そして、第１の画像Ｇ１内の全ての画素Ｐ１について処理が行われたか否かが判定され（ステップＳ１５）、終了していない場合にはステップＳ１１からの工程が繰り返される。 On the other hand, when the corresponding point exists, as shown in FIG. 6, the pixel P1 in the first image G1 is replaced with the corresponding pixel P2 in the second image G2 (step S14). Then, it is determined whether or not processing has been performed for all the pixels P1 in the first image G1 (step S15). If the processing has not been completed, the processes from step S11 are repeated.

このようにして、第１の画像Ｇ１の全ての画素Ｐ１について処理が行われた後に、画像処理部１２からは第２の画像Ｇ２および置換処理された第１の画像Ｇ１’が出力され、画像表示部５に表示される。
このように、本実施形態に係る立体視内視鏡システム１１によれば、第１の画像Ｇ１の解像度を向上するだけでなく、精細な画素情報を有する第２の画像Ｇ２の画素Ｐ２に置き換えることで精細度を向上することができ、より疲労の少ない観察を行うことができるという利点がある。In this way, after all the pixels P1 of the first image G1 have been processed, theimage processing unit 12 outputs the second image G2 and the first image G1 ′ subjected to the replacement process, and the image It is displayed on thedisplay unit 5.
Thus, according to the stereoscopic endoscope system 11 according to the present embodiment, not only the resolution of the first image G1 is improved, but also the pixel P2 of the second image G2 having fine pixel information is replaced. Thus, there is an advantage that definition can be improved and observation with less fatigue can be performed.

なお、本実施形態においては、対応点探索の方法としてブロックマッチングの手法を用いたが、これに限定されるものではない。
また、本実施形態においては、画素毎に置換処理を行うこととしたが、図７および図８に示されるようにブロック（図中にハッチングで示す。図では例えば、３×３画素を１ブロックとしている。）毎に置換処理を行うことにしてもよい。In the present embodiment, the block matching method is used as the corresponding point search method, but the present invention is not limited to this.
In the present embodiment, the replacement process is performed for each pixel. However, as shown in FIGS. 7 and 8, the block (shown by hatching in the figure. For example, 3 × 3 pixels in one block) The replacement process may be performed every time.

図７に示す例では、第２の画像Ｇ２内に対応画素Ｐ２が発見された場合に、その対応画素Ｐ２を含む複数画素からなるブロックＢ２単位で、第１の画像Ｇ１のブロックＢ１を置換している。これにより置換処理にかかる時間を短縮することができる。 In the example shown in FIG. 7, when the corresponding pixel P2 is found in the second image G2, the block B1 of the first image G1 is replaced in units of a block B2 composed of a plurality of pixels including the corresponding pixel P2. ing. As a result, the time required for the replacement process can be shortened.

また、図８に示す例では、第１の画像Ｇ１内の全ての画素Ｐ１について対応画素Ｐ２を探索するのではなく、複数に区画したブロックＢ１毎に代表画素Ｐ１の対応画素Ｐ２を探索し、探索された対応画素Ｐ２を含むブロックＢ２単位で置換することとしている。このようにすることで、対応点探索に要する時間をさらに短縮することができるとともに、置換したブロックＢ２どうしが重なり合わずに済むという利点がある。 Further, in the example shown in FIG. 8, the corresponding pixel P2 is not searched for all the pixels P1 in the first image G1, but the corresponding pixel P2 of the representative pixel P1 is searched for each block B1 divided into a plurality of blocks. Replacement is performed in units of block B2 including the searched corresponding pixel P2. By doing so, there are advantages that the time required for the corresponding point search can be further shortened and the replaced blocks B2 do not overlap each other.

Ｂ１，Ｂ２ブロック
Ｇ画像
Ｇ１第１の画像
Ｇ２第２の画像
Ｐ１画素
Ｐ２対応画素（対応点）
１立体視内視鏡システム
２挿入部
４，１２画像処理部
５画像表示部
８撮像部
１０解像度変換部
１３対応点探索部
１５置換処理部B1, B2 block G image G1 first image G2 second image P1 pixel P2 corresponding pixel (corresponding point)
DESCRIPTION OFSYMBOLS 1Stereoscopic endoscope system 2Insertion part 4,12Image processing part 5Image display part 8Imaging part 10Resolution conversion part 13 Correspondingpoint search part 15 Replacement processing part

Claims

Translated fromJapanese

被検体に挿入可能な挿入部に配置され、解像度の異なる２つの画像を取得可能な撮像部と、
該撮像部により取得された２つの画像を処理する画像処理部と、
該画像処理部により処理された画像を表示する画像表示部とを備え、
前記撮像部が、
第１の画像を取得する第１の撮像素子と、
該第１の撮像素子と前記挿入部の長手方向に交差する方向に並んで配置され、前記第１の画像よりも解像度が低い第２の画像を取得する、前記第１の撮像素子よりも小さい第２の撮像素子とを備え、
前記画像処理部が、前記第２の画像の解像度を前記第１の画像の解像度に近づけるように変換する解像度変換部を備える立体視内視鏡システム。An imaging unit arranged in an insertion unit that can be inserted into a subject and capable of acquiring two images with different resolutions;
An image processing unit that processes two images acquired by the imaging unit;
An image display unit for displaying an image processed by the image processing unit,
The imaging unit is
A first imaging device for acquiring a first image;
Smaller than the first image sensor, which is arranged side by side in a direction crossing the longitudinal direction of the first image sensor and the insertion portion, and obtains a second image having a resolution lower than that of the first image. A second image sensor;
A stereoscopic endoscope system including a resolution conversion unit that converts the resolution ofthe second image so that the resolution ofthe second image approaches the resolution ofthe first image .

前記解像度変換部により解像度が近づけられた前記第１の画像と前記第２の画像との間において対応する点の情報を取得する対応点探索部と、該対応点探索部により取得された対応点について、前記第２の画像の情報を前記第１の画像の情報に置き換える置換処理部とを備える請求項１に記載の立体視内視鏡システム。Corresponding point search unit for acquiring information of corresponding points betweenthe first image and the second image whose resolution is made closer by the resolution converting unit, and corresponding points acquired by the corresponding point searching unit The stereoscopic endoscope system according to claim 1, further comprising: a replacement processing unit that replaces information ofthe second image with information ofthe first image .

前記置換処理部が、画素単位で画像の情報を置き替える請求項２に記載の立体視内視鏡システム。 The stereoscopic endoscope system according to claim 2, wherein the replacement processing unit replaces image information in units of pixels.

前記置換処理部が、複数画素からなるブロック単位で画像の情報を置き替える請求項２に記載の立体視内視鏡システム。 The stereoscopic endoscope system according to claim 2, wherein the replacement processing unit replaces image information in units of blocks including a plurality of pixels.

前記撮像部が、前記長手方向に交差する方向に並んで配置された、第１の対物レンズおよび該第１の対物レンズよりも細径の第２の対物レンズを備え、The imaging unit includes a first objective lens and a second objective lens having a smaller diameter than the first objective lens, which are arranged side by side in a direction intersecting the longitudinal direction,
前記第１の撮像素子が、前記第１の対物レンズによって集光された光を撮影して前記第１の画像を取得し、The first image sensor captures the light collected by the first objective lens to obtain the first image;
前記第２の撮像素子が、前記第２の対物レンズによって集光された光を撮影して前記第２の画像を取得する請求項１から請求項４のいずれかに記載の立体視内視鏡システム。5. The stereoscopic endoscope according to claim 1, wherein the second imaging element captures the light collected by the second objective lens to acquire the second image. 6. system.