本発明は、歪みを有するレンズを通した実画像に対する高精度な重畳画像表示方法及び装置に関する。The present invention relates to a highly accurate superimposed image display method and apparatus for an actual image through a lens having distortion.
従来の重畳画像表示方法として，たとえば医療分野では，顕微鏡の視野内に術前計画において指定した腫瘍等の患部領域を示す電子画像を術部の画像に重ね合わせて表示し，医師が現在注目している術部から目を離さなくても目標とする患部の位置を確認できるものが知られている(特許文献１)。
ここで，レンズを通した実画像にレンズ歪みが生じている場合に，歪みのない電子画像を重畳表示すると，歪んだ実画像と歪みの無い電子画像の間で画像のずれが生じる。重畳した画像間でのずれは，例えば，実画像を動かした場合に影響し，画面の中央ではずれが無い部位でも画面の端になるように実画像を動かすとずれが生じる。一方，レンズの実装上での大きさの制限や，視野角を超広角にする場合の設計の自由度の制限により，内視鏡や超広角レンズではレンズの歪みを完全に補正することができない。以上のように，内視鏡や超広角レンズを用いる場合には，画面全域にわたって高精度な画像の重ね合わせができないという問題が生じていた。
本発明は，このような問題を解決するためになされたものであり，レンズ歪みを持つ実画像においても，画面全域にわたって高精度な画像の重ね合わせができる重畳画像表示方法を提供することを目的とする。Here, when lens distortion has occurred in an actual image that has passed through the lens, if an electronic image without distortion is superimposed and displayed, an image shift occurs between the distorted actual image and the electronic image without distortion. The shift between the superimposed images affects, for example, when the real image is moved, and the shift occurs when the real image is moved so that the portion that does not have a shift at the center of the screen becomes the end of the screen. On the other hand, the lens distortion cannot be completely corrected with an endoscope or an ultra-wide-angle lens due to restrictions on the size of the lens when mounting and restrictions on the design freedom when the viewing angle is set to an ultra-wide angle. . As described above, when an endoscope or an ultra-wide-angle lens is used, there has been a problem that high-precision images cannot be superimposed over the entire screen.
The present invention has been made to solve such a problem, and an object of the present invention is to provide a superimposed image display method capable of superimposing images with high accuracy over the entire screen even in a real image having lens distortion. And
第１の発明は、
レンズ歪みを有する実画像とコンピュータで生成した画像の重畳表示において，
電子画像側にレンズ歪みの補正を施し，
画面全域において高精度な画像重ね合わせ機能を備える重畳表示処理を特徴とする重畳画像表示方法にある（請求項１）。
第２の発明は、
前記重畳画像表示方法を医療現場に用い，
内視鏡画像や超広角画像等のレンズ歪みを持つ実画像に対し，
電子画像側にレンズ歪みを補正する処理を施し，
画像全域において高精度な画像重ね合わせ機能を備える重畳表示処理を特徴とする重畳画像表示装置にある（請求項２）。The first invention is
In the superimposed display of a real image with lens distortion and a computer generated image,
Correct the lens distortion on the electronic image side,
A superimposed image display method characterized by a superimposed display process having a highly accurate image overlay function over the entire screen (claim 1).
The second invention is
Using the superimposed image display method in the medical field,
For real images with lens distortion, such as endoscopic images and ultra-wide-angle images,
Apply processing to correct lens distortion on the electronic image side,
A superimposed image display apparatus characterized by a superimposed display process having a high-precision image overlay function over the entire image (claim 2).
本発明に係る重畳表示方法は，実画像のレンズ歪みに合わせて電子画像を補正する手段と，実画像と補正した電子画像を重ね合わせて表示する手段と，を備えることを特徴とする。
この重畳画像表示方法では，電子画像側をレンズ歪みに合わせて補正することにより，実画像に補正を施さなくても画像全域にわたり高精度な重畳画像を表示する。ここで，実画像に対しての補正が不要であることにより，実画像は光学的なものとコンピュータでキャプチャされて電子化されたものを対象とできる。以上によって，実画像が光学的または電子的に得られた画像であっても，高精度な重畳表示をおこなうことができる。The superimposed display method according to the present invention includes means for correcting an electronic image in accordance with lens distortion of an actual image, and means for displaying the superimposed image of the actual image and the corrected electronic image.
In this superimposed image display method, the electronic image side is corrected in accordance with lens distortion, thereby displaying a highly accurate superimposed image over the entire image without correcting the actual image. Here, since it is not necessary to correct the actual image, the actual image can be an optical image or an image captured by a computer and digitized. As described above, even if the actual image is an optically or electronically obtained image, highly accurate superimposed display can be performed.
本発明の上記重畳画像表示方法では，実画像のレンズ歪みはテーブル参照による表現が好ましい。これによれば，実画像のレンズ歪みが複雑な幾何学歪みであっても正確な画像補正をおこなうことができる。 In the above superimposed image display method of the present invention, it is preferable that the lens distortion of the actual image is expressed by table reference. According to this, accurate image correction can be performed even if the lens distortion of the real image is a complicated geometric distortion.
距離の計測等の目的で歪みの無い画像が必要な場合は，レンズ歪みの補正は実画像側でおこなわれるが，実画像の補正においては画像の変形や，画像の圧縮伸張により生じる画質の劣化や，歪み補正の処理による時間遅延が生じる。この重畳画像表示方法では，実画像に対する補正処理を必要としないため，医療現場等，実画像の情報を無加工で確認する必要がある用途に対して，高精度な重畳画像を提供することができる。 When distortion-free images are required for distance measurement and other purposes, lens distortion correction is performed on the actual image side. However, in actual image correction, image degradation or image quality degradation caused by image compression / decompression occurs. In addition, there is a time delay due to distortion correction processing. Since this superimposed image display method does not require correction processing for the actual image, it is possible to provide a highly accurate superimposed image for applications such as medical sites where it is necessary to check the information of the actual image without processing. it can.
本発明によれば，実画像のレンズ歪みに合わせて重畳する電子画像を調整することで，実画像のレンズ歪みが異なったとしても，画面全域にわたって高精度な画像の重ね合わせができる。 According to the present invention, by adjusting the electronic image to be superimposed in accordance with the lens distortion of the actual image, even if the lens distortion of the actual image is different, it is possible to superimpose images with high accuracy over the entire screen.
以下，図面を参照して本発明に係る重畳画像表示方法の実施形態を説明する。なお，本実施の形態において，「実画像」とはレンズ歪みのあるレンズを装着したカメラが撮像した画像を，「電子画像」とはコンピュータで生成した３次元形状を２次元平面に射影した画像を示すものとする。 Embodiments of a superimposed image display method according to the present invention will be described below with reference to the drawings. In this embodiment, the “real image” is an image captured by a camera equipped with a lens with lens distortion, and the “electronic image” is an image obtained by projecting a computer-generated three-dimensional shape onto a two-dimensional plane. It shall be shown.
まず，図１を参照して，重畳画像表示方法の流れを説明する。図１は，本実施の形態に係る処理の流れを示す図である。 First, the flow of the superimposed image display method will be described with reference to FIG. FIG. 1 is a diagram showing a flow of processing according to the present embodiment.
実画像４は，図１に示す撮像対象１を，レンズ２を通してカメラ３で撮影して得た。実画像にはレンズ２のレンズ歪み特性による歪みが生じる。 The real image 4 was obtained by photographing the imaging target 1 shown in FIG. In the actual image, distortion due to the lens distortion characteristic of the lens 2 occurs.
電子画像６はカメラの位置情報から３次元的に計算して生成された。ここで，電子画像６の画角はレンズ２の画角と同じであり，生成された画像にはレンズ歪みがない。 The electronic image 6 was generated by calculating three-dimensionally from the position information of the camera. Here, the angle of view of the electronic image 6 is the same as that of the lens 2, and the generated image has no lens distortion.
補正された電子画像９は，事前に計測したレンズ２のレンズ歪み情報７を用いて，レンズ歪み補正処理８によって生成した。ここで，電子画像９には実画像４と同様のレンズ歪みが反映された。 The corrected electronic image 9 was generated by the lens distortion correction process 8 using the lens distortion information 7 of the lens 2 measured in advance. Here, the lens distortion similar to the actual image 4 was reflected in the electronic image 9.
重畳画像１１は，実画像４と補正された電子画像９を対応するピクセル毎に合成する重畳画像処理１０により得た。ここで，重畳画像１１は同じレンズ歪みに基づく歪みを反映した実画像４と電子画像９を重ねたものであり，画面全域にわたる高精度な重畳画像であった。 The superimposed image 11 was obtained by the superimposed image processing 10 that combines the actual image 4 and the corrected electronic image 9 for each corresponding pixel. Here, the superimposed image 11 is obtained by superimposing the actual image 4 reflecting the distortion based on the same lens distortion and the electronic image 9, and is a highly accurate superimposed image over the entire screen.
本実施の形態では，レンズ歪み補正処理８が特許請求の範囲に記載する電子画像側に対する歪み補正の処理に相当し，重畳画像処理１０が特許請求範囲に記載する重畳画像処理を示す。 In the present embodiment, the lens distortion correction processing 8 corresponds to the distortion correction processing for the electronic image side described in the claims, and the superimposed image processing 10 represents the superimposed image processing described in the claims.
本発明の歪みを有するレンズを通した実画像に対する高精度な重畳画像表示方法及び装置は、内視鏡等の医療分野をはじめとして様々な分野に利用可能である。The highly accurate superimposed image display method and apparatus for an actual image through a lens having distortion according to the present invention can be used in various fields including medical fields such as endoscopes.
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008221160AJP2010051649A (en) | 2008-08-29 | 2008-08-29 | Method and device for displaying high precision superimposed image with real image through lens having distortion |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008221160AJP2010051649A (en) | 2008-08-29 | 2008-08-29 | Method and device for displaying high precision superimposed image with real image through lens having distortion |
| Publication Number | Publication Date |
|---|---|
| JP2010051649Atrue JP2010051649A (en) | 2010-03-11 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008221160APendingJP2010051649A (en) | 2008-08-29 | 2008-08-29 | Method and device for displaying high precision superimposed image with real image through lens having distortion |
| Country | Link |
|---|---|
| JP (1) | JP2010051649A (en) |
| Publication | Publication Date | Title |
|---|---|---|
| JP7280188B2 (en) | Magnified high-resolution imaging method and imaging system for medical use | |
| JP7289653B2 (en) | Control device, endoscope imaging device, control method, program and endoscope system | |
| KR102328020B1 (en) | System and method for displaying panorama image using single look-up table | |
| TWI493504B (en) | Method for combining images | |
| JP5284731B2 (en) | Stereoscopic image display system | |
| AU2019205611A1 (en) | Augmented reality displays with active alignment and corresponding methods | |
| US20140285638A1 (en) | Reference image techniques for three-dimensional sensing | |
| JP2015128242A (en) | Image projection device and calibration method of the same | |
| US11045090B2 (en) | Apparatus and method for augmented visualization employing X-ray and optical data | |
| EP2061234A1 (en) | Imaging apparatus | |
| JP2011139368A (en) | Control apparatus and control method for capturing device | |
| US8836776B2 (en) | Endoscope apparatus | |
| TWI676855B (en) | Projector calibration method and projection system using the same | |
| WO2017179432A1 (en) | Image projection method and image projection device for three-dimensional object for projection | |
| WO2017169014A1 (en) | Stereoscopic observation device for medical use, stereoscopic observation method for medical use, and program | |
| JP2008249431A (en) | 3D image correction method and apparatus | |
| JP2003134375A (en) | Image pickup system | |
| JP4696018B2 (en) | Observation position following video presentation device, observation position following video presentation program, video presentation device, and video presentation program | |
| JP2001066158A (en) | Measurement result or analysis result projection apparatus and method | |
| WO2016194179A1 (en) | Imaging device, endoscope and imaging method | |
| JP2010051649A (en) | Method and device for displaying high precision superimposed image with real image through lens having distortion | |
| Hyun et al. | Feasibility of obtaining quantitative 3-dimensional information using conventional endoscope: a pilot study | |
| WO2018225346A1 (en) | Medical system and control unit | |
| JP2005279054A (en) | Device and method for displaying conversion image, and endoscope apparatus for industrial use | |
| KR101506393B1 (en) | Endoscope System and Method for Obtaining a Image |