









【0001】
【発明の属する技術分野】
  本発明は、異なる波長の各色の照明光で順次照明された被写体を撮像する撮像手段によって面順次撮像された各色の画像信号間に生じる色ずれを検出し軽減する内視鏡装置に関する。
【0002】
【従来の技術】
面順次照明方式による固体撮像素子(以下CCD)からの撮像信号に基づき、被写体像をカラー表示する電子内視鏡装置においては、RGBの回転フィルタを回転させてR,G,Bの各色光を順次に被写体に照射し、各色毎に時系列に撮像している。
【0003】
このため、従来は、面順次方式でCCDを駆動する場合においては、R、G、Bの各色の画像信号は時系列的に取り込まれ、全体の画像を形成するまでの間にタイムラグが生じることから、被写体又は撮像側のいずれか一方又は双方が撮影中に動くと、これら各色の画像信号を重ね合わせた時に静止画として表示する場合には、色ずれが発生する。
【0004】
  このため、色ずれなど画像劣化の少ない静止画を得るための提案として、特開平5−30460号公報、特開平2−286125号公報などに記載されているものがある。
【0005】
  特開平5−30460号公報に記載の装置は、静止画指示手段による起動から所定時間内における補正された動き量の中から、最小値が得られたときの入力画像信号を静止画として記憶するものである。当該公報によると、色ずれの少ない画像を得るために、静止画選択後、所定時間内で一番色ずれの少ない画像を選択し、モニタへ出力する。
【0006】
また、特開平2−286125号公報に記載の装置は、フリーズ指示信号に基づいて画像記憶手段に画像信号を一時記憶させ、その記憶した画像信号の色ずれ量が設定値以内の場合には、その画像信号を保持し、設定値以上の場合にはその記憶を解除して、解除後の画像信号に対して同様の動作を行うことにより、設定値以内の色ずれ量の画像信号を静止画として画像記憶手段に保持し、モニタに出力して表示するものである。
【0007】
【発明が解決しようとする課題】
しかしながら、上記のいずれの公報に記載の装置においても、モニタへ出力していた色ずれの少ない画像は、色ずれを補正する構成でなかったため、色ずれが完全になくなるものではなかった。また、CCDの種類又は画素数によって、発生する色ずれが異なっていたため、従来の方式では、色ずれが完全になくならなかった。例えば、CCDの画素数が多いCCDの方が色ずれ量が多かった。
【0008】
また、従来の色ずれ補正装置は、観察者の関心領域のところで色ずれ補正を行っているとは限らず、観察者の関心領域以外のところで色ずれ補正を行っていた。例えば、画面の中央に暗い被写体がある時に、暗い被写体に対して色ずれ補正を行ってしまい、観察者の関心領域が周辺の明るい被写体である場合に周辺の明るい被写体に対する色ずれを補正できなかった。また、光学的又は電気的に映像の拡大率が異なる時には拡大率に応じて色ずれ量が異なっていたため、従来の方式では、色ずれが補正できず、拡大率が大きいほど色ずれ量が多いという不具合があった。
【0009】
  そこで、本発明は、このような問題に鑑み、静止画時の色ずれを検出し適正に補正することができる内視鏡装置を提供することを目的とするものである。
また、本発明は、静止画時のCCDの種類又は画素数の違いによる色ずれ量を適正に補正することができる内視鏡装置を提供することを目的とするものである。
【0010】
  また、本発明は、静止画時の被写体が一定の明るさのみの領域の色ずれを補正することができる内視鏡装置を提供することを目的とするものである。
【0011】
  さらに、本発明は、静止画時の拡大率の違いによる色ずれ量を適正に補正することができる内視鏡装置を提供することを目的とするものである。
【0012】
【課題を解決するための手段】
  請求項1記載の発明による内視鏡装置は、被写体像を面順次撮像する撮像手段と、前記撮像手段により面順次撮像され、それぞれを合成することで1つの画像を成す各画像を記憶するメモリ手段と、前記面順次撮像された各画像のそれぞれに対し、前記各画像の範囲内で特定の領域を設定する領域設定手段と、前記領域設定手段により設定された領域に基づき、前記メモリ手段に記憶された前記各画像間の色ずれ情報を検出し、その検出結果に応じて、前記面順次撮像された各画像毎に水平方向および垂直方向にぶれ補正用メモリを用いて位置をずらすことにより、色ずれが最小となる色ずれ最小値情報を検出する色ずれ情報検出手段と、前記色ずれ情報検出手段から検出された色ずれ最小値情報に基づいて前記メモリ手段の読出し位置を制御し、色ずれを補正した各画像の信号を出力させる色ずれ補正手段と、を具備したことを特徴とする。
請求項2記載の発明による内視鏡装置は、請求項1に記載の内視鏡装置において、前記撮像手段の種別を判別する判別手段をさらに具備し、前記領域設定手段は、前記判別手段により判別された前記撮像手段の種類に応じて、前記面順次撮像された各画像のそれぞれに対し、前記各画像の範囲内で特定の領域を設定することを特徴とする。
【0013】
請求項1の発明によれば、色ずれ検出を行い、その検出結果に応じて面順次の各画像(例えばR,G,B画像)毎にメモリで水平/垂直方向に位置をずらし、各画像を合わせ込むことによって色ずれを軽減することができる。
  請求項2の発明によれば、静止画時の撮像手段の種類および画素数の違いによる色ずれ量を適正に補正することができる。
【0014】
  請求項3記載の発明による内視鏡装置は、請求項1に記載の内視鏡装置において、前記撮像手段からの撮像信号のうち、明るさレベルが所定値以上の部位を検出する明るさ検出手段をさらに具備し、前記領域設定手段は、前記明るさ検出手段により検出された前記部位に応じて、前記部位を含む所定の領域を前記面順次撮像された各画像の範囲内で設定することを特徴とする。
【0015】
  請求項3の発明によれば、静止画時の被写体が一定の明るさのみの領域の色ずれを補正することができる。
【0016】
  請求項4記載の発明による内視鏡装置は、請求項1に記載の内視鏡装置において、前記撮像手段により撮像され、表示手段にて表示される映像の拡大倍率を変化する拡大倍率変化手段をさらに具備し、前記領域設定手段は、前記拡大倍率変化手段における前記拡大倍率に応じて、前記面順次撮像された各画像のそれぞれに対し、前記各画像の範囲内で特定の領域を設定することを特徴とする。
【0017】
  請求項4の発明によれば、静止画時の拡大率の違いによる色ずれ量を適正に補正することができる。
【0018】
【発明の実施の形態】
発明の実施の形態について図面を参照して説明する。
図1〜図7で本発明の第1,第2の実施の形態を説明する前に、図8を参照して本発明の色ずれ検出及び補正を行う装置が適用される電子内視鏡装置について説明する。
【0019】
図8は電子内視鏡装置の撮影システムの全体構成を示している。
図8に示すように、本実施の形態における内視鏡装置は、プロセッサ1と、内視鏡2を備えている。プロセッサ1は、CCD駆動回路6と信号処理手段8と面順次光源装置14を備えている。また、内視鏡2は、ライトガイド9及び照明用レンズ10と、対物レンズ4及びCCD5と、バッファアンプ7を備えている。内視鏡2の挿入部(図8では実物に比べてかなり短い長さで示している)には、面順次光源装置14からの照明光を伝達するライトガイド9が挿通されている。また、対物レンズ4の結像位置に、撮像手段であるCCD5が配設されている。一方、プロセッサ1内の光源装置14には、紫外線から蛍光観察に至る広帯域の光を発光するランプ17が設けられている。このランプ17としては、一般的なキセノンランプやストロボランプが使用され、可視光のみならず紫外光および蛍光を大量に発光する。このランプ17は、図示しない電源部によって電力が供給されるようになっている。前記ランプ17の前方には、モータ20によって回転駆動されるRGB回転フィルタ19が配設され、該回転フィルタ19には、赤(R)、緑(G)、青(B)の各波長領域の光を透過するフィルタが、周方向に沿って配列されている。また、ランプ17と回転フィルタ19との間には、絞り15Eが配設され、その絞り量が絞り制御手段15によって制御され、ランプ20から出射される光量を調節可能にしている。前記モータ20は、RGB回転フィルタ制御手段16によって、回転が制御されて駆動されるようになっている。前記RGB回転フィルタ19を透過し、R,G,Bの各波長領域の光に時系列的に分断された光は、面順次光源装置14の照明光を集める集光レンズ18を経由して、前記ライトガイド9の入射端に入射され、このライトガイド9を介して、照明用レンズ10から出射され、観察部位を照明するようになっている。この照明光によって照明された観察部位(被写体)からの光は、対物レンズ4によって、CCD5上に結像され、光電変換されるようになっている。CCD5には、信号線を介して、前記プロセッサ1内のCCD駆動手段6からの駆動パルスが印加され、この駆動パルスによって、電荷の読み出し、転送が行われるようになっている。そして、CCD5から読み出した映像信号が、内視鏡2内に配置されたバッファアンプ7を経由して電流増幅され、信号処理手段8で、各種画像処理を施して、モニタ3に出力される。信号処理手段8は、拡大および輪郭強調などの処理を行う信号処理手段11と、時系列なR,G,B映像信号をセレクタを介して一旦R,G,Bの各同時化メモリに記憶して同時化する面順次信号同時化手段12と、R,G,Bそれぞれの静止画指示があったときに同時化手段12のR,G,B出力を静止画処理する静止画信号処理手段13で構成されている。
【0020】
[第1の実施の形態]
〔構成〕
図1は、本発明の第1の実施の形態の色ずれ検出及び補正を行う装置の構成図を表し、図2〜図4は、色ずれ検出の原理を示す。
【0021】
図8に示した全体構成図において、前記内視鏡2の先端に設けたCCD5の画素数又は種類が異なる毎に、面順次特有の色ずれを補正するために色ずれ検出及び補正を行う装置の、色ずれ検索領域を可変にする実施の形態を、図1〜図4を用いて説明する。
【0022】
図8に示した信号処理手段11は、図1に示すように、相関2重サンプリングを行う図示しないCDS回路、オプティカルブラック(OB)部をクランプする図示しないクランプ回路、アナログ信号をデジタル信号に変換するA/D回路22、画像の拡大を行う図示しない拡大回路、画像のエッジ強調を行う図示しないエンハンス回路などで構成されている。
【0023】
図8に示した面順次同時化手段12は、図1に示すように、撮像手段である前記CCD5からの面順次信号をR,G,B同時化信号に変換するための同時化回路23で構成されている。
【0024】
図8に示した静止画信号処理手段13は、図1に示すように、静止画(以下フリーズ)選択時にフリーズ開始を指示するフリーズ指示回路24と、前記CCD5の画素数又は種類を判別するCCD判別回路21と、CCD判別回路21からの判別結果に従って、色ずれの検索領域範囲を切り換える色ずれ検索領域設定回路27と、フリーズ時においてR,G,Bの各色の画像信号を記憶する静止画メモリ(以下フリーズメモリ)25と、図示しない補正フリーズ選択手段からの補正フリーズ開始信号に基づいて、色ずれ検索時間を短縮化するため、フリーズメモリ25に記憶された領域の一部分(例えば1/4程度)をR,G,B毎に記憶するぶれ補正メモリ26と、前記色ずれ検索領域設定回路27からの色ずれ検索領域に基づき、前記ぶれ補正メモリ26の領域を色ずれ検索して得られるぶれ補正メモリR,G,B出力信号から、一番色ずれの少ないR,G,B画像のぶれ補正メモリ読み出しアドレスを記憶することによって、色ずれ最小値の情報を検出する色ずれ最小検出回路29と、前記フリーズメモリ25及び前記ぶれ補正メモリ26の読出し/書込み(R/W)を制御するメモリR/Wコントローラ28と、同時化回路23からの動画とフリーズメモリ25からの静止画を切り換えて出力するための切換え手段30と、画像データをR,G,B毎にアナログ信号に変換するD/A変換手段31とで構成される。
【0025】
メモリR/Wコントローラ28は、ぶれ補正メモリ26と色ずれ最小検出回路29と共に、色ずれ領域設定回路27により設定された色ずれ検索領域に基づきぶれ補正メモリ26の領域をR,G,B毎に検索し、検索したR,G,B毎のデータを色ずれ最小検出回路29に取り込んで、R,G,B各画像間の色ずれ情報を検出する色ずれ情報検出機能(手段)を構成している。また、メモリR/Wコントローラ28は、色ずれ最小検出回路29からの色ずれ最小値情報に基づいてフリーズメモリ25を読出し制御し、色ずれを補正したR,G,B信号を出力させる色ずれ補正機能(手段)を有している。
【0026】
上記色ずれ検索領域設定回路27には、CCD5の大きさ(画素数)に応じて、色ずれ検索すべき領域が設定されており、CCD判別手段21からのCCD判別情報に基づき、CCD画素数の大小に応じた大きさの検索領域情報がメモリR/Wコントローラ28に送られる。メモリR/Wコントローラ28は、入力した検索領域情報に基づき、ぶれ補正メモリ26に記録されている画像データについての検索領域を設定する。これによって、CCD5の大きさ(画素数)に応じた、色ずれ領域の設定が可能になる。
【0027】
  上記ぶれ補正メモリ26は、前述したようにフリーズメモリ25に記憶された領域の一部分(例えば1/4程度)を、R,G,B毎に記憶するものである。1/4程度の一部の領域だけで色ずれを検知するため、フリーズメモリ25に記憶されている領域全てに対して色ずれを検知するよりも、色ずれ検索時間が短縮化される。
【0028】
上記色ずれ最小検出回路29は、ぶれ補正メモリ26の或る読み出しアドレスから読み出されるR,G,Bの画像データについて、G画像波形とR画像波形(又はB画像波形)との差を演算し、G画像に対して、R画像(又はB画像)が遅れていたり、また進んでいたりすると、色ずれ度数を大きい数として検出し、またG画像に対して、R画像(又はB画像)の遅れ・進みが少ないほど色ずれ度数を小さい数として検出し、かつぶれ補正メモリ25のGメモリ内に記憶されているG信号を基準にR(又はB)メモリ内からのR(又はB)信号の読み出しのアドレスをそれぞれ相対的にシフトしていき、各アドレスについて読み出したR(又はB)信号と基準(アドレス固定)のG信号との差(色ずれ度数)検出を行い、最小の色ずれ度数が得られるR(又はB)信号の読み出しアドレス(即ち色ずれ最小画像情報)を検出するように構成されている。
【0029】
次に、図2〜図4を参照して、色ずれ最小検出回路29の構成例を述べる。  まず、図2を参照して色ずれ最小検出回路29の全体構成について説明する。
【0030】
ぶれ補正メモリ26から出力されたR,G,B信号はそれぞれ入力端子291 ,292 ,293 に入力される。入力R信号はそのまま比較回路297 に入力されると共に、1クロック(1CK)遅延回路294 で1クロック遅延されて比較回路297 に入力され、比較回路297 で2つの入力信号の差分信号であるΔRが求められる。比較回路297 の入力信号をR,R′とすると、その比較結果ΔRとしてはR>R′,R=R′,R<R′の3通りの出力信号即ち3値化信号(例えば+,0,−と表す)として出力されることになる。入力G,B信号についても同様に、比較回路298 でG信号とこれを1クロック(1CK)遅延回路295 で1クロック遅延した信号との差分信号ΔGが求められ、比較回路299 でB信号とこれを1クロック(1CK)遅延回路296 で1クロック遅延した信号との差分信号ΔBが求められる。G,Bの各比較回路298 ,299 の差分信号ΔG,ΔBについてもそれぞれ3値化信号として出力される。
【0031】
比較回路297 ,298 の各差分信号ΔR,ΔGは不一致回路300 に入力されて、ΔGに対するΔRの一致,不一致が検出される。同様に、比較回路298 ,299 の各差分信号ΔG,ΔBは不一致回路310 に入力されて、ΔGに対するΔBの一致,不一致が検出される。不一致回路300 ,310の各検出信号FL1 ,FL2 は2入力のオア回路320 で論理和がとられて、R,G,B各信号間の相関が求められ、それが色ずれ度数として出力される。そして、色ずれ検索領域内の色ずれ度数をカウンタで構成される色ずれ度数算出回路321 でカウントし、そのカウント出力を色ずれ最小画像検出回路322 に供給する。色ずれ最小画像検出回路322 では、色ずれ検索領域内でカウントしたR(又はB)信号の色ずれ度数の中で、最小の色ずれ度数を求め、その時のR(又はB)画像信号の読み出しアドレスを色ずれ最小画像情報として出力する。
【0032】
つまり、色ずれ最小検出回路29は、G画像の信号波形とR画像(またはB画像)との差を演算し、G画像に対して、R画像(またはB画像)が遅れていたり、または進んでいたりすると、その差分(すなわちRとGの差分、BとGの差分)に応じて色ずれ度数を積算していく。そして、色ずれ検索領域内で、G画像を基準にR画像,B画像の各領域を水平(H)方向および垂直(V)方向にシフトしてそのシフトしたR,B領域ごとに色ずれ検出し積算した色ずれ度数データの中で、色ずれが最小となる色ずれ度数最小値を選択し、メモリR/Wコントローラ28の制御によってその時のH方向およびV方向についてフリーズメモリ25の読み出し開始位置制御を行うようにしている。
【0033】
図3は図2おける不一致回路300 ,310 の具体的な回路構成例を示している。図2のR,G,Bの各比較回路297 ,298 ,299 の出力ΔR,ΔG,ΔBは前述したように3値化信号(+,0,−)をとるので、この3値状態を例えば2ビット表現[例えば“+”を(10)、“0”を(00)、“−”を(01)のように表現]することができる。このように2ビットデータとした場合、一般的にΔRについて第1ビット目をΔR1 ,第2ビット目をΔR2 と表し、同様にΔGは第1ビット目をΔG1 ,第2ビット目をΔG2 、ΔBは第1ビット目をΔB1 ,第2ビット目をΔB2 と表すとすると、図2おける不一致回路300 ,310 は図3に示すように構成することができる。即ち、不一致回路300 は2つのEX−OR回路301 ,302 とOR回路303 で構成され、不一致回路310 は2つのEX−OR回路311 ,312 とOR回路313 で構成される。
【0034】
  図4に図2及び図3の色ずれ最小検出回路における色ずれの検出方法(色ずれ検出信号発生)の一例を示す。
【0035】
図4における符号R,G,B、ΔR,ΔG,ΔB、FL1 ,FL2 ,FL3 は図2(及び図3)上におけるものと同じである。横軸に示す時間に対し、縦軸に示す画像信号R,G,Bのレベルが時間的に変化する。つまり、時間軸に対してR,G,Bのレベルに動きが生じると、所定のサンプル間隔における各差分信号(ΔR,ΔG,ΔB)に、変化(+,0,−)が生じる。なお、一般的には、R,G,Bは互いに複数のサンプル間隔(複数クロック時間)ずれているが、図4に示すサンプル間隔は、RGB回転フィルタ19を構成するR,G,B各色フィルタ毎の回転時間差に相当した撮影信号遅延時間(1クロック遅延時間)に対応している。色ずれ検索領域におけるRとG間,BとG間には1サンプル間隔のずれがあり、R,BをGを基準(中心)にして1サンプル間隔ずらすと一致、即ち色ずれ最小とすることができる。ΔR,ΔGの排他的論理和(EX−OR)出力FL1 はRとGの色ずれ状態を表しており、ΔB,ΔGの排他的論理和(EX−OR)出力FL2 はBとGの色ずれ状態を表している。従って、FL1 とFL2 の論理和(OR)出力FL3 がR,G,Bトータルの色ずれ状態を表す情報として出力される。
【0036】
〔作用〕
図5に、通常フリーズ指示があってから色ずれ最小検出出力を得るまでの動作タイミングチャートを示している。図5において、(a) は通常のフリーズ選択指示、(b) フリーズメモリ25の状態、(c) は色ずれ補正したフリーズ選択指示、(d) は色ずれ最小検出回路29からの色ずれ最小画像検出出力を示している。
【0037】
フリーズ選択時、内視鏡2内にある図示しないフリーズ選択手段から出力される通常のフリーズ指示信号(図5(a) 参照)に基づいて、メモリR/Wコントローラ28から書き込み、読み出し動作を制御して、フリーズ選択後所定時間内で一番動きの少ない画像を静止画として、フリーズメモリ25に1画面分記憶し(図5(b) 参照)、モニタ3から出力する。
【0038】
その後、前記した静止画像に対してもまだ色ずれが見られる場合、内視鏡2内にある図示しない補正フリーズ選択手段からの指示に応じてフリーズ指示回路24から色ずれ補正フリーズ指示(図5(c) 参照)が出されると、CCD判別回路21から出力される判別信号に応じて色ずれ検索領域設定回路27により設定された色ずれ検索領域に基づき、メモリR/Wコントローラ28が、ぶれ補正メモリ26に書き込まれている静止画像領域をR,G,B毎に検索し、検索したR,G,Bのデータを色ずれ最小検出回路29に入力させる。
【0039】
色ずれ最小検出回路29では、基準となるG画像に対するR画像、B画像の色ずれ値である色ずれ度数を求め、色ずれが最小となるまでぶれ補正メモリのR(又はB)メモリの読み出しアドレスのシフトを順次繰り返し、R(又はB)メモリのシフトアドレスでの読み出し信号がG信号と比較され、その中で一番色ずれの少ないR,G画像についてのメモリ読み出しアドレスを記憶する。即ち、図6のフローチャートのステップS1 〜S7 に従って、G信号を基準にしてR(又はB)信号をそれぞれ相対的にシフトさせながら、1画面毎に、図示しないアドレスシフタによって、遅れ方向(又は進み方向)に前記ぶれ補正メモリ26のR(又はB)メモリの読み出しアドレスをシフトしていき、このようにシフトしたアドレスのR信号(又はB信号)とG信号が一致し、色ずれが最小となるまでぶれ補正メモリのR(又はB)メモリの読み出しアドレスのシフトを順次繰り返し、R(又はB)メモリのシフトアドレスでの読み出し信号がG信号と比較される。そして、その中で一番色ずれの少ないR,G画像についてのメモリ読み出しアドレスを記憶し、メモリR/Wコントローラ28に出力することによって、メモリR/Wコントローラ28はフリーズメモリ25からR,G,Bの色ずれが一番少ない画像同士を読み出し、D/A変換手段31を経てモニタ3に出力することができる。
【0040】
本実施の形態では、RとGについて、検索画素間隔を1画素に設定している。横方向に5箇所、縦方向に5箇所で、合計25箇所(即ち検索画素間隔が1画素の場合は25画素数の領域)で色ずれ検索を行う。CCD5の画素数が多くなると、色ずれ量(色ずれ画素数)も増えるため、検索画素間隔を広げ、4画素程度に変更する。従って、CCD5の画素数が多くなり、検索画素間隔を4画素とした場合、横方向に5箇所、縦方向に5箇所の合計25箇所で色ずれ検索を行うとすると、色ずれ検索領域は略16倍程度大きく設定されることになる。
【0041】
このようにして、使用するCCD5の種類又は画素数に違いがある場合、例えばCCD画素数が大きくなった場合でも、色ずれ検索領域を大きくし検索画素間隔を広げて色ずれ検出を行い、同じ検索箇所数で色ずれが最小となるように制御することができる。また、この色ずれ検索領域の大きさの設定を照明光源装置の種類(例えば蛍光照明による観察時か否か)に応じて可変することで、その時の照明モードについて、色ずれが最小となるように制御する構成としてもよい。また、フリーズメモリ25と、ぶれ補正メモリ26を同一のものとして構成してもよい。なお、色ずれ検出方法を色の分散値を求める方法で行ってもよい。また、色ずれ検索領域を異なった大きさで複数設定して、色ずれ検出及び補正を行ってもよい。
【0042】
〔効果〕
CCDの画素数が多くなるにつれて、色ずれ量が増える。よって、CCDの種類又は画素数に応じて、色ずれ検索の領域の大きさを設定することによって、CCDの画素数が多くなっても同じ検索箇所数で良好な色ずれ検出及び補正が行える。
【0043】
[第2の実施の形態]
図7は本発明の第2の実施の形態の色ずれ検出及び補正を行う装置の構成図を示している。色ずれ検出の原理は、図2〜図4に示したのと同様である。
【0044】
〔構成〕
図8に示した全体構成図において、画面の明るさに応じて、ずれベクトルを基に、面順次特有の色ずれの検索領域を可変にする実施の形態を図7、及び図2〜図4に基づいて説明する。
【0045】
図8に示した、面順次同時化手段12は、図7に示すように、撮像手段である前記CCD5からの面順次信号をR,G,B同時化信号に変換するための同時化回路23で構成されている。
【0046】
図8に示した、静止画信号処理手段13は、図7に示すようにフリーズ選択時にフリーズ開始を指示するフリーズ指示回路24と、明るさレベル(輝度レベル)が所定値以上の部位を検出する画面明るさ検出回路33と、画面明るさ検出回路33からの検出信号に従って、前記部位を含む色ずれの検索領域範囲を切り換える色ずれ検索領域設定回路27と、フリーズ時においてR,G,Bの各色の画像信号を記憶する静止画メモリ(以下フリーズメモリ)25と、図示しない補正フリーズ選択手段からの補正フリーズ開始信号に基づいて、色ずれ検索時間を短縮化するため、フリーズメモリ25に記憶された領域の一部分(例えば1/4程度)をR,G,B毎に記憶するぶれ補正メモリ26と、前記色ずれ検索領域設定回路27からの色ずれ検索領域に基づき、前記ぶれ補正メモリ26の領域を色ずれ検索して得られるぶれ補正メモリR,G,B出力信号から、一番色ずれの少ないR,G,B画像のぶれ補正メモリ読み出しアドレスを記憶することによって、色ずれ最小値の情報を検出する色ずれ最小検出回路29と、前記フリーズメモリ25及び前記ぶれ補正メモリ26の読出し/書込み(R/W)を制御するメモリR/Wコントローラ28と、同時化回路23からの動画とフリーズメモリ25からの静止画を切り換えて出力するための切換え手段30と、画像データをR,G,B毎にアナログ信号に変換するD/A変換手段31と、第1の実施の形態よりも色ずれ検索時間をさらに短縮化するためにR,G,B各色のGに対するR(又はB)のずれベクトルを算出するずれベクトル算出回路34とで構成される。
【0047】
メモリR/Wコントローラ28は、ぶれ補正メモリ26と色ずれ最小検出回路29と共に、色ずれ領域設定回路27により設定された色ずれ検索領域に基づきぶれ補正メモリ26の領域をR,G,B毎に検索し、検索したR,G,B毎のデータを色ずれ最小検出回路29に取り込んで、R,G,B各画像間の色ずれ情報を検出する色ずれ情報検出機能(手段)を構成している。また、メモリR/Wコントローラ28は、色ずれ最小検出回路29からの色ずれ最小値情報に基づいてフリーズメモリ25を読出し制御し、色ずれを補正したR,G,B信号を出力させる色ずれ補正機能(手段)を有している。
【0048】
〔作用〕
フリーズ選択時、図示しない内視鏡2内にある図示しない静止画選択手段から出力される静止画指示信号に基づいて、メモリR/Wコントローラ28から書き込み動作を制御して、所定時間内で一番動きの少ない画像を静止画として、フリーズメモリ25に1画面分記憶し、モニタ3から出力する。
【0049】
その後、前記した静止画像に対してもまだ色ずれが見られる場合、内視鏡内2にあるフリーズ指示回路24に基づいて、色ずれ検索領域設定回路27を動作させ、色ずれ検索領域を設定し、メモリR/Wコントローラ28が、フリーズメモリ25からぶれ補正メモリ26への書き込み動作を制御して、色ずれ検索領域の画像データをぶれ補正メモリ26に記憶させる。
【0050】
本実施の形態では、画面明るさ検出回路33で検出した部位に対応した所定の領域の画像データをフリーズメモリ25から読み出してぶれ補正メモリ26に記憶する。そして、色ずれ最小検出回路29では、RとGについて、色ずれ検索領域での検索画素間隔を5画素に設定し、おおよその色ずれ最小値を求める。そして、次に検索画素間隔を1画素に設定し、適正な色ずれ最小値を求める方法で色ずれ最小値を選択する。これにより、より精度の良い色ずれ最小画像を見つけることができる。
【0051】
色ずれ最小検出回路29では、前記ぶれ補正メモリ26に記憶された画像データを、ずれベクトル算出回路40から出力されるずれベクトルを基に、G信号を基準にしてR(又はB)信号をそれぞれ相対的にシフトさせながら、1画面毎に、図示しないアドレスシフタによって、遅れ方向(又は進み方向)に前記ぶれ補正メモリ26の読み出しアドレスをシフトしていき、このようにシフトしたアドレスのR信号(又はB信号)とG信号が一致するまで、読み出しアドレスのシフトを順次繰り返し、シフトしたアドレスでの読み出しR(又はB)信号がG信号とか比較される。このようにして、R信号(又はB信号)が、G信号とのレジストレーションが合う状態になると、その時の、Gの読み出し信号に対する一番ずれの少ないR(又はB)信号についてのアドレスを記憶し、最終的に、メモリR/Wコントローラ28の読み出し制御によってフリーズメモリ25から色ずれが最小となるR,G,Bの各画像を読み出す。
【0052】
色ずれ最小検出回路29の動作は、図2〜図4で説明した通りである。即ち、G画像の信号波形とR画像(またはB画像)との差を演算し、G画像に対して、R画像(またはB画像)が遅れていたり、または進んでいたりすると、その差分(すなわちRとGの差分、BとGの差分)に応じて色ずれ度数が積算されていく。そして、色ずれ検索領域内で、G画像を基準にR画像,B画像の各領域を水平(H)方向および垂直(V)方向に動かしてそのシフトしたR,B領域ごとに積算された色ずれ度数データの中で、色ずれが最小となる色ずれ度数最小値を選択し、メモリR/Wコントローラ28の制御によってその時のH方向およびV方向のフリーズメモリ25の読み出し開始位置制御を行うようにしている。
【0053】
このようにして画面内の明るさレベル(輝度レベル)が所定値以上の部位に対応した色ずれ検索領域を設定することによって、使用者が注目する一定の明るさの画像において色ずれが最小となるように、制御される。
【0054】
〔効果〕
使用者の注目している画面内の領域での色ずれを簡単な構成で検出し補正できる。
【0055】
[第3の実施の形態]
図9は本発明の第3の実施の形態の色ずれ検出及び補正を行う装置が適用される電子内視鏡装置を示す構成図である。
【0056】
〔構成〕
第3の実施の形態に係る電子内視鏡装置は図9で示すように、観察用の光を発するための光源装置41と、体腔内に挿入するためのスコープ42と、撮像手段で得られた画像信号の信号処理等を行うプロセッサ43と、画像を表示するモニタ44と、画像を写真フィルム上に記録する写真撮影装置45により構成される。
【0057】
光源装置41は、光を放射するランプ46と、ランプ46の照明光路上に設けられ透過波長を制限する回転フィルタ板47とを備えている。
【0058】
スコープ42は、照明光を通過させるライトガイド48と、被写体からの光を撮像する撮像手段であるCCD49と、レンズ50と、レンズ50を移動させるアクチュエータ51とを備えている。また、スコープ42を操作する操作部には、使用者が容易に押せる位置に、静止画(フリーズ)を指示するフリーズスイッチ52と、写真撮影装置45への記録を指示するレリーズスイッチ53と、アクチュエータ51を「拡大」側への移動を指示する拡大率変化手段である拡大スイッチ54と、アクチュエータ51を「広角」側への移動を指示する広角スイッチ54とが配置されている。
【0059】
プロセッサ43は、CCD駆動回路56と、プリプロセス回路57と、A/D変換回路58と、セレクタ59と、3つの同時化メモリ60a〜60cと、静止画像のメモリ手段である3つのフリーズメモリ61a〜61cと、3つのぶれ補正メモリ62a〜62cと、3つのD/A変換回路63a〜63cと、アクチュエータ制御回路64と、メモリアドレス制御回路65と、フリーズ制御回路66と、色ずれ最小検索回路67とを備えている。
【0060】
メモリアドレス制御回路65は、ぶれ補正メモリ62a〜62cと色ずれ最小検索回路67と共に、拡大スイッチ54の拡大率に基づいて設定された色ずれ検索領域に基づきぶれ補正メモリ62a〜62cのR,G,B毎に検索し、検索したR,G,B毎のデータを色ずれ最小検索回路67に取り込んで、R,G,B各画像間の色ずれ情報を検出する色ずれ情報検出機能(手段)を構成している。また、メモリアドレス制御回路65は、色ずれ最小検索回路67からの色ずれ最小値情報に基づいてフリーズメモリ61a〜61cの読出しを制御し、色ずれを補正したR,G,B信号を出力させる色ずれ補正機能(手段)を有している。
【0061】
〔作用〕
光源装置41のランプ46から放射された光は、回転フィルタ板47を通過してスコープ42のライトガイド48に入射される。回転フィルタ板47は、図示しないモータにより所定の速度で回転駆動されることにより図示しないRフィルタ、Gフィルタ、Bフィルタが順次光路上に入れられ、赤、緑、青の光が順次透過される。
【0062】
スコープ42のライトガイド48に入射された光は、スコープ先端部から消化管等の被写体に照射される。被写体で散乱、反射された光はスコープ先端のCCD49上で結像する。CCD49は回転フィルタ板47の回転に同期してCCD駆動回路56により駆動され、Rフィルタ、Gフィルタ、Bフィルタ等回転フィルタ板47のそれぞれのフィルタを透過した光により照明された時のCCD49の撮像信号が、順次プロセッサ43に出力される。
【0063】
プロセッサ43に入力された撮像信号は、まずプリプロセス回路57に入力される。プリプロセス回路57ではCDS(相関2重サンプリング)等の処理によりCCDの撮像信号から画像信号(画素信号)が取り出される。プリプロセス回路57から出力された信号はA/D変換回路58によりアナログ信号からデジタル信号に変換される。
【0064】
A/D変換回路58から出力された信号はセレクタ59により振り分けられ、Rフィルタ、Gフィルタ、Bフィルタが挿入されたときの画像がそれぞれ同時化メモリR60a、同時化メモリG60b、同時化メモリB60cに記憶される。各同時化メモリ60a〜60cに記憶された画像は同時に読み出されることにより、面順次画像の同時化が行われる。同時化された画像は、フリーズメモリ61a〜61cに一旦記憶された後に読み出されることにより、モニタ44上に表示する位置が調整される。この調整は、フリーズメモリ61a〜61cの書き込みタイミングと読み出しタイミングを制御することにより行われる。フリーズ動作が行われていない場合は、図示しないガンマ補正回路においてモニタ44のガンマ特性を補正する変換が行われ、D/A変換回路63a〜63cによりアナログ信号に変換され、動画像がモニタ44に表示される。モニタ44上では、通常はリアルタイムで動画像が得られると共に、操作者がフリーズ操作をした場合には静止画像を観察することができる。
【0065】
操作者が拡大スイッチ54を押すと、拡大指示信号がアクチュエータ制御回路64に入力され、アクチュエータ制御回路64はアクチュエータ51を駆動してレンズ50を拡大側に移動させる。また、広角スイッチ55を押すと、広角指示信号がアクチュエータ制御回路64に入力され、アクチュエータ制御回路64はアクチュエータ51を駆動してレンズ50を広角側に移動させる。このようにして術者はさまざまな拡大率でモニタ44上で観察できることになる。アクチュエータ制御回路64には図示しないアクチュエータの位置検出回路があり、アクチュエータ51の位置検出に基づいて拡大率信号を生成して出力する。該拡大率信号はメモリアドレス制御回路65に送られる。
【0066】
次に、フリーズ時の動作を説明する。操作者がフリーズスイッチ52を押すと、フリーズ指示信号がフリーズ制御回路66に入力される。フリーズ制御回路66では、同時化メモリ60a〜60cで同時化されたR、G、Bの画像信号の色ずれを比較し、最も色ずれが少ないタイミングでフリーズメモリ61a〜61cの書き込みを停止することにより、フリーズ指示信号が入力されてから所定時間内で最も色ずれの少ないR,G,B組合せの静止画像を出力する。フリーズ制御回路66では、フリ―ズ画像が確定された後に、メモリアドレス制御回路65に補正指示信号を出力する。メモリアドレス制御回路65に補正指示信号が送られると、メモリアドレス制御回路65はその制御によりフリーズメモリ61a〜61cのデータを読み出してぶれ補正メモリ62a〜62cに取り込む。
【0067】
色ずれ最小検索回路67は、ぶれ補正メモリ62a〜62cの画像領域につき、図10のフローチャートに従って色ずれ最小のアドレス検索を行う。色ずれ最小検索はR信号とG信号、およびG信号とB信号に対して行っているが、図10ではR信号とG信号についての動作のみを示している。
【0068】
先ず、図10のステップS11に示すように上記の拡大指示に基づいたアクチュエータ制御回路64からの拡大率信号に応じて、メモリアドレス制御回路65では色ずれ検索領域に関連する検索画素間隔cが決定され、ぶれ補正メモリ62a〜62cに対して設定される。ここで、拡大率が大きい場合は検索画素間隔cは大きく、拡大率が小さい場合は検索画素間隔cは小さく設定される。本実施の形態では横方向(変数i)にc画素おきに5箇所、縦方向(変数j)にc画素おきに5箇所で25箇所の色ずれ検索を実行している。従って、拡大率が大きい場合はぶれ補正メモリ62a〜62c上の色ずれ検索領域は大きく設定され、拡大率が小さい場合は色ずれ検索領域は小さく設定されることになる。ステップS12〜S14では、Rぶれ補正メモリ62aに設定する色ずれ検索領域につき、0→i,0→jとしてからc画素おきに例えば25箇所でサンプル検索を行い、画像を読み込む。これは図4で述べたサンプル検索と同様である。
【0069】
そして、ステップS15に示すように次にRぶれ補正メモリ62aの画像領域内で、一度色ずれ最小を探すために、G,Bのぶれ補正メモリ62b,62cを固定して、Rのぶれ補正メモリ62aの読み出しアドレスをシフトしていき、画像を読み込む。
【0070】
次に、ステップS16で、Gぶれ補正メモリ62bより画像を読み込む。この画像の読み込みは、上記と同様、c画素おきに例えば25箇所でサンプル検索を行い、画像を読み込む。そして、ステップS17及びS18で、上記のS12〜S14で読み込んだR画像及びS15でアドレスシフトして読み込んだ複数のR画像と、上記のS16で読み込んだG画像との色ずれを検出し、該色ずれ情報に基づいて色ずれの評価値を算出し、色ずれが最小になっている、Rぶれ補正メモリ62aの読み出しアドレスを記憶する。以上がc画素おきの粗サーチ検出による色ずれ最小検索動作である。しかし、拡大率が大きい場合などに、前記した検索方法で色ずれ最小が見つけられない場合がある。この時には、図10のS19〜S26を行う(精サーチ検出、ここでは1画素おきに検出)ことによって、より精度の良い色ずれ最小画像を見つけることができる。なお、図10のフローチャートではR信号とG信号の色ずれ最小アドレスを検索しているが、これをG信号とB信号に対しても同様に行う。
【0071】
色ずれ最小検索回路67の検索が終了するとメモリアドレス制御回路65は色ずれ最小検索回路67で検索した色ずれ最小アドレスに従って、フリーズメモリ61a〜61cの読み出しアドレス制御を行うことにより、色ずれ補正された画像をフリーズメモリ61a〜61cから読み出してモニタ44に出力する。このずれ補正により、フリーズメモリ61a〜61cに記憶された色ずれの少ない静止画像に残された色ずれを、さらに軽減して表示することができる。
【0072】
次に、レリ−ズ時の動作を説明する。操作者がレリーズスイッチ53を押すと、レリーズ指示信号(写真撮影装置45への記録指示)がフリーズ制御回路66に入力される。フリーズ制御回路66での動作はフリーズ時とほとんど同じであるが、補正指示信号を出力してから色ずれ補正画像作成に要する時間経過した後には、写真撮影装置45に対して画像記録指示信号が送られる。写真撮影装置45では、画像記録指示信号を受け取り、入力された画像信号をフィルムに撮影する。フリーズ制御回路66では、画像記録指示信号出力後に自動的にフリーズメモリ61a〜61cへの書き込みを再開し、モニタ44上には再び動画が表示される。
【0073】
尚、本実施の形態では光学的な拡大を行っているが、これを電子ズームに適用してもよい。
【0074】
〔効果〕
拡大時は非拡大時に比べて色ずれが大きくなる。そのため、拡大率に応じて色ずれ検索領域の大きさを設定することにより、拡大時でも適正な色ずれ検出及び補正を行うことができる。
【0075】
(付記1)
被写体像を面順次撮像する撮像手段と、
前記撮像手段により面順次撮像され、それぞれを合成することで1つの画像を成す各画像を記憶するメモリ手段と、
前記撮像手段の種別を判別する判別手段と、
前記判別手段により判別された前記撮像手段の種類に応じて、前記面順次撮像された各画像のそれぞれに対し、前記各画像の範囲内で特定の領域を設定する領域設定手段と、
前記領域設定手段により設定された領域に基づき、前記メモリ手段に記憶された前記各画像間の色ずれ情報を検出する色ずれ情報検出手段と、
前記色ずれ情報検出手段により検知された色ずれ情報に基づき前記色ずれを補正する色ずれ補正手段と、
を有することを特徴とする色ずれ補正装置。
【0076】
(付記2)
被写体像を面順次撮像する撮像手段と、
前記撮像手段により面順次撮像され、それぞれを合成することで1つの画像を成す各画像を記憶するメモリ手段と、
前記撮像手段からの撮像信号のうち、明るさレベルが所定値以上の部位を検出する明るさ検出手段と、
前記明るさ検出手段により検出された前記部位に応じて、前記部位を含む所定の領域を前記面順次撮像された各画像の範囲内で設定する領域設定手段と、
前記領域設定手段により設定された領域に基づき、前記メモリ手段に記憶された前記各画像間の色ずれ情報を検出する色ずれ情報検出手段と、
前記色ずれ情報検出手段により検知された色ずれ情報に基づき前記色ずれを補正する色ずれ補正手段と、
を有することを特徴とする色ずれ補正装置。
【0077】
(付記3)
被写体像を面順次撮像する撮像手段と、
前記撮像手段により面順次撮像され、それぞれを合成することで1つの画像を成す各画像を記憶するメモリ手段と、
前記撮像手段により撮像され、表示手段にて表示される映像の拡大倍率を変化する拡大倍率変化手段と、
前記拡大倍率変化手段における前記拡大倍率に応じて、前記面順次撮像された各画像のそれぞれに対し、前記各画像の範囲内で特定の領域を設定する領域設定手段と、
前記領域設定手段により設定された領域に基づき、前記メモリ手段に記憶された前記各画像間の色ずれ情報を検出する色ずれ情報検出手段と、
前記色ずれ情報検出手段により検知された色ずれ情報に基づき前記色ずれを補正する色ずれ補正手段と、
を有することを特徴とする色ずれ補正装置。
【0078】
【発明の効果】
  以上述べたように本発明によれば、静止画時の色ずれを検出し適正に補正することができる内視鏡装置を提供することができる。
また、CCDの種類または画素数に応じて、色ずれ検索領域の大きさを設定したので、画素数が多いほど、より多くなる画像の色ずれを簡単に検出し補正することができる。
【0079】
また、時系列的に得られた複数の画像にて構成される内視鏡画像において、一定の明るさを持った領域を色ずれ検索領域に設定したことによって、使用者の注目している一定の明るさを持った領域での色ずれ検出及び補正が容易に実現できる。
【0080】
さらに、拡大時は非拡大時に比べて、色ずれが大きくなるため、拡大率に応じて、色ずれ検索領域の大きさを設定したので、拡大率が大きくなるほど、より多くなる画像の色ずれを簡単に検出し補正することができる。
【0081】
さらに、時系列的に得られた複数の画像にて構成される内視鏡画像において、複数の画像の相対的位置関係に基づき、内視鏡画像の色ずれを検出し補正することにしたので、回路規模が小さく、従来の静止画で発生していた色ずれの画像に対して良好な色ずれの検出及び補正が可能になる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態の色ずれ検出及び補正を行う装置を示すブロック図。
【図2】図1における色ずれ最小検出回路の構成例を示すブロック図。
【図3】図2における不一致回路の構成例を示す回路図。
【図4】図2及び図3における色ずれ検出方法の一例を説明する図。
【図5】図1の実施の形態の動作を概略的に説明するタイミングチャート。
【図6】図1における色ずれ最小検出回路の動作を説明するフローチャート。
【図7】本発明の第2の実施の形態の色ずれ検出及び補正を行う装置を示すブロック図。
【図8】第1,第2の実施の形態の色ずれ検出及び補正を行う装置が適用される電子内視鏡装置の全体構成図。
【図9】本発明の第3の実施の形態の色ずれ検出及び補正を行う装置が適用される電子内視鏡装置の全体構成図。
【図10】図9における色ずれ最小検索回路の色ずれ最小アドレス検索動作を説明するフローチャート。
【符号の説明】
1…プロセッサ
2…内視鏡
3…モニタ
5…CCD
6…CCD駆動手段
8…信号処理手段
9…ライトガイド
11…信号処理手段
12…面順次信号同時化手段
13…静止画処理手段
14…面順次光源装置
15…絞り制御手段
16…RGB回転フィルタ制御手段
17…ランプ
19…RGB回転フィルタ
20…モータ
21…CCD判別回路
22…A/D変換回路
23…同時化回路
24…フリーズ指示回路
25…静止画メモリ(フリーズメモリ)
26…ぶれ補正メモリ
27…色ずれ検索領域設定回路
28…メモリR/Wコントローラ
29…色ずれ最小検出回路
31…D/A変換手段
33…画面明るさ検出回路
34…ずれベクトル算出手段
41…光源装置
42…スコープ
43…プロセッサ
44…モニタ
45…写真撮影装置
46…ランプ
47…回転フィルタ板
48…ライトガイド
49…CCD
51…アクチュエータ
52…フリーズスイッチ
53…レリーズスイッチ
54…拡大スイッチ
55…広角スイッチ
56…CCD駆動回路
57…プリプロセス回路
58…A/D変換回路
59…セレクタ
60a〜60c…同時化メモリ
61a〜61c…フリーズメモリ
62a〜62c…ぶれ補正メモリ
63a〜63c…D/A変換回路
64…アクチュエータ制御回路
65…メモリアドレス制御回路
66…フリーズ制御回路
67…色ずれ最小検索回路[0001]
BACKGROUND OF THE INVENTION
  The present invention detects color misregistration that occurs between image signals of each color that are imaged sequentially by an imaging means that images a subject that is sequentially illuminated with illumination light of each color of a different wavelength.MitigationDoEndoscopeRelates to the device.
[0002]
[Prior art]
In an electronic endoscope apparatus that displays a subject image in color based on an imaging signal from a solid-state imaging device (hereinafter, referred to as a CCD) using a frame sequential illumination method, R, G, and B color lights are rotated by rotating an RGB rotation filter. The subject is irradiated sequentially, and images are taken in time series for each color.
[0003]
For this reason, conventionally, when a CCD is driven by the frame sequential method, image signals of R, G, and B colors are captured in time series, and a time lag occurs until the entire image is formed. Therefore, if either one or both of the subject and the imaging side move during shooting, color misregistration occurs when the image signals of these colors are displayed as a still image when superimposed.
[0004]
  Therefore, as a proposal to obtain a still image with little image deterioration such as color shift,OpenSome are described in Japanese Patent Laid-Open No. 5-30460, Japanese Patent Laid-Open No. 2-286125, and the like.
[0005]
  SpecialOpenThe apparatus described in Japanese Patent Laid-Open No. 5-30460 stores an input image signal as a still image when a minimum value is obtained from a corrected amount of motion within a predetermined time from activation by a still image instruction means. It is. According to the publication, in order to obtain an image with little color misregistration, after selecting a still image, an image with the least color misregistration within a predetermined time is selected and output to a monitor.
[0006]
Further, the apparatus described in Japanese Patent Laid-Open No. 2-286125 temporarily stores an image signal in the image storage means based on the freeze instruction signal, and when the color shift amount of the stored image signal is within a set value, The image signal is retained, and if it is equal to or greater than the set value, the stored image is canceled and the same operation is performed on the image signal after the cancellation, so that an image signal with a color misregistration amount within the set value is Is stored in the image storage means and output to the monitor for display.
[0007]
[Problems to be solved by the invention]
However, in any of the apparatuses described in the above publications, an image with little color misregistration output to a monitor was not configured to correct the color misregistration, and thus the color misregistration was not completely eliminated. In addition, since the color misregistration generated varies depending on the type of CCD or the number of pixels, the conventional method does not completely eliminate the color misregistration. For example, the amount of color misregistration is larger in a CCD having a larger number of CCD pixels.
[0008]
Further, the conventional color misregistration correction apparatus does not always perform color misregistration correction in the region of interest of the observer, but performs color misregistration correction in a region other than the region of interest of the observer. For example, when there is a dark subject in the center of the screen, color misregistration correction is performed on the dark subject, and if the observer's area of interest is a surrounding bright subject, the color misregistration for the surrounding bright subject cannot be corrected. It was. Also, when the image enlargement ratio differs optically or electrically, the color misregistration amount differs depending on the enlargement ratio. Therefore, the conventional method cannot correct the color misregistration, and the larger the enlargement ratio, the larger the color misregistration amount. There was a problem that.
[0009]
  Therefore, in view of such a problem, the present inventionEndoscope that can detect and correct color misregistration during still imagesThe object is to provide an apparatus.
  The present invention also provides:The amount of color misregistration due to differences in CCD type or number of pixels during still images can be corrected appropriately.EndoscopeThe object is to provide an apparatus.
[0010]
  Further, the present invention can correct a color shift in an area where a subject in a still image has only a certain brightness.EndoscopeThe object is to provide an apparatus.
[0011]
  Furthermore, the present invention can appropriately correct a color misregistration amount due to a difference in enlargement ratio during a still image.EndoscopeThe object is to provide an apparatus.
[0012]
[Means for Solving the Problems]
  According to the invention of claim 1Endoscope deviceImage pickup means for picking up an image of a subject sequentially, and memory means for storing images which are picked up by the image pickup means in the order of the faces and are combined to form one image.And beforeFor each of the images captured sequentially, the area setting means for setting a specific area within the range of each image and the memory means stored based on the area set by the area setting means Detect color misregistration information between the imagesThen, according to the detection result, the color misregistration minimum value information that minimizes the color misregistration is obtained by shifting the position using the blur correction memory in the horizontal direction and the vertical direction for each of the images that are sequentially imaged. To detectColor misregistration information detection means;Color misregistration correction means for controlling the reading position of the memory means based on the color misregistration minimum value information detected from the color misregistration information detection means and outputting a signal of each image corrected for color misregistration.It is characterized by that.
  An endoscope apparatus according to a second aspect of the present invention is the endoscope apparatus according to the first aspect, further comprising a determination unit that determines a type of the imaging unit, wherein the region setting unit is controlled by the determination unit. According to the determined type of the image pickup means, a specific region is set within the range of each image for each of the images sequentially picked up in the frame order.
[0013]
  According to the first aspect of the present invention, the color misregistration detection is performed, and the position is shifted in the horizontal / vertical direction in the memory for each frame sequential image (for example, R, G, B images) according to the detection result. Color misregistration can be reduced by combining.
  Claim2According to the invention of the still imageImaging meansThe amount of color misregistration due to the difference in type and number of pixels can be corrected appropriately.
[0014]
  Claim3According to the described inventionThe endoscope apparatus according to
[0015]
  Claim3According to this invention, it is possible to correct the color shift of an area where a subject in a still image has only a constant brightness.
[0016]
  Claim4According to the described inventionThe endoscope apparatus according to
[0017]
  Claim4According to the invention, it is possible to appropriately correct the color misregistration amount due to the difference in the enlargement ratio in the still image.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the invention will be described with reference to the drawings.
Before explaining the first and second embodiments of the present invention with reference to FIGS. 1 to 7, an electronic endoscope apparatus to which the apparatus for detecting and correcting color misregistration according to the present invention is applied with reference to FIG. Will be described.
[0019]
FIG. 8 shows the overall configuration of an imaging system for an electronic endoscope apparatus.
As shown in FIG. 8, the endoscope apparatus according to the present embodiment includes a
[0020]
[First Embodiment]
〔Constitution〕
FIG. 1 is a block diagram of an apparatus for detecting and correcting color misregistration according to the first embodiment of the present invention. FIGS. 2 to 4 show the principle of color misregistration detection.
[0021]
In the overall configuration diagram shown in FIG. 8, every time the number or type of pixels of the
[0022]
As shown in FIG. 1, the signal processing means 11 shown in FIG. 8 includes a CDS circuit (not shown) that performs correlated double sampling, a clamp circuit (not shown) that clamps the optical black (OB) section, and converts an analog signal into a digital signal. A /
[0023]
As shown in FIG. 1, the frame sequential synchronization means 12 shown in FIG. 8 is a
[0024]
As shown in FIG. 1, the still image signal processing means 13 shown in FIG. 8 includes a
[0025]
The memory R /
[0026]
In the color misregistration search
[0027]
  The
[0028]
The color misregistration
[0029]
Next, a configuration example of the color misregistration
[0030]
The R, G, and B signals output from the
[0031]
The difference signals ΔR and ΔG of the
[0032]
That is, the color misregistration
[0033]
FIG. 3 shows a specific circuit configuration example of the
[0034]
  FIG. 4 shows the color misregistration shown in FIGS.Small inspectionAn example of a color misregistration detection method (color misregistration detection signal generation) in the output circuit is shown.
[0035]
The symbols R, G, B, ΔR, ΔG, ΔB, FL1, FL2, FL3 in FIG. 4 are the same as those in FIG. 2 (and FIG. 3). The levels of the image signals R, G, and B shown on the vertical axis change with respect to the time shown on the horizontal axis. That is, when movement occurs at the R, G, and B levels with respect to the time axis, changes (+, 0, −) occur in each differential signal (ΔR, ΔG, ΔB) at a predetermined sample interval. In general, R, G, and B are shifted from each other by a plurality of sample intervals (a plurality of clock times). However, the sample intervals shown in FIG. 4 are the R, G, and B color filters constituting the
[0036]
[Action]
FIG. 5 shows an operation timing chart from when the normal freeze instruction is given until the minimum color shift detection output is obtained. In FIG. 5, (a) is a normal freeze selection instruction, (b) the state of the
[0037]
When freeze is selected, the memory R /
[0038]
Thereafter, when color shift is still observed in the still image, the color misalignment correction freeze instruction (FIG. 5) is received from the
[0039]
The minimum color
[0040]
In the present embodiment, for R and G, the search pixel interval is set to one pixel. Color misregistration search is performed in five places in the horizontal direction and five places in the vertical direction, that is, a total of 25 places (that is, an area of 25 pixels when the search pixel interval is 1 pixel). As the number of pixels of the
[0041]
In this way, when there is a difference in the type or number of pixels of the
[0042]
〔effect〕
As the number of pixels of the CCD increases, the amount of color shift increases. Therefore, by setting the size of the color misregistration search area according to the type of CCD or the number of pixels, good color misregistration detection and correction can be performed with the same number of search locations even when the number of CCD pixels increases.
[0043]
[Second Embodiment]
FIG. 7 shows a configuration diagram of an apparatus for detecting and correcting color misregistration according to the second embodiment of the present invention. The principle of color misregistration detection is the same as that shown in FIGS.
[0044]
〔Constitution〕
In the overall configuration diagram shown in FIG. 8, an embodiment in which the color misregistration search area peculiar to frame sequential is made variable based on the misalignment vector according to the brightness of the screen is shown in FIGS. Based on
[0045]
As shown in FIG. 7, the frame
[0046]
As shown in FIG. 7, the still image signal processing means 13 shown in FIG. 8 detects a
[0047]
The memory R /
[0048]
[Action]
At the time of freeze selection, the write operation is controlled from the memory R /
[0049]
After that, when color shift is still seen in the still image, the color shift search
[0050]
In the present embodiment, image data of a predetermined area corresponding to the part detected by the screen
[0051]
In the color misregistration
[0052]
The operation of the color misregistration
[0053]
In this way, by setting the color misregistration search area corresponding to the portion where the brightness level (luminance level) in the screen is equal to or higher than a predetermined value, the color misregistration is minimized in an image with a certain brightness that the user pays attention to. It is controlled to become.
[0054]
〔effect〕
It is possible to detect and correct color misregistration in an area in the screen that the user is paying attention with a simple configuration.
[0055]
[Third Embodiment]
FIG. 9 is a block diagram showing an electronic endoscope apparatus to which the apparatus for detecting and correcting color misregistration according to the third embodiment of the present invention is applied.
[0056]
〔Constitution〕
As shown in FIG. 9, the electronic endoscope apparatus according to the third embodiment is obtained by a
[0057]
The
[0058]
The
[0059]
The
[0060]
The memory
[0061]
[Action]
Light emitted from the
[0062]
The light incident on the light guide 48 of the
[0063]
The image pickup signal input to the
[0064]
The signal output from the A /
[0065]
When the operator presses the
[0066]
Next, the operation during freezing will be described. When the operator presses the
[0067]
The color misregistration
[0068]
First, as shown in step S11 in FIG. 10, the memory
[0069]
Then, as shown in step S15, in order to search for the minimum color misregistration once in the image area of the R blur correction memory 62a, the G blur correction memories 62b and 62c are fixed and the R blur correction memory is fixed. The reading address 62a is shifted to read an image.
[0070]
Next, in step S16, an image is read from the G blur correction memory 62b. As in the above, the image is read by performing a sample search at, for example, 25 locations every c pixels. In steps S17 and S18, color misregistration between the R image read in S12 to S14 and the plurality of R images read by address shifting in S15 and the G image read in S16 is detected. An evaluation value of color misregistration is calculated based on the color misregistration information, and the read address of the R blur correction memory 62a where the color misregistration is minimized is stored. The above is the minimum color misregistration search operation by coarse search detection every c pixels. However, when the enlargement ratio is large, the minimum color shift may not be found by the above-described search method. At this time, by performing S19 to S26 in FIG. 10 (fine search detection, detection every other pixel here), a more accurate color misregistration minimum image can be found. In the flowchart of FIG. 10, the minimum color misregistration address of the R signal and the G signal is searched, but this is similarly performed for the G signal and the B signal.
[0071]
When the search of the color misregistration
[0072]
Next, the operation during release will be described. When the operator presses the
[0073]
In this embodiment, optical enlargement is performed, but this may be applied to electronic zoom.
[0074]
〔effect〕
When the image is enlarged, the color shift becomes larger than when the image is not enlarged. Therefore, by setting the size of the color misregistration search area according to the enlargement rate, it is possible to perform proper color misregistration detection and correction even during enlargement.
[0075]
(Appendix 1)
An image pickup means for picking up a subject image in a surface sequential manner;
Memory means for storing each image that is imaged by the imaging means in a surface sequential manner and combines them to form one image;
Determining means for determining the type of the imaging means;
An area setting means for setting a specific area within the range of each image for each of the images sequentially imaged according to the type of the imaging means determined by the determining means;
Color misregistration information detection means for detecting color misregistration information between the images stored in the memory means based on the area set by the area setting means;
Color misregistration correcting means for correcting the color misregistration based on the color misregistration information detected by the color misregistration information detecting means;
A color misregistration correction apparatus comprising:
[0076]
(Appendix 2)
An image pickup means for picking up a subject image in a surface sequential manner;
Memory means for storing each image that is imaged by the imaging means in a surface sequential manner and combines them to form one image;
Brightness detection means for detecting a portion of the imaging signal from the imaging means whose brightness level is a predetermined value or more;
Area setting means for setting a predetermined area including the part within the range of each image captured in the frame sequential manner according to the part detected by the brightness detection means;
Color misregistration information detection means for detecting color misregistration information between the images stored in the memory means based on the area set by the area setting means;
Color misregistration correcting means for correcting the color misregistration based on the color misregistration information detected by the color misregistration information detecting means;
A color misregistration correction apparatus comprising:
[0077]
(Appendix 3)
An image pickup means for picking up a subject image in a surface sequential manner;
Memory means for storing each image that is imaged by the imaging means in a surface sequential manner and combines them to form one image;
An enlargement magnification changing means for changing an enlargement magnification of an image captured by the imaging means and displayed on the display means;
Area setting means for setting a specific area within the range of each image for each of the images sequentially picked up in accordance with the enlargement magnification in the enlargement magnification changing means;
Color misregistration information detection means for detecting color misregistration information between the images stored in the memory means based on the area set by the area setting means;
Color misregistration correcting means for correcting the color misregistration based on the color misregistration information detected by the color misregistration information detecting means;
A color misregistration correction apparatus comprising:
[0078]
【The invention's effect】
  As described above, according to the present invention,It is possible to provide an endoscope apparatus that can detect and appropriately correct a color shift at the time of a still image.
  Also,Since the size of the color misregistration search area is set according to the type of CCD or the number of pixels, the larger the number of pixels, the easier the color misregistration of the image can be detected and corrected.
[0079]
Moreover, in an endoscopic image composed of a plurality of images obtained in time series, an area having a certain brightness is set as a color misregistration search area, so that a certain amount of attention from the user is obtained. Color misregistration detection and correction can be easily realized in an area having a brightness of.
[0080]
Furthermore, since the color misregistration is larger when enlarging than when non-enlarging, the size of the color misregistration search area is set according to the enlarging rate. It can be easily detected and corrected.
[0081]
Furthermore, in an endoscopic image composed of a plurality of images obtained in time series, the color shift of the endoscopic image is detected and corrected based on the relative positional relationship of the plurality of images. The circuit scale is small, and good color misregistration detection and correction can be performed on the color misregistration image generated in the conventional still image.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an apparatus for performing color misregistration detection and correction according to a first embodiment of the present invention.
FIG. 2 is a block diagram illustrating a configuration example of a color misregistration minimum detection circuit in FIG. 1;
3 is a circuit diagram showing a configuration example of a mismatch circuit in FIG. 2. FIG.
4 is a diagram for explaining an example of a color misregistration detection method in FIGS. 2 and 3. FIG.
FIG. 5 is a timing chart for schematically explaining the operation of the embodiment of FIG. 1;
6 is a flowchart for explaining the operation of the color misregistration minimum detection circuit in FIG. 1;
FIG. 7 is a block diagram showing an apparatus for detecting and correcting color misregistration according to the second embodiment of the present invention.
FIG. 8 is an overall configuration diagram of an electronic endoscope apparatus to which the apparatus for detecting and correcting color misregistration according to the first and second embodiments is applied.
FIG. 9 is an overall configuration diagram of an electronic endoscope apparatus to which an apparatus for detecting and correcting color misregistration according to a third embodiment of the present invention is applied.
10 is a flowchart for explaining a color misregistration minimum address search operation of the color misregistration minimum search circuit in FIG. 9;
[Explanation of symbols]
1 ... Processor
2. Endoscope
3 ... Monitor
5 ... CCD
6. CCD drive means
8 ... Signal processing means
9. Light guide
11: Signal processing means
12 ... Frame sequential signal synchronization means
13: Still image processing means
14 ... Sequential light source device
15: Aperture control means
16 ... RGB rotation filter control means
17 ... Ramp
19 ... RGB rotation filter
20 ... Motor
21 ... CCD discrimination circuit
22 ... A / D conversion circuit
23. Synchronization circuit
24 ... Freeze indication circuit
25. Still image memory (freeze memory)
26: Shake correction memory
27: Color misregistration search area setting circuit
28 ... Memory R / W controller
29 ... Minimum color shift detection circuit
31 ... D / A conversion means
33 ... Screen brightness detection circuit
34: Deviation vector calculation means
41 ... Light source device
42 ... Scope
43 ... Processor
44 ... Monitor
45. Photography device
46 ... Ramp
47 ... Rotating filter plate
48 ... Light guide
49 ... CCD
51. Actuator
52 ... Freeze switch
53 ... Release switch
54 ... Enlargement switch
55 ... Wide-angle switch
56 ... CCD drive circuit
57. Preprocess circuit
58. A / D conversion circuit
59 ... Selector
60a-60c ... simultaneous memory
61a-61c ... Freeze memory
62a to 62c: blur correction memory
63a to 63c ... D / A conversion circuit
64 ... Actuator control circuit
65: Memory address control circuit
66 ... Freeze control circuit
67 ... Minimum color misregistration search circuit
| Application Number | Priority Date | Filing Date | Title | 
|---|---|---|---|
| JP34675599AJP4388182B2 (en) | 1999-12-06 | 1999-12-06 | Endoscope device | 
| Application Number | Priority Date | Filing Date | Title | 
|---|---|---|---|
| JP34675599AJP4388182B2 (en) | 1999-12-06 | 1999-12-06 | Endoscope device | 
| Publication Number | Publication Date | 
|---|---|
| JP2001169300A JP2001169300A (en) | 2001-06-22 | 
| JP4388182B2true JP4388182B2 (en) | 2009-12-24 | 
| Application Number | Title | Priority Date | Filing Date | 
|---|---|---|---|
| JP34675599AExpired - Fee RelatedJP4388182B2 (en) | 1999-12-06 | 1999-12-06 | Endoscope device | 
| Country | Link | 
|---|---|
| JP (1) | JP4388182B2 (en) | 
| Publication number | Priority date | Publication date | Assignee | Title | 
|---|---|---|---|---|
| JP3862582B2 (en)* | 2001-06-29 | 2006-12-27 | 富士フイルムホールディングス株式会社 | Fluorescence image acquisition method, apparatus and program | 
| JP2003334163A (en)* | 2002-03-14 | 2003-11-25 | Olympus Optical Co Ltd | Endoscopic image processor | 
| JP4632761B2 (en)* | 2004-11-25 | 2011-02-16 | オリンパス株式会社 | Electronic endoscope apparatus and color misregistration correction apparatus | 
| JP5841494B2 (en)* | 2012-05-22 | 2016-01-13 | オリンパス株式会社 | Endoscope system | 
| Publication number | Publication date | 
|---|---|
| JP2001169300A (en) | 2001-06-22 | 
| Publication | Publication Date | Title | 
|---|---|---|
| EP0650292B1 (en) | Image pickup apparatus | |
| US5164824A (en) | Image freezing signal-processing apparatus | |
| JP3887453B2 (en) | Endoscope device | |
| JP2001258851A (en) | Ophthalmic imaging apparatus and color balance adjustment method | |
| JPH0620318B2 (en) | Endoscope device | |
| JP2930495B2 (en) | Stereoscopic endoscope device | |
| JP4388182B2 (en) | Endoscope device | |
| JP2005204741A (en) | Electronic endoscope apparatus | |
| JPH10255028A (en) | Eye imaging device | |
| JP2000197604A (en) | Endoscope device | |
| JP2887924B2 (en) | Electronic endoscope device | |
| JP2887167B2 (en) | Imaging device | |
| JPH03121038A (en) | Endoscope image recording and regenerating device | |
| JP2001136540A (en) | Image processor | |
| JP3624181B2 (en) | Fundus photographing device | |
| JP2001211448A (en) | Endoscope system | |
| JPH0690906A (en) | Eyeground photographing device and medical color image processor | |
| JPH069392B2 (en) | Endoscopic imaging device | |
| JP2003032529A (en) | Signal processor | |
| JP2005087546A (en) | Ophthalmic imaging equipment | |
| JPH0644104B2 (en) | Endoscopic video system | |
| JP4439245B2 (en) | Electronic endoscope device | |
| JPH10248812A (en) | Eye photographing device | |
| JP3458073B2 (en) | Monitor shooting device for endoscope | |
| JP2003190089A (en) | Electronic endoscope apparatus, electronic endoscope system, and shutter member | 
| Date | Code | Title | Description | 
|---|---|---|---|
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20061018 | |
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20081205 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20090203 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20090326 | |
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20090908 | |
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20091002 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20121009 Year of fee payment:3 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20131009 Year of fee payment:4 | |
| S531 | Written request for registration of change of domicile | Free format text:JAPANESE INTERMEDIATE CODE: R313531 | |
| R350 | Written notification of registration of transfer | Free format text:JAPANESE INTERMEDIATE CODE: R350 | |
| LAPS | Cancellation because of no payment of annual fees |