Movatterモバイル変換


[0]ホーム

URL:


JP4388182B2 - Endoscope device - Google Patents

Endoscope device
Download PDF

Info

Publication number
JP4388182B2
JP4388182B2JP34675599AJP34675599AJP4388182B2JP 4388182 B2JP4388182 B2JP 4388182B2JP 34675599 AJP34675599 AJP 34675599AJP 34675599 AJP34675599 AJP 34675599AJP 4388182 B2JP4388182 B2JP 4388182B2
Authority
JP
Japan
Prior art keywords
color misregistration
image
memory
signal
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP34675599A
Other languages
Japanese (ja)
Other versions
JP2001169300A (en
Inventor
隆行 塙
達彦 鈴木
啓 高杉
克一 今泉
文行 大河
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus CorpfiledCriticalOlympus Corp
Priority to JP34675599ApriorityCriticalpatent/JP4388182B2/en
Publication of JP2001169300ApublicationCriticalpatent/JP2001169300A/en
Application grantedgrantedCritical
Publication of JP4388182B2publicationCriticalpatent/JP4388182B2/en
Anticipated expirationlegal-statusCritical
Expired - Fee Relatedlegal-statusCriticalCurrent

Links

Images

Landscapes

Description

Translated fromJapanese

【0001】
【発明の属する技術分野】
本発明は、異なる波長の各色の照明光で順次照明された被写体を撮像する撮像手段によって面順次撮像された各色の画像信号間に生じる色ずれを検出し軽減する内視鏡装置に関する。
【0002】
【従来の技術】
面順次照明方式による固体撮像素子(以下CCD)からの撮像信号に基づき、被写体像をカラー表示する電子内視鏡装置においては、RGBの回転フィルタを回転させてR,G,Bの各色光を順次に被写体に照射し、各色毎に時系列に撮像している。
【0003】
このため、従来は、面順次方式でCCDを駆動する場合においては、R、G、Bの各色の画像信号は時系列的に取り込まれ、全体の画像を形成するまでの間にタイムラグが生じることから、被写体又は撮像側のいずれか一方又は双方が撮影中に動くと、これら各色の画像信号を重ね合わせた時に静止画として表示する場合には、色ずれが発生する。
【0004】
このため、色ずれなど画像劣化の少ない静止画を得るための提案として、特平5−30460号公報、特開平2−286125号公報などに記載されているものがある。
【0005】
平5−30460号公報に記載の装置は、静止画指示手段による起動から所定時間内における補正された動き量の中から、最小値が得られたときの入力画像信号を静止画として記憶するものである。当該公報によると、色ずれの少ない画像を得るために、静止画選択後、所定時間内で一番色ずれの少ない画像を選択し、モニタへ出力する。
【0006】
また、特開平2−286125号公報に記載の装置は、フリーズ指示信号に基づいて画像記憶手段に画像信号を一時記憶させ、その記憶した画像信号の色ずれ量が設定値以内の場合には、その画像信号を保持し、設定値以上の場合にはその記憶を解除して、解除後の画像信号に対して同様の動作を行うことにより、設定値以内の色ずれ量の画像信号を静止画として画像記憶手段に保持し、モニタに出力して表示するものである。
【0007】
【発明が解決しようとする課題】
しかしながら、上記のいずれの公報に記載の装置においても、モニタへ出力していた色ずれの少ない画像は、色ずれを補正する構成でなかったため、色ずれが完全になくなるものではなかった。また、CCDの種類又は画素数によって、発生する色ずれが異なっていたため、従来の方式では、色ずれが完全になくならなかった。例えば、CCDの画素数が多いCCDの方が色ずれ量が多かった。
【0008】
また、従来の色ずれ補正装置は、観察者の関心領域のところで色ずれ補正を行っているとは限らず、観察者の関心領域以外のところで色ずれ補正を行っていた。例えば、画面の中央に暗い被写体がある時に、暗い被写体に対して色ずれ補正を行ってしまい、観察者の関心領域が周辺の明るい被写体である場合に周辺の明るい被写体に対する色ずれを補正できなかった。また、光学的又は電気的に映像の拡大率が異なる時には拡大率に応じて色ずれ量が異なっていたため、従来の方式では、色ずれが補正できず、拡大率が大きいほど色ずれ量が多いという不具合があった。
【0009】
そこで、本発明は、このような問題に鑑み、静止画時の色ずれを検出し適正に補正することができる内視鏡装置を提供することを目的とするものである。
また、本発明は、静止画時のCCDの種類又は画素数の違いによる色ずれ量を適正に補正することができる内視鏡装置を提供することを目的とするものである。
【0010】
また、本発明は、静止画時の被写体が一定の明るさのみの領域の色ずれを補正することができる内視鏡装置を提供することを目的とするものである。
【0011】
さらに、本発明は、静止画時の拡大率の違いによる色ずれ量を適正に補正することができる内視鏡装置を提供することを目的とするものである。
【0012】
【課題を解決するための手段】
請求項1記載の発明による内視鏡装置は、被写体像を面順次撮像する撮像手段と、前記撮像手段により面順次撮像され、それぞれを合成することで1つの画像を成す各画像を記憶するメモリ手段と、前記面順次撮像された各画像のそれぞれに対し、前記各画像の範囲内で特定の領域を設定する領域設定手段と、前記領域設定手段により設定された領域に基づき、前記メモリ手段に記憶された前記各画像間の色ずれ情報を検出し、その検出結果に応じて、前記面順次撮像された各画像毎に水平方向および垂直方向にぶれ補正用メモリを用いて位置をずらすことにより、色ずれが最小となる色ずれ最小値情報を検出する色ずれ情報検出手段と、前記色ずれ情報検出手段から検出された色ずれ最小値情報に基づいて前記メモリ手段の読出し位置を制御し、色ずれを補正した各画像の信号を出力させる色ずれ補正手段と、を具備したことを特徴とする。
請求項2記載の発明による内視鏡装置は、請求項1に記載の内視鏡装置において、前記撮像手段の種別を判別する判別手段をさらに具備し、前記領域設定手段は、前記判別手段により判別された前記撮像手段の種類に応じて、前記面順次撮像された各画像のそれぞれに対し、前記各画像の範囲内で特定の領域を設定することを特徴とする。
【0013】
請求項1の発明によれば、色ずれ検出を行い、その検出結果に応じて面順次の各画像(例えばR,G,B画像)毎にメモリで水平/垂直方向に位置をずらし、各画像を合わせ込むことによって色ずれを軽減することができる。
請求項の発明によれば、静止画時の撮像手段の種類および画素数の違いによる色ずれ量を適正に補正することができる。
【0014】
請求項記載の発明による内視鏡装置は、請求項1に記載の内視鏡装置において、前記撮像手段からの撮像信号のうち、明るさレベルが所定値以上の部位を検出する明るさ検出手段をさらに具備し、前記領域設定手段は、前記明るさ検出手段により検出された前記部位に応じて、前記部位を含む所定の領域を前記面順次撮像された各画像の範囲内で設定することを特徴とする。
【0015】
請求項の発明によれば、静止画時の被写体が一定の明るさのみの領域の色ずれを補正することができる。
【0016】
請求項記載の発明による内視鏡装置は、請求項1に記載の内視鏡装置において、前記撮像手段により撮像され、表示手段にて表示される映像の拡大倍率を変化する拡大倍率変化手段をさらに具備し、前記領域設定手段は、前記拡大倍率変化手段における前記拡大倍率に応じて、前記面順次撮像された各画像のそれぞれに対し、前記各画像の範囲内で特定の領域を設定することを特徴とする。
【0017】
請求項の発明によれば、静止画時の拡大率の違いによる色ずれ量を適正に補正することができる。
【0018】
【発明の実施の形態】
発明の実施の形態について図面を参照して説明する。
図1〜図7で本発明の第1,第2の実施の形態を説明する前に、図8を参照して本発明の色ずれ検出及び補正を行う装置が適用される電子内視鏡装置について説明する。
【0019】
図8は電子内視鏡装置の撮影システムの全体構成を示している。
図8に示すように、本実施の形態における内視鏡装置は、プロセッサ1と、内視鏡2を備えている。プロセッサ1は、CCD駆動回路6と信号処理手段8と面順次光源装置14を備えている。また、内視鏡2は、ライトガイド9及び照明用レンズ10と、対物レンズ4及びCCD5と、バッファアンプ7を備えている。内視鏡2の挿入部(図8では実物に比べてかなり短い長さで示している)には、面順次光源装置14からの照明光を伝達するライトガイド9が挿通されている。また、対物レンズ4の結像位置に、撮像手段であるCCD5が配設されている。一方、プロセッサ1内の光源装置14には、紫外線から蛍光観察に至る広帯域の光を発光するランプ17が設けられている。このランプ17としては、一般的なキセノンランプやストロボランプが使用され、可視光のみならず紫外光および蛍光を大量に発光する。このランプ17は、図示しない電源部によって電力が供給されるようになっている。前記ランプ17の前方には、モータ20によって回転駆動されるRGB回転フィルタ19が配設され、該回転フィルタ19には、赤(R)、緑(G)、青(B)の各波長領域の光を透過するフィルタが、周方向に沿って配列されている。また、ランプ17と回転フィルタ19との間には、絞り15Eが配設され、その絞り量が絞り制御手段15によって制御され、ランプ20から出射される光量を調節可能にしている。前記モータ20は、RGB回転フィルタ制御手段16によって、回転が制御されて駆動されるようになっている。前記RGB回転フィルタ19を透過し、R,G,Bの各波長領域の光に時系列的に分断された光は、面順次光源装置14の照明光を集める集光レンズ18を経由して、前記ライトガイド9の入射端に入射され、このライトガイド9を介して、照明用レンズ10から出射され、観察部位を照明するようになっている。この照明光によって照明された観察部位(被写体)からの光は、対物レンズ4によって、CCD5上に結像され、光電変換されるようになっている。CCD5には、信号線を介して、前記プロセッサ1内のCCD駆動手段6からの駆動パルスが印加され、この駆動パルスによって、電荷の読み出し、転送が行われるようになっている。そして、CCD5から読み出した映像信号が、内視鏡2内に配置されたバッファアンプ7を経由して電流増幅され、信号処理手段8で、各種画像処理を施して、モニタ3に出力される。信号処理手段8は、拡大および輪郭強調などの処理を行う信号処理手段11と、時系列なR,G,B映像信号をセレクタを介して一旦R,G,Bの各同時化メモリに記憶して同時化する面順次信号同時化手段12と、R,G,Bそれぞれの静止画指示があったときに同時化手段12のR,G,B出力を静止画処理する静止画信号処理手段13で構成されている。
【0020】
[第1の実施の形態]
〔構成〕
図1は、本発明の第1の実施の形態の色ずれ検出及び補正を行う装置の構成図を表し、図2〜図4は、色ずれ検出の原理を示す。
【0021】
図8に示した全体構成図において、前記内視鏡2の先端に設けたCCD5の画素数又は種類が異なる毎に、面順次特有の色ずれを補正するために色ずれ検出及び補正を行う装置の、色ずれ検索領域を可変にする実施の形態を、図1〜図4を用いて説明する。
【0022】
図8に示した信号処理手段11は、図1に示すように、相関2重サンプリングを行う図示しないCDS回路、オプティカルブラック(OB)部をクランプする図示しないクランプ回路、アナログ信号をデジタル信号に変換するA/D回路22、画像の拡大を行う図示しない拡大回路、画像のエッジ強調を行う図示しないエンハンス回路などで構成されている。
【0023】
図8に示した面順次同時化手段12は、図1に示すように、撮像手段である前記CCD5からの面順次信号をR,G,B同時化信号に変換するための同時化回路23で構成されている。
【0024】
図8に示した静止画信号処理手段13は、図1に示すように、静止画(以下フリーズ)選択時にフリーズ開始を指示するフリーズ指示回路24と、前記CCD5の画素数又は種類を判別するCCD判別回路21と、CCD判別回路21からの判別結果に従って、色ずれの検索領域範囲を切り換える色ずれ検索領域設定回路27と、フリーズ時においてR,G,Bの各色の画像信号を記憶する静止画メモリ(以下フリーズメモリ)25と、図示しない補正フリーズ選択手段からの補正フリーズ開始信号に基づいて、色ずれ検索時間を短縮化するため、フリーズメモリ25に記憶された領域の一部分(例えば1/4程度)をR,G,B毎に記憶するぶれ補正メモリ26と、前記色ずれ検索領域設定回路27からの色ずれ検索領域に基づき、前記ぶれ補正メモリ26の領域を色ずれ検索して得られるぶれ補正メモリR,G,B出力信号から、一番色ずれの少ないR,G,B画像のぶれ補正メモリ読み出しアドレスを記憶することによって、色ずれ最小値の情報を検出する色ずれ最小検出回路29と、前記フリーズメモリ25及び前記ぶれ補正メモリ26の読出し/書込み(R/W)を制御するメモリR/Wコントローラ28と、同時化回路23からの動画とフリーズメモリ25からの静止画を切り換えて出力するための切換え手段30と、画像データをR,G,B毎にアナログ信号に変換するD/A変換手段31とで構成される。
【0025】
メモリR/Wコントローラ28は、ぶれ補正メモリ26と色ずれ最小検出回路29と共に、色ずれ領域設定回路27により設定された色ずれ検索領域に基づきぶれ補正メモリ26の領域をR,G,B毎に検索し、検索したR,G,B毎のデータを色ずれ最小検出回路29に取り込んで、R,G,B各画像間の色ずれ情報を検出する色ずれ情報検出機能(手段)を構成している。また、メモリR/Wコントローラ28は、色ずれ最小検出回路29からの色ずれ最小値情報に基づいてフリーズメモリ25を読出し制御し、色ずれを補正したR,G,B信号を出力させる色ずれ補正機能(手段)を有している。
【0026】
上記色ずれ検索領域設定回路27には、CCD5の大きさ(画素数)に応じて、色ずれ検索すべき領域が設定されており、CCD判別手段21からのCCD判別情報に基づき、CCD画素数の大小に応じた大きさの検索領域情報がメモリR/Wコントローラ28に送られる。メモリR/Wコントローラ28は、入力した検索領域情報に基づき、ぶれ補正メモリ26に記録されている画像データについての検索領域を設定する。これによって、CCD5の大きさ(画素数)に応じた、色ずれ領域の設定が可能になる。
【0027】
上記ぶれ補正メモリ26は、前述したようにフリーズメモリ25に記憶された領域の一部分(例えば1/4程度)を、R,G,B毎に記憶するものである。1/4程度の一部の領域だけで色ずれを検知するため、フリーズメモリ25に記憶されている領域全てに対して色ずれを検知するよりも、色ずれ検索時間が短縮される。
【0028】
上記色ずれ最小検出回路29は、ぶれ補正メモリ26の或る読み出しアドレスから読み出されるR,G,Bの画像データについて、G画像波形とR画像波形(又はB画像波形)との差を演算し、G画像に対して、R画像(又はB画像)が遅れていたり、また進んでいたりすると、色ずれ度数を大きい数として検出し、またG画像に対して、R画像(又はB画像)の遅れ・進みが少ないほど色ずれ度数を小さい数として検出し、かつぶれ補正メモリ25のGメモリ内に記憶されているG信号を基準にR(又はB)メモリ内からのR(又はB)信号の読み出しのアドレスをそれぞれ相対的にシフトしていき、各アドレスについて読み出したR(又はB)信号と基準(アドレス固定)のG信号との差(色ずれ度数)検出を行い、最小の色ずれ度数が得られるR(又はB)信号の読み出しアドレス(即ち色ずれ最小画像情報)を検出するように構成されている。
【0029】
次に、図2〜図4を参照して、色ずれ最小検出回路29の構成例を述べる。 まず、図2を参照して色ずれ最小検出回路29の全体構成について説明する。
【0030】
ぶれ補正メモリ26から出力されたR,G,B信号はそれぞれ入力端子291 ,292 ,293 に入力される。入力R信号はそのまま比較回路297 に入力されると共に、1クロック(1CK)遅延回路294 で1クロック遅延されて比較回路297 に入力され、比較回路297 で2つの入力信号の差分信号であるΔRが求められる。比較回路297 の入力信号をR,R′とすると、その比較結果ΔRとしてはR>R′,R=R′,R<R′の3通りの出力信号即ち3値化信号(例えば+,0,−と表す)として出力されることになる。入力G,B信号についても同様に、比較回路298 でG信号とこれを1クロック(1CK)遅延回路295 で1クロック遅延した信号との差分信号ΔGが求められ、比較回路299 でB信号とこれを1クロック(1CK)遅延回路296 で1クロック遅延した信号との差分信号ΔBが求められる。G,Bの各比較回路298 ,299 の差分信号ΔG,ΔBについてもそれぞれ3値化信号として出力される。
【0031】
比較回路297 ,298 の各差分信号ΔR,ΔGは不一致回路300 に入力されて、ΔGに対するΔRの一致,不一致が検出される。同様に、比較回路298 ,299 の各差分信号ΔG,ΔBは不一致回路310 に入力されて、ΔGに対するΔBの一致,不一致が検出される。不一致回路300 ,310の各検出信号FL1 ,FL2 は2入力のオア回路320 で論理和がとられて、R,G,B各信号間の相関が求められ、それが色ずれ度数として出力される。そして、色ずれ検索領域内の色ずれ度数をカウンタで構成される色ずれ度数算出回路321 でカウントし、そのカウント出力を色ずれ最小画像検出回路322 に供給する。色ずれ最小画像検出回路322 では、色ずれ検索領域内でカウントしたR(又はB)信号の色ずれ度数の中で、最小の色ずれ度数を求め、その時のR(又はB)画像信号の読み出しアドレスを色ずれ最小画像情報として出力する。
【0032】
つまり、色ずれ最小検出回路29は、G画像の信号波形とR画像(またはB画像)との差を演算し、G画像に対して、R画像(またはB画像)が遅れていたり、または進んでいたりすると、その差分(すなわちRとGの差分、BとGの差分)に応じて色ずれ度数を積算していく。そして、色ずれ検索領域内で、G画像を基準にR画像,B画像の各領域を水平(H)方向および垂直(V)方向にシフトしてそのシフトしたR,B領域ごとに色ずれ検出し積算した色ずれ度数データの中で、色ずれが最小となる色ずれ度数最小値を選択し、メモリR/Wコントローラ28の制御によってその時のH方向およびV方向についてフリーズメモリ25の読み出し開始位置制御を行うようにしている。
【0033】
図3は図2おける不一致回路300 ,310 の具体的な回路構成例を示している。図2のR,G,Bの各比較回路297 ,298 ,299 の出力ΔR,ΔG,ΔBは前述したように3値化信号(+,0,−)をとるので、この3値状態を例えば2ビット表現[例えば“+”を(10)、“0”を(00)、“−”を(01)のように表現]することができる。このように2ビットデータとした場合、一般的にΔRについて第1ビット目をΔR1 ,第2ビット目をΔR2 と表し、同様にΔGは第1ビット目をΔG1 ,第2ビット目をΔG2 、ΔBは第1ビット目をΔB1 ,第2ビット目をΔB2 と表すとすると、図2おける不一致回路300 ,310 は図3に示すように構成することができる。即ち、不一致回路300 は2つのEX−OR回路301 ,302 とOR回路303 で構成され、不一致回路310 は2つのEX−OR回路311 ,312 とOR回路313 で構成される。
【0034】
図4に図2及び図3の色ずれ最小検出回路における色ずれの検出方法(色ずれ検出信号発生)の一例を示す。
【0035】
図4における符号R,G,B、ΔR,ΔG,ΔB、FL1 ,FL2 ,FL3 は図2(及び図3)上におけるものと同じである。横軸に示す時間に対し、縦軸に示す画像信号R,G,Bのレベルが時間的に変化する。つまり、時間軸に対してR,G,Bのレベルに動きが生じると、所定のサンプル間隔における各差分信号(ΔR,ΔG,ΔB)に、変化(+,0,−)が生じる。なお、一般的には、R,G,Bは互いに複数のサンプル間隔(複数クロック時間)ずれているが、図4に示すサンプル間隔は、RGB回転フィルタ19を構成するR,G,B各色フィルタ毎の回転時間差に相当した撮影信号遅延時間(1クロック遅延時間)に対応している。色ずれ検索領域におけるRとG間,BとG間には1サンプル間隔のずれがあり、R,BをGを基準(中心)にして1サンプル間隔ずらすと一致、即ち色ずれ最小とすることができる。ΔR,ΔGの排他的論理和(EX−OR)出力FL1 はRとGの色ずれ状態を表しており、ΔB,ΔGの排他的論理和(EX−OR)出力FL2 はBとGの色ずれ状態を表している。従って、FL1 とFL2 の論理和(OR)出力FL3 がR,G,Bトータルの色ずれ状態を表す情報として出力される。
【0036】
〔作用〕
図5に、通常フリーズ指示があってから色ずれ最小検出出力を得るまでの動作タイミングチャートを示している。図5において、(a) は通常のフリーズ選択指示、(b) フリーズメモリ25の状態、(c) は色ずれ補正したフリーズ選択指示、(d) は色ずれ最小検出回路29からの色ずれ最小画像検出出力を示している。
【0037】
フリーズ選択時、内視鏡2内にある図示しないフリーズ選択手段から出力される通常のフリーズ指示信号(図5(a) 参照)に基づいて、メモリR/Wコントローラ28から書き込み、読み出し動作を制御して、フリーズ選択後所定時間内で一番動きの少ない画像を静止画として、フリーズメモリ25に1画面分記憶し(図5(b) 参照)、モニタ3から出力する。
【0038】
その後、前記した静止画像に対してもまだ色ずれが見られる場合、内視鏡2内にある図示しない補正フリーズ選択手段からの指示に応じてフリーズ指示回路24から色ずれ補正フリーズ指示(図5(c) 参照)が出されると、CCD判別回路21から出力される判別信号に応じて色ずれ検索領域設定回路27により設定された色ずれ検索領域に基づき、メモリR/Wコントローラ28が、ぶれ補正メモリ26に書き込まれている静止画像領域をR,G,B毎に検索し、検索したR,G,Bのデータを色ずれ最小検出回路29に入力させる。
【0039】
色ずれ最小検出回路29では、基準となるG画像に対するR画像、B画像の色ずれ値である色ずれ度数を求め、色ずれが最小となるまでぶれ補正メモリのR(又はB)メモリの読み出しアドレスのシフトを順次繰り返し、R(又はB)メモリのシフトアドレスでの読み出し信号がG信号と比較され、その中で一番色ずれの少ないR,G画像についてのメモリ読み出しアドレスを記憶する。即ち、図6のフローチャートのステップS1 〜S7 に従って、G信号を基準にしてR(又はB)信号をそれぞれ相対的にシフトさせながら、1画面毎に、図示しないアドレスシフタによって、遅れ方向(又は進み方向)に前記ぶれ補正メモリ26のR(又はB)メモリの読み出しアドレスをシフトしていき、このようにシフトしたアドレスのR信号(又はB信号)とG信号が一致し、色ずれが最小となるまでぶれ補正メモリのR(又はB)メモリの読み出しアドレスのシフトを順次繰り返し、R(又はB)メモリのシフトアドレスでの読み出し信号がG信号と比較される。そして、その中で一番色ずれの少ないR,G画像についてのメモリ読み出しアドレスを記憶し、メモリR/Wコントローラ28に出力することによって、メモリR/Wコントローラ28はフリーズメモリ25からR,G,Bの色ずれが一番少ない画像同士を読み出し、D/A変換手段31を経てモニタ3に出力することができる。
【0040】
本実施の形態では、RとGについて、検索画素間隔を1画素に設定している。横方向に5箇所、縦方向に5箇所で、合計25箇所(即ち検索画素間隔が1画素の場合は25画素数の領域)で色ずれ検索を行う。CCD5の画素数が多くなると、色ずれ量(色ずれ画素数)も増えるため、検索画素間隔を広げ、4画素程度に変更する。従って、CCD5の画素数が多くなり、検索画素間隔を4画素とした場合、横方向に5箇所、縦方向に5箇所の合計25箇所で色ずれ検索を行うとすると、色ずれ検索領域は略16倍程度大きく設定されることになる。
【0041】
このようにして、使用するCCD5の種類又は画素数に違いがある場合、例えばCCD画素数が大きくなった場合でも、色ずれ検索領域を大きくし検索画素間隔を広げて色ずれ検出を行い、同じ検索箇所数で色ずれが最小となるように制御することができる。また、この色ずれ検索領域の大きさの設定を照明光源装置の種類(例えば蛍光照明による観察時か否か)に応じて可変することで、その時の照明モードについて、色ずれが最小となるように制御する構成としてもよい。また、フリーズメモリ25と、ぶれ補正メモリ26を同一のものとして構成してもよい。なお、色ずれ検出方法を色の分散値を求める方法で行ってもよい。また、色ずれ検索領域を異なった大きさで複数設定して、色ずれ検出及び補正を行ってもよい。
【0042】
〔効果〕
CCDの画素数が多くなるにつれて、色ずれ量が増える。よって、CCDの種類又は画素数に応じて、色ずれ検索の領域の大きさを設定することによって、CCDの画素数が多くなっても同じ検索箇所数で良好な色ずれ検出及び補正が行える。
【0043】
[第2の実施の形態]
図7は本発明の第2の実施の形態の色ずれ検出及び補正を行う装置の構成図を示している。色ずれ検出の原理は、図2〜図4に示したのと同様である。
【0044】
〔構成〕
図8に示した全体構成図において、画面の明るさに応じて、ずれベクトルを基に、面順次特有の色ずれの検索領域を可変にする実施の形態を図7、及び図2〜図4に基づいて説明する。
【0045】
図8に示した、面順次同時化手段12は、図7に示すように、撮像手段である前記CCD5からの面順次信号をR,G,B同時化信号に変換するための同時化回路23で構成されている。
【0046】
図8に示した、静止画信号処理手段13は、図7に示すようにフリーズ選択時にフリーズ開始を指示するフリーズ指示回路24と、明るさレベル(輝度レベル)が所定値以上の部位を検出する画面明るさ検出回路33と、画面明るさ検出回路33からの検出信号に従って、前記部位を含む色ずれの検索領域範囲を切り換える色ずれ検索領域設定回路27と、フリーズ時においてR,G,Bの各色の画像信号を記憶する静止画メモリ(以下フリーズメモリ)25と、図示しない補正フリーズ選択手段からの補正フリーズ開始信号に基づいて、色ずれ検索時間を短縮化するため、フリーズメモリ25に記憶された領域の一部分(例えば1/4程度)をR,G,B毎に記憶するぶれ補正メモリ26と、前記色ずれ検索領域設定回路27からの色ずれ検索領域に基づき、前記ぶれ補正メモリ26の領域を色ずれ検索して得られるぶれ補正メモリR,G,B出力信号から、一番色ずれの少ないR,G,B画像のぶれ補正メモリ読み出しアドレスを記憶することによって、色ずれ最小値の情報を検出する色ずれ最小検出回路29と、前記フリーズメモリ25及び前記ぶれ補正メモリ26の読出し/書込み(R/W)を制御するメモリR/Wコントローラ28と、同時化回路23からの動画とフリーズメモリ25からの静止画を切り換えて出力するための切換え手段30と、画像データをR,G,B毎にアナログ信号に変換するD/A変換手段31と、第1の実施の形態よりも色ずれ検索時間をさらに短縮化するためにR,G,B各色のGに対するR(又はB)のずれベクトルを算出するずれベクトル算出回路34とで構成される。
【0047】
メモリR/Wコントローラ28は、ぶれ補正メモリ26と色ずれ最小検出回路29と共に、色ずれ領域設定回路27により設定された色ずれ検索領域に基づきぶれ補正メモリ26の領域をR,G,B毎に検索し、検索したR,G,B毎のデータを色ずれ最小検出回路29に取り込んで、R,G,B各画像間の色ずれ情報を検出する色ずれ情報検出機能(手段)を構成している。また、メモリR/Wコントローラ28は、色ずれ最小検出回路29からの色ずれ最小値情報に基づいてフリーズメモリ25を読出し制御し、色ずれを補正したR,G,B信号を出力させる色ずれ補正機能(手段)を有している。
【0048】
〔作用〕
フリーズ選択時、図示しない内視鏡2内にある図示しない静止画選択手段から出力される静止画指示信号に基づいて、メモリR/Wコントローラ28から書き込み動作を制御して、所定時間内で一番動きの少ない画像を静止画として、フリーズメモリ25に1画面分記憶し、モニタ3から出力する。
【0049】
その後、前記した静止画像に対してもまだ色ずれが見られる場合、内視鏡内2にあるフリーズ指示回路24に基づいて、色ずれ検索領域設定回路27を動作させ、色ずれ検索領域を設定し、メモリR/Wコントローラ28が、フリーズメモリ25からぶれ補正メモリ26への書き込み動作を制御して、色ずれ検索領域の画像データをぶれ補正メモリ26に記憶させる。
【0050】
本実施の形態では、画面明るさ検出回路33で検出した部位に対応した所定の領域の画像データをフリーズメモリ25から読み出してぶれ補正メモリ26に記憶する。そして、色ずれ最小検出回路29では、RとGについて、色ずれ検索領域での検索画素間隔を5画素に設定し、おおよその色ずれ最小値を求める。そして、次に検索画素間隔を1画素に設定し、適正な色ずれ最小値を求める方法で色ずれ最小値を選択する。これにより、より精度の良い色ずれ最小画像を見つけることができる。
【0051】
色ずれ最小検出回路29では、前記ぶれ補正メモリ26に記憶された画像データを、ずれベクトル算出回路40から出力されるずれベクトルを基に、G信号を基準にしてR(又はB)信号をそれぞれ相対的にシフトさせながら、1画面毎に、図示しないアドレスシフタによって、遅れ方向(又は進み方向)に前記ぶれ補正メモリ26の読み出しアドレスをシフトしていき、このようにシフトしたアドレスのR信号(又はB信号)とG信号が一致するまで、読み出しアドレスのシフトを順次繰り返し、シフトしたアドレスでの読み出しR(又はB)信号がG信号とか比較される。このようにして、R信号(又はB信号)が、G信号とのレジストレーションが合う状態になると、その時の、Gの読み出し信号に対する一番ずれの少ないR(又はB)信号についてのアドレスを記憶し、最終的に、メモリR/Wコントローラ28の読み出し制御によってフリーズメモリ25から色ずれが最小となるR,G,Bの各画像を読み出す。
【0052】
色ずれ最小検出回路29の動作は、図2〜図4で説明した通りである。即ち、G画像の信号波形とR画像(またはB画像)との差を演算し、G画像に対して、R画像(またはB画像)が遅れていたり、または進んでいたりすると、その差分(すなわちRとGの差分、BとGの差分)に応じて色ずれ度数が積算されていく。そして、色ずれ検索領域内で、G画像を基準にR画像,B画像の各領域を水平(H)方向および垂直(V)方向に動かしてそのシフトしたR,B領域ごとに積算された色ずれ度数データの中で、色ずれが最小となる色ずれ度数最小値を選択し、メモリR/Wコントローラ28の制御によってその時のH方向およびV方向のフリーズメモリ25の読み出し開始位置制御を行うようにしている。
【0053】
このようにして画面内の明るさレベル(輝度レベル)が所定値以上の部位に対応した色ずれ検索領域を設定することによって、使用者が注目する一定の明るさの画像において色ずれが最小となるように、制御される。
【0054】
〔効果〕
使用者の注目している画面内の領域での色ずれを簡単な構成で検出し補正できる。
【0055】
[第3の実施の形態]
図9は本発明の第3の実施の形態の色ずれ検出及び補正を行う装置が適用される電子内視鏡装置を示す構成図である。
【0056】
〔構成〕
第3の実施の形態に係る電子内視鏡装置は図9で示すように、観察用の光を発するための光源装置41と、体腔内に挿入するためのスコープ42と、撮像手段で得られた画像信号の信号処理等を行うプロセッサ43と、画像を表示するモニタ44と、画像を写真フィルム上に記録する写真撮影装置45により構成される。
【0057】
光源装置41は、光を放射するランプ46と、ランプ46の照明光路上に設けられ透過波長を制限する回転フィルタ板47とを備えている。
【0058】
スコープ42は、照明光を通過させるライトガイド48と、被写体からの光を撮像する撮像手段であるCCD49と、レンズ50と、レンズ50を移動させるアクチュエータ51とを備えている。また、スコープ42を操作する操作部には、使用者が容易に押せる位置に、静止画(フリーズ)を指示するフリーズスイッチ52と、写真撮影装置45への記録を指示するレリーズスイッチ53と、アクチュエータ51を「拡大」側への移動を指示する拡大率変化手段である拡大スイッチ54と、アクチュエータ51を「広角」側への移動を指示する広角スイッチ54とが配置されている。
【0059】
プロセッサ43は、CCD駆動回路56と、プリプロセス回路57と、A/D変換回路58と、セレクタ59と、3つの同時化メモリ60a〜60cと、静止画像のメモリ手段である3つのフリーズメモリ61a〜61cと、3つのぶれ補正メモリ62a〜62cと、3つのD/A変換回路63a〜63cと、アクチュエータ制御回路64と、メモリアドレス制御回路65と、フリーズ制御回路66と、色ずれ最小検索回路67とを備えている。
【0060】
メモリアドレス制御回路65は、ぶれ補正メモリ62a〜62cと色ずれ最小検索回路67と共に、拡大スイッチ54の拡大率に基づいて設定された色ずれ検索領域に基づきぶれ補正メモリ62a〜62cのR,G,B毎に検索し、検索したR,G,B毎のデータを色ずれ最小検索回路67に取り込んで、R,G,B各画像間の色ずれ情報を検出する色ずれ情報検出機能(手段)を構成している。また、メモリアドレス制御回路65は、色ずれ最小検索回路67からの色ずれ最小値情報に基づいてフリーズメモリ61a〜61cの読出しを制御し、色ずれを補正したR,G,B信号を出力させる色ずれ補正機能(手段)を有している。
【0061】
〔作用〕
光源装置41のランプ46から放射された光は、回転フィルタ板47を通過してスコープ42のライトガイド48に入射される。回転フィルタ板47は、図示しないモータにより所定の速度で回転駆動されることにより図示しないRフィルタ、Gフィルタ、Bフィルタが順次光路上に入れられ、赤、緑、青の光が順次透過される。
【0062】
スコープ42のライトガイド48に入射された光は、スコープ先端部から消化管等の被写体に照射される。被写体で散乱、反射された光はスコープ先端のCCD49上で結像する。CCD49は回転フィルタ板47の回転に同期してCCD駆動回路56により駆動され、Rフィルタ、Gフィルタ、Bフィルタ等回転フィルタ板47のそれぞれのフィルタを透過した光により照明された時のCCD49の撮像信号が、順次プロセッサ43に出力される。
【0063】
プロセッサ43に入力された撮像信号は、まずプリプロセス回路57に入力される。プリプロセス回路57ではCDS(相関2重サンプリング)等の処理によりCCDの撮像信号から画像信号(画素信号)が取り出される。プリプロセス回路57から出力された信号はA/D変換回路58によりアナログ信号からデジタル信号に変換される。
【0064】
A/D変換回路58から出力された信号はセレクタ59により振り分けられ、Rフィルタ、Gフィルタ、Bフィルタが挿入されたときの画像がそれぞれ同時化メモリR60a、同時化メモリG60b、同時化メモリB60cに記憶される。各同時化メモリ60a〜60cに記憶された画像は同時に読み出されることにより、面順次画像の同時化が行われる。同時化された画像は、フリーズメモリ61a〜61cに一旦記憶された後に読み出されることにより、モニタ44上に表示する位置が調整される。この調整は、フリーズメモリ61a〜61cの書き込みタイミングと読み出しタイミングを制御することにより行われる。フリーズ動作が行われていない場合は、図示しないガンマ補正回路においてモニタ44のガンマ特性を補正する変換が行われ、D/A変換回路63a〜63cによりアナログ信号に変換され、動画像がモニタ44に表示される。モニタ44上では、通常はリアルタイムで動画像が得られると共に、操作者がフリーズ操作をした場合には静止画像を観察することができる。
【0065】
操作者が拡大スイッチ54を押すと、拡大指示信号がアクチュエータ制御回路64に入力され、アクチュエータ制御回路64はアクチュエータ51を駆動してレンズ50を拡大側に移動させる。また、広角スイッチ55を押すと、広角指示信号がアクチュエータ制御回路64に入力され、アクチュエータ制御回路64はアクチュエータ51を駆動してレンズ50を広角側に移動させる。このようにして術者はさまざまな拡大率でモニタ44上で観察できることになる。アクチュエータ制御回路64には図示しないアクチュエータの位置検出回路があり、アクチュエータ51の位置検出に基づいて拡大率信号を生成して出力する。該拡大率信号はメモリアドレス制御回路65に送られる。
【0066】
次に、フリーズ時の動作を説明する。操作者がフリーズスイッチ52を押すと、フリーズ指示信号がフリーズ制御回路66に入力される。フリーズ制御回路66では、同時化メモリ60a〜60cで同時化されたR、G、Bの画像信号の色ずれを比較し、最も色ずれが少ないタイミングでフリーズメモリ61a〜61cの書き込みを停止することにより、フリーズ指示信号が入力されてから所定時間内で最も色ずれの少ないR,G,B組合せの静止画像を出力する。フリーズ制御回路66では、フリ―ズ画像が確定された後に、メモリアドレス制御回路65に補正指示信号を出力する。メモリアドレス制御回路65に補正指示信号が送られると、メモリアドレス制御回路65はその制御によりフリーズメモリ61a〜61cのデータを読み出してぶれ補正メモリ62a〜62cに取り込む。
【0067】
色ずれ最小検索回路67は、ぶれ補正メモリ62a〜62cの画像領域につき、図10のフローチャートに従って色ずれ最小のアドレス検索を行う。色ずれ最小検索はR信号とG信号、およびG信号とB信号に対して行っているが、図10ではR信号とG信号についての動作のみを示している。
【0068】
先ず、図10のステップS11に示すように上記の拡大指示に基づいたアクチュエータ制御回路64からの拡大率信号に応じて、メモリアドレス制御回路65では色ずれ検索領域に関連する検索画素間隔cが決定され、ぶれ補正メモリ62a〜62cに対して設定される。ここで、拡大率が大きい場合は検索画素間隔cは大きく、拡大率が小さい場合は検索画素間隔cは小さく設定される。本実施の形態では横方向(変数i)にc画素おきに5箇所、縦方向(変数j)にc画素おきに5箇所で25箇所の色ずれ検索を実行している。従って、拡大率が大きい場合はぶれ補正メモリ62a〜62c上の色ずれ検索領域は大きく設定され、拡大率が小さい場合は色ずれ検索領域は小さく設定されることになる。ステップS12〜S14では、Rぶれ補正メモリ62aに設定する色ずれ検索領域につき、0→i,0→jとしてからc画素おきに例えば25箇所でサンプル検索を行い、画像を読み込む。これは図4で述べたサンプル検索と同様である。
【0069】
そして、ステップS15に示すように次にRぶれ補正メモリ62aの画像領域内で、一度色ずれ最小を探すために、G,Bのぶれ補正メモリ62b,62cを固定して、Rのぶれ補正メモリ62aの読み出しアドレスをシフトしていき、画像を読み込む。
【0070】
次に、ステップS16で、Gぶれ補正メモリ62bより画像を読み込む。この画像の読み込みは、上記と同様、c画素おきに例えば25箇所でサンプル検索を行い、画像を読み込む。そして、ステップS17及びS18で、上記のS12〜S14で読み込んだR画像及びS15でアドレスシフトして読み込んだ複数のR画像と、上記のS16で読み込んだG画像との色ずれを検出し、該色ずれ情報に基づいて色ずれの評価値を算出し、色ずれが最小になっている、Rぶれ補正メモリ62aの読み出しアドレスを記憶する。以上がc画素おきの粗サーチ検出による色ずれ最小検索動作である。しかし、拡大率が大きい場合などに、前記した検索方法で色ずれ最小が見つけられない場合がある。この時には、図10のS19〜S26を行う(精サーチ検出、ここでは1画素おきに検出)ことによって、より精度の良い色ずれ最小画像を見つけることができる。なお、図10のフローチャートではR信号とG信号の色ずれ最小アドレスを検索しているが、これをG信号とB信号に対しても同様に行う。
【0071】
色ずれ最小検索回路67の検索が終了するとメモリアドレス制御回路65は色ずれ最小検索回路67で検索した色ずれ最小アドレスに従って、フリーズメモリ61a〜61cの読み出しアドレス制御を行うことにより、色ずれ補正された画像をフリーズメモリ61a〜61cから読み出してモニタ44に出力する。このずれ補正により、フリーズメモリ61a〜61cに記憶された色ずれの少ない静止画像に残された色ずれを、さらに軽減して表示することができる。
【0072】
次に、レリ−ズ時の動作を説明する。操作者がレリーズスイッチ53を押すと、レリーズ指示信号(写真撮影装置45への記録指示)がフリーズ制御回路66に入力される。フリーズ制御回路66での動作はフリーズ時とほとんど同じであるが、補正指示信号を出力してから色ずれ補正画像作成に要する時間経過した後には、写真撮影装置45に対して画像記録指示信号が送られる。写真撮影装置45では、画像記録指示信号を受け取り、入力された画像信号をフィルムに撮影する。フリーズ制御回路66では、画像記録指示信号出力後に自動的にフリーズメモリ61a〜61cへの書き込みを再開し、モニタ44上には再び動画が表示される。
【0073】
尚、本実施の形態では光学的な拡大を行っているが、これを電子ズームに適用してもよい。
【0074】
〔効果〕
拡大時は非拡大時に比べて色ずれが大きくなる。そのため、拡大率に応じて色ずれ検索領域の大きさを設定することにより、拡大時でも適正な色ずれ検出及び補正を行うことができる。
【0075】
(付記1)
被写体像を面順次撮像する撮像手段と、
前記撮像手段により面順次撮像され、それぞれを合成することで1つの画像を成す各画像を記憶するメモリ手段と、
前記撮像手段の種別を判別する判別手段と、
前記判別手段により判別された前記撮像手段の種類に応じて、前記面順次撮像された各画像のそれぞれに対し、前記各画像の範囲内で特定の領域を設定する領域設定手段と、
前記領域設定手段により設定された領域に基づき、前記メモリ手段に記憶された前記各画像間の色ずれ情報を検出する色ずれ情報検出手段と、
前記色ずれ情報検出手段により検知された色ずれ情報に基づき前記色ずれを補正する色ずれ補正手段と、
を有することを特徴とする色ずれ補正装置。
【0076】
(付記2)
被写体像を面順次撮像する撮像手段と、
前記撮像手段により面順次撮像され、それぞれを合成することで1つの画像を成す各画像を記憶するメモリ手段と、
前記撮像手段からの撮像信号のうち、明るさレベルが所定値以上の部位を検出する明るさ検出手段と、
前記明るさ検出手段により検出された前記部位に応じて、前記部位を含む所定の領域を前記面順次撮像された各画像の範囲内で設定する領域設定手段と、
前記領域設定手段により設定された領域に基づき、前記メモリ手段に記憶された前記各画像間の色ずれ情報を検出する色ずれ情報検出手段と、
前記色ずれ情報検出手段により検知された色ずれ情報に基づき前記色ずれを補正する色ずれ補正手段と、
を有することを特徴とする色ずれ補正装置。
【0077】
(付記3)
被写体像を面順次撮像する撮像手段と、
前記撮像手段により面順次撮像され、それぞれを合成することで1つの画像を成す各画像を記憶するメモリ手段と、
前記撮像手段により撮像され、表示手段にて表示される映像の拡大倍率を変化する拡大倍率変化手段と、
前記拡大倍率変化手段における前記拡大倍率に応じて、前記面順次撮像された各画像のそれぞれに対し、前記各画像の範囲内で特定の領域を設定する領域設定手段と、
前記領域設定手段により設定された領域に基づき、前記メモリ手段に記憶された前記各画像間の色ずれ情報を検出する色ずれ情報検出手段と、
前記色ずれ情報検出手段により検知された色ずれ情報に基づき前記色ずれを補正する色ずれ補正手段と、
を有することを特徴とする色ずれ補正装置。
【0078】
【発明の効果】
以上述べたように本発明によれば、静止画時の色ずれを検出し適正に補正することができる内視鏡装置を提供することができる。
また、CCDの種類または画素数に応じて、色ずれ検索領域の大きさを設定したので、画素数が多いほど、より多くなる画像の色ずれを簡単に検出し補正することができる。
【0079】
また、時系列的に得られた複数の画像にて構成される内視鏡画像において、一定の明るさを持った領域を色ずれ検索領域に設定したことによって、使用者の注目している一定の明るさを持った領域での色ずれ検出及び補正が容易に実現できる。
【0080】
さらに、拡大時は非拡大時に比べて、色ずれが大きくなるため、拡大率に応じて、色ずれ検索領域の大きさを設定したので、拡大率が大きくなるほど、より多くなる画像の色ずれを簡単に検出し補正することができる。
【0081】
さらに、時系列的に得られた複数の画像にて構成される内視鏡画像において、複数の画像の相対的位置関係に基づき、内視鏡画像の色ずれを検出し補正することにしたので、回路規模が小さく、従来の静止画で発生していた色ずれの画像に対して良好な色ずれの検出及び補正が可能になる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態の色ずれ検出及び補正を行う装置を示すブロック図。
【図2】図1における色ずれ最小検出回路の構成例を示すブロック図。
【図3】図2における不一致回路の構成例を示す回路図。
【図4】図2及び図3における色ずれ検出方法の一例を説明する図。
【図5】図1の実施の形態の動作を概略的に説明するタイミングチャート。
【図6】図1における色ずれ最小検出回路の動作を説明するフローチャート。
【図7】本発明の第2の実施の形態の色ずれ検出及び補正を行う装置を示すブロック図。
【図8】第1,第2の実施の形態の色ずれ検出及び補正を行う装置が適用される電子内視鏡装置の全体構成図。
【図9】本発明の第3の実施の形態の色ずれ検出及び補正を行う装置が適用される電子内視鏡装置の全体構成図。
【図10】図9における色ずれ最小検索回路の色ずれ最小アドレス検索動作を説明するフローチャート。
【符号の説明】
1…プロセッサ
2…内視鏡
3…モニタ
5…CCD
6…CCD駆動手段
8…信号処理手段
9…ライトガイド
11…信号処理手段
12…面順次信号同時化手段
13…静止画処理手段
14…面順次光源装置
15…絞り制御手段
16…RGB回転フィルタ制御手段
17…ランプ
19…RGB回転フィルタ
20…モータ
21…CCD判別回路
22…A/D変換回路
23…同時化回路
24…フリーズ指示回路
25…静止画メモリ(フリーズメモリ)
26…ぶれ補正メモリ
27…色ずれ検索領域設定回路
28…メモリR/Wコントローラ
29…色ずれ最小検出回路
31…D/A変換手段
33…画面明るさ検出回路
34…ずれベクトル算出手段
41…光源装置
42…スコープ
43…プロセッサ
44…モニタ
45…写真撮影装置
46…ランプ
47…回転フィルタ板
48…ライトガイド
49…CCD
51…アクチュエータ
52…フリーズスイッチ
53…レリーズスイッチ
54…拡大スイッチ
55…広角スイッチ
56…CCD駆動回路
57…プリプロセス回路
58…A/D変換回路
59…セレクタ
60a〜60c…同時化メモリ
61a〜61c…フリーズメモリ
62a〜62c…ぶれ補正メモリ
63a〜63c…D/A変換回路
64…アクチュエータ制御回路
65…メモリアドレス制御回路
66…フリーズ制御回路
67…色ずれ最小検索回路
[0001]
BACKGROUND OF THE INVENTION
  The present invention detects color misregistration that occurs between image signals of each color that are imaged sequentially by an imaging means that images a subject that is sequentially illuminated with illumination light of each color of a different wavelength.MitigationDoEndoscopeRelates to the device.
[0002]
[Prior art]
In an electronic endoscope apparatus that displays a subject image in color based on an imaging signal from a solid-state imaging device (hereinafter, referred to as a CCD) using a frame sequential illumination method, R, G, and B color lights are rotated by rotating an RGB rotation filter. The subject is irradiated sequentially, and images are taken in time series for each color.
[0003]
For this reason, conventionally, when a CCD is driven by the frame sequential method, image signals of R, G, and B colors are captured in time series, and a time lag occurs until the entire image is formed. Therefore, if either one or both of the subject and the imaging side move during shooting, color misregistration occurs when the image signals of these colors are displayed as a still image when superimposed.
[0004]
  Therefore, as a proposal to obtain a still image with little image deterioration such as color shift,OpenSome are described in Japanese Patent Laid-Open No. 5-30460, Japanese Patent Laid-Open No. 2-286125, and the like.
[0005]
  SpecialOpenThe apparatus described in Japanese Patent Laid-Open No. 5-30460 stores an input image signal as a still image when a minimum value is obtained from a corrected amount of motion within a predetermined time from activation by a still image instruction means. It is. According to the publication, in order to obtain an image with little color misregistration, after selecting a still image, an image with the least color misregistration within a predetermined time is selected and output to a monitor.
[0006]
Further, the apparatus described in Japanese Patent Laid-Open No. 2-286125 temporarily stores an image signal in the image storage means based on the freeze instruction signal, and when the color shift amount of the stored image signal is within a set value, The image signal is retained, and if it is equal to or greater than the set value, the stored image is canceled and the same operation is performed on the image signal after the cancellation, so that an image signal with a color misregistration amount within the set value is Is stored in the image storage means and output to the monitor for display.
[0007]
[Problems to be solved by the invention]
However, in any of the apparatuses described in the above publications, an image with little color misregistration output to a monitor was not configured to correct the color misregistration, and thus the color misregistration was not completely eliminated. In addition, since the color misregistration generated varies depending on the type of CCD or the number of pixels, the conventional method does not completely eliminate the color misregistration. For example, the amount of color misregistration is larger in a CCD having a larger number of CCD pixels.
[0008]
Further, the conventional color misregistration correction apparatus does not always perform color misregistration correction in the region of interest of the observer, but performs color misregistration correction in a region other than the region of interest of the observer. For example, when there is a dark subject in the center of the screen, color misregistration correction is performed on the dark subject, and if the observer's area of interest is a surrounding bright subject, the color misregistration for the surrounding bright subject cannot be corrected. It was. Also, when the image enlargement ratio differs optically or electrically, the color misregistration amount differs depending on the enlargement ratio. Therefore, the conventional method cannot correct the color misregistration, and the larger the enlargement ratio, the larger the color misregistration amount. There was a problem that.
[0009]
  Therefore, in view of such a problem, the present inventionEndoscope that can detect and correct color misregistration during still imagesThe object is to provide an apparatus.
  The present invention also provides:The amount of color misregistration due to differences in CCD type or number of pixels during still images can be corrected appropriately.EndoscopeThe object is to provide an apparatus.
[0010]
  Further, the present invention can correct a color shift in an area where a subject in a still image has only a certain brightness.EndoscopeThe object is to provide an apparatus.
[0011]
  Furthermore, the present invention can appropriately correct a color misregistration amount due to a difference in enlargement ratio during a still image.EndoscopeThe object is to provide an apparatus.
[0012]
[Means for Solving the Problems]
  According to the invention of claim 1Endoscope deviceImage pickup means for picking up an image of a subject sequentially, and memory means for storing images which are picked up by the image pickup means in the order of the faces and are combined to form one image.And beforeFor each of the images captured sequentially, the area setting means for setting a specific area within the range of each image and the memory means stored based on the area set by the area setting means Detect color misregistration information between the imagesThen, according to the detection result, the color misregistration minimum value information that minimizes the color misregistration is obtained by shifting the position using the blur correction memory in the horizontal direction and the vertical direction for each of the images that are sequentially imaged. To detectColor misregistration information detection means;Color misregistration correction means for controlling the reading position of the memory means based on the color misregistration minimum value information detected from the color misregistration information detection means and outputting a signal of each image corrected for color misregistration.It is characterized by that.
  An endoscope apparatus according to a second aspect of the present invention is the endoscope apparatus according to the first aspect, further comprising a determination unit that determines a type of the imaging unit, wherein the region setting unit is controlled by the determination unit. According to the determined type of the image pickup means, a specific region is set within the range of each image for each of the images sequentially picked up in the frame order.
[0013]
  According to the first aspect of the present invention, the color misregistration detection is performed, and the position is shifted in the horizontal / vertical direction in the memory for each frame sequential image (for example, R, G, B images) according to the detection result. Color misregistration can be reduced by combining.
  Claim2According to the invention of the still imageImaging meansThe amount of color misregistration due to the difference in type and number of pixels can be corrected appropriately.
[0014]
  Claim3According to the described inventionThe endoscope apparatus according toclaim 1, further comprising brightness detection means for detecting a part having a brightness level equal to or higher than a predetermined value in the imaging signal from the imaging means. The area setting means sets a predetermined area including the part within the range of the images sequentially imaged in accordance with the part detected by the brightness detecting means.
[0015]
  Claim3According to this invention, it is possible to correct the color shift of an area where a subject in a still image has only a constant brightness.
[0016]
  Claim4According to the described inventionThe endoscope apparatus according toclaim 1, further comprising an enlargement factor changing unit that changes an enlargement factor of an image captured by the imaging unit and displayed on the display unit. The setting means sets a specific area within the range of each image for each of the images sequentially picked up in accordance with the enlargement magnification in the enlargement magnification changing means.
[0017]
  Claim4According to the invention, it is possible to appropriately correct the color misregistration amount due to the difference in the enlargement ratio in the still image.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the invention will be described with reference to the drawings.
Before explaining the first and second embodiments of the present invention with reference to FIGS. 1 to 7, an electronic endoscope apparatus to which the apparatus for detecting and correcting color misregistration according to the present invention is applied with reference to FIG. Will be described.
[0019]
FIG. 8 shows the overall configuration of an imaging system for an electronic endoscope apparatus.
As shown in FIG. 8, the endoscope apparatus according to the present embodiment includes aprocessor 1 and anendoscope 2. Theprocessor 1 includes aCCD drive circuit 6, signal processing means 8, and a frame sequentiallight source device 14. Theendoscope 2 includes alight guide 9 and anillumination lens 10, an objective lens 4 and aCCD 5, and abuffer amplifier 7. Alight guide 9 that transmits illumination light from the surface-sequentiallight source device 14 is inserted into the insertion portion of the endoscope 2 (shown in FIG. 8 with a length that is considerably shorter than the actual one). Further, aCCD 5 which is an image pickup means is disposed at the imaging position of the objective lens 4. On the other hand, thelight source device 14 in theprocessor 1 is provided with a lamp 17 that emits broadband light ranging from ultraviolet rays to fluorescence observation. As the lamp 17, a general xenon lamp or strobe lamp is used and emits a large amount of ultraviolet light and fluorescence as well as visible light. The lamp 17 is supplied with electric power from a power supply unit (not shown). AnRGB rotary filter 19 that is rotationally driven by amotor 20 is disposed in front of the lamp 17. Therotary filter 19 has red (R), green (G), and blue (B) wavelength regions. Filters that transmit light are arranged along the circumferential direction. In addition, adiaphragm 15E is disposed between the lamp 17 and therotary filter 19, and the amount of the diaphragm is controlled by the diaphragm control means 15 so that the amount of light emitted from thelamp 20 can be adjusted. Themotor 20 is driven by RGB rotation filter control means 16 so that the rotation is controlled. The light transmitted through theRGB rotary filter 19 and divided in time series into light of each wavelength region of R, G, B passes through acondenser lens 18 that collects illumination light of the surface sequentiallight source device 14, The light is incident on the incident end of thelight guide 9 and is emitted from theillumination lens 10 via thelight guide 9 to illuminate the observation site. Light from the observation region (subject) illuminated by the illumination light is imaged on theCCD 5 by the objective lens 4 and is subjected to photoelectric conversion. A drive pulse from the CCD drive means 6 in theprocessor 1 is applied to theCCD 5 via a signal line, and charges are read and transferred by this drive pulse. The video signal read from theCCD 5 is current-amplified via abuffer amplifier 7 disposed in theendoscope 2, subjected to various image processing by the signal processing means 8, and output to themonitor 3. The signal processing means 8 stores the time-series R, G, and B video signals in the R, G, and B simultaneous memories once through the selector and the signal processing means 11 that performs processing such as enlargement and contour enhancement. And a still image signal processing means 13 for processing the R, G and B outputs of the synchronization means 12 when the R, G and B still picture instructions are given. It consists of
[0020]
[First Embodiment]
〔Constitution〕
FIG. 1 is a block diagram of an apparatus for detecting and correcting color misregistration according to the first embodiment of the present invention. FIGS. 2 to 4 show the principle of color misregistration detection.
[0021]
In the overall configuration diagram shown in FIG. 8, every time the number or type of pixels of theCCD 5 provided at the distal end of theendoscope 2 is different, an apparatus for detecting and correcting color misregistration to correct color misregistration peculiar to frame sequential order. An embodiment in which the color misregistration search area is made variable will be described with reference to FIGS.
[0022]
As shown in FIG. 1, the signal processing means 11 shown in FIG. 8 includes a CDS circuit (not shown) that performs correlated double sampling, a clamp circuit (not shown) that clamps the optical black (OB) section, and converts an analog signal into a digital signal. A /D circuit 22 for performing image enlargement, an enlargement circuit (not shown) for enlarging an image, an enhancement circuit (not shown) for edge enhancement of an image, and the like.
[0023]
As shown in FIG. 1, the frame sequential synchronization means 12 shown in FIG. 8 is asynchronization circuit 23 for converting a frame sequential signal from theCCD 5 as an imaging means into an R, G, B synchronization signal. It is configured.
[0024]
As shown in FIG. 1, the still image signal processing means 13 shown in FIG. 8 includes afreeze instruction circuit 24 for instructing the start of freeze when a still image (hereinafter referred to as freeze) is selected, and a CCD for discriminating the number of pixels or the type of theCCD 5. A discriminatingcircuit 21, a color misregistration searcharea setting circuit 27 that switches the color misregistration search area range according to the discrimination results from theCCD discriminating circuit 21, and a still image that stores image signals of R, G, and B colors at the time of freezing In order to shorten the color misregistration search time based on a memory (hereinafter referred to as freeze memory) 25 and a correction freeze start signal from a correction freeze selection means (not shown), a part of an area (for example, 1/4) stored in thefreeze memory 25 is shortened. Degree) for each of R, G, and B, and based on the color misregistration search area from the color misregistration searcharea setting circuit 27, the blur By storing the blur correction memory read address of the R, G, B image with the least color shift from the blur correction memory R, G, B output signals obtained by searching for the color shift in the area of thecorrection memory 26, the color A color misregistrationminimum detection circuit 29 that detects information of a minimum misregistration value, a memory R /W controller 28 that controls reading / writing (R / W) of thefreeze memory 25 and theblur correction memory 26, and asynchronization circuit 23 Switching means 30 for switching and outputting still images from thefreeze memory 25 and D / A conversion means 31 for converting image data into analog signals for each of R, G and B.
[0025]
The memory R /W controller 28, together with theblur correction memory 26 and the minimummisregistration detection circuit 29, sets the area of theblur correction memory 26 for each of R, G, and B based on the misregistration search area set by the misregistrationarea setting circuit 27. The color misregistration information detection function (means) for detecting the color misregistration information between the R, G, B images by fetching the retrieved data for each of R, G, B into the color misregistrationminimum detection circuit 29 is configured. is doing. Further, the memory R /W controller 28 reads out and controls thefreeze memory 25 based on the color misregistration minimum value information from the color misregistrationminimum detection circuit 29, and outputs the R, G, B signals corrected for the color misregistration. It has a correction function (means).
[0026]
In the color misregistration searcharea setting circuit 27, an area for color misregistration search is set according to the size (number of pixels) of theCCD 5, and the number of CCD pixels is based on the CCD discrimination information from the CCD discrimination means 21. The search area information having a size corresponding to the size of is sent to the memory R /W controller 28. The memory R /W controller 28 sets a search area for image data recorded in theblur correction memory 26 based on the input search area information. This makes it possible to set a color misregistration area according to the size (number of pixels) of theCCD 5.
[0027]
  Theblur correction memory 26 stores a part (for example, about 1/4) of the area stored in thefreeze memory 25 for each of R, G, and B as described above. Since color misregistration is detected only in a partial area of about ¼, the color misregistration search time is shorter than detecting color misregistration for all the areas stored in the freeze memory 25.ConversionIs done.
[0028]
The color misregistrationminimum detection circuit 29 calculates the difference between the G image waveform and the R image waveform (or B image waveform) for R, G, B image data read from a certain read address of theblur correction memory 26. When the R image (or B image) is delayed or advanced with respect to the G image, the color shift frequency is detected as a large number, and the R image (or B image) is detected with respect to the G image. The smaller the delay / advance, the smaller the color shift frequency is detected, and the R (or B) signal from the R (or B) memory is based on the G signal stored in the G memory of the crushingcorrection memory 25. The read address of each is relatively shifted, and the difference (color shift frequency) between the read R (or B) signal and the reference (fixed address) G signal is detected for each address, and the minimum color shift is detected. Frequency It is configured to detect the R (or B) signal of the read address (i.e. color misregistration minimum image information) to be.
[0029]
Next, a configuration example of the color misregistrationminimum detection circuit 29 will be described with reference to FIGS. First, the overall configuration of the color misregistrationminimum detection circuit 29 will be described with reference to FIG.
[0030]
The R, G, and B signals output from theshake correction memory 26 are input to inputterminals 291, 292, and 293, respectively. The input R signal is input to thecomparison circuit 297 as it is, delayed by one clock by a one clock (1CK)delay circuit 294 and input to thecomparison circuit 297, and ΔR which is a difference signal between the two input signals is calculated by thecomparison circuit 297. Desired. Assuming that the input signals of thecomparison circuit 297 are R and R ', the comparison result .DELTA.R includes three output signals of R> R', R = R ', R <R', that is, ternary signals (for example, +, 0). ,-)). Similarly, for the input G and B signals, thecomparison circuit 298 obtains a difference signal ΔG between the G signal and a signal obtained by delaying the G signal by one clock (1CK)delay circuit 295, and thecomparison circuit 299 obtains the B signal and this signal. Is obtained as a difference signal ΔB from the signal delayed by one clock by the one clock (1CK)delay circuit 296. The difference signals ΔG and ΔB of the G andB comparison circuits 298 and 299 are also output as ternary signals.
[0031]
The difference signals ΔR and ΔG of thecomparison circuits 297 and 298 are input to themismatch circuit 300 to detect the match or mismatch of ΔR with respect to ΔG. Similarly, the difference signals ΔG and ΔB of thecomparison circuits 298 and 299 are input to themismatch circuit 310 to detect the match or mismatch of ΔB with respect to ΔG. The detection signals FL1 and FL2 of themismatch circuits 300 and 310 are logically summed by a two-input ORcircuit 320 to obtain a correlation between the R, G, and B signals, which is output as the color shift frequency. . Then, the color misregistration frequency in the color misregistration search area is counted by a color misregistrationfrequency calculation circuit 321 composed of a counter, and the count output is supplied to the color misregistration minimumimage detection circuit 322. The color misregistration minimumimage detection circuit 322 obtains the minimum color misregistration frequency among the color misregistration frequencies of the R (or B) signal counted in the color misregistration search area, and reads the R (or B) image signal at that time. The address is output as color misregistration minimum image information.
[0032]
That is, the color misregistrationminimum detection circuit 29 calculates the difference between the signal waveform of the G image and the R image (or B image), and the R image (or B image) is delayed or advanced with respect to the G image. In other words, the color shift frequency is integrated according to the difference (that is, the difference between R and G, the difference between B and G). Then, within the color misregistration search area, each area of the R image and the B image is shifted in the horizontal (H) direction and the vertical (V) direction based on the G image, and the color misregistration is detected for each of the shifted R and B areas. From the accumulated color misregistration frequency data, the minimum color misregistration frequency value that minimizes the color misregistration is selected, and the reading start position of thefreeze memory 25 in the H direction and V direction at that time is controlled by the memory R /W controller 28. Control is performed.
[0033]
FIG. 3 shows a specific circuit configuration example of themismatch circuits 300 and 310 in FIG. The outputs ΔR, ΔG, ΔB of the R, G,B comparison circuits 297, 298, 299 in FIG. 2 take the ternary signal (+, 0, −) as described above. 2-bit expression [for example, “+” can be expressed as (10), “0” can be expressed as (00), and “−” can be expressed as (01)]. In the case of 2-bit data in this way, generally, the first bit of ΔR is represented by ΔR1 and the second bit is represented by ΔR2. Similarly, ΔG is represented by ΔG1 of the first bit, ΔG2 and ΔB of the second bit. If the first bit is represented by ΔB1 and the second bit is represented by ΔB2, themismatch circuits 300 and 310 in FIG. 2 can be configured as shown in FIG. That is, themismatch circuit 300 is composed of twoEX-OR circuits 301 and 302 and an ORcircuit 303, and themismatch circuit 310 is composed of twoEX-OR circuits 311 and 312 and an ORcircuit 313.
[0034]
  FIG. 4 shows the color misregistration shown in FIGS.Small inspectionAn example of a color misregistration detection method (color misregistration detection signal generation) in the output circuit is shown.
[0035]
The symbols R, G, B, ΔR, ΔG, ΔB, FL1, FL2, FL3 in FIG. 4 are the same as those in FIG. 2 (and FIG. 3). The levels of the image signals R, G, and B shown on the vertical axis change with respect to the time shown on the horizontal axis. That is, when movement occurs at the R, G, and B levels with respect to the time axis, changes (+, 0, −) occur in each differential signal (ΔR, ΔG, ΔB) at a predetermined sample interval. In general, R, G, and B are shifted from each other by a plurality of sample intervals (a plurality of clock times). However, the sample intervals shown in FIG. 4 are the R, G, and B color filters constituting theRGB rotation filter 19. This corresponds to a photographing signal delay time (one clock delay time) corresponding to a difference in rotation time for each. In the color misregistration search area, there is a one sample interval deviation between R and G and between B and G. If R and B are deviated by one sample interval with G as a reference (center), the color misregistration must be minimized. Can do. The exclusive OR (EX-OR) output FL1 of ΔR and ΔG represents the color misregistration state of R and G, and the exclusive OR (EX-OR) output FL2 of ΔB and ΔG is the color misregistration of B and G. Represents a state. Accordingly, a logical sum (OR) output FL3 of FL1 and FL2 is output as information representing the total color misregistration state of R, G and B.
[0036]
[Action]
FIG. 5 shows an operation timing chart from when the normal freeze instruction is given until the minimum color shift detection output is obtained. In FIG. 5, (a) is a normal freeze selection instruction, (b) the state of thefreeze memory 25, (c) is a freeze selection instruction corrected for color shift, and (d) is a minimum color shift from the color shiftminimum detection circuit 29. The image detection output is shown.
[0037]
When freeze is selected, the memory R /W controller 28 controls writing and reading operations based on a normal freeze instruction signal (see FIG. 5A) output from a freeze selection means (not shown) in theendoscope 2. Then, an image with the least movement within a predetermined time after selection of freeze is stored as one still image in the freeze memory 25 (see FIG. 5B) and output from themonitor 3.
[0038]
Thereafter, when color shift is still observed in the still image, the color misalignment correction freeze instruction (FIG. 5) is received from thefreeze instruction circuit 24 in response to an instruction from a correction freeze selection unit (not shown) in theendoscope 2. (see (c)), the memory R /W controller 28 blurs based on the color misregistration search area set by the color misregistration searcharea setting circuit 27 in accordance with the discrimination signal output from theCCD discrimination circuit 21. The still image area written in thecorrection memory 26 is searched for each of R, G, and B, and the searched R, G, and B data is input to the color misregistrationminimum detection circuit 29.
[0039]
The minimum colormisregistration detection circuit 29 obtains the color misregistration frequency which is the color misregistration value of the R image and the B image with respect to the reference G image, and reads out the R (or B) memory of the blur correction memory until the color misregistration is minimized. The address shift is sequentially repeated, and the read signal at the shift address of the R (or B) memory is compared with the G signal, and the memory read address for the R and G images with the least color shift among them is stored. That is, in accordance with steps S1 to S7 in the flowchart of FIG. 6, the R (or B) signal is relatively shifted with respect to the G signal, and the delay direction (or advancement) is performed by an address shifter (not shown) for each screen. The read address of the R (or B) memory of theblur correction memory 26 is shifted in the direction), and the R signal (or B signal) of the shifted address and the G signal coincide with each other, and the color shift is minimized. The read address shift of the R (or B) memory of the blur correction memory is sequentially repeated until the read correction signal is compared, and the read signal at the shift address of the R (or B) memory is compared with the G signal. The memory R /W controller 28 stores the memory read addresses for the R and G images with the least color misregistration and outputs them to the memory R /W controller 28. , B can be read out and output to themonitor 3 via the D / A conversion means 31.
[0040]
In the present embodiment, for R and G, the search pixel interval is set to one pixel. Color misregistration search is performed in five places in the horizontal direction and five places in the vertical direction, that is, a total of 25 places (that is, an area of 25 pixels when the search pixel interval is 1 pixel). As the number of pixels of theCCD 5 increases, the amount of color misregistration (number of color misregistration pixels) also increases, so the search pixel interval is widened and changed to about 4 pixels. Accordingly, when the number of pixels of theCCD 5 is increased and the search pixel interval is set to 4 pixels, if the color misregistration search is performed at a total of 25 locations of 5 in the horizontal direction and 5 in the vertical direction, the color misregistration search area is substantially omitted. It will be set about 16 times larger.
[0041]
In this way, when there is a difference in the type or number of pixels of theCCD 5 to be used, for example, even when the number of CCD pixels increases, the color misregistration search area is enlarged and the search pixel interval is widened to detect the color misregistration. It is possible to control so that the color shift is minimized by the number of search points. In addition, by setting the size of the color misregistration search area in accordance with the type of illumination light source device (for example, whether or not observation is performed with fluorescent illumination), the color misregistration is minimized for the illumination mode at that time. It is good also as a structure controlled to. Also, thefreeze memory 25 and theshake correction memory 26 may be configured as the same. The color misregistration detection method may be performed by a method for obtaining a color dispersion value. Alternatively, a plurality of color misregistration search areas having different sizes may be set to detect and correct color misregistration.
[0042]
〔effect〕
As the number of pixels of the CCD increases, the amount of color shift increases. Therefore, by setting the size of the color misregistration search area according to the type of CCD or the number of pixels, good color misregistration detection and correction can be performed with the same number of search locations even when the number of CCD pixels increases.
[0043]
[Second Embodiment]
FIG. 7 shows a configuration diagram of an apparatus for detecting and correcting color misregistration according to the second embodiment of the present invention. The principle of color misregistration detection is the same as that shown in FIGS.
[0044]
〔Constitution〕
In the overall configuration diagram shown in FIG. 8, an embodiment in which the color misregistration search area peculiar to frame sequential is made variable based on the misalignment vector according to the brightness of the screen is shown in FIGS. Based on
[0045]
As shown in FIG. 7, the framesequential synchronization unit 12 shown in FIG. 8 is asynchronization circuit 23 for converting a frame sequential signal from theCCD 5 as an imaging unit into an R, G, B synchronization signal. It consists of
[0046]
As shown in FIG. 7, the still image signal processing means 13 shown in FIG. 8 detects afreeze instruction circuit 24 for instructing the start of freeze when the freeze is selected, and a part having a brightness level (luminance level) of a predetermined value or more. A screenbrightness detection circuit 33, a color misregistration searcharea setting circuit 27 for switching the search area range of the color misregistration including the part in accordance with the detection signal from the screenbrightness detection circuit 33, and R, G, B at the time of freezing Based on a still image memory (hereinafter referred to as freeze memory) 25 for storing image signals of each color and a correction freeze start signal from a correction freeze selection means (not shown), it is stored infreeze memory 25 in order to shorten the color misregistration search time. Ablur correction memory 26 that stores a part of the area (for example, about 1/4) for each of R, G, and B, and a color shift from the color shift searcharea setting circuit 27 Based on the search area, the blur correction memory read address of the R, G, B image with the least color shift is obtained from the blur correction memory R, G, B output signals obtained by searching for the color shift in theblur correction memory 26 area. And a memory R / W controller for controlling read / write (R / W) of thefreeze memory 25 and theblur correction memory 26. 28, switching means 30 for switching and outputting the moving picture from thesynchronization circuit 23 and the still picture from thefreeze memory 25, and D / A converting means for converting the image data into analog signals for each of R, G andB 31 and a shift vector for calculating a shift vector of R (or B) for G of each color of R, G, and B in order to further shorten the color shift search time than the first embodiment. Constituted by theLe computation circuit 34.
[0047]
The memory R /W controller 28, together with theblur correction memory 26 and the minimummisregistration detection circuit 29, sets the area of theblur correction memory 26 for each of R, G, and B based on the misregistration search area set by the misregistrationarea setting circuit 27. The color misregistration information detection function (means) for detecting the color misregistration information between the R, G, B images by fetching the retrieved data for each of R, G, B into the color misregistrationminimum detection circuit 29 is configured. is doing. Further, the memory R /W controller 28 reads out and controls thefreeze memory 25 based on the color misregistration minimum value information from the color misregistrationminimum detection circuit 29, and outputs the R, G, B signals corrected for the color misregistration. It has a correction function (means).
[0048]
[Action]
At the time of freeze selection, the write operation is controlled from the memory R /W controller 28 based on a still image instruction signal output from a still image selecting means (not shown) in the endoscope 2 (not shown). An image with less movement is stored as one still image in thefreeze memory 25 and output from themonitor 3.
[0049]
After that, when color shift is still seen in the still image, the color shift searcharea setting circuit 27 is operated based on thefreeze instruction circuit 24 in theendoscope 2 to set the color shift search area. Then, the memory R /W controller 28 controls the writing operation from thefreeze memory 25 to theblur correction memory 26 to store the image data in the color misregistration search area in theblur correction memory 26.
[0050]
In the present embodiment, image data of a predetermined area corresponding to the part detected by the screenbrightness detection circuit 33 is read from thefreeze memory 25 and stored in theshake correction memory 26. Then, the minimum colormisregistration detection circuit 29 sets the search pixel interval in the color misregistration search area to 5 pixels for R and G, and obtains an approximate minimum value of color misregistration. Then, the search pixel interval is set to one pixel, and the minimum color misregistration value is selected by a method for obtaining an appropriate minimum color misregistration value. Thereby, a more accurate color misregistration minimum image can be found.
[0051]
In the color misregistrationminimum detection circuit 29, the image data stored in theblur correction memory 26 is converted into an R (or B) signal based on the G signal based on the shift vector output from the shift vector calculation circuit 40. While relatively shifting, the read address of theblur correction memory 26 is shifted in the delay direction (or advance direction) by an address shifter (not shown) for each screen, and the R signal ( (Or B signal) and the G signal are successively shifted until the read address is shifted, and the read R (or B) signal at the shifted address is compared with the G signal. In this way, when the R signal (or B signal) is in registration with the G signal, the address for the R (or B) signal with the least deviation from the G read signal at that time is stored. Finally, the R, G, and B images with the smallest color misregistration are read from thefreeze memory 25 by the reading control of the memory R /W controller 28.
[0052]
The operation of the color misregistrationminimum detection circuit 29 is as described with reference to FIGS. That is, the difference between the signal waveform of the G image and the R image (or B image) is calculated, and if the R image (or B image) is delayed or advanced with respect to the G image, the difference (that is, The color shift frequency is integrated according to the difference between R and G and the difference between B and G). Then, within the color misregistration search region, the R image and B image regions are moved in the horizontal (H) direction and the vertical (V) direction with reference to the G image, and the colors accumulated for the shifted R and B regions. The minimum value of the color misregistration frequency that minimizes the color misregistration is selected from the misregistration frequency data, and the reading start position control of thefreeze memory 25 in the H direction and the V direction at that time is performed by the control of the memory R /W controller 28. I have to.
[0053]
In this way, by setting the color misregistration search area corresponding to the portion where the brightness level (luminance level) in the screen is equal to or higher than a predetermined value, the color misregistration is minimized in an image with a certain brightness that the user pays attention to. It is controlled to become.
[0054]
〔effect〕
It is possible to detect and correct color misregistration in an area in the screen that the user is paying attention with a simple configuration.
[0055]
[Third Embodiment]
FIG. 9 is a block diagram showing an electronic endoscope apparatus to which the apparatus for detecting and correcting color misregistration according to the third embodiment of the present invention is applied.
[0056]
〔Constitution〕
As shown in FIG. 9, the electronic endoscope apparatus according to the third embodiment is obtained by alight source device 41 for emitting observation light, ascope 42 for insertion into a body cavity, and an imaging means. Aprocessor 43 that performs signal processing of the image signal, amonitor 44 that displays an image, and aphotographic device 45 that records the image on a photographic film.
[0057]
Thelight source device 41 includes alamp 46 that emits light, and arotary filter plate 47 that is provided on the illumination optical path of thelamp 46 and limits the transmission wavelength.
[0058]
Thescope 42 includes a light guide 48 that allows illumination light to pass through, aCCD 49 that is an imaging unit that captures light from a subject, alens 50, and an actuator 51 that moves thelens 50. In addition, the operation unit for operating thescope 42 includes afreeze switch 52 for instructing a still image (freeze), arelease switch 53 for instructing recording on thephotographic device 45, and an actuator at a position that can be easily pressed by the user. Anenlargement switch 54 which is an enlargement ratio changing means for instructing 51 to move to the “enlargement” side, and a wide-angle switch 54 for instructing movement of the actuator 51 to the “wide-angle” side are arranged.
[0059]
Theprocessor 43 includes aCCD drive circuit 56, apreprocess circuit 57, an A /D conversion circuit 58, aselector 59, three simultaneous memories 60a to 60c, and threefreeze memories 61a which are memory means for still images. To 61c, three blur correction memories 62a to 62c, three D / A conversion circuits 63a to 63c, anactuator control circuit 64, a memoryaddress control circuit 65, afreeze control circuit 66, and a minimum colormisregistration search circuit 67.
[0060]
The memoryaddress control circuit 65, together with the blur correction memories 62a to 62c and the minimummisregistration search circuit 67, R, G of the blur correction memories 62a to 62c based on the misregistration search area set based on the enlargement ratio of theenlargement switch 54. Color misregistration information detection function (means) for retrieving each R, G, B data into the minimum colormisregistration search circuit 67 and detecting color misregistration information between the R, G, B images. ). The memoryaddress control circuit 65 controls reading of thefreeze memories 61a to 61c based on the color misregistration minimum value information from the color misregistrationminimum search circuit 67, and outputs R, G, B signals corrected for color misregistration. A color misregistration correction function (means) is provided.
[0061]
[Action]
Light emitted from thelamp 46 of thelight source device 41 passes through therotary filter plate 47 and enters the light guide 48 of thescope 42. Therotary filter plate 47 is driven to rotate at a predetermined speed by a motor (not shown), so that an R filter, a G filter, and a B filter (not shown) are sequentially placed on the optical path, and red, green, and blue light are sequentially transmitted. .
[0062]
The light incident on the light guide 48 of thescope 42 is irradiated onto a subject such as the digestive tract from the distal end of the scope. Light scattered and reflected by the subject forms an image on theCCD 49 at the tip of the scope. TheCCD 49 is driven by theCCD drive circuit 56 in synchronization with the rotation of therotary filter plate 47, and theCCD 49 is imaged when illuminated by the light transmitted through each filter of therotary filter plate 47 such as the R filter, G filter, and B filter. Signals are sequentially output to theprocessor 43.
[0063]
The image pickup signal input to theprocessor 43 is first input to thepreprocess circuit 57. Thepreprocess circuit 57 extracts an image signal (pixel signal) from the CCD image pickup signal by a process such as CDS (correlated double sampling). The signal output from thepreprocess circuit 57 is converted from an analog signal to a digital signal by the A /D conversion circuit 58.
[0064]
The signal output from the A /D conversion circuit 58 is distributed by theselector 59, and the images when the R filter, G filter, and B filter are inserted are respectively stored in the synchronization memory R60a, the synchronization memory G60b, and the synchronization memory B60c. Remembered. The images stored in each of the synchronization memories 60a to 60c are read out at the same time, so that frame sequential images are synchronized. The synchronized image is temporarily stored in thefreeze memories 61a to 61c and then read out, so that the position to be displayed on themonitor 44 is adjusted. This adjustment is performed by controlling the write timing and read timing of thefreeze memories 61a to 61c. When the freeze operation is not performed, the gamma correction circuit (not shown) performs conversion for correcting the gamma characteristic of themonitor 44, is converted into an analog signal by the D / A conversion circuits 63a to 63c, and the moving image is displayed on themonitor 44. Is displayed. On themonitor 44, a moving image is usually obtained in real time, and a still image can be observed when the operator performs a freeze operation.
[0065]
When the operator presses theenlargement switch 54, an enlargement instruction signal is input to theactuator control circuit 64, and theactuator control circuit 64 drives the actuator 51 to move thelens 50 to the enlargement side. When the wide-angle switch 55 is pressed, a wide-angle instruction signal is input to theactuator control circuit 64, and theactuator control circuit 64 drives the actuator 51 to move thelens 50 to the wide-angle side. In this way, the operator can observe on themonitor 44 at various magnifications. Theactuator control circuit 64 has an actuator position detection circuit (not shown), and generates and outputs an enlargement ratio signal based on the position detection of the actuator 51. The enlargement ratio signal is sent to the memoryaddress control circuit 65.
[0066]
Next, the operation during freezing will be described. When the operator presses thefreeze switch 52, a freeze instruction signal is input to thefreeze control circuit 66. Thefreeze control circuit 66 compares the color shifts of the R, G, and B image signals synchronized in the synchronization memories 60a to 60c, and stops writing to thefreeze memories 61a to 61c at the timing with the least color shift. Thus, a still image of the combination of R, G, and B with the least color shift within a predetermined time after the input of the freeze instruction signal is output. Thefreeze control circuit 66 outputs a correction instruction signal to the memoryaddress control circuit 65 after the freeze image is determined. When the correction instruction signal is sent to the memoryaddress control circuit 65, the memoryaddress control circuit 65 reads the data of thefreeze memories 61a to 61c and takes them into the blur correction memories 62a to 62c under the control.
[0067]
The color misregistrationminimum search circuit 67 performs address search with the minimum color misregistration for the image areas of the blur correction memories 62a to 62c according to the flowchart of FIG. The color misregistration minimum search is performed for the R signal and the G signal, and the G signal and the B signal, but FIG. 10 shows only the operations for the R signal and the G signal.
[0068]
First, as shown in step S11 in FIG. 10, the memoryaddress control circuit 65 determines the search pixel interval c related to the color misregistration search area in accordance with the enlargement ratio signal from theactuator control circuit 64 based on the enlargement instruction. And set for the shake correction memories 62a to 62c. Here, when the enlargement rate is large, the search pixel interval c is set large, and when the enlargement rate is small, the search pixel interval c is set small. In the present embodiment, the color misregistration search is executed at 25 locations every 5 pixels in the horizontal direction (variable i) and 5 locations every 5 pixels in the vertical direction (variable j). Accordingly, when the enlargement ratio is large, the color misregistration search area on the blur correction memories 62a to 62c is set large, and when the enlargement ratio is small, the color misregistration search area is set small. In steps S12 to S14, for the color misregistration search region set in the R blur correction memory 62a, sample search is performed at, for example, 25 locations every c pixels after 0 → i, 0 → j, and an image is read. This is the same as the sample search described in FIG.
[0069]
Then, as shown in step S15, in order to search for the minimum color misregistration once in the image area of the R blur correction memory 62a, the G blur correction memories 62b and 62c are fixed and the R blur correction memory is fixed. The reading address 62a is shifted to read an image.
[0070]
Next, in step S16, an image is read from the G blur correction memory 62b. As in the above, the image is read by performing a sample search at, for example, 25 locations every c pixels. In steps S17 and S18, color misregistration between the R image read in S12 to S14 and the plurality of R images read by address shifting in S15 and the G image read in S16 is detected. An evaluation value of color misregistration is calculated based on the color misregistration information, and the read address of the R blur correction memory 62a where the color misregistration is minimized is stored. The above is the minimum color misregistration search operation by coarse search detection every c pixels. However, when the enlargement ratio is large, the minimum color shift may not be found by the above-described search method. At this time, by performing S19 to S26 in FIG. 10 (fine search detection, detection every other pixel here), a more accurate color misregistration minimum image can be found. In the flowchart of FIG. 10, the minimum color misregistration address of the R signal and the G signal is searched, but this is similarly performed for the G signal and the B signal.
[0071]
When the search of the color misregistrationminimum search circuit 67 is completed, the memoryaddress control circuit 65 performs the color misregistration correction by performing the read address control of thefreeze memories 61a to 61c according to the color misregistration minimum address searched by the color misregistrationminimum search circuit 67. The read images are read from thefreeze memories 61 a to 61 c and output to themonitor 44. By this misregistration correction, it is possible to further reduce and display the color misregistration left in the still image with little color misregistration stored in thefreeze memories 61a to 61c.
[0072]
Next, the operation during release will be described. When the operator presses therelease switch 53, a release instruction signal (recording instruction to the photographic device 45) is input to thefreeze control circuit 66. The operation of thefreeze control circuit 66 is almost the same as that at the time of freezing. However, after the time required for creating the color misregistration corrected image has elapsed since the correction instruction signal was output, the image recording instruction signal is sent to thephotographic device 45. Sent. Thephotographic device 45 receives an image recording instruction signal and shoots the input image signal on a film. Thefreeze control circuit 66 automatically resumes writing to thefreeze memories 61 a to 61 c after the image recording instruction signal is output, and the moving image is displayed on themonitor 44 again.
[0073]
In this embodiment, optical enlargement is performed, but this may be applied to electronic zoom.
[0074]
〔effect〕
When the image is enlarged, the color shift becomes larger than when the image is not enlarged. Therefore, by setting the size of the color misregistration search area according to the enlargement rate, it is possible to perform proper color misregistration detection and correction even during enlargement.
[0075]
(Appendix 1)
An image pickup means for picking up a subject image in a surface sequential manner;
Memory means for storing each image that is imaged by the imaging means in a surface sequential manner and combines them to form one image;
Determining means for determining the type of the imaging means;
An area setting means for setting a specific area within the range of each image for each of the images sequentially imaged according to the type of the imaging means determined by the determining means;
Color misregistration information detection means for detecting color misregistration information between the images stored in the memory means based on the area set by the area setting means;
Color misregistration correcting means for correcting the color misregistration based on the color misregistration information detected by the color misregistration information detecting means;
A color misregistration correction apparatus comprising:
[0076]
(Appendix 2)
An image pickup means for picking up a subject image in a surface sequential manner;
Memory means for storing each image that is imaged by the imaging means in a surface sequential manner and combines them to form one image;
Brightness detection means for detecting a portion of the imaging signal from the imaging means whose brightness level is a predetermined value or more;
Area setting means for setting a predetermined area including the part within the range of each image captured in the frame sequential manner according to the part detected by the brightness detection means;
Color misregistration information detection means for detecting color misregistration information between the images stored in the memory means based on the area set by the area setting means;
Color misregistration correcting means for correcting the color misregistration based on the color misregistration information detected by the color misregistration information detecting means;
A color misregistration correction apparatus comprising:
[0077]
(Appendix 3)
An image pickup means for picking up a subject image in a surface sequential manner;
Memory means for storing each image that is imaged by the imaging means in a surface sequential manner and combines them to form one image;
An enlargement magnification changing means for changing an enlargement magnification of an image captured by the imaging means and displayed on the display means;
Area setting means for setting a specific area within the range of each image for each of the images sequentially picked up in accordance with the enlargement magnification in the enlargement magnification changing means;
Color misregistration information detection means for detecting color misregistration information between the images stored in the memory means based on the area set by the area setting means;
Color misregistration correcting means for correcting the color misregistration based on the color misregistration information detected by the color misregistration information detecting means;
A color misregistration correction apparatus comprising:
[0078]
【The invention's effect】
  As described above, according to the present invention,It is possible to provide an endoscope apparatus that can detect and appropriately correct a color shift at the time of a still image.
  Also,Since the size of the color misregistration search area is set according to the type of CCD or the number of pixels, the larger the number of pixels, the easier the color misregistration of the image can be detected and corrected.
[0079]
Moreover, in an endoscopic image composed of a plurality of images obtained in time series, an area having a certain brightness is set as a color misregistration search area, so that a certain amount of attention from the user is obtained. Color misregistration detection and correction can be easily realized in an area having a brightness of.
[0080]
Furthermore, since the color misregistration is larger when enlarging than when non-enlarging, the size of the color misregistration search area is set according to the enlarging rate. It can be easily detected and corrected.
[0081]
Furthermore, in an endoscopic image composed of a plurality of images obtained in time series, the color shift of the endoscopic image is detected and corrected based on the relative positional relationship of the plurality of images. The circuit scale is small, and good color misregistration detection and correction can be performed on the color misregistration image generated in the conventional still image.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an apparatus for performing color misregistration detection and correction according to a first embodiment of the present invention.
FIG. 2 is a block diagram illustrating a configuration example of a color misregistration minimum detection circuit in FIG. 1;
3 is a circuit diagram showing a configuration example of a mismatch circuit in FIG. 2. FIG.
4 is a diagram for explaining an example of a color misregistration detection method in FIGS. 2 and 3. FIG.
FIG. 5 is a timing chart for schematically explaining the operation of the embodiment of FIG. 1;
6 is a flowchart for explaining the operation of the color misregistration minimum detection circuit in FIG. 1;
FIG. 7 is a block diagram showing an apparatus for detecting and correcting color misregistration according to the second embodiment of the present invention.
FIG. 8 is an overall configuration diagram of an electronic endoscope apparatus to which the apparatus for detecting and correcting color misregistration according to the first and second embodiments is applied.
FIG. 9 is an overall configuration diagram of an electronic endoscope apparatus to which an apparatus for detecting and correcting color misregistration according to a third embodiment of the present invention is applied.
10 is a flowchart for explaining a color misregistration minimum address search operation of the color misregistration minimum search circuit in FIG. 9;
[Explanation of symbols]
1 ... Processor
2. Endoscope
3 ... Monitor
5 ... CCD
6. CCD drive means
8 ... Signal processing means
9. Light guide
11: Signal processing means
12 ... Frame sequential signal synchronization means
13: Still image processing means
14 ... Sequential light source device
15: Aperture control means
16 ... RGB rotation filter control means
17 ... Ramp
19 ... RGB rotation filter
20 ... Motor
21 ... CCD discrimination circuit
22 ... A / D conversion circuit
23. Synchronization circuit
24 ... Freeze indication circuit
25. Still image memory (freeze memory)
26: Shake correction memory
27: Color misregistration search area setting circuit
28 ... Memory R / W controller
29 ... Minimum color shift detection circuit
31 ... D / A conversion means
33 ... Screen brightness detection circuit
34: Deviation vector calculation means
41 ... Light source device
42 ... Scope
43 ... Processor
44 ... Monitor
45. Photography device
46 ... Ramp
47 ... Rotating filter plate
48 ... Light guide
49 ... CCD
51. Actuator
52 ... Freeze switch
53 ... Release switch
54 ... Enlargement switch
55 ... Wide-angle switch
56 ... CCD drive circuit
57. Preprocess circuit
58. A / D conversion circuit
59 ... Selector
60a-60c ... simultaneous memory
61a-61c ... Freeze memory
62a to 62c: blur correction memory
63a to 63c ... D / A conversion circuit
64 ... Actuator control circuit
65: Memory address control circuit
66 ... Freeze control circuit
67 ... Minimum color misregistration search circuit

Claims (4)

Translated fromJapanese
被写体像を面順次撮像する撮像手段と、
前記撮像手段により面順次撮像され、それぞれを合成することで1つの画像を成す各画像を記憶するメモリ手段と、
記面順次撮像された各画像のそれぞれに対し、前記各画像の範囲内で特定の領域を設定する領域設定手段と、
前記領域設定手段により設定された領域に基づき、前記メモリ手段に記憶された前記各画像間の色ずれ情報を検出し、その検出結果に応じて、前記面順次撮像された各画像毎に水平方向および垂直方向にぶれ補正用メモリを用いて位置をずらすことにより、色ずれが最小となる色ずれ最小値情報を検出する色ずれ情報検出手段と、
前記色ずれ情報検出手段から検出された色ずれ最小値情報に基づいて前記メモリ手段の読出し位置を制御し、色ずれを補正した各画像の信号を出力させる色ずれ補正手段と、
を具備したことを特徴とする内視鏡装置。
An image pickup means for picking up a subject image in a surface sequential manner;
Memory means for storing each image that is imaged by the imaging means in a surface sequential manner and combines them to form one image;
For each of the images that are sequentially capturedbefore Symbol surface, an area setting means for the setting a specific region within each image,
Based on the area set by the area setting means, color misregistration information between the images stored in the memory means is detected, and in accordance with the detection result, the horizontal direction is determined for each image taken in the frame sequential manner. And color misregistration information detection meansfor detecting color misregistration minimum value information that minimizes color misregistration by shifting the position using a blur correction memory in the vertical direction ;
Color misregistration correction means for controlling the reading position of the memory means based on the color misregistration minimum value information detected from the color misregistration information detection means, and outputting a signal of each image corrected for color misregistration;
Anendoscope apparatus characterizedby comprising:
前記撮像手段の種別を判別する判別手段をさらに具備し、Further comprising a determining means for determining the type of the imaging means;
前記領域設定手段は、前記判別手段により判別された前記撮像手段の種類に応じて、前記面順次撮像された各画像のそれぞれに対し、前記各画像の範囲内で特定の領域を設定することを特徴とする請求項1に記載の内視鏡装置。The area setting means sets a specific area within the range of each image for each of the images sequentially picked up according to the type of the imaging means determined by the determination means. The endoscope apparatus according to claim 1, wherein the endoscope apparatus is characterized.
前記撮像手段からの撮像信号のうち、明るさレベルが所定値以上の部位を検出する明るさ検出手段をさらに具備し、Among the imaging signals from the imaging means, further comprising a brightness detection means for detecting a part having a brightness level of a predetermined value or more,
前記領域設定手段は、前記明るさ検出手段により検出された前記部位に応じて、前記部位を含む所定の領域を前記面順次撮像された各画像の範囲内で設定することを特徴とする請求項1に記載の内視鏡装置。The area setting means sets a predetermined area including the part within the range of each image sequentially imaged according to the part detected by the brightness detection means. The endoscope apparatus according to 1.
前記撮像手段により撮像され、表示手段にて表示される映像の拡大倍率を変化する拡大倍率変化手段をさらに具備し、Further comprising an enlargement ratio changing means for changing an enlargement ratio of an image picked up by the image pickup means and displayed on the display means;
前記領域設定手段は、前記拡大倍率変化手段における前記拡大倍率に応じて、前記面順次撮像された各画像のそれぞれに対し、前記各画像の範囲内で特定の領域を設定することを特徴とする請求項1に記載の内視鏡装置。The area setting means sets a specific area within the range of each image for each of the images sequentially picked up in accordance with the enlargement magnification in the enlargement magnification changing means. The endoscope apparatus according to claim 1.
JP34675599A1999-12-061999-12-06 Endoscope deviceExpired - Fee RelatedJP4388182B2 (en)

Priority Applications (1)

Application NumberPriority DateFiling DateTitle
JP34675599AJP4388182B2 (en)1999-12-061999-12-06 Endoscope device

Applications Claiming Priority (1)

Application NumberPriority DateFiling DateTitle
JP34675599AJP4388182B2 (en)1999-12-061999-12-06 Endoscope device

Publications (2)

Publication NumberPublication Date
JP2001169300A JP2001169300A (en)2001-06-22
JP4388182B2true JP4388182B2 (en)2009-12-24

Family

ID=18385604

Family Applications (1)

Application NumberTitlePriority DateFiling Date
JP34675599AExpired - Fee RelatedJP4388182B2 (en)1999-12-061999-12-06 Endoscope device

Country Status (1)

CountryLink
JP (1)JP4388182B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication numberPriority datePublication dateAssigneeTitle
JP3862582B2 (en)*2001-06-292006-12-27富士フイルムホールディングス株式会社 Fluorescence image acquisition method, apparatus and program
JP2003334163A (en)*2002-03-142003-11-25Olympus Optical Co LtdEndoscopic image processor
JP4632761B2 (en)*2004-11-252011-02-16オリンパス株式会社 Electronic endoscope apparatus and color misregistration correction apparatus
JP5841494B2 (en)*2012-05-222016-01-13オリンパス株式会社 Endoscope system

Also Published As

Publication numberPublication date
JP2001169300A (en)2001-06-22

Similar Documents

PublicationPublication DateTitle
EP0650292B1 (en)Image pickup apparatus
US5164824A (en)Image freezing signal-processing apparatus
JP3887453B2 (en) Endoscope device
JP2001258851A (en) Ophthalmic imaging apparatus and color balance adjustment method
JPH0620318B2 (en) Endoscope device
JP2930495B2 (en) Stereoscopic endoscope device
JP4388182B2 (en) Endoscope device
JP2005204741A (en)Electronic endoscope apparatus
JPH10255028A (en) Eye imaging device
JP2000197604A (en)Endoscope device
JP2887924B2 (en) Electronic endoscope device
JP2887167B2 (en) Imaging device
JPH03121038A (en)Endoscope image recording and regenerating device
JP2001136540A (en)Image processor
JP3624181B2 (en) Fundus photographing device
JP2001211448A (en)Endoscope system
JPH0690906A (en)Eyeground photographing device and medical color image processor
JPH069392B2 (en) Endoscopic imaging device
JP2003032529A (en)Signal processor
JP2005087546A (en) Ophthalmic imaging equipment
JPH0644104B2 (en) Endoscopic video system
JP4439245B2 (en) Electronic endoscope device
JPH10248812A (en) Eye photographing device
JP3458073B2 (en) Monitor shooting device for endoscope
JP2003190089A (en) Electronic endoscope apparatus, electronic endoscope system, and shutter member

Legal Events

DateCodeTitleDescription
A621Written request for application examination

Free format text:JAPANESE INTERMEDIATE CODE: A621

Effective date:20061018

A977Report on retrieval

Free format text:JAPANESE INTERMEDIATE CODE: A971007

Effective date:20081205

A131Notification of reasons for refusal

Free format text:JAPANESE INTERMEDIATE CODE: A131

Effective date:20090203

A521Request for written amendment filed

Free format text:JAPANESE INTERMEDIATE CODE: A523

Effective date:20090326

TRDDDecision of grant or rejection written
A01Written decision to grant a patent or to grant a registration (utility model)

Free format text:JAPANESE INTERMEDIATE CODE: A01

Effective date:20090908

A01Written decision to grant a patent or to grant a registration (utility model)

Free format text:JAPANESE INTERMEDIATE CODE: A01

A61First payment of annual fees (during grant procedure)

Free format text:JAPANESE INTERMEDIATE CODE: A61

Effective date:20091002

FPAYRenewal fee payment (event date is renewal date of database)

Free format text:PAYMENT UNTIL: 20121009

Year of fee payment:3

FPAYRenewal fee payment (event date is renewal date of database)

Free format text:PAYMENT UNTIL: 20131009

Year of fee payment:4

S531Written request for registration of change of domicile

Free format text:JAPANESE INTERMEDIATE CODE: R313531

R350Written notification of registration of transfer

Free format text:JAPANESE INTERMEDIATE CODE: R350

LAPSCancellation because of no payment of annual fees

[8]ページ先頭

©2009-2025 Movatter.jp