【0001】[0001]
【発明の属する技術分野】本発明は、欠陥画素から出力
される電子データを補正処理する画像処理装置、画像処
理方法および記録媒体に関する。[0001] 1. Field of the Invention [0002] The present invention relates to an image processing apparatus, an image processing method, and a recording medium for correcting electronic data output from a defective pixel.
【0002】[0002]
【従来の技術】CCD(Charge Couplled Device)など
の固体撮像手段は、例えばデジタルスチルカメラ(以
下、デジタルスチルカメラを「デジタルカメラ」とい
う。)の撮像手段として広く利用されている。デジタル
カメラに利用されるCCDは、一般に30万から200
万の画素を有している。特に、近年ではデジタルカメラ
の画質および解像度の向上を図るために、300万画素
クラスのCCDを搭載するデジタルカメラが実用化され
ている。2. Description of the Related Art Solid-state imaging means such as a CCD (Charge Coupled Device) is widely used as an imaging means of, for example, a digital still camera (hereinafter, a digital still camera is referred to as a "digital camera"). CCDs used in digital cameras generally range from 300,000 to 200
It has 10,000 pixels. In particular, in recent years, in order to improve the image quality and resolution of a digital camera, a digital camera equipped with a 3 million pixel class CCD has been put to practical use.
【0003】[0003]
【発明が解決しようとする課題】しかしながら、CCD
などの固体撮像素子には、正確な画像情報を読み取りま
たは出力することができない「欠陥画素」が存在する。
欠陥画素は、本来出力すべき電子データとは大きく異な
る電子データを出力する。そのため、電子データから画
像を生成した場合、白傷または黒傷といわれる画素欠陥
を発生させる。However, CCDs
Such solid-state imaging devices have "defective pixels" that cannot read or output accurate image information.
The defective pixel outputs electronic data that is significantly different from the electronic data that should be output. Therefore, when an image is generated from electronic data, a pixel defect called a white defect or a black defect is generated.
【0004】白傷は、周囲の画素に比較して出力の大き
な欠陥画素が存在するときに発生する。一方、黒傷は、
周囲の画素に比較して出力が小さな欠陥画素が存在する
ときに発生する。これらの白傷および黒傷は、白傷また
は黒傷を発生させる欠陥画素の周囲の色または輝度によ
って画質劣化の大きな原因となるおそれがある。[0004] White flaws occur when there is a defective pixel whose output is larger than the surrounding pixels. On the other hand, black scratches
This occurs when there is a defective pixel whose output is smaller than the surrounding pixels. These white and black flaws may be a major cause of image quality degradation depending on the color or brightness around the defective pixel that causes the white or black flaw.
【0005】そのため、欠陥画素から出力される電子デ
ータは、欠陥画素の周囲の画素から出力される電子デー
タを基に補正する必要がある。しかし、画像のエッジ部
分のように隣接する画素から出力される電子データが大
きく変化する場合、欠陥画素の周囲の画素から出力され
る電子データに基づいて欠陥画素から出力される電子デ
ータを補正するだけでは、補正の精度が低く、欠陥画素
と周囲の画素との整合性が低下するおそれがある。Therefore, electronic data output from a defective pixel needs to be corrected based on electronic data output from pixels surrounding the defective pixel. However, when electronic data output from an adjacent pixel greatly changes, such as an edge portion of an image, the electronic data output from the defective pixel is corrected based on the electronic data output from pixels around the defective pixel. In this case, the accuracy of the correction is low, and the consistency between the defective pixel and the surrounding pixels may be reduced.
【0006】そこで、本発明の目的は、高精度に欠陥画
素から出力される電子データを補正処理することができ
る画像処理装置、画像処理方法および記録媒体を提供す
ることにある。An object of the present invention is to provide an image processing apparatus, an image processing method, and a recording medium that can correct electronic data output from defective pixels with high accuracy.
【0007】[0007]
【課題を解決するための手段】本発明の請求項1記載の
画像処理装置、請求項2記載の画像処理方法または請求
項4記載の記録媒体によると、欠陥画素に近接して配置
され欠陥画素と同一色の光を受光する近接画素を検出
し、欠陥画素をはさむような位置関係に配置されている
2つの画素から画素組を作成する。作成された画素組を
構成する2つの画素から出力される電子データの出力差
を画素組ごとに算出し、その出力差が最小となる画素組
を抽出する。抽出された画素組を構成する2つの画素か
ら出力される電子データの平均値を算出し、その平均値
で欠陥画素から出力される電子データを補正する。According to the image processing apparatus of the present invention, the image processing method of the present invention, or the recording medium of the present invention, the defective pixel is disposed close to the defective pixel. Then, a neighboring pixel that receives light of the same color is detected, and a pixel set is created from two pixels arranged in a positional relationship sandwiching a defective pixel. An output difference between electronic data output from two pixels constituting the created pixel set is calculated for each pixel set, and a pixel set having the minimum output difference is extracted. The average value of the electronic data output from the two pixels constituting the extracted pixel set is calculated, and the electronic data output from the defective pixel is corrected using the average value.
【0008】画素組を構成する2つの画素から出力され
る電子データの出力差が最小となる画素組を抽出するこ
とにより、欠陥画素の周囲で電子データの出力の変化量
が最も小さい画素組を抽出することができる。すなわ
ち、画素組を構成する2つの画素と欠陥画素との輝度ま
たは色差の変化が最小である部分を抽出することができ
る。いいかえると、エッジをはさまない2つの画素を選
択できることを意味する。そのため、画素組を構成する
2つの画素から出力される電子データと欠陥画素から出
力される電子データとは近似するとみなすことができ
る。[0008] By extracting the pixel set in which the difference between the output of the electronic data output from the two pixels constituting the pixel set is minimized, the pixel set having the smallest change in the output of the electronic data around the defective pixel is extracted. Can be extracted. That is, it is possible to extract a portion where a change in luminance or color difference between the two pixels constituting the pixel set and the defective pixel is minimum. In other words, it means that two pixels that do not sandwich the edge can be selected. Therefore, it can be considered that the electronic data output from the two pixels forming the pixel set and the electronic data output from the defective pixel are approximate.
【0009】そして、この画素組を構成する2つの画素
から出力される電子データを平均することにより、欠陥
画素から出力されるはずの電子データに近似させること
ができる。したがって、欠陥画素から出力される電子デ
ータを周囲の画素から出力される電子データに基づいて
高精度に補正処理をすることができる。Then, by averaging the electronic data output from the two pixels constituting the pixel set, it is possible to approximate the electronic data to be output from the defective pixel. Therefore, the electronic data output from the defective pixel can be corrected with high accuracy based on the electronic data output from the surrounding pixels.
【0010】本発明の請求項3記載の画像処理方法また
は請求項5記載の記録媒体によると、8つの近接画素か
ら4つの画素組を作成する。例えば、CCDなどのエリ
アセンサの場合、欠陥画素を中心に近接しかつ同一色の
光を受光する画素が縦、横および斜めに検出される。こ
の検出された画素から4つの画素組が作成される。した
がって、4つの異なる方向の画素組から出力差が最小と
なる画素組が抽出されるので、欠陥画素からの方向依存
性が低く、補正処理の精度を向上させることができる。According to the image processing method according to the third aspect of the present invention or the recording medium according to the fifth aspect, four pixel sets are created from eight adjacent pixels. For example, in the case of an area sensor such as a CCD, pixels that are close to the center of a defective pixel and receive light of the same color are detected vertically, horizontally, and diagonally. Four pixel sets are created from the detected pixels. Therefore, a pixel set with the minimum output difference is extracted from the pixel sets in four different directions, so that the direction dependency from the defective pixel is low, and the accuracy of the correction processing can be improved.
【0011】[0011]
【発明の実施の形態】本発明の実施の形態を示す一実施
例を図面に基づいて説明する。図2は、本発明の一実施
例による画像処理装置を適用したデジタルカメラ1であ
る。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment showing an embodiment of the present invention will be described with reference to the drawings. FIG. 2 shows a digital camera 1 to which an image processing device according to an embodiment of the present invention is applied.
【0012】図2に示すようにデジタルカメラ1は、制
御部10、画像入力手段20、記録部30、表示部40
およびインターフェイス50などから構成されている。
制御部10は画像入力手段20から出力された電子デー
タを処理するための電気回路である。制御部10は、C
PU(Central Processing Unit)11、ROM(Read
Only Memory)12および処理回路60を有している。
ROM12には、制御部10のCPU11および処理回
路60で実行されるコンピュータプログラムが記録され
ている。As shown in FIG. 2, the digital camera 1 includes a control unit 10, an image input unit 20, a recording unit 30, and a display unit 40.
And an interface 50.
The control unit 10 is an electric circuit for processing electronic data output from the image input unit 20. The control unit 10
PU (Central Processing Unit) 11, ROM (Read
Only Memory) 12 and a processing circuit 60.
The computer program executed by the CPU 11 and the processing circuit 60 of the control unit 10 is recorded in the ROM 12.
【0013】図3に示すように処理回路60は、近接画
素検出手段61、画素組作成手段62、出力差算出手段
63、特定画素組抽出手段64、平均値算出手段65お
よび欠陥画素データ補正手段66から構成されている。
また、図2に示すように制御部10には、ユーザからの
入力を受け付けるための入力手段が接続されている。入
力手段としては、ユーザから撮影の実行の指示が入力さ
れるシャッターボタン71、ならびにデジタルカメラ1
の種々の機能の操作が入力される複数の入力ボタン72
などがある。As shown in FIG. 3, the processing circuit 60 includes a proximity pixel detecting means 61, a pixel set creating means 62, an output difference calculating means 63, a specific pixel set extracting means 64, an average value calculating means 65, and a defective pixel data correcting means. 66.
Further, as shown in FIG. 2, the control unit 10 is connected to input means for receiving an input from a user. The input unit includes a shutter button 71 for inputting a shooting execution instruction from a user and the digital camera 1
Input buttons 72 for inputting operations of various functions
and so on.
【0014】画像入力手段20は、集光レンズ21、撮
像手段としてのCCD22、AMPおよびCDSを含む
アナログ回路、ならびにA/D変換器23を有してい
る。集光レンズ21は被写体からの光をCCD22へ集
光する。CCD22は複数の画素を有している。CCD
22は、水平方向ならびに垂直方向にマトリクス状に画
素が複数個配置されている。The image input means 20 has a condenser lens 21, a CCD 22 as an image pickup means, an analog circuit including AMP and CDS, and an A / D converter 23. The condensing lens 21 condenses light from the subject on the CCD 22. The CCD 22 has a plurality of pixels. CCD
Reference numeral 22 denotes a plurality of pixels arranged in a matrix in the horizontal and vertical directions.
【0015】画素は、受光面側にそれぞれカラーフィル
タが配置されている。補色のカラーフィルタの場合、C
y(Cyan)、Mg(Magenta)、Ye(Yellow)および
G(Green)からなることが多い。CCD22の補色フ
ィルタは、例えば図4に示すように配置されている。ま
た、本実施例のように補色のカラーフィルタを有するC
CDに限らず、R、G、Bからなる原色のカラーフィル
タを有するCCDあるいはモノクロCCD、またはCC
D以外の撮像素子にも適用可能である。なお、本実施例
では図4に示すような補色フィルタを有するCCD22
について説明する。Each pixel has a color filter on the light receiving surface side. In the case of a complementary color filter, C
Often composed of y (Cyan), Mg (Magenta), Ye (Yellow) and G (Green). The complementary color filters of the CCD 22 are arranged, for example, as shown in FIG. Further, as in the present embodiment, C having a complementary color filter is used.
Not limited to CD, CCD or monochrome CCD having primary, color filters of R, G, B, or CC
It is also applicable to imaging devices other than D. In this embodiment, the CCD 22 having a complementary color filter as shown in FIG.
Will be described.
【0016】CCD22の各撮像素子へ入射された光は
電気信号に変換されて出力される。CCD22から出力
された電気信号はアナログ信号であるので、A/D変換
器23でデジタルの電子データへ変換される。Light incident on each image pickup device of the CCD 22 is converted into an electric signal and output. Since the electric signal output from the CCD 22 is an analog signal, the electric signal is converted into digital electronic data by the A / D converter 23.
【0017】記録部30は、RAM(Random Access Me
mory)31およびフラッシュメモリ32を有している。
フラッシュメモリ32は通電しなくても記録内容を保持
することができる書き換え可能な記録媒体であり、デジ
タルカメラ1に内蔵されているか、またはデジタルカメ
ラ1に着脱自在に取り付けられている。RAM31は、
制御部10で処理またはA/D変換器23から出力され
たデジタルの電子データを一時的に記録する。フラッシ
ュメモリ32は、RAM31に一時的に記録されている
電子データを蓄積して保管する。The recording unit 30 has a random access memory (RAM).
mory) 31 and a flash memory 32.
The flash memory 32 is a rewritable recording medium capable of holding recorded contents without power supply, and is built in the digital camera 1 or is detachably attached to the digital camera 1. RAM 31
The control unit 10 temporarily records the processing or digital electronic data output from the A / D converter 23. The flash memory 32 accumulates and stores electronic data temporarily recorded in the RAM 31.
【0018】表示部40は、液晶表示装置(LCD)4
1およびVRAM(Video RAM)42を有している。L
CD41はフラッシュメモリ32に記録されている電子
データまたはA/D変換器23から出力されたデジタル
の電子データに基づく画像を表示する。VRAM42に
はLCD41で表示するために電子データから作成され
る表示データが記録されている。インターフェイス50
は、フラッシュメモリ32に記録されている電子データ
を外部の例えばパーソナルコンピュータなどの機器に出
力する。The display unit 40 includes a liquid crystal display (LCD) 4
1 and a VRAM (Video RAM) 42. L
The CD 41 displays an image based on electronic data recorded in the flash memory 32 or digital electronic data output from the A / D converter 23. Display data created from electronic data for display on the LCD 41 is recorded in the VRAM 42. Interface 50
Outputs the electronic data recorded in the flash memory 32 to an external device such as a personal computer.
【0019】次に、画像処理の方法について詳細に説明
する。ここでは、一例として図1に示すように画素が配
置されたCCD22において、Cy22が欠陥画素であ
る場合について説明する。図1におけるCy00などの
画素表示は、「Cy」がその画素が受光する光の色に対
応するフィルタの色を示し、「00」がその画素の座標
を表すための便宜的な数字を示している。Next, the image processing method will be described in detail. Here, a case where Cy22 is a defective pixel in the CCD 22 in which pixels are arranged as shown in FIG. 1 will be described as an example. In the pixel display such as Cy00 in FIG. 1, “Cy” indicates the color of the filter corresponding to the color of the light received by the pixel, and “00” indicates a convenient number for representing the coordinates of the pixel. I have.
【0020】画像入力手段20のCCD22から出力さ
れた電子データは、一旦記録部30のRAM31に記憶
される。電子データは、CCD22の各画素のアドレス
に対応してRAM31の所定の領域に記憶される。The electronic data output from the CCD 22 of the image input means 20 is temporarily stored in the RAM 31 of the recording unit 30. The electronic data is stored in a predetermined area of the RAM 31 corresponding to the address of each pixel of the CCD 22.
【0021】図1に示すように欠陥画素がある場合、近
接画素検出手段61は、欠陥画素Cy22に近接して配
置され、欠陥画素Cy22と同一の色の光を受光する8
つの同一色受光画素(以下、同一色受光画素を「近接画
素」という。)を検出する。図1に示すような画素の配
置の場合、近接画素はCy00、Cy02、Cy04、
Cy20、Cy24、Cy40、Cy42およびCy4
4の8つである。欠陥画素Cy22は、例えば工場出荷
時あるいは所定の時期に実施される欠陥画素検出行程に
おいて検出され、検出された欠陥画素はフラッシュメモ
リ32にその位置情報が記録される。したがって、近接
画素検出手段61はフラッシュメモリ32に記録されて
いる欠陥画素Cy22の位置情報に基づいて、図1の楕
円で囲んだ部分に示すように8つの近接画素Cy00、
Cy02、Cy04、Cy20、Cy24、Cy40、
Cy42およびCy44を検出する。When there is a defective pixel as shown in FIG. 1, the proximity pixel detecting means 61 is arranged close to the defective pixel Cy22 and receives light of the same color as the defective pixel Cy22.
The same color light receiving pixels (hereinafter, the same color light receiving pixels are referred to as “proximal pixels”) are detected. In the case of the pixel arrangement as shown in FIG. 1, the neighboring pixels are Cy00, Cy02, Cy04,
Cy20, Cy24, Cy40, Cy42 and Cy4
It is eight of four. The defective pixel Cy22 is detected in, for example, a defective pixel detection process performed at the time of shipment from a factory or at a predetermined time. The position information of the detected defective pixel is recorded in the flash memory 32. Therefore, based on the position information of the defective pixel Cy22 recorded in the flash memory 32, the neighboring pixel detecting means 61 calculates eight neighboring pixels Cy00, as shown in a portion surrounded by an ellipse in FIG.
Cy02, Cy04, Cy20, Cy24, Cy40,
Cy42 and Cy44 are detected.
【0022】画素組作成手段62は、検出した近接画素
から画素組を作成する。画素組は、欠陥画素Cy22を
はさむような位置関係に配置されている2つの近接画素
について作成される。すなわち、画素組は図1の破線で
示すように欠陥画素Cy22を中心に縦方向、横方向お
よび2つの対角線方向へそれぞれ作成される。したがっ
て、4つの画素組d1(Cy00とCy44)、d2
(Cy02とCy42)、d3(Cy04とCy40)
およびd4(Cy20とCy24)が作成される。The pixel set creating means 62 creates a pixel set from the detected neighboring pixels. A pixel group is created for two adjacent pixels arranged in a positional relationship sandwiching the defective pixel Cy22. That is, the pixel groups are created in the vertical direction, the horizontal direction, and the two diagonal directions centering on the defective pixel Cy22 as shown by the broken lines in FIG. Therefore, four pixel sets d1 (Cy00 and Cy44), d2
(Cy02 and Cy42), d3 (Cy04 and Cy40)
And d4 (Cy20 and Cy24) are created.
【0023】出力差算出手段63は、作成された画素組
d1、d2、d3およびd4についてそれぞれ出力差δ
を算出する。出力差δは、画素組d1、d2、d3およ
びd4をそれぞれ構成する2つの画素(Cy00とCy
44)、(Cy02とCy42)、(Cy04とCy4
0)および(Cy20とCy24)から出力されRAM
31に記憶されている電子データに基づいて算出され
る。ここで、電子データとは、画素から出力される電子
データの大きさを示す階調である。例えば、画素から出
力される電子データが8bitの場合、0から255ま
での256階調ということになる。The output difference calculating means 63 outputs an output difference δ for each of the created pixel sets d1, d2, d3 and d4.
Is calculated. The output difference δ is calculated based on two pixels (Cy00 and Cy00) constituting the pixel sets d1, d2, d3, and d4, respectively.
44), (Cy02 and Cy42), (Cy04 and Cy4)
0) and RAM output from (Cy20 and Cy24)
31 is calculated based on the electronic data stored in the storage unit 31. Here, the electronic data is a gradation indicating the size of the electronic data output from the pixel. For example, when the electronic data output from the pixel is 8 bits, there are 256 gradations from 0 to 255.
【0024】例えば、近接画素Cy00、Cy02、C
y04、Cy20、Cy24、Cy40、Cy42およ
びCy44から出力される電子データが図5に示すよう
な場合、出力差は以下のとおりである。各近接画素から
出力される電子データの大きさは、図5において各画素
を示す画素表示の下方に記載している数字である。For example, adjacent pixels Cy00, Cy02, C
When the electronic data output from y04, Cy20, Cy24, Cy40, Cy42, and Cy44 is as shown in FIG. 5, the output differences are as follows. The size of the electronic data output from each adjacent pixel is a number described below the pixel display indicating each pixel in FIG.
【0025】以下の式では、画素組d1を構成する2つ
の画素(Cy00とCy44)から出力される電子デー
タの出力差をδ1、画素組d2を構成する2つの画素
(Cy02とCy42)から出力される電子データの出
力差をδ2、画素組d3を構成する2つの画素(Cy0
4とCy40)から出力される電子データの出力差をδ
3、ならびに画素組d4を構成する2つの画素(Cy2
0とCy24)から出力される電子データの出力差をδ
4としている。In the following equation, the output difference between the electronic data output from the two pixels (Cy00 and Cy44) forming the pixel set d1 is δ1, and the output difference between the two pixels (Cy02 and Cy42) forming the pixel set d2 is The output difference of the electronic data to be obtained is δ2, and the two pixels (Cy0
4 and Cy40) is the output difference between the electronic data
3 and two pixels (Cy2
0 and the output difference of the electronic data output from Cy 24) is δ
It is set to 4.
【0026】図5に示す場合、欠陥画素Cy22から出
力される電子データは周囲の近接画素Cy00、Cy0
2、Cy04、Cy20、Cy24、Cy40、Cy4
2およびCy44から出力される電子データよりも小さ
く、画像中の黒傷となる。In the case shown in FIG. 5, the electronic data output from the defective pixel Cy22 includes neighboring neighboring pixels Cy00 and Cy0.
2, Cy04, Cy20, Cy24, Cy40, Cy4
2 and smaller than the electronic data output from Cy 44, resulting in black flaws in the image.
【0027】δ1=|Cy00−Cy44|=|190
−230|=40 δ2=|Cy02−Cy42|=|240−210|=
30 δ3=|Cy04−Cy40|=|250−150|=
100 δ4=|Cy20−Cy24|=|170−240|=
70 特定画素組抽出手段64は、出力差算出手段63で算出
された出力差δ1、δ2、δ3およびδ4から最小の出
力差δminとなる特定画素組dminを抽出する。図
5に示すような場合、特定画素組dminはδ=30と
なる画素組d2である。Δ1 = | Cy00−Cy44 | = | 190
−230 | = 40 δ2 = | Cy02−Cy42 | = | 240−210 | =
30 δ3 = | Cy04−Cy40 | = | 250−150 | =
100 δ4 = | Cy20−Cy24 | = | 170−240 | =
70. The specific pixel set extracting means 64 extracts a specific pixel set dmin having the minimum output difference δmin from the output differences δ1, δ2, δ3 and δ4 calculated by the output difference calculating means 63. In the case as shown in FIG. 5, the specific pixel set dmin is a pixel set d2 where δ = 30.
【0028】特定画素組dminすなわちd2を構成す
る2つの近接画素Cy02、Cy42から出力される電
子データは、平均値算出手段65により処理される。平
均値算出手段65は、特定画素組dminすなわちd2
を構成する2つの近接画素Cy02、Cy42から出力
される電子データを平均して、平均値Davを算出す
る。 Dav=(240+210)/2=225The electronic data output from the two adjacent pixels Cy02 and Cy42 forming the specific pixel set dmin, ie, d2, is processed by the average value calculating means 65. The average value calculation means 65 calculates the specific pixel set dmin, that is, d2
Are averaged, and the average value Dav is calculated by averaging the electronic data output from the two adjacent pixels Cy02 and Cy42. Dav = (240 + 210) / 2 = 225
【0029】算出された平均値Dav=225は、欠陥
画素データ補正手段66により補正処理される。補正処
理は、RAM31に記録されている電子データのうち欠
陥画素Cy22に対応する電子データを、算出された平
均値Dav=225と置換することにより実施される。The calculated average value Dav = 225 is corrected by the defective pixel data correcting means 66. The correction process is performed by replacing the electronic data corresponding to the defective pixel Cy22 among the electronic data recorded in the RAM 31 with the calculated average value Dav = 225.
【0030】次に、比較のために複数の比較例について
説明する。以下の複数の比較例では、上記の実施例と同
様に図4に示す画素の配置および図5に示す電子データ
の出力値を用いて説明する。Next, a plurality of comparative examples will be described for comparison. In the following plurality of comparative examples, a description will be given using the pixel arrangement shown in FIG. 4 and the output values of the electronic data shown in FIG. 5, as in the above-described embodiment.
【0031】(比較例1)まず、比較例1について説明
する。比較例1は、欠陥画素Cy22から出力される電
子データを補正する方法として、左隣の近接画素Cy2
0から出力される電子データの値を用いるものである。 Cy22=Cy20(Comparative Example 1) First, Comparative Example 1 will be described. In Comparative Example 1, as a method of correcting the electronic data output from the defective pixel Cy22, a neighboring pixel Cy2 on the left is used.
The value of electronic data output from 0 is used. Cy22 = Cy20
【0032】すなわち、上記の式のように欠陥画素Cy
22から出力される電子データの値を、Cy20の値で
置換するものである。したがって、図5に示すような電
子データの出力の場合、欠陥画素Cy22からの電子デ
ータの出力はCy20と同一の170ということにな
る。That is, as shown in the above equation, the defective pixel Cy
The value of the electronic data output from 22 is replaced with the value of Cy20. Therefore, in the case of the output of the electronic data as shown in FIG. 5, the output of the electronic data from the defective pixel Cy22 is 170 which is the same as the output of Cy20.
【0033】(比較例2)比較例2は、欠陥画素Cy2
2から出力される電子データを補正する方法として、左
隣の画素Cy20から出力される電子データの値と右隣
の画素Cy24から出力される電子データの値との平均
値を用いるものである。Cy22=(Cy20+Cy2
4)/2=(170+240)/2=205(Comparative Example 2) In Comparative Example 2, a defective pixel Cy2
As a method of correcting the electronic data output from the second pixel 2, the average value of the value of the electronic data output from the pixel Cy20 on the left and the value of the electronic data output from the pixel Cy24 on the right is used. Cy22 = (Cy20 + Cy2
4) / 2 = (170 + 240) / 2 = 205
【0034】すなわち、欠陥画素Cy22の左右に近接
するCy20およびCy24の2つの画素から出力され
る電子データの出力値を平均し、その平均値を欠陥画素
Cy22からの出力として置換する。したがって、図5
に示すような電子データの出力の場合、欠陥画素Cy2
2からの電子データの出力は205ということになる。That is, the output values of the electronic data output from the two pixels Cy20 and Cy24 adjacent to the left and right of the defective pixel Cy22 are averaged, and the average is replaced as the output from the defective pixel Cy22. Therefore, FIG.
In the case of the output of the electronic data as shown in FIG.
The output of electronic data from 2 is 205.
【0035】(比較例3)比較例3は、欠陥画素Cy2
2から出力される電子データを補正する方法として、欠
陥画素Cy22の周囲に近接する8つの近接画素Cy0
0、Cy02、Cy04、Cy20、Cy24、Cy4
0、Cy42およびCy44から出力される電子データ
の平均値を用いるものである。 Cy22=(Cy00+Cy02+Cy04+Cy20+Cy24+Cy40+Cy42+Cy44)/8 =(190+240+250+170+240+150+210+230)/8=210(Comparative Example 3) In Comparative Example 3, a defective pixel Cy2
As a method for correcting the electronic data output from the second pixel 2, eight adjacent pixels Cy0 adjacent to the periphery of the defective pixel Cy22
0, Cy02, Cy04, Cy20, Cy24, Cy4
The average value of the electronic data output from 0, Cy42 and Cy44 is used. Cy22 = (Cy00 + Cy02 + Cy04 + Cy20 + Cy24 + Cy40 + Cy42 + Cy44) / 8 = (190 + 240 + 250 + 170 + 240 + 150 + 210 + 230) / 8 = 210
【0036】すなわち、欠陥画素Cy22に近接する8
画素から出力される電子データの出力値を平均し、その
平均値を欠陥画素Cy22からの出力として置換する。
したがって、図5に示すような電子データの出力の場
合、欠陥画素Cy22からの電子データの出力は210
ということになる。That is, 8 near the defective pixel Cy22
The output values of the electronic data output from the pixels are averaged, and the average value is replaced as the output from the defective pixel Cy22.
Therefore, in the case of the output of the electronic data as shown in FIG. 5, the output of the electronic data from the defective pixel Cy22 is 210
It turns out that.
【0037】(実施例および比較例の評価)上記の実施
例および比較例で説明した方法を、図6に示すような電
子データを出力する実際の画像に適用してシュミレーシ
ョンした結果を以下の表1に示している。なお、この評
価では上述の実施例および比較例のように8bit(2
56階調)のデータを用いたものではない。(Evaluation of Examples and Comparative Examples) The results obtained by applying the methods described in the above Examples and Comparative Examples to actual images outputting electronic data as shown in FIG. It is shown in FIG. In this evaluation, 8 bits (2 bits) were used as in the above Examples and Comparative Examples.
(56 gradations).
【0038】評価の方法は、次のとおりである。画像の
任意の場所に設定した欠陥画素から出力される電子デー
タの値を上記の実施例、比較例1、比較例2および比較
例3から算出する。算出された値と実際の欠陥画素から
の出力値との誤差を検討することにより補正の評価をし
ている。シュミレーションに用いた欠陥画素P1からP
6は、評価のために任意に設定しているため、実際の出
力値がわかる。図6に示すように、網掛けされている部
分が欠陥画素である。欠陥画素P1からP6は、誤差が
大きくなると考えられるエッジ部分の周囲に設定してい
る。The evaluation method is as follows. The value of the electronic data output from the defective pixel set at an arbitrary position in the image is calculated from the above-described Example, Comparative Example 1, Comparative Example 2, and Comparative Example 3. The correction is evaluated by examining the error between the calculated value and the output value from the actual defective pixel. Defective pixels P1 to P used for simulation
6 is set arbitrarily for evaluation, so that the actual output value can be determined. As shown in FIG. 6, the shaded portions are defective pixels. The defective pixels P1 to P6 are set around an edge portion where an error is considered to be large.
【0039】[0039]
【表1】[Table 1]
【0040】表1からわかるように、実施例による補正
は他の比較例1、比較例2および比較例3と比較して全
体的な誤差が小さくなっている。欠陥画素の場所によっ
ては実施例よりも比較例の誤差が小さくなる場合もあ
る。しかし、表1に示す誤差の値が大きな場合(例えば
比較例1のP4参照)、画像の中で視覚的な色変わりと
して認識され、特に誤差の値が大きなところでは明らか
な色変化が生じている。そのため、全体的に誤差が小さ
な本実施例が欠陥画素の補正に有効であることがわか
る。As can be seen from Table 1, the overall error in the correction according to the embodiment is smaller than that in the other comparative examples 1, 2, and 3. The error of the comparative example may be smaller than that of the embodiment depending on the location of the defective pixel. However, when the error value shown in Table 1 is large (for example, see P4 of Comparative Example 1), it is recognized as a visual color change in the image, and a clear color change occurs particularly where the error value is large. . Therefore, it can be seen that the present embodiment having a small error as a whole is effective for correcting a defective pixel.
【0041】次に、本実施例によるデジタルカメラ1の
作動について簡単に説明する。ユーザにより図示しない
デジタルカメラ1の電源スイッチがオンにされ、シャッ
ターボタン71が押し込まれると以下のように撮影が実
行される。Next, the operation of the digital camera 1 according to this embodiment will be briefly described. When the power switch of the digital camera 1 (not shown) is turned on by the user and the shutter button 71 is pressed, shooting is performed as follows.
【0042】被写体からの光は集光レンズ21によりC
CD22へ集光される。CCD22では集光された光が
電気信号に変換され出力される。出力された電気信号は
CDSやAGCなどでアナログ処理されたアナログ信号
であるので、A/D変換器23でデジタルの電子データ
に変換される。この電子データは、処理回路60により
色調や露出の補正ならびに上述のような画素の補正また
は補間などの画像処理が実施された後、適切なカラー画
像として作成される。そして、例えばJPEG(Joint
Photographic Experts Group)やTIFF(Tagged Ima
ge File Format)などのファイル形式の電子データに圧
縮され、フラッシュメモリ32へ複製され記録される。The light from the subject is condensed by the condenser lens 21
The light is focused on CD22. The CCD 22 converts the collected light into an electric signal and outputs the electric signal. Since the output electric signal is an analog signal that has been subjected to analog processing by CDS, AGC, or the like, it is converted into digital electronic data by the A / D converter 23. The electronic data is created as an appropriate color image after image processing such as color tone and exposure correction and pixel correction or interpolation as described above is performed by the processing circuit 60. Then, for example, JPEG (Joint
Photographic Experts Group) and TIFF (Tagged Ima)
(ge File Format), and the data is compressed to a flash memory 32 and recorded.
【0043】以上、説明したように、上記実施例による
画像処理方法によると、画素組を構成する2つの画素か
ら出力される電子データの出力差が最小となる画素組を
抽出している。出力差が最小となる画素組を抽出するこ
とにより、欠陥画素の周囲で電子データの出力の変化量
が最も小さい画素組を抽出することができる。すなわ
ち、画素組を構成する2つの画素と欠陥画素との輝度ま
たは色差の変化が最小である平坦に近似される部分を抽
出することができる。そのため、画素組を構成する2つ
の画素から出力される電子データと欠陥画素から出力さ
れる電子データとは近似するとみなすことができる。As described above, according to the image processing method according to the above-described embodiment, the pixel set in which the output difference between the electronic data output from the two pixels constituting the pixel set is minimized is extracted. By extracting the pixel set with the smallest output difference, it is possible to extract the pixel set with the smallest change in the output of the electronic data around the defective pixel. That is, it is possible to extract a portion that is approximately flat and has a minimum change in luminance or color difference between the two pixels forming the pixel set and the defective pixel. Therefore, it can be considered that the electronic data output from the two pixels forming the pixel set and the electronic data output from the defective pixel are approximate.
【0044】そして、この画素組を構成する2つの画素
から出力される電子データを平均することにより、欠陥
画素から出力される電子データに近似させることができ
る。したがって、欠陥画素から出力される電子データを
周囲の画素から出力される電子データに基づいて高精度
に補正処理をすることができる。Then, by averaging the electronic data output from the two pixels constituting the pixel set, it is possible to approximate the electronic data output from the defective pixel. Therefore, the electronic data output from the defective pixel can be corrected with high accuracy based on the electronic data output from the surrounding pixels.
【0045】以上、上記実施例では画像処理装置として
デジタルカメラに適用した例について説明したが、デジ
タルカメラに限らずスキャナや複写機などの画像読み取
り装置、ならびに電子データに基づく画像を印刷する印
刷装置のドライバなどのソフトウェアに適用することも
できる。In the above embodiment, an example in which the image processing apparatus is applied to a digital camera has been described. However, the present invention is not limited to the digital camera, but an image reading apparatus such as a scanner or a copying machine, and a printing apparatus for printing an image based on electronic data. It can be applied to software such as a driver.
【0046】また、上記実施例では補色フィルタを有す
るCCDから出力される画像の電子データの処理につい
て説明した。しかし、本発明は補色フィルタを有するC
CDに限らず、原色のフィルタを有するCCDから出力
される画像の電子データの処理、CCD以外の撮像素子
の処理、グレースケールの画像の電子データの処理、ま
たは2値画像の電子データの処理などにも適用すること
ができる。In the above embodiment, the processing of the electronic data of the image output from the CCD having the complementary color filter has been described. However, the present invention uses a C color filter having a complementary color filter.
Processing of electronic data of images output from CCDs having primary color filters, processing of electronic devices other than CCDs, processing of electronic data of grayscale images, processing of electronic data of binary images, etc. Can also be applied.
【図1】本発明の一実施例による画像処理方法の欠陥画
素と近接画素との位置関係を示す模式図である。FIG. 1 is a schematic diagram showing a positional relationship between a defective pixel and a neighboring pixel in an image processing method according to an embodiment of the present invention.
【図2】本発明の一実施例によるデジタルカメラを示す
ブロック図である。FIG. 2 is a block diagram illustrating a digital camera according to an embodiment of the present invention.
【図3】本発明の一実施例によるデジタルカメラの処理
回路を示すブロック図である。FIG. 3 is a block diagram showing a processing circuit of the digital camera according to one embodiment of the present invention.
【図4】本発明の一実施例によるデジタルカメラのCC
Dを示す模式図である。FIG. 4 is a digital camera CC according to an embodiment of the present invention.
It is a schematic diagram which shows D.
【図5】本発明の一実施例による画像処理方法の欠陥画
素と近接画素とから出力される電子データの大きさを示
す図である。FIG. 5 is a diagram illustrating the size of electronic data output from defective pixels and neighboring pixels in the image processing method according to one embodiment of the present invention.
【図6】本発明の一実施例による画像処理方法を説明す
るために欠陥画素と近接画素とから出力される電子デー
タの大きさを示す図である。FIG. 6 is a diagram illustrating the size of electronic data output from a defective pixel and a neighboring pixel in order to explain an image processing method according to an embodiment of the present invention.
1 デジタルカメラ 10 制御部 22 CCD(撮像手段) 30 記録部 60 処理回路 61 近接画素検出手段 62 画素組作成手段 63 出力差算出手段 64 特定画素組抽出手段 65 平均値算出手段 66 欠陥画素データ補正手段 DESCRIPTION OF SYMBOLS 1 Digital camera 10 Control part 22 CCD (imaging means) 30 Recording part 60 Processing circuit 61 Proximity pixel detection means 62 Pixel set creation means 63 Output difference calculation means 64 Specific pixel set extraction means 65 Average value calculation means 66 Defective pixel data correction means
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5B047 AB04 BB04 CB21 DA06 DC01 DC02 DC11 EA01 5C065 AA03 AA07 BB23 CC01 CC08 CC09 DD02 EE05 EE07 GG11 GG13 GG17 GG22 GG30 GG50 HH02 5C077 LL13 MM03 MP08 PP33 PP43 PP47 PP68 PQ12 PQ18 PQ22 TT09 ──────────────────────────────────────────────────続 き Continued on the front page F-term (reference)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000125511AJP2001307079A (en) | 2000-04-26 | 2000-04-26 | Image processing apparatus, image processing method, and recording medium |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000125511AJP2001307079A (en) | 2000-04-26 | 2000-04-26 | Image processing apparatus, image processing method, and recording medium |
| Publication Number | Publication Date |
|---|---|
| JP2001307079Atrue JP2001307079A (en) | 2001-11-02 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000125511APendingJP2001307079A (en) | 2000-04-26 | 2000-04-26 | Image processing apparatus, image processing method, and recording medium |
| Country | Link |
|---|---|
| JP (1) | JP2001307079A (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005036868A1 (en)* | 2003-10-07 | 2005-04-21 | Mitsubishi Denki Kabushiki Kaisha | Pixel interpolation circuit and pixel interpolation method, and image reader |
| US6940549B2 (en)* | 2000-06-23 | 2005-09-06 | Koninklijke Philips Electronics N.V. | Image sensor signal defect correction |
| US7263215B2 (en) | 2002-07-25 | 2007-08-28 | Fujitsu Limited | Circuit and method for correction of defect pixel |
| JP2007251698A (en)* | 2006-03-16 | 2007-09-27 | Sharp Corp | Defective pixel correction method and defective pixel correction circuit |
| US7382406B2 (en)* | 2001-11-08 | 2008-06-03 | Olympus Corporation | Noise reduction system, noise reduction method, recording medium, and electronic camera |
| US7443433B2 (en) | 2003-01-23 | 2008-10-28 | Sony Corporation | Pixel compensating circuit, method for compensating pixels, and image taking apparatus employing such pixel compensating circuit |
| WO2009098827A1 (en) | 2008-02-07 | 2009-08-13 | Olympus Corporation | Image processing device and image processing program |
| US7969488B2 (en)* | 2005-08-03 | 2011-06-28 | Micron Technologies, Inc. | Correction of cluster defects in imagers |
| US8379975B2 (en) | 2009-02-17 | 2013-02-19 | Olympus Corporation | Image processing device and method, and program recording medium |
| JP2013055640A (en)* | 2011-08-09 | 2013-03-21 | Canon Inc | Image processing apparatus and control method thereof |
| JP2023118661A (en)* | 2022-02-15 | 2023-08-25 | キヤノン株式会社 | Processing device and photoelectric conversion system |
| JP2024048797A (en)* | 2022-09-28 | 2024-04-09 | キヤノン株式会社 | Photoelectric conversion device, control method, and computer program |
| JP2024048578A (en)* | 2022-09-28 | 2024-04-09 | キヤノン株式会社 | Photoelectric conversion device, control method, and computer program |
| JP2024064204A (en)* | 2022-10-27 | 2024-05-14 | キヤノン株式会社 | Photoelectric conversion device, control method, and computer program |
| JP2024120419A (en)* | 2023-02-24 | 2024-09-05 | キヤノン株式会社 | IMAGING APPARATUS, IMAGING METHOD, AND COMPUTER PROGRAM |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6940549B2 (en)* | 2000-06-23 | 2005-09-06 | Koninklijke Philips Electronics N.V. | Image sensor signal defect correction |
| US7382406B2 (en)* | 2001-11-08 | 2008-06-03 | Olympus Corporation | Noise reduction system, noise reduction method, recording medium, and electronic camera |
| US7263215B2 (en) | 2002-07-25 | 2007-08-28 | Fujitsu Limited | Circuit and method for correction of defect pixel |
| US7715617B2 (en) | 2002-07-25 | 2010-05-11 | Fujitsu Microelectronics Limited | Circuit and method for correction of defect pixel |
| US7443433B2 (en) | 2003-01-23 | 2008-10-28 | Sony Corporation | Pixel compensating circuit, method for compensating pixels, and image taking apparatus employing such pixel compensating circuit |
| WO2005036868A1 (en)* | 2003-10-07 | 2005-04-21 | Mitsubishi Denki Kabushiki Kaisha | Pixel interpolation circuit and pixel interpolation method, and image reader |
| US8817135B2 (en)* | 2005-08-03 | 2014-08-26 | Micron Technology, Inc. | Correction of cluster defects in imagers |
| US7969488B2 (en)* | 2005-08-03 | 2011-06-28 | Micron Technologies, Inc. | Correction of cluster defects in imagers |
| US20110221939A1 (en)* | 2005-08-03 | 2011-09-15 | Dmitri Jerdev | Correction of cluster defects in imagers |
| JP2007251698A (en)* | 2006-03-16 | 2007-09-27 | Sharp Corp | Defective pixel correction method and defective pixel correction circuit |
| US8441546B2 (en) | 2008-02-07 | 2013-05-14 | Olympus Corporation | Image processing device and image processing program |
| WO2009098827A1 (en) | 2008-02-07 | 2009-08-13 | Olympus Corporation | Image processing device and image processing program |
| US8379975B2 (en) | 2009-02-17 | 2013-02-19 | Olympus Corporation | Image processing device and method, and program recording medium |
| JP2013055640A (en)* | 2011-08-09 | 2013-03-21 | Canon Inc | Image processing apparatus and control method thereof |
| JP7646620B2 (en) | 2022-02-15 | 2025-03-17 | キヤノン株式会社 | Processing device, photoelectric conversion system |
| JP2023118661A (en)* | 2022-02-15 | 2023-08-25 | キヤノン株式会社 | Processing device and photoelectric conversion system |
| JP2024048797A (en)* | 2022-09-28 | 2024-04-09 | キヤノン株式会社 | Photoelectric conversion device, control method, and computer program |
| JP2024048578A (en)* | 2022-09-28 | 2024-04-09 | キヤノン株式会社 | Photoelectric conversion device, control method, and computer program |
| JP7646611B2 (en) | 2022-09-28 | 2025-03-17 | キヤノン株式会社 | Photoelectric conversion device, control method, and computer program |
| JP7686605B2 (en) | 2022-09-28 | 2025-06-02 | キヤノン株式会社 | Photoelectric conversion device, control method, and computer program |
| JP2024064204A (en)* | 2022-10-27 | 2024-05-14 | キヤノン株式会社 | Photoelectric conversion device, control method, and computer program |
| JP7686607B2 (en) | 2022-10-27 | 2025-06-02 | キヤノン株式会社 | Photoelectric conversion device, control method, and computer program |
| JP2024120419A (en)* | 2023-02-24 | 2024-09-05 | キヤノン株式会社 | IMAGING APPARATUS, IMAGING METHOD, AND COMPUTER PROGRAM |
| JP7646714B2 (en) | 2023-02-24 | 2025-03-17 | キヤノン株式会社 | IMAGING APPARATUS, IMAGING METHOD, AND COMPUTER PROGRAM |
| Publication | Publication Date | Title |
|---|---|---|
| JP4054184B2 (en) | Defective pixel correction device | |
| JP4165220B2 (en) | Image processing method, program, and image processing apparatus | |
| JP5740465B2 (en) | Imaging apparatus and defective pixel correction method | |
| US7148924B2 (en) | Image processing method, image processing program, image processing apparatus, and digital still camera using the image processing apparatus | |
| CN101083773B (en) | Apparatus and method of gamma correction in digital image processing device | |
| US20130342736A1 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| JP2009153013A (en) | Imaging apparatus, color noise reduction method, and color noise reduction program | |
| JP2001307079A (en) | Image processing apparatus, image processing method, and recording medium | |
| JP4992698B2 (en) | Chromatic aberration correction apparatus, imaging apparatus, chromatic aberration calculation method, and chromatic aberration calculation program | |
| JP2009017475A (en) | Defective pixel detection device, imaging device, and defective pixel detection method | |
| JP4375322B2 (en) | Image processing apparatus, image processing method, program thereof, and computer-readable recording medium recording the program | |
| JP4069581B2 (en) | Image processing method, computer-readable recording medium on which image processing program is recorded, and image processing apparatus | |
| JP2004320128A (en) | Defective pixel correction device | |
| JP3809818B2 (en) | Image processing method, recording medium, and image processing apparatus | |
| JP4057216B2 (en) | Solid-state imaging device and pixel defect detection method | |
| JPH1169226A (en) | Electronic camera | |
| JP5513310B2 (en) | Imaging module, image signal processing method, restoration processing apparatus and method | |
| JP4306687B2 (en) | Image processing method, image processing program, and image processing apparatus | |
| JP4392891B2 (en) | Imaging apparatus and image processing method in the imaging apparatus | |
| JP2013012089A (en) | Image processing device, camera and image processing program | |
| JP3767188B2 (en) | Electronic camera and signal correction method | |
| JP2006129264A (en) | Chrominance signal correcting method, apparatus and program | |
| JP4255819B2 (en) | Signal processing method and image acquisition apparatus | |
| JP5750934B2 (en) | Image processing apparatus and image processing program | |
| JP2001245200A (en) | Digital camera |