【０００１】[0001]
【発明の属する技術分野】本発明は、同一の被写体に対
して連続して撮影された複数枚の撮影画像を用いて、こ
れらの撮影画像を所定の画像処理を行なった後、合成す
ることで、画質を改善したり、映像効果を高めた画像を
得ることのできる画像処理システムに関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention uses a plurality of photographed images continuously photographed with respect to the same subject, performs predetermined image processing on these photographed images, and then combines them. The present invention relates to an image processing system capable of improving the image quality and obtaining an image with enhanced video effects.
【０００２】[0002]
【従来の技術】従来、内容が同一で画質の異なる複数の
画像を用いて元の画像より画質や映像効果を高めた画像
を合成する技術が提案されている。2. Description of the Related Art Conventionally, a technique has been proposed in which a plurality of images having the same content but different image qualities are used to synthesize an image having a higher image quality or video effect than the original image.
【０００３】例えば撮像素子を微小変位させて連続して
２回の撮影を行い、両撮影画像を合成することで解像度
の高い撮影画像を得ることができるデジタルスチルカメ
ラが商品化されている（ビクター社製デジタルスチルカ
メラのＧＣ−Ｘ１“ＰＩＸＳＴＥＲ”）。このデジタル
スチルカメラは、被写体の明るい部分と暗い部分とに合
わせて２種類の露出制御値を設定し、それらの露出制御
値で連続して２回の撮影を行い、両撮影画像を合成する
ことで暗い部分から明るい部分まで適切な濃度の撮影画
像を得ることができる機能も備えている。For example, a digital still camera has been commercialized, which is capable of obtaining a high-resolution captured image by synthesizing the captured images by performing two consecutive captures by slightly displacing the image sensor (Victor). Digital still camera (GC-X1 "PIXSTER") manufactured by the same company. In this digital still camera, two kinds of exposure control values are set according to the bright and dark areas of the subject, and the exposure control values are used to take two shots in succession to combine both shot images. It also has a function that allows you to obtain a captured image with appropriate density from dark to bright areas.
【０００４】[0004]
【発明が解決しようとする課題】近年、デジタルスチル
カメラの技術分野においては、デジタルスチルカメラの
普及に伴い、上記ビクター社製デジタルスチルカメラ
「ＧＣ−Ｘ１“ＰＩＸＳＴＥＲ”」に見られるように、
連続して撮影した複数枚の撮影画像を所定の画像処理を
行なった後、合成することで、画質を改善したり、映像
効果を高めた画像を得るような機能を設けてデジタルス
チルカメラの付加価値を高める新たな技術開発が進めら
れている。In recent years, in the technical field of digital still cameras, as seen in the digital still camera "GC-X1" PIXSTER "" manufactured by Victor Co., Ltd., as digital still cameras have become widespread,
Adds a digital still camera with functions to improve image quality and obtain images with enhanced video effects by combining multiple shot images that have been shot consecutively after performing predetermined image processing. New technology development to increase value is underway.
【０００５】しかし、近年のデジタルスチルカメラは高
画素化が進み、上述の複数枚の撮影画像を合成する機能
を設けようとした場合、データの増加に伴って画像処理
の処理時間が長時間になり、全体として撮影処理も長く
なるという問題が生じる。例えば露出条件の異なる２枚
のカラー撮影画像Ａ，Ｂを合成して高階調画像を得る場
合、撮影された被写体が重なり合うようにカラー撮影画
像Ａとカラー撮影画像Ｂの位置合わせをして、例えば
Ｒ，Ｇ，Ｂの色成分の画像毎に画像データの合成演算を
行なう必要がある。しかし、２枚の画像の位置合わせ処
理は、一般に一方の画像を基準として他方の画像を所定
の画素ピッチで平行移動や回転等を行ないつつ両画像の
一致する位置を探索するもので、他方の画像を移動させ
ては基準画像との一致度を判定する作業の繰返しを行な
うものであるから、この作業に長時間を要し、画像の取
り込みから合成画像をメモリカードなどの記録媒体に記
録するまでの処理時間が長くなる問題がある。However, in recent years, the number of pixels of the digital still camera has been increased, and when it is attempted to provide a function for synthesizing a plurality of photographed images described above, the processing time of image processing becomes long as the data increases. As a result, there is a problem that the photographing process becomes long as a whole. For example, when two color photographed images A and B having different exposure conditions are combined to obtain a high gradation image, the color photographed image A and the color photographed image B are aligned so that the photographed subjects overlap each other. It is necessary to perform image data composition operation for each image of R, G, B color components. However, the alignment processing of two images generally searches for a matching position between the two images while performing parallel translation or rotation of the other image at a predetermined pixel pitch with one image as a reference. Since moving the image repeats the work of determining the degree of coincidence with the reference image, this work takes a long time, and the composite image is recorded from the image capture to a recording medium such as a memory card. It takes a long time to process.
【０００６】また、デジタルスチルカメラに採用されて
いる撮像素子が、例えばベイヤー方式のような単板式の
ＣＣＤで構成されている場合は、通常、色成分毎にデー
タの不足する画素位置にデータを補間する処理をした
後、位置合わせ処理や画像合成処理を行なうことになる
ので、データの補間処理が増加する分、更に処理時間が
長くなり、処理時間の問題は重大である。When the image pickup device used in the digital still camera is composed of a single-plate CCD such as a Bayer system, data is usually stored in pixel positions where data is insufficient for each color component. Since the position matching process and the image synthesizing process are performed after the interpolating process, the processing time becomes longer as the data interpolating process increases, and the problem of the processing time is serious.
【０００７】そこで、デジタルスチルカメラでは連続撮
影のみを行ない、コンピュータ等で構成した画像処理装
置において、複数枚の撮影画像の合成処理を行なうよう
にして画像処理システムを構築することが考えられる。
しかし、この場合でも、元の撮影画像のデータ数が膨大
であると、画像処理装置における撮影画像の合成処理に
長時間を要し、処理レスポンスが低下することは同じで
あるから、可能な限り画像処理に係る時間を短縮するこ
とが望ましい。Therefore, it is conceivable to construct an image processing system by performing only continuous shooting with a digital still camera and performing a synthesis process of a plurality of shot images in an image processing apparatus composed of a computer or the like.
However, even in this case, if the number of data of the original captured image is huge, it takes the same time to combine the captured images in the image processing apparatus and the processing response is deteriorated. It is desirable to reduce the time required for image processing.
【０００８】しかし、従来は、複数枚のカラー画像を合
成し高階調画像を得る際、そのカラー画像が、例えば
Ｒ，Ｇ，Ｂの色成分の画像で構成されている場合、色成
分毎に同一の位置合わせ処理と画像合成処理を行なうの
で、同一処理が３回繰り返され、データ数が増加するの
に応じて処理効率が低下するものとなっている。However, conventionally, when a plurality of color images are combined to obtain a high gradation image, when the color image is composed of images of R, G, B color components, for example, for each color component. Since the same alignment processing and image combining processing are performed, the same processing is repeated three times, and the processing efficiency decreases as the number of data increases.
【０００９】本発明は、上記課題に鑑みてなされたもの
であり、色成分に応じて処理の簡略化を図れるものは処
理を簡単にして可能な限り画像処理の高速化を可能にす
る画像処理システム、カラー撮像装置、画像処理方法及
びその方法の処理プログラムが記録された記録媒体を提
供するものである。The present invention has been made in view of the above problems, and an image processing that simplifies the processing according to a color component can simplify the processing and speed up the image processing as much as possible. The present invention provides a system, a color imaging device, an image processing method, and a recording medium on which a processing program of the method is recorded.
【００１０】[0010]
【課題を解決するための手段】本発明は、画像合成によ
り撮影画像と異なる画質の画像を得るべく同一の被写体
に対して連続して２枚のカラー画像を撮影するカラー撮
像装置と、上記カラー撮像装置で撮影された２枚のカラ
ー画像に対し、色成分毎に所定の画像処理を行って１枚
の色成分画像を作成する画像処理手段と、上記画像処理
手段で作成された各色成分の画像を合成して１枚のカラ
ー画像を作成する画像合成手段とを備えた画像処理装置
とからなる画像処理システムであって、上記色成分毎の
所定の画像処理は、撮影画像間の位置合わせを行う位置
合わせ処理と、位置合わせをした撮影画像間で画質に関
する所定の演算を行って１枚の色成分画像を作成する演
算処理とからなり、上記画像処理手段は、上記複数の色
成分の画像のうち、人間の視覚特性上解像度に与える影
響の小さい第１の色成分の画像に対する位置合わせ処理
を他の第２の色成分の画像に対する位置合わせ処理より
も簡略化することを特徴とするものである。SUMMARY OF THE INVENTION The present invention is directed to a color image pickup apparatus for continuously taking two color images of the same subject in order to obtain an image having a quality different from that of the picked-up image by image combination, and the above color An image processing unit that performs a predetermined image process for each color component on two color images captured by an image pickup device to create one color component image, and an image processing unit for each color component created by the image processing unit. An image processing system comprising: an image processing device having an image synthesizing means for synthesizing images to create one color image, wherein
Predetermined image processing is performed at the position to align the captured images.
The image quality is adjusted between the alignment process and the captured images that have been aligned.
Perform a predetermined calculation to create one color component image.
The image processing means includes a plurality of colors.
Of the component images, the shadows given to the resolution due to human visual characteristics
Positioning processing for the image of the first color component with low reverberation
From the registration process for the image of the other second color component
Is also characterized by simplification.
【００１１】具体的には、例えば上記画像処理手段は、
上記第２の色成分の画像に対する位置合わせ処理で算出
された位置ずれ情報を用いて上記第１の色成分の画像に
対する位置合わせ処理を行うことで、上記第１の色成分
に対する位置合わせ処理の簡略化を行なうものである。Specifically, for example, the image processing means is
By performing the alignment process on the image of the first color component using the positional deviation information calculated by the alignment process on the image of the second color component,the first color component
This simplifies the alignment process for the.
【００１２】また、上記成分毎の所定の画像処理には、
上記位置合わせ処理の前に撮影画像毎にデータを補間し
て元の画像データ数を増加する補間処理を含み、上記画
像処理手段は、上記第１の色成分の画像に対する補間処
理を第２の色成分に対する補間処理よりも簡略化するも
のであり、具体的には上記画像処理手段は、上記補間処
理における上記第１の色成分の画像のデータ補間数を上
記第２の色成分の画像のデータ補間数より少なくするこ
とで、上記第１の色成分に対する補間処理の簡略化を行
なうものである。Further, in the predetermined image processing for each of the above components,
The image processing means includes interpolation processing for increasing the number of original image data by interpolating data for each captured image before the alignment processing, and the image processing means includes interpolation processing for the image ofthe first color component.
The process is simpler than the interpolation process for the second color component.
And than, the image processing means specifically, the number of data interpolated image of the first color component in the interpolation processing by less than data interpolation of images of the second color component,the second Simplify the interpolation process for 1 color component
It is something like.
【００１３】なお、画像処理に補間処理を含むもので
は、上記画像処理手段は、上記演算処理において、上記
第１の色成分の画像のデータ数が上記第２の色成分の画
像のデータ数と一致するように、当該第１の色成分の画
像のデータ数を補間するとよい。If the image processing includes interpolation processing, the image processing means is configured such that, in the arithmetic processing, the data number of the image of the first color component is equal to the data number of the image of the second color component.The image of the first color component
It is advisable to interpolate the number of image data.
【００１４】また、上記色成分をＲ（赤），Ｇ（緑），
Ｂ（青）の色成分とすると、上記第１の色成分はＲ，Ｂ
の色成分とし、上記第２の色成分はＧの色成分とすると
よく、上記色成分をＹ（輝度），Ｃｒ（赤の色差），Ｃ
ｂ（青の色差）の色成分とすると、上記第１の色成分は
Ｃｒ，Ｃｂの成分とし、上記第２の色成分はＹの成分と
するとよい。The above color components are R (red), G (green),
Assuming that the color component is B (blue), the first color component is R, B
Andthe second color component is the G color component.
Often , the color components are Y (luminance), Cr (color difference of red), C
If the color component is b (blue color difference), the first color component is the Cr and Cb components, andthe second color component is the Y component.
Good to do.
【００１５】また、上記画質に関する所定の演算処理と
しては、画像のピントのボケ具合を調整するボケ味調整
処理、画像の階調を調整する階調調整処理又は画像の解
像度を高める超解像処理にするとよい。Further, as the predetermined arithmetic processing relating to the image quality, the blur adjustment processing for adjusting the degree of out-of-focus of theimage, the gradation adjustment processing for adjusting the gradation of the image, or the solution of the image.
It is preferable to use super-resolution processing that enhances image resolution.
【００１６】また、本発明は、上記画像処理システムと
同一の機能を撮像装置に備えたものである。The present invention also relates to theabove image processing system.
The image pickup apparatus has the same function .
【００１７】更に、本発明は、画像合成により撮影画像
と異なる画質の画像を得るべく同一の被写体を連続的に
撮像して得られる複数枚のカラー画像に対し、色成分毎
に所定の画像処理を行って１枚の成分画像を作成する画
像処理ステップと、上記画像処理ステップで作成された
各色成分の画像を合成して１枚のカラー画像を作成する
画像合成ステップとからなる画像処理方法であって、上
記画像処理ステップにおける色成分毎の所定の画像処理
は、撮影画像間の位置合わせを行う位置合わせ処理と、
位置合わせをした撮影画像間で画質に関する所定の演算
を行って１枚の色成分画像を作成する演算処理とからな
り、上記画像処理ステップは、上記複数の色成分の画像
のうち、人間の視覚特性上解像度に与える影響の小さい
第１の色成分の画像に対する上記位置合わせ処理を他の
第２の色成分の画像に対する上記位置合わせ処理よりも
簡略化するものである。Further, according to the present invention, a predetermined image processing is performed for each color component on a plurality of color images obtained by consecutively picking up the same subject in order to obtain an image having a different image quality from the picked-up image by image combination. And an image combining step of combining the images of the respective color components created in the above image processing steps to create one color image. There,above
Prescribed image processing for each color component in the image processing step
Is a registration process that performs registration between captured images,
Predetermined calculation of image quality between aligned shots
And the calculation process to create one color component image.
In the image processing step, thealignment processing is performed on the image of the first color component, which has a small effect on the resolution due to human visual characteristics, among the images of the plurality of color components.
Rather than the above-mentioned registration processing for the image of the second color component
It is a simplification.
【００１８】また、本発明は、画像合成により撮影画像
と異なる画質の画像を得るべく同一の被写体を連続的に
撮像して得られる複数枚のカラー画像に対し、色成分毎
に所定の画像処理を行って１枚の成分画像を作成する第
１の画像処理と、上記画像処理ステップで作成された各
色成分の画像を合成して１枚のカラー画像を作成する第
２の画像処理とを、コンピュータに実行させるためのプ
ログラムを記録したコンピュータ読取可能な記録媒体で
あって、上記第１の画像処理における色成分毎の所定の
画像処理は、撮影画像間の位置合わせを行う位置合わせ
処理と、位置合わせをした撮影画像間で画質に関する所
定の演算を行って１枚の色成分画像を作成する演算処理
とからなり、上記第１の画像処理は、上記複数の色成分
の画像のうち、人間の視覚特性上解像度に与える影響の
小さい第１の色成分の画像に対する上記位置合わせ処理
を他の第２の色成分の画像に対する上記位置合わせ処理
よりも簡略化するものである。Further, according to the present invention, a predetermined image processing is performed for each color component on a plurality of color images obtained by consecutively capturing the same subject in order to obtain an image having a different image quality from the captured image by image synthesis. And a second image processing for creating one color image by synthesizing the images of the respective color components created in the above image processing steps. A computer-readable recording medium in which a program to be executed by a computer is recorded,the predetermined medium foreach color component in the first image processing.
Image processing is a registration that performs registration between captured images.
Image quality between processed and aligned shot images
Arithmetic processing to create a single color component image by performing a fixed operation
In the first image processing, thealignment processing is performed on an image of the first color component that has a small influence on the resolution due to human visual characteristics among the images of the plurality of color components.
The above-mentioned registration processing for the image of the other second color component
It is more simplified than that.
【００１９】上記構成よれば、カラー撮像装置で同一の
被写体を連続的に撮影して得られた２枚の撮影画像は、
画像処理装置で色成分毎に、ボケ味調整処理、階調調整
処理又は超解像処理等の所定の画像処理を行って１枚の
色成分画像が作成された後、それらの色成分画像を合成
して撮影画像と異なる画質の画像が作成される。According to the above construction, two photographed images obtained by continuously photographing the same subject with the color image pickup device are:
The image processing apparatus performs predetermined image processing such as blur adjustment processing, gradation adjustment processing, or super-resolution processing for each color component to create one color component image, and then these color component images are processed. An image having a quality different from that of the captured image is created by combining them.
【００２０】ボケ味調整処理は、２枚の撮影画像が、例
えば近景に合焦した撮影画像と背景に合焦した撮影画像
である場合、両撮影画像を合成することで、例えば近景
と背景の両方に適当なピント状態の画像を作成する処理
である。また、階調調整処理は、２枚の撮影画像が、例
えば被写体の明るい部分に露出制御した撮影画像と被写
体の暗い部分に露出制御した撮影画像である場合、両撮
影画像を合成することで、例えば被写体の明るい部分と
暗い部分の両方に適正な濃度分布の画像を作成する処理
である。また、超解像処理は、２枚の撮影画像がカメラ
ぶれに起因して被写体に対する撮影位置に微小にずれが
生じている場合、両撮影画像を合成することで、撮影画
像よりも解像度の高い画像を作成する処理である。In the blurring adjustment processing, when the two shot images are, for example, a shot image focused on the near view and a shot image focused on the background, by combining the two shot images, for example, This is a process of creating an image in a suitable focus state for both. Further, in the gradation adjustment processing, when the two shot images are, for example, a shot image whose exposure is controlled in a bright portion of the subject and a shot image whose exposure is controlled in a dark portion of the subject, the two shot images are combined, For example, it is a process of creating an image having an appropriate density distribution in both the bright part and the dark part of the subject. Further, in the super-resolution processing, when two photographed images are slightly shifted from each other in the photographing position due to camera shake, the two photographed images are combined to have a higher resolution than the photographed images. This is a process of creating an image.
【００２１】色成分毎の所定の画像処理では、複数の色
成分の画像のうち、人間の視覚特性上解像度に与える影
響の小さい第１の色成分の画像に対する処理（以下、第
１の色成分処理という。）が他の第２の色成分の画像に
対する処理（以下、第２の色成分処理という。）よりも
簡略化され、これにより第１の色成分処理に係る処理時
間が第２の色成分処理に係る時間より短くなり、全ての
色成分の画像に対して同一処理を行なうよりも処理時間
が短くなる。In the predetermined image processing for each color component, of the images of the plurality of color components, the processing for the image of the first color component that has a small effect on the resolution due to human visual characteristics (hereinafter referred to as the first color component) is performed. Processing) is simpler than the processing for another image of the second color component (hereinafter referred to as the second color component processing), and thus the processing time for the first color component processing is The time required for the color component processing is shorter, and the processing time is shorter than the same processing for all color component images.
【００２２】例えば色成分毎の所定の画像処理が撮影画
像間の位置合わせを行なう位置合わせ処理と、位置合わ
せをした撮影画像間でボケ味調整等の画質に関する所定
の演算を行って１枚の色成分画像を作成する演算処理と
からなる場合、色成分がＲ，Ｇ，Ｂであれば、Ｇの色成
分の画像に対する位置合わせ処理で算出された位置ずれ
情報を用いてＲ，Ｂの色成分の画像に対する位置合わせ
処理を行なうことで、Ｒ，Ｂの色成分の画像に対する位
置合わせ処理の処理時間がＧの色成分の画像に対する位
置合わせ処理の処理時間よりも短くなり、全ての色成分
の画像に対して同一処理を行なうよりも処理時間が短く
なる。For example, a predetermined image processing for each color component performs alignment processing for aligning photographed images, and a predetermined calculation relating to image quality such as blurring adjustment is performed between the aligned photographed images to obtain one image. If the color components are R, G, and B, and the color component image is created, if the color components are R, G, and B, the R and B colors are calculated using the positional deviation information calculated by the alignment process for the G color component image. By performing the registration processing on the component image, the processing time of the registration processing on the image of the R and B color components becomes shorter than the processing time of the registration processing on the image of the G color component, and all the color components The processing time is shorter than the same processing performed on the image.
【００２３】また、色成分がＹ，Ｃｒ，Ｃｂであれば、
Ｙの色成分の画像に対する位置合わせ処理で算出された
位置ずれ情報を用いてＣｒ，Ｃｂの色成分の画像に対す
る位置合わせ処理を行なうことで、Ｃｒ，Ｃｂの色成分
の画像に対する位置合わせ処理の処理時間がＹの色成分
の画像に対する位置合わせ処理の処理時間よりも短くな
り、全ての色成分の画像に対して同一処理を行なうより
も処理時間が短くなる。If the color components are Y, Cr and Cb,
By performing the alignment process on the images of the Cr and Cb color components using the positional deviation information calculated by the alignment process on the images of the Y color components, the alignment process on the images of the Cr and Cb color components is performed. The processing time becomes shorter than the processing time of the alignment processing for the image of the Y color component, and the processing time becomes shorter than the same processing for the images of all the color components.
【００２４】また、画像処理が位置合わせ処理の前に撮
影画像毎にデータを補間して元の画像データ数を増加す
る補間処理を含む場合、色成分がＲ，Ｇ，Ｂであれば、
当該補間処理におけるＲ，Ｂの色成分の画像のデータ補
間数をＧの色成分の画像のデータ補間数よりも少なくす
ることで、Ｒ，Ｂの色成分の画像に対する補間処理の処
理時間がＧの色成分の画像に対する補間処理の処理時間
よりも短くなり、全ての色成分の画像に対して同一処理
を行なうよりも処理時間が短くなる。When the image processing includes interpolation processing for interpolating data for each captured image and increasing the number of original image data before the alignment processing, if the color components are R, G, B,
By making the number of data interpolations of the image of the R and B color components in the interpolation processing smaller than the number of data interpolations of the image of the G color component, the processing time of the interpolation processing for the image of the R and B color components is G. The processing time is shorter than the processing time of the interpolation processing for the image of color components, and the processing time is shorter than the same processing for the images of all the color components.
【００２５】また、色成分がＹ，Ｃｒ，Ｃｂであれば、
当該補間処理におけるＣｒ，Ｃｂの色成分の画像のデー
タ補間数をＹの色成分の画像のデータ補間数よりも少な
くすることで、Ｃｒ，Ｃｂの色成分の画像に対する補間
処理の処理時間がＧの色成分の画像に対する補間処理の
処理時間よりも短くなり、全ての色成分の画像に対して
同一処理を行なうよりも処理時間が短くなる。If the color components are Y, Cr and Cb,
By setting the number of data interpolations of the image of the Cr and Cb color components in the interpolation processing to be smaller than the number of data interpolations of the image of the Y color component, the processing time of the interpolation processing for the image of the Cr and Cb color components is G. The processing time is shorter than the processing time of the interpolation processing for the image of color components, and the processing time is shorter than the same processing for the images of all the color components.
【００２６】なお、画像処理に補間処理を含むもので
は、Ｒ，Ｂの色成分の画像のデータ数がＧの画像のデー
タ数と一致するように、Ｒ，Ｂの色成分の画像のデータ
数を補間することで、合成後の画像の画質が向上する。When the image processing includes interpolation processing, the number of data of R and B color component images is set so that the number of data of R and B color component images matches the number of G image data. Is interpolated, the image quality of the combined image is improved.
【００２７】[0027]
【発明の実施の形態】図１は本発明に係る画像処理シス
テムに適用されるデジタルスチルカメラ（カラー撮像装
置）のカメラ本体の正面図、図２は同デジタルスチルカ
メラに内蔵された主要部材の配置を示す上面図、図３
は、同デジタルスチルカメラに内蔵された主要部材の配
置を示す右側面図、図４は同デジタルスチルカメラの背
面図である。1 is a front view of a camera body of a digital still camera (color image pickup apparatus) applied to an image processing system according to the present invention, and FIG. 2 is a diagram showing main members incorporated in the digital still camera. Top view showing the arrangement, FIG.
FIG. 4 is a right side view showing an arrangement of main members built in the digital still camera, and FIG. 4 is a rear view of the digital still camera.
【００２８】デジタルスチルカメラ１は、カメラ本体２
とこのカメラ本体２の正面略中央に着脱可能に装着され
るズームレンズからなる交換レンズ３とからなる一眼レ
フレックスカメラで構成されている。カメラ本体２は、
正面略中央に交換レンズ３が装着されるマウント部２０
１が設けられ、正面左端部にグリップ部２０２が設けら
れている。The digital still camera 1 includes a camera body 2
And a single-lens reflex camera consisting of an interchangeable lens 3 which is detachably attached to the front of the camera body 2 and is detachably attached. The camera body 2 is
A mount portion 20 on which the interchangeable lens 3 is mounted approximately in the center of the front surface.
1 is provided, and a grip part 202 is provided at the left end of the front surface.
【００２９】グリップ部２０２の内部には電池収納室２
０３とカード収納室２０４とが設けられ、電池収納室２
０３には４本の単３形乾電池Ｅ１〜Ｅ４（カメラの電源
電池）が収納され、カード収納室２０４には撮影画像の
画像データを記録するためのメモリカードＭＣが着脱可
能に収納されるようになっている。Inside the grip portion 202, the battery storage chamber 2
03 and the card storage chamber 204 are provided, and the battery storage chamber 2
03 stores four AA dry batteries E1 to E4 (camera power supply batteries), and the card storage chamber 204 detachably stores a memory card MC for recording image data of captured images. It has become.
【００３０】マウント部２０１の下部には装着された交
換レンズ３との電気的接続を行なうための複数個の接点
ＳＴと機械的接続を行なうための複数個のカプラーＣＰ
とが設けられている。電気的な接点ＳＴは、交換レンズ
３に内蔵されたレンズＲＯＭ３０１（図３参照）から当
該レンズに関する固有の情報（開放Ｆ値や焦点距離等の
情報）をカメラ本体２内の全体制御部（図６参照）に読
み出したり、交換レンズ３内のズーム用レンズの位置や
フォーカス用レンズの位置の情報を全体制御部に出力す
るためのものである。カプラーＣＰはカメラ本体２内に
設けられたズームレンズ駆動用のモータＺＭ（図３参
照）の駆動力とフォーカスレンズ駆動用のモータＦＭ
（図３参照）の駆動力とを交換レンズ３側に伝達するた
めのものである。A plurality of contact points ST for making an electrical connection with the interchangeable lens 3 mounted on the lower portion of the mount 201 and a plurality of couplers CP for making a mechanical connection.
And are provided. The electrical contact ST receives specific information (information such as open F value and focal length) from the lens ROM 301 (see FIG. 3) built in the interchangeable lens 3 in the camera body 2 as a whole control unit (see FIG. 6)) and outputs information on the position of the zoom lens and the position of the focusing lens in the interchangeable lens 3 to the overall control unit. The coupler CP is a driving force of a zoom lens driving motor ZM (see FIG. 3) provided in the camera body 2 and a focus lens driving motor FM.
The driving force (see FIG. 3) is transmitted to the interchangeable lens 3 side.
【００３１】マウント部２０１に交換レンズ３が装着さ
れたときの当該レンズ３の光軸Ｌ上であってカメラ本体
２内の適所にカラー撮像素子２０５が配設されている。
カラー撮像素子２０５（以下、ＣＣＤ２０５という。）
は、図５に示すようにＣＣＤ（Charge-Coupled Devic
e）からなるエリアセンサ２０５Ａの各画素の表面に、
Ｒ（赤），Ｇ（緑），Ｂ（青）のカラーフィルタ２０５
Ｂが市松模様状に貼り付けられた、いわゆるベイヤー方
式と呼ばれる単板式カラーエリアセンサで構成され、例
えば１６００×１２００＝１９２万個の画素数を有して
いる。A color image pickup element 205 is arranged at an appropriate position in the camera body 2 on the optical axis L of the interchangeable lens 3 when it is mounted on the mount portion 201.
Color image sensor 205 (hereinafter referred to as CCD 205)
Is a CCD (Charge-Coupled Devic
On the surface of each pixel of the area sensor 205A consisting of e),
R (red), G (green), B (blue) color filters 205
B is composed of a single-plate color area sensor, which is a so-called Bayer system, which is attached in a checkered pattern, and has, for example, 1600 × 1200 = 1920,000 pixels.
【００３２】なお、図５に示すようにエリアセンサのｉ
行ｊ列目の画素位置を（ｉ，ｊ）（ｉ＝１，２，…ｎ、
ｊ=１，２，…ｍ）とし、ｎ＝１６００、ｍ＝１２００
とすると、Ｒ，Ｇ，Ｂの各カラーフィルタは、Ｒ；（２ｈ＋１，２ｋ＋１）Ｇ；（２ｈ＋２，２ｋ＋１），（２ｈ＋１，２ｋ＋２）Ｂ；（２ｈ＋２，２ｋ＋２）但し、ｈ＝０，１，２，…ｎ／２（＝８００）、ｋ=
０，１，２，…ｍ／２（＝６００）の画素位置に配置さ
れている。As shown in FIG. 5, the area sensor i
The pixel position of the row j-th column is (i, j) (i = 1, 2, ... N,
j = 1, 2, ... M), n = 1600, m = 1200
Then, the R, G, and B color filters have R; (2h + 1, 2k + 1) G; (2h + 2, 2k + 1), (2h + 1, 2k + 2) B; (2h + 2, 2k + 2), where h = 0, 1, 2, , ... n / 2 (= 800), k =
They are arranged at pixel positions of 0, 1, 2, ... M / 2 (= 600).
【００３３】カメラ本体２のグリップ部２０２の上面に
はシャッタボタン２０６が設けられている。シャッタボ
タン２０６の半押し操作と全押し操作とは後述するスイ
ッチＳ１，Ｓ２により検出されるようになっている。ス
イッチＳ１がオンになると（シャッタボタン２０６が半
押しされると）、被写体の静止画を撮影するための準備
動作（露出制御値の設定や焦点調節等の準備動作）が行
なわれ、スイッチＳ２がオンになると（シャッタボタン
２０６が全押しされると）、撮影動作（ＣＣＤ２０５を
露光し、その露光によって得られた画像信号に所定の画
像処理を行なってメモリカードＭＣに記録する一連の動
作）が行なわれる。A shutter button 206 is provided on the upper surface of the grip portion 202 of the camera body 2. The half-pressing operation and the full-pressing operation of the shutter button 206 are detected by switches S1 and S2 described later. When the switch S1 is turned on (when the shutter button 206 is half-pressed), a preparatory operation (a preparatory operation such as setting an exposure control value and focus adjustment) for taking a still image of a subject is performed, and the switch S2 is turned on. When turned on (when the shutter button 206 is fully pressed), the photographing operation (a series of operations of exposing the CCD 205, performing predetermined image processing on the image signal obtained by the exposure, and recording the image signal in the memory card MC) Done.
【００３４】カメラ本体２の上面の略中央には電子ビュ
ーファインダ４（ＥＶＦ；Electronic View Finder）と
ポップアップタイプのフラッシュ５とが設けられてい
る。電子ビューファインダ４はＣＣＤ２０５で撮影され
た被写体のモニタ画像（撮影待機状態においてＣＣＤ２
０５により動画撮影された被写体の画像）を表示するカ
ラー液晶表示デバイスからなる表示部４０１（以下、Ｌ
ＣＤ表示部４０１という。）とこのカラー液晶表示デバ
イスに表示されたモニタ画像をファインダ窓４０３の外
側に導く接眼レンズ４０２とを備えている。An electronic view finder 4 (EVF; Electronic View Finder) and a pop-up type flash 5 are provided in the approximate center of the upper surface of the camera body 2. The electronic viewfinder 4 is a monitor image of the subject photographed by the CCD 205 (the CCD 2 in the photographing standby state).
Display unit 401 (hereinafter, L) including a color liquid crystal display device that displays a subject image captured as a moving image by S.05.
It is called the CD display unit 401. ) And an eyepiece 402 for guiding the monitor image displayed on the color liquid crystal display device to the outside of the finder window 403.
【００３５】撮影待機状態では電子ビューファインダ４
に被写体のモニタ画像（動画像）が表示されるので、撮
影者はファインダ窓４０３を覗くことによってモニタ画
像により被写体を視認することができる。In the standby state for shooting, the electronic viewfinder 4
Since a monitor image (moving image) of the subject is displayed on, the photographer can visually recognize the subject by looking through the finder window 403.
【００３６】カメラ本体２の背面の略中央にはカラー液
晶表示デバイスからなる表示部２０７（以下、ＬＣＤ表
示部２０７という。）が設けられている。ＬＣＤ表示部
２０７は、記録モードにおいて撮影モードや撮影条件等
を設定するためのメニュー画面を表示したり、再生モー
ドにおいてメモリカードＭＣに記録された撮影画像を再
生表示するものである。A display section 207 (hereinafter, referred to as LCD display section 207) formed of a color liquid crystal display device is provided at the substantially center of the back surface of the camera body 2. The LCD display unit 207 displays a menu screen for setting a shooting mode, shooting conditions, etc. in the recording mode, and reproduces and displays a shot image recorded in the memory card MC in the reproduction mode.
【００３７】撮影モードには露出制御に関するモードと
画像合成処理に関するモードとが含まれる。露出制御に
関するモードとはレリーズ時の露出制御値（絞りの絞り
値と露光時間）の決定の仕方に関するモードである。露
出制御に関するモードには少なくともプログラムモー
ド、シャッタ優先モード、絞り優先モードが含まれる。
露出制御値は予め設定された複数のプログラム線図のい
ずれか１つを用いて設定されるようになっており、プロ
グラムモードでは標準的なプログラム線図を用いて露出
制御値が設定され、シャッタ優先モードでは絞り値より
シャッタ速度（露光時間）を優先するようなプログラム
線図を用いて露出制御値が設定され、絞り優先モードで
はシャッタ速度より絞り値を優先するようなプログラム
線図を用いて露出制御値が設定される。The shooting mode includes a mode related to exposure control and a mode related to image composition processing. The mode related to exposure control is a mode related to how to determine the exposure control value (aperture value of the diaphragm and the exposure time) at the time of release. Modes related to exposure control include at least a program mode, a shutter priority mode, and an aperture priority mode.
The exposure control value is set by using one of a plurality of preset program charts. In the program mode, the exposure control value is set by using a standard program chart, and the shutter is set. In the priority mode, the exposure control value is set using the program diagram that gives priority to the shutter speed (exposure time) over the aperture value, and in the aperture priority mode, the program diagram that gives priority to the aperture value over the shutter speed is used. The exposure control value is set.
【００３８】画像合成処理に関するモードとは、レリー
ズ時に撮影条件を変えて、若しくは撮影条件をそのまま
で連続して２回撮影を行ない、その撮影によって得られ
た２枚の撮影画像をそれぞれメモリカードＭＣに記録す
るモードである。このモードで連続して撮影された２枚
の撮影画像は、後述するコンピュータ等からなる画像処
理装置で所定の画像処理を行い、合成して元の撮影画像
よりも画質や映像効果の高い画像を得るためのものであ
る。The mode relating to the image synthesizing process means that the photographing conditions are changed at the time of release, or two consecutive photographing are performed with the same photographing condition, and the two photographed images obtained by the photographing are respectively stored in the memory card MC. It is a mode to record in. Two captured images continuously shot in this mode are subjected to predetermined image processing by an image processing device such as a computer described later, and are combined to form an image having a higher image quality or image effect than the original captured image. To get it.
【００３９】画像合成処理に関するモードには少なくと
も「ボケ味調整モード」、「階調調整モード」、「超解
像モード」が含まれる。ボケ味調整モードとは、画像処
理で主被写体（例えば人物等）に対して焦点を合せた撮
影画像Ａと主被写体の背景に焦点を合わせた撮影画像Ｂ
とを合成することにより所望のボケ具合を有する画像を
得るために、１回のシャッタ操作で合焦位置を変化させ
て連続して２回の撮影動作を行い、撮影画像Ａと撮影画
像Ｂとを得るモードである。The modes relating to the image synthesizing process include at least "blur adjustment mode", "gradation adjustment mode" and "super-resolution mode". The bokeh adjustment mode is a photographed image A in which a main subject (for example, a person) is focused in image processing and a photographed image B in which the background of the main subject is focused.
In order to obtain an image having a desired degree of blurring by combining and, the focus position is changed by one shutter operation, and two consecutive shooting operations are performed to obtain a shot image A and a shot image B. Is the mode to get.
【００４０】階調調整モードとは、画像処理で主被写体
に対して露出を合せた撮影画像Ａと主被写体の背景に露
出を合わせた撮影画像Ｂとを合成することにより、例え
ば画面全体に適正な濃度分布を有する画像や主被写体と
背景とのコントラストを意図的に大きくし、創作性の強
い画像を得るために、１回のシャッタ操作で露出条件を
変化させて連続して２回の撮影動作を行い、撮影画像Ａ
と撮影画像Ｂとを得るモードである。The gradation adjustment mode is a combination of a photographed image A exposed to the main subject and a photographed image B exposed to the background of the main subject in the image processing, for example, to be suitable for the entire screen. In order to intentionally increase the contrast between the main subject and the background with an image having a wide density distribution, and to obtain an image with strong creativity, the exposure condition is changed with one shutter operation, and two consecutive shots are taken. Taken image A
And a captured image B are obtained.
【００４１】超解像モードとは、主被写体に対する撮影
位置が互いに微小変化した撮影画像Ａと撮影画像Ｂとを
合成することにより、元の撮影画像よりも解像度の高い
画像を得るために、１回のシャッタ操作でピントや露出
条件を変えないで連続して２回の撮影動作を行い、１回
目の撮影と２回目の撮影との間で僅かに異なるカメラア
ングルの相違により画面内の主被写体の位置が微小変化
した撮影画像Ａと撮影画像Ｂとを得るモードである。The super-resolution mode is used in order to obtain an image having a higher resolution than the original photographed image by synthesizing the photographed image A and the photographed image B whose photographing positions with respect to the main subject are slightly changed from each other. Two consecutive shooting operations are performed by changing the shutter operation once without changing the focus and exposure conditions, and the main subject in the screen changes due to the slightly different camera angle between the first shooting and the second shooting. This is a mode for obtaining a photographed image A and a photographed image B whose positions have changed slightly.
【００４２】なお、画像処理装置におけるボケ味調整処
理、階調調整処理及び超解像処理の詳細は後述する。The details of the blur adjustment processing, gradation adjustment processing, and super-resolution processing in the image processing apparatus will be described later.
【００４３】ＬＣＤ表示部２０７の左側には電源スイッ
チ２０８が設けられている。この電源スイッチ２０８は
記録モード（写真撮影の機能を果たすモード）及び再生
モード（記録画像をＬＣＤ表示部２０７に再生するモー
ド）を切換設定するモード設定スイッチを兼ねている。
すなわち、電源スイッチ２０８は３点スライドスイッチ
からなり、接点を中央の「ＯＦＦ」位置に設定すると、
電源がオフになり、接点を上方の「ＲＥＣ」位置に設定
すると、電源がオンになるとともに記録モードが設定さ
れ、接点を下方の「ＰＬＡＹ」位置に設定すると、電源
がオンになるとともに再生モードが設定される。A power switch 208 is provided on the left side of the LCD display unit 207. The power switch 208 also serves as a mode setting switch that switches and sets a recording mode (a mode that performs a function of taking a photograph) and a reproduction mode (a mode that reproduces a recorded image on the LCD display unit 207).
That is, the power switch 208 is a three-point slide switch, and when the contact is set to the central “OFF” position,
When the power is turned off and the contact is set to the upper “REC” position, the power is turned on and the recording mode is set. When the contact is set to the lower “PLAY” position, the power is turned on and the playback mode is set. Is set.
【００４４】ＬＣＤ表示部２０７の右側上方位置には４
連スイッチ２０９が設けられている。４連スイッチ２０
９は円形の操作ボタンを有し、この操作ボタンにおける
上下左右の４方向の押圧操作がそれぞれ検出されるよう
になっている。４連スイッチ２０９は多機能化され、例
えばＬＣＤ表示部２０７に表示されるメニュー画面で選
択された項目を変更したり、インデックス画面で選択さ
れた再生対象のコマを変更するための操作スイッチとし
て機能するとともに、左右方向のスイッチは交換レンズ
３のズーム比を変更するためのスイッチとしても機能す
るようになっている。4 on the upper right side of the LCD display unit 207.
A serial switch 209 is provided. 4 switches 20
Reference numeral 9 has a circular operation button, and pressing operations in four directions of up, down, left and right on the operation button are detected respectively. The quadruple switch 209 is multi-functional, and functions as an operation switch for changing an item selected on the menu screen displayed on the LCD display unit 207 or changing a frame to be reproduced selected on the index screen, for example. At the same time, the left and right switches also function as switches for changing the zoom ratio of the interchangeable lens 3.
【００４５】また、４連スイッチ２０９の下方位置には
ＬＣＤ表示部２０７の表示や表示内容に関する操作を行
なうためスイッチ群２１０が設けられている。スイッチ
群２１０には取消スイッチ２１０ａ、確定スイッチ２１
０ｂ、メニュー表示スイッチ２１０ｃ及び表示スイッチ
２１０ｄが含まれる。A switch group 210 is provided below the quadruple switch 209 for operating the display and display contents of the LCD display unit 207. The switch group 210 includes a cancel switch 210a and a confirmation switch 21.
0b, a menu display switch 210c, and a display switch 210d.
【００４６】取消スイッチ２１０ａはメニュー画面で選
択された内容を取り消すためのスイッチである。確定ス
イッチ２１０ｂはメニュー画面で選択された内容を確定
するためのスイッチである。メニュー表示スイッチ２１
０ｃはＬＣＤ表示部２０７にメニュー画面を表示させた
り、メニュー画面の内容を切り換えたりするためのスイ
ッチである。メニュー表示スイッチ２１０ｃを押圧する
毎にメニュー画面に切り換わる。表示スイッチ２１０ｄ
はＬＣＤ表示部２０７への表示を行なわせたり、その表
示を消したりするスイッチである。電源電池Ｅ１〜Ｅ４
の節電を図るため、カメラ起動時はＬＣＤ表示部２０７
の表示は行なわれないようになっている。表示スイッチ
２１０ｄを押圧する毎にＬＣＤ表示部２０７の表示と非
表示とが交互に行なわれる。The cancel switch 210a is a switch for canceling the contents selected on the menu screen. The confirmation switch 210b is a switch for confirming the content selected on the menu screen. Menu display switch 21
Reference numeral 0c is a switch for displaying a menu screen on the LCD display unit 207 and switching the contents of the menu screen. Each time the menu display switch 210c is pressed, the screen switches to the menu screen. Display switch 210d
Is a switch for displaying or turning off the display on the LCD display unit 207. Power batteries E1 to E4
In order to save power, the LCD display unit 207 is activated when the camera is activated.
Is not displayed. Each time the display switch 210d is pressed, the display and non-display of the LCD display unit 207 are alternately performed.
【００４７】メニュー画面では、例えば複数の項目が配
列表示され、現在選択されている項目に選択状態を示す
表示（例えばカーソルや反転表示等）が行なわれる。例
えば撮影モードの画像合成処理に関するモードを選択す
る場合、ＬＣＤ表示部２０７には、図６に示すようなメ
ニュー画面が表示される。このメニュー画面における
「通常撮影」の項目は、銀塩カメラにおける撮影動作と
同様の通常の撮影を行なうモードである。On the menu screen, for example, a plurality of items are displayed in an array, and the currently selected item is displayed to show the selected state (for example, a cursor or reverse display). For example, in the case of selecting a mode relating to image combining processing in the shooting mode, a menu screen as shown in FIG. 6 is displayed on the LCD display unit 207. The item of “normal shooting” on this menu screen is a mode for performing normal shooting similar to the shooting operation of the silver halide camera.
【００４８】図６のメニュー画面において、４連スイッ
チ２０９の上方向スイッチが押されると、黒三角印のカ
ーソルＫの表示位置（すなわち、カーソルＫが示す項
目）が上方向にサイクリックに移動し、４連スイッチ２
０９の下方向スイッチが押されると、カーソルＫが示す
項目表示位置が下方向にサイクリックに移動する。そし
て、スイッチ群２１０の確定スイッチ２１０ｂが押され
ると、その時カーソルＫで指示されている項目（図６で
は階調調整モード）が撮影モードとして設定される。When the up switch of the quad switch 209 is pressed on the menu screen of FIG. 6, the display position of the cursor K indicated by the black triangle (that is, the item indicated by the cursor K) cyclically moves upward. 4 switches 2
When the downward switch of 09 is pressed, the item display position indicated by the cursor K cyclically moves downward. When the confirmation switch 210b of the switch group 210 is pressed, the item (gradation adjustment mode in FIG. 6) indicated by the cursor K at that time is set as the shooting mode.
【００４９】従って、撮影者は撮影モード選択用のメニ
ュー画面において、４連スイッチ２０９を上下方向に操
作して所望の撮影モードを選択し、確定スイッチ２１０
ｄを操作することでその撮影モードを設定することがで
きる。なお、露出制御に関するモードについても同様の
方法で所望の撮影モードを設定することができる。Therefore, the photographer operates the quadruple switch 209 in the vertical direction on the menu screen for selecting the photographing mode to select the desired photographing mode, and the confirm switch 210.
The shooting mode can be set by operating d. It should be noted that a desired shooting mode can be set for the mode relating to the exposure control by the same method.
【００５０】また、インデックス画面ではメモリカード
ＭＣに記録されている全ての画像から９コマ分のサムネ
イル画像が配列表示され、現在選択されているコマに選
択されている表示（例えば点滅表示や枠表示等）が行な
われる。４連スイッチ２０９の上下左右の何れかの方向
スイッチを押圧すると、メニュー画面やインデックス画
面の選択状態を示す表示がその方向の項目やコマに移動
する。例えば上方向スイッチを押圧すると、メニュー画
面やインデックス画面の選択状態を示す表示が上方向の
項目やコマに移動する。On the index screen, thumbnail images for 9 frames are displayed in an array from all the images recorded in the memory card MC, and the display selected for the currently selected frame (for example, blinking display or frame display). Etc.) is performed. When one of the up, down, left and right direction switches of the quad switch 209 is pressed, the display showing the selection state of the menu screen or index screen moves to the item or frame in that direction. For example, when the upward switch is pressed, the display showing the selection state of the menu screen or index screen moves to the upward item or frame.
【００５１】交換レンズ３のズーム操作では、４連スイ
ッチ２０９の右方向スイッチを押圧すると、交換レンズ
３がワイド側に連続的に移動し、４連スイッチ２０９の
左方向スイッチを押圧すると、交換レンズ３のズーム用
レンズがテレ側に連続的に移動する。In the zoom operation of the interchangeable lens 3, when the right switch of the quad switch 209 is pressed, the interchange lens 3 continuously moves to the wide side, and when the left switch of the quad switch 209 is pressed, the interchange lens is pressed. The zoom lens 3 moves continuously to the telephoto side.
【００５２】図７は、デジタルスチルカメラ１の内部構
成を示すブロック構成図である。FIG. 7 is a block diagram showing the internal structure of the digital still camera 1.
【００５３】デジタルスチルカメラ１は、主にレンズ１
０１、撮像部１０２、信号処理部１０３、発光制御部１
０４、レンズ制御部１０５、表示部１０６、操作部１０
７及び全体制御部１０８で構成されている。The digital still camera 1 mainly includes the lens 1.
01, imaging unit 102, signal processing unit 103, light emission control unit 1
04, lens control unit 105, display unit 106, operation unit 10
7 and the overall control unit 108.
【００５４】レンズ１０１は交換レンズ３に相当するも
のである。レンズ１０１はフォーカス用レンズ１０１ａ
及びズーム用レンズ１０１ｂを備え、内部に透過光量を
調節するための絞り１０１ｃが設けられている。The lens 101 corresponds to the interchangeable lens 3. The lens 101 is a focusing lens 101a.
Also, a zoom lens 101b is provided, and a diaphragm 101c for adjusting the amount of transmitted light is provided inside.
【００５５】撮像部１０２はレンズ１０１を通して入射
した被写体光像を画像信号（電気画像）に光電変換して
取り込むものである。撮像部１０２にはＣＣＤ２０５に
相当するＣＣＤ１０２ａ、このＣＣＤ１０２ａの撮像動
作を制御するタイミングジェネレータ１０２ｂ及びタイ
ミングジェネレータ１０２ｂの駆動を制御するタイミン
グ制御回路１０２ｃが含まれる。The image pickup section 102 photoelectrically converts a subject light image incident through the lens 101 into an image signal (electrical image) and captures the image signal. The image pickup unit 102 includes a CCD 102a corresponding to the CCD 205, a timing generator 102b that controls the image pickup operation of the CCD 102a, and a timing control circuit 102c that controls the driving of the timing generator 102b.
【００５６】ＣＣＤ１０２ａはタイミングジェネレータ
１０２ｂから入力される駆動制御信号（積分開始信号／
積分終了信号）に基づいて被写体光像を所定の時間（露
光時間）だけ受光して画像信号（電荷蓄積信号）に変換
し、その画像信号をタイミングジェネレータ１０２ｂか
ら入力される読出制御信号（水平同期信号、垂直同期信
号、転送信号等）を用いて信号処理部１０３に出力す
る。このとき、画像信号はＲ，Ｇ，Ｂの各色成分に分離
されて信号処理部１０３に出力される。すなわち、画素
位置（２ｈ＋１，２ｋ＋１）の各画素で受光された画像
信号を順次読み出すことでＲの色成分の画像信号が出力
され、画素位置（２ｈ＋２，２ｋ＋１），（２ｈ＋１，
２ｋ＋２）の各画素で受光された画像信号を順次読み出
すことでＧの色成分の画像信号が出力され、画素位置
（２ｈ＋２，２ｋ＋２）の各画素で受光された画像信号
を順次読み出すことでＢの色成分の画像信号が出力され
る。The CCD 102a receives a drive control signal (integration start signal / integration start signal / input from the timing generator 102b).
The subject light image is received for a predetermined time (exposure time) based on the integration end signal) and converted into an image signal (charge accumulation signal), and the image signal is read out from the timing generator 102b (horizontal synchronization signal). Signal, vertical synchronization signal, transfer signal, etc.) to the signal processing unit 103. At this time, the image signal is separated into R, G, and B color components and output to the signal processing unit 103. That is, the image signal of the R color component is output by sequentially reading the image signal received by each pixel at the pixel position (2h + 1, 2k + 1), and the pixel position (2h + 2, 2k + 1), (2h + 1,
The image signal of the G color component is output by sequentially reading the image signal received by each pixel of 2k + 2), and the image signal received by each pixel of the pixel position (2h + 2, 2k + 2) is sequentially read by The image signal of the color component is output.
【００５７】タイミングシェネレータ１０２ｂはタイミ
ング制御回路１０２ｃから入力される制御信号に基づい
て駆動制御信号を生成するとともに、基準クロックに基
づいて読出制御信号を生成し、ＣＣＤ１０２ａに出力す
る。タイミング制御回路１０２ｃは撮像部１０２の撮影
動作を制御するものである。タイミング制御回路１０２
ｃは全体制御部１０８から入力される制御信号に基づい
て撮影制御信号を生成する。この撮影制御信号には記録
モードにおいて撮影待機中に被写体の動画像（以下、ラ
イブビュー画像という。）を電子ビューファインダ４に
モニタ表示するための撮影の制御信号、シャッタボタン
６が操作されて被写体の静止画（以下、記録画像とい
う。）を撮影するための制御信号、基準クロック、ＣＣ
Ｄ１０２ａから出力された画像信号を信号処理部１０３
で信号処理するためのタイミング信号（同期クロック）
などが含まれる。このタイミング信号は信号処理部１０
３内の信号処理回路１０３ａ及びＡ／Ｄ変換回路１０３
ｂに入力される。The timing generator 102b generates a drive control signal based on the control signal input from the timing control circuit 102c and a read control signal based on the reference clock, and outputs the read control signal to the CCD 102a. The timing control circuit 102c controls the photographing operation of the image pickup unit 102. Timing control circuit 102
c generates a shooting control signal based on the control signal input from the overall control unit 108. The shooting control signal is a shooting control signal for displaying a moving image of a subject (hereinafter, referred to as a live view image) on the electronic viewfinder 4 in a monitor mode in the recording mode, and the shutter button 6 is operated to operate the subject. Signal, reference clock, CC for shooting still images (hereinafter referred to as recorded images)
The image signal output from D102a is processed by the signal processing unit 103.
Timing signal (synchronous clock) for signal processing by
Etc. are included. This timing signal is sent to the signal processor 10
Signal processing circuit 103a and A / D conversion circuit 103 in 3
Input to b.
【００５８】信号処理部１０３はＣＣＤ１０２ａから出
力される画像信号に所定のアナログ信号処理及びデジタ
ル信号処理を行うものである。画像信号の信号処理は当
該画像データを構成する各画素の受光信号毎に行なわれ
る。以下、説明の便宜上、各画素の受光信号とこれらの
集合により撮影画像を構成する画像信号とを区別するた
め、必要に応じて各画素の受光信号を画素信号（アナロ
グ信号）もしくは画素データ（デジタル信号）という。The signal processing section 103 performs predetermined analog signal processing and digital signal processing on the image signal output from the CCD 102a. The signal processing of the image signal is performed for each light receiving signal of each pixel forming the image data. Hereinafter, for convenience of explanation, in order to distinguish the light receiving signal of each pixel from the image signal forming the captured image by these sets, the light receiving signal of each pixel is converted into a pixel signal (analog signal) or pixel data (digital signal) as necessary. Signal).
【００５９】信号処理部１０３にはアナログ信号処理回
路１０３ａ、Ａ／Ｄ変換回路１０３ｂ、黒レベル補正回
路１０３ｃ、ＷＢ回路１０３ｄ、γ補正回路１０３ｅ及
び画像メモリ１０３ｆが含まれる。なお、黒レベル補正
回路１０３ｃ、ＷＢ回路１０３ｄ及びγ補正回路１０３
ｅはデジタル信号処理を行う回路を構成するものであ
る。The signal processing unit 103 includes an analog signal processing circuit 103a, an A / D conversion circuit 103b, a black level correction circuit 103c, a WB circuit 103d, a γ correction circuit 103e and an image memory 103f. The black level correction circuit 103c, the WB circuit 103d, and the γ correction circuit 103
e constitutes a circuit that performs digital signal processing.
【００６０】アナログ信号処理回路１０３ａは主にＣＤ
Ｓ回路（相関二重サンプリング）回路及びＡＧＣ（オー
トゲインコントロール）回路からなり、ＣＣＤ１０２ａ
から出力される画素信号のサンプリングノイズの低減と
信号レベルの調整を行う。ＡＧＣ回路におけるゲインコ
ントロールには、絞り１０１ｃの絞り値とＣＣＤ１０２
ａの露光時間とで適性露出が得られなかった場合（例え
ば非常に低輝度の被写体を撮影する場合等）の撮影画像
のレベル不足を補償する場合も含まれる。Ａ／Ｄ変換回
路１０２ｂはアナログ信号処理回路１０３ａから出力さ
れる各画素信号をデジタルの画像データに変換するもの
である。Ａ／Ｄ変換回路１０２ｂは各画素で受光された
画素信号を、例えば１０ビットの画素データに変換す
る。The analog signal processing circuit 103a is mainly a CD
The CCD 102a includes an S circuit (correlated double sampling) circuit and an AGC (auto gain control) circuit.
The sampling noise of the pixel signal output from the device is reduced and the signal level is adjusted. The gain control in the AGC circuit includes the aperture value of the aperture 101c and the CCD 102.
It also includes the case of compensating for the lack of the level of the captured image when the proper exposure cannot be obtained with the exposure time of a (for example, when capturing a very low brightness subject). The A / D conversion circuit 102b converts each pixel signal output from the analog signal processing circuit 103a into digital image data. The A / D conversion circuit 102b converts the pixel signal received by each pixel into, for example, 10-bit pixel data.
【００６１】黒レベル補正回路１０３ｃはＡ／Ｄ変換さ
れた各画素データの黒レベルを基準の黒レベルに補正す
るものである。ＷＢ回路１０３ｄは撮影画像のホワイト
バランスを調整するものである。ＷＢ回路１０３ｄは全
体制御部１０８から入力されるレベル変換テーブルを用
いてＲ，Ｇ，Ｂの各色成分の画素データのレベルを変換
することで撮影画像のホワイトバランスを調整する。な
お、レベル変換テーブルの各色成分の変換係数は全体制
御部１０８から撮影画像毎に設定される。γ補正回路１
０３ｅは画素データのγ特性を補正するものである。γ
補正回路１０３ｅは予め設定された補正テーブルを用い
て各画素データのレベルを補正する。The black level correction circuit 103c corrects the black level of each A / D converted pixel data to a reference black level. The WB circuit 103d adjusts the white balance of the captured image. The WB circuit 103d adjusts the white balance of the captured image by converting the levels of the pixel data of the R, G, and B color components using the level conversion table input from the overall control unit 108. The conversion coefficient of each color component of the level conversion table is set for each captured image by the overall control unit 108. γ correction circuit 1
03e is for correcting the γ characteristic of pixel data. γ
The correction circuit 103e corrects the level of each pixel data using a preset correction table.
【００６２】画像メモリ１０３ｆは信号処理の終了した
画像データを一時保存するメモリである。画像メモリ１
０３ｆは少なくとも２フレーム分の画像データを記憶し
得る容量を有している。これは、ボケ味調整モード等の
撮影では２回連続して露光が行なわれ、２フレーム分の
画像データが取り込まれるから、これらをそれぞれ保存
できるようにするためである。なお、１フレーム分の画
像データを記憶し得る記憶容量は、例えばＣＣＤ１０２
ａの画素数を１６００×１２００＝１９２万とすると、
１９２万個の画素データを記憶し得る容量である。The image memory 103f is a memory for temporarily storing the image data for which signal processing has been completed. Image memory 1
03f has a capacity capable of storing at least two frames of image data. This is because exposure is performed twice in succession in shooting in the blur adjustment mode and the like, and image data for two frames is captured, so that these can be stored respectively. The storage capacity that can store one frame of image data is, for example, the CCD 102.
If the number of pixels of a is 1600 × 1200 = 1920,000,
This is a capacity capable of storing 1.92 million pieces of pixel data.
【００６３】発光制御部１０４は全体制御部１０８から
入力される発光制御信号に基づいてフラッシュ５の発光
を制御する。発光制御信号には発光準備の指示、発光タ
イミング及び発光量とが含まれる。発光制御部１０４は
全体制御部１０８から発光準備の指示があると、メイン
コンデンサを充電して発光可能状態にし、発光タイミン
グ信号に同期してメインコンデンサの蓄積電荷を放電す
ることによりフラッシュ５を発光させる。そして、全体
制御部１０８から入力される発光停止信号に基づいてメ
インコンデンサの蓄積電荷の放電を停止させる。これに
よりフラッシュ５は所要の発光量で発光される。The light emission control unit 104 controls the light emission of the flash 5 based on the light emission control signal input from the overall control unit 108. The light emission control signal includes a light emission preparation instruction, a light emission timing, and a light emission amount. When the light emission control unit 104 receives a light emission preparation instruction from the overall control unit 108, the main capacitor is charged to enable light emission, and the flash 5 is emitted by discharging the accumulated charge of the main capacitor in synchronization with the light emission timing signal. Let Then, the discharge of the accumulated charge of the main capacitor is stopped based on the light emission stop signal input from the overall control unit 108. This causes the flash 5 to emit a required amount of light.
【００６４】レンズ制御部１０５はレンズ１０１内のフ
ォーカス用レンズ１０１ａ、ズーム用レンズ１０１ｂ及
び絞り１０１ｃの各部材の駆動を制御するものである。
レンズ制御部１０５は絞り１０１ｃの絞り値を制御する
絞り制御回路１０５ａ、フォーカスモータＦＭの駆動を
制御するフォーカス制御回路１０５ｂ及びズームモータ
ＺＭの駆動を制御するズーム制御回路１０５ｃを備えて
いる。The lens controller 105 controls the driving of each member of the focusing lens 101a, the zoom lens 101b and the diaphragm 101c in the lens 101.
The lens control unit 105 includes an aperture control circuit 105a that controls the aperture value of the aperture 101c, a focus control circuit 105b that controls the drive of the focus motor FM, and a zoom control circuit 105c that controls the drive of the zoom motor ZM.
【００６５】絞り制御回路１０５ａは全体制御部１０８
から入力される絞り値に基づいて絞り１０１ａを駆動
し、その開口量を当該絞り値に設定する。フォーカス制
御回路１０５ｂは全体制御部１０８から入力されるＡＦ
制御信号（例えば駆動パルス数等の制御値）に基づいて
フォーカスモータＦＭの駆動量を制御し、フォーカス用
レンズを焦点位置に設定する。ズーム制御回路１０５ｃ
は全体制御部１０８から入力されるズーム制御信号（４
連スイッチ２０９の操作情報）に基づいてズームモータ
ＺＭを駆動し、ズーム用レンズ１０１ｂを４連スイッチ
２０９で指定された方向に移動させる。すなわち、ズー
ム制御回路１０５ｃは全体制御部１０８から４連スイッ
チ２０９の右方向の操作情報が入力されると、ズームモ
ータＺＭを正方向に駆動してズーム用レンズ１０１ｂを
ワイド側に移動させ、４連スイッチ２０９の左方向の操
作情報が入力されると、ズームモータＺＭを逆方向に駆
動してズーム用レンズ１０１ｂをテレ側に移動させる。The aperture control circuit 105a is the overall control unit 108.
The aperture 101a is driven on the basis of the aperture value input from, and the aperture amount is set to the aperture value. The focus control circuit 105b is an AF input from the overall control unit 108.
The drive amount of the focus motor FM is controlled based on a control signal (for example, a control value such as the number of drive pulses), and the focus lens is set at the focus position. Zoom control circuit 105c
Is a zoom control signal (4
The zoom motor ZM is driven based on (operation information of the serial switch 209) to move the zoom lens 101b in the direction designated by the quad switch 209. That is, the zoom control circuit 105c drives the zoom motor ZM in the positive direction to move the zoom lens 101b to the wide side when the right operation information of the quad switch 209 is input from the overall control unit 108. When the left operation information of the serial switch 209 is input, the zoom motor ZM is driven in the reverse direction to move the zoom lens 101b to the tele side.
【００６６】表示部１０６はＬＣＤ表示部２０７への表
示と電子ビューファインダ４への表示とを行うものであ
る。表示部１０６にはＬＣＤ表示部２０７に相当するデ
ィスプレイ１０６ａ及びＶＲＡＭ１０６ｂと電子ビュー
ファインダ４内のＬＣＤ表示部４０１に相当するディス
プレイ１０６ｃ及びＶＲＡＭ１０６ｄとが含まれる。デ
ィスプレイ１０６ａは、例えば６４０×４８０＝３０７
２００の画素数を有し、ディスプレイ１０６ｃは、例え
ば４００×３００＝１２００００の画素数を有してい
る。従って、ＶＲＡＭ１０６ｂはディスプレイ１０６ａ
の画素数に対応して略３０．７万個の画素データが記憶
可能になされ、ＶＲＡＭ１０６ｄはディスプレイ１０６
ｃの画素数に対応して略１２万個の画素データが記憶可
能になっている。The display section 106 performs display on the LCD display section 207 and display on the electronic viewfinder 4. The display unit 106 includes a display 106a and a VRAM 106b corresponding to the LCD display unit 207, and a display 106c and a VRAM 106d corresponding to the LCD display unit 401 in the electronic viewfinder 4. The display 106a has, for example, 640 × 480 = 307.
The display 106c has a pixel count of 200, and the display 106c has a pixel count of 400 × 300 = 120,000, for example. Therefore, the VRAM 106b is the display 106a.
The VRAM 106d is capable of storing approximately 307,000 pixel data corresponding to the number of pixels of the display 106.
Corresponding to the number of pixels of c, approximately 120,000 pixel data can be stored.
【００６７】撮影待機中ではＣＣＤ１０２ａで撮影さ
れ、所定の信号処理の後に画像メモリ１０３ｆに格納さ
れる動画の各フレーム画像のデータが順次、全体制御部
１０８に読み出され、データサイズがディスプレイ１０
６ｃの表示サイズに調整されて（すなわち、１９２万画
素の画像データが略１２万画素の画像データに調整され
て）ＶＲＡＭ１０６ｄに転送される。これにより被写体
のプレビュー画像がディスプレイ１０６ｃ（ＬＣＤ表示
部４０１の表示面）にモニタ表示される。また、表示ス
イッチ２１０ｄに操作によりＬＣＤ表示部２０７の表示
が指示されると、全体表示部１０８に読み出された各フ
レーム画像のデータがディスプレイ１０６ａの表示サイ
ズに調整されて（すなわち、１９２万画素の画像データ
が略３０．７万画素の画像データに調整されて）ＶＲＡ
Ｍ１０６ｂに転送され、これにより被写体のプレビュー
画像がディスプレイ１０６ａ（ＬＣＤ表示部２０７の表
示面）にもモニタ表示される。In the standby state for photographing, the data of each frame image of the moving image photographed by the CCD 102a and stored in the image memory 103f after the predetermined signal processing is sequentially read out to the overall control unit 108, and the data size is changed to the display 10.
The display size is adjusted to 6c (that is, the image data of 1.92 million pixels is adjusted to the image data of approximately 120,000 pixels) and transferred to the VRAM 106d. As a result, the preview image of the subject is displayed on the display 106c (display surface of the LCD display unit 401) on the monitor. When the display switch 210d is instructed to display on the LCD display unit 207, the data of each frame image read on the overall display unit 108 is adjusted to the display size of the display 106a (that is, 1.92 million pixels). Image data is adjusted to approximately 307,000 pixel image data) VRA
The preview image of the subject is displayed on the monitor on the display 106a (display surface of the LCD display unit 207).
【００６８】更にメニュースイッチ２１０ｃの操作によ
りメニュー表示が指示されると、全体制御部１０８内の
ＲＯＭ１０８ａに記憶されたメニュー画面の画像データ
がＶＲＡＭ１０６ｂに読み出され、これによりディスプ
レイ１０６ａの表示内容がメニュー画面に切り換えられ
る。Further, when the menu display is instructed by operating the menu switch 210c, the image data of the menu screen stored in the ROM 108a in the overall control unit 108 is read out to the VRAM 106b, so that the display content of the display 106a is changed to the menu. Switch to the screen.
【００６９】再生モードでは全体制御部１０８によりメ
モリカードＭＣに記録された各コマの画像ファイルから
撮影画像のサムネイル画像が読み出され、所定のフォー
マットに従って配列されてインデックス表示用の画像デ
ータが作成され、その画像データがＶＲＡＭ１０６ｂに
読み出される。これによりディスプレイ１０６ａにはメ
モリカードＭＣに記録された撮影画像の一覧が表示され
る。そして、４連スイッチ２０９の操作により再生すべ
きコマが指定されると、メモリカードＭＣに記録された
そのコマに対応する画像ファイルに記録された撮影画像
の画像データが読み出され、ディスプレイ１０６ａの表
示サイズに調整されてＶＲＡＭ１０６ｂに転送される。
これにより撮影画像がディスプレイ１０６ａ（ＬＣＤ表
示部２０７の表示面）に再生表示される。In the reproduction mode, the thumbnail image of the photographed image is read out from the image file of each frame recorded in the memory card MC by the overall control unit 108, arranged in a predetermined format, and image data for index display is created. , The image data is read to the VRAM 106b. As a result, a list of photographed images recorded in the memory card MC is displayed on the display 106a. When a frame to be reproduced is specified by operating the quad switch 209, the image data of the captured image recorded in the image file corresponding to the frame recorded in the memory card MC is read out and displayed on the display 106a. The display size is adjusted and transferred to the VRAM 106b.
As a result, the captured image is reproduced and displayed on the display 106a (display surface of the LCD display unit 207).
【００７０】操作部１０７はカメラ本体２に設けられた
撮影や再生に関する操作部材の操作情報を全体制御部１
０８に入力するものである。操作部１０７から入力され
る操作情報にはシャッタボタン２０６、電源スイッチ２
０８、４連スイッチ２０９、スイッチ群２１０等の各操
作部材の操作情報が含まれる。The operation unit 107 displays operation information of operation members provided on the camera body 2 for shooting and reproduction, as a whole.
08 is input. The operation information input from the operation unit 107 includes shutter button 206 and power switch 2
The operation information of each operation member such as the 08, the quadruple switch 209, and the switch group 210 is included.
【００７１】全体制御部１０８はデジタルスチルカメラ
１の有する撮影機能及び再生機能を集中制御するもので
ある。全体制御部１０８にはカードインターフエース１
０９を介してメモリカードＭＣが接続されている。ま
た、通信用インターフェース１１０を介してパーソナル
コンピュータＰＣが外部接続されるようになっている。The overall control unit 108 centrally controls the photographing function and the reproducing function of the digital still camera 1. The card interface 1 is included in the overall control unit 108.
The memory card MC is connected via 09. Further, the personal computer PC is externally connected via the communication interface 110.
【００７２】全体制御部１０８はマイクロコンクピュー
タからなり、撮影機能及び再生機能における種々の具体
的な処理を行なうための処理プログラムや上述の撮像部
１０２、信号処理部１０３、発光制御部１０４、レンズ
制御部１０５、表示部１０６等の駆動を制御するための
制御プログラムが記憶されたＲＯＭ１０８ａと処理プロ
グラム及び制御プログラムに従って種々の演算作業を行
なうためのＲＡＭ１０８ｂを備えている。The overall control unit 108 is composed of a micro computer, and has a processing program for performing various specific processes in the photographing function and the reproduction function, the above-mentioned image pickup unit 102, the signal processing unit 103, the light emission control unit 104, and the lens. A ROM 108a in which a control program for controlling the drive of the control unit 105, the display unit 106 and the like is stored, and a RAM 108b for performing various arithmetic operations according to the processing program and the control program are provided.
【００７３】全体制御部１０８の行なう具体的な処理に
は、ライブビュー画像を取り込んだり、被写体を撮影す
る際の露出制御値（ＣＣＤ１０２ａの露光時間Ｔｖ〔Ａ
ＰＥＸ値〕と絞り１０１ｃの絞り値Ａｖ〔ＡＰＥＸ
値〕）を算出する処理（露出制御値演算処理）、記録モ
ードにおいてＣＣＤ１０２ａから画像メモリ１０３ｆに
取り込まれたライブビュー画像を電子ビューファイダ４
に表示したり、再生モードにおいてメモリカードＭＣか
ら画像メモリ１０３ｆに読み出された記録画像をＬＣＤ
表示部２０７に表示する処理（画像表示処理）、記録モ
ードにおいてＣＣＤ１０２ａから画像メモリ１０３ｆに
取り込まれた記録画像をカードメモリＭＣに記録する処
理（記録処理）したり、再生モードにおいてメモリカー
ドＭＣから再生すべき記録画像を画像メモリ１０３ｆに
読み出す処理（再生処理）、ボケ味調整モード等の特殊
撮影モードにおいて連続して露光動作を行なわせる処理
（特殊露光制御処理）等が含まれる。Specific processing performed by the overall control unit 108 includes exposure control values (exposure time Tv [A of CCD 102a when capturing a live-view image or photographing a subject.
PEX value] and the aperture value Av of the aperture 101c [APEX
Value)) (exposure control value calculation processing), a live view image captured in the image memory 103f from the CCD 102a in the recording mode is displayed in the electronic view finder 4.
The recorded image read out from the memory card MC to the image memory 103f in the reproduction mode is displayed on the LCD.
The process of displaying on the display unit 207 (image display process), the process of recording the recorded image captured in the image memory 103f from the CCD 102a to the card memory MC in the recording mode (recording process), and the reproduction from the memory card MC in the reproducing mode. It includes a process of reading a recorded image to be read into the image memory 103f (reproduction process), a process of continuously performing an exposure operation in a special photographing mode such as a blur adjustment mode (special exposure control process), and the like.
【００７４】露出値演算部１０８ｃ、表示制御部１０８
ｄ、記録制御部１０８ｅ、再生制御部１０８ｆ及び特殊
露光制御部１０８ｇは全体制御部１０８における上述の
各処理を機能ブロックで表わしたものである。Exposure value calculator 108c, display controller 108
The d, the recording control unit 108e, the reproduction control unit 108f, and the special exposure control unit 108g represent the above-described processes in the overall control unit 108 by functional blocks.
【００７５】露出値定部１０８ｃは露出値演算処理を行
なうもので、ライブビュー画像のＧの色成分の画像デー
タを用いて被写体の輝度を判定し、その判定結果に基づ
いて露出制御値を演算する。The exposure value determining unit 108c performs the exposure value calculation process, determines the brightness of the subject using the image data of the G color component of the live view image, and calculates the exposure control value based on the determination result. To do.
【００７６】表示制御部１０８ｄは画像表示処理を行な
うもので、上述の表示部１０６の表示動作、すなわち、
画像メモリ１０３ｆに一時保存されている画像データを
読み出し、必要に応じて画像サイズを表示先の画像サイ
ズに調整した後、ＶＲＡＭ１０６ｃまたはＶＲＡＭ１０
６ｄに転送する動作を行なう。The display control unit 108d performs image display processing, and the display operation of the display unit 106, that is,
After the image data temporarily stored in the image memory 103f is read and the image size is adjusted to the image size of the display destination as necessary, the VRAM 106c or VRAM 10 is read.
The operation of transferring to 6d is performed.
【００７７】記録制御部１０８ｅは記録処理を行なうも
のである。記録制御部１０８ｅは、通常撮影モードにお
いて、シャッタボタン２０６により撮影が指示される
と、撮影指示後に画像メモリ１０３ｆに一時記憶された
画像データ（静止画の画像データ）をＲＡＭ１０８ｂに
読み出し、例えば２次元ＤＣＴ変換、ハフマン符号化等
のＪＰＥＧ方式による所定の圧縮処理を行なって記録用
の画像データを作成する。また、画像メモリ１０３ｆか
ら縦横両方向でそれぞれ８画素毎に画素データをＲＡＭ
１０８ｂに読み出すことで、画素数２００×１５０のサ
ムネイル画像を作成する。更に、これらの記録用の画像
データに付随して記録される撮影画像に関するタグ情報
を作成する。このタグ情報にはレンズ名称、コマ番号、
撮影時の焦点距離、撮影時のＦナンバー、焦点位置、被
写体輝度、ホワイトバランス調整値、撮影モード、圧縮
率、撮影日、フラッシュ発光の有無等が含まれる。The recording control unit 108e performs a recording process. When shooting is instructed by the shutter button 206 in the normal shooting mode, the recording control unit 108e reads out the image data (image data of a still image) temporarily stored in the image memory 103f to the RAM 108b after the shooting instruction, and for example, two-dimensionally. Image data for recording is created by performing a predetermined compression process by the JPEG system such as DCT conversion and Huffman coding. In addition, the pixel data is stored in the RAM from the image memory 103f every 8 pixels in both vertical and horizontal directions.
By reading out to 108b, a thumbnail image of 200 × 150 pixels is created. Further, tag information regarding a captured image recorded along with these recording image data is created. This tag information includes the lens name, frame number,
It includes a focal length at the time of shooting, an F number at the time of shooting, a focus position, a subject brightness, a white balance adjustment value, a shooting mode, a compression rate, a shooting date, whether or not a flash is emitted.
【００７８】そして、記録制御部１０８ｅは圧縮された
撮影画像及びサムネイル画像の画像データにタグ情報を
添付してＥＸＩＦ（Exchangeable Image File Format）
形式の画像ファィルを作成し、この画像ファィルをメモ
リカードＭＣに記録する。Then, the recording control unit 108e attaches tag information to the image data of the compressed photographed image and thumbnail image, and EXIF (Exchangeable Image File Format).
An image file of the format is created and this image file is recorded in the memory card MC.
【００７９】ボケ味調整モード、階調調整モード及び超
解像モードの撮影モードにおいても撮影画像がＡ/Ｄ変
換された後に画像ファィルが作成されてメモリカードＭ
Ｃに記録される。In the blur adjustment mode, the gradation adjustment mode and the super-resolution mode, the image file is created after the captured image is A / D converted and the memory card M
Recorded in C.
【００８０】尤もこれらの撮影モードでは１回のシャッ
タ操作で２枚の撮影画像Ａ，Ｂが生じるので、各撮影画
像Ａ，Ｂについて非圧縮のＴＩＦＦ（Tag Image File F
ormat）形式の画像ファィルが作成されてそれぞれメモ
リカードＭＣに記録される。また、撮影画像Ａ，Ｂはボ
ケ味や階調や解像度などの優れた画像を生成するために
用いられるので、両画像ファイルのタグ情報には画像合
成用の撮影画像であることが認識できる情報が含まれ
る。また、撮影画像Ａ，Ｂは画像合成によって画質を改
善するためのものであるから、画質の低下要因となる圧
縮処理は行なわないで、全画素データがそのまま記録さ
れる。However, in these photographing modes, two photographed images A and B are generated by one shutter operation, so that uncompressed TIFF (Tag Image File F) for each photographed image A and B is generated.
ormat) format image files are created and recorded in the memory card MC. Further, since the photographed images A and B are used to generate images having excellent blurring, gradation, resolution, etc., the tag information of both image files can be recognized as the photographed images for image composition. Is included. Further, since the photographed images A and B are for improving the image quality by combining the images, all pixel data are recorded as they are without performing the compression process which causes the deterioration of the image quality.
【００８１】図８は、メモリカードＭＣに記録された画
像ファイルの構成例を示すものである。FIG. 8 shows an example of the structure of an image file recorded in the memory card MC.
【００８２】同図において、「Ｐ０００００１．ＴＩ
Ｆ」、「Ｐ０００００２．ＴＩＦ」等は画像ファイル名
を示している。本実施形態では画像ファイル名を「Ｐ
Ｘ．Ｙ」で表記しており、「ＰＸ．Ｙ」の「Ｘ」は画像
ファイルが作成された順番を示す６桁の番号であり、
「Ｙ」は画像データの形式を示す記号である。「Ｙ」に
入る記号「ＴＩＦ」はＣＣＤ２０５から出力される画素
データをそのまま記録する形式であることを示し、記号
「ＪＰＧ」はＪＰＥＧ形式で圧縮されたデータであるこ
とを示している。In the figure, "P000001.TI
“F”, “P000002.TIF” and the like indicate image file names. In this embodiment, the image file name is "P
X. "PX.Y" is a 6-digit number indicating the order in which the image files were created.
“Y” is a symbol indicating the format of image data. The symbol "TIF" in "Y" indicates that the pixel data output from the CCD 205 is directly recorded, and the symbol "JPG" indicates that the data is compressed in the JPEG format.
【００８３】また、ボケ味調整モード、階調調整モード
及び超解像モードでは連続して２枚の撮影画像が取り込
まれ、これらの画像データについてそれぞれ画像ファイ
ルが作成されるから、本実施形態では両画像ファイルを
１つのホルダに纏めてメモリカードＭＣに記録するよう
になっている。従って、「１ｂ」及び「２ｂ」、「１
ｔ」、「２ｈ」等はそれぞれボケ味調整モード、階調調
整モード及び超解像モードで撮影された画像ファィルの
ホルダ名を示している。In the blur adjustment mode, the gradation adjustment mode and the super-resolution mode, two photographed images are continuously captured, and image files are created for these image data. Both image files are collected in one holder and recorded in the memory card MC. Therefore, "1b" and "2b", "1
“T”, “2h” and the like respectively indicate holder names of image files photographed in the blur adjustment mode, the gradation adjustment mode and the super-resolution mode.
【００８４】なお、本実施形態ではホルダ名を「Ｎｉ」
で表記しており、「Ｎｉ」の「ｉ」は撮影モードを示す
記号（ｂ，ｔ，ｈ）であり、「Ｎ」は各撮影モードにお
ける撮影順を示す番号である。例えば「１ｂ」はボケ味
調整モードで最初に撮影された画像の画像データが格納
されたホルダであることを示し、「２ｂ」はボケ味調整
モードで２番目に撮影された画像の画像データが格納さ
れたホルダであることを示している。In this embodiment, the holder name is "Ni".
, “I” of “Ni” is a symbol (b, t, h) indicating a shooting mode, and “N” is a number indicating a shooting order in each shooting mode. For example, “1b” indicates that the image data of the image first captured in the bokeh adjustment mode is stored, and “2b” indicates the image data of the second image captured in the bokeh adjustment mode. It shows that it is a stored holder.
【００８５】従って、図８は、ボケ味調整モードで撮影
され、作成された２個のホルダ１ｂ，２ｂと階調調整モ
ード及び超解像モードでそれぞれ撮影され、作成された
ホルダ１ｔ，１ｈと通常撮影モードで撮影され、作成さ
れた２個の画像ファイル１ｎ，２ｎとがホルダＰに纏め
られてメモリカードＭＣに保存されていることを示して
いる。Therefore, in FIG. 8, two holders 1b and 2b photographed and created in the blur adjustment mode and holders 1t and 1h photographed and created in the gradation adjustment mode and the super-resolution mode, respectively. This shows that the two image files 1n and 2n that have been shot and created in the normal shooting mode are collected in the holder P and stored in the memory card MC.
【００８６】図９は、メモリカードＭＣへの画像ファイ
ルの記録方法を示す図である。FIG. 9 is a diagram showing a method of recording an image file in the memory card MC.
【００８７】メモリカードＭＣの先頭の記憶領域にはホ
ルダ情報と各ホルダに属する画像ファイルの情報とを記
憶するインデックス領域が設けられ、その後の領域に各
画像ファイルがファイル番号Ｘの順に記憶されている。An index area for storing holder information and image file information belonging to each holder is provided in the top storage area of the memory card MC, and each image file is stored in the subsequent area in the order of file number X. There is.
【００８８】メモリカードＭＣにおける各画像ファイル
の記録領域は３つの領域からなり、上から各領域にタグ
情報のデータ、撮影画像のデータ及びサムネイル画像の
データが記憶される。タグ情報データ及びサムネイル画
像データのデータサイズは画像ファィルによって変化し
ないが、撮影画像のデータサイズは圧縮率や撮影モード
によって変化する。このため、メモリカードＭＣの画像
ファィルの記憶領域に記憶可能なファイル数は各画像フ
ァィルの撮影画像データのデータサイズによって変化す
る。The recording area of each image file in the memory card MC is composed of three areas, and tag information data, photographed image data and thumbnail image data are stored in the respective areas from the top. The data size of the tag information data and the thumbnail image data does not change depending on the image file, but the data size of the shot image changes depending on the compression rate and the shooting mode. Therefore, the number of files that can be stored in the image file storage area of the memory card MC changes depending on the data size of the captured image data of each image file.
【００８９】再生制御部１０８ｆはメモリカードＭＣに
記録された撮影画像のＬＣＤ表示部２０７への再生処理
を行なうものである。再生制御部１０８fは、電源スイ
ッチ２０８により再生モードが設定されると、メモリカ
ードＭＣに記録された各画像ファイルからサムネイル画
像を読み出し、順次、所定のインデックスフォーマット
に従ってＶＲＡＭ１０６ｂに記憶する。例えば１ページ
当たり、９枚のサムネイル画像が３×３に２次配列され
るようにＶＲＡＭ１０６ｂに記憶する。従って、これに
よりＬＣＤ表示部２０７に９枚の２次元配列されたサム
ネイル画像がインデックス表示される。The reproduction controller 108f is for reproducing the photographed image recorded in the memory card MC on the LCD display 207. When the reproduction mode is set by the power switch 208, the reproduction control unit 108f reads thumbnail images from each image file recorded in the memory card MC and sequentially stores the thumbnail images in the VRAM 106b according to a predetermined index format. For example, 9 thumbnail images per page are stored in the VRAM 106b so as to be secondarily arranged in 3 × 3. Accordingly, nine thumbnail images arranged two-dimensionally are index-displayed on the LCD display unit 207.
【００９０】なお、撮影モードがボケ味調整モード、階
調調整モード及び超解像モードである対関係の画像ファ
ィルについては、両画像ファイルに同一のサムネイル画
像が記憶されているので、一方の画像ファイルのみから
サムネイル画像が読み出される。Regarding the paired image files in which the shooting mode is the blur adjustment mode, the gradation adjustment mode and the super-resolution mode, the same thumbnail image is stored in both image files, so one of the images is stored. Thumbnail images are read from only files.
【００９１】インデックス表示されたサムネイル画像に
対して再生すべきコマのサムネイル画像が４連スイッチ
２０９及びスイッチ群２１０によって指定されると、再
生処理部１０８ｆは、そのコマに対応する画像ファィル
から撮影画像のデータを読み出し、そのコマが通常撮影
モードの場合は、データが圧縮されているので、所定の
伸長処理を行なった後、画像メモリ１０３ｆに記憶し、
そのコマが通常撮影モードでない場合は、データは圧縮
されていないので、そのまま画像メモリ１０３ｆに記憶
する。この画像メモリ１０３ｆに読み出されたデータ
は、上述したように表示制御部１０８ｄによりデータサ
イズが調整されてＶＲＡＭ１０６ｂに転送され、これに
よりＬＣＤ表示部２０７に再生表示される。When the thumbnail image of the frame to be reproduced for the thumbnail image displayed in the index is designated by the quad switch 209 and the switch group 210, the reproduction processing unit 108f causes the captured image from the image file corresponding to the frame. When the frame is in the normal shooting mode, the data is compressed, so the data is compressed and stored in the image memory 103f after the predetermined expansion processing.
If the frame is not in the normal shooting mode, the data is not compressed and is stored in the image memory 103f as it is. The data read out to the image memory 103f is adjusted in data size by the display control unit 108d as described above and transferred to the VRAM 106b, whereby it is reproduced and displayed on the LCD display unit 207.
【００９２】なお、再生すべきコマがボケ味調整モード
で撮影されたコマである場合は、ピントの合っている撮
影画像（本実施形態では後述するように２回目に撮影さ
れた画像）の画像ファィルから撮影画像のデータが読み
出され、階調調整モード及び超解像モードで撮影された
コマである場合は、対応する画像ファイルの内、いずれ
か一方の画像ファイルから撮影画像のデータが読み出さ
れる。When the frame to be reproduced is a frame photographed in the blur adjustment mode, the image of the photographed image in focus (the image photographed a second time as described later in this embodiment). If the captured image data is read from the file and the frame was captured in the gradation adjustment mode and the super-resolution mode, the captured image data will be read from one of the corresponding image files. Be done.
【００９３】特殊露光制御部１０８ｇは、ボケ味調整モ
ード、階調調整モード及び超解像モードが設定されてい
る状態でシャッタボタン６が全押しされたときのＣＣＤ
１０２ａの露光動作を制御するものである。特殊露光制
御部１０８ｇは、基本的にＳ２スイッチがオンになる
と、画像合成用の画像を取り込むため、連続してＣＣＤ
１０２ａの露光動作を２回繰り返す。The special exposure control section 108g is a CCD when the shutter button 6 is fully pressed in the state where the blur adjustment mode, gradation adjustment mode and super-resolution mode are set.
The exposure operation of 102a is controlled. The special exposure control unit 108g basically captures images for image composition when the S2 switch is turned on, and therefore the continuous exposure of the CCD
The exposure operation of 102a is repeated twice.
【００９４】次に、デジタルスチルカメラ１の記録モー
ドにおける撮影動作について、本発明に係るボケ味調整
モード、階調調整モード及び超解像モードにおける撮影
動作を説明する。Next, as for the photographing operation in the recording mode of the digital still camera 1, the photographing operation in the blur adjustment mode, gradation adjustment mode and super-resolution mode according to the present invention will be described.
【００９５】図１０はボケ味調整モードでの静止画の撮
影手順を示すフローチャートである。FIG. 10 is a flow chart showing the procedure for photographing a still image in the blur adjustment mode.
【００９６】ボケ味調整モードにおいて、シャッタボタ
ン２０６が半押しされると（＃１でＹＥＳ）、静止画撮
影のための準備が行なわれる。すなわち、絞り１０１ｃ
の絞り値が開放絞り値（例えばＦ＝２．８）に設定され
（＃３）、レンズ１０１の焦点が∞位置に調節される
（＃５）。また、ＣＣＤ１０２ａの露光時間が設定さ
れ、ホワイトバランス調整が行なわれる（＃７）。In the blur adjustment mode, when the shutter button 206 is pressed halfway (YES in # 1), preparation for still image shooting is made. That is, the aperture 101c
The aperture value is set to an open aperture value (for example, F = 2.8) (# 3), and the focus of the lens 101 is adjusted to the ∞ position (# 5). Further, the exposure time of the CCD 102a is set and the white balance is adjusted (# 7).
【００９７】この状態でシャッタボタン２０６が全押し
されると（＃７でＹＥＳ）、ＣＣＤ１０２ａをステップ
＃７で設定された露光時間だけ露光して被写体の静止画
像が取り込まれる（＃１１）。露光の後、ＣＣＤ１０２
ａから出力される画像信号は信号処理部１０３で所定の
アナログ信号処理、Ａ／Ｄ変換及び所定のデジタル信号
処理が行なわれて画像メモリ１０３ｆに記憶される。こ
の撮影画像はレンズ１０１の焦点を∞位置に調節してい
るので、画面の背景にピントが合い、画面内の人物等の
主被写体に対してはピンボケ状態となっている。When the shutter button 206 is fully pressed in this state (YES in # 7), the CCD 102a is exposed for the exposure time set in step # 7 to capture a still image of the subject (# 11). CCD 102 after exposure
The image signal output from a is subjected to predetermined analog signal processing, A / D conversion, and predetermined digital signal processing in the signal processing unit 103 and stored in the image memory 103f. In this captured image, the focus of the lens 101 is adjusted to the infinity position, so the background of the screen is in focus and the main subject such as a person in the screen is out of focus.
【００９８】続いて、全体制御部１０８の記録制御部１
０８ｅによりタグ情報のデータが作成されるとともに、
画像メモリ１０３ｆに記憶された画像データを用いてサ
ムネイル画像の画像データが作成され、これらのデータ
と画像メモリ１０３ｆに記憶された画像データとから画
像ファィルが作成され、メモリカードＭＣに記憶される
（＃１３）。なお、この撮影画像に対するタグ情報の撮
影モードには「ボケ味調整モード１／２」(図８参照）
のように、ボケ味調整モードで１回目に撮影されたもの
であることを示す情報が付与される。Subsequently, the recording control unit 1 of the overall control unit 108
08e creates tag information data,
Image data of a thumbnail image is created using the image data stored in the image memory 103f, an image file is created from these data and the image data stored in the image memory 103f, and stored in the memory card MC ( # 13). Note that the shooting mode of the tag information for this shot image is "bokeh adjustment mode 1/2" (see FIG. 8).
As described above, information indicating that the image was first shot in the blur adjustment mode is added.
【００９９】この撮影モードに関する情報をタグ情報に
入れているのは、通常撮影モードの撮影画像と識別する
とともに、後述するように画像処理装置でこの画像ファ
ィルが選択されたとき、自動的にボケ味調整処理の処理
プログラムを起動して直ちにボケ味調整処理ができるよ
うにするためである。なお、ボケ味調整モードで撮影さ
れた２枚目の撮影画像に付いても同様であり、階調調整
モードや超解像モードで撮影された画像についても同様
にタグ情報に撮影モードに関する情報を記録するように
している。The tag information contains the information about the photographing mode, which distinguishes it from the photographed image in the normal photographing mode and automatically blurs the image when the image file is selected by the image processing apparatus as described later. This is because the processing program for the taste adjustment processing is activated so that the blur adjustment processing can be performed immediately. The same applies to the second image captured in the bokeh adjustment mode. Similarly, for images captured in the gradation adjustment mode or super-resolution mode, the tag information also includes information about the shooting mode. I try to record it.
【０１００】続いて、レンズ１０１の焦点が、例えば３
ｍ先の位置に調節され（＃１５）、更にＣＣＤ１０２ａ
の露光時間が設定されるとともに、ホワイトバランス調
整が行なわれる（＃１７）。Then, the focus of the lens 101 is, for example, 3
It is adjusted to the position m ahead (# 15), and further CCD 102a
The exposure time is set and the white balance is adjusted (# 17).
【０１０１】そして、ＣＣＤ１０２ａをステップ＃１７
で設定された露光時間だけ露光して被写体の静止画像が
取り込まれる（＃１９）。露光の後、ＣＣＤ１０２ａか
ら出力される画像信号は信号処理部１０３で所定のアナ
ログ信号処理、Ａ／Ｄ変換及び所定のデジタル信号処理
が行なわれて画像メモリ１０３ｆに記憶される。この撮
影画像はレンズ１０１の焦点を３ｍ先に調節しているの
で、ほぼ画面内の主被写体に対しピントが合っている。Then, the CCD 102a is moved to step # 17.
A still image of the subject is captured by performing exposure for the exposure time set in step # 19. After the exposure, the image signal output from the CCD 102a is subjected to predetermined analog signal processing, A / D conversion and predetermined digital signal processing in the signal processing unit 103, and stored in the image memory 103f. In this photographed image, the focus of the lens 101 is adjusted to 3 m ahead, so that the main subject in the screen is almost in focus.
【０１０２】続いて、全体制御部１０８の表示制御部１
０８ｄにより画像メモリ１０３ｆからＲＡＭ１０８ｂに
画像データが読み出され、データサイズが調整された
後、ＶＲＡＭ１０６ｂに転送されてＬＣＤ表示部２０７
に表示される（＃２１）。この表示処理は撮影直後に撮
影画像をモニタできるようにするためのもので、所定の
時間（例えば２秒間）が経過すると、ライブビュー画像
に切り換えられる。Next, the display control unit 1 of the overall control unit 108.
Image data is read from the image memory 103f to the RAM 108b by 08d, the data size is adjusted, and then transferred to the VRAM 106b to be displayed on the LCD display unit 207.
Is displayed (# 21). This display processing is for allowing the captured image to be monitored immediately after the capturing, and after a predetermined time (for example, 2 seconds) has elapsed, the display is switched to the live view image.
【０１０３】また、全体制御部１０８の記録制御部１０
８ｅによりタグ情報のデータが作成されるとともに、画
像メモリ１０３ｆに記憶された画像データを用いてサム
ネイル画像の画像データが作成される。なお、この撮影
画像に対するタグ情報の撮影モードには「ボケ味調整モ
ード２／２」のように、ボケ味調整モードで２回目に撮
影されたものであることを示す情報が付与される。Further, the recording control unit 10 of the overall control unit 108
The tag information data is created by 8e, and the image data of the thumbnail image is created using the image data stored in the image memory 103f. The tag information shooting mode for this shot image is provided with information indicating that the image was taken a second time in the bokeh adjustment mode, such as “bokeh adjustment mode 2/2”.
【０１０４】そして、これらのデータと画像メモリ１０
３ｆに記憶された画像データとから画像ファィルが作成
され、メモリカードＭＣに記憶される（＃２３）。これ
により撮影処理は終了し、撮影待機状態（ライブビュー
画像の表示状態）に戻る。Then, these data and the image memory 10
An image file is created from the image data stored in 3f and stored in the memory card MC (# 23). As a result, the photographing process ends, and the camera returns to the photographing standby state (display state of live view image).
【０１０５】なお、この実施形態では、最初に遠景側に
焦点を合わせた後、２回目に近景側に焦点を合すように
しているが、合焦位置の変更順はこの逆であってもよ
い。また、カメラ起動後、ボケ味調整モードで撮影が行
なわれる場合、カメラ起動時はフォーカス用レンズ１０
１ａが∞位置に初期設定されるので、最初の撮影では遠
景側に焦点を合わせる方がフォーカス制御の無駄が無
く、合理的である。In this embodiment, the distant view side is first focused and then the near view side is focused second time. However, the order of changing the focus position may be reversed. Good. Further, when shooting is performed in the bokeh adjustment mode after the camera is activated, the focusing lens 10 is activated when the camera is activated.
Since 1a is initially set to the infinity position, it is more rational to focus on the distant view side in the first shooting without waste of focus control.
【０１０６】また、２回目の撮影では合焦位置をカメラ
から３ｍの位置に固定しているが、これはボケ味調整処
理により任意のピント状態の合成画像が作成されるの
で、合成前の撮影画像の合焦位置を正確に決定する必要
性が低いことと、フォーカス制御の処理時間を出来るだ
け短くして連続撮影を迅速に行なえるようにすることを
考慮したものであり、合焦位置としてカメラからの距離
を他の距離に固定してもよく、ＡＦ処理により正確に主
被写体までの距離としてもよい。In the second shooting, the in-focus position is fixed at a position 3 m from the camera. However, since a blurred image adjustment process produces a synthetic image in an arbitrary focus state, photographing before synthesis is performed. This is because it is not necessary to accurately determine the in-focus position of the image and that the focus control processing time should be as short as possible so that continuous shooting can be performed quickly. The distance from the camera may be fixed to another distance, or the distance to the main subject may be accurately determined by AF processing.
【０１０７】図１１は、階調調整モードでの静止画の撮
影手順を示すフローチャートである。FIG. 11 is a flow chart showing the procedure for photographing a still image in the gradation adjustment mode.
【０１０８】階調調整モードにおいて、シャッタボタン
２０６が半押しされると（＃３１でＹＥＳ）、静止画撮
影のための準備が行なわれる。すなわち、レンズ１０１
の焦点が主被写体に調節されるとともに、ライブビュー
画像を用いて露出制御値（Ｔｖ，Ａｖ）が算出され、ホ
ワイトバランス調整値が設定される（＃３３）。In the gradation adjustment mode, when the shutter button 206 is pressed halfway (YES in # 31), preparation for still image shooting is made. That is, the lens 101
The focus of is adjusted to the main subject, the exposure control value (Tv, Av) is calculated using the live view image, and the white balance adjustment value is set (# 33).
【０１０９】この状態でシャッタボタン２０６が全押し
されると（＃３５でＹＥＳ）、ステップ＃３３で設定さ
れたシャッタスピードＴｖ(ＡＰＥＸ値)より２段階アン
ダーのシャッタスピード（Ｔｖ−２）が設定され（＃３
７）、このシャッタスピードに相当する露光時間だけＣ
ＣＤ１０２ａを露光して被写体の静止画像が取り込まれ
る（＃３９）。露光の後、ＣＣＤ１０２ａから出力され
る画像信号は信号処理部１０３で所定のアナログ信号処
理、Ａ／Ｄ変換及び所定のデジタル信号処理が行なわれ
て画像メモリ１０３ｆに記憶される。この撮影画像はＣ
ＣＤ１０２の露光時間を適正値より短くしているので、
全体的に暗い画像となっている。When the shutter button 206 is fully pressed in this state (YES in # 35), a shutter speed (Tv-2) that is two steps lower than the shutter speed Tv (APEX value) set in step # 33 is set. Yes (# 3
7), C for the exposure time corresponding to this shutter speed
The CD 102a is exposed to capture a still image of the subject (# 39). After the exposure, the image signal output from the CCD 102a is subjected to predetermined analog signal processing, A / D conversion and predetermined digital signal processing in the signal processing unit 103 and stored in the image memory 103f. This captured image is C
Since the exposure time of CD102 is shorter than the proper value,
The overall image is dark.
【０１１０】続いて、全体制御部１０８の記録制御部１
０８ｅによりタグ情報のデータが作成されるとともに、
画像メモリ１０３ｆに記憶された画像データを用いてサ
ムネイル画像の画像データが作成され、これらのデータ
と画像メモリ１０３ｆに記憶された画像データとから画
像ファィルが作成され、メモリカードＭＣに記憶される
（＃４１）。なお、この撮影画像に対するタグ情報の撮
影モードには「階調調整モード１／２」のように、階調
調整モードで１回目に撮影されたものであることを示す
情報が付与される。Subsequently, the recording controller 1 of the overall controller 108
08e creates tag information data,
Image data of a thumbnail image is created using the image data stored in the image memory 103f, an image file is created from these data and the image data stored in the image memory 103f, and stored in the memory card MC ( # 41). It should be noted that the tag information shooting mode for this captured image is provided with information indicating that the image was first shot in the gradation adjustment mode, such as “gradation adjustment mode 1/2”.
【０１１１】続いて、ステップ＃３３で設定されたシャ
ッタスピードＴｖ(ＥＶ値)より２段階オーバーのシャッ
タスピード（Ｔｖ＋２）が設定され（＃４３）、このシ
ャッタスピードに相当する露光時間だけＣＣＤ１０２ａ
を露光して被写体の静止画画像が取り込まれる（＃４
５）。露光の後、ＣＣＤ１０２ａから出力される画像信
号は信号処理部１０３で所定のアナログ信号処理、Ａ／
Ｄ変換及び所定のデジタル信号処理が行なわれて画像メ
モリ１０３ｆに記憶される。この撮影画像はＣＣＤ１０
２の露光時間を適正値より長くしているので、全体的に
明るい画像となっている。Subsequently, a shutter speed (Tv + 2) that is two steps higher than the shutter speed Tv (EV value) set in step # 33 is set (# 43), and the CCD 102a is exposed for an exposure time corresponding to this shutter speed.
Is exposed to capture a still image of the subject (# 4
5). After the exposure, the image signal output from the CCD 102a is subjected to predetermined analog signal processing by the signal processing unit 103, A /
D conversion and predetermined digital signal processing are performed and the result is stored in the image memory 103f. This image is CCD10
Since the exposure time of 2 is longer than the appropriate value, the image is bright as a whole.
【０１１２】続いて、全体制御部１０８の記録制御部１
０８ｅによりタグ情報のデータが作成されるとともに、
画像メモリ１０３ｆに記憶された画像データを用いてサ
ムネイル画像の画像データが作成され、これらのデータ
と画像メモリ１０３ｆに記憶された画像データとから画
像ファィルが作成され、メモリカードＭＣに記憶される
（＃４７）。Subsequently, the recording controller 1 of the overall controller 108
08e creates tag information data,
Image data of a thumbnail image is created using the image data stored in the image memory 103f, an image file is created from these data and the image data stored in the image memory 103f, and stored in the memory card MC ( # 47).
【０１１３】なお、この撮影画像に対するタグ情報の撮
影モードには「階調調整モード２／２」のように、階調
調整モードで２回目に撮影されたものであることを示す
情報が付与される。The tag information photographing mode for this photographed image is provided with information indicating that it was photographed the second time in the gradation adjustment mode, such as "gradation adjustment mode 2/2". It
【０１１４】続いて、全体制御部１０８の表示制御部１
０８ｄにより画像メモリ１０３ｆから１回目の撮影画像
Ａの画像データと２回目の撮影画像Ｂの画像データとが
ＲＡＭ１０８ｂに読み出され、両撮影画像の平均濃度を
有する画像Ｃ（以下、平均濃度画像Ｃという。）の画像
データが作成される（＃４９）。すなわち、撮影画像Ａ
を構成する画素データをｇa(i,j)（ｉ＝１，２，…ｎ，
ｊ＝１,２,…ｍ）、撮影画像Ｂを構成する画素データを
ｇb(i,j)とすると、ｇc(i,j)＝｛ｇa(i,j)＋ｇb(i,j)｝
／２を演算することで平均濃度画像Ｃの画像データが作
成される。Subsequently, the display control unit 1 of the overall control unit 108
The image data of the first captured image A and the image data of the second captured image B are read from the image memory 103f by the RAM 08d into the RAM 108b, and an image C having the average density of both captured images (hereinafter, the average density image C Image data) is created (# 49). That is, the captured image A
The pixel data forming the pixel data is represented by ga (i, j) (i = 1, 2, ... N,
j = 1, 2, ... M), and the pixel data forming the captured image B is gb (i, j), gc (i, j) = {ga (i, j) + gb (i, j)}.
By calculating / 2, the image data of the average density image C is created.
【０１１５】この画像データはデータサイズが調整され
た後、ＶＲＡＭ１０６ｂに転送されてＬＣＤ表示部２０
７に表示される（＃５１）。この表示処理は撮影直後に
撮影画像をモニタできるようにするためのもので、所定
の時間（例えば２秒間）が経過すると、ライブビュー画
像に切り換えられる。After the data size of this image data is adjusted, it is transferred to the VRAM 106b and the LCD display unit 20
No. 7 is displayed (# 51). This display processing is for allowing the captured image to be monitored immediately after the capturing, and after a predetermined time (for example, 2 seconds) has elapsed, the display is switched to the live view image.
【０１１６】なお、モニタ画像として平均濃度画像Ｃを
用いているのは、１回目と２回目の撮影画像の濃度はそ
れぞれ適正濃度よりそれぞれ−側と＋側にずれているの
で、両者の平均値を取ることで演算処理に時間をかける
ことなく適正な濃度バランスを有する画像を直ちに表示
するようにしたものである。The average density image C is used as the monitor image because the densities of the first and second photographed images are deviated from the proper densities to the − side and the + side, respectively. By taking advantage of this, an image having an appropriate density balance can be immediately displayed without spending time for calculation processing.
【０１１７】この実施形態では、適正な露出制御に対し
て±２段階だけずらした露出値で連続的に２枚の画像を
撮影するようにしているが、適正露出値からのずれ量は
これに限定されるものではない。また、プラス／マイナ
スのずれ量を異なるようにしてもよく、撮影者がずれ量
を設定できるようにしても良い。In this embodiment, two images are continuously photographed at exposure values shifted by ± 2 steps with respect to proper exposure control, but the amount of deviation from the proper exposure value is set to this value. It is not limited. Further, the plus / minus shift amount may be different, and the photographer may be able to set the shift amount.
【０１１８】図１２は、超解像モードでの静止画の撮影
手順を示すフローチャートである。FIG. 12 is a flow chart showing the procedure for photographing a still image in the super-resolution mode.
【０１１９】超解像モードにおいて、シャッタボタン２
０６が半押しされると（＃６１でＹＥＳ）、静止画撮影
のための準備が行なわれる。すなわち、レンズ１０１の
焦点が主被写体に調節されるとともに、ライブビュー画
像を用いて露出制御値（Ｔｖ，Ａｖ）が算出され、ホワ
イトバランス調整値が設定される（＃６３）。In the super-resolution mode, the shutter button 2
When 06 is pressed halfway (YES in # 61), preparation for still image shooting is performed. That is, the focus of the lens 101 is adjusted to the main subject, the exposure control value (Tv, Av) is calculated using the live view image, and the white balance adjustment value is set (# 63).
【０１２０】この状態でシャッタボタン２０６が全押し
されると（＃６５でＹＥＳ）、ステップ＃６３で設定さ
れたシャッタスピードＴｖに相当する露光時間だけＣＣ
Ｄ１０２ａを露光して被写体の静止画像が取り込まれる
（＃６７）。露光の後、ＣＣＤ１０２ａから出力される
画像信号は信号処理部１０３で所定のアナログ信号処
理、Ａ／Ｄ変換及び所定のデジタル信号処理が行なわれ
て画像メモリ１０３ｆに記憶される。When the shutter button 206 is fully pressed in this state (YES in # 65), the exposure time CC corresponding to the shutter speed Tv set in step # 63 is set to CC.
D102a is exposed to capture a still image of the subject (# 67). After the exposure, the image signal output from the CCD 102a is subjected to predetermined analog signal processing, A / D conversion and predetermined digital signal processing in the signal processing unit 103, and stored in the image memory 103f.
【０１２１】続いて、全体制御部１０８の記録制御部１
０８ｅによりタグ情報のデータが作成されるとともに、
画像メモリ１０３ｆに記憶された画像データを用いてサ
ムネイル画像の画像データが作成され、これらのデータ
と画像メモリ１０３ｆに記憶された画像データとから画
像ファィルが作成され、メモリカードＭＣに記憶される
（＃６９）。なお、この撮影画像に対するタグ情報の撮
影モードには「超解像モード１／２」のように、超解像
モードで１回目に撮影されたものであることを示す情報
が付与される。Subsequently, the recording controller 1 of the overall controller 108
08e creates tag information data,
Image data of a thumbnail image is created using the image data stored in the image memory 103f, an image file is created from these data and the image data stored in the image memory 103f, and stored in the memory card MC ( # 69). It should be noted that information indicating that the image has been captured for the first time in the super-resolution mode, such as "super-resolution mode 1/2", is added to the shooting mode of the tag information for this captured image.
【０１２２】続いて、ステップ＃６３で設定されたシャ
ッタスピードＴｖに相当する露光時間だけＣＣＤ１０２
ａを露光して再度、被写体の静止画像が取り込まれる
（＃７１）。露光の後、ＣＣＤ１０２ａから出力される
画像信号は信号処理部１０３で所定のアナログ信号処
理、Ａ／Ｄ変換及び所定のデジタル信号処理が行なわれ
て画像メモリ１０３ｆに記憶される。この撮影画像は１
回目の撮影画像と撮影条件は同じであるが、撮影タイミ
ングが異なるため、１回目の撮影画像に対してカメラア
ングルが僅かに異なったものとなっている点で相違して
いる。Then, the CCD 102 is exposed for the exposure time corresponding to the shutter speed Tv set in step # 63.
A is exposed and a still image of the subject is captured again (# 71). After the exposure, the image signal output from the CCD 102a is subjected to predetermined analog signal processing, A / D conversion and predetermined digital signal processing in the signal processing unit 103, and stored in the image memory 103f. This captured image is 1
The shooting conditions are the same as those of the first shot image, but the shooting angle is different, and the camera angle is slightly different from that of the first shot image.
【０１２３】続いて、全体制御部１０８の記録制御部１
０８ｅによりタグ情報のデータが作成されるとともに、
画像メモリ１０３ｆに記憶された画像データを用いてサ
ムネイル画像の画像データが作成され、これらのデータ
と画像メモリ１０３ｆに記憶された画像データとから画
像ファィルが作成され、メモリカードＭＣに記憶される
（＃７３）。Next, the recording control unit 1 of the overall control unit 108
08e creates tag information data,
Image data of a thumbnail image is created using the image data stored in the image memory 103f, an image file is created from these data and the image data stored in the image memory 103f, and stored in the memory card MC ( # 73).
【０１２４】なお、この撮影画像に対するタグ情報の撮
影モードには「超解像モード２／２」のように、超解像
モードで２回目に撮影されたものであることを示す情報
が付与される。The tag information photographing mode for this photographed image is provided with information indicating that it was photographed a second time in the super-resolution mode, such as "super-resolution mode 2/2". It
【０１２５】続いて、全体制御部１０８の表示制御部１
０８ｄにより画像メモリ１０３ｆから１回目の撮影画像
がＲＡＭ１０８ｂに読み出され、データサイズが調整さ
れた後、ＶＲＡＭ１０６ｂに転送されてＬＣＤ表示部２
０７に表示される（＃７５）。この表示処理には２回目
の撮影画像を用いてもよい。Subsequently, the display control unit 1 of the overall control unit 108
The first shot image is read from the image memory 103f to the RAM 108b by 08d, the data size is adjusted, and then transferred to the VRAM 106b to be displayed on the LCD display unit 2.
07 is displayed (# 75). The second captured image may be used for this display processing.
【０１２６】この表示処理は撮影直後に撮影画像をモニ
タできるようにするためのもので、所定の時間（例えば
２秒間）が経過すると、ライブビュー画像に切り換えら
れる。また、２枚の画像を合成して解像度の高い画像を
作成するには処理時間を要し、モニタ表示には適さない
ので、ステップ＃７５では処理前の撮影画像を直接表示
するようにしている。This display processing is for enabling the photographed image to be monitored immediately after photographing, and after a predetermined time (for example, 2 seconds) has elapsed, the display is switched to the live view image. Further, it takes processing time to combine two images to create an image with high resolution and is not suitable for monitor display. Therefore, in step # 75, the captured image before processing is directly displayed. .
【０１２７】次に、本発明に係る撮像システムに適用さ
れる画像処理装置について説明する。Next, an image processing apparatus applied to the image pickup system according to the present invention will be described.
【０１２８】図１３は、画像処理装置の構成を示す外観
図である。同図に示す画像処理装置６は、パーソナルコ
ンピュータ７とその出力装置であるプリンタ８とで構成
されている。FIG. 13 is an external view showing the structure of the image processing apparatus. The image processing device 6 shown in the figure comprises a personal computer 7 and a printer 8 which is an output device thereof.
【０１２９】パーソナルコンピュータ７（以下、パソコ
ン７という。）は、ＦＤドライバ７０１ａ、メモリカー
ドリーダ７０１ｂ及びＣＤ−ＲＯＭドライバ７０１ｃを
備えたコンピュータ本体７０１とＣＲＴ若しくはＬＣＤ
からなるディスプレイ７０２とキーボード７０３とマウ
ス７０４とで構成されている。The personal computer 7 (hereinafter referred to as the personal computer 7) includes a computer main body 701 equipped with an FD driver 701a, a memory card reader 701b and a CD-ROM driver 701c and a CRT or LCD.
And a keyboard 703 and a mouse 704.
【０１３０】パソコン７は、ボケ味調整モードで撮影さ
れた２枚の撮影画像を合成して所望のボケ具合を有する
撮影画像を作成するための処理プログラム（以下、ボケ
味調整処理プログラムという。）、階調調整モードで撮
影された２枚の撮影画像を合成して所望の階調を有する
撮影画像を作成するための処理プログラム（以下、階調
調整処理プログラムという。）及び超解像モードで撮影
された２枚の撮影画像を合成して解像度の高い撮影画像
を作成するための処理プログラム（以下、超解像処理プ
ログラムという。）等の画像合成用の処理プログラムが
記録されたＣＤ−ＲＯＭ９をＣＤ−ＲＯＭドライバ７０
１ｃに装着し、この画像合成用の処理プログラムをコン
ピュータ本体７０１内のハードディスク（主記憶装置）
にインストールすることにより画像処理装置として機能
する。The personal computer 7 synthesizes two photographed images photographed in the blur adjusting mode to create a photographed image having a desired blur condition (hereinafter referred to as a blur adjusting process program). In the super resolution mode, a processing program (hereinafter referred to as a gradation adjustment processing program) for synthesizing two captured images captured in the gradation adjustment mode to create a captured image having a desired gradation. A CD-ROM 9 in which a processing program for image synthesis such as a processing program (hereinafter referred to as a super-resolution processing program) for synthesizing two captured images to create a high-resolution captured image is recorded. CD-ROM driver 70
1c, and the processing program for image synthesis is loaded into the hard disk (main storage device) of the computer main body 701.
Installed in to function as an image processing device.
【０１３１】なお、本実施形態では、ＣＤ−ＲＯＭ９に
記録された処理プログラムをコンピュータ７にインスト
ールすることにより画像処理装置を構成するようにして
いるが、予め装置本体の主記憶装置に処理プログラムが
記憶された専用の画像処理装置であってもよい。In this embodiment, the image processing apparatus is configured by installing the processing program recorded in the CD-ROM 9 in the computer 7, but the processing program is stored in the main storage device of the apparatus main body in advance. It may be a dedicated image processing device stored.
【０１３２】画像合成用の処理プログラムによる２枚の
撮影画像の合成処理手順や合成された画像（ボケ具合や
階調が調整された画像若しくは高解像度の画像）は、後
述するようにディスプレイ７０２に表示される。また、
合成後の画像はプリンタ８によってハードコピーを作成
することができる。The procedure for synthesizing the two photographed images by the image synthesizing processing program and the synthesized image (the image in which the degree of blurring or gradation is adjusted or the high resolution image) are displayed on the display 702 as described later. Is displayed. Also,
The combined image can be made into a hard copy by the printer 8.
【０１３３】次に、画像処理装置６における画像合成処
理について説明する。Next, the image synthesizing process in the image processing device 6 will be described.
【０１３４】図１４は、画像合成用の処理プログラムを
起動するための処理手順を示すフローチャートである。FIG. 14 is a flow chart showing a processing procedure for activating a processing program for image composition.
【０１３５】ボケ味調整処理プログラム、階調調整処理
プログラム及び超解像処理プログラムの各処理プログラ
ムは、各処理プログラムに対応する撮影モードで撮影さ
れた画像の画像ファイルを備えたフォルダが指定される
と、それに連動して起動されるようになっている。For each processing program of the blur adjustment processing program, gradation adjustment processing program and super-resolution processing program, a folder having an image file of an image taken in a shooting mode corresponding to each processing program is designated. And, it is designed to be activated in conjunction with it.
【０１３６】例えばキーボード７０３若しくはマウス７
０４の操作により上記各モードで撮影後のメモリカード
ＭＣへのアクセスが指示され、上記各モードで撮影され
た画像が格納されたフォルダを指定する、又はフォルダ
内の画像ファイルを示すアイコンにカーソルを移動さ
せ、そのアイコンの画像ファイルを開く指示が入力され
ると、メモリカードＭＣに記憶された当該画像ファイル
からタグ情報がパソコン本体７内に読み込まれ（＃８
１）、そのタグ情報内の撮影モードの内容が判別される
（＃８３，＃８７，＃９１）。For example, the keyboard 703 or the mouse 7
By the operation of 04, access to the memory card MC after shooting in each of the above modes is instructed, and the folder in which the images shot in each of the above modes are stored is designated, or the cursor is moved to an icon indicating an image file in the folder. When it is moved and an instruction to open the image file of the icon is input, the tag information is read from the image file stored in the memory card MC into the PC body 7 (# 8
1), the content of the shooting mode in the tag information is determined (# 83, # 87, # 91).
【０１３７】撮影モードがボケ味調整モードであれば
（＃８３でＹＥＳ）、ボケ味調整処理プログラムが起動
され（＃８５）、撮影モードが階調調整モードであれば
（＃８７でＹＥＳ）、階調調整処理プログラムが起動さ
れ（＃８９）、撮影モードが超解像モードであれば（＃
９１でＹＥＳ）、超解像処理プログラムが起動され（＃
９３）、撮影モードが通常撮影モードであれば（＃９１
でＮＯ）、通常の撮影画像を対象とする上記処理プログ
ラム以外の所定の処理プログラム、例えば画像補正用の
処理プログラムが起動される（＃９５）。If the photographing mode is the blur adjustment mode (YES in # 83), the blur adjustment processing program is started (# 85), and if the photographing mode is the gradation adjustment mode (YES in # 87), The gradation adjustment processing program is started (# 89), and if the shooting mode is the super-resolution mode (# 89)
(YES in 91), the super-resolution processing program is started (#
93), if the shooting mode is the normal shooting mode (# 91
No), a predetermined processing program other than the above processing program for a normal captured image, for example, a processing program for image correction is started (# 95).
【０１３８】図１５は、ボケ味調整処理プログラムが起
動したときのディスプレイ７０２に表示されるボケ味調
整用のダイアログ・ボックスの一例を示す図である。FIG. 15 is a diagram showing an example of a dialog box for blurring adjustment displayed on the display 702 when the blurring adjustment processing program is activated.
【０１３９】図１５に示す作業画面はパーソナルコンピ
ュータ７の所定のＯＳ（OperatingSystem）上でボケ味
調整処理プログラムを起動したときのもので、デスク・
トップ画面にボケ味調整処理を行なうためのダイアログ
・ボックス１０が表示されている。The work screen shown in FIG. 15 is displayed when the blur adjustment processing program is started on a predetermined OS (Operating System) of the personal computer 7.
A dialog box 10 for performing the bokeh adjustment processing is displayed on the top screen.
【０１４０】ダイアログ・ボックス１０にはボケ味調整
処理に関係する撮影画像のサムネイル画像を表示する３
個の表示領域１１ａ〜１１ｃと処理内容や処理条件を入
力するための６個のボタン表示１２ａ〜１２ｆとが表示
される。In the dialog box 10, thumbnail images of photographed images related to the blur adjustment processing are displayed 3
Display areas 11a to 11c and six button displays 12a to 12f for inputting processing contents and processing conditions are displayed.
【０１４１】表示領域１２ａ及び表示領域１１ｂは画面
上部に配置され、表示領域１１ａには２枚目の撮影画像
（近景にピントの合った撮影画像）のサムネイル画像Ａ
が表示され、表示領域１１ｂには１枚目の撮影画像（遠
景にピントの合った撮影画像のサムネイル画像Ｂが表示
される。また、表示領域１１ｃは表示領域１２ａの下部
に配置され、サムネイル画像Ａとサムネイル画像Ｂとを
合成してボケ味調整のシミュレートを行なったサムネイ
ル画像Ｃ（図２４参照）が表示される。The display area 12a and the display area 11b are arranged at the upper portion of the screen, and the thumbnail image A of the second photographed image (the photographed image focused on the near view) is displayed on the display area 11a.
Is displayed, and the first captured image (a thumbnail image B of the captured image focused on the distant view is displayed in the display area 11b. The display area 11c is arranged below the display area 12a. A thumbnail image C (see FIG. 24) obtained by synthesizing A and the thumbnail image B to simulate blurring adjustment is displayed.
【０１４２】ボタン表示１２ａ〜１２ｅは表示領域１１
ｂの下部にこの順に縦配列されて表示され、ボタン表示
１２ｆは表示領域１１ｃの下部に表示されている。The button displays 12a to 12e are displayed in the display area 11
The buttons are displayed vertically arranged in this order at the bottom of b, and the button display 12f is displayed at the bottom of the display area 11c.
【０１４３】「ファイル」と表記されたボタン表示１２
ａ（以下、ファイルボタン１２ａという。）は他の撮影
コマの画像ファイルを開くためのボタンである。ファイ
ルボタン１２ａにカーソルＫを移動してマウス７０４が
ダブルクリックされると、他の撮影コマの画像ファィル
を開くための所定の処理ソフトが行なわれ、図１６に示
すフローチャートに従って画像ファイルの読取処理が行
なわれる。Button display 12 labeled "File"
“A” (hereinafter referred to as a file button 12a) is a button for opening an image file of another captured frame. When the cursor K is moved to the file button 12a and the mouse 704 is double-clicked, predetermined processing software for opening the image file of another shooting frame is executed, and the image file reading process is performed according to the flowchart shown in FIG. Done.
【０１４４】すなわち、ディスプレイ７０２の画面に画
像ファイルを開くためのダイアログ・ボックスが表示さ
れ、開くべき撮影コマが指定されると（＃１０１）、メ
モリカードＭＣから当該撮影コマに対応する画像ファイ
ルのタグ情報に含まれる撮影モードの情報が読み出され
る（＃１０３）。そして、その撮影モードの情報からそ
の撮影コマがボケ味調整モードで撮影されたものである
か否かが判別され（＃１０５）、ボケ味調整モードで撮
影されたものであれば（＃１０５でＹＥＳ）、指定され
た撮影コマに対する画像合成処理と現在開いている画像
合成処理ソフトとが一致するので、その撮影コマに対応
するホルダに含まれる２個の画像ファィルからそれぞれ
撮影画像とサムネイル画像の画像データがＲＡＭ１０８
ｂに読み出され（＃１０７）、ボケ味調整モードで撮影
されたものでなければ（＃１０５でＮＯ）、指定された
撮影コマに対する画像合成処理と現在開いている画像合
成処理ソフトとが一致しないので、所定のエラーメッセ
ージが表示される（＃１０９）。That is, when a dialog box for opening an image file is displayed on the screen of the display 702 and a shooting frame to be opened is designated (# 101), the memory card MC displays the image file corresponding to the shooting frame. The information of the shooting mode included in the tag information is read (# 103). Then, it is judged from the information of the photographing mode whether or not the photographed frame is photographed in the blur adjustment mode (# 105), and if it is photographed in the blur adjustment mode (# 105). YES), since the image compositing process for the designated photographic frame and the image merging process software currently open match, the photographic image and the thumbnail image are respectively selected from the two image files included in the holder corresponding to the photographic frame. Image data is RAM 108
If it is not read in b (# 107) and is not shot in the blur adjustment mode (NO in # 105), the image synthesis processing for the designated shooting frame matches the currently open image synthesis processing software. If not, a predetermined error message is displayed (# 109).
【０１４５】なお、図１６に示すフローチャートでは、
指定された撮影コマが現在開いているボケ味調整処理に
対応したボケ味調整モードで撮影されたものでない場合
は、その撮影コマに対する画像合成処理が不適合である
としてエラーメッセージを表示し、作業者にボケ味調整
モードで撮影された撮影コマを指定するようにしている
が、図１７に示すフローチャートのように、指定された
撮影コマが現在開いているボケ味調整処理に対応したボ
ケ味調整モードで撮影されたものでない場合は、その撮
影コマの撮影モードに対応した画像合成処理ソフトを起
動して当該撮影コマに対する画像合成処理を直ちにでき
るようにしてもよい。In the flow chart shown in FIG. 16,
If the specified shooting frame was not shot in the bokeh adjustment mode that corresponds to the currently open bokeh adjustment process, an error message is displayed indicating that the image composition process for that shooting frame is incompatible, and the operator Although the frame to be photographed in the blur adjustment mode is specified in, the blur adjustment mode corresponding to the blur adjustment process in which the specified frame is currently open is performed as shown in the flowchart of FIG. If the image is not taken in step 1, image synthesizing processing software corresponding to the shooting mode of the image frame may be activated so that the image synthesizing process for the image frame can be immediately performed.
【０１４６】図１６に示すフローチャートは、現在起動
している画像合成処理ソフトを優先し、この画像合成処
理ソフトを終了させない限り、当該画像合成処理ソフト
に適合しない撮影モードで撮影された撮影コマの画像フ
ァイルのオープンを禁止するものである。このフローチ
ャートは、現在起動している画像合成処理ソフトに適合
しない撮影コマの画像ファイルが開かれることによるそ
の後の矛盾した処理を解消するための複雑な処理を不要
とし、処理が簡単になる点で有利である。The flowchart shown in FIG. 16 gives priority to the image synthesizing processing software that is currently activated, and unless the image synthesizing processing software is terminated, the image frames photographed in the photographic mode not compatible with the image synthesizing processing software are displayed. It prohibits the opening of image files. This flowchart does not require complicated processing to eliminate the contradictory processing that occurs when an image file of a shot frame that is not compatible with the image synthesis processing software that is currently running is opened, and the processing is simplified. It is advantageous.
【０１４７】一方、図１７に示すフローチャートは、指
定された撮影コマの撮影モードを優先し、当該撮影コマ
に対する画像合成処理ソフトが現在起動している画像合
成処理ソフトと適合しない場合は、起動すべき画像合成
処理ソフトを切り換えるものである。このフローチャー
トは、指定された撮影コマの撮影モードが現在起動して
いる画像合成処理ソフトと適合しなければ、その都度指
定された撮影コマの撮影モードに適合する画像合成処理
ソフトを再起動するので、図１６に示すフローチャート
よりも処理が複雑になる。On the other hand, the flow chart shown in FIG. 17 gives priority to the shooting mode of the designated shooting frame, and if the image synthesis processing software for the shooting frame does not match the currently running image synthesis processing software, it is started. The image composition processing software to be used is switched. In this flowchart, if the shooting mode of the specified shooting frame does not match the currently running image combining processing software, the image combining processing software that matches the shooting mode of the specified shooting frame is restarted each time. Processing becomes more complicated than that of the flowchart shown in FIG.
【０１４８】しかし、上述したように本実施形態では、
最初に起動される画像合成処理ソフトは、最初に画像フ
ァイルが開かれた撮影コマの撮影モードに対応したもの
であり、作業者が指定した撮影コマの撮影モードに付随
するようになっている。これは、作業者は所望の撮影コ
マについて所要の画像合成処理をした後、鑑賞するとい
う作業性を考慮したものであるが、図１７のフローチャ
ートもこの考え方に共通するものであり、作業者にとっ
ては作業効率がよいという利点がある。However, as described above, in the present embodiment,
The image synthesizing processing software that is activated first corresponds to the shooting mode of the shooting frame in which the image file is first opened, and is associated with the shooting mode of the shooting frame designated by the operator. This is because the worker considers the workability of viewing the desired image frame after performing the required image composition processing, but the flowchart of FIG. 17 is also common to this idea, and for the worker. Has the advantage of good work efficiency.
【０１４９】なお、図１７に示すフローチャートは、図
１６のフローチャートのステップ＃１０９を図１４に示
すフローチャートのステップ＃８７〜＃９５と同一の処
理内容を有するステップ＃１０９-１〜＃１０９-４に置
き換えたもので、撮影モードがボケ味調整モードでなけ
れば（＃１０５でＮＯ）、撮影モードが階調調整モー
ド、超解像モード及び通常撮影モードの何れであるか判
別され（＃１０９-１，＃１０９-３）、撮影モードが階
調調整モードであれば（＃１０９-１でＹＥＳ）、階調
調整処理プログラムが起動され（＃１０９-２）、撮影
モードが超解像モードであれば（＃１０９-３でＹＥ
Ｓ）、超解像処理プログラムが起動され（＃１０９-
４）、撮影モードが通常撮影モードであれば（＃１０９
-３でＮＯ）、通常の撮影画像を対象とする上記処理プ
ログラム以外の所定の処理プログラム、例えば画像補正
用の処理プログラムが起動される（＃１０９-５）。In the flowchart shown in FIG. 17, step # 109 of the flowchart of FIG. 16 has the same processing contents as steps # 87 to # 95 of the flowchart of FIG. 14 and steps # 109-1 to # 109-4. If the shooting mode is not the blur adjustment mode (NO in # 105), it is determined whether the shooting mode is the gradation adjustment mode, the super-resolution mode or the normal shooting mode (# 109- 1, # 109-3), if the shooting mode is the gradation adjustment mode (YES in # 109-1), the gradation adjustment processing program is started (# 109-2), and the shooting mode is the super-resolution mode. If there is (YE in # 109-3
S), the super-resolution processing program is started (# 109-
4) If the shooting mode is the normal shooting mode (# 109
If NO in -3), a predetermined processing program other than the above-mentioned processing program for a normal captured image, for example, a processing program for image correction is started (# 109-5).
【０１５０】図１５に戻り、「実行」と表記されたボタ
ン表示１２ｂは（以下、実行ボタン１２ｂという。）は
ボケ味調整モードで撮影されたピント状態の異なる２枚
の撮影画像を用いて実際にボケ味調整処理を実行するた
めのボタンである。Returning to FIG. 15, the button display 12b labeled "execute" (hereinafter referred to as "execute button 12b") is actually obtained by using two shot images with different focus states shot in the bokeh adjustment mode. This is a button for executing the bokeh adjustment processing.
【０１５１】実行ボタン１２ｂにカーソルＫを移動して
マウス７０４がダブルクリックされると、ピント状態の
異なる２枚の撮影画像を用いてボケ味調整画像を作成す
るための所定の処理ソフトが起動し、図２０〜図２２に
示すフローチャートに従ってボケ味調整処理が行なわれ
る。When the cursor K is moved to the execution button 12b and the mouse 704 is double-clicked, a predetermined processing software for creating a bokeh adjustment image is started using two photographed images with different focus states. The blur adjustment processing is performed according to the flowcharts shown in FIGS.
【０１５２】ここで、本実施形態で採用するボケ味調整
画像作成の方法について簡単に説明する。このボケ味調
整画像作成の方法はサムネイル画像を用いてボケ味調整
画像をシミュレートする場合にも適用される。Here, the method for creating the blur adjustment image used in this embodiment will be briefly described. This method for creating a bokeh adjustment image is also applied when simulating a bokeh adjustment image using thumbnail images.
【０１５３】ピント状態の異なる２枚の画像（例えば図
１８に示すように、近景に合焦し、遠景がピンボケ状態
の近景合焦画像Ｉrと遠景に合焦し、近景がピンボケ状
態の画像Ｉf）を用いて任意のピント状態の画像Ｉを作
成する方法として種々の方法が知られているが、基本的
に、２枚の画像Ｉr，Ｉf間での位置合わせ（レジスト
レーション処理）と、所定の演算処理によるボケ味調
整画像の作成（画像合成処理）という２つの工程で構成
される。Two images having different focus states (for example, as shown in FIG. 18), the near view is focused, the distant view is focused on the out-of-focus focused near image Ir and the distant view, and the near view is an out-of-focus image If. Although various methods are known as a method for creating an image I in an arbitrary focus state by using (1), basically, the alignment (registration process) between the two images Ir and If and a predetermined method are performed. It is composed of two steps of creating a blurring adjustment image by the calculation processing of (image combining processing).
【０１５４】レジストレーション処理は、画像合成処理
において画面内の同一の図柄を正確に合成するため、合
成対象となる両画像の位置を合わせるものである。レジ
ストレーション処理は、画像全体のレジストレーション
（粗い位置合わせ）とその後の局所的なレジストレーシ
ョン（細かい位置合わせ）の２段階で行なわれる。The registration process aligns the positions of both images to be combined in order to accurately combine the same symbol on the screen in the image combining process. The registration process is performed in two stages: registration of the entire image (coarse registration) and subsequent local registration (fine registration).
【０１５５】画像全体のレジストレーションでは、例え
ば近景合焦画像Ｉrを基準にして遠景合焦画像Ｉｆを拡
大／縮小、平行移動、回転等を行ないつつ両画像Ｉr，
Ｉfを照合して、両画像Ｉr，Ｉfが一致する遠景合焦画
像Ｉfの拡大率、平行移動量及び回転角等が算出され
る。なお、近景合焦画像Ｉrに対する遠景合焦画像Ｉfの
一致度は、両画像間の対応する各画素のレベル差の２乗
平均値ΔＶを算出し、これらの総和ΣΔＶを指標として
評価され、この総和ΣΔＶが最小となる拡大率、平行移
動量及び回転角等の値が画像の位置合わせ情報として算
出される。In the registration of the entire image, for example, the distant view focused image If is enlarged / reduced, moved in parallel, rotated, etc. with reference to the near image focused image Ir, and both images Ir,
If is collated, the enlargement ratio, the translation amount, the rotation angle, etc. of the distant view focused image If in which both images Ir and If match is calculated. The degree of matching of the distant view focused image If to the near view focused image Ir is evaluated by calculating the root mean square value ΔV of the level differences of corresponding pixels between the images and using the sum ΣΔV of these as an index. Values such as an enlargement ratio, a parallel movement amount, and a rotation angle that minimize the total sum ΣΔV are calculated as image alignment information.
【０１５６】なお、拡大率、平行移動量及び回転角等の
画像の位置合わせ情報は、近景合焦画像Ｉrと遠景合焦
画像Ｉfの合焦状態が異なり、両画像Ｉr，Ｉfを直接比
較すると、誤差が生じる可能性があるので、階層化マッ
チング法を用いて算出される。Regarding the image alignment information such as the enlargement ratio, the translation amount, and the rotation angle, the in-focus image Ir and the in-focus image If are different in in-focus state, and both images Ir and If are directly compared. Since there is a possibility that an error will occur, it is calculated using the layered matching method.
【０１５７】局所的なレジストレーション処理は、近景
合焦画像Ｉrと画像全体のレジストレーションを行なっ
た遠景合焦画像Ｉfとの間で画素毎の位置ずれを補正す
るものである。この補正は近景合焦画像Ｉfの画素位置
（ｘ，ｙ）と画像全体のレジストレーションを行なった
遠景合焦画像Ｉfの画素位置（ｘ＋ｍ，ｙ＋ｎ）を中心
にｒ×ｒ画素内の両画像の対応する画素のレベル差の２
乗平均値を算出し、更にｒ×ｒ個の総和が最小となるパ
ラメータ（ｍ，ｎ）を算出することにより行なわれる。
全ての画素に対してパラメータ（ｍ，ｎ）を算出し、こ
のパラメータ（ｍ，ｎ）を用いて遠景合焦画像Ｉfを補
正すると、最終的に近景合焦画像Ｉrに対して位置合わ
せの行なわれた遠景画像画像Ｉfが得られる。The local registration processing is to correct the positional deviation for each pixel between the in-focus image Ir of the near view and the in-focus image If of the far image in which the entire image is registered. This correction is performed for both images within r × r pixels centered on the pixel position (x, y) of the near-field focused image If and the pixel position (x + m, y + n) of the distant-view focused image If that is the entire image registered. 2 of the level difference of the corresponding pixel
This is performed by calculating the multiplicative mean value and further calculating the parameter (m, n) that minimizes the r × r total sum.
When the parameter (m, n) is calculated for all pixels and the distant view focused image If is corrected using this parameter (m, n), finally the near focus image Ir is aligned. The distant view image image If is obtained.
【０１５８】なお、レジストレーション処理は、近景合
焦画像Ｉrと遠景合焦画像Ｉfとが全く同一であれば必ず
しも必要はないが、撮影画像のように異なる時間に撮影
された画像の場合は連続的に撮影されたものであっても
被写体が画面内で微小変位していることが通常であるか
ら、本実施形態では必ずレジストレーション処理を行な
っている。The registration process is not always necessary if the near-field focused image Ir and the distant-view focused image If are exactly the same. However, in the case of images taken at different times, such as taken images, continuous registration processing is performed. Even if a subject is photographed, it is usual that the subject is slightly displaced in the screen, so that the registration process is always performed in this embodiment.
【０１５９】画像合成処理としては、例えばセグメント
法、反復法、逆フィルタ法などの種々の方法が知られて
いる。本実施形態では反復法を採用しているので、以下
の説明では反復法について説明する。As the image synthesizing process, various methods such as a segment method, an iterative method and an inverse filter method are known. Since the iterative method is adopted in the present embodiment, the iterative method will be described below.
【０１６０】図１８に示すように、近景合焦画像Ｉrを
表す関数ｇ1(x,y)は、合焦している近景領域を表す関数
をｆ1(x,y)、合焦している遠景領域を表す関数をｆ2(x,
y)、合焦していない遠景領域のボケ具合を表す関数をｈ
2(ｘ,ｙ)とすると、ｇ1(x,y)＝ｆ1(x,y)＋ｈ2(x,y)・ｆ2(x,y)…(1)で表される。As shown in FIG. 18, the function g1 (x, y) representing the near-field focused image Ir is f1 (x, y) representing the in-focus area in focus, and the in-focus distant view. Let f2 (x,
y), h is a function that represents the degree of blurring of the distant view area that is out of focus
If 2 (x, y), then g1 (x, y) = f1 (x, y) + h2 (x, y) .f2 (x, y) ... (1)
【０１６１】同様に、遠景合焦画像Ｉrを表す関数ｇ2
(x,y)は、合焦していない近景領域のボケ具合を表す関
数をｈ1(ｘ,ｙ)とすると、ｇ2(x,y)＝ｆ2(x,y)＋ｈ1(x,y)・ｆ1(x,y)…(2)で表される。Similarly, the function g2 representing the distant view focused image Ir
Let (x, y) be h2 (x, y) = f2 (x, y) + h1 (x, y). It is represented by f1 (x, y) ... (2).
【０１６２】一方、ボケ味調整画像Ｉが近景合焦画像Ｉ
rの近景領域をボケ関数ｈa(x,y)でぼかした画像と遠景
合焦画像Ｉfの遠景領域をボケ関数ｈb(x,y)でぼかした
画像とを合成して作成されるとすると、ボケ味調整画像
Ｉを表す関数ｆ(x,y)は、ｆ(x,y)＝ha(x,y)・f1(x,y)+hb(x,y)・f2(x,y)…(3)で表される。On the other hand, the bokeh adjustment image I is the close-focused image I.
If it is created by synthesizing an image in which the near view region of r is blurred with the blur function ha (x, y) and an image in which the distant view region of the distant view focused image If is blurred with the blur function hb (x, y) are created, The function f (x, y) representing the bokeh adjustment image I is f (x, y) = ha (x, y) .f1 (x, y) + hb (x, y) .f2 (x, y) ... (3)
【０１６３】なお、ボケ関数ｈ1，ｈ2は、ボケ具合を表
す関数ｈを、ｈ(x,y)＝(1/πR2)・exp（-(x2+y2)/R2）…(4)Ｒ；ボケ量（ボケ半径）の二次元ガウス関数で表されると仮定して遠景合焦画像
Ｉfの近景領域画像や近景合焦画像Ｉrの遠景領域画像か
ら推定することができるが、撮影画像の場合は撮影レン
ズの合焦位置からボケ量を算出することができるので、
本実施形態では画像ファイルのタグ情報に含まれる撮影
レンズの種類と撮影時の焦点距離の情報とに基づいて予
め設定されたテーブルを参照して設定されるようになっ
ている。また、ボケ関数ｈa，ｈbは予めディフォルト値
が設定されているが、後述するように「設定」と表記さ
れたボタン１２ｃ（以下、設定ボタン１２ｃという。）
を操作することで開かれるダイアログ・ボックスから所
望のボケ量を設定することができるようになっている。As for the blurring functions h1 and h2, the function h representing the degree of blurring is represented by h (x, y) = (1 / πR2 ) · exp (-(x2 + y2 ) / R2 ) ... ( 4) R: Assuming that it is represented by a two-dimensional Gaussian function of the blur amount (blur radius), it can be estimated from the near view region image of the distant view focused image If or the distant view region image of the near focused image Ir. In the case of a shot image, the amount of blur can be calculated from the in-focus position of the shooting lens.
In the present embodiment, the setting is performed by referring to a table that is set in advance based on the type of photographing lens included in the tag information of the image file and the focal length information at the time of photographing. The default values of the blur functions ha and hb are set in advance, but as will be described later, the button 12c labeled "setting" (hereinafter referred to as the setting button 12c).
A desired blur amount can be set from a dialog box opened by operating.
【０１６４】（１）〜（３）式からｆ1(x,y)、ｆ2(x,y)
を消去すると、近景合焦画像Ｉrの関数ｇ1(x,y)、遠景
合焦画像Ｉfの関数ｇ2(x,y)、ボケ味調整画像Ｉの関数
ｆ(x,y)の間の関係式（ha-hb・h1)・g1+(hb-ha・h2)・g2＝(δ-h1・h2)・f…(5)が得られる。なお、（５）式でδはディラックのデルタ
関数である。また、（５）式では便宜上、関数表記の変
数(x,y)部分を省略している。以下の説明でも変数(x,y)
の部分を省略して各関数を表記するものとする。From equations (1) to (3), f1 (x, y) and f2 (x, y)
When is deleted, the relational expression among the function g1 (x, y) of the near-field focused image Ir, the function g2 (x, y) of the distant-view focused image If, and the function f (x, y) of the bokeh adjusted image I. (Ha-hb ・ h1) ・ g1 + (hb-ha ・ h2) ・ g2 ＝ (δ-h1 ・ h2) ・ f… (5) is obtained. In the equation (5), δ is a Dirac delta function. Further, in the expression (5), the variable (x, y) portion of the function notation is omitted for convenience. Variable (x, y)
The part of is omitted and each function is described.
【０１６５】よって、（５）式を解くことによりボケ味
調整画像Ｉを示す関数ｆを得ることができる。反復法
は、（５）式において、左辺をｇ＝（ha-hb・h1)・g1+(hb
-ha・h2)・g2とおき、ボケ味調整画像を表す関数ｆの初期
値ｆ(0)（例えば関数ｇ1，ｇ2，（ｇ1＋ｇ2）／２等）
を適当に設定してｇ＋ｈ1・ｈ2・ｆ(K)＝ｆ(K+1)（ｋ＝
０，１，２，…）の反復演算を繰り返すと、ｋ→∞でｆ
(∞)が（５）式を満足するｆに収束することから、この
反復演算を繰り返すことにより（５）式の解を得る方法
である。従って、ｇ＋ｈ1・ｈ2・ｆ(K)の反復演算を繰
り返すことにより所望のボケ具合を有するボケ味調整画
像Ｉが算出される。Therefore, by solving the equation (5), it is possible to obtain the function f indicating the blurring adjusted image I. In the iterative method, the left side of equation (5) is g = (ha-hb · h1) · g1 + (hb
-ha · h2) · g2, the initial value f(0) of the function f representing the bokeh adjustment image (for example, the functions g1, g2, (g1 + g2) / 2 etc.)
Is set appropriately and g + h1 · h2 · f(K) = f(K + 1) (k =
0,1,2, ...) is repeated, k → ∞ f
Since ( ∞) converges to f that satisfies the equation (5), this is a method of obtaining the solution of the equation (5) by repeating this iterative calculation. Therefore, the bokeh adjustment image I having a desired degree of blur is calculated by repeating the iterative calculation of g + h1 · h2 · f(K) .
【０１６６】図１５に戻り、設定ボタン１２ｃは、近景
合焦画像Ｉrのボケ量Ｒ1、遠景合焦画像のボケ量Ｒ2及
び反復演算回数ｋのボケ味調整処理のためのパラメータ
を設定するためのボタンである。設定ボタン１２ｃにカ
ーソルＫを移動してマウス７０４がダブルクリックされ
ると、ボケ量Ｒ1，Ｒ2及び反復演算回数ｋのパラメータ
を設定するための処理プログラムが起動し、ディスプレ
イ７０２の画面に、図１９に示すようなパラメータ設定
用のダイアログ・ボックス１３が表示される。Returning to FIG. 15, the setting button 12c is used to set parameters for the blurring amount R1 of the in-focus image Ir of the foreground, the blurring amount R2 of the in-focus image of the distant view, and the blurring adjustment processing of the number of times of repetitive calculations k. It is a button. When the cursor K is moved to the setting button 12c and the mouse 704 is double-clicked, a processing program for setting the parameters of the blur amounts R1 and R2 and the number of repetitive calculations k is started, and the screen of the display 702 is displayed in FIG. A dialog box 13 for parameter setting is displayed as shown in FIG.
【０１６７】ダイアログ・ボックス１３にはボケ量すｒ
1，ｒ2を設定するためのスライドスイッチ表示１４ａ，
１４ｂと反覆演算回数ｋを入力するための領域１５と設
定内容を確定するための「ＯＫ」ボタン表示１６とが表
示される。ボケ量ｒ1，ｒ2はスライドスイッチ表示１４
ａ，１４ｂにカーソルＫを移動し、マウス７０４をワン
クリックした状態で左右に移動させて当該カーソルＫを
移動させることでその設定値が変更される。ボケ量ｒ
1，ｒ2の設定値はスライドスイッチ表示１４ａ，１４ｂ
が左側に移動すると小さくなり、右側に移動すると大き
くなる。The amount of blurring in the dialog box 13
Slide switch display 14a for setting 1, r2,
14b, an area 15 for inputting the repeat operation count k, and an "OK" button display 16 for confirming the setting contents are displayed. Bokeh amounts r1 and r2 are displayed on the slide switch 14
The setting value is changed by moving the cursor K to a and 14b, moving the mouse 704 left and right in the state of one-clicking, and moving the cursor K. Bokeh amount r
The set values of 1 and r2 are slide switch displays 14a and 14b.
Moves to the left to decrease, and to the right increases.
【０１６８】なお、操作者には感覚的なボケ具合しかイ
メージできず、ボケ量ｒ1，ｒ2の具体的な数値と実際の
ボケ具合との関係は認識できないので、図１９の設定画
面では近景合焦画像及び遠景合焦画像の感覚的なボケ具
合が、例えば１０段階のスライダー形式で入力できるよ
うになっている。Note that the operator can only imagine the degree of blurring, and cannot recognize the relationship between the concrete numerical values of the blurring amounts r1 and r2 and the actual degree of blurring. Therefore, in the setting screen of FIG. Sensitive blurring of a focused image and a distant view focused image can be input in, for example, a 10-step slider format.
【０１６９】反復演算回数ｋは窓１５にカーソルＫを移
動し、キーボード７０３から直接、数値を入力すること
で設定される。ＯＫボタン表示１６にカーソルＫを移動
し、マウス７０４をダブルクリックすると、設定された
近景合焦画像及び遠景合焦画像のボケ具合と反復演算回
数ｋが確定される。The number of repetitive operations k is set by moving the cursor K to the window 15 and directly inputting a numerical value from the keyboard 703. When the cursor K is moved to the OK button display 16 and the mouse 704 is double-clicked, the blurring degree and the number of repetitive calculations k of the set near-field focused image and distant-view focused image are set.
【０１７０】図１５に戻り、「シミュレーション」と表
記されたボタン表示１２ｄは（以下、シミュレーション
ボタン１２ｄという。）は表示領域１１ａに表示された
サムネイル画像Ａと表示領域１１ｂに表示されたサムネ
イル画像Ｂとを用いてボケ味調整処理をシミュレートす
るためのボタンである。Returning to FIG. 15, the button display 12d labeled "simulation" (hereinafter referred to as the simulation button 12d) has a thumbnail image A displayed in the display area 11a and a thumbnail image B displayed in the display area 11b. This is a button for simulating the bokeh adjustment processing using and.
【０１７１】２枚のピント状態の異なる画像を用いて任
意のピント具合の画像を合成する場合、仕上がり状態が
どのようになるかは実際に合成してみなければ分からな
いのが通常であるが、そのために実際の撮影画像を用い
てボケ味調整処理をしていたのでは、撮影画像の画像デ
ータは膨大であるため、処理結果が出るまで長時間を要
し、簡単にボケ味を確認した場合には極めて不便であ
る。そこで、本実施形態では画素数の少ないサムネイル
画像を用いてボケ味調整をシミュレートすることによ
り、簡易かつ迅速にボケ味調整画像を確認できるように
している。When synthesizing an image with an arbitrary focus condition using two images with different focus states, it is usual to know what the finished state will be without actually synthesizing. For that reason, since the blur adjustment processing was performed using the actual captured image, the image data of the captured image is huge, so it took a long time to obtain the processing result, and the blur was easily confirmed. In some cases, it is extremely inconvenient. Therefore, in the present embodiment, the bokeh adjustment image is easily and quickly confirmed by simulating the bokeh adjustment using a thumbnail image having a small number of pixels.
【０１７２】シミュレーションボタン１２ｄにカーソル
Ｋを移動してマウス７０４がダブルクリックされると、
サムネイル画像を用いてボケ味調整画像を作成するため
の所定の処理ソフトが起動し、図２３に示すフローチャ
ートに従ってサムネイル画像を用いたボケ味調整処理が
行なわれる。When the cursor K is moved to the simulation button 12d and the mouse 704 is double-clicked,
Predetermined processing software for creating the bokeh adjustment image using the thumbnail image is activated, and the bokeh adjustment process using the thumbnail image is performed according to the flowchart shown in FIG.
【０１７３】「終了」と表記されたボタン表示１２ｅは
（以下、終了ボタン１２ｅという。）はボケ味調整処理
を終了するためのボタンで、ダイアログ・ボックス１０
の左上隅に表示された×印表示と同一機能を果たすもの
である。終了ボタン１２ｅにカーソルＫを移動してマウ
ス７０４がダブルクリックされると、ボケ味調整処理の
ソフトが終了する。The button display 12e labeled "End" (hereinafter referred to as "end button 12e") is a button for ending the bokeh adjustment processing, and the dialog box 10
It has the same function as the X mark displayed in the upper left corner of. When the cursor K is moved to the end button 12e and the mouse 704 is double-clicked, the blur adjustment processing software ends.
【０１７４】「中止」と表記されたボタン表示１２ｆは
（以下、中止ボタン１２ｆという。）はボケ味調整処理
のシミュレーション処理を途中で中止させるためのボタ
ンである。中止ボタン１２ｆにカーソルＫを移動してマ
ウス７０４がダブルクリックされると、ボケ味調整処理
のシミュレーションが中止される。The button display 12f labeled "Cancel" (hereinafter referred to as "Cancel button 12f") is a button for aborting the simulation process of the blur adjustment process. When the cursor K is moved to the stop button 12f and the mouse 704 is double-clicked, the simulation of the blur adjustment processing is stopped.
【０１７５】次に、図２０〜図２２のフローチャートに
従ってボケ味調整処理について具体的に説明する。Next, the blurring adjustment processing will be concretely described with reference to the flow charts of FIGS.
【０１７６】ボケ味調整処理のソフトが起動すると、指
定されたホルダに含まれる２個の画像ファイルＰ（Ｘ＋
１）．ＴＩＦ，ＰＸ．ＴＩＦからそれぞれサムネイル画
像Ａ，Ｂが読み出され、ダイアログ・ボックスの表示領
域１１ａ，１１ｂに表示される（＃１１１，＃１１
３）。When the blur adjusting software is started, the two image files P (X +
1). TIF, PX. Thumbnail images A and B are respectively read from the TIF and displayed in the display areas 11a and 11b of the dialog box (# 111 and # 11).
3).
【０１７７】続いて、近景合焦画像及び遠景合焦画像に
対するボケ量Ｒ1，Ｒ2及び反復演算回数ｋが設定される
（＃１１５，＃１１７）。ボケ量Ｒ1，Ｒ2及び反復演算
回数ｋは、上述したように図１９に示す設定画面で操作
者によって設定されなければ、予め設定されたディフォ
ルト値（例えばボケ具合はレベル５、反復演算回数ｋは
２０）に設定され、操作者によって新たに設定される
と、その設定値が設定される。Subsequently, the blur amounts R1 and R2 and the number of repetitive calculations k for the in-focus image and the in-focus image are set (# 115, # 117). If the operator does not set the blur amounts R1 and R2 and the number of repetitive calculations k as described above, the preset default values (for example, the degree of blurring is level 5, the number of repetitive calculations k is 20), and when newly set by the operator, the set value is set.
【０１７８】続いて、サムネイル画像を用いたボケ味調
整処理のシミュレーションが指示されている否かが判別
され（＃１１９）、シミュレーションが指示されていれ
ば（＃１１９でＹＥＳ）、図２３に示すフローチャート
に従ってボケ味調整処理のシミュレーションが行なわれ
た後（＃１２１）、ステップ＃１２３に移行し、シミュ
レーションが指示されていなければ（＃１１９でＮ
Ｏ）、ステップ＃１２１をスキップしてステップ＃１２
３に移行する。Subsequently, it is judged whether or not the simulation of the blurring adjustment processing using the thumbnail image is instructed (# 119), and if the simulation is instructed (YES in # 119), it is shown in FIG. After the bokeh adjustment processing is simulated according to the flowchart (# 121), the process proceeds to step # 123, and if the simulation is not instructed (# 119, N
O), skip step # 121 and skip step # 12
Move to 3.
【０１７９】ボケ味調整処理のシミュレーションを行な
うソフトが起動すると、まず、サムネイル画像Ａとサム
ネイル画像Ｂとの間でのレジストレーション処理がＧの
色成分の画像を用いて行なわれ（＃１９１）、サムネイ
ル画像Ａに対するサムネイル画像Ｂのずれ量（δｘ，δ
ｙ）が決定される（＃１９３）。なお、本実施形態で
は、簡易に平行移動のみでレジストレーション処理を行
なっているので、縦方向ｘと横方向ｙとについてずれ量
（δｘ，δｙ）が算出される。When the software for simulating the blur adjustment processing is started, first, the registration processing between the thumbnail image A and the thumbnail image B is performed using the image of the G color component (# 191), Displacement amount of the thumbnail image B with respect to the thumbnail image A (δx, δ
y) is determined (# 193). It should be noted that in the present embodiment, since the registration processing is simply performed only by the parallel movement, the shift amount (δx, δy) is calculated for the vertical direction x and the horizontal direction y.
【０１８０】続いて、サムネイル画像ＢのＲ，Ｇ，Ｂの
各色成分の画像を全体的にずれ量（δｘ，δｙ）だけ移
動させてサムネイル画像Ａとサムネイル画像Ｂとの位置
合わせが行なわれる（＃１９５）。Subsequently, the images of the R, G, and B color components of the thumbnail image B are moved by the entire shift amount (δx, δy) to align the thumbnail image A and the thumbnail image B (( # 195).
【０１８１】続いて、タグ情報に含まれる撮影レンズの
種類と撮影時の焦点距離の情報とに基づき予めＲＯＭ１
０８ａに記憶された所定のテーブルを参照してサムネイ
ル画像Ａに対応する撮影画像のボケ量（ボケ半径）ｒ1
（上記（４）式におけるボケ量Ｒに相当）と撮影画像Ｂ
に対応する撮影画像のボケ量（ボケ半径）ｒ2（上記
（４）式におけるボケ量Ｒに相当）とが設定され（＃１
９７）、これらのボケ量ｒ1，ｒ2を４分の１にしてサム
ネイル画像Ａに対するボケ量ｒ1’（＝ｒ1／４）とサム
ネイル画像Ｂに対するボケ量ｒ2’（＝ｒ2／４）とが決
定される（＃１９９）。Then, based on the type of the taking lens and the focal length information at the time of photographing included in the tag information, the ROM 1 is set in advance.
08a, the blur amount (blurring radius) r1 of the photographed image corresponding to the thumbnail image A is referred to by referring to a predetermined table.
(Corresponding to the blur amount R in the above equation (4)) and the captured image B
The blur amount (blur radius) r2 (corresponding to the blur amount R in the above equation (4)) of the captured image corresponding to is set (# 1
97), the blur amounts r1 and r2 are made into a quarter, and the blur amount r1 ′ (= r1 / 4) for the thumbnail image A and the blur amount r2 ′ (= r2 / 4) for the thumbnail image B are determined. (# 199).
【０１８２】ボケ量ｒ1，ｒ2を４分の１にしてサムネイ
ル画像Ａ，Ｂに対するボケ量ｒ1’，ｒ2’を算出してい
るのは、本実施形態ではサムネイル画像Ａ，Ｂのサイズ
を撮影画像の１／４にしているため、撮影画像に対して
予め算出されているボケ量ｒ1，ｒ2を１／４にしなけれ
ば、サムネイル画像Ａ，Ｂに対するボケ量ｒ1’，ｒ2’
とならないからである。サムネイル画像Ａ，Ｂのサイズ
が撮影画像の１／ｎであれば、サムネイル画像Ａ，Ｂに
対するボケ量ｒ1’，ｒ2’はｒ1’＝ｒ1／ｎ，ｒ2’＝
ｒ2／ｎで算出される。The blur amounts r1 'and r2' for the thumbnail images A and B are calculated by reducing the blur amounts r1 and r2 to 1/4 in the present embodiment. Since the blur amounts r1 and r2 calculated in advance for the captured image are not reduced to 1/4, the blur amounts r1 ′ and r2 ′ for the thumbnail images A and B are set.
Because it does not. If the size of the thumbnail images A and B is 1 / n of the captured image, the blur amounts r1 ′ and r2 ′ for the thumbnail images A and B are r1 ′ = r1 / n, r2 ′ =
It is calculated by r2 / n.
【０１８３】続いて、反復法によりボケ味調整画像Ｃを
算出する際の反復演算回数をカウントするカウンタのカ
ウント値Ｎが「０」にリセットされる（＃２０１）。続
いて、Ｒ，Ｇ，Ｂの各色成分について、１回目のボケ味
調整画像Ｃを表すｆ(1)がｆ(1)＝ｇ＋ｈ1・ｈ2・ｆ(0)
により演算され（＃２０３）、その演算結果が表示領域
１１ｃに表示される（＃２０５）。ここに、関数ｆ(0)
はボケ味調整画像Ｃを表す関数ｆの初期値で、例えばサ
ムネイル画像Ａを表す関数ｇ1とサムネイル画像Ｂを表
す関数ｇ2との平均値（ｇ1＋ｇ2）／２である。また、
ボケ関数ｈ1，ｈ2は、上記（４）式のボケ量Ｒにそれぞ
れステップ＃１９９で設定されたボケ量ｒ1’，r2’を
代入して得られるボケ関数である。また、関数ｇは、上
記（４）式のボケ量Ｒにそれぞれ予め設定されたボケ量
のディフォルト値ｒa，ｒbを代入して得られるボケ関数
ｈa，ｈbと上記ボケ関数ｈ1，ｈ2及び画像関数ｇ1，ｇ2
とからｇ＝（ha-hb・h1)・g1+(hb-ha・h2)・g2により算出さ
れるものである。Subsequently, the bokeh adjustment image C is obtained by the iterative method.
Counter of the counter that counts the number of iterative calculations when calculating
The count value N is reset to "0" (# 201). Continued
Then, for each color component of R, G, B, the first bokeh
F representing the adjusted image C(1)Is f(1)= G + h1 ・ h2 ・ f(0)
Is calculated by (# 203), and the calculation result is displayed in the display area.
11c is displayed (# 205). Where the function f(0)
Is the initial value of the function f representing the blurring adjustment image C, for example,
The function g1 that represents the thumbnail image A and the thumbnail image B are displayed.
The average value with the function g2 is (g1 + g2) / 2. Also,
The blurring functions h1 and h2 are different from the blurring amount R in the equation (4), respectively.
The blur amount r1 ', r2' set in step # 199
This is a blur function obtained by substituting. Also, the function g is
The blur amount set in advance in the blur amount R of the equation (4)
Blur function obtained by substituting the default values ra and rb of
ha, hb and the above-mentioned blurring functions h1, h2 and image functions g1, g2
And g = (ha-hb · h1) · g1 + (hb-ha · h2) · g2
It is what is done.
【０１８４】続いて、中止ボタン１２ｆにカーソルＫを
移動してマウス７０４をダブルクリックすることにより
演算の中止が指示されているか否か、反復演算中に反復
演算結果が収束しているか否か、反復演算回数Ｎが設定
された所定回数ｋに達しているか否かが順次、判別され
（＃２０７，＃２０９，＃２１１）、反復演算の中止が
指示されている（＃２０７でＹＥＳ）、反復演算結果が
収束している（＃２０９でＹＥＳ）、あるいは反復演算
回数Ｎが設定された所定回数ｋに達していると（＃２１
１でＹＥＳ）、サムネイル画像によるボケ味調整処理の
シミュレーションを終了する。Then, whether or not the operation stop is instructed by moving the cursor K to the stop button 12f and double-clicking the mouse 704, whether or not the iterative operation result converges during the iterative operation, It is sequentially determined whether or not the number of times N of the iterative calculation has reached the set predetermined number k (# 207, # 209, # 211), and an instruction to stop the iterative calculation is given (YES in # 207). When the calculation results have converged (YES in # 209), or the number N of repeated calculations has reached the set predetermined number k (# 21).
If YES, the simulation of the bokeh adjustment processing using the thumbnail image ends.
【０１８５】一方、反復演算の中止が指示されておらず
（＃２０７でＮＯ）、反復演算結果も収束しておらず
（＃２０９でＮＯ）、反復演算回数Ｎが所定回数ｋに達
していなければ（＃２１１でＮＯ）、カウンタのカウン
ト値Ｎが１だけインクリメントされて（＃２１３）、ス
テップ＃２０３に戻り、次のボケ味調整演算が行なわれ
る。すなわち、２回目の場合は、１回目のボケ味調整画
像Ｃを表すｆ(1)を用いてｆ(2)＝ｇ＋ｈ1・ｈ2・ｆ(1)
が演算され、その演算結果ｆ(2)が表示領域１１ｃに更
新的に表示される（＃２０３，＃２０５，＃２０７）。On the other hand, the stop of the iterative calculation is not instructed (NO in # 207), the result of the iterative calculation has not converged (NO in # 209), and the number N of iterative calculations must reach the predetermined number k. If (NO in # 211), the count value N of the counter is incremented by 1 (# 213), the process returns to step # 203, and the next blur adjustment calculation is performed. That is, in the case of the second time, f(2) = g + h1 · h2 · f(1) is used by using f(1) representing the first-time blurring adjustment image C.
Is calculated, and the calculation result f(2) is updated and displayed in the display area 11c (# 203, # 205, # 207).
【０１８６】図２４は、サムネイル画像を用いたボケ味
調整処理のシミュレーション状態を示す図である。同図
は、反復演算が５回行なわれた状態を示し、表示領域１
１ｃにその演算結果であるボケ味調整画像Ｃが表示さ
れ、ダイアログ・ボックスの下部に処理途中であること
を示すプログレス・バー１７と反復演算回数表示１８と
が表示されている。作業者は反復演算処理の途中経過が
表示領域１１ｃの表示画像で逐次確認できるので、所望
のボケ具合の画像が得られた時点で中止ボタン１２ｆに
カーソルＫを移動させてマウス７０４をダブルクリック
することによりシミュレーションを中止させることがで
きる。FIG. 24 is a diagram showing a simulation state of blurring adjustment processing using thumbnail images. The figure shows a state in which the iterative calculation is performed five times, and the display area 1
The blurring adjustment image C which is the calculation result is displayed in 1c, and the progress bar 17 and the iterative calculation count display 18 indicating that the process is in progress are displayed in the lower part of the dialog box. Since the operator can sequentially confirm the progress of the iterative calculation process on the display image in the display area 11c, the cursor K is moved to the stop button 12f and the mouse 704 is double-clicked when the image with the desired blurring is obtained. By doing so, the simulation can be stopped.
【０１８７】以下、同様の方法でボケ味調整画像Ｃを表
すｆ(k)を算出する反復演算が繰り返し行なわれ（＃２
０３〜＃２１３のループ）、この間に反復演算の中止が
指示されるか、反復演算結果が収束すると（＃２０７又
は＃２０９でＹＥＳ）、その時点でサムネイル画像によ
るボケ味調整処理のシミュレーションを終了し、反復演
算の中止も指示されず、反復演算結果も収束しなければ
（＃２０７又は＃２０９でＮＯ）、反復演算回数Ｎが所
定回数ｋに達した時点で（＃２１１でＹＥＳ）、サムネ
イル画像によるボケ味調整処理のシミュレーションを終
了する。Thereafter, the iterative calculation for calculating f(k) representing the blurring adjustment image C is repeated by the same method (# 2).
(Loops from 03 to # 213), if the suspension of the iterative operation is instructed or the result of the iterative operation converges during this period (YES in # 207 or # 209), the simulation of the bokeh adjustment processing using the thumbnail image ends at that point. However, if the suspension of the iterative calculation is not instructed and the result of the iterative computation does not converge (NO in # 207 or # 209), the thumbnail is displayed when the number of iterations N reaches the predetermined number k (YES in # 211). The simulation of the bokeh adjustment processing based on the image ends.
【０１８８】図２０に戻り、ステップ＃１２３に移行す
ると、撮影画像を用いたボケ味調整処理の実行が指示さ
れているか否かが判別され、ボケ味調整処理の実行が指
示されていなければ（＃１２３でＮＯ）、ステップ＃１
１５に戻り、実行指示の待機状態となる。Returning to FIG. 20, at step # 123, it is judged whether or not the execution of the blur adjustment processing using the photographed image is instructed, and if the execution of the blur adjustment processing is not instructed (( (NO in # 123), step # 1
Returning to 15, the execution instruction is awaited.
【０１８９】ボケ味調整処理の実行が指示されると（＃
１２３でＹＥＳ）、ステップ＃１２５に移行し、画像フ
ァイルＰ（Ｘ＋１）．ＴＩＦ，ＰＸ．ＴＩＦからそれぞ
れ撮影画像（遠景合焦画像ｇaと近景合焦画像ｇb）の
Ｒ，Ｇ，Ｂの色成分の画像データがコンピュータ本体７
０１内の記憶装置に読み出される（＃１２５，＃１２
７）。続いて、両撮影画像ｇa，ｇbのＧの色成分の画像
データについて、不足する画素位置の画像データが補間
される（＃１２９，＃１３１）。When the execution of the bokeh adjustment processing is instructed ((#
123), the process proceeds to step # 125, and the image files P (X + 1). TIF, PX. The image data of the R, G, and B color components of the captured images (focused image ga in the background and focused image gb in the near view) from the TIF are stored in the computer main body 7.
It is read into the storage device in 01 (# 125, # 12
7). Subsequently, with respect to the image data of the G color component of both captured images ga and gb, the image data of the insufficient pixel position is interpolated (# 129, # 131).
【０１９０】すなわち、本実施形態では単板式のカラー
撮像素子２０５で撮影された撮影画像に対してボケ味調
整処理を行なうので、図２５（ａ）に示すようにＧの色
成分の画像データは（２ｈ＋２，２ｋ＋１）と（２ｈ＋
１，２ｋ＋２）（ｈ＝０，１，２…ｎ／２、ｋ＝０，
１，２，…ｍ／２）の画素位置にしか存在しないから、
同図（ｂ）に示すように画素位置（２ｈ＋１，２ｋ＋
１），（２ｈ＋２，２ｋ＋２）に画像データＧ’が補間
される。この画像データＧ’の補間処理は、例えば補間
すべき画素位置の画像データとして隣接する画素位置の
画像データＧの平均値を演算することにより行なわれ
る。例えば画素位置（２，２）の画像データＧ2,2は画
素位置（２，１），（１，３），（３，２），（２，
３）の画像データＧ2,1，Ｇ1,3，Ｇ3,2，Ｇ2,3を用いて
Ｇ2,2＝（Ｇ2,1＋Ｇ1,3＋Ｇ3,2＋Ｇ2,3）／４により算
出される。That is, in this embodiment, a single plate type collar is used.
Blurred image tones taken by the image sensor 205
Since the adjustment processing is performed, the color of G as shown in FIG.
The image data of the components are (2h + 2,2k + 1) and (2h +
1,2k + 2) (h = 0,1,2 ... n / 2, k = 0,
1,2, ... m / 2) only exist at pixel positions,
As shown in FIG. 3B, pixel positions (2h + 1, 2k +
1) and (2h + 2,2k + 2) are interpolated with the image data G '.
To be done. The interpolation processing of this image data G'is, for example, interpolation
Image data of the pixel position that should be
It is performed by calculating the average value of the image data G.
It For example, the image data G at the pixel position (2, 2)2,2Is an image
Elementary positions (2,1), (1,3), (3,2), (2
Image data G of 3)2,1, G1,3, G3,2, G2,3Using
G2,2= (G2,1+ G1,3+ G3,2+ G2,3) / 4
Will be issued.
【０１９１】続いて、サムネイル画像を用いたボケ味調
整処理のシミュレーションが実施されたか否かが判別さ
れ（＃１３３）、既にボケ味調整処理のシミュレーショ
ンが実施されていれば（＃１３３でＹＥＳ）、撮影画像
ｇaと撮影画像ｇbとの間でのレジストレーション処理に
おけるずれ量の初期値（δｘ０,δｙ０）として、その
シミュレーションで算出されたサムネイル画像Ａに対す
るサムネイル画像Ｂのずれ量（δｘ,δｙ）を４倍した
値（４δｘ,４δｙ）が設定され（＃１３５）、ボケ味
調整処理のシミュレーションが実施されていなければ
（＃１３３でＮＯ）、適当な値が設定される（＃１３
７）。Subsequently, it is determined whether or not the simulation of the blur adjustment processing using the thumbnail image has been performed (# 133), and if the simulation of the blur adjustment processing has already been performed (YES in # 133). , As the initial value (δx0, δy0) of the shift amount in the registration process between the shot image ga and the shot image gb, the shift amount (δx, δy) of the thumbnail image B with respect to the thumbnail image A calculated by the simulation. 4 times the value (4δx, 4δy) is set (# 135), and if the simulation of the blur adjustment processing is not performed (NO in # 133), an appropriate value is set (# 13).
7).
【０１９２】ステップ＃１３５は、サムネイル画像につ
いてずれ量（δｘ,δｙ）が算出されているので、その
ずれ量（δｘ,δｙ）に基づく初期値を用いることによ
り撮影画像でのレジストレーション処理におけるずれ量
（δｘ’,δｙ’）を容易かつ高速に算出できるように
するものである。ずれ量（４δｘ,４δｙ）を撮影画像
でのレジストレーション処理におけるずれ量の初期値
（δｘ０,δｙ０）を設定しているのは、サムネイル画
像が撮影画像のサイズを１／４に縮少して作成されてい
るからである。従って、サムネイル画像が撮影画像のサ
イズを１／ｎに縮少して作成されていれば、撮影画像で
のレジストレーション処理におけるずれ量の初期値（δ
ｘ０,δｙ０）は（ｎ・δｘ,ｎ・δｙ）となる。In step # 135, since the shift amount (δx, δy) is calculated for the thumbnail image, the shift in the registration process of the photographed image is performed by using the initial value based on the shift amount (δx, δy). The quantity (δx ′, δy ′) can be calculated easily and at high speed. The deviation amount (4δx, 4δy) is set to the initial value (δx0, δy0) of the deviation amount in the registration processing of the captured image because the thumbnail image is created by reducing the size of the captured image to 1/4. Because it is done. Therefore, if the thumbnail image is created by reducing the size of the captured image to 1 / n, the initial value (δ
x0, δy0) becomes (n · δx, n · δy).
【０１９３】続いて、Ｇの色成分の画像を用いて撮影画
像ｇaと撮影画像ｇbとの間でのレジストレーション処理
が行なわれ（＃１３９）、撮影画像ｇaに対する撮影画
像ｇbのずれ量（δｘ’，δｙ’）が決定される（＃１
４１）。そして、撮影画像ｇbのＲ，Ｇ，Ｂの各色成分
の画像を全体的にずれ量（δｘ’，δｙ’）だけ移動さ
せて撮影画像ｇaと撮影画像ｇbとの位置合わせが行なわ
れ（＃１４３）、画像ファイルＰ（Ｘ＋１）．ＴＩＦ，
ＰＸ．ＴＩＦのタグ情報に含まれる撮影レンズの種類と
撮影時の焦点距離の情報とに基づき予めＲＯＭ１０８ａ
に記憶された所定のテーブルを参照して撮影画像ｇaの
ボケ量ｒ1と撮影画像ｇbのボケ量（ボケ半径）ｒ2とが
設定される（＃１４７）。Subsequently, registration processing is performed between the photographed image ga and the photographed image gb using the image of the G color component (# 139), and the shift amount (δx) of the photographed image gb with respect to the photographed image ga. ', Δy') is determined (# 1
41). Then, the images of the R, G, and B color components of the captured image gb are moved by the amount of displacement (δx ′, δy ′) as a whole to align the captured image ga and the captured image gb (# 143 ), Image file P (X + 1). TIF,
PX. The ROM 108a is preliminarily based on the type of photographing lens included in the tag information of the TIF and the focal length information at the time of photographing
The blur amount r1 of the photographed image ga and the blur amount (blurring radius) r2 of the photographed image gb are set by referring to a predetermined table stored in (# 147).
【０１９４】続いて、両撮影画像ｇa，ｇbのＲ，Ｂの色
成分の画像データについて、画像データの存在しない画
素位置の画像データを間引いて反復演算処理用の画像デ
ータが作成される（＃１４７〜＃１５３）。例えばＲの
色成分の場合、図２６（ａ）に示すように（２ｈ＋１，
２ｋ＋１）の画素位置にしか画像データがないから、こ
れ以外の画素位置の画像データを間引いて同図（ｂ）に
示すようにｎ／４×ｍ／４の画像サイズに縮少された反
復演算処理用の画像データが作成される。Ｂの色成分に
ついても同様に、（２ｈ＋２，２ｋ＋２）の画素位置に
しか画像データがないから、これ以外の画素位置の画像
データを間引いてｎ／４×ｍ／４の画像サイズに縮少さ
れた反復演算処理用の画像データが作成される。Subsequently, with respect to the image data of the R and B color components of both photographed images ga and gb, the image data at the pixel positions where the image data does not exist is thinned out to create the image data for the iterative calculation processing (# 147- # 153). For example, in the case of the R color component, as shown in FIG.
Since the image data exists only at the pixel position of 2k + 1), the image data at the pixel positions other than this is thinned out and the iterative calculation is reduced to the image size of n / 4 × m / 4 as shown in FIG. Image data for processing is created. Similarly, for the B color component, since image data exists only at pixel positions (2h + 2, 2k + 2), image data at pixel positions other than this is thinned out and reduced to an image size of n / 4 × m / 4. Image data for iterative calculation processing is created.
【０１９５】このようにボケ味調整の反復演算を行なう
前にＧの色成分については全画素位置に対して画像デー
タを補間し、Ｒ，Ｂの色成分については画像データのな
い画素位置を間引くようにしているのは、Ｇの色成分は
解像度に与える影響が顕著であるのに対し、Ｒ，Ｂの色
成分は解像度に与える影響は小さく、色味に与える影響
が大きいという人間の視覚特性を考慮したものである。As described above, image data is interpolated with respect to all pixel positions for the G color component, and pixel positions having no image data are thinned out for the R and B color components before the iterative operation for blurring adjustment is performed. This is because the G color component has a significant effect on the resolution, whereas the R and B color components have a small effect on the resolution and a large effect on the tint. Is taken into consideration.
【０１９６】一般にデジタル画像処理では解像度の高い
程、高精度の処理結果が得られるが、処理対象のデータ
数が膨大となり、処理時間が長くなる。このため、処理
結果に対する許容品質との関係で可能な限り処理対象の
データ数を減らして処理時間を短くすることが必要であ
り、また、操作性や省電力化等の観点からも要求され
る。Generally, in digital image processing, the higher the resolution, the more accurate the processing result can be obtained, but the number of data to be processed becomes huge and the processing time becomes long. Therefore, it is necessary to reduce the number of data to be processed and shorten the processing time as much as possible in relation to the acceptable quality of the processing result, and also from the viewpoint of operability and power saving. .
【０１９７】反復法によるボケ味調整処理においては、
ボケ味調整具合をできるだけ正確に認識できることが品
質上要求されるから、それに与える影響の大きいＧの色
成分の画像データについては補間処理を行なって全画素
位置の画像データを作成することにより処理結果の品質
で高めるようにする一方、ボケ味調整具合に与える影響
の少ないＲ，Ｂの画像データについては元々画像データ
の存在しない画素位置の画像データを演算処理の対象か
ら除外して処理時間を可能な限り短くするようにしてい
る。In the bokeh adjustment processing by the iterative method,
Since it is required in terms of quality that the degree of bokeh adjustment can be recognized as accurately as possible, the image data of the G color component, which has a large effect on it, is interpolated to produce image data at all pixel positions. However, the processing time can be increased by excluding the image data at the pixel position where the image data originally does not exist from the calculation target for the image data of R and B, which has little influence on the degree of blur adjustment. I try to keep it as short as possible.
【０１９８】これにより処理後のボケ具合の品質に影響
を与えることなく、Ｒ，Ｂの色成分についてもＧの色成
分と同様に全画素位置に画像データを補間してボケ味調
整処理を行なうよりも高速でボケ味調整処理を行なうこ
とができる。As a result, the blurring adjustment processing is performed by interpolating the image data at all pixel positions for the R and B color components as well as the G color component without affecting the quality of the blurred state after the processing. The blurring adjustment processing can be performed at a higher speed than that.
【０１９９】続いて、ステップ＃１５５〜＃１７３で
Ｒ，Ｇ，Ｂの色成分の画像毎に反復法によりボケ味調整
処理が行なわれる。この処理は基本的にサムネイル画像
を用いたシミュレーションにおけるボケ味調整処理（図
２３に示すフローチャートのステップ＃２０３〜＃２１
３の処理）と同一であるが、Ｇの色成分の画像に対して
はボケ量をｒ1，ｒ2にしているのに対し、Ｒ，Ｂの色成
分の画像に対してはボケ量をｒ1／２，ｒ2／２にしてい
る点で相違している（＃１５７，＃１６１）。Then, in steps # 155 to # 173, blurring adjustment processing is performed by an iterative method for each image of the R, G, B color components. This process is basically a blur adjustment process in a simulation using a thumbnail image (steps # 203 to # 21 in the flowchart shown in FIG. 23).
3), but the blur amount is set to r1 and r2 for the image of the G color component, while the blur amount is set to r1 / r2 for the image of the R and B color components. 2 and r2 / 2 are different (# 157, # 161).
【０２００】Ｒ，Ｂの色成分の画像に対するボケ量をＧ
の色成分の画像に対するボケ量の１／２にしているの
は、Ｇの色成分の画像のデータサイズはフルサイズであ
るのに対し、Ｒ，Ｂの色成分の画像はステップ＃１４７
〜＃１５３でデータサイズをフルサイズに対して１／２
×１／２に縮小しているからである。Ｒ，Ｂの色成分デ
ータサイズがフルサイズに対して１／ｓ×１／ｓに縮小
されている場合は、Ｒ，Ｂの色成分の画像に対するボケ
量はｒ1／ｓ，ｒ2／ｓとなる。The blur amount for an image of R and B color components is G
The amount of blurring to the image of the color component of is set to ½ because the data size of the image of the color component of G is full size, while the image of the color components of R and B is set to step # 147.
~ 1/2 the data size with respect to # 153
This is because it has been reduced to × 1/2. When the R and B color component data sizes are reduced to 1 / s × 1 / s with respect to the full size, the blur amounts for the R and B color component images are r1 / s and r2 / s. .
【０２０１】ボケ味調整処理が終了すると（＃１６７，
＃１６９，＃１７１でＹＥＳ）、続いて、ボケ味調整画
像ｇcのＲ，Ｂの色成分の画像データに対して補間処理
が行なわれる（＃１７５，＃１７７）。この補間処理
は、Ｒ，Ｂの色成分のボケ味調整画像ｇcは間引き処理
によりデータサイズが縮小されているので、フルサイズ
の画像データに復元するものである。例えばＲの色成分
のボケ味調整画像ｇcは、図２７（ａ）（ｂ）に示すよ
うに各画素データＲの画素位置を対応する（２ｈ＋１，
２ｋ＋１）の画素位置に戻した後、これらの画像データ
Ｒを用いて同図（ｃ）に示すようにデータが不足する画
素位置の画像データＲ’が補間される。その画像データ
Ｒ’の補間は上述したＧの色成分の画像データの補間方
法と同様にして行なわれる。Ｂの色成分のボケ味調整画
像ｇcについても同様の方法で補間処理が行なわれる。When the blur adjustment processing is completed (# 167,
(YES in # 169 and # 171), and then interpolation processing is performed on the image data of the R and B color components of the blurring adjustment image gc (# 175 and # 177). In this interpolation processing, the blurring adjustment image gc of the R and B color components has its data size reduced by the thinning processing, and therefore is restored to full-size image data. For example, the bokeh adjustment image gc of the R color component corresponds to the pixel position of each pixel data R as shown in FIGS. 27A and 27B (2h + 1,
After returning to the pixel position of 2k + 1), the image data R ′ of the pixel position where the data is insufficient is interpolated using these image data R as shown in FIG. The interpolation of the image data R ′ is performed in the same manner as the above-described interpolation method of the image data of the G color component. Interpolation processing is performed on the bokeh adjustment image gc of the B color component in the same manner.
【０２０２】続いて、Ｒ，Ｇ，Ｂの色成分のボケ味調整
画像ｇcが合成され（＃１７９）、その合成結果は、図
２８に示すようにディスプレイ７０２に処理結果表示用
のダイアログ・ボックス１９を表示させ、その表示領域
２０に表示される（＃１８１）。Subsequently, the blurring adjustment image gc of the R, G, B color components is combined (# 179), and the combination result is displayed in the display 702 as a dialog box for displaying the processing result, as shown in FIG. 19 is displayed and displayed in the display area 20 (# 181).
【０２０３】このダイアログ・ボックス１９にはその下
部に、作成されたボケ味調整画像ｇcの保存を指示する
ためのボタン表示２１（以下、保存ボタン２１とい
う。）が表示されており、保存ボタン２１にカーソルＫ
を移動してマウス７０４がダブルクリックされると（＃
１８３でＹＥＳ）、更に図２９に示すようにディスプレ
イ７０２に保存条件入力用のダイアログ・ボックス２２
が表示され、このダイアログ・ボックス２２に従って圧
縮率、ファイル名及びホルダ名等が入力され（＃１８
５，＃１８７）、そのダイアログ・ボックス２２の下部
に表示されたＯＫボタン１６にカーソルＫを移動してマ
ウス７０４がダブルクリックされると、入力された条件
に従ってボケ味調整画像ｇcの画像データがコンピュー
タ本体７０１内の所定のメモリに保存される（＃１８
９）。At the bottom of the dialog box 19, a button display 21 (hereinafter referred to as a save button 21) for instructing to save the created bokeh adjustment image gc is displayed. Cursor K
Is moved and the mouse 704 is double-clicked ((#
(YES at 183), and as shown in FIG. 29, a dialog box 22 for inputting storage conditions is displayed on the display 702.
Is displayed, and the compression rate, file name, folder name, etc. are input according to this dialog box 22 (# 18
5, # 187), when the cursor K is moved to the OK button 16 displayed at the bottom of the dialog box 22 and the mouse 704 is double-clicked, the image data of the bokeh adjustment image gc is obtained according to the input conditions. It is saved in a predetermined memory in the computer main body 701 (# 18
9).
【０２０４】すなわち、圧縮率が設定されていると（＃
１８５でＹＥＳ）、その圧縮率で所定の圧縮方式（ＪＰ
ＥＧ方式等）によりボケ味調整画像ｇcの画像データが
圧縮され（＃１８７）、圧縮率が設定されていなければ
（＃１８５でＮＯ）、圧縮処理を行なうことなく、設定
されたファイル名でコンピュータ本体７内の所定のメモ
リに保存され（＃１８９）、次のボケ味調整処理を行な
うべくステップ＃１１１に戻る。In other words, if the compression rate is set ((#
185: YES), a predetermined compression method (JP
The image data of the bokeh adjustment image gc is compressed by the EG method or the like (# 187), and if the compression rate is not set (NO in # 185), the computer does not perform the compression process and the file name is set by the computer. It is stored in a predetermined memory in the main body 7 (# 189), and the process returns to step # 111 to perform the next blur adjustment processing.
【０２０５】なお、図２９に示すダイアログ・ボックス
２２では、圧縮率の入力表示がスライダー表示２３で表
示され、スライダー表示２３にカーソルＫを移動し、マ
ウス７０４をワンクリックした状態で左右に移動させて
当該カーソルＫを移動させることで圧縮率が設定され
る。圧縮率が０％に設定されると、圧縮処理は行なわれ
ない。In the dialog box 22 shown in FIG. 29, the input display of the compression ratio is displayed in the slider display 23, the cursor K is moved to the slider display 23, and the mouse 704 is moved to the left or right with one click. The compression rate is set by moving the cursor K. If the compression rate is set to 0%, no compression process is performed.
【０２０６】次に、階調調整処理について説明する。Next, the gradation adjustment processing will be described.
【０２０７】図３０は、階調調整処理プログラムが起動
したときのディスプレイ７０２に表示される階調調整用
のダイアログ・ボックスの一例を示す図である。FIG. 30 is a diagram showing an example of a gradation adjustment dialog box displayed on the display 702 when the gradation adjustment processing program is activated.
【０２０８】階調調整用のダイアログ・ボックス２４の
構成は基本的に図１５に示すボケ味調整用のダイアログ
・ボックス１０と同じである。従って、ダイアログ・ボ
ックス１０と同一機能を果たすものには同一の番号を付
している。The structure of the tone adjustment dialog box 24 is basically the same as that of the bokeh adjustment dialog box 10 shown in FIG. Therefore, elements having the same functions as those of the dialog box 10 are given the same numbers.
【０２０９】画面上部に配置された表示領域１２ａ，１
２ｂにはそれぞれ２枚目の撮影画像（露出オーバーの撮
影画像）のサムネイル画像Ａと１枚目の撮影画像（露出
アンダーの撮影画像）のサムネイル画像Ｂとが表示さ
れ、表示領域１２ｃにはサムネイル画像Ａとサムネイル
画像Ｂとを合成して階調調整のシミュレーションを行な
ったサムネイル画像Ｃが表示される。Display areas 12a, 1 arranged at the top of the screen
A thumbnail image A of the second shot image (overexposed shot image) and a thumbnail image B of the first shot image (underexposed shot image) are displayed in 2b, and a thumbnail image is displayed in the display area 12c. A thumbnail image C is displayed in which the image A and the thumbnail image B are combined to perform a gradation adjustment simulation.
【０２１０】ここで、階調調整処理の内容について簡単
に説明する。Here, the contents of the gradation adjustment processing will be briefly described.
【０２１１】本実施形態では、階調調整処理に用いられ
る撮影画像は被写体の輝度に対して適正露出より２段階
露出アンダーの撮影画像Ｇ１と２段階露出オーバーの撮
影画像Ｇ２である。被写体の輝度に対して適正露出で撮
影された画像の階調特性は、図３２の特性（ｃ）に示す
ように被写体の輝度レベルとＡ／Ｄ変換レベルとが略等
しくなるが、露出アンダーの撮影画像Ｇ１は撮像素子へ
の露光量が抑えられるので、その階調特性は同図の特性
（ａ）に示すように、被写体の輝度レベルに対してＡ／
Ｄ変換レベルは低く抑えられたものとなっている。In this embodiment, the photographed images used for the gradation adjustment processing are the photographed image G1 which is underexposed by two steps and the photographed image G2 which is overexposed by two steps with respect to the brightness of the subject. As for the gradation characteristic of the image photographed with proper exposure with respect to the brightness of the subject, the brightness level of the subject and the A / D conversion level are substantially equal as shown in the characteristic (c) of FIG. Since the amount of exposure of the captured image G1 to the image sensor is suppressed, its gradation characteristic is A / with respect to the brightness level of the subject, as shown by the characteristic (a) in FIG.
The D conversion level is kept low.
【０２１２】一方、露出オーバーの撮影画像Ｇ２は撮像
素子への露光量が過剰になるので、その階調特性は同図
の特性（ｂ）に示すように、被写体の輝度レベルに対し
てＡ／Ｄ変換レベルは高く強調されたものとなってい
る。On the other hand, the overexposure photographed image G2 has an excessive amount of exposure to the image pickup device, and therefore its gradation characteristic is A / with respect to the brightness level of the subject as shown by the characteristic (b) in the figure. The D conversion level is highly emphasized.
【０２１３】階調調整処理では、画素毎に撮影画像Ｇ１
の画像データと撮影画像Ｇ２の画像データとを適当な加
算比率で加算することにより図３２の階調特性（ａ）と
階調特性（ｂ）とで挟まれた範囲内で任意の階調特性を
有する撮影画像が作成される。加算比率は、画像データ
のレベルに無関係に一定ではなく、図３３に示すように
画像データのレベルが低くなるのに応じて露出オーバー
の撮影画像Ｇ２の画像データの加算比率が大きくなるよ
うに変化させている。このように露出オーバーの撮影画
像Ｇ２の加算比率を大きくしているのは、被写体の暗い
部分を見やすくするためである。In the gradation adjustment processing, the photographed image G1 is obtained for each pixel.
32 and the image data of the captured image G2 are added at an appropriate addition ratio to obtain an arbitrary gradation characteristic within the range sandwiched between the gradation characteristic (a) and the gradation characteristic (b) of FIG. A captured image having is created. The addition ratio is not constant irrespective of the level of the image data, and changes so that the addition ratio of the image data of the overexposed captured image G2 increases as the level of the image data decreases as shown in FIG. I am letting you. The reason why the addition ratio of the overexposed photographed image G2 is increased is to make it easier to see the dark portion of the subject.
【０２１４】図３３は、露出オーバーの撮影画像Ｇ２の
レベルを基準にして各レベルにおける加算比率を示した
もので、撮影画像Ｇ２の画素位置（ｉ，ｊ）の画素デー
タｇ2(i,j）が、例えばＡ／Ｄ変換範囲の略１／２のレ
ベルＤであるとすると、当該画素データg2(i,j）と撮影
画像Ｇ１の画素位置（ｉ，ｊ）の画素データｇ1(i,j)と
をＲ２：Ｒ1（＝０．４：０．６）で加算して階調調整
画像Ｇｃの画素位置（ｉ，ｊ）の画素データｇc(i,j)が
作成される。すなわち、図３４に示すように画素データ
ｇ1(i,j)のレベルをＤ’とすると、画素データｇc(i,j)
のレベルＤｃはＲ1・Ｄ’＋Ｒ2・Ｄ＝０．４Ｄ’＋０．
６Ｄとなる。FIG. 33 shows the addition ratio at each level with reference to the level of the overexposed photographed image G2. The pixel data g2 (i, j) at the pixel position (i, j) of the photographed image G2. Is, for example, a level D that is approximately ½ of the A / D conversion range, the pixel data g2 (i, j) and the pixel data g1 (i, j) at the pixel position (i, j) of the captured image G1. ) And R2: R1 (= 0.4: 0.6) are added to create pixel data gc (i, j) at the pixel position (i, j) of the gradation adjustment image Gc. That is, assuming that the level of the pixel data g1 (i, j) is D'as shown in FIG. 34, the pixel data gc (i, j)
Level Dc is R1.D '+ R2.D = 0.4D' + 0.
It becomes 6D.
【０２１５】この結果、同図に示すように画素位置
（ｉ，ｊ）の被写体の輝度レベルｄに対して撮影画像Ｇ
１，Ｇ２ではそれぞれ階調レベルがａ点とｂ点となって
いたが、階調調整画像Ｇcでは階調レベルが両点の間に
あるｃ点となる。As a result, as shown in the figure, the photographed image G for the luminance level d of the subject at the pixel position (i, j)
The gradation levels of points 1 and G2 are point a and point b, respectively, but in the gradation adjustment image Gc, the gradation level is point c between the two points.
【０２１６】従って、階調調整処理においては、露出オ
ーバーの撮影画像Ｇ２を構成する画素データｇ2(i,j)の
レベルに対応する撮影画像Ｇ１，Ｇ２の加算比率をそれ
ぞれＲ1(ｇ2(i,j))，Ｒ2(ｇ2(i,j))（但し、０≦Ｒ1(ｇ
2(i,j))，Ｒ2(ｇ2(i,j))≦１、Ｒ1(ｇ2(i,j))＋Ｒ2(ｇ2
(i,j))＝１）とすると、各画素位置（ｉ，ｊ）（ｉ＝
１，２，…ｎ，ｊ＝１，２，…ｍ）についてＲ1(ｇ2(i,
j))・ｇ1(i,j)＋Ｒ2(ｇ2(i,j))・ｇ2(i,j)を演算するこ
とにより階調調整画像Ｇｃの画素データｇc(i,j)が算出
され、撮影画像Ｇ１の階調特性と撮影画像Ｇ２の階調特
性との間の任意の階調特性を有する階調調整画像Ｇｃが
作成される。Therefore, in the gradation adjustment processing, the addition ratios of the photographed images G1 and G2 corresponding to the levels of the pixel data g2 (i, j) forming the overexposed photographed image G2 are respectively R1 (g2 (i, j). j)), R2 (g2 (i, j)) (where 0 ≦ R1 (g
2 (i, j)), R2 (g2 (i, j)) ≦ 1, R1 (g2 (i, j)) + R2 (g2
(i, j) = 1), each pixel position (i, j) (i =
1,2, ... n, j = 1,2, ... m) R1 (g2 (i,
j)) · g1 (i, j) + R2 (g2 (i, j)) · g2 (i, j) to calculate the pixel data gc (i, j) of the gradation adjusted image Gc, A gradation adjustment image Gc having an arbitrary gradation characteristic between the gradation characteristic of the image G1 and the gradation characteristic of the captured image G2 is created.
【０２１７】図３０に戻り、階調調整のシミュレーショ
ンはボケ味調整のシミュレーションに比べて処理時間が
短いので、階調調整ソフトが起動すると、常にサムネイ
ル画像を用いた階調調整のシミュレーションが自動的に
行なわれて表示領域１１ｃに表示されるようになってい
る。従って、階調調整用のダイアログ・ボックス２４に
はシミュレーションボタン１２ｃは設けられていない。Returning to FIG. 30, since the gradation adjustment simulation has a shorter processing time than the blur adjustment simulation, when the gradation adjustment software is started, the gradation adjustment simulation using thumbnail images is always automatically performed. Are displayed on the display area 11c. Therefore, the simulation button 12c is not provided in the tone adjustment dialog box 24.
【０２１８】スライダーの表示２５（以下、スライダー
２５という。）は、サムネイル画像を用いた階調調整の
シミュレーションにおけるサムネイル画像Ａとサムネイ
ル画像Ｂとの合成比を設定するものである。ここにいう
合成比は図３３に示す露出オーバー画像のレベルｖ毎の
加算比ではなく、全体的なサムネイル画像Ａとサムネイ
ル画像Ｂとの合成割合で、図３３では加算比率特性Ｒに
よって仕切られる上側領域（撮影画像Ｇ１が加算される
領域）と下側領域（撮影画像Ｇ２が加算される領域）と
の面積比に類似したものである。The slider display 25 (hereinafter referred to as the slider 25) is for setting the composite ratio of the thumbnail image A and the thumbnail image B in the gradation adjustment simulation using the thumbnail image. The combination ratio here is not the addition ratio for each level v of the overexposed image shown in FIG. 33, but the combination ratio of the overall thumbnail image A and thumbnail image B, and in FIG. The area ratio is similar to the area (area where the captured image G1 is added) and the lower area (area where the captured image G2 is added).
【０２１９】従って、スライダー２５にカーソルＫを移
動し、マウス７０４をワンクリックした状態で左右に移
動させて当該カーソルＫ（すなわち、スライダー表示２
５）を移動させることで、図３３における加算比率特性
Ｒの曲線が点線で示すＲ’，Ｒ”の特性のように上下に
変更されてサムネイル画像Ａとサムネイル画像Ｂとの合
成比が任意に設定される。スライダー２５がスライド範
囲の中間位置にあると、加算比率特性は、ほほ図３３の
特性Ｒに設定され、スライダー２５がスライド範囲の中
間位置から右側に移動すると、同図の特性Ｒ’のように
なり（すなわち、露出オーバーの撮影画像Ｇ２の合成割
合が大きくなり）、左側に移動すると、同図の特性Ｒ”
のようになる（すなわち、露出アンダーの撮影画像Ｇ１
の合成割合が大きくなる）。Therefore, the cursor K is moved to the slider 25, and the mouse 704 is moved to the left and right with one-click, and the cursor K (that is, slider display 2
By moving 5), the curve of the addition ratio characteristic R in FIG. 33 is changed up and down like the characteristics of R ′ and R ″ shown by the dotted lines, and the composite ratio of the thumbnail image A and the thumbnail image B is arbitrarily changed. When the slider 25 is in the middle position of the slide range, the addition ratio characteristic is set to the characteristic R of FIG. 33, and when the slider 25 moves from the middle position of the slide range to the right side, the characteristic R of FIG. '(I.e., the composite ratio of the overexposed photographed image G2 increases), and moving to the left, the characteristic R in FIG.
(That is, the underexposed photographed image G1
Will increase the synthesis rate).
【０２２０】「バリエーション」と表記されたボタン表
示１２ｇ（以下、バリエーションボタン１２ｇ）は、予
め設定された５種類の加算比率特性でサムネイル画像Ａ
とサムネイル画像Ｂとを合成して５種類の階調調整画像
Ｃ１〜Ｃ５を作成するものである。The button display 12g labeled "Variation" (hereinafter referred to as variation button 12g) has the thumbnail image A with five preset addition ratio characteristics.
And the thumbnail image B are combined to create five types of tone adjustment images C1 to C5.
【０２２１】表示領域１１ｃにはサムネイル画像を用い
た階調調整のシミュレーションが表示されるが、合成比
を粗く変化させたときに階調調整結果がどのように変化
するかを知りたいときは、スライダー２５を移動して合
成比を適当に変化させる必要があり、操作が面倒であ
る。バリエーションボタン１２gは、階調調整具合が粗
く変化するように予め設定された５種類の加算比率特性
で５段階の階調調整をシミュレーションし、図３１に示
すようにそのシミュレーション結果を一括表示させるこ
とで、操作者に所望の階調具合がどのような加算比率特
性で得られるかを確認し易くするものである。A gradation adjustment simulation using a thumbnail image is displayed in the display area 11c. If it is desired to know how the gradation adjustment result changes when the composition ratio is roughly changed, It is necessary to move the slider 25 to change the composition ratio appropriately, and the operation is troublesome. The variation button 12g simulates five levels of gradation adjustment with five types of addition ratio characteristics that are preset so that the gradation adjustment degree changes roughly, and displays the simulation results collectively as shown in FIG. Thus, the operator can easily confirm what kind of addition ratio characteristic the desired gradation is obtained.
【０２２２】なお、一括表示されたバリエーションのシ
ミュレーション結果の中に所望の階調特性があれば、そ
の画像にカーソルＫを移動させ、マウス７０４をダブル
クリックすることにより本画像での階調調整処理におけ
る加算比率特性を設定することができる。図３１では真
ん中のシミュレーション画像Ｃ３（太枠で囲まれた画像
Ｃ３）が選択されており、本画像で階調調整処理が行な
われると、シミュレーション画像Ｃ３の階調特性とほぼ
同一の階調特性を有する階調調整画像Ｇｃが得られる。If there is a desired gradation characteristic in the simulation result of the variations displayed in a batch, the cursor K is moved to the image and the mouse 704 is double-clicked to adjust the gradation in this image. The addition ratio characteristic in can be set. In FIG. 31, the middle simulation image C3 (the image C3 surrounded by a thick frame) is selected, and when the gradation adjustment processing is performed on this image, the gradation characteristics are almost the same as the gradation characteristics of the simulation image C3. A gradation adjusted image Gc having is obtained.
【０２２３】次に、図３５，図３６のフローチャートに
従って階調調整処理について具体的に説明する。Next, the gradation adjustment processing will be concretely described with reference to the flow charts of FIGS.
【０２２４】階調調整処理のソフトが起動すると、指定
されたホルダＮｔに含まれる２個の画像ファイルＰ（Ｘ
＋１）．ＴＩＦ，ＰＸ．ＴＩＦからそれぞれサムネイル
画像Ａ，Ｂが読み出され、ダイアログ・ボックス２０の
表示領域１１ａ，１１ｂに表示される（＃２２１，＃２
２３）。When the tone adjustment software is started, the two image files P (X
+1). TIF, PX. Thumbnail images A and B are read from the TIF and displayed in the display areas 11a and 11b of the dialog box 20 (# 221 and # 2).
23).
【０２２５】続いて、スライダー２５の設定位置から加
算比率特性が読み取られ（＃２２５）、その加算比率特
性を用いて図３７に示すフローチャートに従ってサムネ
イル画像による階調調整のシミュレーションが行なわれ
る（＃２２７）。Subsequently, the addition ratio characteristic is read from the set position of the slider 25 (# 225), and the gradation adjustment simulation by the thumbnail image is performed using the addition ratio characteristic according to the flowchart shown in FIG. 37 (# 227). ).
【０２２６】階調調整処理のシミュレーションを行なう
ソフトが起動すると、まず、サムネイル画像Ａとサムネ
イル画像Ｂとの間でのレジストレーション処理がＧの色
成分の画像を用いて行なわれ（＃２９１）、サムネイル
画像Ａに対するサムネイル画像Ｂのずれ量（δｘ，δ
ｙ）が決定される（＃２９３）。続いて、サムネイル画
像ＢのＲ，Ｇ，Ｂの各色成分の画像を全体的にずれ量
（δｘ，δｙ）だけ移動させてサムネイル画像Ａとサム
ネイル画像Ｂとの位置合わせが行なわれる（＃２９
５）。この位置合わせ処理は、ボケ味調整処理の場合と
同様である。When the software for simulating the gradation adjustment process is started, first, the registration process between the thumbnail image A and the thumbnail image B is performed using the image of the G color component (# 291). Displacement amount of the thumbnail image B with respect to the thumbnail image A (δx, δ
y) is determined (# 293). Subsequently, the images of the respective color components of R, G, and B of the thumbnail image B are moved by the displacement amount (δx, δy) as a whole, and the thumbnail image A and the thumbnail image B are aligned (# 29).
5). This alignment process is the same as the case of the blur adjustment process.
【０２２７】続いて、Ｒ，Ｇ，Ｂの各色成分について、
設定された加算比率特性に基づいてサムネイル画像Ａと
サムネイル画像Ｂとの合成処理が行なわれ（＃２９
７）、その処理結果が表示領域１１ｃに表示される（＃
２９９）。すなわち、露出オーバーのサムネイル画像Ａ
を構成する画素データをｇa(i,j)（ｉ＝１，２，…ｎ／
４、ｊ＝１，２，…ｍ／４）、露出アンダーのサムネイ
ル画像Ｂを構成する画素データをｇb(i,j)（ｉ＝１，
２，…ｎ／４、ｊ＝１，２，…ｍ／４）、画素データｇ
a(i,j)に対応するサムネイル画像Ａ，Ｂの加算比率をそ
れぞれＲa(ｇa(i,j)），Ｒb(ｇa(i,j)）（但し、０≦Ｒ
a(ｇa(i,j))，Ｒb(ｇa(i,j))≦１、Ｒa(ｇa(i,j))＋Ｒb
(ｇa(i,j))＝１）とすると、Ｒ，Ｇ，Ｂの各色成分につ
いて、各画素位置（ｉ，ｊ）毎にＲa(ｇa(i,j))・ｇa
(i,j)＋Ｒb(ｇa(i,j))・ｇb(i,j)を演算することにより
階調調整画像Ｃの画素データｇc(i,j)が算出され、その
算出結果が表示領域１１cに表示される。Subsequently, for each of the R, G and B color components,
The combination processing of the thumbnail image A and the thumbnail image B is performed based on the set addition ratio characteristic (# 29
7), the processing result is displayed in the display area 11c (#
299). That is, the overexposed thumbnail image A
The pixel data constituting the pixel data is represented by ga (i, j) (i = 1, 2, ...
4, j = 1, 2, ... M / 4), and the pixel data forming the underexposed thumbnail image B is gb (i, j) (i = 1,
2, ... n / 4, j = 1,2, ... m / 4), pixel data g
The addition ratios of the thumbnail images A and B corresponding to a (i, j) are Ra (ga (i, j)) and Rb (ga (i, j)) (where 0 ≦ R).
a (ga (i, j)), Rb (ga (i, j)) ≦ 1, Ra (ga (i, j)) + Rb
(ga (i, j)) = 1), Ra (ga (i, j)) · ga for each pixel position (i, j) for each color component of R, G, B.
The pixel data gc (i, j) of the gradation adjustment image C is calculated by calculating (i, j) + Rb (ga (i, j)) · gb (i, j), and the calculation result is the display area. It is displayed on 11c.
【０２２８】図３５に戻り、サムネイル画像による階調
調整処理が終了すると、スライダー２５によりシミュレ
ーションの加算比率特性が変更されているか否かが判別
され（＃２２９）、加算比率特性が変更されていなけれ
ば（＃２２９でＮＯ）、バリエーションボタン１２ｇに
カーソルＫを移動してマウス７０４がダブルクリックさ
れたか（バリエーションボタン１２ｇが操作されたか）
否かが判別され（＃２３１）、バリエーションボタン１
２ｇがされていなければ（＃２３１でＮＯ）、更に実行
ボタン１２ｂにカーソルＫを移動してマウス７０４がダ
ブルクリックされたか（実行ボタン１２ｂが操作された
か）否かが判別される。Returning to FIG. 35, when the gradation adjustment processing by the thumbnail image is completed, it is determined by the slider 25 whether or not the addition ratio characteristic of the simulation has been changed (# 229), and the addition ratio characteristic must be changed. If (NO in # 229), the cursor K is moved to the variation button 12g and the mouse 704 is double-clicked (whether the variation button 12g is operated).
Whether or not it is determined (# 231), variation button 1
If 2g has not been done (NO in # 231), the cursor K is further moved to the execute button 12b and it is determined whether or not the mouse 704 has been double-clicked (the execute button 12b has been operated).
【０２２９】バリエーションボタン１２ｇも実行ボタン
１２ｂも操作されていなければ（＃２３１，＃２３３で
ＮＯ）、ステップ＃２２９に戻り、サムネイル画像によ
る階調調整のシミュレーション結果を表示した状態で待
機状態となる。If neither the variation button 12g nor the execute button 12b has been operated (NO in # 231 and # 233), the process returns to step # 229, and the standby state is displayed while displaying the gradation adjustment simulation result by the thumbnail image. .
【０２３０】一方、スライダー２５の移動により加算比
率特性が変更されると（＃２２９でＹＥＳ）、ステップ
＃２２５に戻り、変更後の加算比率特性を用いて階調調
整のシミュレーションが行なわれる(＃２２５〜＃２２
９)。On the other hand, when the addition ratio characteristic is changed by moving the slider 25 (YES in # 229), the process returns to step # 225, and the gradation adjustment simulation is performed using the changed addition ratio characteristic (# 225 to # 22
9).
【０２３１】また、バリエーションボタン１２ｇが操作
されると（＃２３１でＹＥＳ）、例えば図３８に示すよ
うな予め設定された５種類の加算比率特性〜を用い
てステップ#２２７と同様の方法で５種類の階調調整の
シミュレーションが行なわれ（＃２３５)、そのシミュ
レーション結果が図３１に示すように表示される（＃２
３７）。Further, when the variation button 12g is operated (YES in # 231), for example, 5 kinds of preset addition ratio characteristics ~ shown in FIG. 38 are used to perform 5 in the same manner as in step # 227. A kind of gradation adjustment simulation is performed (# 235), and the simulation result is displayed as shown in FIG. 31 (# 2).
37).
【０２３２】そして、表示された５枚の階調調整画像Ｃ
１〜Ｃ５のうち、何れかの階調調整画像にカーソルＫを
移動してマウス７０４がダブルクリックされると（その
階調調整画像が選択されると）（＃２３９でＹＥＳ）、
ステップ＃２４１に移行し、選択された階調調整画像の
加算比率特性を用いて撮影画像に対して階調調整処理が
実行される。図３１の例では、階調調整画像Ｃ３が選択
されているので、図３８の加算比率特性を用いて撮影
画像に対し階調調整処理が実行される。階調調整画像Ｃ
１〜Ｃ５の選択がなければ（＃２３９でＮＯ）、ステッ
プ＃２２９に戻り、シミュレーション結果を表示した状
態で待機状態となる。Then, the displayed five gradation adjustment images C are displayed.
When the cursor K is moved to any one of the gradation adjustment images 1 to C5 and the mouse 704 is double-clicked (when the gradation adjustment image is selected) (YES in # 239),
The process proceeds to step # 241, and the gradation adjustment process is executed on the captured image using the addition ratio characteristic of the selected gradation adjustment image. In the example of FIG. 31, since the gradation adjustment image C3 is selected, the gradation adjustment processing is executed on the captured image using the addition ratio characteristic of FIG. Tone adjustment image C
If there is no selection of 1 to C5 (NO in # 239), the process returns to step # 229 to enter the standby state with the simulation result displayed.
【０２３３】また、実行ボタン１２ｂが操作されると
（＃２３３でＹＥＳ）、ステップ＃２４１に移行し、ス
ライダー２５若しくは５枚の階調調整画像Ｃ１〜Ｃ５の
選択により設定された加算比率特性を用いて撮影画像に
対し階調調整処理が実行される。When the execute button 12b is operated (YES in # 233), the process proceeds to step # 241, and the addition ratio characteristic set by selecting the slider 25 or the five gradation adjustment images C1 to C5 is set. The gradation adjustment process is performed on the captured image using the image.
【０２３４】撮影画像に対する階調調整処理では、ま
ず、画像ファイルＰ（Ｘ＋１）．ＴＩＦ，ＰＸ．ＴＩＦ
からそれぞれ撮影画像（露出アンダー画像Ｇ１と露出オ
ーバー画像Ｇ２）のＲ，Ｇ，Ｂの色成分の画像データが
コンピュータ本体７０１内の記憶装置に読み出される
（＃２４１，＃２４３）。続いて、両撮影画像Ｇ１，Ｇ
２のＧの色成分の画像データについて、不足する画素位
置の画像データが補間される（＃２４５，＃２４７）。
この補間処理はボケ味調整処理における補間処理と同一
である。In the gradation adjustment processing for the photographed image, first, the image files P (X + 1). TIF, PX. TIF
The image data of the R, G, and B color components of the photographed images (underexposed image G1 and overexposed image G2) are read from the respective storage devices in the computer main body 701 (# 241, # 243). Next, both captured images G1 and G
With respect to the image data of the G color component of 2, the image data of the insufficient pixel position is interpolated (# 245, # 247).
This interpolation processing is the same as the interpolation processing in the blur adjustment processing.
【０２３５】続いて、撮影画像Ｇ１と撮影画像Ｇ２との
間でのレジストレーション処理におけるずれ量の初期値
（δｘ０,δｙ０）として、サムネイル画像による階調
調整処理のシミュレーションで算出されたサムネイル画
像Ａに対するサムネイル画像Ｂのずれ量（δｘ,δｙ）
を４倍した値（４δｘ,４δｙ）が設定される（＃２４
９）。階調調整処理では常にサムネイル画像による階調
調整処理のシミュレーションが行なわれるので、撮影画
像でのレジストレーション処理におけるずれ量の初期値
としてサムネイル画像でのシミュレーション結果で得ら
れたずれ量を利用するようにしている。Subsequently, as the initial value (δx0, δy0) of the shift amount in the registration process between the photographed image G1 and the photographed image G2, the thumbnail image A calculated by the simulation of the gradation adjustment process using the thumbnail image is calculated. Deviation of thumbnail image B with respect to (δx, δy)
4 times the value (4δx, 4δy) is set (# 24
9). Since the gradation adjustment process is always simulated by the thumbnail image in the gradation adjustment process, the deviation amount obtained from the simulation result in the thumbnail image should be used as the initial value of the deviation amount in the registration process in the captured image. I have to.
【０２３６】続いて、Ｇの色成分の画像を用いて撮影画
像Ｇ１と撮影画像Ｇ２との間でのレジストレーション処
理が行なわれ（＃２５１）、撮影画像Ｇ１に対する撮影
画像Ｇ２のずれ量（δｘ’，δｙ’）が決定される（＃
２５３）。そして、撮影画像Ｇ２のＲ，Ｇ，Ｂの各色成
分の画像を全体的にずれ量（δｘ’，δｙ’）だけ移動
させて撮影画像Ｇ１と撮影画像Ｇ２との位置合わせが行
なわれ（＃２５５）、まず、Ｇの各色成分について階調
調整処理が行なわれる（＃２５７）。この階調調整処理
はサムネイル画像を用いたシミュレーションにおける階
調調整処理と同一である。Subsequently, a registration process is performed between the photographed image G1 and the photographed image G2 using the image of the G color component (# 251), and the shift amount (δx ', Δy') is determined (#
253). Then, the images of the respective color components of R, G, B of the photographed image G2 are moved by the amount of displacement (δx ′, δy ′) as a whole, and the photographed image G1 and the photographed image G2 are aligned (# 255). ), First, gradation adjustment processing is performed for each G color component (# 257). This gradation adjustment processing is the same as the gradation adjustment processing in the simulation using the thumbnail image.
【０２３７】続いて、Ｒの色成分について階調調整処理
が行なわれ（＃２５９〜＃２６５）、その後、Ｂの色成
分について階調調整処理が行なわれる（＃２６５〜＃２
７３）。Ｒ，Ｂの色成分については、ボケ味調整処理と
同様に、画像データの存在しない画素位置の画像データ
を間引いて階調調整処理用の画像データを作成した後
（＃２５９，＃２６１，＃２６７，＃２６９）、その画
像データを用いて階調調整処理が行なわれ（＃２６３，
＃２７１）、その後、画像データの補間処理が行なわれ
る（＃２６５，＃３７３）。Subsequently, gradation adjustment processing is performed on the R color component (# 259 to # 265), and then gradation adjustment processing is performed on the B color component (# 265 to # 2).
73). For the R and B color components, image data for gradation adjustment processing is created by thinning out image data at pixel positions where image data does not exist (# 259, # 261, #) as in the blur adjustment processing. 267, # 269), and gradation adjustment processing is performed using the image data (# 263, # 263).
# 271), and then interpolation processing of image data is performed (# 265, # 373).
【０２３８】ステップ＃２５９，＃２６１，＃２６７，
＃２６９の画像データの間引き処理は、ボケ味調整処理
における画像データの間引き処理（図２１に示すフロー
チャートのステップ＃１４７〜＃１５３の処理参照）と
同一である。また、ステップ＃２６３，＃２７１の階調
調整処理は、サムネイル画像を用いたシミュレーション
における階調調整処理と同一である。また、ステップ＃
２６５，＃２７３の画像データの補間処理は、ボケ味調
整処理における画像データの補間処理（図２２に示すフ
ローチャートのステップ＃１７５〜＃１７７の処理参
照）と同一である。Steps # 259, # 261, # 267,
The image data thinning process of # 269 is the same as the image data thinning process in the blurring adjustment process (see the processes of steps # 147 to # 153 of the flowchart shown in FIG. 21). The gradation adjustment processing in steps # 263 and # 271 is the same as the gradation adjustment processing in the simulation using the thumbnail image. Also, step #
The interpolation processing of the image data of 265 and # 273 is the same as the interpolation processing of the image data in the blurring adjustment processing (see the processing of steps # 175 to # 177 of the flowchart shown in FIG. 22).
【０２３９】続いて、Ｒ，Ｇ，Ｂの色成分の階調調整画
像Ｇｃが合成され（＃２７５）、その合成結果は、ボケ
味調整処理の場合と同様に、図３９に示すようにディス
プレイ７０２に処理結果表示用のダイアログ・ボックス
１９を表示させ、その表示領域２０に表示される（＃２
７７）。Subsequently, the gradation adjustment images Gc of the R, G, and B color components are combined (# 275), and the combined result is displayed as shown in FIG. 39, as in the case of the blur adjustment processing. A dialog box 19 for displaying the processing result is displayed in 702 and displayed in the display area 20 (# 2
77).
【０２４０】そして、保存ボタン２１にカーソルＫを移
動してマウス７０４がダブルクリックされると（＃２７
９でＹＥＳ）、階調調整画像Ｇｃの画像データがコンピ
ュータ本体７０１内の所定のメモリに保存される（＃２
８１）。When the cursor K is moved to the save button 21 and the mouse 704 is double-clicked (# 27
9 is YES), the image data of the gradation adjustment image Gc is saved in a predetermined memory in the computer main body 701 (# 2).
81).
【０２４１】次に、超解像処理について説明する。Next, the super-resolution processing will be described.
【０２４２】図４０は、超解像処理プログラムが起動し
たときのディスプレイ７０２に表示される超解像処理用
のダイアログ・ボックスの一例を示す図である。FIG. 40 is a diagram showing an example of a dialog box for super-resolution processing displayed on the display 702 when the super-resolution processing program is activated.
【０２４３】超解像処理用のダイアログ・ボックス２６
の構成も基本的に図１５に示すボケ味調整用のダイアロ
グ・ボックス１０と同じで、図１５において、表示領域
１１ｃとシミュレーションボタン１２ｄを除去したもの
である。超解像処理では、サムネイル画像を用いて超解
像処理を行なってもその効果を視認することは困難であ
るので、サムネイル画像で超解像処理を行なうためのシ
ミュレーションボタン１２ｄとその結果を表示する表示
領域１１ｃは設けていない。Dialog box 26 for super-resolution processing
The configuration is basically the same as that of the dialog box 10 for adjusting the bokeh shown in FIG. 15, and the display area 11c and the simulation button 12d are removed in FIG. In the super-resolution processing, even if the super-resolution processing is performed using the thumbnail image, it is difficult to visually recognize the effect. Therefore, the simulation button 12d for performing the super-resolution processing on the thumbnail image and the result thereof are displayed. The display area 11c is not provided.
【０２４４】表示領域１１ａ，１１ｂ、ファイルボタン
１１ａ、実行ボタン１１ｂ及び終了ボタン１１ｅはダイ
アログ・ボックス１０のものと同一機能を果たすもので
ある。The display areas 11a and 11b, the file button 11a, the execute button 11b and the end button 11e have the same functions as those of the dialog box 10.
【０２４５】ここで、超解像処理の内容について、図４
１を用いて簡単に説明する。なお、説明の便宜上、一次
元の画像データについて説明する。Here, the contents of the super-resolution processing will be described with reference to FIG.
A brief description will be given using 1. For convenience of explanation, one-dimensional image data will be described.
【０２４６】被写体に対して撮影者がカメラを構えてシ
ャッタ操作を行なったときに、連続して２回の露光動作
を行って得られた２枚の撮影画像は、通常、撮影者が完
全に静止していることはないから、カメラアングルの僅
かな相違に起因して互いに被写体に対する撮影位置がわ
ずかに変位したものとなっている。When the photographer holds the camera and operates the shutter with respect to the subject, normally, the two photographed images obtained by performing two exposure operations in succession are not completely taken by the photographer. Since it is not stationary, the shooting positions for the subject are slightly displaced from each other due to a slight difference in camera angle.
【０２４７】従って、本実施の形態では、最初の撮影画
像と２回目の撮影画像とをそれぞれ補間処理するととも
に、両撮影画像の位置合わせをして合成することより、
解像度の高い画像を得るようにしている。Therefore, in the present embodiment, the first photographed image and the second photographed image are interpolated, and both photographed images are aligned and combined,
I try to get high resolution images.
【０２４８】すなわち、最初に撮影画像の画像データを
図４１（ａ）とし、２枚目の撮影画像の画像データを図
４１（ｂ）とし、２枚目の撮影画像は最初の撮影画像に
対して被写体に対する撮影位置が右側にΔｘだけずれて
いるとする。なお、図４１（ａ）（ｂ）において、曲線
Ｐは被写体の輝度特性を示し、ａ(1)，ａ(2)，…及びｂ
(1)，ｂ(2)，…は画素位置、Ｃ(1)，Ｃ(2)，…及びＤ
(1)，Ｄ(2)，…は各画素の受光レベルを示している。ま
た、Ｃ(1)’，Ｃ(2)’，…は、受光レベルＣ(1)，Ｃ
(2)，…を用いて画素位置ａ(1)，ａ(2)，…の間を補間
したレベルであり、Ｄ(1)’，Ｄ(2)’，…は、受光レベ
ルＤ(1)，Ｄ(2)，…を用いて画素位置ｂ(1)，ｂ(2)，…
の間を補間したレベルである。That is, the image data of the first captured image is shown in FIG. 41A, the image data of the second captured image is shown in FIG. 41B, and the second captured image corresponds to the first captured image. It is assumed that the shooting position for the subject is shifted to the right by Δx. 41 (a) and 41 (b), a curve P indicates the luminance characteristic of the subject, and a (1), a (2), ... And b
(1), b (2), ... Are pixel positions, C (1), C (2) ,.
(1), D (2), ... Show the light receiving level of each pixel. Further, C (1) ', C (2)', ... Are light receiving levels C (1), C
(2), ... Is a level obtained by interpolating between pixel positions a (1), a (2), ..., and D (1) ′, D (2) ′ ,. ), D (2), ... Using pixel positions b (1), b (2) ,.
It is the level which interpolated between.
【０２４９】図４１（ａ）（ｂ）に示すように、最初の
撮影画像における各画素の被写体に対する受光位置と２
枚目の撮影画像における各画素の被写体に対する受光位
置とは相違しているから、両撮影画像の画像データから
撮像素子の画素数の２倍の画像データが得られる。As shown in FIGS. 41 (a) and 41 (b), the light receiving position of each pixel in the first photographed image and the light receiving position
Since the light receiving position of each pixel in the first captured image with respect to the subject is different, image data of twice the number of pixels of the image sensor is obtained from the image data of both captured images.
【０２５０】従って、同図（ｃ）に示すように、最初の
撮影画像と２枚目の撮影画像の位置合わせをして両画像
データを合成することにより撮像素子の画素密度に対し
て２倍の画素密度を有する画像データが得られる。Therefore, as shown in (c) of the figure, the first photographed image and the second photographed image are aligned and the two image data are combined to double the pixel density of the image sensor. Image data having a pixel density of is obtained.
【０２５１】なお、本実施の形態では、２回の露光にお
けるカメラアングルの微差に基づく被写体に対する撮像
素子の受光位置のずれを利用しているから、画素位置ａ
(i)と画素位置ｂ(i)とのずれ量Δｘは一定せず、画素位
置ｂ(i)は画素位置ａ(i)と画素位置ａ(i＋1)との中間に
必ず位置するとは限らないので、ずれ量Δｘが非常に小
さい場合は、両画像画像の位置合わせが十分な精度で行
なえない虞がある。In this embodiment, since the shift of the light receiving position of the image pickup device with respect to the object based on the slight difference in the camera angle between the two exposures is used, the pixel position a
The deviation amount Δx between (i) and the pixel position b (i) is not constant, and the pixel position b (i) is not always located in the middle between the pixel position a (i) and the pixel position a (i + 1). Therefore, when the deviation amount Δx is very small, there is a possibility that the positions of both images cannot be aligned with sufficient accuracy.
【０２５２】そこで、これを改善するため、本実施の形
態では最初の撮影画像の画像データと２枚目の撮影画像
の画像データとをそれぞれ補間処理した後、合成するよ
うにしている。このようにすることで、図４１（ｃ）に
示すように、画素位置ｂ(i)と画素位置a(i+1)との間に
画像データＣ(i)’，Ｄ(i)’が補間され、２枚の撮影画
像は高い精度で位置合わせが行なわれるので、解像度の
高い画像が得られる。Therefore, in order to improve this, in the present embodiment, the image data of the first captured image and the image data of the second captured image are interpolated and then combined. By doing so, as shown in FIG. 41C, the image data C (i) 'and D (i)' are generated between the pixel position b (i) and the pixel position a (i + 1). Since the two captured images are interpolated and aligned with each other with high accuracy, an image with high resolution can be obtained.
【０２５３】図４０に戻り、設定ボタン１２ｃは上述し
た補間方法を設定するためのボタンである。本実施の形
態では、周知のキュービック・コンボリューション（Qu
ibicconvolution）法、クゥオドラティックスプライン
（Quadratic spline）法及びインテグレーティング・リ
サンプラー（Integrating resampler）法の中から所望
の補間方法が選択できるようになっている。Returning to FIG. 40, the setting button 12c is a button for setting the above-mentioned interpolation method. In this embodiment, the well-known cubic convolution (Qu
A desired interpolation method can be selected from the ibicconvolution method, the quadratic spline method, and the integrating resampler method.
【０２５４】設定ボタン１２ｃにカーソルＫを移動して
マウス７０４がダブルクリックされると、上記補間方法
を選択するための処理プログラムが起動し、ディスプレ
イ７０２の画面に、 図４２に示すような補間方法設定
用のダイアログ・ボックス２７が表示される。When the cursor K is moved to the setting button 12c and the mouse 704 is double-clicked, the processing program for selecting the above interpolation method is started, and the interpolation method as shown in FIG. 42 is displayed on the screen of the display 702. A dialog box 27 for setting is displayed.
【０２５５】ダイアログ・ボックス２７には上記３種類
の補間方法のリストが表示され、所望の補間方法の表示
位１６置にカーソルＫを移動し、マウス７０４をワンク
リックすると、その補間方法が選択され、先頭の〇印が
◎印に変更される。そして、この状態で設定内容を確定
するための「ＯＫ」ボタン１６にカーソルＫを移動し、
マウス７０４をワンクリックすると、その補間方法が設
定される。図４２の例では、キュービック・コンボリュ
ーション法が設定される。A list of the above three types of interpolation methods is displayed in the dialog box 27. When the cursor K is moved to the display position 16 of the desired interpolation method and the mouse 704 is clicked once, the interpolation method is selected. , The leading ◯ mark is changed to ◎ mark. Then, in this state, move the cursor K to the "OK" button 16 for confirming the setting contents,
When the mouse 704 is clicked with one click, the interpolation method is set. In the example of FIG. 42, the cubic convolution method is set.
【０２５６】次に、図４３，図４４のフローチャートに
従って超解像処理について具体的に説明する。Next, the super-resolution processing will be concretely described with reference to the flowcharts of FIGS. 43 and 44.
【０２５７】超解像処理のソフトが起動すると、指定さ
れたホルダＮｈに含まれる２個の画像ファイルＰ（Ｘ＋
１）．ＴＩＦ，ＰＸ．ＴＩＦからそれぞれサムネイル画
像Ａ，Ｂが読み出され、ダイアログ・ボックス２０の表
示領域１１ａ，１１ｂに表示されるとともに（＃２９
１，＃２９３）、超解像方式のデフォルト値が読み取ら
れて（＃２９５）、超解像処理のスタンバイ状態となる
（＃２９７のループ）。When the super-resolution processing software is started, the two image files P (X +
1). TIF, PX. Thumbnail images A and B are read out from the TIFs, respectively, and displayed in the display areas 11a and 11b of the dialog box 20 (# 29
1, # 293), the default value of the super-resolution method is read (# 295), and the standby state for the super-resolution processing is set (loop of # 297).
【０２５８】そして、実行ボタン１２ｃにより超解像処
理の実行が指示されると（＃２９７でＹＥＳ）、まず、
サムネイル画像Ａとサムネイル画像Ｂとの間でのレジス
トレーション処理がＧの色成分の画像を用いて行なわ
れ、サムネイル画像Ａに対するサムネイル画像Ｂのずれ
量（δｘ，δｙ）が決定される（＃２９９〜＃３０
５）。When execution of the super-resolution processing is instructed by the execution button 12c (YES in # 297), first,
The registration process between the thumbnail image A and the thumbnail image B is performed using the image of the G color component, and the shift amount (δx, δy) of the thumbnail image B with respect to the thumbnail image A is determined (# 299). ~ # 30
5).
【０２５９】続いて、画像ファイルＰ（Ｘ＋１）．ＴＩ
Ｆ，ＰＸ．ＴＩＦからそれぞれ撮影画像（最初の撮影画
像ｇ１と２回目の撮影画像ｇ２）のＲ，Ｇ，Ｂの色成分
の画像データがコンピュータ本体７０１内の記憶装置に
読み出され、両撮影画像ｇ１，ｇ２のＧの色成分の画像
データについて、それぞれ設定された補間方法によって
不足する画素位置の画像データを補間するとともに、解
像度の倍率ｎに応じて増加する画素位置の画像データが
補間される（＃３０７，＃３０９）。Then, the image files P (X + 1). TI
F, PX. The image data of the R, G, and B color components of the photographed images (first photographed image g1 and second photographed image g2) are read from the TIF to the storage device in the computer main body 701, and both photographed images g1 and g2 are read. With respect to the image data of the G color component of G, the image data of the insufficient pixel position is interpolated by the respectively set interpolation method, and the image data of the pixel position increasing according to the resolution magnification n is interpolated (# 307). , # 309).
【０２６０】すなわち、Ｇの色成分の画像データは、図
２５（ａ）に示すように（２ｈ＋２，２ｋ＋１）と（２
ｈ＋１，２ｋ＋２）（ｈ＝０，１，２…ｎ／２、ｋ＝
０，１，２，…ｍ／２）の画素位置にしか画像データＧ
がないから、同図（ｂ）に示すように画素位置（２ｈ＋
１，２ｋ＋１），（２ｈ＋２，２ｋ＋２）の画像データ
Ｇ’が補間され、更に、例えば解像度の倍率ｎを４倍と
すると、図４５に示すように、各行各列について、各画
素位置の間に画素データＧ”が補間される。That is, the image data of the color component of G is (2h + 2,2k + 1) and (2h + 2,2k + 1) as shown in FIG.
h + 1, 2k + 2) (h = 0, 1, 2 ... n / 2, k =
Image data G only at pixel positions of 0, 1, 2, ...
Therefore, as shown in FIG. 7B, the pixel position (2h +
If the image data G ′ of (1, 2k + 1), (2h + 2, 2k + 2) is interpolated and the resolution magnification n is 4 times, as shown in FIG. 45, as shown in FIG. The pixel data G ″ is interpolated.
【０２６１】続いて、撮影画像ｇ１と撮影画像ｇ２との
間でのレジストレーション処理におけるずれ量の初期値
（δｘ０,δｙ０）として、ステップ＃３０５で算出さ
れたサムネイル画像Ａに対するサムネイル画像Ｂのずれ
量（δｘ,δｙ）を４倍した値（４δｘ,４δｙ）が設定
され（＃３１１）、更にこのずれ量（４δｘ,４δｙ）
を用いてＧの色成分の画像に関して撮影画像ｇ１と撮影
画像ｇ２との間でのレジストレーション処理が行なわれ
て（＃３１３）、撮影画像ｇ１に対する撮影画像ｇ２の
ずれ量（δｘ’，δｙ’）が決定される（＃３１５）。Subsequently, as the initial value (δx0, δy0) of the shift amount in the registration process between the shot image g1 and the shot image g2, the shift of the thumbnail image B with respect to the thumbnail image A calculated in step # 305. A value (4δx, 4δy) that is four times the amount (δx, δy) is set (# 311), and this deviation amount (4δx, 4δy) is set.
The registration process between the photographed image g1 and the photographed image g2 is performed for the image of the G color component using # (# 313), and the shift amount (δx ′, δy ′ of the photographed image g2 with respect to the photographed image g1 is calculated. ) Is determined (# 315).
【０２６２】そして、撮影画像ｇ２のＧの色成分の画像
を全体的にずれ量（δｘ’，δｙ’）だけ移動させて撮
影画像ｇ１と撮影画像ｇ２との位置合わせが行なわれた
後（＃３１７）、画像データＧ”の補間された各画素位
置について、撮影画像ｇ１の補間データＧ”と撮影画像
ｇ２の補間データＧ”との平均値が合成後のデータとし
て設定される（＃３１９）。After the image of the G color component of the photographed image g2 is moved by the amount of displacement (δx ′, δy ′) as a whole, the photographed image g1 and the photographed image g2 are aligned (# 317), for each interpolated pixel position of the image data G ″, an average value of the interpolated data G ″ of the photographed image g1 and the interpolated data G ″ of the photographed image g2 is set as the combined data (# 319). .
【０２６３】ステップ＃３１７の処理は、図４１の例で
説明すると、同図（ａ）（ｂ）のように、２枚目の画像
の画像データを最初の画像の画像データに対してΔｘだ
けずらせて被写体の輝度特性Ｐを一致させるものであ
る。The process of step # 317 will be described with reference to the example of FIG. 41. As shown in FIGS. 41A and 41B, the image data of the second image is changed by Δx from the image data of the first image. The luminance characteristics P of the subject are made to coincide with each other by shifting.
【０２６４】また、ステップ＃３１９の処理は、画素密
度をｎ倍にした２枚の撮影画像相互で画素ピッチ単位で
位置合わせを行なうので、同一の画素位置に最初の撮影
画像のデータと２枚目の撮影画像のデータとが存在する
ことになるので、これらの平均値をその画素位置のデー
タとするものである。Further, in the process of step # 319, the two photographed images having the pixel density n times are aligned with each other in the pixel pitch unit. Therefore, the data of the first photographed image and the two photographed images are arranged at the same pixel position. Since the data of the captured image of the eye is present, the average value of these is used as the data of the pixel position.
【０２６５】図４３に戻り、続いて、ステップ＃３２１
〜＃３２７でＲの色成分の画像について、Ｇの色成分の
場合と同様の方法で画像データの合成処理が行なわれ、
ステップ＃３２９〜＃３３５でＢの色成分の画像につい
て、Ｇの色成分の場合と同様の方法で画像データの合成
処理が行なわれる。Returning to FIG. 43, step # 321 is continued.
In # 327, image data composition processing is performed on the image of the R color component in the same manner as in the case of the G color component,
In steps # 329 to # 335, the image data combining process is performed on the image of the B color component in the same manner as in the case of the G color component.
【０２６６】なお、Ｒの色成分の画像データは、図２６
（ａ）に示すように（２ｈ＋１，２ｋ＋１）の画素位置
にしか画像データＲがないから、同図（ｂ）に示すよう
にこれ以外の画素位置（２ｈ＋２，２ｋ＋１），（２ｈ
＋１，２ｋ＋２），（２ｈ＋２，２ｋ＋２）の画像デー
タＲ’が補間された後、図４６に示すように各行各列に
ついて、各画素位置の間に画素データＲ”が補間され
る。Ｂの色成分の画像データについても同様の方法で画
像データＢ’，Ｂ”が補間される。The image data of the R color component is shown in FIG.
Since the image data R is present only at the pixel positions (2h + 1, 2k + 1) as shown in (a), other pixel positions (2h + 2, 2k + 1), (2h as shown in FIG.
After the image data R ′ of + 1,2k + 2) and (2h + 2,2k + 2) are interpolated, the pixel data R ″ is interpolated between the pixel positions for each row and each column as shown in FIG. Image data B ′ and B ″ are also interpolated in the same manner for the component image data.
【０２６７】そして、超解像処理後のＲ，Ｇ，Ｂの各色
成分の画像データを合成して画素密度がｎ倍（図４５，
図４６の例では４倍）の超解像画像ｇ３が作成され(＃
３３７)、その超解像画像ｇ３が、図４７に示すように
ディスプレイ７０２の画面全体に表示される（＃３３
９）。なお、超解像処理では、処理結果の効果を認識し
やすくするため、超解像画像ｇ３をディスプレイ７０２
の画面全体に表示させるようにしている。処理効果が認
識できるものであれば、超解像画像ｇ３をディスプレイ
７０２の一部画面に表示させるようにしても良い。Then, the image data of the R, G, and B color components after the super-resolution processing are combined to have a pixel density n times (see FIG. 45,
In the example of FIG. 46, a super-resolution image g3 of 4 times) is created (#
337), the super-resolution image g3 is displayed on the entire screen of the display 702 as shown in FIG. 47 (# 33).
9). In the super-resolution processing, the super-resolution image g3 is displayed on the display 702 in order to easily recognize the effect of the processing result.
The whole screen is displayed. If the processing effect can be recognized, the super-resolution image g3 may be displayed on a partial screen of the display 702.
【０２６８】そして、保存ボタン２１にカーソルＫを移
動してマウス７０４がダブルクリックされると（＃３４
１でＹＥＳ）、超解像画像ｇ３の画像データがコンピュ
ータ本体７内の所定のメモリに保存される（＃３４
３）。Then, when the cursor K is moved to the save button 21 and the mouse 704 is double-clicked (# 34
1 is YES), the image data of the super-resolution image g3 is stored in a predetermined memory in the computer main body 7 (# 34).
3).
【０２６９】上記のように、デジタルスチルカメラ１で
ボケ味調整モード、階調調整モード及び超解像モードで
撮影された２枚一組の撮影画像はコンピュータからなる
画像処理装置６で、Ｒ，Ｇ，Ｂの色成分毎に互いに撮影
画像の位置合わせ処理が行なわれた後、所定の合成処理
により所望のボケ具合や階調特性を有する色成分画像や
解像度の高い色成分画像が作成され、更にこれらの色成
分画像を合成して所望のボケ具合や階調特性を有するカ
ラー画像や解像度の高いカラー画像が作成されるが、こ
の色成分毎の画像処理において、人間の視覚特性上解像
度に与える影響の大きいＧの色成分については、全画素
位置の画像データを用いて位置合わせ処理を行ない、人
間の視覚特性上解像度に与える影響の小さいＲ，Ｂの色
成分については、Ｇの色成分で算出された位置合わせ情
報を利用することで位置合わせ処理の簡略化を行なうよ
うにしているので、Ｒ，Ｇ，Ｂの各色成分について同一
の位置合わせ処理を繰り返す場合に比して処理時間を短
くすることができる。As described above, a set of two picked-up images picked up by the digital still camera 1 in the blur adjustment mode, the gradation adjustment mode and the super-resolution mode are processed by the image processing device 6 including a computer, After the photographed images are aligned with each other for each of the G and B color components, a color component image having a desired degree of blurring or gradation characteristics or a high resolution color component image is created by a predetermined combining process. Further, these color component images are combined to create a color image having a desired degree of blurring or gradation characteristics or a high resolution color image. The G color component, which has a large influence, is subjected to registration processing using image data at all pixel positions, and the R and B color components, which have a small influence on the resolution due to human visual characteristics, are: Since the registration process is simplified by using the registration information calculated with the color components of R, G, and B, compared with the case where the same alignment process is repeated for each of the R, G, and B color components. The processing time can be shortened.
【０２７０】また、色成分毎のボケ味調整、階調調整及
び超解像処理等の所定の画像処理においても、Ｇの色成
分の画像については全画素位置の画像データを用いて画
像処理を行ない、Ｒ，Ｂの色成分の画像については、全
画素位置の画像データを用いないで画像処理を行なうよ
うにしているので、全ての各色成分の画像について全画
素位置の画像データを用いて画像処理を繰り返す場合に
比して処理時間を短くすることができる。Further, also in the predetermined image processing such as blur adjustment, gradation adjustment and super-resolution processing for each color component, the image processing of the G color component is performed using the image data of all pixel positions. Since the image processing of the R and B color components is performed without using the image data of all the pixel positions, the image data of all the color components is used to perform the image processing. The processing time can be shortened as compared with the case where the processing is repeated.
【０２７１】具体的には、本実施形態では、ベイヤー方
式の単板式カラーＣＣＤを用いて画像が撮影されている
ため、撮影画像を構成するＲ，Ｇ，Ｂの各色成分の画像
は、不足する画素位置の画像データを補間する必要があ
るが、色成分毎のボケ味調整、階調調整及び超解像処理
等の所定の画像処理においては、Ｇの色成分の画像につ
いては補間処理により全画素位置の画像データを補間し
て画像処理を行ない、Ｒ，Ｂの色成分の画像について
は、補間処理をしないで、元の画像データを用いて画像
処理を行なうようにしているので、全ての各色成分の画
像について全画素位置の画像データを補間した後、画像
処理を行なう場合に比して処理時間を短くすることがで
きる。Specifically, in the present embodiment, since the image is photographed by using the Bayer type single-plate color CCD, the images of the respective color components of R, G, B constituting the photographed image are insufficient. Although it is necessary to interpolate image data at pixel positions, in predetermined image processing such as blur adjustment, gradation adjustment, and super-resolution processing for each color component, the interpolation processing is performed for the image of the G color component. Image data at pixel positions are interpolated and image processing is performed. For images of R and B color components, image processing is performed using the original image data without performing interpolation processing. The processing time can be shortened as compared with the case where image processing is performed after interpolating image data at all pixel positions for the image of each color component.
【０２７２】なお、Ｒ，Ｂの色成分の画像については、
所定の画像処理が終了し、色成分画像を合成する際に不
足する画素位置の画像データを補間するようにしている
ので、合成後の画像の画質が劣化することはない。Regarding the images of the R and B color components,
Since the predetermined image processing is completed and the image data of the pixel positions that are insufficient when synthesizing the color component images is interpolated, the image quality of the image after synthesis is not deteriorated.
【０２７３】また、上記実施形態では、画像処理をＲ，
Ｇ，Ｂの色成分で行なう場合について説明したが、Ｙ，
Ｃｒ，Ｃｂの色成分で行なう場合にも本発明は適用可能
で、Ｃｒ，Ｃｂの色成分の画像に対する画像処理をＹの
色成分の画像処理より簡略化するとよい。すなわち、一
般に人間の視覚特性上解像度に影響の大きい色成分と解
像度への影響は小さいが色再現性に影響の大きい色成分
とに分離して画像処理をする場合、後者の色成分の画像
に対する画像処理を前者の色成分の画像に対する画像処
理よりも簡略化する（例えば処理対象のデータ数を揃え
るための補間処理を省いたり、位置合わせ処理を省くな
ど）ようにすればよい。In the above embodiment, the image processing is performed by R,
Although the case of performing with G and B color components has been described, Y,
The present invention can be applied to the case where the color components of Cr and Cb are used, and the image processing for the image of the color components of Cr and Cb may be simplified as compared with the image processing of the Y color component. That is, in general, when image processing is performed by separating a color component that has a large influence on resolution due to human visual characteristics and a color component that has a small influence on resolution but has a large influence on color reproducibility into image processing of the latter color component. It suffices to simplify the image processing as compared with the image processing for the image of the color component of the former (for example, omitting the interpolation processing for aligning the number of data to be processed, omitting the alignment processing, etc.).
【０２７４】また、上記実施の形態では、ボケ味調整モ
ード、階調調整モード及び超階調処理モードで撮影され
た２枚の撮影画像の合成処理をパソコン７で行なうよう
にしていたが、デジタルスチルカメラ１のＲＯＭ１０８
ａに上述したボケ味調整処理プログラム、階調調整処理
プログラム及び超解像処理プログラムを搭載し、全体制
御部１０８でこれらのプログラムに従って２枚の撮影画
像の合成処理を行ない、その処理結果を、図４８に示す
ようにメモリカードＭＣに記録するようにしてもよい。Further, in the above embodiment, the personal computer 7 performs the synthesizing process of the two photographed images photographed in the blur adjustment mode, the gradation adjustment mode and the super gradation processing mode. ROM 108 of still camera 1
The blur adjustment processing program, the gradation adjustment processing program, and the super-resolution processing program described above are installed in a, and the overall control unit 108 performs a combining process of two captured images according to these programs, and the processing result is The data may be recorded in the memory card MC as shown in FIG.
【０２７５】なお、図４８は、図８に示すメモリカード
ＭＣ内の画像ファィルの構成例において、ボケ味調整モ
ード、階調調整モード及び超解像モードの撮影画像に対
するホルダにそれぞれ合成処理した画像の画像ファイル
「Ｐ０００００１．ＪＰＧ」，「Ｐ０００００３．ＪＰ
Ｇ」，「Ｐ０００００５．ＪＰＧ」，「Ｐ０００００
７．ＪＰＧ」を追加したものである。[0275] Fig. 48 is a diagram showing an example of the composition of the image file in the memory card MC shown in Fig. 8, in which the images obtained by combining the holder with the photographic image in the blur adjustment mode, the gradation adjustment mode and the super-resolution mode are processed. Image files "P000001.JPG", "P000003.JP"
G ”,“ P000005.JPG ”,“ P00000
7. JPG "is added.
【０２７６】これらのファィル名から分かるように、合
成処理後の画像データはＪＰＥＧ方式で圧縮されてい
る。合成処理後の画像データだけでなく、撮影画像の生
のデータもメモリカードＭＣに記録しているのは、パソ
コン７でも画像処理を行なうことができるようにしてい
るためである。メモリカードＭＣの容量効率を高めるた
めに、合成処理後の画像データだけメモリカードＭＣに
記録するようにしても良い。As can be seen from these file names, the image data after the combining process is compressed by the JPEG system. Not only the image data after the synthesizing process but also the raw data of the photographed image is recorded in the memory card MC because the personal computer 7 can also perform the image processing. In order to increase the capacity efficiency of the memory card MC, only the image data after the combining process may be recorded in the memory card MC.
【０２７７】デジタルスチルカメラ１の画像処理機能を
搭載する際、ソフトウェアで全体制御部１０８により合
成処理を行なわせるようにすると、全体制御部１０８の
処理負担が大きくなるので、ハードウェアで合成処理が
行なわれる構成にしてもよい。When the image processing function of the digital still camera 1 is installed, if the overall control unit 108 is caused to perform the synthesis processing by software, the processing load on the overall control unit 108 increases, so that the hardware can perform the synthesis processing. It may be configured to be performed.
【０２７８】図４９は、超解像モードを備え、このモー
ドでの超解像処理をハードウェアで実行するようにした
デジタルスチルカメラの内部構成を示すブロック図であ
る。また、図５０は、複数画像処理部の内部構成を示す
ブロック図である。FIG. 49 is a block diagram showing the internal structure of a digital still camera equipped with a super-resolution mode, in which super-resolution processing in this mode is executed by hardware. Further, FIG. 50 is a block diagram showing an internal configuration of the multiple image processing unit.
【０２７９】同図は、図７において、信号処理部１０３
内に、超階調処理モードで撮影された２枚の撮影画像の
合成処理を行なう複数画像処理部１１１を設けたもので
ある。図７に示す部材と同一機能の部材には同一番号を
付している。This figure is similar to FIG.
A multi-image processing unit 111 for synthesizing two photographed images photographed in the super gradation processing mode is provided therein. Members having the same functions as those shown in FIG. 7 are designated by the same reference numerals.
【０２８０】複合画像処理部１１１は、図５０に示すよ
うに、Ｒ，Ｇ，Ｂの色成分の画像データを輝度（Ｙ），
色差（Ｃｒ＝Ｒ−Ｙ），色差（Ｃｂ＝Ｂ−Ｙ）の画像デ
ータに変換するＲＧＢ／ＹＣrＣb変換部１１１ａ、フィ
ルタ１１１ｂ，１１１ｃ、補間処理部１１１ｄ，１１１
ｅ、レジストレーション処理部１１１ｆ及び画像合成部
１１１ｇで構成されている。As shown in FIG. 50, the composite image processing unit 111 converts the image data of R, G, B color components into luminance (Y),
RGB / YCrCb converter 111a for converting color difference (Cr = RY) and color difference (Cb = BY) image data, filters 111b and 111c, and interpolation processors 111d and 111.
e, a registration processing section 111f and an image composition section 111g.
【０２８１】ＲＧＢ／ＹＣrＣb変換部１１１ａは、全体
制御部１０８から最初の撮影画像及び２枚目の撮影画像
のＲ，Ｇ，Ｂの色成分の画像データが入力されると、一
旦、画像メモリ１０３ｆに格納した後、各撮影画像につ
いて、Ｒ：Ｇ：Ｂ＝０．３：０．５９：０．１１の割合
で加算合成して輝度データＹを作成するとともに、最初
の撮影画像について、Ｒ，Ｂの画像データからこの輝度
データＹを減算して色差データＣｒ，Ｃｂのデータを作
成する。なお、色差データＣｒ，Ｃｂについて最初の撮
影画像だけを用いるのは、色差データＣｒ，Ｃｂについ
ては、解像度に与える影響が少ないので、最初の撮影画
像と２枚目の撮影画像との位置合わせ処理をしないで、
処理速度をできるだけ早くするためである。色差データ
Ｃｒ，Ｃｂについて２枚目の撮影画像だけを用いるよう
にしてもよい。The RGB / YCrCb conversion section 111a receives the image data of the R, G, and B color components of the first captured image and the second captured image from the overall control section 108 once, and then temporarily outputs the image memory 103f. Then, the luminance data Y is created by adding and synthesizing each photographed image at a ratio of R: G: B = 0.30: 0.59: 0.11. The luminance data Y is subtracted from the B image data to create color difference data Cr and Cb data. It should be noted that only the first captured image is used for the color difference data Cr, Cb because the color difference data Cr, Cb has little influence on the resolution, so that the alignment processing of the first captured image and the second captured image is performed. Don't do
This is to make the processing speed as fast as possible. It is also possible to use only the second captured image for the color difference data Cr, Cb.
【０２８２】両撮影画像の輝度データＹが作成される
と、各撮影画像の輝度データＹについて、フィルタ回路
１１１ｂによりノイズ成分が除去された後、補間処理回
路１１１ｄでデータの補間処理が行なわれる。この補間
処理は、図４１で説明したデータＣ(1)’，Ｃ(2)’，
…、データＤ(1)’，Ｄ(2)’，…の補間処理に相当し、
図４３，図４４のフローチャートではステップ＃３０
７，＃３０８の補間処理に相当している。When the brightness data Y of both captured images is created, noise components are removed from the brightness data Y of each captured image by the filter circuit 111b, and then the interpolation processing circuit 111d interpolates the data. This interpolation processing is performed by the data C (1) ′, C (2) ′,
..., which corresponds to the interpolation processing of the data D (1) ', D (2)', ...
Steps # 30 in the flowcharts of FIGS. 43 and 44
This corresponds to the interpolation processing of # 7 and # 308.
【０２８３】また、最初の撮影画像の色差データＣｒ，
Ｃｂが作成されると、この色差データＣｒ，Ｃｂについ
て、フィルタ回路１１１ｃによりノイズ成分が除去され
た後、補間処理回路１１１ｅでデータの補間処理が行な
われる。なお、この補間処理は、図４１で説明したデー
タＣ(1)’，Ｃ(2)’，…、データＤ(1)’，Ｄ(2)’，…
の補間処理に相当し、図４３，図４４のフローチャート
ではステップ＃３２１，＃３２９の補間処理に相当して
いる。The color difference data Cr,
When Cb is created, noise components are removed from the color difference data Cr and Cb by the filter circuit 111c, and then data interpolation processing is performed by the interpolation processing circuit 111e. The interpolation processing is performed by the data C (1) ', C (2)', ..., Data D (1) ', D (2)', ... Described in FIG.
43, and in the flowcharts of FIGS. 43 and 44, it corresponds to the interpolation processing of steps # 321 and # 329.
【０２８４】輝度データＹについては、補間処理が終了
すると、レジストレーション処理部１１１ｆで最初の撮
影画像と２枚目の撮影画像との位置合わせが行なわれ
る。この処理は、図４３，図４４のフローチャートのス
テップ＃３１３〜＃３１９に相当し、輝度データＹにつ
いては解像度の高い画像データを得るものである。一
方、補間後の色差データＣｒ，Ｃｂについては、最初の
撮影画像と２枚目の撮影画像との位置合わせは行なわれ
ない。With respect to the luminance data Y, when the interpolation processing is completed, the registration processing section 111f aligns the first photographed image with the second photographed image. This processing corresponds to steps # 313 to # 319 in the flowcharts of FIGS. 43 and 44, and obtains image data with high resolution for the luminance data Y. On the other hand, regarding the interpolated color difference data Cr and Cb, the alignment between the first captured image and the second captured image is not performed.
【０２８５】そして、レジストレーション処理が行なわ
れた輝度データＹと最初の撮影画像の色差データＣｒ，
Ｃｂとは画像処理部１１１ｇで合成され（図４４のフロ
ーチャートのステップ＃３３７に相当）、合成後の画像
データは画像データ１０３ｆに記憶される。Then, the luminance data Y subjected to the registration processing and the color difference data Cr of the first photographed image,
Cb is combined with the image processing unit 111g (corresponding to step # 337 in the flowchart of FIG. 44), and the combined image data is stored in the image data 103f.
【０２８６】なお、この実施の形態では、処理速度をで
きるだけ早くするため、色差データＣｒ，Ｃｂに対して
はレジストレーション処理部は設けていないが、色差デ
ータＣｒ，Ｃｂに対してもレジストレーション処理部を
設けてもよい。In this embodiment, in order to make the processing speed as fast as possible, no registration processing unit is provided for the color difference data Cr, Cb, but the registration processing is also performed for the color difference data Cr, Cb. You may provide a part.
【０２８７】また、上記実施形態では、超解像処理にお
けるレジストレーション処理の初期値をサムネイル画像
を用いたシミュレーションで算出しているが、このシミ
ュレーションをしないで、直接撮影画像のレジストレー
ション処理を行なうようにしてもよい。Further, in the above embodiment, the initial value of the registration processing in the super-resolution processing is calculated by the simulation using the thumbnail image, but the registration processing of the directly photographed image is performed without this simulation. You may do it.
【０２８８】また、階調調整処理では、常にサムネイル
画像を用いてシミュレーションをしているが、ボケ味調
整処理と同様にシミュレーションの指示がされたときに
おこなうようしてもよい。Further, in the gradation adjustment processing, the thumbnail image is always used for the simulation, but the gradation adjustment processing may be performed when the simulation is instructed similarly to the blurring adjustment processing.
【０２８９】[0289]
【発明の効果】以上説明したように、本発明によれば、
カラー撮像装置で撮影された２枚のカラー画像に対し、
色成分毎に所定の画像処理を行なって１枚の色成分画像
を作成し、各色成分の画像を合成して１枚のカラー画像
を作成する画像処理システムであって、複数の色成分の
画像のうち、人間の視覚特性上解像度に与える影響の小
さい色成分に対する画像処理を他の色成分に対する画像
処理よりも簡略化するようにしたので、全ての色成分に
対して同一の画像処理を繰り返す場合に比して画像処理
の時間が短くなり、合成後の画像の画質を劣化すること
なく合成処理の時間を可能な限り短縮することができ
る。As described above, according to the present invention,
For two color images taken with a color imaging device,
An image processing system for performing a predetermined image processing for each color component to create one color component image, synthesizing images of each color component to create one color image, Of these, the image processing for color components that have a small effect on resolution due to human visual characteristics is made simpler than the image processing for other color components, so the same image processing is repeated for all color components. Compared with the case, the image processing time becomes shorter, and the time of the combining process can be shortened as much as possible without deteriorating the image quality of the combined image.
【０２９０】また、同一の被写体に対して連続して２回
撮像し、それによって得られた２枚のカラー画像に対
し、色成分毎に所定の画像処理を行なって１枚の色成分
画像を作成し、各色成分の画像を合成して１枚のカラー
画像を作成するカラー撮像装置であって、複数の色成分
の撮影画像のうち、人間の視覚特性上解像度に与える影
響の小さい色成分に対する画像処理を他の色成分に対す
る画像処理よりも簡略化するようにしたので、全ての色
成分に対して同一の画像処理を繰り返す場合に比して画
像処理の時間が短くなり、合成後の画質を劣化させるこ
となく可能な限り短い時間で撮影画像と異なる画質の画
像を得ることができる。Further, the same subject is continuously imaged twice, and the two color images thus obtained are subjected to predetermined image processing for each color component to obtain one color component image. A color imaging apparatus for creating a single color image by synthesizing images of respective color components, and for a color image having a small influence on resolution in human visual characteristics among captured images of a plurality of color components. Since the image processing is made simpler than the image processing for other color components, the image processing time is shorter than when the same image processing is repeated for all color components, and the image quality after combining is improved. It is possible to obtain an image having a quality different from that of the captured image in the shortest possible time without deteriorating the image quality.
【０２９１】また、上記画像処理方法からなる処理プロ
グラムを情報記録媒体に記録することにより、この情報
記録媒体を介してカラー撮像装置やコンピュータなどか
ら画像処理装置に画像処理方法の処理プログラムを搭載
することで、画像合成により撮影画像と異なる画質の画
像を得る機能を備えたカラー撮像装置や画像処理システ
ムを簡単に構築することができる。By recording a processing program including the above image processing method on an information recording medium, the processing program of the image processing method is installed in the image processing apparatus from the color image pickup apparatus, the computer or the like via this information recording medium. As a result, it is possible to easily construct a color imaging device or an image processing system having a function of obtaining an image having an image quality different from that of a captured image by combining images.
【図１】 本発明に係る画像処理システムに適用される
デジタルスチルカメラのカメラ本体の正面図である。FIG. 1 is a front view of a camera body of a digital still camera applied to an image processing system according to the present invention.
【図２】 同デジタルスチルカメラの主要部材の配置を
示す図である。FIG. 2 is a diagram showing an arrangement of main members of the digital still camera.
【図３】 同デジタルスチルカメラに内蔵された主要部
材の配置を示す右側面図である。FIG. 3 is a right side view showing an arrangement of main members built in the digital still camera.
【図４】 同デジタルスチルカメラの背面図である。FIG. 4 is a rear view of the digital still camera.
【図５】 カラー撮像素子の撮像面の構成を示す図であ
る。FIG. 5 is a diagram showing a configuration of an image pickup surface of a color image pickup element.
【図６】 撮影モードの選択方法を説明するための図で
ある。FIG. 6 is a diagram illustrating a method of selecting a shooting mode.
【図７】 デジタルスチルカメラの内部構成を示すブロ
ック図である。FIG. 7 is a block diagram showing an internal configuration of a digital still camera.
【図８】 メモリカードに記録された画像ファイルの構
成例を示す図である。FIG. 8 is a diagram showing a configuration example of an image file recorded in a memory card.
【図９】 メモリカードへの画像ファイルの記録方法を
示す図である。FIG. 9 is a diagram showing a method of recording an image file on a memory card.
【図１０】 ボケ味調整モードでの撮影手順を示すフロ
ーチャートである。FIG. 10 is a flowchart showing a shooting procedure in a blur adjustment mode.
【図１１】 階調調整モードでの撮影手順を示すフロー
チャートである。FIG. 11 is a flowchart showing a shooting procedure in a gradation adjustment mode.
【図１２】 超解像モードでの撮影手順を示すフローチ
ャートである。FIG. 12 is a flowchart showing a shooting procedure in a super resolution mode.
【図１３】 画像処理装置の構成を示す外観図である。FIG. 13 is an external view showing the configuration of the image processing apparatus.
【図１４】 画像合成用の処理プログラムを起動するた
めの処理手順を示すフローチャートであるFIG. 14 is a flowchart showing a processing procedure for activating a processing program for image composition.
【図１５】 ボケ味調整処理プログラムが起動したとき
のディスプレイに表示されるボケ味調整用のダイアログ
・ボックスの一例を示す図である。FIG. 15 is a diagram showing an example of a bokeh adjustment dialog box displayed on the display when the bokeh adjustment processing program is activated.
【図１６】 画像ファイルの読取処理のフローチャート
である。FIG. 16 is a flowchart of an image file reading process.
【図１７】 画像ファイルの読取処理の他のフローチャ
ートである。FIG. 17 is another flowchart of the image file reading process.
【図１８】 ボケ味調整処理に使用されるピント状態の
異なる２枚の画像を示すもので、（ａ）は近景合焦画像
であり、（ｂ）は遠景合焦画像である。FIGS. 18A and 18B show two images with different focus states used for the blur adjustment processing, where FIG. 18A is a near-focus image and FIG. 18B is a distant-focus image.
【図１９】 ボケ味調整処理に必要なパラメータを設定
するためにディスプレイに表示されるダイアログ・ボッ
クスの一例を示す図である。FIG. 19 is a diagram showing an example of a dialog box displayed on a display for setting parameters necessary for the blur adjustment processing.
【図２０】 ボケ味調整処理の処理手順を示すフローチ
ャートである。FIG. 20 is a flowchart showing a processing procedure of blurring adjustment processing.
【図２１】 ボケ味調整処理の処理手順を示すフローチ
ャートである。FIG. 21 is a flowchart showing a processing procedure of blurring adjustment processing.
【図２２】 ボケ味調整処理の処理手順を示すフローチ
ャートである。FIG. 22 is a flowchart showing a processing procedure of blurring adjustment processing.
【図２３】 サムネイル画像を用いたボケ味調整処理の
処理手順を示すフローチャートである。FIG. 23 is a flowchart showing a processing procedure of blurring adjustment processing using thumbnail images.
【図２４】 サムネイル画像を用いてボケ味調整処理を
シミュレートした場合のディスプレイにおける表示内容
を示す図である。FIG. 24 is a diagram showing display contents on a display when a blurring adjustment process is simulated using thumbnail images.
【図２５】 Ｇの色成分について画像データの補間処理
を説明するための図で，（ａ）は補間前の画像データを
示す図、（ｂ）は補間後の画像データを示す図である。25A and 25B are diagrams for explaining the interpolation processing of image data for the G color component, where FIG. 25A is a diagram showing image data before interpolation and FIG. 25B is a diagram showing image data after interpolation.
【図２６】 Ｒの色成分の画像データを間引いて反復演
算処理用の画像データを作成する方法を示す図で、
（ａ）は間引く前の画像データを示す図、（ｂ）は間引
き後の画像データを示す図である。FIG. 26 is a diagram showing a method of thinning out image data of R color component to create image data for iterative calculation processing,
(A) is a figure which shows the image data before thinning, (b) is a figure which shows the image data after thinning.
【図２７】 Ｒの色成分について画像データを補間して
ボケ味調整画像を作成する方法を説明するための図で、
（ａ）は補間前の画像データを示す図、（ｂ）は画像デ
ータを元の画素位置に復元した状態を示す図、（ｃ）補
間後の画像データを示す図である。FIG. 27 is a diagram for explaining a method of interpolating image data for an R color component to create a bokeh adjustment image,
(A) is a figure which shows the image data before interpolation, (b) is a figure which shows the state which restored the image data to the original pixel position, (c) is a figure which shows the image data after interpolation.
【図２８】 ボケ味調整画像を表示するためにディスプ
レイに表示されるダイアログ・ボックスの一例を示す図
である。FIG. 28 is a diagram showing an example of a dialog box displayed on a display for displaying a bokeh adjustment image.
【図２９】 ボケ味調整画像を保存するための条件を入
力するためにディスプレイに表示されるダイアログ・ボ
ックスの一例を示す図である。FIG. 29 is a diagram showing an example of a dialog box displayed on a display for inputting a condition for saving a bokeh adjustment image.
【図３０】 階調調整処理プログラムが起動したときの
ディスプレイに表示される階調調整用のダイアログ・ボ
ックスの一例を示す図である。FIG. 30 is a diagram showing an example of a gradation adjustment dialog box displayed on the display when the gradation adjustment processing program is activated.
【図３１】 バリエーションボタンにより予め設定され
た５種類の加算比率特性で階調調整をシミュレーション
したときのシミュレーション結果の表示例を示す図であ
る。FIG. 31 is a diagram showing a display example of simulation results when gradation adjustment is simulated with five types of addition ratio characteristics preset by the variation button.
【図３２】 露出オーバーの撮影画像と露出アンダーの
撮影画像のＡ／Ｄ変換レベルにおける相違を示す図であ
る。FIG. 32 is a diagram showing a difference in A / D conversion level between an overexposed captured image and an underexposed captured image.
【図３３】 階調調整処理における露出オーバーの撮影
画像と露出アンダーの撮影画像との合成比率の一例を示
す図である。FIG. 33 is a diagram showing an example of a combination ratio of an overexposed captured image and an underexposed captured image in the gradation adjustment processing.
【図３４】 同一の被写体の輝度レベルに対する露出オ
ーバーの撮影画像、露出アンダーの撮影画像及び階調調
整画像のＡ／Ｄ変換レベルを示す図である。FIG. 34 is a diagram showing A / D conversion levels of an overexposed shot image, an underexposed shot image, and a gradation adjustment image for the same subject luminance level.
【図３５】 階調調整モードで撮影された露出値の異な
る２枚の撮影画像を用いた階調味調整処理のフローチャ
ートである。FIG. 35 is a flowchart of the tone adjustment processing using two shot images having different exposure values shot in the tone adjustment mode.
【図３６】 階調調整処理の処理手順を示すフローチャ
ートである。FIG. 36 is a flowchart showing a processing procedure of gradation adjustment processing.
【図３７】 サムネイル画像を用いた階調調整処理の処
理手順を示すフローチャートである。FIG. 37 is a flowchart illustrating a processing procedure of gradation adjustment processing using a thumbnail image.
【図３８】 バリエーション処理における加算比率特性
の一例を示す図である。FIG. 38 is a diagram showing an example of an addition ratio characteristic in variation processing.
【図３９】 作成された階調調整画像を表示するために
ディスプレイに表示されるダイアログ・ボックスの一例
を示す図である。FIG. 39 is a diagram showing an example of a dialog box displayed on the display for displaying the created tone adjustment image.
【図４０】 超解像処理プログラムが起動したときのデ
ィスプレイに表示される超解像調整用のダイアログ・ボ
ックスの一例を示す図である。FIG. 40 is a diagram showing an example of a dialog box for super-resolution adjustment displayed on the display when the super-resolution processing program is activated.
【図４１】 超解像処理を説明するための図である。FIG. 41 is a diagram for explaining super-resolution processing.
【図４２】 超解像処理における補正方法の設定するた
めにディスプレイに表示されるダイアログ・ボックスの
一例を示す図である。FIG. 42 is a diagram showing an example of a dialog box displayed on a display for setting a correction method in super-resolution processing.
【図４３】 超解像処理の処理手順を示すフローチャー
トである。FIG. 43 is a flowchart showing a processing procedure for super-resolution processing.
【図４４】 超解像処理の処理手順を示すフローチャー
トである。FIG. 44 is a flowchart showing a processing procedure of super-resolution processing.
【図４５】 Ｇの色成分の画像データの補間方法を説明
するための図である。[Fig. 45] Fig. 45 is a diagram for describing an interpolation method of image data of a G color component.
【図４６】 Ｒの色成分の画像データの補間方法を説明
するための図である。FIG. 46 is a diagram for explaining an interpolation method of image data of R color component.
【図４７】 超解像処理の処理結果の表示例を示す図で
ある。[Fig. 47] Fig. 47 is a diagram illustrating a display example of a processing result of super-resolution processing.
【図４８】 デジタルスチルカメラで画像合成処理まで
行なう場合のメモリカードへの画像ファイルの記録方法
を示す図である。[Fig. 48] Fig. 48 is a diagram illustrating a method of recording an image file in a memory card when performing image combining processing with a digital still camera.
【図４９】 画像処理機能を備えたデジタルスチルカメ
ラの内部構成を示すブロック図である。FIG. 49 is a block diagram showing an internal configuration of a digital still camera having an image processing function.
【図５０】 複数画像処理部の内部構成を示すブロック
図である。FIG. 50 is a block diagram showing an internal configuration of a multiple image processing unit.
１ デジタルスチルカメラ（カラー撮像装置）１０１ レンズ１０２ 撮像部１０３ 信号処理部１０４ 発光制御部１０５ レンズ制御部１０６ 表示部１０７ 操作部１０８ カードＩ／Ｆ１０８ 全体制御部１０９ カードインターフェース１１０ 通信用インターフェース１１１ 複数画像処理部（画像処理手段，画像合成手
段）１１１ａ ＲＧＢ／ＹＣｒＣｂ変換部１１１ｂ，１１１ｃ フィルタ１１１ｄ，１１１ｅ 補間処理部１１１ｆ レジストレーション処理部１１１ｇ 画像合成部２ カメラ本体２０５ カラー撮像素子２０６ シャッタボタン２０７ 表示部２０８ 電源スイッチ２０９ ４連スイッチ２１０ スイッチ群３ 交換レンズ４ 電子ビューファインダ５ フラッシュ６ 画像処理装置７ パーソナルコンピュータ７０１ コンピュータ本体（画像処理装置）７０１ｂ メモリカードリーダ７０１ｃ ＣＤ−ＲＯＭドライバ７０２ ディスプレイ７０３ キーボード７０４ マウス９ ＣＤ−ＲＯＭＭＣ メモリカード（記録媒体）1 Digital Still Camera (Color Imaging Device) 101 Lens 102 Imaging Unit 103 Signal Processing Unit 104 Light Emission Control Unit 105 Lens Control Unit 106 Display Unit 107 Operation Unit 108 Card I / F 108 Overall Control Unit 109 Card Interface 110 Communication Interface 111 Multiple Image processing unit (image processing unit, image synthesizing unit) 111a RGB / YCrCb conversion unit 111b, 111c Filters 111d, 111e Interpolation processing unit 111f Registration processing unit 111g Image synthesizing unit 2 Camera body 205 Color image sensor 206 Shutter button 207 Display unit 208 power switch 209 quad switch 210 switch group 3 interchangeable lens 4 electronic viewfinder 5 flash 6 image processing device 7 personal computer 701 computer body (image processing 701b Memory card reader 701c CD-ROM driver 702 Display 703 Keyboard 704 Mouse 9 CD-ROM MC memory card (recording medium)
─────────────────────────────────────────────────────フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ Ｈ０４Ｎ 9/04 Ｈ０４Ｎ 9/64 Ｒ 9/07 9/69 9/64 101:00 9/69 1/40 Ｄ // Ｈ０４Ｎ 101:00 1/46 Ｚ (72)発明者 藤井 真一 大阪市中央区安土町二丁目３番13号 大 阪国際ビル ミノルタ株式会社内 (56)参考文献 特開 平７−131796（ＪＰ，Ａ) 特開2000−50058（ＪＰ，Ａ) 特開 平９−298660（ＪＰ，Ａ) 特開2000−182022（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 1/38 - 1/393─────────────────────────────────────────────────── ─── Continuation of front page (51) Int.Cl.7 Identification code FI H04N 9/04 H04N 9/64 R 9/07 9/69 9/64 101: 00 9/69 1/40 D // H04N 101 : 00 1/46 Z (72) Inventor Shinichi Fujii 2-3-13, Azuchi-cho, Chuo-ku, Osaka, Osaka, Osaka International Building Minolta Co., Ltd. (56) Reference JP-A-7-131796 (JP, A) Open 2000-50058 (JP, A) JP 9-298660 (JP, A) JP 2000-182022 (JP, A) (58) Fields investigated (Int.Cl.7 , DB name) H04N 1/38 -1/393
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000301293AJP3444281B2 (en) | 2000-09-29 | 2000-09-29 | IMAGE PROCESSING SYSTEM, IMAGING DEVICE, IMAGE PROCESSING METHOD, AND RECORDING MEDIUM CONTAINING PROCESSING PROGRAM OF THE METHOD |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000301293AJP3444281B2 (en) | 2000-09-29 | 2000-09-29 | IMAGE PROCESSING SYSTEM, IMAGING DEVICE, IMAGE PROCESSING METHOD, AND RECORDING MEDIUM CONTAINING PROCESSING PROGRAM OF THE METHOD |
| Publication Number | Publication Date |
|---|---|
| JP2002112007A JP2002112007A (en) | 2002-04-12 |
| JP3444281B2true JP3444281B2 (en) | 2003-09-08 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000301293AExpired - Fee RelatedJP3444281B2 (en) | 2000-09-29 | 2000-09-29 | IMAGE PROCESSING SYSTEM, IMAGING DEVICE, IMAGE PROCESSING METHOD, AND RECORDING MEDIUM CONTAINING PROCESSING PROGRAM OF THE METHOD |
| Country | Link |
|---|---|
| JP (1) | JP3444281B2 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4004943B2 (en)* | 2002-12-25 | 2007-11-07 | 富士フイルム株式会社 | Image composition method and imaging apparatus |
| US7317843B2 (en)* | 2004-04-01 | 2008-01-08 | Microsoft Corporation | Luminance correction |
| JP4559116B2 (en)* | 2004-05-19 | 2010-10-06 | ノーリツ鋼機株式会社 | Photo printing system |
| JP2006157568A (en) | 2004-11-30 | 2006-06-15 | Konica Minolta Holdings Inc | Imaging apparatus and program |
| JP4837615B2 (en)* | 2006-04-11 | 2011-12-14 | パナソニック株式会社 | Image processing method and image processing apparatus |
| JP5095263B2 (en)* | 2007-05-15 | 2012-12-12 | 株式会社ニコンシステム | Image evaluation apparatus and image evaluation program |
| JP5267445B2 (en)* | 2009-12-17 | 2013-08-21 | 株式会社ニコン | Image processing program and imaging apparatus |
| JP5687608B2 (en) | 2011-11-28 | 2015-03-18 | オリンパス株式会社 | Image processing apparatus, image processing method, and image processing program |
| JP5561396B1 (en) | 2013-02-19 | 2014-07-30 | 日本電気株式会社 | Driving support system and driving support method |
| US9626740B2 (en)* | 2013-03-29 | 2017-04-18 | Konica Minolta, Inc. | Image processing apparatus and image processing method |
| JP2017158123A (en) | 2016-03-04 | 2017-09-07 | ソニー株式会社 | Signal processing apparatus and imaging apparatus |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000182022A (en) | 1998-12-11 | 2000-06-30 | Seiko Epson Corp | Color image processing device and color printing system |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000182022A (en) | 1998-12-11 | 2000-06-30 | Seiko Epson Corp | Color image processing device and color printing system |
| Publication number | Publication date |
|---|---|
| JP2002112007A (en) | 2002-04-12 |
| Publication | Publication Date | Title |
|---|---|---|
| JP4904108B2 (en) | Imaging apparatus and image display control method | |
| JP3480446B2 (en) | Digital camera | |
| JP5893713B1 (en) | Imaging apparatus, imaging method, and processing program | |
| JP2002112008A (en) | Image processing system and recording medium recording image processing program | |
| JP4697606B2 (en) | Imaging apparatus and focus control method | |
| JP3395770B2 (en) | Digital still camera | |
| US20030071904A1 (en) | Image capturing apparatus, image reproducing apparatus and program product | |
| JP2001177741A (en) | Electronic camera and display system | |
| JP2009147730A (en) | Moving picture generating apparatus, moving picture photographing apparatus, moving picture generating method and program | |
| JP3534101B2 (en) | Digital camera | |
| JP2008028960A (en) | Imaging apparatus and exposure control method | |
| JP3678160B2 (en) | Image processing apparatus, display apparatus, program, and storage medium | |
| JP3444281B2 (en) | IMAGE PROCESSING SYSTEM, IMAGING DEVICE, IMAGE PROCESSING METHOD, AND RECORDING MEDIUM CONTAINING PROCESSING PROGRAM OF THE METHOD | |
| JP2003121732A (en) | Digital camera | |
| JP4654887B2 (en) | Imaging device | |
| JP3726733B2 (en) | Shooting system | |
| JP2003051979A (en) | Electronic camera provided with image processing function and a computer-readable recording medium recording program enabling the electronic camera to realize the image processing function | |
| JP2004023747A (en) | Electronic camera | |
| JP4049291B2 (en) | Digital still camera | |
| JP3826885B2 (en) | Electronic camera | |
| JP3601500B2 (en) | Digital camera | |
| JP4887167B2 (en) | Image display device, image display program, and photographing device | |
| JP4003172B2 (en) | Image signal processing apparatus and electronic camera | |
| JP2008182486A (en) | Imaging apparatus and image processing method | |
| JP4902365B2 (en) | Image composition apparatus and program |
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20030527 | |
| LAPS | Cancellation because of no payment of annual fees |