【０００１】[0001]
【発明の属する技術分野】本発明は、カメラを用いて撮
影する際、撮影領域内で抽出した被写体領域に応じて撮
影条件を調整する画像撮影方法とこの画像撮影方法を実
施するカメラ、さらには、撮影画像から抽出した被写体
領域に応じて画像処理を施して出力する画像出力方法に
関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image shooting method for adjusting shooting conditions according to a subject area extracted in a shooting area when shooting with a camera, and a camera for implementing this image shooting method. The present invention relates to an image output method in which image processing is performed according to a subject region extracted from a captured image and the image is output.
【０００２】[0002]
【従来の技術】今日、デジタルスチルカメラ等で撮影さ
れた撮影画像をプリント画像として出力するために業者
に依頼したり、また、個人の所有するプリンンタ等でプ
リント画像を出力して、鑑賞用画像とすることができ
る。このような鑑賞用画像は、主に人物を主要被写体と
した画像である。この人物を主要被写体とした鑑賞用画
像を適切に得るためには、この人物を基準とした画像濃
度の適正化やこの人物の適切な色再現が行われる。例え
ば、撮影した主要被写体である人物の肌が肌色となるよ
うに色味の補正処理を行ったり、逆光で撮影された画像
に画像濃度の補正処理を行って主要被写体である人物像
を適切に再現することができる。また、ストロボを発光
させて撮影した際に生じる人物の赤目の色補正処理を行
って、自然な人物像を再現することもできる。2. Description of the Related Art Today, a photographer is requested to output a photographed image taken by a digital still camera or the like as a print image, or a print image is output by a personal printer or the like, and a viewing image is displayed. Can be Such an image for viewing is an image in which a person is a main subject. In order to properly obtain the viewing image in which this person is the main subject, the image density is optimized with respect to this person and the appropriate color reproduction of this person is performed. For example, the tint correction process is performed so that the skin of the person who is the main subject is flesh-colored, or the image density correction process is performed on the image shot against the backlight to properly display the person image that is the main subject. It can be reproduced. It is also possible to reproduce a natural human image by performing a red-eye color correction process for a human that occurs when a flash is used to shoot an image.
【０００３】このような補正処理は、撮影された画像の
中から主要被写体である人物領域の抽出、抽出された人
物の顔部領域の抽出、さらに、赤目の色補正処理の場
合、抽出された顔部領域の中からオペレータの指示を介
しながら赤目領域の抽出を行わなければならない。主要
被写体の人物の顔部領域の抽出方法は、例えば特開平９
−１３８４７１号公報において開示されている。また、
特開平５−１９６８５８号公報では、主要被写体の人物
の顔部領域を、主要被写体パターンとして登録した標準
的な人物の顔領域と２次元パターンマッチングを行って
抽出するカメラを開示している。さらに、特開２０００
−７６４２７号公報では、人物の顔部の赤目領域を正確
に選択することができる画像処理方法を提供している。Such correction processing is extracted in the case of the extraction of the person area which is the main subject from the photographed image, the extraction of the face area of the extracted person, and the red eye color correction processing. The red-eye area must be extracted from the face area through the operator's instructions. A method for extracting a face area of a person as a main subject is disclosed in, for example, Japanese Patent Laid-Open No.
-138471 gazette. Also,
Japanese Unexamined Patent Publication No. 5-196858 discloses a camera for extracting a face area of a person of a main subject by performing two-dimensional pattern matching with a face area of a standard person registered as a main subject pattern. Furthermore, JP 2000
Japanese Patent Laid-Open No. -76427 provides an image processing method capable of accurately selecting a red-eye area of a human face.
【０００４】[0004]
【発明が解決しようとする課題】しかしながら、上述し
た特開平９−１３８４７１号公報における顔部領域の抽
出は精度を必要とし、しかも、演算内容が煩雑であるた
め、画像焼付装置は高性能な処理能力を必要とする。特
開２０００−７６４２７号公報における赤目領域の選択
は、操作者による指定を部分的に利用して行われるた
め、多量の画像を処理する場合手間がかかる。いずれの
場合においても、主要被写体の領域や赤目領域を抽出す
るために煩雑な処理を行う必要があるため、主要被写体
の領域や赤目領域の効率のよい抽出ができないといった
点から多量の画像を処理する実用的な焼付装置に組み込
むことができない。However, since the extraction of the face area in Japanese Patent Laid-Open No. 9-138471 mentioned above requires precision and the calculation contents are complicated, the image printing apparatus has a high-performance processing. Need ability. Since the selection of the red-eye area in Japanese Patent Laid-Open No. 2000-76427 is performed by partially utilizing the designation by the operator, it takes time to process a large number of images. In either case, a large amount of images are processed because it is not possible to efficiently extract the main subject area and the red-eye area because complicated processing is required to extract the main subject area and the red-eye area. Can not be incorporated into a practical printing device.
【０００５】一方、主要被写体の領域の抽出に基づいて
撮影画像に対して行う補正処理は、画像の撮影を適切な
撮影条件の下に行うことによって低減、抑制することも
できる。上記特開平５−１９６８５８号公報における２
次元パターンマッチングを用いて主要被写体を抽出し
て、この主要被写体が適切に撮影されるように露出を制
御するカメラの場合、上記２次元パターンマッチングの
演算量が膨大であるため、カメラに極めて高性能な処理
能力を必要とする。そのため、高性能な処理能力を実用
的なカメラに持たせることはできない。この場合におい
ても、主要被写体の領域を効率良く抽出することはでき
ない。On the other hand, the correction process performed on the photographed image based on the extraction of the area of the main subject can be reduced or suppressed by photographing the image under appropriate photographing conditions. 2 in JP-A-5-196858
In the case of a camera that extracts a main subject using three-dimensional pattern matching and controls the exposure so that the main subject is photographed appropriately, the calculation amount of the two-dimensional pattern matching is enormous, so that the camera is extremely high. Requires high processing power. Therefore, a practical camera cannot have high-performance processing capability. Even in this case, the area of the main subject cannot be efficiently extracted.
【０００６】そこで、本発明の目的は、上記問題を解決
するために、２次元パターンマッチングの処理や顔部等
の主要被写体を煩雑な処理を行うことなく効率よくしか
も精度良く抽出し、抽出した主要被写体の画像情報およ
び画像特徴量を用いて、撮影時の撮影条件または撮影後
の画像処理条件を調整する画像撮影方法、画像出力方法
及びカメラを提供する。Therefore, in order to solve the above problems, an object of the present invention is to efficiently and accurately extract and extract a two-dimensional pattern matching process and a main subject such as a face without complicated processing. Provided are an image capturing method, an image output method, and a camera that adjust image capturing conditions at the time of image capturing or image processing conditions after image capturing by using image information and image feature amounts of a main subject.
【０００７】[0007]
【課題を解決するための手段】上記目的を達成するため
に、本発明は、カメラを同一の位置から同一の方向に向
けて撮影することで、少なくとも１つの画像に所定の被
写体を有する複数の撮影画像を取得し、この複数の撮影
画像から前記被写体の画像領域を抽出することによって
求めた前記被写体の被写体関連情報を前記カメラに記憶
保存し、前記カメラによる撮影の際、前記記憶保存され
た被写体関連情報を呼び出して、この被写体関連情報と
適合する撮影エリア内の領域を検出し、検出された領域
に応じて撮影条件を調整して撮影することを特徴とする
画像撮影方法を提供する。In order to achieve the above-mentioned object, the present invention takes a plurality of images having a predetermined subject in at least one image by taking images from the same position in the same direction. Subject-related information of the subject obtained by obtaining captured images and extracting image regions of the subject from the plurality of captured images is stored and stored in the camera, and when the image is captured by the camera, the stored information is stored. (EN) Provided is an image capturing method, which calls up subject-related information, detects a region in a capturing area that matches the subject-related information, and adjusts a capturing condition according to the detected region to capture an image.
【０００８】ここで、前記複数の撮影画像は、例えば、
いずれも前記被写体を撮影対象とし、前記被写体に対し
て多段階の結像距離で撮影した画像である。ここで、結
像距離とは、前記カメラの光学系の主点と前記カメラの
撮像面との間の距離をいう。この場合、前記複数の撮影
画像のうち前記カメラから前記被写体に至る測距データ
に対応して定まる目標結像距離と最も近い結像距離で撮
影された撮影画像における領域であって、前記複数の撮
影画像における対応する領域のなかで鮮鋭度が最大とな
る領域を前記被写体の画像領域として抽出した抽出領域
の画像情報およびこの抽出領域の画像特徴量の少なくと
も一方を前記被写体関連情報とするのがよい。あるい
は、前記複数の撮影画像は、前記被写体を撮影した画像
と、前記被写体を撮影していない画像との２つの画像で
ある。この場合、前記２つの画像の差分を求めることに
よって前記被写体の撮影領域として抽出された抽出領域
の画像情報およびこの抽出領域の画像特徴量の少なくと
も一方を前記被写体関連情報とするのがよい。Here, the plurality of photographed images are, for example,
In each case, the subject is a subject to be photographed, and the images are images obtained by photographing the subject at multi-stage imaging distances. Here, the image formation distance means a distance between the principal point of the optical system of the camera and the image pickup surface of the camera. In this case, an area in the captured image captured at the closest image forming distance to the target image forming distance determined corresponding to the distance measurement data from the camera to the subject among the plurality of captured images, Among the corresponding areas in the captured image, at least one of the image information of the extraction area extracted as the image area of the subject having the maximum sharpness and the image feature amount of the extraction area is used as the subject-related information. Good. Alternatively, the plurality of captured images are two images, an image of the subject and an image of the subject not captured. In this case, it is preferable that at least one of the image information of the extraction region extracted as the imaging region of the subject by obtaining the difference between the two images and the image feature amount of this extraction region is the subject-related information.
【０００９】また、本発明は、カメラを同一の位置から
同一の方向に向けて撮影することで、少なくとも１つの
画像に所定の被写体を有する複数の撮影画像を取得し、
前記複数の撮影画像から、画像処理装置において、前記
被写体の画像領域を抽出することによって被写体関連情
報を求め、前記画像処理装置から画像処理の施された処
理画像を出力する際、画像処理の施される画像内から前
記被写体関連情報を用いて前記被写体を検出し、検出さ
れた前記被写体の画像領域に応じて画像処理を施して出
力することを特徴とする画像出力方法を提供する。Further, according to the present invention, a plurality of photographed images having a predetermined subject in at least one image are acquired by photographing the cameras from the same position in the same direction,
In the image processing device, the subject-related information is obtained from the plurality of captured images by extracting the image region of the subject, and when the processed image subjected to the image processing is output from the image processing device, the image processing is performed. An image output method is characterized in that the subject is detected from the image using the subject-related information, image processing is performed according to the detected image area of the subject, and the image is output.
【００１０】ここで、前記画像処理装置で画像処理の施
される画像は、例えば、前記複数の撮影画像とは別に撮
影された撮影画像である。また、前記複数の撮影画像
は、例えば、いずれも前記被写体を撮影対象とし、前記
被写体に対して多段階の結像距離で撮影した画像であ
る。この場合、前記複数の撮影画像のうち前記カメラか
ら前記被写体に至る測距データに対応して定まる目標結
像距離と最も近い結像距離で撮影された撮影画像におけ
る領域であって、前記複数の撮影画像における対応する
領域のなかで鮮鋭度が最大となる領域を前記被写体の画
像領域として抽出した抽出領域の画像情報およびこの抽
出領域の画像特徴量の少なくとも一方を前記被写体関連
情報とするのがよい。あるいは、前記複数の撮影画像
は、前記被写体を撮影した画像と、前記被写体を撮影し
ていない画像との２つの画像である。この場合、前記２
つの画像の差分を求めることによって前記被写体の撮影
領域として抽出された抽出領域の画像情報およびこの抽
出領域の画像特徴量の少なくとも一方を前記被写体関連
情報とするのがよい。Here, the image subjected to the image processing by the image processing device is, for example, a photographed image photographed separately from the plurality of photographed images. Further, the plurality of captured images are, for example, images in which the subject is the subject to be captured and the subject is captured at multi-stage imaging distances. In this case, an area in the captured image captured at the closest image forming distance to the target image forming distance determined corresponding to the distance measurement data from the camera to the subject among the plurality of captured images, Among the corresponding areas in the captured image, at least one of the image information of the extraction area extracted as the image area of the subject having the maximum sharpness and the image feature amount of the extraction area is used as the subject-related information. Good. Alternatively, the plurality of captured images are two images, an image of the subject and an image of the subject not captured. In this case, 2
It is preferable that at least one of the image information of the extraction region extracted as the imaging region of the subject by obtaining the difference between the two images and the image feature amount of the extraction region is the subject-related information.
【００１１】あるいは、前記複数の撮影画像は、前記被
写体として少なくとも所定の人物の顔部を含む、照明光
のオンとオフの条件で２回撮影した２つの撮影画像であ
る。この場合、この２つの撮影画像の差分を求めること
で求められる前記人物の顔部の赤目領域候補の領域情報
を前記被写体関連情報とし、前記画像処理装置は、前記
照明光のオンの条件で撮影された撮影画像から、前記赤
目領域候補の領域情報を用いて赤目領域を検出し、検出
された赤目領域に対して赤目補正処理を行い、赤目補正
処理の施された処理画像を出力するのがよい。Alternatively, the plurality of photographed images are two photographed images including the face portion of at least a predetermined person as the subject and photographed twice under the condition that the illumination light is on and off. In this case, the area information of the candidate red-eye area of the face of the person, which is obtained by calculating the difference between the two captured images, is used as the subject-related information, and the image processing apparatus captures the image under the condition that the illumination light is on. A red-eye area is detected from the captured image using the area information of the red-eye area candidate, red-eye correction processing is performed on the detected red-eye area, and a processed image subjected to the red-eye correction processing is output. Good.
【００１２】また、前記被写体を、表示板に表示され時
間の経過に伴って追加または削除される前記表示板上の
文字・符号とし、追加または削除される前記文字・符号
を時系列に撮影した複数の時系列撮影画像を前記複数の
撮影画像として取得し、隣り合う２つの時系列撮影画像
の差分を求めることによって追加または削除される前記
文字・符号の画像情報を前記被写体関連情報とするのが
よい。その際、前記画像処理装置で画像処理の施される
画像は、前記複数の時系列撮影画像の少なくとも１つの
撮影画像であり、前記画像処理装置は、画像処理の施さ
れる撮影画像内の前記表示板上の前記文字・符号の画像
情報に対して文字・符号の認識処理を施して前記文字・
符号のテキスト情報を取得し、前記文字・符号のテキス
ト情報を画像情報とするビットマップ処理を行い処理画
像を作成するのがよい。Further, the subject is a character / code on the display plate that is displayed on the display plate and is added or deleted with the passage of time, and the added or deleted character / code is photographed in time series. Image information of the characters / codes that are added or deleted by acquiring a plurality of time-series captured images as the plurality of captured images and determining a difference between two adjacent time-series captured images is used as the subject-related information. Is good. At that time, the image to be subjected to the image processing by the image processing device is at least one of the plurality of time-series captured images, and the image processing device is configured to store the image in the captured image to be subjected to the image processing. The character / code recognition processing is performed on the image information of the character / code on the display board to generate the character / code.
It is preferable to obtain the text information of the code and perform a bitmap process using the text information of the character / code as image information to create a processed image.
【００１３】また、本発明は、同一の位置から同一の方
向に向けて撮影することで、少なくとも１つの画像に所
定の被写体が撮影されている複数の撮影画像を取得し、
この複数の撮影画像から前記被写体を抽出することによ
って求めた被写体関連情報を予め記憶保存する第１の撮
影モードと、撮影の際、前記記憶保存された被写体関連
情報を呼び出して、この被写体関連情報と適合する撮影
エリア内の領域を検出し、検出された領域を基準として
撮影条件を調整して撮影する第２の撮影モードを備える
ことを特徴とするカメラを提供する。Further, according to the present invention, a plurality of photographed images in which a predetermined subject is photographed in at least one image are acquired by photographing from the same position in the same direction,
A first shooting mode in which subject-related information obtained by extracting the subject from the plurality of photographed images is stored and stored in advance, and the subject-related information stored and stored at the time of shooting is called to store the subject-related information. There is provided a camera including a second photographing mode for detecting a region in a photographing area that conforms to, and adjusting a photographing condition on the basis of the detected region to perform photographing.
【００１４】また、本発明は、被写体を撮影する撮影部
と、この撮影部において同一の位置から同一の方向に向
けて撮影することで、少なくとも１つの画像に所定の被
写体が撮影されている複数の撮影画像を取得し、この複
数の撮影画像から前記被写体を抽出することによって被
写体関連情報を求める撮影画像演算部と、前記被写体関
連情報を記憶保存する記憶部を有することを特徴とする
カメラを提供する。Further, according to the present invention, a photographing unit for photographing a subject and a plurality of photographing units in which at least one image is photographed of a predetermined subject by photographing in the same direction from the same position in the photographing unit. A camera that has a captured image calculation unit that obtains captured images of the subject and extracts subject related information from the plurality of captured images to obtain subject related information; and a storage unit that stores and stores the subject related information. provide.
【００１５】前記撮影部における撮影の際、前記被写体
関連情報を呼び出して、この被写体関連情報と適合する
撮影エリア内の領域を検出し、検出された領域に応じて
撮影条件を調整する撮影制御部を有するのが好ましい。
前記撮影画像演算部は、さらに、前記被写体関連情報を
呼び出して、前記複数の撮影画像の少なくとも１つに処
理を施すのが好ましい。At the time of photographing by the photographing unit, the photographing control unit that calls the subject-related information, detects a region within the photographing area that matches the subject-related information, and adjusts the photographing condition according to the detected region. Preferably.
It is preferable that the captured image calculation unit further calls up the subject-related information and processes at least one of the plurality of captured images.
【００１６】また、前記被写体は、例えば、表示板に表
示され時間の経過に伴って追加または削除される前記表
示板上の文字・符号であり、前記複数の撮影画像は、追
加または削除される前記文字・符号を時系列に撮影した
複数の時系列撮影画像である。この場合、隣り合う２つ
の時系列撮影画像の差分を求めることによって追加また
は削除される前記文字・符号の画像情報を前記被写体関
連情報とするのが好ましい。その際、前記撮影画像処理
演算部で処理の施される画像は、前記複数の時系列撮影
画像の少なくとも１つの撮影画像であり、前記撮影画像
演算部は、前記画像処理の施される撮影画像内の前記表
示板上の前記文字・符号の画像情報に対して文字・符号
の認識処理を施して前記文字・符号のテキスト情報を取
得し、前記文字・符号のテキスト情報を画像情報とする
ビットマップ処理を行い処理画像を作成するのが好まし
い。前記テキスト情報は、例えば、前記認識処理で得ら
れた文字・符号の、色、濃度、大きさ、太さ、および字
体の少なくとも１つが設定された情報である。The subject is, for example, a character / code on the display plate that is displayed on the display plate and is added or deleted with the passage of time, and the plurality of captured images are added or deleted. It is a plurality of time-series captured images in which the characters / codes are captured in time series. In this case, it is preferable that the image information of the character / code that is added or deleted by obtaining the difference between two adjacent time-series captured images is the subject-related information. At this time, the image processed by the captured image processing calculation unit is at least one captured image of the plurality of time-series captured images, and the captured image calculation unit is a captured image subjected to the image processing. A bit that acquires text information of the character / code by performing character / code recognition processing on the image information of the character / code on the display plate in the image information, and uses the text information of the character / code as image information. It is preferable to perform map processing to create a processed image. The text information is, for example, information in which at least one of the color, the density, the size, the thickness, and the font of the character / code obtained in the recognition process is set.
【００１７】また、前記カメラは前記処理画像を表示す
る表示部を有するのが好ましく、この表示部は、前記時
系列撮影画像に対応した順番で処理画像を表示してもよ
い。あるいは、前記表示部は、前記時系列撮影画像の撮
影順番を変更した順番で処理画像を表示してもよい。Further, it is preferable that the camera has a display unit for displaying the processed images, and the display unit may display the processed images in an order corresponding to the time-series photographed images. Alternatively, the display unit may display the processed images in an order in which the shooting order of the time-series captured images is changed.
【００１８】[0018]
【発明の実施の形態】以下、本発明の画像撮影方法を実
施する本発明のカメラについて、添付の図面に示される
好適実施例を基に詳細に説明する。図１（ａ）は、本発
明のカメラの一実施例であるカメラ１０の概略を示す概
念図であり、図１（ｂ）は図１（ａ）に示すカメラの要
部を示したブロック図である。BEST MODE FOR CARRYING OUT THE INVENTION The camera of the present invention for carrying out the image capturing method of the present invention will be described below in detail with reference to the preferred embodiments shown in the accompanying drawings. FIG. 1A is a conceptual diagram showing an outline of a camera 10 which is an embodiment of the camera of the present invention, and FIG. 1B is a block diagram showing a main part of the camera shown in FIG. 1A. Is.
【００１９】カメラ１０は、撮影レンズ系１２と、撮像
デバイス１４と、信号処理部１６と、モニタ１８と、制
御・演算部２０と、メモリ２２と、ドライブ装置２４
と、被写体距離測定センサ２８と、ストロボ光源３０と
を有するデジタルスチルカメラである。さらに、カメラ
１０はＣＰＵ２６を有し、ＣＰＵ２６によって上記各部
位の駆動が制御管理される。ここで、撮影レンズ系１２
と撮像デバイス１４によって撮影部が形成される。カメ
ラ１０は、動画を撮影するカメラであってもよい。The camera 10 includes a taking lens system 12, an image pickup device 14, a signal processing section 16, a monitor 18, a control / calculation section 20, a memory 22, and a drive device 24.
And a subject distance measuring sensor 28 and a strobe light source 30. Further, the camera 10 has a CPU 26, and the CPU 26 controls and manages the drive of each of the above parts. Here, the taking lens system 12
The imaging device 14 forms an imaging unit. The camera 10 may be a camera that captures a moving image.
【００２０】撮影レンズ系１２は、画像を光学的に取り
込み結像させる光学系であって、撮影被写体に合わせて
結像距離を自在に変更することができる。撮影時の結像
距離の情報は制御・演算部２０に供給される。撮像デバ
イス１４は、結像される画像を光電的に読み取る受光面
を備えたＣＣＤ（Charged Coupled Device）素子を有
し、結像する画像を用いて蓄積時間に従って露光するこ
とで露光量に対応して値が変わる信号に変換する公知の
素子である。なお、蓄積時間は後述するように制御・演
算部２０の指示に基づいて調整される。撮像デバイス１
４はＣＣＤ素子の替わりにＣＭＯＳを用いた素子を用い
てもよい。生成された画像信号は、信号処理部１６に供
給される。なお、上述の結像距離とは、撮影レンズ系１
２の主点と撮像デバイス１４の受光面との間の距離をい
う。The photographic lens system 12 is an optical system that optically takes in an image and forms an image, and the imaging distance can be freely changed according to the photographic subject. Information on the imaging distance at the time of shooting is supplied to the control / calculation unit 20. The image pickup device 14 has a CCD (Charged Coupled Device) element having a light receiving surface for photoelectrically reading an image to be formed, and corresponds to the exposure amount by exposing the image to be formed according to the accumulation time. It is a known element that converts a signal whose value changes. The accumulation time is adjusted based on an instruction from the control / calculation unit 20 as described later. Imaging device 1
An element using CMOS may be used for 4 instead of the CCD element. The generated image signal is supplied to the signal processing unit 16. Note that the above-mentioned image forming distance means the taking lens system 1
The distance between the principal point of 2 and the light receiving surface of the imaging device 14.
【００２１】信号処理部１６は、撮像デバイス１４から
供給される信号を所定のデジタルの撮影画像データに変
換する部位であり、例えば、暗時補正、ＤＣオフセット
補正、シェーディング補正、ガンマ補正、カラーバラン
ス調整等を行う。モニタ１８は、信号処理部１６で生成
された撮影画像データに基づいて撮影画像を表示する液
晶ディスプレイ等である。制御・演算部２０は、後述す
る特殊撮影モードで撮影された特殊撮影画像から主要被
写体の領域を抽出して主要被写体関連情報を求め、この
主要被写体関連情報を記憶保存するとともに、後述する
通常撮影モードにおける撮影の際、記憶保存された主要
被写体関連情報を呼び出して撮影エリアから上記主要被
写体を検出し、この検出した主要被写体の撮影領域に応
じて撮影条件を調整する部位である。制御・演算部２０
は、図１（ｂ）に示すように、撮影制御部２０Ａと特殊
撮影画像演算部２０Ｂを有する。詳細については後述す
る。The signal processing section 16 is a section for converting the signal supplied from the image pickup device 14 into predetermined digital photographed image data, and for example, dark correction, DC offset correction, shading correction, gamma correction, color balance. Make adjustments. The monitor 18 is a liquid crystal display or the like that displays a captured image based on the captured image data generated by the signal processing unit 16. The control / arithmetic unit 20 extracts the area of the main subject from the specially-captured image captured in the later-described special-capture mode to obtain the main-subject-related information, stores and stores the main-subject-related information, and the normal shooting described later. This is a part for calling the stored main subject-related information and detecting the main subject from the photographing area when photographing in the mode, and adjusting the photographing conditions according to the detected photographing region of the main subject. Control / arithmetic unit 20
As shown in FIG. 1B, has a shooting control unit 20A and a special shooting image calculation unit 20B. Details will be described later.
【００２２】メモリ２２は、制御・演算部２０で求めら
れた主要被写体関連情報を記憶保存する部位であり、ま
た、撮影画像を記憶保存してもよい。ドライブ装置２４
は、撮影された画像をスマートメディア、ＰＣカード、
コンパクトフラッシュ（登録商標）、ＤＶＤ−Ｒ等の記
録媒体Ｍに記録保存する読み取り、書き込み装置であ
る。被写体距離測定センサ２８は、カメラ１０から撮影
する主要被写体までの距離を測定するセンサであり、図
示されない赤外線等の光を発光する発光素子と主要被写
体で反射された光を受光する受光素子とを有する。被写
体測定センサ２８は、撮影エリア内の主要被写体の複数
の位置に光を当てて、複数点における測距データを得て
もよい。赤外線の替わりに超音波を用いてもよい。スト
ロボ光源３０は、制御・演算部２０の指示に応じて、撮
影時、主要被写体を照明するために発光する公知の発光
装置である。The memory 22 is a section for storing and storing the main subject-related information obtained by the control / calculation section 20, and may also store and store a photographed image. Drive device 24
Takes the captured image with smart media, PC card,
It is a reading / writing device that records and saves in a recording medium M such as a compact flash (registered trademark) or a DVD-R. The subject distance measuring sensor 28 is a sensor that measures the distance from the camera 10 to the main subject to be photographed, and includes a light emitting element (not shown) that emits light such as infrared rays and a light receiving element that receives light reflected by the main subject. Have. The subject measuring sensor 28 may illuminate a plurality of positions of the main subject in the photographing area to obtain distance measurement data at a plurality of points. Ultrasonic waves may be used instead of infrared rays. The strobe light source 30 is a known light emitting device that emits light in order to illuminate a main subject at the time of shooting according to an instruction from the control / calculation unit 20.
【００２３】このようなカメラ１０は、操作者の指示に
応じて自在に切り替え可能な特殊撮影モードと通常撮影
モードとを有する。特殊撮影モードとは、カメラ１０を
同一の位置から同一の方向に向けて人物を主要被写体と
して撮影する際、この人物に対して多段階の結像距離で
複数の画像を撮影して多段焦点撮影画像（多段フォーカ
ス撮影画像）を得、さらに、この多段焦点撮影画像から
上記人物の画像領域を合焦状態で（ピントの合った鮮鋭
度の高い状態で）抽出することによって主要被写体関連
情報を求めるモードである。求められた主要被写体関連
情報は上記人物の情報としてメモリ２２に記憶保存され
る。The camera 10 as described above has a special photographing mode and a normal photographing mode which can be freely switched according to the instruction of the operator. The special shooting mode is a multi-focus shooting by shooting a plurality of images at a multi-step imaging distance for this person when shooting a person as the main subject from the same position in the same position in the same direction. Obtaining an image (multi-stage focus image), and further extracting the image area of the person from this multi-stage focus image in a focused state (in a focused and highly sharp state) to obtain main subject-related information Mode. The obtained main subject-related information is stored and stored in the memory 22 as the information of the person.
【００２４】より具体的に説明すると、多段焦点撮影画
像から主要被写体関連情報を求める処理は、特殊撮影画
像演算部２０Ｂにおいて行う。被写体距離測定センサ２
８を用いて取得されたカメラ１０から主要被写体とする
人物に至る測距データが特殊撮影画像演算部２０Ｂに供
給され、この測距データに対応して定まる合焦時の目標
結像距離と最も近い結像距離で撮影された１つの多段焦
点撮影画像内の領域であって、複数の多段焦点撮影画像
の対応する領域のなかで鮮鋭度が最大となる領域を上記
人物の画像領域として抽出する。すなわち、上記測距デ
ータに対応して定まる目標結像距離と最も近い結像距離
の多段焦点撮影画像のうち、画素ごとの微分処理を行っ
た微分処理結果の絶対値が、複数の多段焦点撮影画像の
対応する画素の中で最大となる画素から構成される領域
を主要被写体である人物の画像領域として抽出する。More specifically, the process of obtaining the main subject-related information from the multi-focus imaged image is performed by the special imaged image calculation unit 20B. Subject distance measuring sensor 2
Distance measurement data from the camera 10 obtained using the camera 8 to the person as the main subject is supplied to the special photographic image calculation unit 20B, and the target image formation distance at the time of focusing which is determined corresponding to the distance measurement data and the maximum An area in one multi-stage focus image captured at a short imaging distance and having the maximum sharpness is extracted as an image region of the person among the corresponding regions of the plurality of multi-focus focus images. . That is, the absolute value of the differential processing result obtained by performing the differential processing for each pixel in the multi-stage focus image having the closest image formation distance to the target image formation distance determined corresponding to the above distance measurement data An area composed of the largest pixel among the corresponding pixels of the image is extracted as the image area of the person who is the main subject.
【００２５】このような画像領域が複数箇所抽出された
場合は、画像領域の中央部に位置する領域を優先的に選
択するものであってもよいし、抽出された複数の画像領
域が多段焦点撮影画像の１つとともにモニタ１８に表示
され、この中から操作者の指示に従って１つの画像領域
が選択されるものであってもよい。このようにして抽出
された領域を主要被写体の画像領域とし、この画像領域
の画像情報（画像データ）および画像特徴量を主要被写
体関連情報として、メモリ２２に記憶保存する。例え
ば、主要被写体の画像特徴量、人物であればこの画像領
域の上部を顔部、顔部の下に胴体部があるものとして、
顔部における髪に相当する領域の画像濃度や色味、ま
た、人物の胴部の衣服に相当する領域の画像濃度や色味
を計算して画像特徴量として記憶保存し登録する。な
お、主要被写体関連情報は、画像特徴量のみで構成され
るものであってもよいし、画像情報のみで構成されるも
のであってもよい。When a plurality of such image areas are extracted, the area located at the center of the image area may be preferentially selected, or the plurality of extracted image areas may be multi-focused. It may be displayed on the monitor 18 together with one of the photographed images, and one image area may be selected from among the photographed images in accordance with the instruction of the operator. The area thus extracted is set as the image area of the main subject, and the image information (image data) and the image feature amount of this image area are stored and stored in the memory 22 as the main subject related information. For example, assuming that the image feature amount of the main subject, for a person, the upper part of this image area is the face part, and the torso part is below the face part,
The image density and tint of the area corresponding to the hair on the face portion and the image density and tint of the area corresponding to the clothes of the torso of the person are calculated and stored and stored as an image feature amount. The main subject-related information may be composed of only the image feature amount or may be composed of only the image information.
【００２６】通常撮影モードとは、撮影の際、予め登録
されている主要被写体関連情報である画像特徴量をメモ
リ２２から呼び出して、この画像特徴量と適合する撮影
エリア内の領域を検出し、検出された領域に応じて撮影
条件、例えば、撮像デバイス１４の露出時間の調整や、
撮影レンズ系１２の結像距離の調整（フォーカス調整）
や、処理部１６のカラーバランスの調整、ストロボ光源
３０のオンやオフやストロボの明るさの調整を行い、こ
の撮影条件で画像を撮影し取得するモードである。ここ
でいう撮影条件とは、ストロボ発光のオンやオフ、結像
距離の調整等の撮影時の条件の他、撮像デバイス１４か
ら出力された信号を信号処理１６で処理を行い撮影画像
データとして作成されるまでの制御条件、すなわち、カ
ラーバランス調整等の制御条件を含み、撮影時にカメラ
で調整可能な撮影制御条件をいう。この通常撮影モード
における画像特徴量と適合する撮影エリア内の領域の検
出、および、検出された領域に応じた撮影条件の調整
は、撮影制御部２０Ａで主に行われる。In the normal photographing mode, at the time of photographing, the image feature amount which is the main subject-related information registered in advance is called from the memory 22 and a region in the photographing area which matches this image feature amount is detected. Shooting conditions according to the detected region, for example, adjustment of the exposure time of the imaging device 14,
Adjustment of the imaging distance of the taking lens system 12 (focus adjustment)
In this mode, the color balance of the processing unit 16 is adjusted, the flash light source 30 is turned on / off, and the brightness of the flash is adjusted, and an image is captured and acquired under these shooting conditions. The shooting conditions mentioned here include shooting conditions such as on / off of stroboscopic light emission and adjustment of the imaging distance, and the signal output from the image pickup device 14 is processed by the signal processor 16 to create shot image data. The control conditions up to that, that is, the shooting control conditions that include control conditions such as color balance adjustment and can be adjusted by the camera at the time of shooting. The detection of the area within the shooting area that matches the image feature amount in the normal shooting mode and the adjustment of the shooting conditions according to the detected area are mainly performed by the shooting control unit 20A.
【００２７】図２は、カメラ１０で特殊撮影モードで撮
影して主要被写体関連情報を求め、この後、通常撮影モ
ードで撮影する際の流れを説明する図である。まず、カ
メラ１０を同一の位置から同一の方向に向けて、しか
も、主要被写体である人物に対して多段の結像距離で撮
影した多段焦点撮影画像（特殊撮影画像）が取得され
る。この多段焦点撮影画像は、信号処理部１６で処理さ
れた後、制御・演算部２０の特殊撮影画像演算部２０Ｂ
に供給される。特殊撮影画像演算部２０Ｂでは、まず、
複数の多段焦点撮影画像に微分処理が行われ、この微分
値の大きさについて各画素毎に複数の画像間で比較が行
われる。そして、主要被写体との測距データに対応して
定まる目標結像距離と最も近い結像距離で撮影された画
像において鮮鋭度が最も高い画像領域を抽出して主要被
写体の領域（主要被写体領域）とされ、この主要被写体
領域の画像情報から主要被写体に関する画像特徴量が算
出され、主要被写体領域の画像情報とともに主要被写体
関連情報としてメモリ２２に記憶保存され登録される。FIG. 2 is a diagram for explaining the flow when the camera 10 shoots in the special shooting mode to obtain the main subject related information, and then shoots in the normal shooting mode. First, a multi-stage focused image (special captured image) obtained by shooting the camera 10 from the same position in the same direction and at a multi-stage imaging distance with respect to a person as a main subject is acquired. This multi-stage focused image is processed by the signal processing unit 16, and then the special captured image operation unit 20B of the control / operation unit 20.
Is supplied to. In the special captured image calculation unit 20B, first,
Differentiation processing is performed on a plurality of multi-focus images, and the magnitude of the differential value is compared between the plurality of images for each pixel. Then, the image area with the highest sharpness is extracted from the image captured at the image forming distance closest to the target image forming distance determined corresponding to the distance measurement data with the main object, and the area of the main object (main object area) is extracted. The image feature amount of the main subject is calculated from the image information of the main subject region, and is stored and stored in the memory 22 as the main subject-related information together with the image information of the main subject region.
【００２８】一方、通常撮影モードの場合、メモリ２２
に記憶保存された主要被写体関連情報が呼び出され、こ
の主要被写体関連情報と適合する撮影エリア内の領域が
検出され、検出された領域に応じて撮影条件が調整され
る。そして、この撮影条件で撮影され通常撮影画像が得
られる。On the other hand, in the normal photographing mode, the memory 22
The main subject related information stored and stored in is called, a region in the photographing area that matches the main subject related information is detected, and the photographing condition is adjusted according to the detected region. Then, an image is taken under these shooting conditions, and a normally shot image is obtained.
【００２９】なお、特殊撮影モードによる撮影は、家族
や友人同士のパーティーや旅行等のイベントにおいて主
要被写体である人物の画像特徴量が比較的一定であるた
め、例えば、身につける衣服等の色味や色濃度等の画像
特徴量が一定であるため、この画像特徴量を利用するこ
とで、顔部の画像特徴量に比べて演算量を低減すること
ができる。従って、イベントの最初に特殊撮影モードで
撮影して主要被写体関連情報を登録したのち、通常撮影
モードで撮影するとよい。このような主要被写体関連情
報は、例えば、主要被写体としたい人物が複数いる場
合、複数の人物を主要被写体関連情報に登録するとよ
い。このようにして通常撮影モードでは、主要被写体の
撮影領域を検出して撮影時の制御を高精度で行うので、
通常撮影モードで撮影される画像がすべて主要被写体を
基準としてピントが合い、画像濃度も適正化され、カラ
ーバランスの調整された高画質の撮影画像を得ることが
できる。しかも、撮影時の制御を効率よく行うことがで
きる。In the shooting in the special shooting mode, since the image feature amount of the person who is the main subject is relatively constant in an event such as a party between family and friends or a trip, for example, the color of clothes worn Since the image feature amount such as taste and color density is constant, by using this image feature amount, the calculation amount can be reduced as compared with the image feature amount of the face part. Therefore, it is preferable to shoot in the special shooting mode at the beginning of the event, register the main subject related information, and then shoot in the normal shooting mode. Such main subject-related information may be registered in the main subject-related information when a plurality of persons are desired to be the main subject. In this way, in the normal shooting mode, the shooting area of the main subject is detected and the shooting control is performed with high accuracy.
All the images shot in the normal shooting mode are focused on the basis of the main subject, the image density is optimized, and a high-quality shot image with color balance adjusted can be obtained. Moreover, the control at the time of shooting can be efficiently performed.
【００３０】また、特殊撮影モードの際、主要被写体関
連情報を、例えば人物の氏名や呼び名等の識別情報を用
いて登録することで、通常撮影モードにおいて、主要被
写体関連情報と適合した撮影エリア内の領域を、識別情
報とともにモニタ１８に表示させてもよい。さらに、通
常撮影モードによる撮影の際、主要被写体関連情報と適
合した領域を検出した場合、検出した領域と主要被写体
の氏名や呼び名等の識別情報とを、撮影画像とともに記
録保存しておき、後日プリント画像として出力し、ま
た、撮影画像を整理する場合、主要被写体の識別情報を
キーワードとして、この識別情報を持つ主要被写体の写
っている撮影画像だけを取り出すことができ、撮影画像
の整理や検索に役立てることができる。Further, in the special photographing mode, by registering the main subject-related information by using the identification information such as the name and name of the person, for example, in the normal photographing mode, the main subject-related information is matched with the main subject-related information. The area may be displayed on the monitor 18 together with the identification information. Furthermore, when an area that matches the main subject-related information is detected during shooting in the normal shooting mode, the detected area and identification information such as the name and nickname of the main subject are recorded and saved together with the shot image at a later date. When outputting as a print image and organizing captured images, you can use the identification information of the main subject as a keyword to retrieve only the captured image of the main subject that has this identification information. Can be useful for
【００３１】通常撮影モードにおいて、主要被写体の撮
影領域が１つも検出されない場合、制御・演算部２０が
主要被写体関連情報の登録を促す旨のメッセージ信号を
モニタ１８上に供給し、モニタ１８に表示させてもよ
く、また図示されないスピーカにメッセージ信号を供給
し、音声で報知させてもよい。例えば、主要被写体が身
につける衣服を替えたり頭髪の色を替えた場合等に対応
して、主要被写体関連情報を複数登録してもよい。ま
た、カメラ１０の撮影レンズ系１０の撮影倍率が可変で
ある場合は、撮影倍率の情報が制御・演算部２０に送ら
れ、この撮影倍率の情報が、画像特徴量と適合する主要
被写体の撮影領域を検出する際に用いられる。In the normal photographing mode, when no photographing area of the main subject is detected, the control / calculation unit 20 supplies a message signal to the monitor 18 to prompt registration of the main subject-related information, and displays it on the monitor 18. Alternatively, a message signal may be supplied to a speaker (not shown) to notify by voice. For example, a plurality of pieces of main subject-related information may be registered in response to a case in which clothes worn by the main subject are changed or hair color is changed. When the photographing magnification of the photographing lens system 10 of the camera 10 is variable, the photographing magnification information is sent to the control / arithmetic unit 20, and the photographing magnification information of the main subject that matches the image feature amount. Used when detecting a region.
【００３２】上記例は、特殊撮影モードにおいて、主要
被写体とする人物に対して多段階の結像距離で複数の画
像を撮影して多段焦点撮影画像を特殊撮影画像として取
得するものであるが、本発明においては、図３に示すよ
うに、主要被写体とする人物を撮影した画像と、この人
物を撮影していない、同一の位置から同一の方向に向け
て撮影した背景画像の等しい撮影画像との２つの画像を
特殊撮影画像として撮影してもよい。この場合、上記２
つの撮影画像の差分を求めることによって主要被写体領
域を抽出し、この抽出した領域の画像情報から求めたも
のを主要被写体関連情報とする。例えば顔部における髪
に相当する領域の画像濃度や色味、また、身につける衣
服に相当する領域の画像濃度や色味を計算して求めたも
のである。これによって、シーンの異なる撮影画像を撮
影する場合においても、主要被写体の撮影領域を検出し
て撮影条件を調整するので、通常撮影モードで撮影され
る画像がすべて主要被写体を基準としてピントが合い、
画像濃度も適正化され、カラーバランスの調整された高
画質の撮影画像を得ることができる。以上がカメラ１０
およびカメラ１０を用いた画像撮影方法の説明である。In the above-mentioned example, in the special photographing mode, a plurality of images are photographed at a multi-stage imaging distance with respect to a person as a main subject, and a multi-focus photographing image is acquired as a special photographing image. In the present invention, as shown in FIG. 3, an image of a person who is a main subject and an image of a background image in which the person is not photographed and which has the same background image taken in the same direction from the same position. The two images may be captured as special captured images. In this case, the above 2
The main subject area is extracted by obtaining the difference between the two captured images, and the information obtained from the image information of the extracted area is used as the main subject-related information. For example, it is obtained by calculating the image density and tint of the area corresponding to the hair in the face portion, and the image density and tint of the area corresponding to the clothes worn. As a result, even when shooting shot images in different scenes, the shooting area of the main subject is detected and the shooting conditions are adjusted, so that all images shot in the normal shooting mode are in focus with the main subject as a reference.
The image density is also optimized, and it is possible to obtain a high-quality photographed image with adjusted color balance. Camera 10
And an image capturing method using the camera 10.
【００３３】次に、本発明の画像出力方法について説明
する。本発明の画像出力方法は、図４（ａ）に示すカメ
ラ５０と、図４（ｂ）に示す処理システム８０とを用い
て行われる。カメラ５０は、撮影レンズ系５２と、撮像
デバイス５４と、信号処理部５６と、モニタ５８と、特
殊撮影制御部６０と、メモリ６２と、ドライブ装置６４
と、被写体距離測定センサ６８と、ストロボ光源７０を
有する。さらに、カメラ５０はＣＰＵ６６を有し、この
ＣＰＵ６６によって上記各部位の駆動が制御管理され
る。Next, the image output method of the present invention will be described. The image output method of the present invention is performed using the camera 50 shown in FIG. 4A and the processing system 80 shown in FIG. 4B. The camera 50 includes a photographing lens system 52, an image pickup device 54, a signal processing unit 56, a monitor 58, a special photographing control unit 60, a memory 62, and a drive device 64.
And a subject distance measuring sensor 68 and a strobe light source 70. Further, the camera 50 has a CPU 66, and the CPU 66 controls and manages the drive of each of the above parts.
【００３４】撮影レンズ系５２と、撮像デバイス５４
と、信号処理部５６と、モニタ５８と、ドライブ装置６
４と、被写体距離測定センサ６８と、ストロボ光源７０
は、図１（ａ）に示す撮影レンズ系１２と、撮像デバイ
ス１４と、信号処理部１６と、モニタ１８と、ドライブ
装置２４と、被写体距離測定センサ２８と、ストロボ光
源３０とそれぞれ同様の構成であり、構成および機能の
説明は省略する。Photographing lens system 52 and image pickup device 54
, Signal processing unit 56, monitor 58, and drive device 6
4, a subject distance measuring sensor 68, and a strobe light source 70
Is the same configuration as the taking lens system 12, the imaging device 14, the signal processing unit 16, the monitor 18, the drive device 24, the subject distance measuring sensor 28, and the strobe light source 30 shown in FIG. Therefore, the description of the configuration and the function is omitted.
【００３５】特殊撮影制御部６０は、特殊撮影モードに
切り替えられると、カメラ５０を同一の位置から同一の
方向に向けて、しかも、主要被写体である人物に対して
異なる多段の結像距離（撮影レンズ系５２の主点と撮像
デバイス５４の受光面との間の距離）で撮影した複数の
撮影画像から成る多段焦点撮影画像（特殊撮影画像）が
取得されるように、多段焦点撮影画像の撮影条件を制御
する部位である。すなわち、特殊撮影制御部６０は、撮
影レンズ系５２の結像距離を制御する。この取得された
多段焦点撮影画像はメモリ６２に特殊撮影画像である旨
の識別情報とともに一時記憶保存される。この時の結像
距離の情報は、多段焦点撮影画像を取得する際に被写体
距離測定センサ６８から供給される測距データに対応し
て定まる目標結像距離とともに付加情報とされて、多段
焦点撮影画像とともに記憶保存される。なお、メモリ６
２から多段焦点撮影画像を呼び出し、ドライブ装置６４
を介して記録媒体Ｍに記録保存する場合、上記結像距離
の情報と上記測距データに対応して定まる目標結像距離
が、付加情報として同時に記録される。また、記録保存
する多段焦点撮影画像が特殊撮影画像である旨の識別情
報も記録される。When the special photographing control section 60 is switched to the special photographing mode, the camera 50 is directed from the same position to the same direction and different multi-stage image forming distances (photographing) are taken for the person who is the main subject. Shooting of a multi-stage focused image so that a multi-stage focused image (special shot image) composed of a plurality of shot images taken at the distance between the principal point of the lens system 52 and the light receiving surface of the image pickup device 54) is acquired. This is the part that controls the conditions. That is, the special photographing control unit 60 controls the imaging distance of the photographing lens system 52. The acquired multi-focus image is temporarily stored in the memory 62 together with identification information indicating that it is a special image. The information of the image forming distance at this time is used as additional information together with the target image forming distance determined corresponding to the distance measurement data supplied from the object distance measuring sensor 68 when acquiring the multi-stage focused image, and the multi-stage focused image is obtained. It is stored together with the image. The memory 6
Call the multi-focus image from 2 and drive 64
When recorded and stored in the recording medium M via the, the image formation distance information and the target image formation distance determined corresponding to the distance measurement data are simultaneously recorded as additional information. In addition, identification information indicating that the multi-focus image to be recorded and stored is a special image is also recorded.
【００３６】カメラ５０は、特殊撮影モードとは別に、
人物等の主要被写体に応じて撮影条件を調整することな
く撮影する通常撮影モードを有する。この場合、通常撮
影モードは、上述したカメラ１０のように登録された主
要被写体関連情報を用いて主要被写体の撮影領域を検出
する機能を持たず、画像が所定の撮影条件で撮影され
る。この撮影による撮影画像はメモリ６２に一時記憶保
存されるとともに、ドライブ装置６４を介して記録媒体
Ｍに記録保存される。The camera 50 is provided separately from the special photographing mode.
It has a normal shooting mode for shooting without adjusting shooting conditions according to a main subject such as a person. In this case, the normal shooting mode does not have a function of detecting the shooting area of the main subject using the registered main subject-related information like the camera 10 described above, and an image is shot under a predetermined shooting condition. The photographed image by this photographing is temporarily stored and stored in the memory 62, and is also recorded and stored in the recording medium M via the drive device 64.
【００３７】一方、処理システム８０は、ドライブ装置
８１と、このドライブ装置８１と接続し、特殊撮影画像
演算部８２、主要被写体領域抽出部８４、メモリ８６お
よび画像処理演算部８７を有する画像処理装置８８と、
この画像処理装置８８と接続した出力プリンタ９０およ
びフレキシブルディスクやＺｉｐTMやＭＯ等の記録媒体
Ｍ’に記録保存するためのドライブ装置９２とを有す
る。なお、記録媒体Ｍ’は記録媒体Ｍと異なるものとし
ているが、同じものであってもよい。On the other hand, the processing system 80 is connected to the drive unit 81 and the drive unit 81, and has an image processing unit having a special photographed image calculation unit 82, a main subject area extraction unit 84, a memory 86 and an image processing calculation unit 87. 88,
It has an output printer 90 connected to the image processing device 88 and a drive device 92 for recording and saving on a recording medium M ′ such as a flexible disk, Zip™ or MO. Although the recording medium M ′ is different from the recording medium M, it may be the same.
【００３８】ドライブ装置８１は、カメラ５０を用いて
特殊撮影モードで撮影した特殊撮影画像や通常撮影モー
ドで撮影した通常撮影画像を記録保存した記録媒体Ｍ’
から上記特殊撮影画像や上記通常の撮影画像読み出す装
置である。多段焦点撮影画像である特殊撮影画像は、識
別情報の他に、上記結像距離の情報および上記測距デー
タに対応して定まる目標結像距離を有する付加情報とと
もに呼び出され、処理システム８０において、上記識別
情報に基づいて、画像処理装置８８の特殊撮影画像演算
部８２に、通常撮影画像は主要被写体領域抽部８４に供
給される。なお、カメラ５０で記録媒体Ｍに記録保存す
る特殊撮影画像は、撮影画像間で各画素毎に差分符号化
を行って記録保存することがメモリ容量の点から好まし
く、また、処理システム８０に供給される場合も、この
差分符号化された撮影画像が供給され復号化されること
が好ましい。The drive device 81 has a recording medium M'which records and saves a specially photographed image photographed in the special photographing mode using the camera 50 and a normally photographed image photographed in the normal photographing mode.
Is a device for reading out the special captured image and the normal captured image. The special photographic image, which is a multi-stage photographic image, is called together with the identification information and the additional information having the target image forming distance determined corresponding to the image forming distance information and the distance measuring data. Based on the identification information, the special captured image calculation unit 82 of the image processing device 88 and the normal captured image are supplied to the main subject area extraction unit 84. It is preferable from the viewpoint of memory capacity that the specially-captured image to be recorded and stored in the recording medium M by the camera 50 be subjected to differential encoding for each pixel between the captured images and then recorded and stored, and supplied to the processing system 80. Also in this case, it is preferable that the difference-encoded captured image is supplied and decoded.
【００３９】特殊撮影画像演算部８２は、多段焦点撮影
画像のうち、供給された測距データに対応して定まる目
標結像距離と最も近い結像距離で撮影された撮影画像の
中から、複数の多段焦点撮影画像の対応する領域のなか
で鮮鋭度が最大となる領域を人物等の主要被写体領域と
して抽出する。抽出された領域の画像情報、例えば、上
記人物の顔部における髪に相当する領域の画像濃度や色
味、また、上記人物の胴部の衣服に相当する領域の画像
濃度や色味を計算して求められる画像特徴量の情報およ
び上記抽出された領域の画像情報を主要被写体関連情報
としてメモリ８６に記憶保存する。この主要被写体関連
情報の算出は上述の特殊撮影画像演算部２０Ｂの主要被
写体関連情報の算出と同様である。The special photographic image calculation unit 82 selects a plurality of photographic images from the multi-focus photographic images which are photographed at the image forming distance closest to the target image forming distance determined in accordance with the supplied distance measurement data. The area having the maximum sharpness is extracted as the main subject area of a person or the like from the corresponding areas of the multi-stage focus image. The image information of the extracted area, for example, the image density and tint of the area corresponding to the hair in the face of the person, and the image density and tint of the area corresponding to the clothing of the torso of the person are calculated. The image feature amount information obtained as described above and the image information of the extracted region are stored and stored in the memory 86 as main subject related information. The calculation of the main subject-related information is the same as the calculation of the main subject-related information of the special captured image calculation unit 20B described above.
【００４０】主要被写体領域抽出部８４は、予め記憶保
存して登録された主要被写体関連情報、例えば画像特徴
量をメモリ８６から呼び出して、この画像特徴量と適合
する領域を通常撮影画像内から検出し、検出された領域
を主要被写体領域としてこの領域に応じて画像処理条件
を調整する。例えば、検出された主要被写体領域の色
味、色濃度を調整する色バランス調整、画像濃度調整、
コントラスト調整または明るさ補正等の画像処理条件の
調整を自動的に行う。このような画像処理条件は、画像
処理演算部８７に供給される。The main subject area extraction unit 84 calls out main subject related information, which is stored and saved in advance, from the memory 86, and detects an area matching the image feature amount from the normal photographed image. Then, the detected region is set as the main subject region and the image processing conditions are adjusted according to this region. For example, the hue of the detected main subject area, color balance adjustment for adjusting color density, image density adjustment,
Automatically adjust image processing conditions such as contrast adjustment or brightness correction. Such image processing conditions are supplied to the image processing calculation unit 87.
【００４１】画像処理演算部８７は、上記調整された画
像処理条件に基づいて画像処理を行う部位であり、調整
された画像処理条件に従って、色バランス調整、画像濃
度調整、コントラスト調整または明るさ補正等の公知の
画像処理を行う。また、操作者の指示によって倍率色収
差の補正や歪曲収差の補正やスキャナの色ずれの補正を
行い、さらに、所望のサイズのプリント画像とするため
に電子変倍処理を行い、さらに、画像の出力に適した画
像データに変換され、出力プリンタ９０またはドライブ
装置９２に供給される。The image processing calculation section 87 is a part for performing image processing based on the adjusted image processing conditions, and according to the adjusted image processing conditions, color balance adjustment, image density adjustment, contrast adjustment or brightness correction. Well-known image processing such as is performed. In addition, correction of chromatic aberration of magnification, correction of distortion aberration, and correction of color shift of the scanner are performed according to the operator's instruction, and further electronic scaling processing is performed to obtain a print image of a desired size, and further image output. Is converted into image data suitable for the output printer 90 or the drive device 92.
【００４２】出力プリンタ９０は、感光材料を露光して
画像処理の施された処理画像の潜像を記録した後、現像
処理を行ってプリント画像を出力するプリンタやインク
液滴を吐出させて画像処理の施された処理画像を記録紙
に記録するインクジェットプリンタ等公知のプリンタで
ある。ドライブ装置９２は、画像処理の施された処理画
像の画像データを、ＣＤ−Ｒ、フレキシブルディスク、
ＺｉｐTM、ＭＯ等の記録媒体Ｍ’に書き込むためのドラ
イブ装置である。なお、上記例はカメラ５０から処理シ
ステム８０に対して行う画像データの供給を記録媒体Ｍ
を介して行うものであるが、この他に、通信回線を介し
て供給されるものであってもよい。また、画像処理の施
された処理画像の出力は、通信回線を介して所望のシス
テムに送信することで出力するものであってもよい。The output printer 90 exposes a photosensitive material to record a latent image of a processed image, and then performs a developing process to output a print image. The printer is a known printer such as an inkjet printer that records a processed image on a recording sheet. The drive device 92 stores the image data of the processed image on the CD-R, flexible disk,
A drive device for writing on a recording medium M ′ such as Zip™ or MO. In the above example, the image data supplied from the camera 50 to the processing system 80 is supplied to the recording medium M.
However, in addition to this, the data may be supplied via a communication line. Further, the output of the processed image subjected to the image processing may be output by transmitting the processed image to a desired system via a communication line.
【００４３】このようなカメラ５０および処理システム
８０では、図５に示すように、多段焦点撮影画像である
特殊撮影画像を特殊撮影モードにおいて取得するととも
に、通常撮影モードで通常撮影画像を取得した後、記録
媒体Ｍを介して処理システム８０に供給される。In the camera 50 and the processing system 80 as described above, as shown in FIG. 5, after the special photographic image which is the multi-stage photographic image is acquired in the special photographic mode, the normal photographic image is acquired in the normal photographic mode. , And is supplied to the processing system 80 via the recording medium M.
【００４４】処理システム８０では、特殊撮影画像であ
る旨の識別情報に従って、特殊撮影画像が特殊撮影画像
演算部８２に供給され、主要被写体関連情報が求められ
て登録され、メモリ８６に予め記憶保存される。次に、
通常撮影画像が主要被写体領域抽出部８４に供給され、
メモリ８６から呼び出された主要被写体関連情報と適合
する領域が通常撮影画像内で検出され、検出された領域
（主要被写体領域）に応じて画像処理条件が調整され
る。調整された画像処理条件は、画像処理演算部８７に
おいて画像処理のために用いられ、通常撮影画像に画像
処理が施される。この後、出力プリンタ９０からプリン
ト画像が出力される。また、ドライブ装置９２を介して
記録媒体Ｍ’に書き込まれ記録保存される。このよう
に、画像処理装置８８において、検出された主要被写体
領域に応じて画像処理を施すので色味や画像濃度の制御
を精度良く行うことができる。In the processing system 80, the special-captured image is supplied to the special-captured-image calculating section 82 in accordance with the identification information indicating that the image is the special-captured image, the main subject-related information is obtained and registered, and stored in the memory 86 in advance. To be done. next,
The normal captured image is supplied to the main subject area extraction unit 84,
A region that matches the main subject-related information called from the memory 86 is detected in the normal captured image, and the image processing condition is adjusted according to the detected region (main subject region). The adjusted image processing conditions are used for image processing in the image processing calculation unit 87, and the normal captured image is subjected to image processing. After that, the print image is output from the output printer 90. Further, the data is written and recorded and stored in the recording medium M ′ via the drive device 92. In this way, the image processing device 88 performs image processing according to the detected main subject area, so that the tint and image density can be accurately controlled.
【００４５】上記例では、カメラ５０において撮影され
た特殊撮影画像は、多段焦点撮影画像であるが、このほ
かに、図３に示すような、主要被写体とする人物を撮影
した画像と、この人物を撮影していない、同一の位置か
ら同一の方向に向けて撮影した背景画像の等しい撮影画
像との２つの画像を特殊撮影画像としてもよい。また、
上記例では、画像処理装置８８において、カメラ５０で
撮影された特殊撮影画像から主要被写体関連情報を求め
て登録するが、カメラ１０を用いて抽出された主要被写
体領域の画像情報および抽出された主要被写体領域から
求められた主要被写体関連情報を画像処理装置８８に供
給してもよい。これによって処理システム８０において
通常撮影画像に対して主要被写体の検出を行うことがで
きる。In the above example, the specially photographed image photographed by the camera 50 is a multi-focus image, but in addition to this, as shown in FIG. 3, an image of a person as a main subject and this person are taken. It is also possible to use two images, that is, a non-photographed image and a photographed image having the same background image taken from the same position in the same direction, as the special photographed image. Also,
In the above example, the image processing device 88 obtains and registers main subject-related information from the specially-captured image captured by the camera 50. However, the image information of the main subject region extracted using the camera 10 and the extracted main subject region information are registered. The main subject related information obtained from the subject region may be supplied to the image processing device 88. This allows the processing system 80 to detect the main subject in the normally captured image.
【００４６】なお、処理システム８０で主要被写体関連
情報を求める際、鮮鋭度の極めて高いシャープな主要被
写体の画像が抽出されるため、この画像自体をメモリ８
６に記録しておき、別の撮影画像の画像処理を行う際、
記録されたシャープな主要被写体を合成処理に用いるこ
ともできる。When the processing system 80 obtains the main subject-related information, an image of a sharp main subject having an extremely high sharpness is extracted, so this image itself is stored in the memory 8.
It is recorded in No. 6, and when performing image processing of another captured image,
The recorded sharp main subject can also be used in the composition process.
【００４７】また、特殊撮影画像は、図６に示すよう
に、例えば、少なくとも主要被写体である人物の顔部を
含み、カメラ５０のストロボ発光のオンとオフの条件で
同一シーンを２回撮影した２つの撮影画像とし、主要被
写体関連情報は、この２つの撮影画像の差分を求めるこ
とで算出される人物の顔部の赤目領域の候補である赤目
候補領域の領域情報およびこの領域の画像情報としても
よい。As shown in FIG. 6, the specially photographed image includes, for example, at least the face of the person who is the main subject, and the same scene is photographed twice under the condition that the flash emission of the camera 50 is on and off. Two captured images are used, and the main subject-related information is the area information of the red eye candidate area which is a candidate for the red eye area of the human face calculated by calculating the difference between these two captured images, and the image information of this area. Good.
【００４８】例えば、画像処理装置８８において、スト
ロボ光源７０のストロボ発光のオンとオフの条件で同一
シーンを２回撮影した２つの撮影画像の差分を求める。
所定の閾値で２値化処理を行うことにより、赤目領域や
発光している背景領域や反射の強い金属の撮影領域が求
まり、これらの領域を赤目候補領域とすることができ
る。画像処理装置８８は、赤目候補領域の領域情報を得
た後、撮影時の撮影レンズ系５２の撮影倍率情報と測距
データと、赤目候補領域の面積との情報を用い、さら
に、赤目候補領域のうち、並列する２領域間の距離と実
際の人物の両目の間隔との対応関係を用いて、ストロボ
発光のオン時の撮影画像から赤目領域を自動的に抽出す
る。抽出された赤目領域に対して画像処理演算部８７に
おいて赤目補正処理が行われ、処理画像が出力プリンタ
９０やドライブ装置９２に出力される。For example, in the image processing device 88, the difference between two shot images of the same scene taken twice under the conditions of turning on and off the strobe light emission of the strobe light source 70 is obtained.
By performing the binarization process with a predetermined threshold value, a red-eye region, a background region that emits light, and an image-capturing region of highly reflective metal can be obtained, and these regions can be set as red-eye candidate regions. After obtaining the area information of the red-eye candidate area, the image processing device 88 uses the information of the photographing magnification information and the distance measurement data of the photographing lens system 52 at the time of photographing, and the information of the area of the red-eye candidate area. Among these, the red-eye region is automatically extracted from the captured image when the stroboscopic light emission is turned on by using the correspondence relationship between the distance between the two regions arranged in parallel and the distance between both eyes of the actual person. The image processing calculation unit 87 performs red-eye correction processing on the extracted red-eye area, and the processed image is output to the output printer 90 and the drive device 92.
【００４９】この場合、赤目領域の抽出を画像処理装置
８８にて行うものであるが、特殊撮影画像演算部２０Ｂ
を備えるカメラ１０を用いて、赤目領域を抽出し、この
領域情報を特殊撮影画像とともに記録保存してもよい。
このように赤目領域を自動的に抽出することができるの
で効率よく赤目補正処理を行うことができる。以上が、
本発明の画像出力方法の説明である。In this case, the red-eye region is extracted by the image processing device 88, but the special photographed image calculation unit 20B is used.
The red-eye area may be extracted by using the camera 10 having the above, and the area information may be recorded and saved together with the specially-captured image.
Since the red-eye area can be automatically extracted in this way, the red-eye correction process can be efficiently performed. More than,
It is an explanation of the image output method of the present invention.
【００５０】なお、上述したカメラ１０は、また、以下
の実施例のように有効に用いることができる。カメラ１
０で撮影される主要被写体を、例えば、白板等の表示板
に手書きによって書かれ、時間の経過に伴って追加また
は削除される表示板上の文字・符号とし、上記複数の撮
影画像を、追加または削除される白板上の文字・符号を
時系列に撮影した複数の時系列撮影画像とする。この場
合、特殊撮影画像演算部２０Ｂは、隣り合う２つの時系
列撮影画像の差分を求めることによって白板上で追加ま
たは削除される文字・符号の位置情報等の領域に関する
情報とこの領域における画像情報と追加又は削除の旨の
情報を主要被写体関連情報としてメモリ２２に記憶保存
する。さらに特殊撮影画像演算部２０Ｂは、上記複数の
時系列撮影画像の少なくとも１つの撮影画像、例えば、
最後に撮影された撮影画像の表示板上の文字・符号の画
像領域を、メモリ２２に記憶された文字・符号の画像情
報を用いて文字・符号の認識処理を行う。さらに、特殊
撮影画像演算部２０Ｂは、認識された文字・符号を所定
の字体やサイズ等の文字・符号に変更したテキスト情報
を取得した後、領域に関する情報を用いて所定の位置に
配置してビットマップ処理を行うことで、所定の字体や
サイズ等の文字・符号を画像化して処理画像を作成す
る。The camera 10 described above can also be effectively used as in the following embodiments. Camera 1
The main subject to be photographed at 0 is, for example, handwritten on a display plate such as a white plate, and is a character or code on the display plate that is added or deleted over time, and the plurality of captured images are added. Alternatively, a plurality of time-series captured images obtained by time-sequentially capturing characters / codes on the white plate to be deleted are set. In this case, the special photographed image calculation unit 20B obtains the difference between two adjacent time-series photographed images, and obtains the difference between two adjacent time-series photographed images. And information indicating addition or deletion is stored in the memory 22 as main subject related information. Furthermore, the special captured image calculation unit 20B uses at least one captured image of the plurality of time-series captured images, for example,
Character / code recognition processing is performed on the image area of the character / code on the display plate of the last captured image using the image information of the character / code stored in the memory 22. Further, the special-captured image calculation unit 20B obtains text information in which the recognized character / code is changed to a character / code such as a predetermined font and size, and then arranges it at a predetermined position by using the information about the area. By performing the bitmap processing, characters and codes such as a predetermined font and size are imaged to create a processed image.
【００５１】図７には、白板上の文字・符号を時系列に
撮影した特殊撮影画像の処理の一例が示されている。白
板に、「Ａａａａ」、「Ｂｂｂｂ」、「Ｃｃｃｃ」、
「Ｄｄｄｄ」・・・が手書きされて順次追加されている
様子を順番に撮影した撮影画像（Ａ）、（Ｂ）、
（Ｃ）、（Ｄ）、（Ｅ）・・・から成る特殊撮影画像が
カメラ１０で取得され、この特殊撮影画像が制御・演算
部２０に供給されている。FIG. 7 shows an example of processing of a specially photographed image in which characters / codes on a white board are photographed in time series. On the white board, "Aaaa", "Bbbb", "Cccc",
Captured images (A), (B) in which the state in which “Dddd” ...
The specially-captured image composed of (C), (D), (E), ... Is acquired by the camera 10, and the specially-captured image is supplied to the control / calculation unit 20.
【００５２】制御演算部２０では、特殊撮影画像演算部
２０Ｂにおいて、隣り合う２つの時系列撮影画像、例え
ば撮影画像（Ｂ）と撮影画像（Ｃ）の差分を求めること
によって白板上に追加される「Ｂｂｂｂ」の領域に関す
る情報とこの領域における画像情報が文字・符号の追加
の旨の情報とともに、主要被写体関連情報として記憶保
存される。文字・符号が削除される場合は削除の旨の情
報が、文字・符号の領域情報とこの領域における画像情
報とともに記憶保存される。In the control calculation unit 20, the special photographed image calculation unit 20B obtains the difference between two adjacent time-series photographed images, for example, the photographed image (B) and the photographed image (C), and adds them on the white board. The information regarding the area of "Bbbb" and the image information in this area are stored and stored as the main subject related information together with the information indicating that the character / code is added. When the character / code is deleted, the information indicating that the character / code is deleted is stored and saved together with the area information of the character / code and the image information in this area.
【００５３】このような文字・符号を主要被写体とする
主要被写体関連情報は、特殊撮影画像演算部２０Ｂに呼
び出されて、文字・符号の認識処理が施され、図７に示
すような文字・符号識別情報が得られる。この文字・符
号識別情報から、図８に示すような文字・符号制御デー
タ表が作成される。例えば、文字・符号識別情報から、
文字・符号の識別結果と、その文字・符号の領域の位
置、文字・符号のサイズ、文字・符号の色情報が文字・
符号制御データ表に自動的に書き込まれる。字体の情報
は予め設定される。あるいは、文字・符号の認識処理の
精度によっては、最も近似する字体が認識されて書き込
まれてもよい。図８に示す文字・符号制御データ表に記
載される「出力順」とは、処理画像を出力する際、後述
するように時系列の処理画像として出力する場合、その
出力の順番を規定するものである。文字・符号制御デー
タ表の初期状態では最も左に位置する「Ｎｏ」の欄と同
じ順番が設定されている。The main subject related information having such a character / code as a main subject is called by the special photographic image calculation unit 20B and subjected to character / code recognition processing, and the character / code as shown in FIG. Identification information is obtained. A character / code control data table as shown in FIG. 8 is created from this character / code identification information. For example, from the character / code identification information,
The character / code identification result, the position of the character / code area, the character / code size, and the character / code color information are
It is automatically written in the code control data table. The font information is set in advance. Alternatively, the closest font may be recognized and written depending on the accuracy of the character / code recognition processing. The “output order” described in the character / code control data table shown in FIG. 8 defines the output order when the processed images are output as time-series processed images as described later. Is. In the initial state of the character / code control data table, the same order as in the leftmost "No" column is set.
【００５４】このような「文字・符号」、「追加又は削
除」「位置」、「サイズ」、「色」、「字体」および
「出力順」の欄の情報は、モニタ１８に表示され、カメ
ラ１０に備えられた図示されない入力操作系を用いて操
作者の編集によって自在に修正され得る。また、文字・
符号制御データ表を行単位で削除、追加、コピー等の修
正を行うこともできる。The information in the "character / code", "addition or deletion", "position", "size", "color", "font", and "output order" fields are displayed on the monitor 18 and the camera. The input operation system (not shown) provided in the reference numeral 10 can be freely modified by the operator's editing. In addition,
The code control data table can be modified line by line by deleting, adding, or copying.
【００５５】画像処理は、複数の時系列撮影画像の少な
くとも１つの撮影画像、例えば、最後に撮影された撮影
画像において表示されている文字・符号の領域の画像情
報が、上記文字・符号制御データ表に従った大きさ、
色、字体を持つ文字・符号のテキスト情報によって置換
されて配置され、さらに、配置されたテキスト情報を画
像情報とするビットマップ処理が施され、モニタ１８に
処理画像として出力（画像表示）される。In the image processing, the image information of the character / code area displayed in at least one of the plurality of time-series captured images, for example, the last captured image is the character / code control data. Size according to the table,
It is replaced by text information of characters / codes having colors and fonts and arranged. Further, bitmap processing using the arranged text information as image information is performed and output (image display) as a processed image on the monitor 18. .
【００５６】このような画像の出力は、時系列に表示す
る順番が定まった時系列の処理画像を出力するものであ
ってもよい。例えば、操作者によって編集された文字・
符号制御データ表の「出力順」の欄の順番に従って処理
画像を出力する。このような処理画像は、記録媒体Ｍに
一旦記録保存された後、プロジェクタ等の画像表示用と
して用いられてもよいし、カメラ１０の出力端子から出
力され、接続されているプロジェクタやモニタの入力画
像として、画像表示に用いられてもよい。なお、上記文
字・符号制御データ表に、文字・符号の濃度や太さを情
報として加えてもよい。なお、図８における文字・符号
制御データ表の「出力順」の欄の「削除」は出力されな
いことを意味する。The output of such an image may be an output of a time-series processed image in which the order of displaying in time series is fixed. For example, characters edited by the operator
The processed images are output according to the order of the “output order” column of the code control data table. Such a processed image may be used for image display of a projector or the like after being once recorded and stored in the recording medium M, or may be output from the output terminal of the camera 10 and input to the connected projector or monitor. As an image, it may be used for image display. The density / thickness of the character / code may be added to the character / code control data table as information. Note that "delete" in the "output order" column of the character / code control data table in FIG. 8 means that no output is made.
【００５７】上記例では、手書きされた文字・符号の画
像情報を少なくとも所定の字体のテキスト情報の文字・
符号で置き換えて清書するものであるが、文字・符号の
画像情報の色情報又は濃度情報を修正、変更した画像情
報と置き換えたものであってもよい。また、文字・符号
のサイズを変更するように画像情報を修正、変更しても
よい。In the above example, the image information of the handwritten character / code is at least the character / text of the text information of a predetermined font.
Although the information is replaced with the code and is printed cleanly, the color information or the density information of the image information of the character / code may be replaced with the modified or changed image information. Further, the image information may be modified or changed so as to change the size of the character / code.
【００５８】このような特殊撮影画像の処理は、すべて
カメラ１０において行うものであるが、上述したカメラ
５０で特殊撮影画像を取得した後、処理システム８０の
画像処理装置８８において、文字・符号を主要被写体と
する主要被写体関連情報を求め、上述した文字・符号の
認識処理およびビットマップ処理を行って、プリント画
像として出力し、あるいはドライブ装置９２を介して記
録媒体Ｍ’に出力してもよい。例えば、文字・符号の領
域に関する情報、この領域における画像情報および追加
又は削除の旨の情報を主要被写体関連情報としてメモリ
８６に記憶保存し、画像処理装置８８の画像処理演算部
８７において、上述した文字・符号の識別処理およびビ
ットマップ処理を行って処理画像を作成するとよい。こ
の処理システム８０は、例えばパーソナルコンピュータ
を用いて構成される。このような実施例では、会議等の
打ち合わせで用いる白板上に手書きされる内容、議事録
を容易に清書して複製することができる。The processing of such specially photographed images is all performed by the camera 10. However, after the specially photographed images are acquired by the above-mentioned camera 50, the characters / codes are converted by the image processing device 88 of the processing system 80. The main subject related information to be the main subject may be obtained, the character / code recognition processing and the bitmap processing described above may be performed and output as a print image, or may be output to the recording medium M ′ via the drive device 92. . For example, the information about the character / code area, the image information in this area, and the information about addition or deletion are stored and stored in the memory 86 as the main subject related information, and the image processing operation unit 87 of the image processing apparatus 88 described above. It is preferable to create a processed image by performing character / code identification processing and bitmap processing. The processing system 80 is configured by using, for example, a personal computer. In such an embodiment, it is possible to easily copy and copy the handwritten contents and the minutes on a white board used for meetings and the like.
【００５９】以上、本発明の画像撮影方法、画像出力方
法およびカメラについて詳細に説明したが、本発明は上
記実施例に限定はされず、本発明の要旨を逸脱しない範
囲において、各種の改良および変更を行ってもよいのは
もちろんである。Although the image photographing method, the image output method and the camera of the present invention have been described above in detail, the present invention is not limited to the above embodiments, and various improvements and modifications are possible without departing from the gist of the present invention. Of course, you can make changes.
【００６０】[0060]
【発明の効果】以上、詳細に説明したように、本発明に
よれば、いずれの実施例においても、従来の２次元パタ
ーンマッチング等の煩雑な処理を行うことなく効率よく
主要被写体の領域を抽出することができる。これによっ
て、撮影条件や画像処理条件を精度良く制御し、所望の
撮影画像を得、また所望の処理画像を得ることができ
る。As described above in detail, according to the present invention, in any of the embodiments, the area of the main subject can be efficiently extracted without performing the complicated processing such as the conventional two-dimensional pattern matching. can do. As a result, it is possible to accurately control the shooting condition and the image processing condition, obtain a desired shot image, and obtain a desired processed image.
【図１】 （ａ）および（ｂ）は本発明のカメラの一実
施例の概略の構成を示すブロック図である。1A and 1B are block diagrams showing a schematic configuration of an embodiment of a camera of the present invention.
【図２】 本発明の画像撮影方法の一実施例の流れを説
明する図である。FIG. 2 is a diagram illustrating a flow of an embodiment of an image capturing method of the present invention.
【図３】 本発明の画像撮影方法の他の実施例の流れを
説明する図である。FIG. 3 is a diagram illustrating a flow of another embodiment of the image capturing method of the present invention.
【図４】 （ａ）は本発明のカメラの他の実施例の概略
の構成を示すブロック図であり、（ｂ）は本発明の画像
出力方法の一実施例を行う処理システムの概略の構成を
示すブロック図である。4A is a block diagram showing a schematic configuration of another embodiment of the camera of the present invention, and FIG. 4B is a schematic configuration of a processing system for carrying out an embodiment of the image output method of the present invention. It is a block diagram showing.
【図５】 本発明の画像出力方法の一実施例の流れを説
明する図である。FIG. 5 is a diagram illustrating a flow of an embodiment of an image output method of the present invention.
【図６】 本発明の画像出力方法の他の実施例の流れを
説明する図である。FIG. 6 is a diagram for explaining the flow of another embodiment of the image output method of the present invention.
【図７】 本発明のカメラで実施される処理の流れを説
明する図である。FIG. 7 is a diagram illustrating a flow of processing performed by the camera of the present invention.
【図８】 図７に示す処理で作成される文字・符号制御
データ表の一例を示す図である。8 is a diagram showing an example of a character / code control data table created by the processing shown in FIG. 7. FIG.
１０，５０ カメラ１２，５２ 撮影レンズ系１４，５４ 撮像デバイス１６，５６ 信号処理部１８，５８ モニタ２０ 制御・演算部２０Ａ 撮影制御部２０Ｂ，８２ 特殊撮影画像演算部２２，６２，８６ メモリ２４，６４ ドライブ装置２６，６６ ＣＰＵ２８，６８ 被写体距離測定センサ３０，７０ ストロボ光源６０ 特殊撮影制御部８１，９２ ドライブ装置８４ 主要被写体領域抽出部８７ 画像処理演算部８８ 画像処理装置９０ 出力プリンタ10,50 cameras12,52 Shooting lens system14,54 Imaging device16,56 Signal processing unit18,58 monitor20 Control / arithmetic unit20A shooting control unit20B, 82 Special shooting image calculation unit22, 62, 86 memory24, 64 drive device26,66 CPU28,68 Subject distance measuring sensor30,70 Strobe light source60 Special shooting control section81,92 Drive device84 Main subject area extraction unit87 Image processing operation unit88 Image processing device90 output printer
─────────────────────────────────────────────────────フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 5/91 Ｇ０２Ｂ 7/11 Ｚ ５Ｃ０５３// Ｇ０３Ｂ 13/36 Ｈ０４Ｎ 5/91 Ｊ Ｈ０４Ｎ 101:00 Ｇ０３Ｂ 3/00 Ａ Ｆターム(参考） 2H002 DB02 DB24 DB28 DB29 DB30 FB33 FB38 HA04 JA07 ZA01 2H011 BA31 DA00 2H051 BA45 DA39 5B057 AA20 BA02 BA11 DA08 DA16 DB06 DB09 5C022 AA13 AB15 AB24 AC03 AC42 5C053 FA04 FA08 FA24 FA27 JA16 JA30 KA24 LA01 LA03─────────────────────────────────────────────────── ─── Continuation of front page (51) Int.Cl.7 Identification code FI theme code (reference) H04N 5/91 G02B 7/11 Z 5C053 // G03B 13/36 H04N 5/91 J H04N 101: 00 G03B 3 / 00 AF terms (reference) 2H002 DB02 DB24 DB28 DB29 DB30 FB33 FB38 HA04 JA07 ZA01 2H011 BA31 DA00 2H051 BA45 DA39 5B057 AA20 BA02 BA11 DA08 DA16 DB06 DB09 5C022 AA13 AB15 AB24 AC03 AC42 5C053 FA24 LA01 FA30 FA24 FA03 FA24 FA08 FA30 FA24 FA03
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002074055AJP3973462B2 (en) | 2002-03-18 | 2002-03-18 | Image capture method |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002074055AJP3973462B2 (en) | 2002-03-18 | 2002-03-18 | Image capture method |
| Publication Number | Publication Date |
|---|---|
| JP2003274271Atrue JP2003274271A (en) | 2003-09-26 |
| JP2003274271A5 JP2003274271A5 (en) | 2005-04-07 |
| JP3973462B2 JP3973462B2 (en) | 2007-09-12 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002074055AExpired - Fee RelatedJP3973462B2 (en) | 2002-03-18 | 2002-03-18 | Image capture method |
| Country | Link |
|---|---|
| JP (1) | JP3973462B2 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005202469A (en)* | 2004-01-13 | 2005-07-28 | Fuji Xerox Co Ltd | Image processing apparatus, image processing method, and program |
| JP2006072332A (en)* | 2004-08-05 | 2006-03-16 | Matsushita Electric Ind Co Ltd | Imaging device |
| JP2006174037A (en)* | 2004-12-15 | 2006-06-29 | Casio Comput Co Ltd | Imaging apparatus and program |
| WO2006117968A1 (en)* | 2005-04-27 | 2006-11-09 | Fujifilm Corporation | Image capturing apparatus, image capturing method, and program |
| JP2007181070A (en)* | 2005-12-28 | 2007-07-12 | Shunkosha:Kk | Apparatus and method for evaluating attention paid to contents |
| JP2007525121A (en)* | 2004-02-04 | 2007-08-30 | フォトネーション ビジョン リミテッド | Method and apparatus for optimizing red eye filter performance |
| JP2008090730A (en)* | 2006-10-04 | 2008-04-17 | Nikon Corp | Information processing program and information processing apparatus |
| JP2008278468A (en)* | 2007-03-30 | 2008-11-13 | Fujifilm Corp | Image correction apparatus, image correction method, skin diagnosis method, and program |
| JP2009188837A (en)* | 2008-02-07 | 2009-08-20 | Olympus Corp | Image pickup apparatus and image pickup method |
| US7653246B2 (en) | 2003-11-18 | 2010-01-26 | Fuji Xerox Co., Ltd. | System and method for making a correction to a plurality of images |
| JP2010263639A (en)* | 2007-04-23 | 2010-11-18 | Sharp Corp | Imaging apparatus, control method, control program, recording medium, and portable terminal |
| KR101118980B1 (en)* | 2009-03-11 | 2012-03-13 | 가시오게산키 가부시키가이샤 | Image capturing device suitable for photographing a person |
| US8718336B2 (en) | 2007-03-30 | 2014-05-06 | Fujifilm Corporation | Image correction apparatus, image correction method, skin diagnosis method, and computer program product |
| US8977056B2 (en) | 2010-07-26 | 2015-03-10 | Fotonation Limited | Face detection using division-generated Haar-like features for illumination invariance |
| US9092877B2 (en) | 2010-02-16 | 2015-07-28 | Ricoh Company, Ltd. | Imaging device including target tracking function |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7653246B2 (en) | 2003-11-18 | 2010-01-26 | Fuji Xerox Co., Ltd. | System and method for making a correction to a plurality of images |
| JP2005202469A (en)* | 2004-01-13 | 2005-07-28 | Fuji Xerox Co Ltd | Image processing apparatus, image processing method, and program |
| JP2007525121A (en)* | 2004-02-04 | 2007-08-30 | フォトネーション ビジョン リミテッド | Method and apparatus for optimizing red eye filter performance |
| JP2006072332A (en)* | 2004-08-05 | 2006-03-16 | Matsushita Electric Ind Co Ltd | Imaging device |
| JP2006174037A (en)* | 2004-12-15 | 2006-06-29 | Casio Comput Co Ltd | Imaging apparatus and program |
| US8111304B2 (en) | 2005-04-27 | 2012-02-07 | Fujifilm Corporation | Image capturing apparatus, image capturing method, and computer readable medium in which an image extracted in association with selected object information is displayed |
| JP2006333443A (en)* | 2005-04-27 | 2006-12-07 | Fujifilm Holdings Corp | Imaging apparatus, method, and program |
| WO2006117968A1 (en)* | 2005-04-27 | 2006-11-09 | Fujifilm Corporation | Image capturing apparatus, image capturing method, and program |
| JP2007181070A (en)* | 2005-12-28 | 2007-07-12 | Shunkosha:Kk | Apparatus and method for evaluating attention paid to contents |
| JP2008090730A (en)* | 2006-10-04 | 2008-04-17 | Nikon Corp | Information processing program and information processing apparatus |
| US8718336B2 (en) | 2007-03-30 | 2014-05-06 | Fujifilm Corporation | Image correction apparatus, image correction method, skin diagnosis method, and computer program product |
| JP2008278468A (en)* | 2007-03-30 | 2008-11-13 | Fujifilm Corp | Image correction apparatus, image correction method, skin diagnosis method, and program |
| JP2010263639A (en)* | 2007-04-23 | 2010-11-18 | Sharp Corp | Imaging apparatus, control method, control program, recording medium, and portable terminal |
| US8780227B2 (en) | 2007-04-23 | 2014-07-15 | Sharp Kabushiki Kaisha | Image pick-up device, control method, recording medium, and portable terminal providing optimization of an image pick-up condition |
| JP2009188837A (en)* | 2008-02-07 | 2009-08-20 | Olympus Corp | Image pickup apparatus and image pickup method |
| KR101118980B1 (en)* | 2009-03-11 | 2012-03-13 | 가시오게산키 가부시키가이샤 | Image capturing device suitable for photographing a person |
| US8373760B2 (en) | 2009-03-11 | 2013-02-12 | Casio Computer Co., Ltd. | Image capturing device suitable for photographing a person |
| US9092877B2 (en) | 2010-02-16 | 2015-07-28 | Ricoh Company, Ltd. | Imaging device including target tracking function |
| US8977056B2 (en) | 2010-07-26 | 2015-03-10 | Fotonation Limited | Face detection using division-generated Haar-like features for illumination invariance |
| Publication number | Publication date |
|---|---|
| JP3973462B2 (en) | 2007-09-12 |
| Publication | Publication Date | Title |
|---|---|---|
| JP4511821B2 (en) | Method, program and apparatus for determining important region in image | |
| JP4373828B2 (en) | Specific area detection method, specific area detection apparatus, and program | |
| JP4746295B2 (en) | Digital camera and photographing method | |
| US7180541B2 (en) | Photographic system linked with photographic data | |
| JP4473299B2 (en) | Digital image processing method | |
| JP3973462B2 (en) | Image capture method | |
| US20040100567A1 (en) | Camera system with eye monitoring | |
| JP2005094571A (en) | Camera with red-eye correcting function | |
| JPH09181913A (en) | Camera system | |
| IES20060563A2 (en) | Digital image acquisition system with portrait mode | |
| JP2003344021A (en) | Method for calculating dimension of human face in image and method for detecting face | |
| JP2004247983A (en) | Photographing apparatus, image processing apparatus, and image processing program | |
| JP2005197996A (en) | Control method and controller of digital camera | |
| JP2010068207A (en) | Image capturing apparatus, method, program, and image capturing system | |
| JP4259742B2 (en) | Image data processing method and apparatus, and recording medium on which program for executing the method is recorded | |
| JP2007148691A (en) | Image processing device | |
| US20050046724A1 (en) | Image processing apparatus, method and program | |
| JP4143140B2 (en) | Image processing apparatus, printer, and photographing system | |
| JP2007259004A (en) | Digital camera, image processing apparatus, and image processing program | |
| JP2002072048A (en) | Image pickup device and focal distance conversion device | |
| JP5239687B2 (en) | Imaging device | |
| JP2003348410A (en) | Camera for permitting voice input | |
| JP3457993B2 (en) | Red eye correction device | |
| JP3093882B2 (en) | Camera and photo printing device | |
| JP2010177992A (en) | Image processing apparatus and digital camera |
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20040318 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20040510 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20060718 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20060913 | |
| A711 | Notification of change in applicant | Free format text:JAPANESE INTERMEDIATE CODE: A712 Effective date:20061215 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20070306 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20070427 | |
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20070605 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20070612 | |
| R150 | Certificate of patent or registration of utility model | Free format text:JAPANESE INTERMEDIATE CODE: R150 Ref document number:3973462 Country of ref document:JP Free format text:JAPANESE INTERMEDIATE CODE: R150 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20100622 Year of fee payment:3 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20100622 Year of fee payment:3 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20110622 Year of fee payment:4 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20110622 Year of fee payment:4 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20120622 Year of fee payment:5 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20120622 Year of fee payment:5 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20130622 Year of fee payment:6 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| LAPS | Cancellation because of no payment of annual fees |