JP2009124644A - Image processing device, imaging device, and image reproduction device - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To provide an imaging device which can easily select appropriate correction conditions regarding imaging screen. <P>SOLUTION: An image processing unit detects a specific object (for example, person's face) from an image, arranges a plurality of expanded images of the specific object on a display, performs image correction, with a different correction condition for each of the plurality of images of the specific object and displays the corrected images in a display unit. Based on the displayed images, a user can select the image correction conditions. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

Translated fromJapanese

本発明は、画像の補正処理の可能な画像処理装置及び撮像装置に関し、特に複数の条件の補正処理がなされた画像を同時に確認可能なものに関する。  The present invention relates to an image processing apparatus and an imaging apparatus capable of performing image correction processing, and more particularly to an apparatus capable of simultaneously confirming images subjected to correction processing of a plurality of conditions.

現在、デジタルカメラやデジタルビデオカメラのようなデジタル方式の撮像装置が広く普及している。このような撮像装置では、ホワイトバランスや露出補正、シャープネスの補正等の、撮影画像の補正が可能なものが一般的であり、又液晶表示装置等の画像を表示するディスプレイ部を有するため補正した画像をその場で確認できるようになっている。  Currently, digital imaging devices such as digital cameras and digital video cameras are widely used. Such an image pickup apparatus is generally capable of correcting a photographed image such as white balance, exposure correction, and sharpness correction, and is corrected because it has a display unit for displaying an image such as a liquid crystal display device. The image can be checked on the spot.

撮像装置における画像の補正は、従来は設定メニューにおいて適切な補正となるようにパラメータの数値を設定するものである。この方法は、数字とそれによって補正される画質との関係について熟知していないユーザにとっては使いやすいものではない。又、このようなユーザにとって使いやすいものとして、撮像装置のディスプレイ部に表示される補正処理された画像を見ながら補正条件を切り換えて適切な補正条件を選択するものもある。しかし、多くの条件の選択が可能な場合にはそれぞれの条件で補正した画像同士を比較するのは困難である。  Conventionally, the image correction in the imaging apparatus is to set the numerical value of the parameter so as to be an appropriate correction in the setting menu. This method is not easy for a user who is not familiar with the relationship between the number and the image quality corrected thereby. In addition, there is an apparatus that is easy to use for such a user and selects an appropriate correction condition by switching the correction condition while viewing the corrected image displayed on the display unit of the imaging apparatus. However, when many conditions can be selected, it is difficult to compare images corrected under each condition.

そこで引用文献１では、ディスプレイ部の表示領域を分割し、それぞれの分割領域には異なる条件の補正を施した、元の画角のまま縮小した画像を表示する方法が開示されている。この方法によると、異なる条件の補正を施した画像を容易に比較できるため、適切な条件を容易に選択することが可能である。
特開２００７−８１６２９号公報For this reason, the cited document 1 discloses a method in which the display area of the display unit is divided and a reduced image is displayed with the original angle of view corrected for different conditions in each divided area. According to this method, images that have been corrected under different conditions can be easily compared, so that appropriate conditions can be easily selected.
JP 2007-81629 A

しかし、撮像装置に設けられたディスプレイ部は大きくないため、引用文献１で提案された方法では、分割領域に表示された画像は小さいものとなる。したがって、撮影者が対象とする被写体（例えば人物の顔）が画像中において比較的小さい場合など、縮小された表示ではその対象とする被写体についての補正状態を比較しにくい場合がある。  However, since the display unit provided in the imaging device is not large, the image displayed in the divided area is small in the method proposed in the cited document 1. Therefore, when the subject (for example, the face of a person) targeted by the photographer is relatively small in the image, it may be difficult to compare the correction states of the subject as a reduced display.

そこで、本発明は画像中における対象とする被写体の大きさが比較的小さい場合でも容易に補正状態を比較することが可能である画像処理装置及び撮像装置を提供することを目的とする。  SUMMARY OF THE INVENTION An object of the present invention is to provide an image processing apparatus and an imaging apparatus that can easily compare correction states even when the size of a subject in the image is relatively small.

上記目的を達成するために、本発明の画像処理装置は、複数の被写体を含む撮像画像に画像処理を施し画像処理部と、前記撮像画像に含まれる被写体のうち特定の被写体を検出する特定被写体検出部と、を備える画像処理装置であって、前記撮像画像の一部に複数の領域を設け、前記複数の領域に前記特定被写体検出部で検出した特定の被写体を拡大したものを表示し、前記複数の領域の各々に異なる条件の画像処理を施すことを特徴とする。  In order to achieve the above object, an image processing apparatus of the present invention performs image processing on a captured image including a plurality of subjects and detects a specific subject from among the subjects included in the captured image. An image processing apparatus comprising a detection unit, wherein a plurality of areas are provided in a part of the captured image, and an enlarged view of a specific subject detected by the specific subject detection unit is displayed in the plurality of regions. Image processing under different conditions is performed on each of the plurality of regions.

又、前記特定の被写体が、事前に前記特定被写体検出部に登録された被写体であってもよく、前記特定の被写体が、人物の顔であっても、動体であってもよい。  Further, the specific subject may be a subject registered in advance in the specific subject detection unit, and the specific subject may be a human face or a moving object.

又、前記特定の被写体が前記撮像画像に複数含まれる場合に、前記特定の被写体の前記撮像画像中での大きさが最も大きいものを前記複数の領域に表示することおしてもよい。  In addition, when a plurality of the specific subjects are included in the captured image, the largest size of the specific subject in the captured image may be displayed in the plurality of regions.

又、前記複数の領域を、前記画像信号の特性値の順に並べることとしてもよい。  The plurality of regions may be arranged in the order of the characteristic values of the image signal.

又、前記複数の領域が前記特定の被写体を拡大したものを分割したものであってもよいし、前記複数の領域の各々が前記特定の被写体を拡大したものであってもよい。  In addition, the plurality of areas may be obtained by dividing an enlargement of the specific subject, or each of the plurality of areas may be an enlargement of the specific subject.

又、本発明の画像処理装置は、撮像画像に画像処理を施す画像処理部を備える画像処理装置であって、前記撮像画像を複数の領域に分割し、各領域に異なる条件の画像処理を施したものを、前記撮像画像中に配置することを特徴とする。  The image processing apparatus of the present invention is an image processing apparatus including an image processing unit that performs image processing on a captured image, and divides the captured image into a plurality of regions, and performs image processing under different conditions on each region. These are arranged in the captured image.

又、本発明の撮像装置は、前記撮像画像を撮像する撮像部と、上述の画像処理装置と、前記画像処理装置で生成した画像処理を施した前記複数の領域を含む画像を表示する表示部と、を備え、前記複数の領域に施される画像処理条件に基づく画像処理を施した前記撮像画像を記録することを特徴とする。  In addition, an imaging apparatus according to the present invention includes an imaging unit that captures the captured image, the above-described image processing device, and a display unit that displays an image including the plurality of regions subjected to image processing generated by the image processing device. And the captured image subjected to image processing based on image processing conditions applied to the plurality of regions is recorded.

又、本発明の画像再生装置は、上述の画像処理装置と、前記画像処理装置で生成した画像処理を施した前記複数の領域を含む画像を表示する表示部と、を備え、前記複数の領域に施される画像処理条件に基づく画像処理を施した前記画像を表示することを特徴とする。  The image reproduction device of the present invention includes the above-described image processing device, and a display unit that displays an image including the plurality of regions subjected to the image processing generated by the image processing device. The image subjected to the image processing based on the image processing condition applied to is displayed.

本発明によると、複数の領域に異なる条件の画像処理を施した画像を表示することができるため、適切な画像処理条件を容易に選択することが可能になる。  According to the present invention, it is possible to display an image that has been subjected to image processing under different conditions in a plurality of regions, so that it is possible to easily select appropriate image processing conditions.

本発明の実施形態について、図面を参照して説明する。尚、以下では、本発明における撮影方法を行うデジタルカメラやデジタルビデオなどの、音声及び映像の記録が可能な撮像装置を例に挙げて説明する。尚、撮像装置は動画及び静止画のうち少なくとも一方の撮影が可能なものであればよい。  Embodiments of the present invention will be described with reference to the drawings. In the following description, an imaging apparatus capable of recording audio and video, such as a digital camera or digital video that performs the imaging method of the present invention, will be described as an example. The imaging device may be any device that can capture at least one of a moving image and a still image.

（撮像装置の構成）
まず、撮像装置の内部構成について、図面を参照して説明する。図１は、本発明の実施形態に係る撮像装置の内部構成を示すブロック図である。(Configuration of imaging device)
First, the internal configuration of the imaging apparatus will be described with reference to the drawings. FIG. 1 is a block diagram illustrating an internal configuration of an imaging apparatus according to an embodiment of the present invention.

図１の撮像装置は、入射される光を電気信号に変換するＣＣＤ又はＣＭＯＳセンサなどの固体撮像素子（イメージセンサ）１と、被写体の光学像をイメージセンサ１に結像させるズームレンズとズームレンズの焦点距離すなわち光学ズーム倍率を変化させるモータとズームレンズの焦点を被写体に合わせるためのモータとを有するレンズ部２と、イメージセンサ１から出力されるアナログ信号である画像信号をデジタル信号に変換するＡＦＥ（Analog Front End）３と、外部から入力された音声を独立して電気信号に変換するマイク４と、ＡＦＥ３からのデジタル信号となる画像信号に対して、輝度信号及び色差信号の生成を行う前処理及び階調補正や輪郭強調等の各種画像処理を施す画像処理部５と、マイク４からのアナログ信号である音声信号をデジタル信号に変換する音声処理部６と、静止画を撮影する場合は画像処理部５からの画像信号に対してＪＰＥＧ（Joint Photographic Experts Group）圧縮方式など、動画を撮影する場合は画像処理部５からの画像信号と音声処理部６からの音声信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの圧縮符号化処理を施す圧縮処理部７と、圧縮処理部７で圧縮符号化された圧縮符号化信号をＳＤカードなどの外部メモリ２２に記録するドライバ部８と、ドライバ部８で外部メモリ２２から読み出した圧縮符号化信号を伸長して復号する伸長処理部９と、伸長処理部９で復号されて得られた画像信号をアナログ信号に変換するビデオ出力回路部１０と、ビデオ出力回路部１０で変換された信号を出力するビデオ出力端子１１と、ビデオ出力回路部１０からの信号に基づく画像の表示を行うＬＣＤ等を有するディスプレイ部１２と、伸長処理部９からの音声信号をアナログ信号に変換する音声出力回路部１３と、音声出力回路部１３で変換された信号を出力する音声出力端子１４と、音声出力回路部１３からの音声信号に基づいて音声を再生出力するスピーカ部１５と、各ブロックの動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）１６と、撮像装置内全体の駆動動作を制御するＣＰＵ（Central Processing Unit）１７と、各動作のための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１８と、静止画撮影用のシャッターボタン、動画撮影用の録画開始ボタン、撮影モードや画像補正条件の選択ボタン等のユーザからの指示が入力される操作部１９と、ＣＰＵ１７と各ブロックとの間でデータのやりとりを行うためのバス回線２０と、メモリ１８と各ブロックとの間でデータのやりとりを行うためのバス回線２１と、を備える。  The imaging apparatus of FIG. 1 includes a solid-state imaging device (image sensor) 1 such as a CCD or CMOS sensor that converts incident light into an electrical signal, and a zoom lens and a zoom lens that form an optical image of a subject on the image sensor 1. Alens unit 2 having a motor for changing the focal length of the zoom lens, that is, the optical zoom magnification, and a motor for focusing the zoom lens on the subject, and an image signal which is an analog signal output from the image sensor 1 is converted into a digital signal. The AFE (Analog Front End) 3, the microphone 4 that converts externally input sound into an electrical signal independently, and the luminance signal and the color difference signal are generated for the image signal that is a digital signal from theAFE 3. An image processing unit 5 that performs various types of image processing such as preprocessing, gradation correction, and contour enhancement, and an audio signal that is an analog signal from the microphone 4 Anaudio processing unit 6 for converting a digital signal into a digital signal, and an image processing unit for shooting a moving image such as a JPEG (Joint Photographic Experts Group) compression method for an image signal from the image processing unit 5 when shooting a still image. Acompression processing unit 7 that performs compression encoding processing such as MPEG (Moving Picture Experts Group) compression method on the image signal from 5 and the audio signal from theaudio processing unit 6, and compression encoded by the compression processing unit 7A driver unit 8 that records the compressed encoded signal in theexternal memory 22 such as an SD card, an expansion processing unit 9 that decompresses and decodes the compressed encoded signal read from theexternal memory 22 by thedriver unit 8, and an expansion processing unit 9, a videooutput circuit unit 10 that converts the image signal obtained by decoding into an analog signal, a video output terminal 11 that outputs a signal converted by the videooutput circuit unit 10, and a video outputA display unit 12 having an LCD or the like for displaying an image based on a signal from theroad unit 10, an audiooutput circuit unit 13 that converts an audio signal from the expansion processing unit 9 into an analog signal, and an audio output circuit unit 13 Asound output terminal 14 for outputting the received signal, aspeaker unit 15 for reproducing and outputting sound based on the sound signal from the soundoutput circuit unit 13, and a timing control signal for matching the operation timing of each block. A timing generator (TG) 16, a CPU (Central Processing Unit) 17 that controls the drive operation of the entire imaging apparatus, and amemory 18 that stores each program for each operation and temporarily stores data when the program is executed. Shutter button for still image shooting, recording start button for moving image shooting, selection button for shooting mode and image correction condition In order to exchange data between theoperation unit 19 to which an instruction from the user is input, thebus line 20 for exchanging data between theCPU 17 and each block, and thememory 18 and each block.Bus line 21.

（撮像装置の基本動作 静止画撮影、再生時）
次に、この撮像装置の静止画撮影時の基本動作について図２のフローチャートを用いて説明する。まず、ユーザが撮像装置を静止画撮影用に設定して電源をＯＮにすると（ＳＴＥＰ２０１）、撮像装置の駆動モードつまりイメージセンサ１の駆動モードがプレビューモードに設定される（ＳＴＥＰ２０２）。プレビューモードとは、撮影対象となる画像を記録することなくディスプレイ部１２に表示するモードであり、撮影対象を定め、構図を決定するために用いることができる。続いて撮影モードの入力待ち状態となり、人物撮影に適したモードや移動物の撮影に適したモード、逆光での撮影に適したモード等、撮像装置の機能に応じたモードがユーザによって選択される。撮影モードが入力されない場合は通常撮影用のモードが選択されたものとする。同時に、画像補正処理条件の入力待ち状態となり、ホワイトバランスや露出補正等の画像補正条件がユーザによって選択される。画像補正処理条件が入力されない場合は、条件のうちの一つが自動的に選択される（ＳＴＥＰ２０３）。この画像補正条件設定時の動作については後述する。プレビューモードでは、イメージセンサ１の光電変換動作によって得られたアナログ信号である画像信号がＡＦＥ３においてデジタル信号に変換されて、画像処理部５で画像処理が施され、圧縮処理部７で圧縮された現時点の画像に対する画像信号が外部メモリ２２に一時的に記録される。この圧縮信号は、ドライバ部８を経て、伸長処理部９で伸長され、現時点で設定されているレンズ部２のズーム倍率での画角の画像がディスプレイ部１２に表示される。(Basic operation of the imaging device)
Next, the basic operation of the image pickup apparatus at the time of still image shooting will be described with reference to the flowchart of FIG. First, when the user sets the imaging device for still image shooting and turns on the power (STEP 201), the driving mode of the imaging device, that is, the driving mode of the image sensor 1 is set to the preview mode (STEP 202). The preview mode is a mode in which an image to be photographed is displayed on thedisplay unit 12 without being recorded, and can be used to determine the composition and determine the composition. Next, the camera enters a shooting mode input waiting state, and the user selects a mode according to the function of the imaging device, such as a mode suitable for shooting a person, a mode suitable for shooting a moving object, and a mode suitable for shooting in backlight. . When the shooting mode is not input, it is assumed that the normal shooting mode is selected. At the same time, the process waits for input of image correction processing conditions, and image correction conditions such as white balance and exposure correction are selected by the user. If no image correction processing condition is input, one of the conditions is automatically selected (STEP 203). The operation when setting the image correction condition will be described later. In the preview mode, an image signal that is an analog signal obtained by the photoelectric conversion operation of the image sensor 1 is converted into a digital signal by theAFE 3, subjected to image processing by the image processing unit 5, and compressed by thecompression processing unit 7. An image signal for the current image is temporarily recorded in theexternal memory 22. The compressed signal is expanded by the expansion processing unit 9 via thedriver unit 8, and an image with an angle of view at the zoom magnification of thelens unit 2 set at the present time is displayed on thedisplay unit 12.

続いてユーザが、撮影の対象とする被写体に対して所望の画角となるように、光学ズームでのズーム倍率を設定する（ＳＴＥＰ２０４）。その際、画像処理部５に入力された画像信号を基にＣＰＵ１７によってレンズ部２を制御して、最適な露光制御（Automatic Exposure；ＡＥ）・焦点合わせ制御（オートフォーカス、Auto Focus；ＡＦ）が行われる（ＳＴＥＰ２０５）。ユーザが撮影画角、構図を決定し、操作部１９のシャッターボタンを半押しすると（ＳＴＥＰ２０６）、ＡＥの調整を行い（ＳＴＥＰ２０７）、ＡＦの最適化処理を行う（ＳＴＥＰ２０８）。  Subsequently, the user sets the zoom magnification with the optical zoom so that the desired angle of view is obtained with respect to the subject to be imaged (STEP 204). At this time, thelens unit 2 is controlled by theCPU 17 based on the image signal input to the image processing unit 5, and optimum exposure control (Automatic Exposure; AE) / focusing control (Auto Focus; AF) is performed. It is carried out (STEP 205). When the user determines the shooting angle of view and composition and presses the shutter button of theoperation unit 19 halfway (STEP 206), the AE is adjusted (STEP 207) and the AF optimization process is performed (STEP 208).

その後、シャッターボタンが全押しされると（ＳＴＥＰ２０９）、ＴＧ１６より、イメージセンサ１、ＡＦＥ３、画像処理部５及び圧縮処理部７それぞれに対してタイミング制御信号が与えられ、各部の動作タイミングを同期させ、イメージセンサ１の駆動モードを静止画撮影モードに設定する（ＳＴＥＰ２１０）。イメージセンサ１から出力されるアナログ信号である画像信号（生データ）は、ＡＦＥ３でデジタル信号に変換され、画像処理部５内の前処理部で前処理が施される（ＳＴＥＰ２１１）。前処理とは、各画素位置のＲＧＢ成分を算出する色同時化処理、輝度信号生成処理、色信号生成処理等の処理のことである。画像処理部５において、前処理が施された画像信号に対して階調補正や輪郭強調等の各種画像処理が施され、画像処理が施された信号が圧縮処理部７においてＪＰＥＧ（Joint Photographic Experts Group）形式に圧縮された（ＳＴＥＰ２１２）後、外部メモリ２２に圧縮画像を書き込み（ＳＴＥＰ２１３）、撮影を完了する。その後、プレビューモードに戻る（ＳＴＥＰ２０２）。  Thereafter, when the shutter button is fully pressed (STEP 209), theTG 16 gives timing control signals to the image sensor 1, theAFE 3, the image processing unit 5 and thecompression processing unit 7 to synchronize the operation timing of each unit. Then, the drive mode of the image sensor 1 is set to the still image shooting mode (STEP 210). An image signal (raw data) that is an analog signal output from the image sensor 1 is converted into a digital signal by theAFE 3 and preprocessed by the preprocessing unit in the image processing unit 5 (STEP 211). Pre-processing is processing such as color synchronization processing, luminance signal generation processing, and color signal generation processing that calculates the RGB components at each pixel position. In the image processing unit 5, various types of image processing such as gradation correction and edge enhancement are performed on the pre-processed image signal, and the signal subjected to the image processing is subjected to JPEG (Joint Photographic Experts) in thecompression processing unit 7. After being compressed into the (Group) format (STEP 212), the compressed image is written in the external memory 22 (STEP 213), and the photographing is completed. Thereafter, the process returns to the preview mode (STEP 202).

又、外部メモリ２２に記録された静止画像を再生することが、操作部１９を通じて指示されると、外部メモリ２２に記録された圧縮信号が伸長処理部９において、ＪＰＥＧ圧縮符号方式に基づいて伸長復号されて、画像信号が取得される。そして、画像信号がディスプレイ部１２に与えられて画像が再生される。  When theoperation unit 19 is instructed to reproduce the still image recorded in theexternal memory 22, the decompression processing unit 9 decompresses the compressed signal recorded in theexternal memory 22 based on the JPEG compression code system. The image signal is obtained by decoding. Then, the image signal is given to thedisplay unit 12 to reproduce the image.

（撮像装置の基本動作 動画撮影、再生時）
次に、この撮像装置の動画撮影時の基本動作について図３のフローチャートを用いて説明する。まず、ユーザが撮像装置を静止画撮影用に設定して電源をＯＮにすると（ＳＴＥＰ３０１）、撮像装置の駆動モードつまりイメージセンサ１の駆動モードがプレビューモードに設定される（ＳＴＥＰ３０２）。続いて撮影モードの入力待ち状態となる。撮影モードが入力されない場合は通常撮影用のモードが選択されたものとする。同時に、画像補正処理条件の入力待ち状態となり、ホワイトバランスや露出補正等の画像補正条件がユーザによって選択される。画像補正処理条件が入力されない場合は、条件のうちの一つが自動的に選択される（ＳＴＥＰ３０３）。プレビューモードでは、イメージセンサ１の光電変換動作によって得られたアナログ信号である画像信号がＡＦＥ３においてデジタル信号に変換されて、画像処理部５で前処理及び画像処理が施され、圧縮処理部７で圧縮された現時点の画像に対する画像信号が外部メモリ２２に一時的に記録される。この圧縮信号は、ドライバ部８を経て、伸長処理部９で伸長され、現時点で設定されているレンズ部２のズーム倍率での画角の画像がディスプレイ部１２に表示される。ここで、ディスプレイ部１２で表示される画像は、後述する画像補正設定動作によって設定される表示をするものであってもよい。(Basic operation of the imaging device)
Next, the basic operation of the imaging apparatus during moving image shooting will be described with reference to the flowchart of FIG. First, when the user sets the imaging apparatus for still image shooting and turns on the power (STEP 301), the driving mode of the imaging apparatus, that is, the driving mode of the image sensor 1 is set to the preview mode (STEP 302). Subsequently, the camera enters a shooting mode input waiting state. When the shooting mode is not input, it is assumed that the normal shooting mode is selected. At the same time, the process waits for input of image correction processing conditions, and image correction conditions such as white balance and exposure correction are selected by the user. If no image correction processing condition is input, one of the conditions is automatically selected (STEP 303). In the preview mode, an image signal that is an analog signal obtained by the photoelectric conversion operation of the image sensor 1 is converted into a digital signal by theAFE 3, pre-processing and image processing are performed by the image processing unit 5, and thecompression processing unit 7 performs the processing. An image signal for the compressed current image is temporarily recorded in theexternal memory 22. The compressed signal is expanded by the expansion processing unit 9 via thedriver unit 8, and an image with an angle of view at the zoom magnification of thelens unit 2 set at the present time is displayed on thedisplay unit 12. Here, the image displayed on thedisplay unit 12 may be a display set by an image correction setting operation described later.

続いてユーザが、撮影の対象とする被写体に対して所望の画角となるように、光学ズームでのズーム倍率を設定する（ＳＴＥＰ３０４）。その際、画像処理部５に入力された画像信号を基にＣＰＵ１７によってレンズ部２を制御して、最適な露光制御（Automatic Exposure；ＡＥ）・焦点合わせ制御（オートフォーカス、Auto Focus；ＡＦ）が行われる（ＳＴＥＰ３０５）。  Subsequently, the user sets the zoom magnification with the optical zoom so that the desired angle of view is obtained with respect to the subject to be imaged (STEP 304). At this time, thelens unit 2 is controlled by theCPU 17 based on the image signal input to the image processing unit 5, and optimum exposure control (Automatic Exposure; AE) / focusing control (Auto Focus; AF) is performed. Performed (STEP 305).

その後、操作部１９の録画開始ボタン（シャッターボタン兼用でも構わない）が全押しされ、撮像動作を行うことが指示されると（ＳＴＥＰ３０６）、イメージセンサ１の光電変換動作によって得られたアナログ信号である画像信号がＡＦＥ３に出力される。このとき、イメージセンサ１では、ＴＧ１６からのタイミング制御信号が与えられることによって、水平走査及び垂直走査が行われて、画素毎のデータとなる画像信号が出力される。そして、ＡＦＥ３において、アナログ信号である画像信号（生データ）がデジタル信号に変換されて、画像処理部５内の前処理部で前処理が施される（ＳＴＥＰ３０７）。  Thereafter, when a recording start button (which may be used as a shutter button) of theoperation unit 19 is fully pressed and an instruction to perform an imaging operation is given (STEP 306), an analog signal obtained by the photoelectric conversion operation of the image sensor 1 is used. A certain image signal is output to theAFE 3. At this time, the image sensor 1 receives the timing control signal from theTG 16 to perform horizontal scanning and vertical scanning, and output an image signal as data for each pixel. Then, in theAFE 3, the image signal (raw data) that is an analog signal is converted into a digital signal, and pre-processing is performed by the pre-processing unit in the image processing unit 5 (STEP 307).

画像処理部５で前処理及び画像処理が施された画像信号が圧縮処理部７に与えられる。このとき、マイク４に音声入力されることで得られたアナログ信号である音声信号が、音声処理部６でデジタル信号に変換されて、圧縮処理部７に与えられる。これにより、圧縮処理部７では、デジタル信号である画像信号及び音声信号に対して、ＭＰＥＧ圧縮符号方式に基づいて圧縮符号化し（ＳＴＥＰ３０８）、ドライバ部８に与えて外部メモリ２２に記録させる（ＳＴＥＰ３０９）。画像信号及び音声補正制御を施した音声信号と共に、音声補正制御を施していない音声信号とインデックスとしてその信号を取得した時点のズーム倍率情報も記録してもよい。又、このとき、外部メモリ２２に記録された圧縮信号がドライバ部８によって読み出されて伸長処理部９に与えられて、伸長処理が施されて画像信号が得られる。この画像信号がディスプレイ部１２に与えられて、現在、イメージセンサ１を通じて撮影されている被写体画像が表示される。その後、再び操作部１９の録画開始ボタンが全押しされるとプレビューモードに戻る（ＳＴＥＰ３０２）。  The image signal that has been pre-processed and image-processed by the image processing unit 5 is supplied to thecompression processing unit 7. At this time, an audio signal which is an analog signal obtained by inputting the sound into the microphone 4 is converted into a digital signal by theaudio processing unit 6 and given to thecompression processing unit 7. As a result, thecompression processing unit 7 compresses and encodes the image signal and the audio signal, which are digital signals, based on the MPEG compression coding method (STEP 308), gives thedriver unit 8 and records it in the external memory 22 (STEP 309). ). Along with the image signal and the audio signal subjected to the audio correction control, the audio signal not subjected to the audio correction control and the zoom magnification information at the time when the signal is acquired as an index may be recorded. At this time, the compressed signal recorded in theexternal memory 22 is read by thedriver unit 8 and applied to the decompression processing unit 9, and decompressed to obtain an image signal. This image signal is given to thedisplay unit 12 to display a subject image currently photographed through the image sensor 1. Thereafter, when the recording start button of theoperation unit 19 is fully pressed again, the preview mode is restored (STEP 302).

このように撮像動作を行うとき、ＴＧ１６によって、ＡＦＥ３、画像処理部５、音声処理部６、圧縮処理部７、及び伸長処理部９に対してタイミング制御信号が与えられ、イメージセンサ１による１フレームごとの撮像動作に同期した動作が行われる。  When the imaging operation is performed in this way, a timing control signal is given to theAFE 3, the image processing unit 5, theaudio processing unit 6, thecompression processing unit 7, and the expansion processing unit 9 by theTG 16, and one frame by the image sensor 1. An operation synchronized with each imaging operation is performed.

又、外部メモリ２２に記録された動画を再生することが操作部１９を通じて指示されると、外部メモリ２２に記録された圧縮信号は、ドライバ部８によって読み出されて伸長処理部９に与えられる。そして、伸長処理部９において、ＭＰＥＧ圧縮符号方式に基づいて、伸長復号されて、画像信号及び音声信号が取得される。そして、画像信号がディスプレイ部１２に与えられて画像が再生されるとともに、音声信号が音声出力回路部１３を介してスピーカ部１５に与えられて音声が再生される。これにより、外部メモリ２２に記録された圧縮信号に基づく動画が音声とともに再生される。  In addition, when theoperation unit 19 is instructed to reproduce the moving image recorded in theexternal memory 22, the compressed signal recorded in theexternal memory 22 is read by thedriver unit 8 and given to the decompression processing unit 9. . Then, the decompression processing unit 9 decompresses and decodes the image signal and the audio signal based on the MPEG compression encoding method. Then, the image signal is given to thedisplay unit 12 to reproduce the image, and the audio signal is given to thespeaker unit 15 via the audiooutput circuit unit 13 to reproduce the audio. Thereby, a moving image based on the compressed signal recorded in theexternal memory 22 is reproduced together with the sound.

（画像補正条件設定動作）
次に、本実施形態に係る画像補正設定動作について説明する。図４は本実施形態に係る画像補正設定動作時のディスプレイ部に表示される画像の一例である。(Image correction condition setting operation)
Next, an image correction setting operation according to the present embodiment will be described. FIG. 4 is an example of an image displayed on the display unit during the image correction setting operation according to the present embodiment.

プレビューモードにおいて、撮影者が操作部１９で画質設定を指示すると画像補正条件設定モードとなり、図４に示すようにディスプレイ部１２に表示されている画像３０が縦２列横２行の４個の分割領域に分割され、それぞれに異なる条件の画像補正が施された表示となる。この場合の画像補正としては、ホワイトバランスや露出補正、シャープネスの補正等が挙げられる。ここでは、ホワイトバランスを例に挙げる。尚、ここでは画像３０を４個の分割領域に分割した例を示すが、分割領域の数や配置はこの例の場合に限られない。  In the preview mode, when the photographer instructs the image quality setting with theoperation unit 19, the image correction condition setting mode is set, and theimage 30 displayed on thedisplay unit 12 as shown in FIG. The display is divided into divided areas and each image is corrected under different conditions. Examples of image correction in this case include white balance, exposure correction, and sharpness correction. Here, white balance is taken as an example. Although an example in which theimage 30 is divided into four divided areas is shown here, the number and arrangement of the divided areas are not limited to this example.

各分割領域にはそれぞれ異なるホワイトバランス調整が施され、ホワイトバランスの調整条件を示すアイコンが表示される。図４では各分割領域について、左上は太陽、左下は曇の野外、右上は蛍光灯、右下は白熱灯をそれぞれ光源とする場合についてのホワイトバランス調整を施した画像である。  Each divided area is subjected to a different white balance adjustment, and an icon indicating a white balance adjustment condition is displayed. In FIG. 4, for each divided region, the upper left is the sun, the lower left is the cloudy field, the upper right is the fluorescent light, and the lower right is an image subjected to white balance adjustment when the incandescent light is used as the light source.

そして、この異なった種類のホワイトバランス調整が施された画像が表示された状態で、分割領域のうちの１個に表示される枠カーソル３１を撮影者が操作部１９を操作して所望の調整条件を選択する。枠カーソル３１は分割領域の輪郭に表示される四角形の枠であり、操作部１９を操作することにより例えば左上から左下、右上、右下、そして再び左上の順に移動する。図４は右上の分割領域が選択されている場合を示す。所望の調整条件を選択した後、操作部１９の操作により決定を指示すると選択したホワイトバランス調整が施された元の大きさの画像がディスプレイ部１２に表示される。  The photographer operates theoperation unit 19 to perform a desired adjustment on theframe cursor 31 displayed in one of the divided areas in a state where the image having undergone this different type of white balance adjustment is displayed. Select a condition. Theframe cursor 31 is a quadrangular frame displayed on the outline of the divided area. By operating theoperation unit 19, for example, theframe cursor 31 moves from the upper left to the lower left, the upper right, the lower right, and the upper left again. FIG. 4 shows a case where the upper right divided region is selected. After selecting a desired adjustment condition, when the determination is instructed by operating theoperation unit 19, an image of the original size subjected to the selected white balance adjustment is displayed on thedisplay unit 12.

このように構成することにより、各ホワイトバランスの調整条件を比較することができるため、適切なホワイトバランス調整を容易に選択することが可能となる。  By configuring in this way, it is possible to compare the adjustment conditions of the respective white balances, so that it is possible to easily select an appropriate white balance adjustment.

本実施形態において、各画像補正条件の中間の条件に設定したい場合には、操作部１９１の操作により中間条件設定モードに切り換えて、図５に示すようにディスプレイ部１２に補助線３２及び矢印で示す矢印カーソル３３を表示させる。補助線３２は各分割領域の中央を結ぶ線であり、矢印カーソル３３は補助線３２の一点を指し示す。補正条件は、矢印カーソル３３から補助線３２の各々の端部までの距離を基準として、矢印カーソル３３の位置する補助線３２の両端の補正条件を、矢印カーソル３３に近いほうの補正条件の割り合が多くなるように配分して合成したものである。そして、矢印カーソル３３を移動させることにより各補正条件の中間の条件を選択することが可能となる。矢印カーソル３３は、各分割領域を選択する枠カーソル３１と同じ方向に移動する。この場合、その補正条件での補正が施された画像は表示しなくてもよいし、何れかの分割領域に表示してもよい。表示する場合には、矢印カーソル３３が指している位置が含まれる分割領域に表示してもよいし、矢印カーソル３３が指している補助線３２の位置が含まれる分割領域の斜め方向にある分割領域に表示してもよい。矢印カーソル３３が指している補助線３２の位置が含まれる領域の斜め方向にある分割領域に表示した場合、例えば矢印カーソル３３が図５に表示されている位置を指している場合には右上の分割領域に、左上と左下の補正条件の中間の条件で補正が施された画像を設定することになり、中間の条件とその両端の補正条件とが比較しやすくなる。  In the present embodiment, when it is desired to set an intermediate condition among the image correction conditions, the operation unit 191 is operated to switch to the intermediate condition setting mode, and theauxiliary line 32 and the arrow are displayed on thedisplay unit 12 as shown in FIG. Anarrow cursor 33 is displayed. Theauxiliary line 32 is a line connecting the centers of the divided areas, and thearrow cursor 33 points to one point of theauxiliary line 32. The correction condition is based on the distance from thearrow cursor 33 to each end of theauxiliary line 32, and the correction condition at both ends of theauxiliary line 32 where thearrow cursor 33 is located is assigned to the correction condition closer to thearrow cursor 33. This is a composition that is distributed and combined so that there is a large number of matches. Then, by moving thearrow cursor 33, an intermediate condition among the correction conditions can be selected. Thearrow cursor 33 moves in the same direction as theframe cursor 31 for selecting each divided area. In this case, an image that has been corrected under the correction conditions may not be displayed, or may be displayed in any divided area. In the case of display, it may be displayed in a divided area including the position pointed to by thearrow cursor 33, or in a diagonal direction of the divided area including the position of theauxiliary line 32 pointed to by thearrow cursor 33. It may be displayed in the area. When displayed in the divided area in the diagonal direction of the area including the position of theauxiliary line 32 pointed to by thearrow cursor 33, for example, when thearrow cursor 33 points to the position displayed in FIG. In the divided area, an image that has been corrected under an intermediate condition between the upper left and lower left correction conditions is set, and the intermediate condition and the correction conditions at both ends thereof can be easily compared.

本実施形態において、特定の被写体を検出し、その被写体を拡大してディスプレイ部１２に表示されている画像３０の一部に表示し、その拡大した被写体を複数の領域に分割してそれぞれの領域に異なる条件の画像補正を施してもよい。特定の被写体の検出方法については後述する。図６は、画像３０の右下に、特定の被写体である人物の顔を拡大した拡大部３４を表示した例である。拡大部３４では縦２列横２行の４個の分割領域に分割されている。拡大部３４のそれぞれの分割領域には異なる条件の画像補正が施され、左上は太陽、左下は曇の野外、右上は蛍光灯、右下は白熱灯をそれぞれ光源とする場合についてのホワイトバランス調整を施している。又、それぞれ分割領域には対応するホワイトバランスの調整条件を示すアイコンを表示する。この場合も、ディスプレイ部１２に表示される画像３０の全体を分割して表示した場合と同様に、拡大部３４の分割領域の１個の輪郭に表示される枠カーソル３１又は拡大部３４に表示される補助線３２と補助線３２の一点を指し示す矢印カーソル３３で補正条件を選択するようにすればよい。図６では枠カーソル３１のみを示し、補助線３２及び矢印カーソル３３は示していない。尚、この拡大した部分の画像中での大きさ及び位置は任意である。  In the present embodiment, a specific subject is detected, the subject is enlarged and displayed on a part of theimage 30 displayed on thedisplay unit 12, and the enlarged subject is divided into a plurality of regions. May be subjected to image correction under different conditions. A method for detecting a specific subject will be described later. FIG. 6 is an example in which anenlargement unit 34 in which the face of a person who is a specific subject is enlarged is displayed at the lower right of theimage 30. Theenlargement unit 34 is divided into four divided regions of 2 columns × 2 rows. Each divided area of theenlargement unit 34 is subjected to image correction under different conditions. The white balance adjustment is performed when the upper left is the sun, the lower left is the cloudy field, the upper right is the fluorescent lamp, and the lower right is the incandescent lamp. Has been given. In addition, an icon indicating a corresponding white balance adjustment condition is displayed in each divided area. In this case as well, when theentire image 30 displayed on thedisplay unit 12 is divided and displayed, the image is displayed on theframe cursor 31 or theenlarged unit 34 displayed on one outline of the divided area of theenlarged unit 34. The correction condition may be selected with theauxiliary line 32 and thearrow cursor 33 pointing to one point of theauxiliary line 32. In FIG. 6, only theframe cursor 31 is shown, and theauxiliary line 32 and thearrow cursor 33 are not shown. Note that the size and position of the enlarged portion in the image are arbitrary.

このように、特定の被写体を拡大して表示することによって、例えば人物が画面上で小さく映っている場合には人物の顔色の補正のされ方が比較しやすくなり、適切な補正条件を選択しやすくなる。又、ディスプレイ部１２に表示される画像３０の全体を分割して表示した場合、図４の様に人物が画像３０の中央部に位置している場合にしか顔色の補正条件の比較ができないが、一方、人物の顔を拡大して表示した場合には人物が画像の中央部から外れていても顔色の補正条件を比較することができる。  In this way, by enlarging and displaying a specific subject, for example, when a person appears small on the screen, it is easy to compare how the face color of the person is corrected, and select an appropriate correction condition. It becomes easy. When theentire image 30 displayed on thedisplay unit 12 is divided and displayed, the facial color correction conditions can be compared only when the person is located at the center of theimage 30 as shown in FIG. On the other hand, when the face of a person is enlarged and displayed, the correction conditions for the face color can be compared even if the person is off the center of the image.

又、本実施形態において、特定の被写体を検出し、その被写体を拡大したものを複数ディスプレイ部１２に表示される画像３０中に表示し、それぞれの拡大した被写体に異なる条件画像補正を施してもよい。図７は、ディスプレイ部１２に、特定の被写体である人物の顔を拡大した拡大部３４を縦２列横２行の４個表示した例である。それぞれの拡大部３４には異なる画像補正が施され、左上は太陽、左下は曇の野外、右上は蛍光灯、右下は白熱灯をそれぞれ光源とする場合についてのホワイトバランス調整を施している。又、それぞれの拡大部３４には対応するホワイトバランスの調整条件を示すアイコンを表示する。この場合も、ディスプレイ部１２の全体を分割して表示した場合と同様に、拡大部３４の分割領域の１個の輪郭に表示される枠カーソル３１又は拡大部３４に表示される補助線３２と補助線３２の一点を指し示す矢印カーソル３３で補正条件を選択するようにすればよい。図７では枠カーソル３１のみを示し、補助線３２及び矢印カーソル３３は示していない。尚、ここでは画像３０に拡大部３４を４個表示した例を示すが、拡大部３４の数や配置はこの例の場合に限られない。  In the present embodiment, a specific subject is detected, and an enlarged view of the subject is displayed in theimage 30 displayed on the plurality ofdisplay units 12, and different conditional image corrections are applied to each enlarged subject. Good. FIG. 7 shows an example in which thedisplay unit 12 displays fourenlargement units 34 in which the face of a person as a specific subject is enlarged in two columns and two rows. Eachenlargement unit 34 is subjected to different image corrections, and white balance adjustment is performed for the case where the upper left is the sun, the lower left is the cloudy field, the upper right is a fluorescent lamp, and the lower right is an incandescent lamp. In addition, an icon indicating a corresponding white balance adjustment condition is displayed on eachenlargement unit 34. Also in this case, theframe cursor 31 displayed on one outline of the divided area of theenlargement unit 34 or theauxiliary line 32 displayed on theenlargement unit 34, as in the case where theentire display unit 12 is divided and displayed. The correction condition may be selected with anarrow cursor 33 pointing to one point of theauxiliary line 32. In FIG. 7, only theframe cursor 31 is shown, and theauxiliary line 32 and thearrow cursor 33 are not shown. Here, an example in which fourenlarged portions 34 are displayed on theimage 30 is shown, but the number and arrangement of theenlarged portions 34 are not limited to this example.

このように、特定の被写体を拡大したものを複数表示することによって、例えば光の当たり具合や影の出来具合によって顔の部分毎に顔色が大きく異なるような場合にでも顔全体が補正された状態を比較することができるため、適切な補正条件をより選択しやすくなる。  In this way, by displaying a plurality of magnified images of a specific subject, the entire face is corrected even when the face color varies greatly from face part to face part due to, for example, how light strikes or how much shadow is produced Therefore, it is easier to select an appropriate correction condition.

（顔検出処理）
ここで、この撮像装置の、特定の被写体の検出方法の一例として、顔検出処理について説明する。画像処理部５は顔検出装置４０を備え、入力された画像信号から人物の顔を検出することができる。顔検出装置４０の構成及び動作について以下に説明する。(Face detection process)
Here, face detection processing will be described as an example of a specific subject detection method of the imaging apparatus. The image processing unit 5 includes aface detection device 40 and can detect a person's face from the input image signal. The configuration and operation of theface detection device 40 will be described below.

図８は、顔検出装置４０の構成を示すブロック図である。顔検出装置４０は、ＡＦＥ３によって得られた画像データに基づいて１又は複数の縮小画像を生成する縮小画像生成手段４２、入力画像及び縮小画像から構成される各階層画像とメモリ１８に記憶された顔検出用の重みテーブルとを用いて入力画像に顔が存在するか否かを判定する顔判定手段４５、及び顔判定手段４５の検出結果を出力する検出結果出力手段４６を備えている。検出結果出力手段４６は、顔が検出された場合には、検出された顔の入力画像を基準とする大きさと位置及び顔の大きさから推定したその顔までの距離を出力する。  FIG. 8 is a block diagram illustrating a configuration of theface detection device 40. Theface detection device 40 is stored in thememory 18 and the reduced image generation means 42 that generates one or a plurality of reduced images based on the image data obtained by theAFE 3, each hierarchical image composed of the input image and the reduced image, and thememory 18. Aface determination unit 45 that determines whether or not a face exists in the input image using a face detection weight table, and a detectionresult output unit 46 that outputs a detection result of theface determination unit 45 are provided. When a face is detected, the detection result output means 46 outputs a distance to the face estimated from the size and position of the detected face input image and the size of the face.

又、メモリ１８に記憶された重みテーブルは、大量の教師サンプル（顔及び非顔のサンプル画像）から求められたものである。このような重みテーブルは、例えば、Adaboostと呼ばれる公知の学習方法を利用して作成することができる（Yoav Freund, Robert E. Schapire,"A decision-theoretic generalization of on-line learning and an application to boosting", European Conference on Computational Learning Theory, September 20，1995．）。  The weight table stored in thememory 18 is obtained from a large number of teacher samples (face and non-face sample images). Such a weight table can be created using, for example, a known learning method called Adaboost (Yoav Freund, Robert E. Schapire, “A decision-theoretic generalization of on-line learning and an application to boosting” ", European Conference on Computational Learning Theory, September 20, 1995.).

尚、Adaboostは、適応的なブースティング学習方法の１つで、大量の教師サンプルをもとに、複数の弱識別器候補の中から識別に有効な弱識別器を複数個選択し、それらを重み付けして統合することによって高精度な識別器を実現する学習方法である。ここで、弱識別器とは、全くの偶然よりは識別能力は高いが、十分な精度を満たすほど高精度ではない識別器のことをいう。弱識別器の選択時には、既に選択した弱識別器がある場合、選択済の弱識別器によって誤認識してしまう教師サンプルに対して学習を重点化することによって、残りの弱識別器候補の中から最も効果の高い弱識別器を選択する。  Adaboost is an adaptive boosting learning method. Based on a large number of teacher samples, Adaboost selects multiple weak classifiers that are effective for identification from among a plurality of weak classifier candidates. This is a learning method for realizing a highly accurate classifier by weighting and integrating. Here, a weak classifier refers to a classifier that has a higher discrimination ability than a coincidence but is not high enough to satisfy sufficient accuracy. When a weak classifier is selected, if there is a weak classifier that has already been selected, the learning is focused on the teacher sample that is misrecognized by the selected weak classifier. To select the most effective weak classifier.

図９は、縮小画像生成手段４２によって得られる階層画像の一例を示している。この例では、縮小率を０．８に設定した場合に、生成される複数の階層画像を示している。図９において、５０は入力画像を、５１〜５５は縮小画像を示している。６１は判定領域を示している。この例では、判定領域は縦２４画素、横２４画素の大きさに設定されている。判定領域の大きさは、入力画像及び各縮小画像においても同じである。又、この例では、矢印で示すように、階層画像上で判定領域を左から右に移動させる、水平方向走査を、上方から下方に向かって行うことで、判定領域とマッチングする顔画像の検出を行う。ただし、走査順はこれに限られるものではない。入力画像５０の他に、複数の縮小画像５１〜５５を生成しているのは、１種類の重みテーブルを用いて大きさが異なる顔を検出するためである。  FIG. 9 shows an example of a hierarchical image obtained by the reduced image generating means 42. This example shows a plurality of hierarchical images generated when the reduction ratio is set to 0.8. In FIG. 9, 50 indicates an input image and 51-55 indicate reduced images.Reference numeral 61 denotes a determination area. In this example, the determination area is set to a size of 24 pixels vertically and 24 pixels horizontally. The size of the determination area is the same for the input image and each reduced image. In this example, as indicated by an arrow, a face image matching the determination area is detected by moving the determination area from the left to the right on the hierarchical image and performing horizontal scanning from the top to the bottom. I do. However, the scanning order is not limited to this. The reason why the plurality of reducedimages 51 to 55 are generated in addition to theinput image 50 is to detect faces of different sizes using one kind of weight table.

図１０は顔検出処理を説明するための図である。顔判定手段４５による顔検出処理は、各階層画像について行われるが、処理方法は同様なので、ここでは入力画像５０に対して行なわれる顔検出処理についてのみ説明する。図１０には、入力画像５０と、入力画像内に設定された判定領域６１とを示している。  FIG. 10 is a diagram for explaining the face detection process. The face detection process by theface determination unit 45 is performed for each hierarchical image, but since the processing method is the same, only the face detection process performed on theinput image 50 will be described here. FIG. 10 shows aninput image 50 and adetermination area 61 set in the input image.

各階層画像について行われる顔検出処理は、画像内に設定された判定領域に対応する画像と重みテーブルとを用いて行なわれる。顔検出処理は粗い判定から順次細かい判定に移行する複数の判定ステップからなり、ある判定ステップにおいて、顔が検出されなかった場合には、次の判定ステップには移行せず、当該判定領域には顔は存在しないと判定する。全ての判定ステップにおいて、顔が検出された場合にのみ、当該判定領域に顔が存在すると判定し、判定領域を走査して次の判定領域での判定に移行する。そして、顔が検出されたとき、いずれの階層画像が用いられていたかによって、入力画像を基準とする顔の大きさ及び顔までの距離を推定することができる。このようにして、検出された顔の位置、大きさ及びその顔を有する人物までの距離は検出結果出力手段４６によって出力される。尚、このような顔検出処理については、本願出願人による特許出願である特願２００６−０５３３０４号に詳しく記載されている。  The face detection process performed for each hierarchical image is performed using an image corresponding to the determination region set in the image and a weight table. The face detection process includes a plurality of determination steps that sequentially shift from a rough determination to a fine determination. When a face is not detected in a certain determination step, the process does not proceed to the next determination step, and the determination area includes It is determined that no face exists. In all the determination steps, only when a face is detected, it is determined that a face exists in the determination area, and the determination area is scanned to shift to determination in the next determination area. When a face is detected, the size of the face and the distance to the face can be estimated based on the input image depending on which layer image is used. Thus, the detection result output means 46 outputs the position and size of the detected face and the distance to the person having the face. Such face detection processing is described in detail in Japanese Patent Application No. 2006-053304, which is a patent application filed by the present applicant.

又、特定の被写体が人物の顔であり、画面内に複数の人物が存在している場合には、顔認識機能を用いて、事前に登録された人物の顔を検出してその顔を拡大して表示してもよい。図１１は画面内に複数の人物が存在している場合のプレビュー画像である。対象となる人物の顔には検出されたことを示す枠３８が表示される。事前に登録したこの状態で操作部１９を操作して画像補正条件の選択を決定することにより、対象となる人物の顔を拡大して表示する。又、事前に登録された人物が複数画面内に存在している場合には、それぞれの人物の顔に枠３８を表示し、操作部１９でいずれかの枠３８を選択するようにしてもよいし、画像３０において顔が最も大きく表示されている人物について表示するものとしてもよい。また、画面内に複数の人物が存在しているものの事前に登録された人物が検出されなかった場合は、画像３０において顔が最も大きく表示されている人物について表示するものとしてもよい。  If the specific subject is a person's face and there are multiple persons on the screen, the face recognition function is used to detect the face of the person registered in advance and enlarge the face. May be displayed. FIG. 11 is a preview image when there are a plurality of persons on the screen. Aframe 38 indicating that it has been detected is displayed on the face of the target person. By operating theoperation unit 19 in this state registered in advance and determining the selection of the image correction condition, the target person's face is enlarged and displayed. In addition, when a plurality of pre-registered persons exist in a plurality of screens, aframe 38 may be displayed on each person's face, and any one of theframes 38 may be selected by theoperation unit 19. The person whose face is displayed largest in theimage 30 may be displayed. In addition, when a plurality of persons exist in the screen but a person registered in advance is not detected, the person whose face is displayed largest in theimage 30 may be displayed.

登録された顔を検出する方法としては、例えば主成分分析を用いることができる。主成分分析とは、多変量で表されるデータの統計から一次結合で表現される新たな変量を構成し、互いに無相関な主成分に要約する方法である。この場合、特定の人物の顔の画像データに基づいて画素値と固有ベクトルを算出し、さらに主成分スコア及び写像を導出する。そして、プレビュー画像中から得られた各人物についての写像と、特定の人物についての写像とを比較して最も近い値を持つ人物の顔を同一の人物の顔と認識するものである。  As a method for detecting a registered face, for example, principal component analysis can be used. Principal component analysis is a method of constructing new variables expressed by linear combinations from data statistics expressed in multivariate and summarizing them into uncorrelated principal components. In this case, the pixel value and the eigenvector are calculated based on the image data of the face of a specific person, and the principal component score and mapping are derived. Then, a map of each person obtained from the preview image is compared with a map of a specific person, and the face of the person having the closest value is recognized as the face of the same person.

尚、特定の被写体の検出方法としては、動体追尾を利用してもよい。図１２は動体として動き回る人物を含む画像の一例であり、図１３はこの動き回る人物を拡大して複数表示した画像の一例である。動体追尾により検出された動いている物体を拡大したものをディスプレイ部１２に表示される画像３０中に表示する。この場合、動体追尾を利用することで、特定の被写体が動体であっても、撮影者が対象となる動体を撮影する画像から外さない程度に撮影していれば、その動体を自動的に拡大して表示させることができ、画像補正条件を設定することが容易となる。  Note that moving object tracking may be used as a method for detecting a specific subject. FIG. 12 is an example of an image including a person who moves around as a moving object, and FIG. 13 is an example of an image in which a plurality of persons who move around are enlarged and displayed. An enlarged image of a moving object detected by moving object tracking is displayed in animage 30 displayed on thedisplay unit 12. In this case, by using moving object tracking, even if a specific subject is a moving object, the moving object is automatically enlarged if the photographer shoots it to the extent that it is not removed from the image to be captured. It is easy to set the image correction condition.

動体追尾の方法としては、例えばブロックマッチング法を用いることができる。これは、追尾対象を追尾ブロックとして設定し、これに対して追尾を行うものである。この手法について図１４を参照して簡単に説明する。  As a moving body tracking method, for example, a block matching method can be used. In this method, a tracking target is set as a tracking block, and tracking is performed on this. This method will be briefly described with reference to FIG.

図１４（ａ）において、符号１００は第（ｎ−１）フレーム画像を表し、符号１０１は第（ｎ−１）フレーム画像における着目した追尾ブロックを表す。図１４（ｂ）において、符号１１０は第ｎフレーム画像を表し、符号１１１は第ｎフレーム画像における着目した候補ブロックを表し、符号１１２は候補ブロック１１１が位置しうる探索ブロックを表す。尚、第（ｎ−１）フレーム画像及び第ｎフレーム画像とは、それぞれ第（ｎ−１）番目のフレームの撮影によって得られたフレーム画像及び第ｎ番目のフレームの撮影によって得られたフレーム画像を指す。  In FIG. 14A,reference numeral 100 represents the (n−1) th frame image, andreference numeral 101 represents the tracking block of interest in the (n−1) th frame image. In FIG. 14B,reference numeral 110 represents an nth frame image,reference numeral 111 represents a focused candidate block in the nth frame image, andreference numeral 112 represents a search block where thecandidate block 111 can be located. The (n-1) th frame image and the nth frame image are a frame image obtained by photographing the (n-1) th frame and a frame image obtained by photographing the nth frame, respectively. Point to.

画像処理部５に設けられた追尾部では、追尾ブロック１０１と候補ブロック１１１との間の相関値を算出する。この際、候補ブロック１１１は、探索ブロック１１２内で水平方向又は垂直方向に１画素ずつ移動させられ、その移動の度に相関値が算出される。相関値は、例えば、追尾ブロック１０１と候補ブロック１１１との間における、各画素の輝度差の絶対値の総和とされる。この相関値は、一般的にＳＡＤ（Sum of Absolute Difference）と呼ばれる。相関値として、輝度差の２乗和（Sum of Squared Difference)を用いてもよい。  The tracking unit provided in the image processing unit 5 calculates a correlation value between the trackingblock 101 and thecandidate block 111. At this time, thecandidate block 111 is moved one pixel at a time in the horizontal direction or the vertical direction in thesearch block 112, and a correlation value is calculated for each movement. The correlation value is, for example, the sum of absolute values of luminance differences between the pixels between the trackingblock 101 and thecandidate block 111. This correlation value is generally called SAD (Sum of Absolute Difference). As the correlation value, a sum of squared difference of luminance differences may be used.

相関値は、追尾ブロック１０１の画像と候補ブロック１１１の画像との間の相関が高いほど小さくなる。したがって、相関値が最も小さくなる候補ブロック１１１の位置を求めれば、追跡ブロック１０１が、第ｎフレーム画像内のどこに位置しているかを求めることができると共に、第（ｎ−１）フレーム画像と第ｎフレーム画像間の追尾ブロック１０１の動きベクトルが求められる。隣接するフレーム間で動きベクトルを繰り返し求め、動きベクトルに応じて追跡ブロックを逐次移動させることにより、追跡ブロック内に収まる移動物体を追跡することができる。尚、このような動体追尾処理については、本願出願人による特許出願である特願２００６−２９２１７１号に詳しく記載されている。  The correlation value decreases as the correlation between the image of thetracking block 101 and the image of thecandidate block 111 increases. Therefore, if the position of thecandidate block 111 having the smallest correlation value is obtained, it is possible to obtain where thetracking block 101 is located in the nth frame image, and the (n−1) th frame image and the 1st frame image. A motion vector of thetracking block 101 between n frame images is obtained. By repeatedly obtaining a motion vector between adjacent frames and sequentially moving the tracking block according to the motion vector, it is possible to track a moving object that falls within the tracking block. Such moving body tracking processing is described in detail in Japanese Patent Application No. 2006-292171, which is a patent application filed by the present applicant.

以上、画像補正の設定を、プレビュー画像について設定する場合について説明したが、撮影後の画像を表示している場合において、上述の方法で補正条件を選択するようにしてもよい。この場合、補正した画像で補正する前の画像を置き換えてもよいし、補正する前の画像とともに補正した画像を保存するようにしてもよい。  As described above, the case where the image correction setting is set for the preview image has been described. However, when the image after shooting is displayed, the correction condition may be selected by the above-described method. In this case, the image before correction may be replaced with the corrected image, or the corrected image may be stored together with the image before correction.

又、複数の領域に異なる補正条件が施された画面が表示されている際に、画像処理部５で自動的に良いと判断した設定条件の順に並べ替えたものを表示してもよい。例えば、最も良いと判断したものを左上に配置し、左下、右上、右下の順に劣ると判断したものを配置する。判断基準としては、例えば各領域の平均輝度や色が所定の基準値からどの程度離れているかを用いることができる。特定の被写体が顔である場合には各領域の色が適正な肌色に各領域の色が近いかどうかを用いることができる。  Further, when a screen on which different correction conditions are applied to a plurality of areas is displayed, the screens may be displayed in the order of the setting conditions determined to be automatically good by the image processing unit 5. For example, the one determined to be the best is arranged in the upper left, and the one determined to be inferior in the order of lower left, upper right, and lower right. As a determination criterion, for example, how far the average luminance or color of each region is from a predetermined reference value can be used. When the specific subject is a face, it can be used whether the color of each area is close to the appropriate skin color.

（画像再生装置）
尚、本実施形態において、図１に示すような構成の撮像装置を例に挙げて、本発明における画像処理方法について説明したが、本発明は撮像装置のみに利用されるものとは限られない。例えば、画像処理の可能な液晶ディスプレイやプラズマテレビ等の表示装置や画像処理の可能なＤＶＤプレーヤやビデオデッキ等の再生装置のような、映像の出力が可能な画像再生装置においても、本発明における画像補正条件の設定動作を利用可能である。図１５に、本実施形態に係る画像補正条件の設定動作を行う画像処理装置（上述の撮像装置における「画像処理部」に相当）を備えた画像再生装置の一例を示す。(Image playback device)
In the present embodiment, the image processing method according to the present invention has been described using the image pickup apparatus having the configuration shown in FIG. 1 as an example. However, the present invention is not limited to being used only for the image pickup apparatus. . For example, the present invention also applies to an image reproduction apparatus capable of outputting video, such as a display apparatus such as a liquid crystal display capable of image processing or a plasma television, or a reproduction apparatus such as a DVD player or a video deck capable of image processing. An image correction condition setting operation can be used. FIG. 15 shows an example of an image reproduction apparatus including an image processing apparatus (corresponding to an “image processing unit” in the above-described imaging apparatus) that performs an operation for setting image correction conditions according to the present embodiment.

図１５に示す画像再生装置は、図１に示す撮像装置と同様に、ドライバ部８、伸長処理部９、ビデオ出力回路部１０、ビデオ出力端子１１、ディスプレイ部１２、音声出力回路部１３、音声出力端子１４、スピーカ部１５、ＴＧ１６、ＣＰＵ１７、メモリ１８、操作部１９、及び外部メモリ２２を備える。ディスプレイ部１２は画像再生装置に内蔵されたものであっても、外付けのものであっても構わない。そして、図１の撮像装置とは異なり、画像処理部５に代えて伸長処理部９で取得した画像信号を処理する画像処理装置５ａを備える。画像処理装置５ａは、図１の画像処理部５と同様の構成である。外部メモリ２２から出力された画像信号に対して、画像処理装置５ａにおいて本実施形態に係る画像補正条件の設定動作を行うことができる。  The image reproducing apparatus shown in FIG. 15 is similar to the imaging apparatus shown in FIG. 1 in that thedriver unit 8, the decompression processing unit 9, the videooutput circuit unit 10, the video output terminal 11, thedisplay unit 12, the audiooutput circuit unit 13, the audio Anoutput terminal 14, aspeaker unit 15, aTG 16, aCPU 17, amemory 18, anoperation unit 19, and anexternal memory 22 are provided. Thedisplay unit 12 may be built in the image reproduction apparatus or may be external. Unlike the image pickup apparatus of FIG. 1, animage processing apparatus 5 a that processes the image signal acquired by the expansion processing unit 9 is provided instead of the image processing unit 5. Theimage processing device 5a has the same configuration as the image processing unit 5 in FIG. An image correction condition setting operation according to the present embodiment can be performed on the image signal output from theexternal memory 22 in theimage processing apparatus 5a.

なお、本発明の実施形態において、図１の画像処理部５及び図１５の画像処理装置５ａは、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。  In the embodiment of the present invention, the image processing unit 5 in FIG. 1 and theimage processing apparatus 5a in FIG. 15 can be realized by hardware or a combination of hardware and software.

（変形例）
又、本発明における画像処理の変形例について、図１６を用いて説明する。図１６は図７と同様の図であり、ディスプレイ部１２に、被写体である人物の顔を拡大した拡大部３４を縦２列横２行の４個表示した例について示したものである。なお、本変形例は、画像の特定部位のみに対して画像処理を行う点において、上述した画像処理例と異なる。(Modification)
A modification of the image processing in the present invention will be described with reference to FIG. FIG. 16 is a diagram similar to FIG. 7, and shows an example in which thedisplay unit 12 displays fourenlarged units 34 in which the face of the person who is the subject is enlarged in two columns and two rows. This modification is different from the above-described image processing example in that image processing is performed only on a specific part of the image.

具体的には、上述の画像処理例は、ホワイトバランスや露出補正、シャープネスなどの特に画像全体に効果が反映されるものに対して行うものである。しかしながら、本発明は、図１６に示すように画像中の特定部位（例えば、被写体の局部）のみに対して画像処理を行う場合においても適用可能である。以下では、このような特定部位に対してのみ行われる画像処理を局部画像処理として説明するとともに、被写体が人物の顔である場合について説明する。  Specifically, the above-described image processing example is performed on an image whose effect is reflected on the entire image, such as white balance, exposure correction, and sharpness. However, the present invention can also be applied to a case where image processing is performed only on a specific part (for example, a local area of a subject) in an image as shown in FIG. In the following, image processing performed only for such specific parts will be described as local image processing, and a case where the subject is a human face will be described.

図１６（ａ）は、被写体の一部（本例では眉及びまぶた）を変形させる種々の局部画像処理を行った場合を示している。また、図１６（ｂ）では、被写体の表情を変化させる局部画像処理や、被写体に飾りを付加する局部画像処理を行った場合について示している。  FIG. 16A shows a case where various local image processes for deforming a part of a subject (in this example, eyebrows and eyelids) are performed. FIG. 16B shows a case where local image processing for changing the facial expression of the subject and local image processing for adding decoration to the subject are performed.

このような局部画像処理を行う場合、被写体の検出には、例えば上述した顔検出や顔認識機能を用いることができる。そして、検出された顔領域を歪ませる（例えば、目元や口元を上げる又は下げる）などの画像処理を行って被写体の表情を変化させたり、検出した顔領域に対して涙や付け耳などの飾りを付加する局部画像処理を施したりするとともに、局部画像処理を施した被写体画像の拡大部３４をディスプレイ１２に表示する。  When such local image processing is performed, for example, the above-described face detection or face recognition function can be used to detect a subject. Then, image processing such as distorting the detected face area (for example, raising or lowering the eyes or mouth) is performed to change the facial expression of the subject, or decorations such as tears and false ears are detected on the detected face area Local image processing to which the subject image is added, and anenlarged portion 34 of the subject image subjected to the local image processing is displayed on thedisplay 12.

即ち、画像処理を施した被写体画像を拡大してディスプレイ１２に表示する点については、上述した画像処理例と同様である。  That is, the subject image that has been subjected to image processing is enlarged and displayed on thedisplay 12 in the same manner as in the image processing example described above.

以上のような構成とすることによって、被写体にのみ局部画像処理を施すことができるため、様々な画像を得ることが可能となる。また、局部画像処理が施される被写体を拡大して表示することで、局部画像処理が施された被写体画像を確認することが容易となる。  With the above configuration, local image processing can be performed only on the subject, so that various images can be obtained. Further, by enlarging and displaying the subject on which the local image processing is performed, it becomes easy to check the subject image on which the local image processing has been performed.

なお、複数表示される画像の中に、局部画像処理を施さない画像を含ませてもよい。このような構成とすることで、それぞれの局部画像処理の効果をユーザに明確に認識させることができる。  Note that an image that is not subjected to local image processing may be included in a plurality of displayed images. With such a configuration, the effect of each local image processing can be clearly recognized by the user.

また、ホワイトバランスなどの画像全体に効果が反映される画像処理と、本変形例における局部画像処理と、を組み合わせて処理した画像をディスプレイ１２に表示する構成としてもよい。例えば、図６や図７などに示すような全体的な画像処理を施した画像を表示する際に、ある局部画像処理を施した被写体の拡大画像を表示してもよい。このように構成することによって、局部画像処理による違和感が低減される画像処理方法をユーザに確認させ、選択させることが可能となる。  Further, a configuration may be adopted in which an image processed by combining image processing in which the effect is reflected on the entire image such as white balance and local image processing in this modification is displayed on thedisplay 12. For example, when displaying an image subjected to overall image processing as shown in FIGS. 6 and 7, an enlarged image of a subject subjected to certain local image processing may be displayed. With this configuration, it is possible to allow the user to check and select an image processing method that reduces the uncomfortable feeling caused by local image processing.

また、ユーザによって選択された全体的な画像処理によって補正された画像の画素のパラメータ（例えば、輝度値や色情報など）に基づいて、局部画像処理のパラメータ（例えば、付加する飾りの輝度値や色情報など）を決定するとともに、図１６のように種々の局部画像処理を施した画像を表示してもよい。このように構成することによって、局部画像処理によって得られる画像が全体画像に対して馴染むものとなるため、違和感が低減された画像を得ることが可能となる。  Further, based on the pixel parameters of the image (for example, luminance values and color information) corrected by the overall image processing selected by the user, the parameters of the local image processing (for example, the luminance value of the decoration to be added, Color information, etc.) may be determined, and an image subjected to various local image processing may be displayed as shown in FIG. With this configuration, an image obtained by local image processing becomes familiar with the entire image, and thus an image with a reduced sense of discomfort can be obtained.

また、上述した局部画像処理は、画像を歪ませたり飾りを付加したりする画像処理に限られない。例えば、特定部位の輝度や色情報を変化させたりする画像処理などであってもよい。また、上述した動体追尾を利用して動体を検出するとともに拡大して表示し、その動体に対して局部画像処理を行うこととしてもよい。  The local image processing described above is not limited to image processing that distorts an image or adds decorations. For example, image processing that changes the luminance or color information of a specific part may be used. Alternatively, the moving object tracking described above may be used to detect and enlarge the moving object, and local image processing may be performed on the moving object.

以上、本発明における画像処理装置や撮像装置、画像再生装置の実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができる。  The embodiments of the image processing apparatus, the imaging apparatus, and the image reproduction apparatus according to the present invention have been described above. However, the scope of the present invention is not limited to this, and various modifications can be made without departing from the spirit of the invention. Can be executed.

本発明は、画質補正処理を行う画像処理装置、撮像装置及び画像再生装置に適用することができる。  The present invention can be applied to an image processing apparatus, an imaging apparatus, and an image reproduction apparatus that perform image quality correction processing.

は、本発明の撮像装置の内部構成を示すブロック図である。These are block diagrams which show the internal structure of the imaging device of this invention.は、本発明の撮像装置の静止画撮影時の基本動作を説明するためのフローチャートである。These are the flowcharts for demonstrating the basic operation | movement at the time of the still image photography of the imaging device of this invention.は、本発明の撮像装置の動画撮影時の基本動作を説明するためのフローチャートである。These are the flowcharts for demonstrating the basic operation | movement at the time of the movie recording of the imaging device of this invention.は、画像全体を４個の分割領域に分割した画像の一例である。Is an example of an image obtained by dividing the entire image into four divided regions.は、図４の画像に補助線及び矢印カーソルを配置した画像の一例である。FIG. 4 is an example of an image in which auxiliary lines and arrow cursors are arranged in the image of FIG.は、画像の右下に、特定の被写体を拡大し分割して配置した画像の一例である。Is an example of an image in which a specific subject is enlarged and divided in the lower right of the image.は、画像の全体に、特定の被写体を拡大したものを複数配置した画像の一例である。Is an example of an image in which a plurality of enlarged images of a specific subject are arranged on the entire image.は、顔検出装置の構成を示すブロック図である。These are block diagrams which show the structure of a face detection apparatus.は、縮小画像生成手段によって得られる階層画像の一例である。Is an example of a hierarchical image obtained by the reduced image generating means.は、顔検出処理を説明するための図である。FIG. 10 is a diagram for explaining face detection processing;は、画面内に複数の人物が含まれる画像の一例である。Is an example of an image including a plurality of persons in the screen.は、被写体に動体を含む画像の一例である。Is an example of an image including a moving object in a subject.は、動体を特定の被写体として拡大したものを複数表示した画像の一例である。These are examples of images displaying a plurality of magnified moving objects as specific subjects.は、動体追尾を説明するための図である。These are the figures for demonstrating moving body tracking.は、本発明の画像再生装置の内部構成を示すブロック図である。These are block diagrams which show the internal structure of the image reproducing device of the present invention.は、画像の全体に、特定の被写体を拡大したものを複数配置した画像の一例である。Is an example of an image in which a plurality of enlarged images of a specific subject are arranged on the entire image.

符号の説明Explanation of symbols

１ イメージセンサ
２ レンズ部
３ ＡＦＥ
４ マイク
５ 画像処理部
５ａ 画像処理装置
６ 音声処理部
７ 圧縮処理部
８ ドライバ部
９ 伸長処理部
１０ ビデオ出力回路部
１１ ビデオ出力端子
１２ ディスプレイ部
１３ 音声出力回路部
１４ 音声出力端子
１５ スピーカ部
１６ タイミングジェネレータ（ＴＧ）
１７ ＣＰＵ
１８ メモリ
１９ 操作部
２０ バス回線
２１ バス回線
２２ 外部メモリ
３０ 画像
３１ 枠カーソル
３２ 補助線
３３ 矢印カーソル
３４ 拡大部
３８ 枠
４０ 顔検出装置
４２ 縮小画像生成手段
４５ 顔判定手段
４６ 検出結果出力手段
５０ 入力画像
５１ 縮小画像
５２ 縮小画像
５３ 縮小画像
５４ 縮小画像
５５ 縮小画像
６１ 判定領域DESCRIPTION OF SYMBOLS 1Image sensor 2Lens part 3 AFE
4 microphone 5image processing unit 5aimage processing device 6audio processing unit 7compression processing unit 8 driver unit 9expansion processing unit 10 video output circuit unit 11video output terminal 12display unit 13 audiooutput circuit unit 14audio output terminal 15speaker unit 16 Timing generator (TG)
17 CPU
DESCRIPTION OFSYMBOLS 18Memory 19Operation part 20Bus line 21Bus line 22External memory 30Image 31Frame cursor 32Auxiliary line 33Arrow cursor 34Enlargement part 38Frame 40Face detection device 42 Reduced image generation means 45 Face determination means 46 Detection result output means 50Input Image 51Reduced image 52Reduced image 53Reduced image 54Reduced image 55Reduced image 61 Determination area

Claims (11)

Translated fromJapanese

複数の被写体を含む撮像画像に画像処理を施す画像処理部と、前記撮像画像に含まれる被写体のうち特定の被写体を検出する特定被写体検出部と、を備える画像処理装置であって、
前記撮像画像の一部に複数の領域を設け、前記複数の領域に前記特定被写体検出部で検出した特定の被写体を拡大したものを表示し、前記複数の領域の各々に異なる条件の画像処理を施すことを特徴とする画像処理装置。An image processing apparatus comprising: an image processing unit that performs image processing on a captured image including a plurality of subjects; and a specific subject detection unit that detects a specific subject among subjects included in the captured image.
A plurality of areas are provided in a part of the captured image, an enlarged view of the specific subject detected by the specific subject detection unit is displayed in the plurality of areas, and image processing under different conditions is performed on each of the plurality of areas. An image processing apparatus. 前記特定の被写体が、事前に前記特定被写体検出部に登録された被写体であることを特徴とする請求項１に記載の画像処理装置。  The image processing apparatus according to claim 1, wherein the specific subject is a subject registered in advance in the specific subject detection unit. 前記特定の被写体が、人物の顔であることを特徴とする請求項１又は請求項２に記載の画像処理装置。  The image processing apparatus according to claim 1, wherein the specific subject is a human face. 前記特定の被写体が、動体であることを特徴とする請求項１に記載の画像処理装置。  The image processing apparatus according to claim 1, wherein the specific subject is a moving object. 前記特定の被写体が前記撮像画像に複数含まれる場合に、前記特定の被写体の前記撮像画像中での大きさが最も大きいものを前記複数の領域に表示することを特徴とする請求項１〜４のいずれかに記載の画像処理装置。  The plurality of specific subjects are displayed in the plurality of regions, when a plurality of the specific subjects are included in the picked-up image. An image processing apparatus according to any one of the above. 前記複数の領域を、前記画像信号の特性値の順に並べることを特徴とする請求項１〜５のいずれかに記載の画像処理装置。  The image processing apparatus according to claim 1, wherein the plurality of regions are arranged in order of characteristic values of the image signal. 前記複数の領域が、前記特定の被写体を拡大したものを分割したものであることを特徴とする、請求項１〜６のいずれかに記載の画像処理装置。  The image processing apparatus according to claim 1, wherein the plurality of areas are obtained by dividing an enlargement of the specific subject. 前記複数の領域の各々が、前記特定の被写体を拡大したものであることを特徴とする、請求項１〜６のいずれかに記載の画像処理装置。  The image processing apparatus according to claim 1, wherein each of the plurality of regions is an enlargement of the specific subject. 撮像画像に画像処理を施す画像処理部を備える画像処理装置であって、
前記撮像画像を複数の領域に分割し、各領域に異なる条件の画像処理を施したものを、前記撮像画像中に配置することを特徴とする画像処理装置。An image processing apparatus including an image processing unit that performs image processing on a captured image,
An image processing apparatus, wherein the captured image is divided into a plurality of regions, and each region subjected to image processing under different conditions is arranged in the captured image. 前記撮像画像を撮像する撮像部と、
請求項１〜９のいずれかに記載の画像処理装置と、
前記画像処理装置で生成した画像処理を施した前記複数の領域を含む画像を表示する表示部と、
を備え、前記複数の領域に施される画像処理条件に基づく画像処理を施した前記撮像画像を記録することを特徴とする撮像装置。An imaging unit that captures the captured image;
An image processing device according to any one of claims 1 to 9,
A display unit for displaying an image including the plurality of regions subjected to image processing generated by the image processing device;
And an image processing apparatus that records the captured image subjected to image processing based on image processing conditions applied to the plurality of regions. 請求項１〜９のいずれかに記載の画像処理装置と、
前記画像処理装置で生成した画像処理を施した前記複数の領域を含む画像を表示する表示部と、
を備え、前記複数の領域に施される画像処理条件に基づく画像処理を施した前記撮像画像を表示することを特徴とする画像再生装置。An image processing device according to any one of claims 1 to 9,
A display unit for displaying an image including the plurality of regions subjected to image processing generated by the image processing device;
And displaying the captured image that has been subjected to image processing based on image processing conditions applied to the plurality of regions.

Images