JP2009004893A - Image processor and imaging system equipped with same - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processor capable of performing color reproduction wherein color noise is less emphasized even when noise is amplified by variation of a luminance signal, and an imaging system equipped with the same. <P>SOLUTION: The image processor which grayscale-converts and outputs an input video signal has a color space conversion means of converting the video signal into a color space comprising a luminance signal, a hue signal, and a saturation signal, an area information calculation means of calculating information on an area in an image represented with the video signal, a grayscale conversion means of grayscale-converting the luminance signal converted by the color space conversion means to generate a luminance signal after the grayscale conversion, and a correction information calculation means of calculating correction information based upon the luminance signals before and after the grayscale conversion and the information on the area, and corrects the saturation signal corresponding to the computed luminance signal after the grayscale conversion using the correction information. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

Translated fromJapanese

本発明は、映像信号の色信号処理を行う画像処理装置およびこれを備える撮像システムに関するものである。  The present invention relates to an image processing apparatus that performs color signal processing of a video signal and an imaging system including the same.

現在のデジタルスチルカメラやビデオカメラ等の撮像系の信号処理において、映像の輝度信号を階調変換処理するという処理がしばしば行われる。その際、自然な色再現のために、輝度信号の変化に対応して彩度信号を抑制する手法が用いられている。  In the current signal processing of an imaging system such as a digital still camera or a video camera, a process of gradation conversion processing of a luminance signal of an image is often performed. At that time, in order to reproduce natural colors, a technique for suppressing the saturation signal corresponding to the change of the luminance signal is used.

従来技術において、補正前後の輝度値を用いて彩度値を補正する方法が開示されている（例えば、特許文献１参照）。また、階調変換前後の最大彩度値に基づいて彩度補正を行う方法が開示されている（特許文献２参照）。
特開２００３−１６２７１５号公報特開２００４−３１２４６７号公報In the prior art, a method of correcting a saturation value using luminance values before and after correction is disclosed (for example, see Patent Document 1). Further, a method for performing saturation correction based on the maximum saturation value before and after gradation conversion is disclosed (see Patent Document 2).
JP 2003-162715 A JP 2004-31467 A

上記の方法によれば、輝度信号の変化に応じた自然な色再現は可能となる。しかし、特に暗部の輝度信号が強調された場合にはノイズ成分も増幅されてしまうため、色ノイズが強調されるという問題があった。  According to the above method, natural color reproduction according to the change of the luminance signal becomes possible. However, particularly when the luminance signal in the dark part is enhanced, the noise component is also amplified, so that there is a problem that the color noise is enhanced.

本発明は、上記問題に鑑みてなされたもので、輝度信号の変化によりノイズが増幅される場合にも、色ノイズが強調されることを低減した色再現を可能とする画像処理装置およびこれを備える撮像システムを提供することを目的とする。  The present invention has been made in view of the above problems, and an image processing apparatus that enables color reproduction with reduced enhancement of color noise even when the noise is amplified by a change in luminance signal, and the image processing apparatus. An object is to provide an imaging system provided.

上記課題を解決するために、本発明は以下の手段を採用する。
本発明に係る画像処理装置は、入力された映像信号を階調変換して出力する画像処理装置であって、前記映像信号を輝度信号、色相信号、および彩度信号からなる色空間へ変換する色空間変換手段と、前記映像信号で表される画像中の領域の情報を算出する領域情報算出手段と、前記色空間変換手段によって変換された前記輝度信号に対して階調変換を行って階調変換後の輝度信号を生成する階調変換手段と、前記色空間変換手段によって変換された前記輝度信号および前記色相信号を用いて第１の最大彩度信号を算出するとともに、前記色空間変換手段によって変換された前記色相信号および前記階調変換手段によって生成された前記階調変換後の輝度信号を用いて第２の最大彩度信号を算出する最大彩度算出手段と、前記色空間変換手段によって変換された前記輝度信号、前記階調変換手段によって生成された前記階調変換後の輝度信号、および前記領域情報算出手段によって算出された前記領域の情報に基づいて補正情報を算出する補正情報算出手段と、前記最大彩度算出手段によって算出された前記第１の最大彩度信号および前記第２の最大彩度信号と前記補正情報算出手段によって算出された前記補正情報とに基づいて、前記色空間変換手段によって変換された前記彩度信号の補正を行う彩度補正手段と、を有することを特徴とする。In order to solve the above problems, the present invention employs the following means.
An image processing apparatus according to the present invention is an image processing apparatus that performs gradation conversion on an input video signal and outputs the converted video signal into a color space composed of a luminance signal, a hue signal, and a saturation signal. Color space conversion means, area information calculation means for calculating area information in the image represented by the video signal, and gradation conversion on the luminance signal converted by the color space conversion means A tone conversion unit that generates a luminance signal after tone conversion; a first maximum saturation signal is calculated using the luminance signal and the hue signal converted by the color space conversion unit; and the color space conversion Maximum saturation calculation means for calculating a second maximum saturation signal using the hue signal converted by the means and the luminance signal after the gradation conversion generated by the gradation conversion means; and the color space conversion means Correction information for calculating correction information based on the luminance signal thus converted, the luminance signal after the gradation conversion generated by the gradation conversion means, and the area information calculated by the area information calculation means Based on the calculation means, the first maximum saturation signal and the second maximum saturation signal calculated by the maximum saturation calculation means, and the correction information calculated by the correction information calculation means, And saturation correction means for correcting the saturation signal converted by the color space conversion means.

このような画像処理装置によれば、色相信号、彩度信号、および階調変換前後の輝度信号を用いて階調変換後の輝度信号に対応する彩度信号を演算すると共に、各信号に含まれるノイズ等の領域情報および階調変換前後の輝度信号を用いて補正情報を算出し、演算した階調変換後の輝度信号に対応する彩度信号に対して補正情報を用いて補正を行うことによって補正彩度信号を算出する。これにより、補正彩度信号についてもノイズ等の領域情報が反映されるので、階調変換処理によって色ノイズが増幅されるような場合においても、色ノイズを低減した高品位な映像信号を算出することができる。  According to such an image processing apparatus, the hue signal, the saturation signal, and the luminance signal before and after the gradation conversion are used to calculate the saturation signal corresponding to the luminance signal after the gradation conversion and are included in each signal. Correction information is calculated using the area information such as noise and the luminance signal before and after the gradation conversion, and the saturation signal corresponding to the calculated luminance signal after the gradation conversion is corrected using the correction information. To calculate a corrected saturation signal. As a result, the area information such as noise is also reflected in the corrected saturation signal, so even when the color noise is amplified by the gradation conversion process, a high-quality video signal with reduced color noise is calculated. be able to.

本発明に係る撮像システムは、上記の画像処理装置を備えることを特徴とする。  An imaging system according to the present invention includes the above-described image processing apparatus.

本発明によれば、階調変換処理によって色ノイズが増幅されるような場合においても、色ノイズを低減した高品位な映像信号を算出することができる。  According to the present invention, it is possible to calculate a high-quality video signal with reduced color noise even when the color noise is amplified by gradation conversion processing.

［第１の実施形態］
以下に、本発明の第１の実施形態に係る画像処理装置およびこれを備える撮像システムについて、図面を参照して説明する。
図１は本実施形態に係る撮像システムの概略構成図である。
撮像システム１は、撮像装置２と、画像処理装置３とを主な構成要素として備えている。
撮像装置２は、レンズ系１００、絞り１０１、ＡＦモータ１０２、カラーフィルタ１０３、およびＣＣＤ１０４を備えている。
画像処理装置３は、Ａ／Ｄ変換器１０５、バッファ１０６、撮影制御部１０７、信号処理部１０８、領域分割部（領域分割手段）１１９、色空間変換部（色空間変換手段）１０９、階調変換部（階調変換手段）１１０、補正情報算出部（補正情報算出手段）１１１、最大彩度算出部（最大彩度算出手段）１１２、領域情報算出部（領域情報算出手段）１１３、彩度補正部（彩度作成手段）１１４、圧縮部１１５、出力部１１６、制御部１１７、および外部Ｉ／Ｆ部１１８を備えている。[First Embodiment]
Hereinafter, an image processing apparatus according to a first embodiment of the present invention and an imaging system including the same will be described with reference to the drawings.
FIG. 1 is a schematic configuration diagram of an imaging system according to the present embodiment.
Theimaging system 1 includes animaging device 2 and an image processing device 3 as main components.
Theimaging device 2 includes alens system 100, an aperture 101, an AF motor 102, a color filter 103, and aCCD 104.
The image processing apparatus 3 includes an A /D converter 105, abuffer 106, aphotographing control unit 107, asignal processing unit 108, a region dividing unit (region dividing unit) 119, a color space converting unit (color space converting unit) 109, a gradation Conversion unit (gradation conversion unit) 110, correction information calculation unit (correction information calculation unit) 111, maximum saturation calculation unit (maximum saturation calculation unit) 112, region information calculation unit (region information calculation unit) 113, saturation A correction unit (saturation creation means) 114, acompression unit 115, anoutput unit 116, acontrol unit 117, and an external I /F unit 118 are provided.

撮像装置２と画像処理装置３とは、画像処理装置３内のＡ／Ｄ変換器１０５および撮影制御部１０７を介して接続している。
撮像装置２に接続された撮影制御部１０７は、絞り１０１、ＡＦモータ１０２、およびＣＣＤ１０４へ接続している。信号処理部１０８は領域分割部１１９へ接続している。領域分割部１１９は色空間変換部１０９へ接続している。色空間変換部１０９は階調変換部１１０、補正情報算出部１１１、最大彩度算出部１１２および領域情報算出部１１３へ接続している。階調変換部１１０は補正情報算出部１１１、最大彩度算出部１１２および彩度補正部１１４へ接続している。補正情報算出部１１１は彩度補正部１１４へ接続しており、最大彩度算出部１１２は彩度補正部１１４へ接続している。領域情報算出部１１３は補正情報算出部１１１へ接続している。彩度補正部１１４は圧縮部１１５へ接続している。圧縮部１１５は出力部１１６へ接続している。マイクロコンピュータなどの制御部１１７は、撮影制御部１０７、信号処理部１０８、色空間変換部１０９、階調変換部１１０、補正情報算出部１１１、最大彩度算出部１１２、領域情報算出部１１３、彩度補正部１１４、領域分割部１１９および圧縮部１１５と双方向に接続している。さらに、電源スイッチ、シャッターボタン、撮影時の各種モードの切り替えを行うためのインターフェースを備えた外部Ｉ／Ｆ部１１８も制御部１１７と双方向に接続している。Theimaging device 2 and the image processing device 3 are connected via an A /D converter 105 and aphotographing control unit 107 in the image processing device 3.
Theimaging control unit 107 connected to theimaging device 2 is connected to the aperture 101, the AF motor 102, and theCCD 104. Thesignal processing unit 108 is connected to thearea dividing unit 119. Thearea dividing unit 119 is connected to the colorspace conversion unit 109. The colorspace conversion unit 109 is connected to thegradation conversion unit 110, the correctioninformation calculation unit 111, the maximumsaturation calculation unit 112, and the regioninformation calculation unit 113. Thegradation conversion unit 110 is connected to the correctioninformation calculation unit 111, the maximumsaturation calculation unit 112, and thesaturation correction unit 114. The correctioninformation calculation unit 111 is connected to thesaturation correction unit 114, and the maximumsaturation calculation unit 112 is connected to thesaturation correction unit 114. The areainformation calculation unit 113 is connected to the correctioninformation calculation unit 111. Thesaturation correction unit 114 is connected to thecompression unit 115. Thecompression unit 115 is connected to theoutput unit 116. Acontrol unit 117 such as a microcomputer includes ashooting control unit 107, asignal processing unit 108, a colorspace conversion unit 109, agradation conversion unit 110, a correctioninformation calculation unit 111, a maximumsaturation calculation unit 112, an areainformation calculation unit 113, Thesaturation correction unit 114, theregion division unit 119, and thecompression unit 115 are connected bidirectionally. Further, an external I /F unit 118 having a power switch, a shutter button, and an interface for switching various modes at the time of shooting is also connected to thecontrol unit 117 in two directions.

上記構成を有する撮像システム１において、まず、全体の信号の流れについて以下に説明する。
撮像システム１は、ユーザまたは図示しない外部入力部によって、外部Ｉ／Ｆ部１１８を介してＩＳＯ感度、露出などの撮影条件が設定された後、図示しないシャッターボタンを半押しにすることでプリ撮影モードに入る。In theimaging system 1 having the above configuration, first, the overall signal flow will be described below.
Theimaging system 1 performs pre-photographing by pressing a shutter button (not shown) halfway after imaging conditions such as ISO sensitivity and exposure are set via the external I /F unit 118 by a user or an external input unit (not shown). Enter the mode.

上記の状態において、レンズ系１００、絞り１０１、カラーフィルタ１０３、ＣＣＤ１０４を介して撮影された映像は、Ａ／Ｄ変換器１０５にてデジタル信号へ変換される。Ａ／Ｄ変換器１０５からの映像信号は、バッファ１０６を介して信号処理部１０８へ転送される。また、バッファ１０６からの信号は、撮影制御部１０７へも転送される。なお、本実施形態例においてＣＣＤ１０４は、ＲＧＢ原色系の単板ＣＣＤを想定し、Ａ／Ｄ変換器１０５による信号の階調幅を例えば１２ｂｉｔとする。  In the above state, an image photographed through thelens system 100, the aperture 101, the color filter 103, and theCCD 104 is converted into a digital signal by the A /D converter 105. The video signal from the A /D converter 105 is transferred to thesignal processing unit 108 via thebuffer 106. Further, the signal from thebuffer 106 is also transferred to theimaging control unit 107. In this embodiment, theCCD 104 is assumed to be an RGB primary color single-plate CCD, and the gradation width of the signal by the A /D converter 105 is set to 12 bits, for example.

撮影制御部１０７は、映像信号のＡＦエリア内のコントラスト情報を検出し、これが最大となるようにＡＦモータ１０２を制御することで合焦信号を得て距離情報が取得される。あるいは、プリ撮影時に映像信号を取得せず、図示しない外部赤外線センサを用いて主要被写体との距離を測定し、それに応じてＡＦモータ１０２を制御し、合焦位置における距離情報を得てもよい。
また、撮影制御部１０７は、信号中の輝度レベルや図示しない輝度センサを用いて適正露光となるよう絞り１０１およびＣＣＤ１０４の電子シャッター速度などを制御する。Theimaging control unit 107 detects contrast information in the AF area of the video signal and controls the AF motor 102 so as to maximize this, thereby obtaining a focusing signal and acquiring distance information. Alternatively, the image signal may not be acquired at the time of pre-photographing, the distance to the main subject may be measured using an external infrared sensor (not shown), and the AF motor 102 may be controlled accordingly to obtain distance information at the in-focus position. .
The photographingcontrol unit 107 controls the electronic shutter speeds of the aperture 101 and theCCD 104 so as to achieve proper exposure using a luminance level in the signal and a luminance sensor (not shown).

次に、外部Ｉ／Ｆ部１１８を介して、ユーザによって図示しないシャッターボタンを全押しにされることにより本撮影が行われる。本撮影は、撮影制御部１０７にて求められた合焦条件および露光条件に基づいて行われ、これらの撮影時の情報は制御部１１７へ転送される。  Next, actual shooting is performed by fully pressing a shutter button (not shown) by the user via the external I /F unit 118. The actual photographing is performed based on the focusing condition and the exposure condition obtained by the photographingcontrol unit 107, and information at the time of photographing is transferred to thecontrol unit 117.

バッファ１０６内の映像信号は、信号処理部１０８へ転送される。信号処理部１０８は、制御部１１５の制御に基づいてバッファ１０６上の単板状態の映像信号を読み出し、公知の補間処理、ホワイトバランス処理などが行われた三板状態の映像信号を生成し、領域分割部１１９へ転送する。  The video signal in thebuffer 106 is transferred to thesignal processing unit 108. Thesignal processing unit 108 reads out the single-panel video signal on thebuffer 106 based on the control of thecontrol unit 115, generates a three-plate video signal subjected to known interpolation processing, white balance processing, and the like. Transfer to the dividingunit 119.

領域分割部１１９は、転送された映像信号で表される画像を少なくとも一つ以上の領域に分割するように、映像信号を分割する。分割の方法は、例えば、画像を固定の矩形ブロックで分割したり、公知のテクスチャ解析を用いて画像から所定のテクスチャの領域を分割したり、映像信号の色情報を用いて所定の色を示す領域を分割したりする。映像信号は、色空間変換部１０９へ転送される。  Thearea dividing unit 119 divides the video signal so as to divide the image represented by the transferred video signal into at least one area. Examples of the division method include dividing an image into fixed rectangular blocks, dividing a predetermined texture area from an image using a known texture analysis, and indicating a predetermined color using color information of a video signal. Or divide the region. The video signal is transferred to the colorspace conversion unit 109.

色空間変換部１０９は、（１）式を用いてＲＧＢ信号をＹＣｂＣｒ信号に変換し、さらに（２）式を用いて輝度信号Ｖ、色相信号Ｈおよび彩度信号Ｃの色信号に変換する。  The colorspace conversion unit 109 converts the RGB signal into a YCbCr signal using the equation (1), and further converts it into the color signals of the luminance signal V, the hue signal H, and the saturation signal C using the equation (2).

あるいは（３）式および（４）式を用いてＣＩＥ−ＸＹＺ信号からＣＩＥ−Ｌ^＊ａ^＊ｂ^＊信号への変換を行い、（５）式のように輝度、色相、彩度を求めてもよい。Alternatively, conversion from the CIE-XYZ signal to the CIE-L^* a^* b^* signal is performed using Equations (3) and (4), and the luminance, hue, and saturation are obtained as in Equation (5). Good.

ただし、Ｘ_ｎ、Ｙ_ｎ、Ｚ_ｎは、標準光における完全拡散反射面における値である。関数ｆは、例えばｆ（Ｘ／Ｘ_ｎ）で（６）式の通りである。_{However, X n, Y n, Z} n is a value in the perfect reflecting diffuser in the standard light. The function f is, for example, f (X / X_n ) as shown in equation (6).

なお、色変換の方法はこれらに限ったものではなく、例えば、ＬＵＴ（ルックアップテーブル）を用いた変換でもよい。
このように色空間変換部１０９にて変換された色信号は、階調変換部１１０、補正情報算出部１１１、最大彩度算出部１１２、および領域情報算出部１１３へ転送される。Note that the color conversion method is not limited to these, and for example, conversion using an LUT (look-up table) may be used.
The color signal thus converted by the colorspace conversion unit 109 is transferred to thegradation conversion unit 110, the correctioninformation calculation unit 111, the maximumsaturation calculation unit 112, and the regioninformation calculation unit 113.

階調変換部１１０は、色空間変換部１０９から転送された輝度信号に対して後述する階調変換処理を行う。階調変換処理が行われた輝度信号は、補正情報算出部１１１、最大彩度算出部１１２、および彩度補正部１１４へ転送される。  Thegradation conversion unit 110 performs gradation conversion processing described later on the luminance signal transferred from the colorspace conversion unit 109. The luminance signal that has been subjected to the gradation conversion processing is transferred to the correctioninformation calculation unit 111, the maximumsaturation calculation unit 112, and thesaturation correction unit 114.

次に、領域情報算出部１１３は、色空間変換部１０９から転送された色信号に対して、分割された領域のヒストグラム、輝度値の平均値、標準偏差、およびノイズ量の平均値を算出する。ノイズ量の算出法としては、例えば、以下の方法があげられる。  Next, the areainformation calculation unit 113 calculates a histogram of divided areas, an average value of luminance values, a standard deviation, and an average value of noise amount for the color signal transferred from the colorspace conversion unit 109. . As a method for calculating the noise amount, for example, the following method can be cited.

色信号の注目画素を中心とした例えば５×５の領域に対して標準偏差を算出し、それをノイズ量とする。また、上記領域中の全画素に対してノイズ量を算出し、それを平均したものを上記領域のノイズ量とする。ここで、ノイズ量の算出は、輝度信号Ｖ、色相信号Ｈおよび彩度信号Ｃのおのおのに対して行われ、（７）式のようにノイズ量Ｎを算出する。
Ｎ＝ａＮ_Ｖ＋ｂＮ_Ｈ＋ｃＮ_Ｃ・・・（７）
ただし、Ｎ_Ｖ、Ｎ_Ｈ、Ｎ_Ｃはそれぞれ輝度信号、色相信号、および彩度信号に対するノイズ量を表し、ａ、ｂ、ｃはそれぞれ重み係数を表す。A standard deviation is calculated for, for example, a 5 × 5 region centered on the target pixel of the color signal, and is used as the noise amount. Further, the amount of noise is calculated for all the pixels in the region, and the average of the amounts is used as the amount of noise in the region. Here, the noise amount is calculated for each of the luminance signal V, the hue signal H, and the saturation signal C, and the noise amount N is calculated as shown in Equation (7).
N = aN_V + bN_H + cN_C (7)
However, N_V , N_H , and N_C represent noise amounts for the luminance signal, hue signal, and saturation signal, respectively, and a, b, and c represent weighting factors, respectively.

補正情報算出部１１１は、色空間変換部１０９から転送された色信号と階調変換部１１０から転送された階調変換処理後の輝度信号および領域情報算出部１１３から転送されたノイズ量を用いて彩度補正に用いる補正情報の算出を行う。  The correctioninformation calculation unit 111 uses the color signal transferred from the colorspace conversion unit 109, the luminance signal after the gradation conversion process transferred from thegradation conversion unit 110, and the amount of noise transferred from the regioninformation calculation unit 113. Then, correction information used for saturation correction is calculated.

最大彩度算出部１１２は、色空間変換部１０９および階調変換部１１０から転送された色信号を用いて最大彩度の算出を行う。
ここで、図５は彩度補正の説明図であり、ＹＣｂＣｒ空間上にて表現している。図５におけるＹ_１、Ｙ_２はそれぞれＶ_１、Ｖ_２に対応する。図５を用いて説明すると、最大彩度算出部１１２は、色空間変換部１０９から転送された信号Ｖ_１、色相信号Ｈ、および彩度信号Ｃを用いて最大彩度ｍａｘＣ_１を算出する。同様に、最大彩度算出部１１２は、階調変換部１１０から転送された信号Ｖ_２を用いて最大彩度ｍａｘＣ_２を算出する。The maximumsaturation calculation unit 112 calculates the maximum saturation using the color signals transferred from the colorspace conversion unit 109 and thegradation conversion unit 110.
Here, FIG. 5 is an explanatory diagram of saturation correction, which is expressed in the YCbCr space. Y₁ and Y₂ in FIG. 5 correspond to V₁ and V₂ , respectively. Referring to FIG. 5, the maximumsaturation calculation unit 112 calculates the maximum saturation maxC₁ using the signal V₁ , the hue signal H, and the saturation signal C transferred from the colorspace conversion unit 109. Similarly, the maximumsaturation calculation unit 112 calculates the maximum saturation maxC₂ using the signal V₂ transferred from thegradation conversion unit 110.

彩度補正部１１４は、階調変換部１１０から転送された階調変換処理後の輝度信号および色信号と、補正情報算出部１１１から転送された補正情報と、最大彩度算出部１１２から転送された最大彩度の情報とを基に彩度信号の補正を行う。彩度補正部１１４における詳細な処理については後述する。  Thesaturation correction unit 114 transfers the luminance signal and the color signal after the gradation conversion process transferred from thegradation conversion unit 110, the correction information transferred from the correctioninformation calculation unit 111, and the maximumsaturation calculation unit 112. The saturation signal is corrected based on the maximum saturation information. Detailed processing in thesaturation correction unit 114 will be described later.

圧縮部１１５は、彩度補正部１１４から転送された色信号に対して公知のＪＰＥＧ等の圧縮処理を行い、出力部１１６へ転送する。出力部１１４は、メモリカードなどへ圧縮信号を記録保存あるいは外部表示ディスプレイに映像信号を表示する。  Thecompression unit 115 performs a known JPEG compression process on the color signal transferred from thesaturation correction unit 114 and transfers the color signal to theoutput unit 116. Theoutput unit 114 records and saves the compressed signal on a memory card or displays the video signal on an external display.

次に、図１に示す各部の詳細な処理について以下に説明する。
まず、階調変換部１１０における詳細な処理について、図２を用いて説明する。
図２に示すように、階調変換部１１０は、バッファ２００、局所領域分割部（局所領域分割手段）２０１、階調変換曲線算出部（階調変換曲線算出手段）２０２、および階調変換実施部（階調変換実施手段）２０３を備えている。Next, detailed processing of each unit shown in FIG. 1 will be described below.
First, detailed processing in thegradation conversion unit 110 will be described with reference to FIG.
As shown in FIG. 2, thegradation conversion unit 110 includes abuffer 200, a local region division unit (local region division unit) 201, a gradation conversion curve calculation unit (tone conversion curve calculation unit) 202, and a gradation conversion implementation. Section (gradation conversion execution means) 203.

色空間変換部１０９はバッファ２００に接続している。バッファ２００は局所領域分割部２０１および階調変換実施部２０３に接続しており、局所領域分割部２０１は階調変換曲線算出部２０２に接続している。階調変換曲線算出部２０２は階調変換実施部２０３に接続しており、階調変換実施部２０３は補正情報算出部１１１、最大彩度算出部１１２および彩度補正部１１４に接続している。制御部１１７は、局所領域分割部２０１、階調変換曲線算出部２０２、および階調変換実施部２０３と双方向に接続している。  The colorspace conversion unit 109 is connected to thebuffer 200. Thebuffer 200 is connected to the localregion dividing unit 201 and the gradationconversion performing unit 203, and the localregion dividing unit 201 is connected to the gradation conversioncurve calculating unit 202. The gradation conversioncurve calculation unit 202 is connected to the gradationconversion execution unit 203, and the gradationconversion execution unit 203 is connected to the correctioninformation calculation unit 111, the maximumsaturation calculation unit 112, and thesaturation correction unit 114. . Thecontrol unit 117 is bi-directionally connected to the localregion dividing unit 201, the gradation conversioncurve calculation unit 202, and the gradationconversion execution unit 203.

上記構成を有する階調変換部１１０における処理について以下に説明する。
色空間変換部１０９は、バッファ２００に色信号を転送する。局所領域分割部２０１は、バッファ２００から転送された色信号を少なくとも一つ以上の領域に分割する。階調変換曲線算出部２０２は、局所領域分割部２０１から転送された色信号の輝度信号に対する階調変換曲線を設定する。Processing in thegradation converting unit 110 having the above configuration will be described below.
The colorspace conversion unit 109 transfers the color signal to thebuffer 200. The localarea dividing unit 201 divides the color signal transferred from thebuffer 200 into at least one area. The gradation conversioncurve calculation unit 202 sets a gradation conversion curve for the luminance signal of the color signal transferred from the localregion dividing unit 201.

ここで、階調変換曲線算出部２０２における詳細な処理について、図３を用いて説明する。図３は、階調変換曲線算出部２０２の第１の構成例を示している。
図３に示すように、階調変換曲線算出部２０２は、バッファ３００、平均輝度算出部（平均輝度算出手段）３０１、標準偏差算出部（標準偏差算出手段）３０２、階調変換曲線設定部（階調変換曲線設定手段）３０３、および階調変換曲線ＲＯＭ（階調変換曲線保持手段）３０４を備えている。Here, detailed processing in the gradation conversioncurve calculation unit 202 will be described with reference to FIG. FIG. 3 shows a first configuration example of the gradation conversioncurve calculation unit 202.
As shown in FIG. 3, the gradation conversioncurve calculation unit 202 includes abuffer 300, an average luminance calculation unit (average luminance calculation unit) 301, a standard deviation calculation unit (standard deviation calculation unit) 302, and a gradation conversion curve setting unit ( (Gradation conversion curve setting means) 303 and gradation conversion curve ROM (gradation conversion curve holding means) 304.

局所領域分割部２０１は、バッファ３００に接続している。バッファ３００は、平均輝度算出部３０１および標準偏差算出部３０２に接続している。平均輝度算出部３０１および標準偏差算出部３０２は階調変換曲線設定部３０３に接続しており、階調変換曲線ＲＯＭ３０４は階調変換曲線設定部３０３に接続している。階調変換曲線設定部３０３は階調変換実施部２０３に接続している。  The localarea dividing unit 201 is connected to thebuffer 300. Thebuffer 300 is connected to the averageluminance calculation unit 301 and the standarddeviation calculation unit 302. The averageluminance calculation unit 301 and the standarddeviation calculation unit 302 are connected to the tone conversioncurve setting unit 303, and the toneconversion curve ROM 304 is connected to the tone conversioncurve setting unit 303. The gradation conversioncurve setting unit 303 is connected to the gradationconversion execution unit 203.

上記構成を有する階調変換曲線算出部２０２における処理について以下に説明する。
平均輝度算出部３０１は、バッファ３００から転送された領域における輝度信号の平均値を算出する。
次に、標準偏差算出部３０２は、バッファ３００から転送された領域における輝度信号および平均輝度算出部３０１から転送された輝度信号の平均値を用いて標準偏差を算出する。
階調変換曲線設定部３０３は、平均輝度算出部３０１から転送された平均輝度値および標準偏差算出部３０２から転送された標準偏差の値を用いて階調変換曲線ＲＯＭ３０４から階調変換に用いる階調変換曲線を設定する。Processing in the gradation conversioncurve calculation unit 202 having the above configuration will be described below.
The averageluminance calculation unit 301 calculates the average value of the luminance signal in the area transferred from thebuffer 300.
Next, the standarddeviation calculation unit 302 calculates a standard deviation using the luminance signal in the area transferred from thebuffer 300 and the average value of the luminance signal transferred from the averageluminance calculation unit 301.
The gradation conversioncurve setting unit 303 uses the average luminance value transferred from the averageluminance calculation unit 301 and the standard deviation value transferred from the standarddeviation calculation unit 302 to use the gradationconversion curve ROM 304 for gradation conversion. Set the key conversion curve.

ここで、図６は、階調変換曲線の説明図を示している。
平均輝度値が所定値Ｔｈ以下でかつ、標準偏差の値が所定値以下の場合、所定値以下の信号を強調するとノイズが増幅される可能性がある。したがって、階調変換曲線としては、例えば図６における（ａ）に示すように、Ｔｈ以下の信号のコントラストをあまり強調しない階調変換曲線を設定する。
平均輝度値が所定値Ｔｈ以下でかつ、標準偏差の値が所定値以上の場合、ノイズがすでに増幅されている可能性がある。したがって、階調変換曲線としては、例えば図６における（ｂ）に示すように、所定値以下の信号のコントラストを下げる階調変換曲線を設定する。
平均輝度値が所定値Ｔｈ以上の場合、階調変換処理によるノイズの増幅による影響が小さい。したがって、階調変換曲線としては平均輝度値付近のコントラストを強調させる階調変換曲線、例えば図６における（ｃ）に示すように、平均輝度値Ｖ_ａｖｅ付近の信号を強調する階調変換曲線を設定する。
なお、この構成例では、階調変換曲線ＲＯＭを用いる例を示したが、これに限定されるものではない。例えば、ガンマ値を用いて階調変換曲線設定部３０３にてガンマ値を設定する構成も可能である。Here, FIG. 6 shows an explanatory diagram of the gradation conversion curve.
When the average luminance value is equal to or smaller than the predetermined value Th and the standard deviation value is equal to or smaller than the predetermined value, noise may be amplified when a signal equal to or smaller than the predetermined value is emphasized. Therefore, as the gradation conversion curve, for example, as shown in FIG. 6A, a gradation conversion curve that does not emphasize the contrast of signals below Th is set.
When the average luminance value is equal to or smaller than the predetermined value Th and the standard deviation value is equal to or larger than the predetermined value, the noise may already be amplified. Therefore, as the gradation conversion curve, for example, as shown in FIG. 6B, a gradation conversion curve that lowers the contrast of signals below a predetermined value is set.
When the average luminance value is equal to or greater than the predetermined value Th, the influence of noise amplification by the gradation conversion process is small. Therefore, as the gradation conversion curve, a gradation conversion curve for enhancing the contrast near the average luminance value, for example, a gradation conversion curve for enhancing the signal near the average luminance value V_ave as shown in FIG. Set.
In this configuration example, the example using the gradation conversion curve ROM is shown, but the present invention is not limited to this. For example, a configuration in which the gamma value is set by the gradation conversioncurve setting unit 303 using the gamma value is also possible.

次に、補正情報算出部１１１における詳細な処理について、図４を用いて説明する。
図４に示すように、補正情報算出部１１１は、バッファ４００、バッファ４０１、増幅率算出部（増幅率算出手段）４０２、および補正係数算出部（補正係数算出手段）４０３を備えている。Next, detailed processing in the correctioninformation calculation unit 111 will be described with reference to FIG.
As shown in FIG. 4, the correctioninformation calculation unit 111 includes abuffer 400, abuffer 401, an amplification factor calculation unit (amplification factor calculation unit) 402, and a correction coefficient calculation unit (correction coefficient calculation unit) 403.

色空間変換部１０９はバッファ４００に接続しており、階調変換部１１０はバッファ４０１に接続している。バッファ４００は増幅率算出部４０２および補正係数算出部４０３に接続しており、バッファ４０１は増幅率算出部４０２および補正係数算出部４０３に接続している。増幅率算出部４０２は補正係数算出部４０３に接続しており、領域情報算出部１１３は補正係数算出部４０３に接続している。補正係数算出部４０３は彩度補正部１１４に接続している。制御部１１７は増幅率算出部４０２および補正係数算出部４０３と双方向に接続している。  The colorspace conversion unit 109 is connected to thebuffer 400, and thegradation conversion unit 110 is connected to thebuffer 401. Thebuffer 400 is connected to the amplificationfactor calculation unit 402 and the correctioncoefficient calculation unit 403, and thebuffer 401 is connected to the amplificationfactor calculation unit 402 and the correctioncoefficient calculation unit 403. The amplificationfactor calculation unit 402 is connected to the correctioncoefficient calculation unit 403, and the regioninformation calculation unit 113 is connected to the correctioncoefficient calculation unit 403. The correctioncoefficient calculation unit 403 is connected to thesaturation correction unit 114. Thecontrol unit 117 is bi-directionally connected to the amplificationfactor calculation unit 402 and the correctioncoefficient calculation unit 403.

上記構成を有する補正情報算出部１１１における処理について以下に説明する。
色空間変換部１０９から転送された輝度信号Ｖ_１は、バッファ４００に転送される。一方、階調変換部１１０から転送された輝度信号Ｖ_２は、バッファ４０１に転送される。増幅率算出部４０２は、バッファ４００およびバッファ４０１から転送された信号を用いて（８）式に示される増幅率Ｇの算出を行う。Processing in the correctioninformation calculation unit 111 having the above configuration will be described below.
The luminance signal V₁ transferred from the colorspace conversion unit 109 is transferred to thebuffer 400. On the other hand, the luminance signal V₂ transferred from thegradation conversion unit 110 is transferred to thebuffer 401. The amplificationfactor calculation unit 402 calculates the amplification factor G shown in the equation (8) using the signals transferred from thebuffer 400 and thebuffer 401.

さらに、補正係数算出部４０３は、輝度信号Ｖ_１、Ｖ_２および領域情報算出部１１３から転送される領域の情報、例えば領域内のノイズ量の平均Ｎの情報を用いて（９）式に示される補正情報すなわち補正係数αの算出を行う。Further, the correctioncoefficient calculation unit 403 uses the luminance signals V₁ and V₂ and the area information transferred from the areainformation calculation unit 113, for example, information on the average N of the noise amount in the area, as shown in Equation (9). Correction information, that is, correction coefficient α is calculated.

ただし、Ｃは調整係数であり、０≦α≦１である。
増幅率や領域のノイズ量が大きいとき、階調変換処理によってノイズ成分が目立つため、この関数を用いて、彩度補正部１１４において後述する彩度信号の補正を行うことにより色ノイズ成分を抑制する。増幅率が１に近く、ノイズ成分が少ないとき，この関数の出力は１に近くなり、領域の情報による補正の影響は少なくなる。算出された補正係数は彩度補正部１１４に転送される。However, C is an adjustment coefficient, and 0 ≦ α ≦ 1.
When the amplification factor or the amount of noise in the area is large, noise components are conspicuous due to the gradation conversion processing. Therefore, using this function, thesaturation correction unit 114 corrects the saturation signal, which will be described later, to suppress the color noise component. To do. When the amplification factor is close to 1 and the noise component is small, the output of this function is close to 1, and the influence of correction by the region information is reduced. The calculated correction coefficient is transferred to thesaturation correction unit 114.

次に、彩度補正部１１４の処理について図５を用いて説明する。
彩度補正部１１４は、最大彩度算出部１１２から転送された最大彩度の情報を用いて、階調変換前の輝度信号Ｖ_１に対する彩度信号Ｃ_１と最大彩度ｍａｘＣ_１との比Ｒ_１を（１０）式に示すように算出する。
Ｒ_１＝Ｃ_１／ｍａｘＣ_１・・・（１０）Next, the processing of thesaturation correction unit 114 will be described with reference to FIG.
The ratio of thesaturation correction unit 114 uses the maximum saturation of information transferred from the maximum colorsaturation calculation unit 112, and the chroma signal C₁ and the maximum saturation maxC₁ for the luminance signal V₁ of the previous gradation conversion R₁ is calculated as shown in equation (10).
R₁ = C₁ / maxC₁ (10)

次に、階調変換後の輝度信号Ｖ_２に対する彩度信号Ｃ_２の算出を（１１）式に示すように行う。
Ｃ_２＝Ｒ_１・ｍａｘＣ_２・・・（１１）
（１１）式は、階調変換前の彩度信号と最大彩度信号との比が、階調変換後の彩度信号と最大彩度信号との比に等しいことを表している。Next, the saturation signal C₂ is calculated with respect to the luminance signal V₂ after the gradation conversion as shown in the equation (11).
C₂ = R₁ · maxC₂ (11)
Equation (11) indicates that the ratio between the saturation signal before gradation conversion and the maximum saturation signal is equal to the ratio between the saturation signal after gradation conversion and the maximum saturation signal.

この処理により、輝度信号が階調変換処理によって変化しても、それに対応した彩度信号の変換を行うことができる。さらに、補正情報算出部１１１から転送される補正係数αの情報を用いて最終的な彩度信号Ｃ’_２を（１２）式を用いて算出する。
Ｃ’_２＝α・Ｃ_２・・・（１２）With this process, even if the luminance signal changes due to the gradation conversion process, the corresponding saturation signal can be converted. Further, the final saturation signal C ′₂ is calculated using the equation (12) using the information of the correction coefficient α transferred from the correctioninformation calculation unit 111.
C ′₂ = α · C₂ (12)

本実施形態に係る画像処理装置およびこれを備えた撮像システムによれば、色相信号、彩度信号、および階調変換前後の輝度信号を用いて階調変換後の輝度信号に対応する彩度信号を演算すると共に、各信号に含まれるノイズ等の領域情報および階調変換前後の輝度信号を用いて補正情報を算出し、演算した階調変換後の輝度信号に対応する彩度信号に対して補正情報を用いて補正を行うことによって補正彩度信号を算出する。これにより、補正彩度信号についてもノイズ等の領域情報が反映されるので、階調変換処理によって色ノイズが増幅されるような場合においても、色ノイズを低減した高品位な映像信号を算出することができる。  According to the image processing apparatus and the imaging system including the image processing apparatus according to the present embodiment, the saturation signal corresponding to the luminance signal after the gradation conversion using the hue signal, the saturation signal, and the luminance signal before and after the gradation conversion. Correction information is calculated using area information such as noise and luminance signals before and after gradation conversion included in each signal, and the saturation signal corresponding to the calculated luminance signal after gradation conversion is calculated. A corrected saturation signal is calculated by performing correction using the correction information. As a result, the area information such as noise is also reflected in the corrected saturation signal, so that a high-quality video signal with reduced color noise is calculated even when the color noise is amplified by gradation conversion processing. be able to.

なお、上記実施例では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、ＣＣＤ１０４からの映像信号を未処理のままのＲａｗデータとして、ＩＳＯ感度情報や映像信号サイズなどをヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。この場合、撮像システムは、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を備えている。そして、ＣＰＵが上記記憶媒体に記録されているプログラムを読み出して、情報の加工・演算処理を実行することにより、上述の撮像システムと同様の処理を実現させる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。  In the above embodiment, processing by hardware is assumed, but it is not necessary to be limited to such a configuration. For example, a configuration in which the video signal from theCCD 104 is output as raw data as raw data, ISO sensitivity information, video signal size, and the like are output as header information and separately processed by software is also possible. In this case, the imaging system includes a main storage device such as a CPU and a RAM, and a computer-readable recording medium on which a program for realizing all or part of the above processing is recorded. Then, the CPU reads out the program recorded in the storage medium and executes information processing / calculation processing, thereby realizing processing similar to that of the imaging system described above. Here, the computer-readable recording medium means a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, a semiconductor memory, or the like.

図７に本実施形態のソフトウェアに関するフローを示す。
図１における処理と対応させると、Ｓ１にてヘッダ情報を読み込み、Ｓ２にて映像信号を入力する。信号処理部１０８に相当するＳ３にて所定の信号処理を行い、領域分割部１１９に相当するＳ４にて領域の分割を行う。色空間変換部１０９に相当するＳ５にて色空間の変換を行い、階調変換部１１０に相当するＳ６にて輝度信号に対する階調変換処理を行う。領域情報算出部１１３に相当するＳ７にて色信号の領域情報を抽出し、補正情報算出部１１１に相当するＳ８にて彩度補正に用いる補正情報の算出を行う。最大彩度算出部１１２に相当するＳ９にて最大彩度の算出を行い、彩度補正部１１４に相当するＳ１０にて彩度信号の補正を行う。Ｓ１１にて全画素に対して処理が行われたか判断し、全画素に対して処理が行われた場合、処理を終了する。FIG. 7 shows a flow relating to the software of this embodiment.
Corresponding to the processing in FIG. 1, header information is read in S1, and a video signal is input in S2. Predetermined signal processing is performed in S3 corresponding to thesignal processing unit 108, and the region is divided in S4 corresponding to theregion dividing unit 119. Color space conversion is performed in S5 corresponding to the colorspace conversion unit 109, and gradation conversion processing is performed on the luminance signal in S6 corresponding to thegradation conversion unit 110. In step S7 corresponding to the regioninformation calculation unit 113, color signal region information is extracted, and in step S8 corresponding to the correctioninformation calculation unit 111, correction information used for saturation correction is calculated. The maximum saturation is calculated in S9 corresponding to the maximumsaturation calculation unit 112, and the saturation signal is corrected in S10 corresponding to thesaturation correction unit 114. In S11, it is determined whether processing has been performed for all pixels. If processing has been performed for all pixels, the processing ends.

〔第２の実施形態〕
次に、本発明の第２の実施形態について、図８を用いて説明する。
本実施形態に係る撮像システムが第１の実施形態と異なる点は、補正情報算出部にて行う補正情報の算出を制御する補正情報制御部を設けた点である。以下、本実施形態について、第１の実施形態と共通する点については説明を省略し、異なる点について主に説明する。[Second Embodiment]
Next, a second embodiment of the present invention will be described with reference to FIG.
The imaging system according to the present embodiment is different from the first embodiment in that a correction information control unit that controls calculation of correction information performed by the correction information calculation unit is provided. Hereinafter, the description of the present embodiment will be omitted with respect to the points common to the first embodiment, and different points will be mainly described.

図８は本実施形態に係る撮像システムの概略構成図であり、第１の実施形態と同一の構成には同一の名称と番号を割り当てている。
撮像システム５は、撮像装置２と、画像処理装置６とを主な構成要素として備えている。
画像処理装置６において、色空間変換部１０９は、階調変換部１１０、最大彩度算出部１１２、領域情報算出部１１３、補正情報制御部（補正情報算出制御手段）１３０および補正情報算出部１５０に接続している。階調変換部１１０は最大彩度算出部１１２、彩度補正部１１４、補正情報算出部１５０および補正情報制御部１３０に接続している。補正情報制御部１３０は補正情報算出部１５０に接続している。補正情報算出部１５０は彩度補正部１１４へ接続している。マイクロコンピュータなどの制御部１１７は補正情報制御部１３０および補正情報算出部１５０へ双方向に接続されている。FIG. 8 is a schematic configuration diagram of the imaging system according to the present embodiment, and the same name and number are assigned to the same configuration as the first embodiment.
Theimaging system 5 includes animaging device 2 and animage processing device 6 as main components.
In theimage processing apparatus 6, the colorspace conversion unit 109 includes agradation conversion unit 110, a maximumsaturation calculation unit 112, a regioninformation calculation unit 113, a correction information control unit (correction information calculation control unit) 130, and a correctioninformation calculation unit 150. Connected to. Thegradation conversion unit 110 is connected to the maximumsaturation calculation unit 112, thesaturation correction unit 114, the correctioninformation calculation unit 150, and the correctioninformation control unit 130. The correctioninformation control unit 130 is connected to the correctioninformation calculation unit 150. The correctioninformation calculation unit 150 is connected to thesaturation correction unit 114. Acontrol unit 117 such as a microcomputer is bidirectionally connected to the correctioninformation control unit 130 and the correctioninformation calculation unit 150.

上記構成を有する画像処理装置６における信号の流れについて以下に説明する。
補正情報制御部１３０は、色空間変換部１０９から転送された色信号と、階調変換部１１０から転送された階調変換処理後の輝度信号と、領域情報算出部１１３から転送された領域情報とを用いて、補正情報算出部１５０における補正情報の算出処理を停止するかどうか判断する。
例えば、色空間変換部１０９から転送された輝度信号における閾値をＶ_ｔｈ１、階調変換処理後の輝度信号における閾値をＶ_ｔｈ２、および領域におけるノイズ量の閾値をＮ_ｔｈとした場合、補正情報制御部１３０は、Ｖ_１＞Ｖ_ｔｈ１かつ、Ｖ_２＞Ｖ_ｔｈ２かつＮ＜Ｎ_ｔｈの場合には、補正情報算出部１５０の算出処理を行わないようにする。
なお、上記判定処理はすべての情報に対して行う必要はなく、例えば、ノイズ量のみで判定してもよい。
このように、補正情報算出部１５０は補正情報制御部１３０の情報に基づいて、補正情報の算出処理を停止する。A signal flow in theimage processing apparatus 6 having the above configuration will be described below.
The correctioninformation control unit 130 includes the color signal transferred from the colorspace conversion unit 109, the luminance signal after the gradation conversion process transferred from thegradation conversion unit 110, and the region information transferred from the regioninformation calculation unit 113. Are used to determine whether or not to stop the correction information calculation process in the correctioninformation calculation unit 150.
For example, when the threshold value in the luminance signal transferred from the colorspace conversion unit 109 is V_th1 , the threshold value in the luminance signal after gradation conversion processing is V_th2 , and the threshold of the noise amount in the region is N_th , the correction information control Theunit 130 does not perform the calculation process of the correctioninformation calculation unit 150 when V₁ > V_th1 and V₂ > V_th2 and N <N_th .
Note that the above determination process need not be performed for all information, and for example, the determination may be made based on only the noise amount.
As described above, the correctioninformation calculation unit 150 stops the correction information calculation process based on the information of the correctioninformation control unit 130.

図９は、階調変換部１１０内の階調変換曲線算出部２０２の第２の構成例を示している。
図９において、階調変換曲線算出部２０２は、バッファ９００、ヒストグラム作成部（ヒストグラム算出手段）９０１、および累積正規化部９０２を備えている。
局所領域分割部２０１はバッファ９００に接続しており、バッファ９００はヒストグラム作成部９０１に接続している。ヒストグラム作成部９０１は累積正規化部９０２に接続しており、累積正規化部９０２は階調変換実施部２０３に接続している。制御部１１７はヒストグラム作成部９０１および累積正規化部９０２と双方向に接続している。FIG. 9 shows a second configuration example of the gradation conversioncurve calculation unit 202 in thegradation conversion unit 110.
In FIG. 9, the gradation conversioncurve calculation unit 202 includes a buffer 900, a histogram creation unit (histogram calculation means) 901, and a cumulative normalization unit 902.
The localarea dividing unit 201 is connected to the buffer 900, and the buffer 900 is connected to the histogram creating unit 901. The histogram creation unit 901 is connected to the cumulative normalization unit 902, and the cumulative normalization unit 902 is connected to the gradationconversion execution unit 203. Thecontrol unit 117 is bi-directionally connected to the histogram creation unit 901 and the cumulative normalization unit 902.

上記構成を有する階調変換曲線算出部２０２における処理について以下に説明する。
ヒストグラム作成部９０１は、バッファ９００から転送された輝度信号に対するヒストグラムを作成する。
累積正規化部９０２は、ヒストグラム作成部９０１から転送されたヒストグラムに基づき累積処理を行い、累積ヒストグラムを作成する。これを階調幅に合わせて正規化することで階調変換曲線を生成する。例えば、輝度信号の入力が１２ｂｉｔ、出力が１２ｂｉｔの場合、階調変換曲線は１２ｂｉｔ入力１２ｂｉｔ出力となる。
また、ヒストグラム作成部９０１にて任意のクリップ値を用いてヒストグラムの作成を行ってもよい。Processing in the gradation conversioncurve calculation unit 202 having the above configuration will be described below.
The histogram creation unit 901 creates a histogram for the luminance signal transferred from the buffer 900.
The accumulation normalization unit 902 performs accumulation processing based on the histogram transferred from the histogram creation unit 901 and creates a cumulative histogram. A gradation conversion curve is generated by normalizing this according to the gradation width. For example, when the luminance signal input is 12 bits and the output is 12 bits, the gradation conversion curve is a 12-bit input and a 12-bit output.
Further, the histogram creation unit 901 may create a histogram using an arbitrary clip value.

図１０は、ヒストグラムに基づいた階調変換曲線算出の説明図を示している。
図１０（ａ）は、ヒストグラム作成部９０１から算出されたヒストグラムと、縦軸の頻度に対するクリップ値を示している。図１０（ｂ）は、クリッピング処理によりクリップ値以上の頻度をクリップ値に置換したヒストグラムを示す。図１０（ｃ）は、オリジナルのヒストグラムとクリッピング処理後のヒストグラムを累積、正規化して得られた階調変換曲線を示す。
このように、ヒストグラムに基づいて算出された階調変換曲線は階調変換実施部２０３へ転送される。FIG. 10 shows an explanatory diagram of the gradation conversion curve calculation based on the histogram.
FIG. 10A shows a histogram calculated from the histogram creation unit 901 and clip values with respect to the frequency on the vertical axis. FIG. 10B shows a histogram in which the frequency equal to or higher than the clip value is replaced with the clip value by the clipping process. FIG. 10C shows a gradation conversion curve obtained by accumulating and normalizing an original histogram and a histogram after clipping processing.
Thus, the gradation conversion curve calculated based on the histogram is transferred to the gradationconversion execution unit 203.

なお、この階調変換曲線算出部２０２の構成は第１の実施形態でも実施可能であり、第１の実施形態に記載されている階調変換曲線部の構成にこの第２の実施例を適用することも可能である。  Note that the configuration of the gradation conversioncurve calculation unit 202 can be implemented in the first embodiment, and the second example is applied to the configuration of the gradation conversion curve unit described in the first embodiment. It is also possible to do.

本実施形態に係る画像処理装置およびこれを備える撮像システムによれば、輝度信号およびノイズ量に基づいて補正情報の算出処理を停止することができるため、補正の必要がない高品位な信号に対しては処理の高速化が実現できる。  According to the image processing apparatus and the imaging system including the image processing apparatus according to the present embodiment, the correction information calculation process can be stopped based on the luminance signal and the amount of noise. Speeding up the processing.

なお、上記実施例では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はなく、別途ソフトウェアにて処理する構成も可能である。
図１１に第２の実施例のソフトウェアに関するフローを示す。
第８図における処理と対応させると、Ｓ１にてヘッダ情報を読み込み、Ｓ２にて映像信号を入力する。信号処理部１０８に相当するＳ３にて所定の信号処理を行い、領域分割部１１９に相当するＳ４にて領域の分割を行う。色空間変換部１０９に相当するＳ５にて色空間の変換を行い、階調変換部１１０に相当するＳ６にて輝度信号に対する階調変換処理を行う。領域情報算出部１１３に相当するＳ７にて色信号の領域情報を抽出し、補正情報制御部１３０に相当するＳ２０にて補正情報の制御情報を算出する。最大彩度算出部１１２に相当するＳ９にて最大彩度の算出を行い、補正情報算出部１５０に相当するＳ３０にて彩度補正に用いる補正情報の算出を行う。Ｓ２０の情報に応じてＳ３０の処理を行わせないことも可能である。彩度補正部１１４に相当するＳ１０にて彩度信号の補正を行う。Ｓ１１にて全画素に対して処理が行われたか判断し、全画素に対して処理が行われた場合、処理を終了する。In the above embodiment, processing by hardware is assumed. However, it is not necessary to be limited to such a configuration, and a configuration in which processing is performed separately by software is also possible.
FIG. 11 shows a flow relating to the software of the second embodiment.
In correspondence with the processing in FIG. 8, header information is read in S1, and a video signal is input in S2. Predetermined signal processing is performed in S3 corresponding to thesignal processing unit 108, and the region is divided in S4 corresponding to theregion dividing unit 119. Color space conversion is performed in S5 corresponding to the colorspace conversion unit 109, and gradation conversion processing is performed on the luminance signal in S6 corresponding to thegradation conversion unit 110. In step S7 corresponding to the regioninformation calculation unit 113, color signal region information is extracted, and in step S20 corresponding to the correctioninformation control unit 130, correction information control information is calculated. The maximum saturation is calculated in S9 corresponding to the maximumsaturation calculation unit 112, and the correction information used for saturation correction is calculated in S30 corresponding to the correctioninformation calculation unit 150. It is also possible not to perform the process of S30 according to the information of S20. In S10 corresponding to thesaturation correction unit 114, the saturation signal is corrected. In S11, it is determined whether processing has been performed for all pixels. If processing has been performed for all pixels, the processing ends.

本発明の第１の実施形態に係る撮像システムの概略構成図である。1 is a schematic configuration diagram of an imaging system according to a first embodiment of the present invention.図１に示す図変換部の概略構成図である。It is a schematic block diagram of the figure conversion part shown in FIG.図２に示す階調変換曲線設定部の第１の構成例である。It is a 1st structural example of the gradation conversion curve setting part shown in FIG.図１に示す補正情報算出部の概略構成図である。It is a schematic block diagram of the correction information calculation part shown in FIG.彩度補正の説明図である。It is explanatory drawing of saturation correction.階調変換曲線の説明図である。It is explanatory drawing of a gradation conversion curve.本発明の第１の実施形態に係る画像処理方法のフローチャートである。It is a flowchart of the image processing method which concerns on the 1st Embodiment of this invention.本発明の第２の実施形態に係る撮像システムの概略構成図である。It is a schematic block diagram of the imaging system which concerns on the 2nd Embodiment of this invention.図２に示す階調変換曲線設定部の第２の構成例である。It is a 2nd structural example of the gradation conversion curve setting part shown in FIG.ヒストグラムに基づいた階調変換曲線算出方法の説明図である。It is explanatory drawing of the gradation conversion curve calculation method based on a histogram.本発明の第２の実施形態に係る画像処理方法のフローチャートである。It is a flowchart of the image processing method which concerns on the 2nd Embodiment of this invention.

符号の説明Explanation of symbols

１，５ 撮像システム
２ 撮像装置
３，６ 画像処理装置
１０９ 色空間変換部
１１０ 階調変換部
１１１ 補正情報算出部
１１２ 最大彩度算出部
１１３ 領域情報算出部
１１４ 彩度補正部
１３０ 補正情報制御部
２０１ 局所領域分割部
２０２ 階調変換曲線算出部
２０３ 階調変換実施部
３０１ 平均輝度算出部
３０２ 標準偏差算出部
３０３ 階調変換曲線設定部
３０４ 階調変換曲線ＲＯＭ
４０２ 増幅率算出部
４０３ 補正係数算出部
９０１ ヒストグラム作成部
９０２ 累積正規化部DESCRIPTION OFSYMBOLS 1, 5Imaging system 2Imaging apparatus 3, 6Image processing apparatus 109 Colorspace conversion part 110Gradation conversion part 111 Correctioninformation calculation part 112 Maximumsaturation calculation part 113 Areainformation calculation part 114Saturation correction part 130 Correction information controlpart 201 Localarea dividing unit 202 Gradation conversioncurve calculation unit 203 Gradationconversion execution unit 301 Averageluminance calculation unit 302 Standarddeviation calculation unit 303 Gradation conversioncurve setting unit 304 Gradation conversion curve ROM
402 Amplificationfactor calculation unit 403 Correction coefficient calculation unit 901 Histogram creation unit 902 Cumulative normalization unit

Claims (12)

Translated fromJapanese

入力された映像信号を階調変換して出力する画像処理装置であって、
前記映像信号を輝度信号、色相信号、および彩度信号からなる色空間へ変換する色空間変換手段と、
前記映像信号で表される画像中の領域の情報を算出する領域情報算出手段と、
前記色空間変換手段によって変換された前記輝度信号に対して階調変換を行って階調変換後の輝度信号を生成する階調変換手段と、
前記色空間変換手段によって変換された前記輝度信号および前記色相信号を用いて第１の最大彩度信号を算出するとともに、前記色空間変換手段によって変換された前記色相信号および前記階調変換手段によって生成された前記階調変換後の輝度信号を用いて第２の最大彩度信号を算出する最大彩度算出手段と、
前記色空間変換手段によって変換された前記輝度信号、前記階調変換手段によって生成された前記階調変換後の輝度信号、および前記領域情報算出手段によって算出された前記領域の情報に基づいて補正情報を算出する補正情報算出手段と、
前記最大彩度算出手段によって算出された前記第１の最大彩度信号および前記第２の最大彩度信号と前記補正情報算出手段によって算出された前記補正情報とに基づいて、前記色空間変換手段によって変換された前記彩度信号の補正を行う彩度補正手段と、
を有する画像処理装置。An image processing apparatus that performs gradation conversion on an input video signal and outputs the converted image signal,
Color space conversion means for converting the video signal into a color space consisting of a luminance signal, a hue signal, and a saturation signal;
Area information calculating means for calculating information of an area in the image represented by the video signal;
Gradation conversion means for performing gradation conversion on the luminance signal converted by the color space conversion means to generate a luminance signal after gradation conversion;
The luminance signal and the hue signal converted by the color space conversion unit are used to calculate a first maximum saturation signal, and the hue signal converted by the color space conversion unit and the gradation conversion unit Maximum saturation calculation means for calculating a second maximum saturation signal using the generated luminance signal after gradation conversion;
Correction information based on the luminance signal converted by the color space conversion means, the luminance signal after the gradation conversion generated by the gradation conversion means, and information on the area calculated by the area information calculation means Correction information calculating means for calculating
The color space conversion means based on the first maximum saturation signal and the second maximum saturation signal calculated by the maximum saturation calculation means and the correction information calculated by the correction information calculation means. Saturation correction means for correcting the saturation signal converted by
An image processing apparatus. 前記補正情報算出手段は、
前記色空間変換手段によって変換された前記輝度信号および前記階調変換手段によって生成された前記階調変換後の輝度信号を用いて、前記色空間変換手段によって変換された前記輝度信号に対する増幅率を算出する増幅率算出手段と、
前記増幅率算出手段によって算出された前記増幅率および前記領域情報算出手段によって算出された前記領域の情報に基づいて補正係数を算出する補正係数算出手段と、
を有する請求項１に記載の画像処理装置。The correction information calculation means includes
Using the luminance signal converted by the color space conversion unit and the luminance signal after the gradation conversion generated by the gradation conversion unit, an amplification factor for the luminance signal converted by the color space conversion unit is obtained. A gain calculating means for calculating;
Correction coefficient calculation means for calculating a correction coefficient based on the amplification factor calculated by the amplification factor calculation means and information on the area calculated by the area information calculation means;
The image processing apparatus according to claim 1, comprising: 前記領域情報算出手段は、
前記色空間変換手段によって変換された各信号におけるノイズ量を算出するノイズ量算出手段を有する請求項１または２に記載の撮像システム。The area information calculating means includes
The imaging system according to claim 1, further comprising a noise amount calculation unit that calculates a noise amount in each signal converted by the color space conversion unit. 前記彩度補正手段は、
前記最大彩度算出手段によって算出された前記第１の最大彩度信号と前記色空間変換手段によって変換された前記彩度信号との彩度比を算出する彩度比算出手段と、
前記彩度比算出手段によって算出された前記彩度比および前記最大彩度算出手段によって算出された前記第２の最大彩度信号に基づいて、前記階調変換後の輝度信号に対応する彩度信号を算出する彩度信号算出手段と、
前記補正情報算出手段によって算出された前記補正情報および前記彩度信号算出手段によって算出された前記階調変換後の輝度信号に対応する彩度信号に基づいて、補正彩度信号を算出する補正彩度信号算出手段と、
を有する請求項１から３のいずれかに記載の画像処理装置。The saturation correction means includes
Saturation ratio calculation means for calculating a saturation ratio between the first maximum saturation signal calculated by the maximum saturation calculation means and the saturation signal converted by the color space conversion means;
Based on the saturation ratio calculated by the saturation ratio calculation means and the second maximum saturation signal calculated by the maximum saturation calculation means, the saturation corresponding to the luminance signal after the gradation conversion A saturation signal calculating means for calculating a signal;
A corrected saturation signal for calculating a corrected saturation signal based on the correction information calculated by the correction information calculation unit and a saturation signal corresponding to the luminance signal after the gradation conversion calculated by the saturation signal calculation unit. Degree signal calculation means,
The image processing apparatus according to claim 1, comprising: 前記彩度信号算出手段は、
前記彩度比と前記第２の最大彩度信号とを乗算することによって前記階調変換後の輝度信号に対応する彩度信号を算出する請求項４に記載の画像処理装置。The saturation signal calculation means includes
The image processing apparatus according to claim 4, wherein a saturation signal corresponding to the luminance signal after the gradation conversion is calculated by multiplying the saturation ratio and the second maximum saturation signal. 前記補正彩度信号算出手段は、
前記補正情報算出手段によって算出された前記補正情報と前記彩度信号算出手段によって算出された前記階調変換後の輝度信号に対応する彩度信号とを乗算することにより、前記補正彩度信号を算出する請求項４に記載の画像処理装置。The corrected saturation signal calculation means includes:
Multiplying the correction information calculated by the correction information calculation means by the saturation signal corresponding to the luminance signal after the gradation conversion calculated by the saturation signal calculation means, the corrected saturation signal is The image processing apparatus according to claim 4 to calculate. 前記階調変換手段は、
前記輝度信号を少なくとも１つ以上の局所領域に分割する局所領域分割手段と、
前記局所領域分割手段によって分割された局所領域に対する階調変換曲線を算出する階調変換曲線算出手段と、
前記階調変換曲線算出手段によって算出された階調変換曲線を用いて前記局所領域の輝度信号に対して階調変換を実施する階調変換実施手段と、
を有する請求項１から６のいずれかに記載の撮影装置。The gradation converting means includes
Local region dividing means for dividing the luminance signal into at least one local region;
A gradation conversion curve calculating means for calculating a gradation conversion curve for the local area divided by the local area dividing means;
Gradation conversion performing means for performing gradation conversion on the luminance signal of the local region using the gradation conversion curve calculated by the gradation conversion curve calculating means;
The imaging device according to claim 1, comprising: 前記階調変換曲線算出手段は、
階調変換曲線を複数保持する階調変換曲線保持手段と、
前記局所領域内の平均輝度値を算出する平均輝度算出手段と、
前記局所領域内の輝度信号の標準偏差を算出する標準偏差算出手段と、
前記平均輝度算出手段によって算出された前記平均輝度値および前記標準偏差算出手段によって算出された前記標準偏差に基づいて、前記階調変換曲線保持手段によって保持された前記複数の階調変換曲線の中から前記局所領域における階調変換曲線を設定する階調変換曲線設定手段と、
を有する請求項７に記載の撮影装置。The gradation conversion curve calculation means includes:
Gradation conversion curve holding means for holding a plurality of gradation conversion curves;
Average luminance calculating means for calculating an average luminance value in the local region;
Standard deviation calculating means for calculating a standard deviation of the luminance signal in the local region;
Based on the average luminance value calculated by the average luminance calculating unit and the standard deviation calculated by the standard deviation calculating unit, the plurality of gradation conversion curves held by the gradation conversion curve holding unit. Gradation conversion curve setting means for setting a gradation conversion curve in the local region from,
The imaging device according to claim 7, comprising: 前記階調変換曲線算出手段は、
ガンマ値を複数保持するガンマ値保持手段と、
前記局所領域内の平均輝度値を算出する平均輝度算出手段と、
前記局所領域内の輝度信号の標準偏差を算出する標準偏差算出手段と、
前記平均輝度算出手段によって算出された前記平均輝度値および前記標準偏差算出手段によって算出された前記標準偏差に基づいて、前記ガンマ値保持手段によって保持された前記複数のガンマ値の中から前記局所領域におけるガンマ値を設定するガンマ値設定手段と、
前記ガンマ値設定手段によって設定されたガンマ値に基づいてガンマ曲線を設定するガンマ曲線設定手段と、
を有する請求項７に記載の撮影装置。The gradation conversion curve calculation means includes:
Gamma value holding means for holding a plurality of gamma values;
Average luminance calculating means for calculating an average luminance value in the local region;
Standard deviation calculating means for calculating a standard deviation of the luminance signal in the local region;
Based on the average luminance value calculated by the average luminance calculating unit and the standard deviation calculated by the standard deviation calculating unit, the local region is selected from the plurality of gamma values held by the gamma value holding unit. Gamma value setting means for setting the gamma value in
Gamma curve setting means for setting a gamma curve based on the gamma value set by the gamma value setting means;
The imaging device according to claim 7, comprising: 前記階調変換曲線算出手段は、
前記局所領域内のヒストグラムを算出するヒストグラム算出手段と、
前記ヒストグラム算出手段によって算出された前記ヒストグラムに基づいて前記局所領域における階調変換曲線を設定する階調変換曲線設定手段と、
を有する請求項７に記載の撮影装置。The gradation conversion curve calculation means includes:
A histogram calculating means for calculating a histogram in the local region;
A gradation conversion curve setting means for setting a gradation conversion curve in the local region based on the histogram calculated by the histogram calculation means;
The imaging device according to claim 7, comprising: 前記色空間変換手段によって変換された前記輝度信号、前記階調変換手段によって生成された前記階調変換後の輝度信号、および前記領域情報算出手段によって算出された前記領域の情報の少なくとも一つに基づいて、前記補正情報算出手段に対して前記補正情報の算出を停止させる補正情報算出制御手段を有する請求項１から１０のいずれかに記載の画像処理装置。  At least one of the luminance signal converted by the color space conversion means, the luminance signal after the gradation conversion generated by the gradation conversion means, and the area information calculated by the area information calculation means The image processing apparatus according to claim 1, further comprising: a correction information calculation control unit that causes the correction information calculation unit to stop calculating the correction information based on the correction information calculation unit. 請求項１から１１のいずれかに記載の画像処理装置を備える撮像システム。  An imaging system comprising the image processing apparatus according to claim 1.

Images