本発明は撮像装置に関し、特に被写体の明るさの情報に応じた画質補正量の制御方法に関するものである。 The present invention relates to an imaging apparatus, and more particularly to a method for controlling an image quality correction amount in accordance with information on the brightness of a subject.
最近、ビデオカメラを始めとする撮像装置において高解像度化を図るために、撮像素子の微細化が進んでいる。撮像素子の微細化は撮像素子毎の飽和電子数のバラツキを大きくする要因になる。飽和電子数のバラツキは画素ごとに発生するのみならず、個体間でのばらつきも大きくなる。個体間で飽和電子数がばらつく場合、撮像装置としては飽和電子数が最低の個体に合わせた信号レベルでダイナミックレンジを設定する必要がある。そうした場合、入射光量が大きい場合でもイメージセンサ上で信号飽和を起こすことはないが、飽和電子数が多い個体でもイメージセンサの実力を出し切れない設定となり、本来よりも信号に対して利得をかけなくてはならなくなるため、ノイズの増加などに繋がる。逆に、飽和電子数が大きい個体に合わせた号レベルでダイナミックレンジを設定すると、入射光量が大きい場合にイメージセンサ上で信号飽和を起こす個体が発生してしまう。 Recently, in order to achieve high resolution in an image pickup apparatus such as a video camera, miniaturization of an image pickup element has been advanced. Miniaturization of the image sensor becomes a factor of increasing the variation in the number of saturated electrons for each image sensor. The variation in the number of saturated electrons is not only generated for each pixel, but also varies among individuals. When the number of saturated electrons varies between individuals, the imaging apparatus needs to set a dynamic range with a signal level that matches the individual with the lowest number of saturated electrons. In such a case, even if the amount of incident light is large, signal saturation will not occur on the image sensor, but even with individuals with a large number of saturated electrons, the image sensor will not be able to achieve its full potential, and there will be no gain to the signal than originally intended. This will lead to an increase in noise. Conversely, if the dynamic range is set at a sign level that matches an individual with a large number of saturated electrons, an individual that causes signal saturation on the image sensor occurs when the amount of incident light is large.
また、飽和電子数に応じて個体の調整をする手法もある。従来、撮像素子の飽和調整としては、画素毎の飽和について補正を施したものがある（例えば特許文献１参照）。飽和調整は画素ごとのみならず、個体間の調整を行うものも一般的である。撮像装置においては飽和電子数に応じて入射光量と利得の関係を変更して、各ボディにて同等の飽和性能になるよう調整、あるいは制御している。そうすることで、飽和電子数の多い個体では、ノイズ成分を抑えた一方で、従来入射光量や利得などの明るさ情報をもとに信号処理の補正量を決定しているパラメータがある。暗所の撮影では、撮像信号にかける利得が大きくなるため、ノイズ成分も増幅されて画質を損なうことになる。暗所での画質向上のために、かける利得に応じてノイズリダクションを多くかけるなどの処理が行われる。被写体の明るさを判定するためには入射光量や利得などの明るさ情報がもとになる。 There is also a method of adjusting individuals according to the number of saturated electrons. Conventionally, as saturation adjustment of an image sensor, there is one in which saturation is corrected for each pixel (see, for example, Patent Document 1). The saturation adjustment is generally performed not only for each pixel but also for adjustment between individuals. In the imaging apparatus, the relationship between the amount of incident light and the gain is changed according to the number of saturated electrons, and adjustment or control is performed so that each body has the same saturation performance. By doing so, an individual having a large number of saturated electrons has a parameter that determines a signal processing correction amount based on brightness information such as incident light quantity and gain while suppressing a noise component. When shooting in a dark place, the gain applied to the image pickup signal increases, so noise components are also amplified and the image quality is impaired. In order to improve image quality in a dark place, processing such as applying a lot of noise reduction according to the gain to be applied is performed. In order to determine the brightness of the subject, brightness information such as the amount of incident light and gain is used as a basis.
しかしながら従来の撮像素子の調整では、明るさ情報を基に補正量を決定するパラメータについては考慮されていなかった。そのため、上記のように個体毎に飽和電子数に応じて明るさ情報を変更した際に明るさ情報をもとに決定している信号処理のパラメータに差が生じてしまう。上記のようにボディ毎に飽和電子数に応じて、明るさ情報を変更した場合、明るさ情報に応じて補正量を変更しているパラメータが個体毎に異なってしまうという問題があった。 However, in the conventional adjustment of the image sensor, the parameter for determining the correction amount based on the brightness information is not considered. Therefore, when the brightness information is changed according to the number of saturated electrons for each individual as described above, a difference occurs in the signal processing parameters determined based on the brightness information. As described above, when the brightness information is changed according to the number of saturated electrons for each body, there is a problem that the parameter for which the correction amount is changed according to the brightness information is different for each individual.
本発明は上述のような問題に鑑みてなされたものであり、撮像素子の飽和電子数に応じて利得を変更した際に、各個体間で明るさ情報を基に補正量を決定するパラメータに差が生じないようにすることを目的としている。 The present invention has been made in view of the above-described problems, and is used as a parameter for determining a correction amount based on brightness information between individuals when the gain is changed according to the number of saturated electrons of the image sensor. The purpose is to prevent differences.
上記目的を達成するため、本出願にかかる第１の発明は、入射光の光量調整を行う光量調整手段と、結像した光を電気信号に変換するイメージセンサと、イメージセンサからの出力信号を増幅する増幅手段と、イメージセンサの出力信号の各画素の飽和レベルの代表値が個体間で一定となるように信号レベルを調整する飽和調節手段と、光量調節手段の状態、増幅手段の状態およびイメージセンサの出力信号レベルのいずれか、もしくは全ての状態を用いて被写体の明るさ情報を生成する明るさ情報生成手段と、明るさ情報生成手段にて生成された明るさ情報を補正する明るさ情報補正手段と、入力信号に信号処理を施すカメラ信号処理手段とを備え、明るさ情報補正手段は前記飽和調整手段の調整値をもとに前記明るさ情報生成手段にて生成された明るさ情報を補正し、カメラ信号処理手段は前記明るさ情報補正手段にて補正された明るさ情報を用いてカメラ信号処理を行うことを特徴としている。 In order to achieve the above object, a first invention according to the present application includes a light amount adjusting means for adjusting a light amount of incident light, an image sensor for converting imaged light into an electrical signal, and an output signal from the image sensor. Amplifying means for amplifying, saturation adjusting means for adjusting the signal level so that the representative value of the saturation level of each pixel of the output signal of the image sensor is constant among individuals, the state of the light amount adjusting means, the state of the amplifying means, and Brightness information generating means for generating brightness information of the subject using any or all of the output signal levels of the image sensor, and brightness for correcting the brightness information generated by the brightness information generating means Information correction means and camera signal processing means for performing signal processing on the input signal. The brightness information correction means is generated by the brightness information generation means based on the adjustment value of the saturation adjustment means. Has been corrected brightness information, the camera signal processing means is characterized by performing a camera signal process using the brightness information corrected by the brightness information correcting means.
また、本出願にかかる第９の発明は、入射光の光量調整を行う光量調整手段と、結像した光を電気信号に変換するイメージセンサと、イメージセンサからの出力信号を増幅する増幅手段と、イメージセンサの出力信号の各画素の飽和レベルの代表値が個体間で一定となるように信号レベルを調整する飽和調節手段と、光量調節手段の状態、増幅手段の状態およびイメージセンサの出力信号レベルのいずれか、もしくは全ての状態を用いて被写体の明るさ情報を生成する明るさ情報生成手段と、明るさ情報生成手段にて生成された明るさ情報を補正する明るさ情報補正手段と、入射光を結像させる光学系の制御をおこなう光学系制御手段とを備え、明るさ情報補正手段は前記飽和調整手段の調整値をもとに前記明るさ情報生成手段にて生成された明るさ情報を補正し、光学系制御手段は前記明るさ情報補正手段にて補正された明るさ情報を用いて光学系制御を行うことを特徴としている。 According to a ninth aspect of the present application, there is provided a light amount adjusting unit that adjusts a light amount of incident light, an image sensor that converts imaged light into an electrical signal, and an amplifying unit that amplifies an output signal from the image sensor. The saturation adjustment means for adjusting the signal level so that the representative value of the saturation level of each pixel of the output signal of the image sensor is constant among individuals, the state of the light amount adjustment means, the state of the amplification means, and the output signal of the image sensor Brightness information generating means for generating brightness information of the subject using any or all of the levels, brightness information correcting means for correcting the brightness information generated by the brightness information generating means, Optical system control means for controlling the optical system that forms an image of incident light, and the brightness information correction means is generated by the brightness information generation means based on the adjustment value of the saturation adjustment means. Correcting the brightness information, optical system control means is characterized by performing the optical system control using the brightness information corrected by the brightness information correcting means.
また、本出願にかかる第１４の発明は、入射光の光量調整を行う光量調整手段と、結像した光を電気信号に変換するイメージセンサと、イメージセンサからの出力信号を増幅する増幅手段と、イメージセンサの出力信号の各画素の飽和レベルの代表値が個体間で一定となるように信号レベルを調整する飽和調節手段と、光量調節手段の状態、増幅手段の状態およびイメージセンサの出力信号レベルのいずれか、もしくは全ての状態を用いて被写体の明るさ情報を生成する明るさ情報生成手段と、明るさ情報生成手段にて生成された明るさ情報を補正する明るさ情報補正手段と、光量調節手段および増幅手段を用いた露出制御の目標レベルを制御する露出目標レベル制御手段とを備え、明るさ情報補正手段は前記飽和調整手段の調整値をもとに前記明るさ情報生成手段にて生成された明るさ情報を補正し、露出目標レベル制御手段は前記明るさ情報補正手段にて補正された明るさ情報を用いて露出目標レベル制御を行うことを特徴としている。 A fourteenth invention according to the present application is a light amount adjusting unit that adjusts a light amount of incident light, an image sensor that converts imaged light into an electrical signal, and an amplifying unit that amplifies an output signal from the image sensor. The saturation adjustment means for adjusting the signal level so that the representative value of the saturation level of each pixel of the output signal of the image sensor is constant among individuals, the state of the light amount adjustment means, the state of the amplification means, and the output signal of the image sensor Brightness information generating means for generating brightness information of the subject using any or all of the levels, brightness information correcting means for correcting the brightness information generated by the brightness information generating means, An exposure target level control unit for controlling a target level of exposure control using the light amount adjustment unit and the amplification unit, and the brightness information correction unit is based on the adjustment value of the saturation adjustment unit. The brightness information generated by the brightness information generation means is corrected, and the exposure target level control means performs exposure target level control using the brightness information corrected by the brightness information correction means. It is said.
以上説明したように、本発明によれば、各個体において撮像素子の飽和電子数に応じて明るさ情報を変更した際でも、明るさ情報を基に決定する補正量を略一定とすることができる。 As described above, according to the present invention, even when the brightness information is changed in accordance with the number of saturated electrons of the image sensor in each individual, the correction amount determined based on the brightness information can be made substantially constant. it can.
＜第１の実施形態＞
図１は本発明の第１の実施例の概略全体図を示すブロック図である。<First Embodiment>
FIG. 1 is a block diagram showing a schematic overall view of a first embodiment of the present invention.
図１において、１０１は被写体からの入射光を結像させるレンズ、１０２は入射光の光量を調整する光量調整装置、１０３は結像した光学像を電気信号に変換するイメージセンサ部、１０４はイメージセンサの飽和レベルに応じて利得をかけてイメージセンサからの出力信号レベルの個体ばらつきを調節する飽和調整装置、１０５はイメージセンサの出力を映像信号として増幅する増幅装置、１０６は映像信号の信号レベルを取得する信号レベル取得装置、１０７は映像信号にガンマ処理、輪郭処理、色処理などを行う信号処理装置、１０８は信号処理された映像信号を記録部や表示部に出力する出力部、１０９は光量調節装置１０２や増幅装置１０５、信号レベル取得装置１０６などの情報から被写体の明るさ情報を生成する明るさ情報生成装置、１１０は飽和調整装置１０４の調整値から明るさ情報生成装置１０９にて生成された明るさ情報を補正する明るさ情報補正装置である。本発明の第１の実施例では、明るさ情報補正装置１１０が最も特徴的な部分である。比較のために従来例の構成を表すブロック図を図２に示す。 In FIG. 1, 101 is a lens that forms an image of incident light from a subject, 102 is a light amount adjustment device that adjusts the amount of incident light, 103 is an image sensor unit that converts the formed optical image into an electrical signal, and 104 is an image. A saturation adjustment device that adjusts the individual variation of the output signal level from the image sensor by applying a gain according to the saturation level of the sensor, 105 is an amplification device that amplifies the output of the image sensor as a video signal, and 106 is the signal level of the video signal 107 is a signal processing device that performs gamma processing, contour processing, color processing, etc. on a video signal, 108 is an output unit that outputs the signal processed video signal to a recording unit or a display unit, 109 is Brightness information generation for generating subject brightness information from information such as the light amount adjustment device 102, the amplification device 105, and the signal level acquisition device 106 Apparatus, 110 is a brightness information correction device for correcting the brightness information generated by the brightness information generation unit 109 from the adjustment value of saturation adjuster 104. In the first embodiment of the present invention, the brightness information correction device 110 is the most characteristic part. For comparison, FIG. 2 shows a block diagram showing a configuration of a conventional example.
図２において、２０１〜２０９は図１中の１０１〜１０９に相当する。従来例では図１中の明るさ情報補正装置１１０が無い構成であり、明るさ情報生成装置２０９にて生成された明るさ情報は補正されずに信号処理装置２０７に伝達される。 In FIG. 2, 201-209 correspond to 101-109 in FIG. In the conventional example, the brightness information correction apparatus 110 in FIG. 1 is not provided, and the brightness information generated by the brightness information generation apparatus 209 is transmitted to the signal processing apparatus 207 without being corrected.
次に順を追って、本発明の第１の実施例の動作を説明する。 Next, the operation of the first embodiment of the present invention will be described in order.
レンズ１０１によって結像される被写体像は光量調整装置１０２にて光量の調整が行われ、イメージセンサ部１０３に結像して光電変換されるとともにイメージセンサ部内の増幅回路にて増幅される。ここでは光量調整装置１０２は光学絞りとして説明するが、光量を減光するＮＤフィルタなどの光学手段や、機械シャッタ機構や電子シャッタなどのイメージセンサの蓄積時間を変更する手段も含む。光量調整装置１０２は光学絞りの開口径を変更し入射光量の調整を行うが、入射光量の調整に際しては後述のイメージセンサの飽和レベルが関与してくる。イメージセンサ１０３の出力は飽和調整装置１０４でレベル調整された後、増幅装置１０５にて所望の信号レベルに増幅され、信号処理装置１０７にてガンマ処理、輪郭処理、色処理などのカメラ信号処理が施される。 The subject image formed by the lens 101 is adjusted in light amount by the light amount adjusting device 102, imaged on the image sensor unit 103, subjected to photoelectric conversion, and amplified by an amplifier circuit in the image sensor unit. Here, the light quantity adjusting device 102 is described as an optical diaphragm, but includes an optical means such as an ND filter for reducing the light quantity, and a means for changing an accumulation time of an image sensor such as a mechanical shutter mechanism and an electronic shutter. The light amount adjusting device 102 adjusts the incident light amount by changing the aperture diameter of the optical diaphragm. However, the saturation level of the image sensor described later is involved in the adjustment of the incident light amount. The output of the image sensor 103 is level-adjusted by the saturation adjusting device 104 and then amplified to a desired signal level by the amplifying device 105, and camera signal processing such as gamma processing, contour processing, and color processing is performed by the signal processing device 107. Applied.
ここで、イメージセンサの飽和レベルの補正に関して説明する。 Here, correction of the saturation level of the image sensor will be described.
図４は飽和調整を説明するレベルダイアグラムである。図４−ａは飽和調整を説明するブロック図であり、図中、４０１はレンズ、４０２は光学絞り、４０３はイメージセンサ、４０４は飽和調整装置、４０５は増幅装置であり、それぞれ図１で説明した構成の一部である。このブロック図に対応して、図４−ｂはイメージセンサの飽和レベルが大きい場合のレベルダイアグラムである。４１１は被写体の光量レベル、４１２はイメージセンサの出力信号レベル、４１３は飽和調整を行った後の信号レベル、４１４は増幅装置によって増幅された目標信号レベルであり、それぞれの系においてレベルを変換する要素として、４１５は光学絞りでの減衰、４１６は飽和調整による増幅、４１７は増幅装置による増幅を示す。被写体光量４１１の光量をもった被写体は、イメージセンサで信号飽和が起こらないレベルに光学絞りで減衰される（４１５）。減衰されてイメージセンサで光電変換された結果、センサ出力４１２のレベルとなるが、図４−ｂに示すイメージセンサは飽和レベルが大きいため、飽和調整装置において増幅する必要はなく、飽和調整による増幅４１６は行われず、飽和調整後４１３はセンサ出力４１２と同等のレベルとなる。そして増幅装置４０５で所定のレベルの増幅をおこない、目標信号レベル４１４となる。一方で、図４−ｃはイメージセンサの飽和レベルが小さい場合のレベルダイアグラムである。４２１は被写体の光量レベル、４２２はイメージセンサの出力信号レベル、４２３は飽和調整を行った後の信号レベル、４２４は増幅装置によって増幅された目標信号レベルであり、それぞれの系においてレベルを変換する要素として、４２５は光学絞りでの減衰、４２６は飽和調整による増幅、４２７は増幅装置による増幅を示す。被写体光量４２１の光量をもった被写体は、イメージセンサで信号飽和が起こらないレベルに光学絞りで減衰される（４２５）。減衰されてイメージセンサで光電変換された結果、センサ出力４２２のレベルとなるが、図４−ｃに示すイメージセンサは飽和レベルが小さいため、飽和調整装置において増幅４２６の利得をかける必要がある、飽和調整後４２３はセンサ出力４２２に対して大きいレベルであり、図４−ｂの飽和調整後４１３と同等のレベとなる。そして増幅装置４０５で所定のレベルの増幅をおこない、図４−ｂの目標信号レベル４１４と同等の目標信号レベル４２４となる。 FIG. 4 is a level diagram illustrating saturation adjustment. 4A is a block diagram for explaining the saturation adjustment, in which 401 is a lens, 402 is an optical diaphragm, 403 is an image sensor, 404 is a saturation adjustment device, and 405 is an amplification device, which are described in FIG. Part of the configuration. Corresponding to this block diagram, FIG. 4-b is a level diagram when the saturation level of the image sensor is large. 411 is a light amount level of an object, 412 is an output signal level of an image sensor, 413 is a signal level after saturation adjustment, 414 is a target signal level amplified by an amplifying device, and the level is converted in each system. As elements, reference numeral 415 denotes attenuation by the optical diaphragm, 416 denotes amplification by saturation adjustment, and 417 denotes amplification by the amplification device. A subject having a light amount of the subject light amount 411 is attenuated by the optical aperture to a level at which signal saturation does not occur in the image sensor (415). As a result of being attenuated and photoelectrically converted by the image sensor, the level of the sensor output 412 is obtained. However, since the image sensor shown in FIG. 4B has a high saturation level, it is not necessary to amplify in the saturation adjustment device. 416 is not performed, and after saturation adjustment 413, a level equivalent to the sensor output 412 is obtained. Then, the amplification device 405 performs amplification at a predetermined level to obtain a target signal level 414. On the other hand, FIG. 4-c is a level diagram when the saturation level of the image sensor is small. 421 is the light amount level of the object, 422 is the output signal level of the image sensor, 423 is the signal level after saturation adjustment, 424 is the target signal level amplified by the amplification device, and the level is converted in each system As elements, 425 is attenuation by the optical diaphragm, 426 is amplification by saturation adjustment, and 427 is amplification by the amplification device. A subject having a light amount of the subject light amount 421 is attenuated by the optical diaphragm to a level at which signal saturation does not occur in the image sensor (425). As a result of being attenuated and photoelectrically converted by the image sensor, the level of the sensor output 422 is obtained. However, since the image sensor shown in FIG. 4C has a low saturation level, it is necessary to apply the gain of the amplification 426 in the saturation adjustment device. After saturation adjustment 423 is a large level with respect to the sensor output 422, and becomes the same level as that after 413 of saturation adjustment in FIG. Then, the amplification device 405 performs amplification at a predetermined level to obtain a target signal level 424 equivalent to the target signal level 414 in FIG.
図４−ｂの飽和調整による増幅４１６および図４−ｃの飽和調整による増幅４２６がそれぞれのイメージセンサの飽和レベルを補正する調整結果であり、このゲイン差に相当する明るさだけ光学絞り４０２における減光量に差が出ることになり、その差が光学絞りでの減衰４１５と光学絞りでの減衰４２５の差になる。すなわち、図１における飽和調整装置１０５において増幅する利得は図４−ｂのイメージセンサであれば飽和調整による増幅４１６、図４−ｃのイメージセンサであれば飽和調整による増幅４２６の量となる。 Amplification 416 by saturation adjustment in FIG. 4-b and amplification 426 by saturation adjustment in FIG. 4-c are adjustment results for correcting the saturation level of each image sensor, and the optical diaphragm 402 has a brightness corresponding to this gain difference. There is a difference in the amount of light reduction, and the difference is the difference between the attenuation 415 at the optical aperture and the attenuation 425 at the optical aperture. That is, the gain to be amplified in the saturation adjustment device 105 in FIG. 1 is the amount of amplification 416 by saturation adjustment in the case of the image sensor in FIG. 4-b, and the amount of amplification 426 by saturation adjustment in the case of the image sensor in FIG.
ここでイメージセンサの飽和電子数に応じて飽和調整装置１０４のゲイン値を設定する手段について説明する。 Here, means for setting the gain value of the saturation adjusting device 104 in accordance with the number of saturation electrons of the image sensor will be described.
図５はイメージセンサの飽和電子数に応じて、飽和調整装置１０４の利得を決定するフローである。ステップＳ５０１で、イメージセンサ画素が充分飽和する光量を出力する無彩色の光源を撮像する。ステップＳ５０２で、絞りをある所定値へ変更する。ある所定値とはイメージセンサが飽和しやすいよう絞りは開放とする。ステップＳ５０３にて、飽和調整装置１０４の利得を０ｄＢとする。ステップＳ５０４にて、飽和調整装置１０４の出力レベルを測定する。イメージセンサの飽和レベルは画素ごとにばらつく場合が多いが、本実施例の目的はイメージセンサ出力全体の飽和レベルを適切にするところにあるため、ここではイメージセンサ中の画素の中で一番飽和電子レベルが低い画素を代表値として用いることとする。ステップＳ５０７にて目標の明るさを取得し、ステップＳ５０５にて補正利得の換算を行う。例えば目的の明るさａがａ＝１００００［ｌｓｂ］の場合、ステップＳ５０５の結果ｂがｂ＝５０００［ｌｓｂ］であったならば補正利得はａ／ｂ＝２００％、すなわち６ｄＢとなる。ステップＳ５０７にて飽和調整装置１０４の利得を前記補正利得より算出して記憶する。 FIG. 5 is a flow for determining the gain of the saturation adjusting device 104 in accordance with the number of saturation electrons of the image sensor. In step S501, an achromatic light source that outputs an amount of light that sufficiently saturates the image sensor pixel is imaged. In step S502, the aperture is changed to a predetermined value. The aperture is opened so that the image sensor is likely to be saturated with a certain predetermined value. In step S503, the gain of the saturation adjusting device 104 is set to 0 dB. In step S504, the output level of the saturation adjusting device 104 is measured. Although the saturation level of the image sensor often varies from pixel to pixel, the purpose of this embodiment is to make the saturation level of the entire output of the image sensor appropriate, so here the saturation is the most saturated among the pixels in the image sensor. A pixel having a low electronic level is used as a representative value. In step S507, the target brightness is acquired, and in step S505, the correction gain is converted. For example, when the target brightness a is a = 10000 [lsb], if the result b of step S505 is b = 5000 [lsb], the correction gain is a / b = 200%, that is, 6 dB. In step S507, the gain of the saturation adjusting device 104 is calculated from the correction gain and stored.
以上のようにセンサの飽和電子数に応じて、飽和調整装置１０４を設定する。 As described above, the saturation adjusting device 104 is set according to the number of saturated electrons of the sensor.
撮像される被写体の明るさは、光量調整装置１０２にて光量調節される量と、増幅装置１０５にて増幅されるレベルを考慮したうえで、増幅後の信号レベルを検出することで推測することができる。明るさ情報生成装置１０９は光量調整装置１０２の状態、増幅装置１０５の状態、および信号レベル取得装置１０６によって取得された信号レベルを用いて、明るさ情報を生成する。 The brightness of the subject to be imaged is estimated by detecting the signal level after amplification in consideration of the amount of light amount adjustment by the light amount adjustment device 102 and the level amplified by the amplification device 105. Can do. The brightness information generation device 109 generates brightness information using the state of the light amount adjustment device 102, the state of the amplification device 105, and the signal level acquired by the signal level acquisition device 106.
ところで、撮像装置の信号処理にとって撮像被写体の明るさは非常に重要な要素となる。映像信号は撮像環境に応じてそれぞれに適した信号処理を施される。例えば被写体環境の色温度を補正するホワイトバランス処理を例にとると、屋外環境と屋内照明環境では色温度条件が大きく異なる場合が多い。撮影した画像から色温度を検出して補正する構成のホワイトバランス装置では、被写体の色と光源の色温度を区別することが難しく、被写体の色によっては誤検出する場合がある。色温度を検出する際に屋外であるか、或いは屋内であるかが判別できると、ホワイトバランス制御の性能は大きく向上する。ここで、撮像被写体から屋外か屋内かを知ることは難しいが、被写体の明るさが大きな手掛かりとなる。比較的明るければ屋外で、逆に暗ければ屋内である可能性が高いため、被写体の明るさの情報をホワイトバランス制御に用いることで検出性能の向上が図られている。 By the way, the brightness of the imaging subject is a very important factor for the signal processing of the imaging apparatus. The video signal is subjected to signal processing suitable for each imaging environment. For example, when white balance processing for correcting the color temperature of the subject environment is taken as an example, the color temperature conditions often differ greatly between the outdoor environment and the indoor lighting environment. In a white balance device configured to detect and correct a color temperature from a photographed image, it is difficult to distinguish between the color of the subject and the color temperature of the light source, and may be erroneously detected depending on the color of the subject. If it is possible to determine whether the color temperature is outdoor or indoor, white balance control performance is greatly improved. Here, it is difficult to know whether the subject is outdoor or indoor, but the brightness of the subject is a big clue. Since there is a high possibility that it is outdoors if it is relatively bright, and indoors if it is dark, the detection performance is improved by using information on the brightness of the subject for white balance control.
また、被写体が暗い場合にはイメージセンサで受ける光量が低下するため、増幅装置で利得をかけることで出力信号のレベルを保つことになる。イメージセンサなどのアナログ回路部分では撮像信号内にショットノイズが少なからず発生するが、撮像信号のレベルが低い状態で増幅することにより映像信号レベルを適正にするとショットノイズも増幅されることとなり、映像信号に対するノイズのレベルが大きくなり、出力信号のＳ／Ｎ比が悪化する。このように被写体が暗い場合には映像信号の品質が落ちることとなるため、一般的に増幅装置の利得が上がると信号処理部においてノイズを抑制する処理をかけることとなる。ノイズリダクションには複数の画像の相関をとってランダムノイズを抑制するものや、１枚の画像中で空間フィルタをかけるものなど様々であるが、それぞれ処理による弊害が発生するので、必要最低限の処理を利得に応じてかける手法が用いられる。この際に、被写体の明るさや、増幅装置の利得などの条件が用いられることとなる。 Further, when the subject is dark, the amount of light received by the image sensor is reduced, so that the level of the output signal is maintained by applying a gain with the amplifier. In analog circuit parts such as image sensors, shot noise is not a little generated in the image signal, but if the image signal level is made appropriate by amplifying the image signal at a low level, the shot noise is also amplified. The level of noise with respect to the signal increases, and the S / N ratio of the output signal deteriorates. In this way, when the subject is dark, the quality of the video signal is lowered. Therefore, generally, when the gain of the amplifying device is increased, processing for suppressing noise is performed in the signal processing unit. There are various types of noise reduction, such as the one that suppresses random noise by correlating multiple images, and the one that applies a spatial filter in a single image. A method of applying processing according to the gain is used. At this time, conditions such as the brightness of the subject and the gain of the amplification device are used.
明るさ情報生成装置１０９において生成された明るさ情報は明るさ情報補正装置１１０において補正される。ここで補正される内容は、光量調節装置１０２の状態の補正と、増幅装置１０５の利得の補正の場合に分かれる。十分に明るい被写体を撮像している場合にはイメージセンサ１０３に結像する光量を調節する必要があるため、光学絞りを絞る方向にある。この際に入射光量の調整に際しては上述のイメージセンサの飽和レベルが関与してくる。イメージセンサの飽和が大きい場合にはその分だけ入射光量を大きくするが、イメージセンサの飽和が小さい場合には入射光量を絞りながら撮像されることになる。つまり、被写体の明るさが同じ状況でも、イメージセンサの飽和量によって光量調節の量が変わってくるため、その変化量を補正しないと明るさ情報生成装置１０９において生成された明るさ情報に誤差が生じてしまう。こういった場合、明るさ情報補正装置１１０では飽和調整装置１０４の利得に応じて光源調節量を補正することで正確な明るさ情報として補正されることになる。この例は、上述のホワイトバランス制御などで、屋外の被写体であるか屋内の被写体であるかを判別する際などに応用される。 The brightness information generated by the brightness information generation device 109 is corrected by the brightness information correction device 110. The contents to be corrected here are divided into correction of the state of the light amount adjusting device 102 and correction of the gain of the amplifying device 105. When a sufficiently bright subject is imaged, it is necessary to adjust the amount of light imaged on the image sensor 103, so the optical aperture is in the direction to be reduced. At this time, the saturation level of the image sensor described above is involved in adjusting the amount of incident light. When the saturation of the image sensor is large, the amount of incident light is increased by that amount. When the saturation of the image sensor is small, an image is captured while reducing the amount of incident light. That is, even when the brightness of the subject is the same, the amount of light amount adjustment varies depending on the saturation amount of the image sensor. Therefore, if the amount of change is not corrected, there is an error in the brightness information generated by the brightness information generation device 109. It will occur. In such a case, the brightness information correction device 110 corrects the light source adjustment amount according to the gain of the saturation adjustment device 104, thereby correcting the brightness information as accurate brightness information. This example is applied when determining whether the subject is an outdoor subject or an indoor subject in the above-described white balance control or the like.
一方で、比較的暗い被写体を撮像している場合ではイメージセンサ１０３に結像する光量は少なくなり、光量調節装置１０２では出来るだけ多くの光量を露光するようにしたい。従って、イメージセンサの飽和量如何を問わず光学絞りは開放で撮影する場合が多い。こういった被写体では、増幅装置の利得制御を用いて信号レベル調節が行われることになる。上述のノイズリダクション制御では増幅装置１０５の利得を用いる必要があるために明るさ情報を使用するが、本来必要な情報は撮像系全体にかかる利得である。飽和調整装置１０４ではイメージセンサの飽和によって利得が異なるため、こういった場合、明るさ情報補正装置１１０では飽和調整装置１０４の利得を増幅装置１０５の利得に加算することで系全体の利得を補正し、正確な明るさ情報として補正されることになる。 On the other hand, when a relatively dark subject is being imaged, the amount of light that forms an image on the image sensor 103 decreases, and the light amount adjustment device 102 wants to expose as much light as possible. Therefore, in many cases, the image is taken with the optical aperture open regardless of the saturation amount of the image sensor. In such a subject, signal level adjustment is performed using gain control of the amplification device. In the noise reduction control described above, brightness information is used because it is necessary to use the gain of the amplifying device 105, but originally necessary information is a gain applied to the entire imaging system. In the saturation adjustment device 104, the gain varies depending on the saturation of the image sensor. In such a case, the brightness information correction device 110 corrects the gain of the entire system by adding the gain of the saturation adjustment device 104 to the gain of the amplification device 105. However, it is corrected as accurate brightness information.
以上のように、撮像装置の露出レベルから明るさ情報を生成し、映像信号処理に使用する際に、飽和調整装置の調整値、すなわち利得を用いて明るさ情報を補正することで、ホワイトバランスやノイズリダクションなどの制御における精度を向上させることが可能になり、個体間でのばらつきをなくすことができる。明るさ情報を用いている信号処理は上述のホワイトバランスやノイズリダクションのほかに、輪郭強調やガンマ補正などの階調補正も挙げられる。輪郭強調量は被写体の尖鋭度の制御だけではなく、ノイズ抑圧としての効果も期待されるし、ガンマ補正は逆光補正やダイナミックレンジの補正などに用いられ、被写体の明るさに対して重要な関係にある。さらに、イメージセンサのノイズ成分として画素欠陥などがあるが、画素欠陥のレベルは蓄積時間や系の利得によって変化する。したがって画素欠陥レベルの補正に関しても明るさ情報が重要な役割を果たし、その精度を上げるためにも本実施例の明るさ情報補正が重要となる。 As described above, when the brightness information is generated from the exposure level of the imaging device and used for video signal processing, the white balance is corrected by correcting the brightness information using the adjustment value of the saturation adjustment device, that is, the gain. It is possible to improve accuracy in control such as noise reduction, and to eliminate variation among individuals. Signal processing using brightness information includes gradation correction such as edge enhancement and gamma correction in addition to the above-described white balance and noise reduction. The amount of edge enhancement is expected not only to control the sharpness of the subject, but also to be effective as noise suppression. Gamma correction is used for backlight correction and dynamic range correction, and has an important relationship with the brightness of the subject. It is in. Furthermore, although there are pixel defects and the like as noise components of the image sensor, the level of pixel defects varies depending on the accumulation time and system gain. Therefore, the brightness information plays an important role in correcting the pixel defect level, and the brightness information correction of this embodiment is important in order to increase the accuracy.
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。飽和調整装置と増幅装置は別の構成で説明したが、同一の増幅装置の中で２種類の意味をもった利得を加算して用いる構成でも構わないし、撮像される映像信号は静止画でも動画でも構わない。また、上述の実施形態の一部を適宜組み合わせてもよい。
＜第２の実施形態＞
図３は本発明の第２の実施例の概略全体図を示すブロック図である。Although the present invention has been described in detail based on preferred embodiments thereof, the present invention is not limited to these specific embodiments, and various forms within the scope of the present invention are also included in the present invention. included. Although the saturation adjusting device and the amplifying device have been described as different configurations, a configuration in which gains having two types of meanings are added and used in the same amplifying device may be used. It doesn't matter. Moreover, you may combine suitably a part of above-mentioned embodiment.
<Second Embodiment>
FIG. 3 is a block diagram showing a schematic overall view of the second embodiment of the present invention.
図３において、３０１〜３１０は図１中の１０１〜１１０に相当する。図中、３１１はレンズの制御をおこなう光学系制御装置である。本発明の第１の実施例では図１中の明るさ情報補正装置１１０の出力が信号処理装置１０７に伝達される構成について説明したが、本発明の第２の実施例では明るさ情報補正装置３１０の出力が光学系制御装置３１１に伝達される構成となる。 In FIG. 3, 301 to 310 correspond to 101 to 110 in FIG. In the figure, reference numeral 311 denotes an optical system controller for controlling the lens. In the first embodiment of the present invention, the configuration in which the output of the brightness information correction device 110 in FIG. 1 is transmitted to the signal processing device 107 has been described, but in the second embodiment of the present invention, the brightness information correction device. The output of 310 is transmitted to the optical system control device 311.
ここで、光学系の補正とは、フォーカス手段や手ぶれ補正手段のように光学系の部材を動かすことによって光学像の補正などの制御をおこなうものである。撮像装置では自動フォーカスなどの技術が進んでいるが、自動フォーカスの検出に際しても明るさの情報を用いることで被写体の条件の判別を行っている。フォーカスの検出では、被写体の尖鋭度をコントラストの観点で判定する。十分に明るい被写体では、被写体のコントラストは高い状態であるが、被写体の照度が低くなってくると同じ被写体でもコントラストが低くなる。この際に、暗いからコントラストが低いのか、或いはコントラストが低い被写体なのかが判別できない。ここに被写体の明るさの情報を加えることで誤判別を防ぐことができ、フォーカス検出の精度が高くなる。また、さらに暗い被写体では、照明を含んだ夜景などの条件が存在する。夜景シーンでは逆にコントラストが高くなるだけでなく、点光源がデフォーカスすると、かえって尖鋭度が上がる場合がある。従って、夜景シーンに対してフォーカス検出を行うには、夜景シーンであることが分かっていることが必要となる。夜景シーンの判別には、点光源を検出することが必要となるが、それに加えて被写体の照度が低いことが分かっていなくてはならない。ここでも、被写体の明るさを正確に検出することが求められる。 Here, the correction of the optical system is to perform control such as correction of an optical image by moving a member of the optical system like a focus unit or a camera shake correction unit. Although techniques such as auto-focusing have been advanced in image pickup apparatuses, the conditions of a subject are determined by using brightness information when detecting auto-focusing. In focus detection, the sharpness of the subject is determined from the viewpoint of contrast. For a sufficiently bright subject, the contrast of the subject is high, but when the illuminance of the subject decreases, the same subject also has a low contrast. At this time, it cannot be determined whether the subject is low contrast or low contrast because it is dark. By adding information on the brightness of the subject here, erroneous determination can be prevented, and the accuracy of focus detection is increased. In a darker subject, conditions such as a night view including illumination exist. On the other hand, in the night scene, not only the contrast becomes high, but also the sharpness may increase when the point light source is defocused. Therefore, in order to perform focus detection on a night scene, it is necessary to know that the scene is a night scene. In order to distinguish a night scene, it is necessary to detect a point light source. In addition, it is necessary to know that the illuminance of the subject is low. Again, it is required to accurately detect the brightness of the subject.
以上に述べたように、自動フォーカスの制御に関しても被写体の明るさ情報は非常に重要で、検出精度が求められるものであるが、本発明の第１の実施例で述べたようにイメージセンサの飽和が個体ごとにばらつくと被写体の明るさ情報自体がばらつくことになる。そこで、飽和調整装置３０４の状態を用いて明るさ情報補正装置３０９において明るさ情報を補正することで、実際の被写体の明るさに合った明るさ情報を生成することができる。そして、実際の被写体の明るさに合った明るさ情報を用いて被写体の明るさを判別することで誤検出が少なく精度が高いフォーカス検出を行うことができ、自動フォーカス装置の性能が向上する。 As described above, the brightness information of the subject is also very important for the automatic focus control, and the detection accuracy is required. However, as described in the first embodiment of the present invention, When saturation varies from individual to individual, the brightness information of the subject itself varies. Therefore, by correcting the brightness information in the brightness information correction device 309 using the state of the saturation adjustment device 304, it is possible to generate brightness information that matches the actual brightness of the subject. Then, by determining the brightness of the subject using brightness information that matches the actual brightness of the subject, it is possible to perform focus detection with less false detection and high accuracy, and the performance of the autofocus device is improved.
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。光学系の制御としては自動フォーカスのみではなく、手ぶれを補正する防振装置にも応用可能である。撮像される映像信号は静止画でも動画でも構わないし、上述の実施形態の一部を適宜組み合わせてもよい。
＜第３の実施形態＞
本発明の第１の実施例では明るさ情報を信号処理の制御に用いる例、本発明の第２の実施例では明るさ情報を光学系制御に用いる例を説明したが、本発明の第３の実施例では明るさ情報を露出制御に用いる例を説明する。Although the present invention has been described in detail based on preferred embodiments thereof, the present invention is not limited to these specific embodiments, and various forms within the scope of the present invention are also included in the present invention. included. The control of the optical system can be applied not only to automatic focusing but also to a vibration isolator that corrects camera shake. The captured video signal may be a still image or a moving image, and a part of the above-described embodiments may be appropriately combined.
<Third Embodiment>
In the first embodiment of the present invention, the example in which the brightness information is used for controlling the signal processing has been described. In the second embodiment of the present invention, the example in which the brightness information is used for controlling the optical system has been described. In this embodiment, an example in which brightness information is used for exposure control will be described.
撮像装置では露出制御を自動的に行うものが一般的だが、被写体の状況がわからなければ、露出制御は被写体の明るさによらず全ての被写体を同じ明るさに制御することになる。しかしながら、人間の感覚として、明るい被写体であれば明るく感じ、暗い被写体であれば暗く感じることができる。この人間の感覚に合わせるために、被写体の明るさに応じて露出目標レベルを補正することが一般的に行われている。露出目標補正の例としては、明るい被写体を撮影した場合は露出目標を明るく補正し、暗い被写体を撮影した場合は露出目標を暗く補正する。例えば、Ｅｖ１５程度の被写体では１Ｅｖ程度露出目標を上げることで明るさを表現することができる。 In general, an imaging apparatus automatically performs exposure control. However, if the state of the subject is not known, the exposure control controls all subjects to the same brightness regardless of the brightness of the subject. However, as a human sense, a bright subject can feel bright and a dark subject can feel dark. In order to match this human sense, the exposure target level is generally corrected in accordance with the brightness of the subject. As an example of exposure target correction, the exposure target is corrected brightly when a bright subject is photographed, and the exposure target is corrected darkly when a dark subject is photographed. For example, for a subject of about Ev15, brightness can be expressed by increasing the exposure target by about 1 Ev.
明るさ情報生成装置によって生成された明るさ情報をもとに露出目標を変更するわけだが、これまでの実施例で述べたとおり、飽和調整によって個体間での明るさ情報がばらついてしまう。本実施例では明るさ情報補正の結果を露出目標生成に用いることで、正確な被写体の明るさを生成することが可能になり、人間の感覚に近い露出表現がばらつきなく行えるようになる。 Although the exposure target is changed based on the brightness information generated by the brightness information generating device, the brightness information varies between individuals due to saturation adjustment as described in the previous embodiments. In the present embodiment, by using the result of brightness information correction for generating an exposure target, it is possible to generate accurate subject brightness, and exposure expression close to a human sense can be performed without variation.
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。露出制御の手段としては光学絞りのみではなく、ＮＤフィルタなどの光学減光手段や機械シャッターなどによってイメージセンサの露光時間を変更する手段でも構わないし、イメージセンサの駆動によって露光時間を変化させたりイメージセンサの出力にかける利得を変更してもよい。撮像される映像信号は静止画でも動画でも構わないし、上述の実施形態の一部を適宜組み合わせてもよい。 Although the present invention has been described in detail based on preferred embodiments thereof, the present invention is not limited to these specific embodiments, and various forms within the scope of the present invention are also included in the present invention. included. The exposure control means is not limited to the optical aperture, but may be an optical dimming means such as an ND filter, a means for changing the exposure time of the image sensor by a mechanical shutter, or the like. The gain applied to the sensor output may be changed. The captured video signal may be a still image or a moving image, and a part of the above-described embodiments may be appropriately combined.
本発明は、ビデオカメラ，電子スチルカメラ等の撮像装置に関し、特にセンサの飽和電子数に応じて明るさ情報を変更する手段を備えた装置の明るさ情報の制御に関するものである。 The present invention relates to an imaging apparatus such as a video camera or an electronic still camera, and more particularly to control of brightness information of an apparatus having means for changing brightness information in accordance with the number of saturated electrons of a sensor.
１０１‥‥レンズ
１０２‥‥光量調節装置
１０３‥‥イメージセンサ
１０４‥‥飽和調整装置
１０５‥‥増幅装置
１０６‥‥信号レベル取得装置
１０７‥‥信号処理装置
１０８‥‥映像信号出力
１０９‥‥明るさ情報生成装置
１１０‥‥明るさ情報補正装置DESCRIPTION OF SYMBOLS 101 ... Lens 102 ... Light quantity adjustment device 103 ... Image sensor 104 ... Saturation adjustment device 105 ... Amplification device 106 ... Signal level acquisition device 107 ... Signal processing device 108 ... Video signal output 109 ... Brightness Information generation device 110 ... Brightness information correction device
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010242517AJP2012095219A (en) | 2010-10-28 | 2010-10-28 | Imaging apparatus and control method of the same |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010242517AJP2012095219A (en) | 2010-10-28 | 2010-10-28 | Imaging apparatus and control method of the same |
| Publication Number | Publication Date |
|---|---|
| JP2012095219Atrue JP2012095219A (en) | 2012-05-17 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010242517APendingJP2012095219A (en) | 2010-10-28 | 2010-10-28 | Imaging apparatus and control method of the same |
| Country | Link |
|---|---|
| JP (1) | JP2012095219A (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140071877A (en) | 2012-12-04 | 2014-06-12 | 삼성테크윈 주식회사 | Image processing apparatus and image processing method |
| WO2015178534A1 (en)* | 2014-05-21 | 2015-11-26 | (주)엠시스 | Apparatus for improving image quality, digital photography apparatus having same, and method for improving image quality |
| JP2016144095A (en)* | 2015-02-03 | 2016-08-08 | オリンパス株式会社 | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140071877A (en) | 2012-12-04 | 2014-06-12 | 삼성테크윈 주식회사 | Image processing apparatus and image processing method |
| WO2015178534A1 (en)* | 2014-05-21 | 2015-11-26 | (주)엠시스 | Apparatus for improving image quality, digital photography apparatus having same, and method for improving image quality |
| JP2016144095A (en)* | 2015-02-03 | 2016-08-08 | オリンパス株式会社 | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD |
| Publication | Publication Date | Title |
|---|---|---|
| US7483064B2 (en) | Imaging apparatus | |
| JP5072431B2 (en) | Imaging apparatus and control method thereof | |
| JP2007288490A (en) | Imaging apparatus and exposure control method for imaging apparatus | |
| JP2002027491A (en) | Image input apparatus, white balance adjustment method, and computer-readable recording medium storing program for executing the method | |
| JP2010147816A5 (en) | ||
| EP2839634B1 (en) | Imaging device and image processing method | |
| US7486884B2 (en) | Imaging device and imaging method | |
| JP2010016664A (en) | Imaging apparatus | |
| US9113117B2 (en) | Image-taking apparatus and method for controlling the same | |
| KR20090063134A (en) | The recording medium which recorded the program of the imaging device, the control method of an imaging device, the program of the control method of an imaging device, and the program of the control method of an imaging device. | |
| US9161001B2 (en) | Image capturing apparatus that suppresses color deviation resulting from noise due to temperature and exposure time | |
| US9191573B2 (en) | Image capturing apparatus for determining an exposure condition by calculating aphotmetric value for each object region and method of controlling the same | |
| JP4516503B2 (en) | Imaging system and control method thereof | |
| JP4300936B2 (en) | Imaging device | |
| JP2012095219A (en) | Imaging apparatus and control method of the same | |
| JP2007184729A (en) | Gain calculation apparatus | |
| JP2009089249A (en) | Imaging apparatus and control method thereof | |
| JP6090565B2 (en) | Imaging apparatus, imaging method, and program | |
| JP4812846B2 (en) | Imaging apparatus and imaging method | |
| JP5473582B2 (en) | Image processing apparatus, method, and program | |
| JP6272006B2 (en) | Imaging apparatus, image processing method, and program | |
| JP5094454B2 (en) | Imaging apparatus and control method thereof | |
| JP2010183191A (en) | Exposure amount control device and exposure amount control method | |
| JP2011249948A (en) | Stereo image processing apparatus, image processing method, and program | |
| JP2011049737A (en) | Imaging apparatus and exposure control method thereof |