本発明は、撮像装置に関し、更には撮像装置のメタデータ記録と、再生時のメタデータを使用して映像の補正を行う行う方法に関するものである。 The present invention relates to an imaging apparatus, and more particularly, to a method for performing metadata correction using a metadata recording and reproduction metadata of the imaging apparatus.
従来、電子カメラなどの撮像装置に於いて、その露出を最適値に自動設定する自動露出制御装置が設けられているが、被写体上の横切りなどの突発的な被写体環境変化に影響されないように、あえて応答速度を遅くして制御する場合が多い。被写体上の横切りなどの突発的な変化に対しては追従する必要がなく、これは補正をする対象ではない。一方で、被写体全体にわたって照明環境の変化がおこり、一時的に、或いは長期にわたり目標から外れる場合には、補正を行う必要があり、時定数を持って制御が行われる。上述のような被写体の状況変化に対応する為には、自動露出制御装置の応答速度を遅くすることが有効であり、突発的な変化に対しては応答が追いつかない為に追従せず、被写体全体にわたって照明環境の変化がおこった場合などは初期応答は遅れるが、最終的には目標レベルに制御される。 Conventionally, in an imaging device such as an electronic camera, an automatic exposure control device that automatically sets the exposure to an optimum value is provided, but so that it is not affected by sudden subject environment changes such as crossing over the subject, In many cases, control is performed with a slow response speed. It is not necessary to follow sudden changes such as crossing over the subject, and this is not a target to be corrected. On the other hand, when the lighting environment changes over the entire subject and deviates from the target temporarily or over a long period of time, it is necessary to perform correction, and control is performed with a time constant. It is effective to slow down the response speed of the automatic exposure control device in order to cope with the change in the situation of the subject as described above. Since the response cannot catch up with the sudden change, the subject cannot follow. When the lighting environment changes over the whole, the initial response is delayed, but finally it is controlled to the target level.
また一方で、映像を記録する際に付加情報として露出制御情報を記録し、再生時に露出制御情報をもとにして出力の露出レベルを制御するものが考案されている（例えば、特許文献１参照）。特許文献１によれば、撮影時に付加した露出レベル制御指示信号に応じて再生時に映像信号の露出レベルを制御して出力するので、撮像装置より出力された映像信号に対し常に適正な露出補正を施すことが出来る。 On the other hand, it has been devised to record exposure control information as additional information when recording a video, and to control the output exposure level based on the exposure control information during reproduction (see, for example, Patent Document 1). ). According to Patent Document 1, since the exposure level of the video signal is controlled and output during reproduction in accordance with the exposure level control instruction signal added during shooting, appropriate exposure correction is always performed on the video signal output from the imaging device. Can be applied.
しかしながら、上記従来例の撮像装置では以下のような課題がある。 However, the conventional imaging apparatus has the following problems.
まず、映像記録時の自動露出制御装置に関して、突発的な被写体環境変化があった場合には追従しない構成となっているが、被写体全体にわたって照明環境の変化があった場合でも、初期の応答は遅れる為、実際に撮像される画像は十分に補正しきれない期間が発生してしまうことになる。 First, regarding the automatic exposure control device during video recording, it is configured not to follow when there is a sudden change in the subject environment, but even if there is a change in the illumination environment over the entire subject, the initial response is Due to the delay, a period in which the actually captured image cannot be corrected sufficiently occurs.
また、上記特許文献１による従来例では、撮影時に補正しきれていない期間が生じても再生時に補正することが可能となるので問題が無いように解釈されがちであるが、本来は補正しないほうが望ましい被写体上の横切りなどの突発的な被写体環境変化になども全て補正する方向に働いてしまうため、逆に安定性が損なわれる場合があった。 Further, in the conventional example according to the above-mentioned Patent Document 1, even if a period that is not corrected at the time of shooting occurs, it can be corrected at the time of reproduction, so it is apt to be interpreted that there is no problem. Since sudden changes in the subject environment, such as crossing over the desired subject, will all work in the direction of correction, the stability may be lost.
本発明に係る発明の目的は、被写体上の横切りなどの突発的な被写体環境変化が発生するシーンを撮影した場合や、短い周期で明るさや色などの条件が変化する被写体を撮影した場合などのその短期間の変化が映像として再現されるうえで、被写体全体にわたって照明環境の変化があった場合には照明状態を十分に補正して適切な再現が可能な映像再生が出来る撮像装置および映像再生装置を提供すること目的とする。 The object of the invention according to the present invention is such as when shooting a scene where sudden subject environment changes such as crossing over the subject, or when shooting a subject whose conditions such as brightness and color change in a short cycle, etc. In addition to reproducing the short-term change as video, if there is a change in the lighting environment over the entire subject, an imaging device and video playback that can reproduce the video properly by correcting the lighting conditions sufficiently An object is to provide an apparatus.
上記目的を達成するため、本出願に係る第１の発明は、撮像系の映像の補正制御を行う撮像制御手段と、補正制御量が補正目標に達していない時間の長さを計数して時間情報を生成する計時手段と、時間情報を映像に関連付けて記録する情報記録手段と、再生時に時間情報を参照して映像の補正を行う再生時補正手段とを備え、再生時補正手段は時間情報に応じて補正を行うことを特徴としている。 In order to achieve the above object, a first invention according to the present application is directed to an imaging control unit that performs correction control of an image of an imaging system, and a time by counting a length of time that the correction control amount does not reach a correction target. A time measuring means for generating information, an information recording means for recording time information in association with the video, and a reproduction time correcting means for correcting the video with reference to the time information at the time of reproduction. It is characterized in that correction is performed according to the above.
また、本出願に係る第６の発明は、撮像系の映像の補正制御を行う撮像制御手段と、補正制御量が補正目標に達していない時間の長さを計数して時間情報を生成する計時手段と、時間情報を映像に関連付けて記録する情報記録手段とを備え、情報記録手段は撮影時に計時手段によって得られた時間情報を記録することを特徴としている。 According to a sixth aspect of the present application, there is provided an imaging control unit that performs correction control of an image of an imaging system, and a time count that generates time information by counting a length of time that the correction control amount does not reach a correction target. And information recording means for recording the time information in association with the video, and the information recording means records the time information obtained by the time measuring means at the time of photographing.
また、本出願に係る第７の発明は、撮像系の映像に対して撮像制御手段の補正制御量が補正目標に達していない時間の長さを映像に関連付けて記録された記録媒体を再生する映像再生装置で、再生時に記録情報を参照して映像の補正を行う再生時補正手段とを備え、再生時補正手段は記録情報として記録されている時間情報に応じて補正を行うことを特徴としている。 Further, a seventh invention according to the present application reproduces a recording medium in which the length of time that the correction control amount of the imaging control means does not reach the correction target is recorded with respect to the video of the imaging system. The video playback device includes a playback correction unit that corrects the video by referring to the recording information during playback, and the playback correction unit performs correction according to time information recorded as the recording information. Yes.
以上説明したように、本発明によれば、再生時補正手段は時間情報に応じて映像の補正を行うので、被写体上の横切りなどの突発的な被写体環境変化が発生するシーンを撮影した場合や、短い周期で明るさや色などの条件が変化する被写体を撮影した場合などのその短期間の変化が映像として再現されるうえで、被写体全体にわたって照明環境の変化があった場合には照明状態を十分に補正して適切な再現が可能な映像再生が可能になった。 As described above, according to the present invention, the reproduction correction means corrects the video according to the time information, so that when a scene in which a sudden subject environment change such as crossing over the subject occurs is photographed, In addition, the short-term changes such as when shooting a subject whose conditions such as brightness and color change in a short cycle are reproduced as an image, and if the lighting environment changes over the entire subject, Video playback that can be properly reproduced with sufficient correction is now possible.
＜第１の実施形態＞
図１−ａは本発明の実施形態であるビデオカメラの撮像系のブロック図である。１００はレンズ、１０１は露光量調節を行う光学絞り、１０２はイメージセンサ、１０３はホワイトバランス処理やガンマ処理、カラーバランス処理などを行う信号処理装置、１０４は撮像した映像信号を記録する記録装置、１０５は撮像信号から信号処理途中の輝度信号をもとに露出情報を取得するレベル検出装置、１０６はレベル検出装置１０５で検出した輝度レベルをもとに、絞りなどの露出パラメータを制御するレベル制御装置、１０７はレベル検出装置１０５で検出した輝度レベルが目標値に達していない期間をカウントする時間カウント装置、１０８は時間カウント装置１０７でカウントした時間情報をもとに記録データを生成するメタデータ生成装置、１０９は信号処理装置１０３で処理された映像信号にメタデータ生成装置１０８で生成された記録データを重畳する信号重畳装置である。<First Embodiment>
FIG. 1A is a block diagram of an imaging system of a video camera that is an embodiment of the present invention. Reference numeral 100 denotes a lens, 101 denotes an optical aperture for adjusting an exposure amount, 102 denotes an image sensor, 103 denotes a signal processing device that performs white balance processing, gamma processing, color balance processing, and the like, and 104 denotes a recording device that records a captured video signal. Reference numeral 105 denotes a level detection device that acquires exposure information based on a luminance signal in the middle of signal processing from an imaging signal. Reference numeral 106 denotes a level control that controls exposure parameters such as a diaphragm based on the luminance level detected by the level detection device 105. 107, a time counting device that counts a period in which the luminance level detected by the level detecting device 105 does not reach the target value, and 108 that generates recording data based on the time information counted by the time counting device 107 The generation device 109 is a metadata generation device for the video signal processed by the signal processing device 103. Recording data generated by 08 is a signal superposing apparatus for superposing.
レンズ１００に入射した光は光学絞り１０１で適正露光に調整されイメージセンサ１０２で光電変換される。イメージセンサ１０２で光電変換された映像信号は信号処理装置１０３へ入力される。信号処理装置１０３では輝度信号や色信号に対してガンマ処理、輪郭強調処理、ノイズリダクション処理、ホワイトバランス処理、カラーバランス処理、各種記録フォーマットにのっとったエンコード処理などが施された後、記録装置１０４で動画として記録される。 The light incident on the lens 100 is adjusted to an appropriate exposure by the optical aperture 101 and photoelectrically converted by the image sensor 102. The video signal photoelectrically converted by the image sensor 102 is input to the signal processing device 103. The signal processing device 103 performs gamma processing, contour enhancement processing, noise reduction processing, white balance processing, color balance processing, encoding processing according to various recording formats, and the like on the luminance signal and color signal, and then the recording device 104. Is recorded as a video.
次に、撮像装置の露出制御に関する部分について説明をする。一般的に撮像装置の露出制御は、撮像した映像の輝度レベルをもとに露出の評価を行い、入射光量から蓄積時間、さらには撮像信号のアンプゲインなどの制御をフィードバック制御し、映像信号レベルを最適に保つように制御する構成である。本実施例では簡潔に説明する為に一般的な撮像装置の露出制御のうち、入射光量を制御する光学絞りの調節に関して説明する。レベル検出装置１０５は信号処理装置１０３中の映像信号から複数の領域ごとに積分された輝度レベル信号を測光値として取得する。映像信号をもとにした露出の評価は、例えば撮像領域の中央部分に重みを置いた中央部重点平均測光や、複数の領域中の明るい部分だけを用いるピーク測光、全体的に平均して測光する平均測光など様々な評価方法があり、撮影モードなどに応じて算出方法を切替えて使い分ける手法が一般的になっている。 Next, a part related to exposure control of the imaging apparatus will be described. In general, the exposure control of an imaging device evaluates the exposure based on the brightness level of the captured image, and feedback controls the control such as the incident light amount, the accumulation time, and the amplifier gain of the imaging signal, and the video signal level It is the structure which controls so as to keep it optimal. In the present embodiment, for the sake of brevity, the adjustment of the optical diaphragm that controls the amount of incident light will be described in the exposure control of a general imaging apparatus. The level detection device 105 acquires a luminance level signal integrated for each of a plurality of regions from the video signal in the signal processing device 103 as a photometric value. Exposure evaluation based on video signals can be performed by, for example, center-weighted average metering with weights in the center of the imaging area, peak metering using only bright areas in multiple areas, or averaged metering There are various evaluation methods such as average photometry, and a method of switching the calculation method depending on the shooting mode and the like is generally used.
レベル制御装置１０６では、レベル検出装置１０５で検出された輝度信号レベルを露出制御の目標値と比較し、輝度信号レベルが目標値よりも低い場合は露光量を増やす方向へ露出制御方向を決定する。逆に輝度信号レベルが目標値よりも高い場合は露光量を減らす方向へ露出制御方向を決定し、判定した露出制御方向に従って、光学絞りを駆動制御する。図１のとおり、光学絞りの制御はフィードバックループで構成されており、入射光量が変化しても所定の時定数を持って光学絞りが変更され、適切な露光量を得ることが出来る構成である。 In the level control device 106, the luminance signal level detected by the level detection device 105 is compared with a target value for exposure control, and when the luminance signal level is lower than the target value, the exposure control direction is determined to increase the exposure amount. . On the other hand, when the luminance signal level is higher than the target value, the exposure control direction is determined in a direction to reduce the exposure amount, and the optical diaphragm is driven and controlled according to the determined exposure control direction. As shown in FIG. 1, the control of the optical diaphragm is configured by a feedback loop, and even when the amount of incident light changes, the optical diaphragm is changed with a predetermined time constant so that an appropriate exposure amount can be obtained. .
レベル検出装置１０５では、検出された輝度信号レベルと露出制御の目標値とを比較するが、この際に輝度信号レベルと露出制御の目標値との差分が算出される。この差分が閾値を超えると露出が適正ではないと判断され露出制御がなされるが、時間カウント装置１０７では露出が適正ではない期間を計数する。メタデータ生成装置１０８では時間カウント装置１０７で計数された時間に応じて記録する情報を生成する。本実施例では、まず記録情報として所定の時間を超えたか否かを示すフラグデータを用いる例を以下で説明する。信号重畳装置１０９はメタデータ生成装置１０８で生成された記録情報であるフラグデータを映像信号に重畳する処理を行い、記録情報を重畳された映像信号は記録装置１０４で動画として記録される。 The level detection device 105 compares the detected luminance signal level with the target value for exposure control. At this time, the difference between the luminance signal level and the target value for exposure control is calculated. When this difference exceeds a threshold value, it is determined that the exposure is not appropriate and exposure control is performed. However, the time counting device 107 counts a period when the exposure is not appropriate. The metadata generation device 108 generates information to be recorded according to the time counted by the time counting device 107. In the present embodiment, first, an example in which flag data indicating whether or not a predetermined time has been exceeded as recording information will be described below. The signal superimposing device 109 performs processing for superimposing flag data, which is recording information generated by the metadata generating device 108, on the video signal, and the video signal on which the recording information is superimposed is recorded as a moving image by the recording device 104.
図２から図４までの図は、被写体の明るさの変化から、対応する絞り制御、さらには絞り制御されて撮像された映像信号レベルまでを時間経過での変化の観点で示すグラフである。まずは図２に関して説明する。図２は被写体の明るさの変化を示すグラフで、縦軸は被写体の明るさである。図中２０１は光った物体が通り過ぎたりするような一瞬明るくなる状態の被写体を示し、２０２は逆に暗い物体が通り過ぎたりするような一瞬暗くなる状態の被写体を示す。２０３は曇りから日が射すような、被写体の照明状態が変わった場合を示し、本来であれば露光量を適正にする必要がある被写体変化を示す。 FIGS. 2 to 4 are graphs showing the change from the brightness of the subject to the corresponding aperture control, and further to the video signal level picked up by the aperture control in terms of the change over time. First, FIG. 2 will be described. FIG. 2 is a graph showing changes in the brightness of the subject, and the vertical axis represents the brightness of the subject. In the figure, 201 indicates a subject that is brightened for a moment as a shining object passes by, and 202 indicates a subject that is darkened for a moment as a dark object passes by. Reference numeral 203 denotes a case where the illumination state of the subject has changed, such as the sun shining from cloudy, and a subject change that requires an appropriate exposure amount.
図３は絞り制御を示すグラフで、縦軸は絞りの状態である。図中の点線は図２の被写体の明るさを示しており、絞りの状態と時間的に対比するために記載しており、図中の実線が絞りの状態を示す。図中３０１は絞りを絞って露光量を少なくする動作を示す部分、３０２は絞りを開いて露光量を多くする動作を示す部分、３０３から３０６は被写体の光量変化があって露光量を制御する場合に制御を開始するまでの時定数を示す時間Ｔで、全て同じ長さを示している。３０３は図２の被写体の明るさの変化２０１の明るくなった期間が時間Ｔを超えないことを示し、３０４は図２の被写体の明るさの変化２０２の暗くなった期間が時間Ｔを超えないことを示す。また、３０５は図２の被写体の明るさの変化２０３の明るくなった期間が時間Ｔを超えることを示し、３０６は図２の被写体の明るさの変化２０３の暗くなった期間が時間Ｔを超えることを示す。 FIG. 3 is a graph showing aperture control, and the vertical axis indicates the aperture state. The dotted line in the figure indicates the brightness of the subject in FIG. 2 and is shown for temporal comparison with the state of the diaphragm, and the solid line in the figure indicates the state of the diaphragm. In the figure, 301 is a portion showing an operation for reducing the exposure amount by reducing the aperture, 302 is a portion showing an operation for increasing the exposure amount by opening the aperture, and 303 to 306 control the exposure amount due to a change in the amount of light of the subject. In this case, the time T indicating the time constant until the control is started, all indicate the same length. 303 indicates that the brightening period of the subject brightness change 201 in FIG. 2 does not exceed the time T, and 304 indicates that the darkening period of the subject brightness change 202 in FIG. It shows that. 2 indicates that the brightening period 203 of the subject brightness change 203 in FIG. 2 exceeds the time T, and 306 indicates that the darkness period of the subject brightness change 203 in FIG. It shows that.
図が示すように、絞り制御は光った物体が通り過ぎたりするような一瞬明るくなる状態による被写体の光量の変化には追従しないように時定数をもって制御されるため、被写体の明るさの変化２０１では露出の補正を開始する前に明るさが戻ってしまい、露出の補正は行われない。これは被写体の明るさの変化２０２でも同様である。ところが、被写体の明るさの変化２０３では明るくなった期間が時間Ｔを超えるため、露出を補正する動作が開始され、３０１のとおり絞りを絞る動作を開始する。このあと適正な露出状態になったところで絞りを絞る制御は停止するが、再び暗くなって、３０６の時間Ｔを過ぎると露出を補正する動作が開始され、３０２のとおり絞りを開く動作を開始する。 As shown in the figure, the aperture control is controlled with a time constant so as not to follow the change in the amount of light of the subject due to a momentary bright state such that a shining object passes by. Brightness returns before exposure correction starts, and exposure correction is not performed. The same applies to the change 202 in the brightness of the subject. However, in the change 203 in the brightness of the subject, since the bright period exceeds the time T, the operation for correcting the exposure is started, and the operation for reducing the aperture is started as indicated by 301. After this, the control to stop the aperture stops when the appropriate exposure state is reached. However, it becomes dark again, and when the time T of 306 is passed, the operation for correcting the exposure is started, and the operation for opening the aperture is started as indicated by 302. .
図４は図２の被写体の明るさの変化に対して図３の絞り制御を行った状態に於いて生成される映像信号の輝度信号レベルを示す図である。縦軸には輝度信号レベルを表し、露出制御は輝度信号レベルが制御目標と等しくなるように制御を行う。図中４０１は被写体の明るさの変化２０１に対して露出の補正が行われない為に被写体の変化がそのまま映像信号として現れる部分を示す。４０２も４０１と同様に、被写体の明るさの変化２０２に対して露出の補正が行われない為に被写体の変化がそのまま映像信号として現れる部分を示す。４０３は被写体の明るさの変化２０３により絞り制御３０１および３０２が行われた際に、明るさの変化に追従できない量だけ制御目標に達する時間がかかり、その補正残りがそのまま映像信号として現れる部分を示す。 4 is a diagram showing the luminance signal level of the video signal generated in the state in which the aperture control of FIG. 3 is performed with respect to the change in the brightness of the subject of FIG. The vertical axis represents the luminance signal level, and exposure control is performed so that the luminance signal level becomes equal to the control target. In the figure, reference numeral 401 denotes a portion where the change in the subject appears as a video signal as it is because the exposure correction is not performed for the change 201 in the brightness of the subject. Similarly to 401, reference numeral 402 denotes a portion where the change in the subject appears as a video signal as it is because exposure correction is not performed for the change 202 in the brightness of the subject. When the aperture control 301 and 302 is performed by the change 203 in the brightness of the subject, it takes a time to reach the control target by an amount that cannot follow the change in brightness, and a portion where the remaining correction appears as a video signal is shown. Show.
図４のように、被写体の明るさの変化に対して絞り制御を行うと４０１のように光った物体が通り過ぎたりするような一瞬明るくなる状態による被写体の光量の変化はそのまま映像として表現されるし、４０２のように暗い物体が通り過ぎたりするような一瞬暗くなる状態の被写体の光量の変化もそのまま映像として表現される。ただし、４０３のように曇りから日が射すような被写体の照明状態が変わった場合に、明るさの変化に追従できない量だけ制御目標に達する時間がかかり、その補正残りが生じる場合にも映像信号として現れてしまう。本実施例ではこの４０３のように本来は補正すべきであるが制御の処理上補正残りが生じるような条件でも、再生時に補正できるところが特徴となる。 As shown in FIG. 4, when aperture control is performed with respect to a change in the brightness of the subject, the change in the amount of light of the subject due to a momentary bright state in which a shining object passes as in 401 is directly expressed as a video. In addition, a change in the amount of light of a subject that is dark for a moment such as a dark object passing through like 402 is also directly expressed as an image. However, when the illumination state of the subject changes from cloudy to the sun like 403, it takes time to reach the control target by an amount that cannot follow the change in brightness, and the video signal is also generated when the remaining correction occurs. Will appear as. The present embodiment is characterized in that it can be corrected at the time of reproduction even under conditions such as 403, which should be corrected originally, but there remains a correction residue in the processing of control.
図５は図４の映像信号の輝度信号レベルに対して補正残りが生じる時間を計数してフラグ情報を生成する課程を説明するグラフである。図中の縦軸は映像信号の輝度レベルおよびフラグ情報を表し、５０１は映像信号の制御目標レベル、５０２は制御上の目標範囲の上限レベル、５０３は制御上の目標範囲の下限レベル、５０４は図４の４０３に相当する補正残り、５０５は図４の４０１に相当する被写体の光量の変化による輝度の高い部分、５０６は輝度の高い部分５０５の期間、５０７は補正残り５０４の期間、５０８は逆に暗くなる方向の補正残りの期間、５１０は映像信号に重畳するフラグ信号のうちＦａｌｓｅレベルの期間、５１１は映像信号に重畳するフラグ信号のうち５０７の補正残り期間を表すＴｒｕｅレベルの期間、５１２は映像信号に重畳するフラグ信号のうち５０８の補正残り期間を表すＴｒｕｅレベルの期間である。 FIG. 5 is a graph illustrating a process of generating flag information by counting the time during which a correction residue occurs with respect to the luminance signal level of the video signal of FIG. The vertical axis in the figure represents the luminance level and flag information of the video signal, 501 is the control target level of the video signal, 502 is the upper limit level of the control target range, 503 is the lower limit level of the control target range, and 504 is 4, 505 is a portion with high luminance due to a change in the amount of light of the subject corresponding to 401 in FIG. 4, 506 is a period of a portion 505 with high luminance, 507 is a period of correction remaining 504, and 508 is Conversely, the remaining correction period in the darkening direction, 510 is a false level period of the flag signal superimposed on the video signal, 511 is a true level period representing the remaining correction period 507 of the flag signal superimposed on the video signal, Reference numeral 512 denotes a True level period representing the remaining correction period 508 of the flag signal superimposed on the video signal.
図５の制御目標レベル５０１を中心とした上限レベル５０２と下限レベル５０３の範囲は、この範囲内に輝度信号レベルがあればモニター装置での視感上変化を感じにくい範囲に設定する。通常映像信号の５〜１０％程度であれば違和感は少ない。この上限レベル５０２および下限レベル５０３を超える信号が撮像された場合、再生時の補正候補として時間を計数する。５０６では光った物体が通り過ぎたりするような一瞬明るくなる状態なので極めて短時間であり、この時間であれば再生時の補正は行わないため、フラグ５１０はＦａｌｓｅ状態を保つ。それに対して、５０７では曇りから日が射すような被写体の照明状態が変わった場合なので再生時の補正を行う対象となる。５０７では上述の５０６よりも十分に長い時間補正残りが発生する。この時間であれば再生時の補正を行う対象となり、フラグ５１１をＴｒｕｅの状態とする。なお、フラグをＴｒｕｅの状態とするのは５０７の時間計数を開始した時点に立ち返ってフラグ情報を付加することで、５０７の補正残りが発生した時点からの補正が可能となる。このようにして、本発明の撮像系では再生時に補正を行いたい期間だけフラグをＴｒｕｅとして映像信号と共に記録するものである。 The range between the upper limit level 502 and the lower limit level 503 centering on the control target level 501 in FIG. 5 is set to a range in which it is difficult to perceive a change in visual perception on the monitor device if the luminance signal level is within this range. If it is about 5 to 10% of the normal video signal, there is little discomfort. When a signal exceeding the upper limit level 502 and the lower limit level 503 is captured, time is counted as a correction candidate at the time of reproduction. In 506, since it becomes bright for a moment as a shining object passes by, it is very short time, and during this time, correction at the time of reproduction is not performed, so the flag 510 maintains the False state. On the other hand, in 507, since the illumination state of the subject changes from cloudy to the sun, the subject is subjected to correction at the time of reproduction. In 507, the remaining correction time is sufficiently longer than the above-described 506. If it is this time, it will become the object which correct | amends at the time of reproduction | regeneration, and flag 511 will be in the state of True. Note that the flag is set to the True state by returning to the time when the time counting of 507 is started and adding the flag information, so that the correction from the time when the correction remaining of 507 occurs can be performed. In this way, in the imaging system of the present invention, the flag is recorded as True together with the video signal for a period during which correction is desired during reproduction.
図１−ｂは本発明の実施形態であるビデオカメラの再生系のブロック図である。１２１は映像信号が記録された記録媒体から映像信号を再生処理する再生装置、１２２は再生された映像信号の信号レベルを変化させるアンプ、１２３は再生された映像信号をモニター装置などに出力する出力端子、１２４は映像信号に重畳記録された記録データを分離して生成するメタデータ再生装置、１２５は再生された映像信号の輝度信号レベルを検出する再生信号レベル検出装置、１２６はメタデータ再生装置１２４で再生された記録情報を基にして再生映像信号の補正を行うか否かを判定する補正判定装置、１２７は再生信号レベル検出装置１２５で検出された映像信号の輝度信号レベルを基にアンプ１２２のゲインを算出する再生信号レベル制御装置である。 FIG. 1B is a block diagram of a playback system of the video camera according to the embodiment of the present invention. Reference numeral 121 denotes a playback device that plays back a video signal from a recording medium on which the video signal is recorded, 122 denotes an amplifier that changes the signal level of the played video signal, and 123 denotes an output that outputs the played video signal to a monitor device or the like. A terminal, 124 is a metadata reproducing device that separately generates recording data superimposed and recorded on a video signal, 125 is a reproduction signal level detecting device that detects a luminance signal level of the reproduced video signal, and 126 is a metadata reproducing device. A correction determination device that determines whether or not to correct the reproduced video signal based on the recorded information reproduced in 124, and 127 is an amplifier based on the luminance signal level of the video signal detected by the reproduced signal level detecting device 125 The reproduction signal level control device calculates the gain of 122.
再生装置１２１では映像信号が記録された記録媒体から映像信号を再生する。再生装置１２１で再生された映像信号はアンプ１２２で所定のレベルに増幅された後出力端子１２３から出力される。一方で、本実施例の撮像系で説明したように、記録された映像信号には再生時補正用のフラグ情報が吹かされている。これを映像信号から分離して、補正情報を生成するのがメタデータ再生装置１２４である。補正判定装置１２６はメタデータ再生装置１２４で生成された補正情報をもとにレベル補正を行うか否かを判定する。再生信号レベル検出装置１２５では再生された映像信号の輝度レベルを検出し、再生信号レベル制御装置１２７に供給される。再生信号レベル制御装置１２７は補正判定装置１２６で補正を行うと判定された場合に再生信号レベル検出装置１２５で検出した輝度信号レベルを制御目標値に近づくように補正ゲイン量を決定する。再生信号レベル制御装置１２７で決定された補正ゲイン量はアンプ１２２に供給され、決定したゲイン量に基づいて利得制御される。 The reproduction device 121 reproduces the video signal from the recording medium on which the video signal is recorded. The video signal reproduced by the reproduction device 121 is amplified to a predetermined level by the amplifier 122 and then output from the output terminal 123. On the other hand, as described in the image pickup system of this embodiment, flag information for correction during reproduction is blown to the recorded video signal. The metadata reproducing device 124 generates correction information by separating this from the video signal. The correction determination device 126 determines whether or not to perform level correction based on the correction information generated by the metadata reproduction device 124. The reproduction signal level detection device 125 detects the luminance level of the reproduced video signal and supplies it to the reproduction signal level control device 127. The reproduction signal level control device 127 determines the correction gain amount so that the luminance signal level detected by the reproduction signal level detection device 125 approaches the control target value when the correction determination device 126 determines to perform correction. The correction gain amount determined by the reproduction signal level control device 127 is supplied to the amplifier 122, and gain control is performed based on the determined gain amount.
図６は再生系における輝度レベル補正処理の動作を説明するグラフである。図中６０１は目標レベル、６０２は目標上限レベル、６０３は目標下限レベル、６０４は図４の４０１に相当する被写体の光量の変化による輝度の高い部分に相当する期間、６０５は図４の４０３に相当する暗くなる方向の補正残りの期間、６０６は逆に暗くなる方向の補正残りの期間、６１０はは映像信号に重畳されたフラグ信号のうちＦａｌｓｅレベルの期間、５０２は映像信号に重畳されたフラグ信号のうち５０７の補正残り期間を表すＴｒｕｅレベルの期間、５０３は映像信号に重畳されたフラグ信号のうち５０８の補正残り期間を表すＴｒｕｅレベルの期間である。 FIG. 6 is a graph for explaining the operation of the luminance level correction processing in the reproduction system. In the figure, 601 is a target level, 602 is a target upper limit level, 603 is a target lower limit level, 604 is a period corresponding to a portion with high luminance due to a change in the amount of light of a subject corresponding to 401 in FIG. 4, and 605 is in 403 in FIG. Corresponding remaining correction period in the darkening direction, 606 is the remaining correction period in the darkening direction, 610 is the flag level period of the flag signal superimposed on the video signal, and 502 is superimposed on the video signal. A True level period representing the remaining correction period 507 of the flag signal, and a True level period 503 representing the remaining correction period 508 of the flag signal superimposed on the video signal.
６０４の輝度変化は、補正残り量としては大きく目標範囲から外れているものの、フラグ情報６１０から補正すべき期間では無いことが判る。従ってそのまま補正せずに再生される。一方で、６０５の期間及び６０６の期間はフラグ情報６１１およびフラグ情報６１２から補正すべき期間であることが判り、目標レベルになるように補正した結果が図５のグラフに対する図６のグラフの輝度信号レベルである。本実施例ではこの様にして補正された再生信号が出力端子１２３からモニタ装置などに出力される。 It can be seen from the flag information 610 that the luminance change at 604 is not a period to be corrected, although the amount of remaining correction is largely out of the target range. Therefore, it is reproduced without correction. On the other hand, it can be seen from the flag information 611 and the flag information 612 that the period 605 and the period 606 are the periods to be corrected, and the result of correction to the target level is the luminance of the graph of FIG. 6 with respect to the graph of FIG. Signal level. In this embodiment, the reproduction signal corrected in this way is output from the output terminal 123 to a monitor device or the like.
以上が本発明の実施形態であるビデオカメラに関する説明である。本実施例によれば、被写体上の横切りなどの突発的な被写体環境変化が発生するシーンを撮影した場合や、短い周期で明るさや色などの条件が変化する被写体を撮影した場合などのその短期間の変化が映像として再現されるうえで、被写体全体にわたって照明環境の変化があった場合には照明状態を十分に補正して適切な再現が可能な映像再生が可能になった。 This completes the description of the video camera that is the embodiment of the present invention. According to the present embodiment, when shooting a scene that suddenly changes the subject environment such as crossing over the subject, or when shooting a subject whose conditions such as brightness and color change in a short cycle, such a short-term In addition, when the lighting environment changes over the entire subject, video playback that can be appropriately reproduced is possible by correcting the lighting conditions sufficiently.
本実施例では記録情報としてフラグデータを用いることで説明したが、記録情報としては時間データそのものでも良いし、補正開始点および終了点を指示することでも容易に実現可能である。また、本実施例では光学絞りで露出制御を行う構成で説明したが、ＮＤフィルタなどの減光装置やイメージセンサの蓄積時間、また、撮像信号の利得制御などでも同様の効果を得ることが出来る。さらには、記録再生可能な撮像装置として説明したが、撮像部分、記録部分、再生部分が分離されている構成でも構わない。 In this embodiment, the flag data is used as the recording information. However, the recording information may be time data itself, or can be easily realized by designating a correction start point and an end point. In the present embodiment, the configuration is described in which the exposure control is performed by the optical diaphragm. However, the same effect can be obtained by the accumulation time of the light reduction device such as the ND filter, the accumulation time of the image sensor, and the gain control of the imaging signal. . Furthermore, although described as an imaging apparatus capable of recording and reproducing, a configuration in which an imaging part, a recording part, and a reproduction part are separated may be employed.
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。 Although the present invention has been described in detail based on preferred embodiments thereof, the present invention is not limited to these specific embodiments, and various forms within the scope of the present invention are also included in the present invention. included. A part of the above-described embodiments may be appropriately combined.
＜第２の実施形態＞
図７−ａは本発明の第２の実施形態であるビデオカメラの撮像系のブロック図である。７００はレンズ、７０１は露光量調節を行う光学絞り、７０２はイメージセンサ、７０３はホワイトバランス処理やガンマ処理、カラーバランス処理などを行う信号処理装置、７０４は撮像した映像信号を記録する記録装置、７０５は撮像信号から信号処理途中の輝度信号をもとに露出情報を取得するレベル検出装置、７０６はレベル検出装置７０５で検出した輝度レベルをもとに、絞りなどの露出パラメータを制御するレベル制御装置、７０７はレベル検出装置７０５で検出した輝度レベルが目標値に達していない期間をカウントする時間カウント装置、７０８は時間カウント装置７０７でカウントした時間情報をもとに記録データを生成するメタデータ生成装置、７０９は信号処理装置７０３で処理された映像信号にメタデータ生成装置７０８で生成された記録データを重畳する信号重畳装置、７１０は撮影記録の経過時間を生成する時計装置、７１１は時計装置７１０で生成された記録時間をタイムコード情報として生成するタイムコード生成装置である。<Second Embodiment>
FIG. 7A is a block diagram of an imaging system of a video camera according to the second embodiment of the present invention. Reference numeral 700 denotes a lens, reference numeral 701 denotes an optical aperture that adjusts an exposure amount, reference numeral 702 denotes an image sensor, reference numeral 703 denotes a signal processing apparatus that performs white balance processing, gamma processing, color balance processing, and the like, and reference numeral 704 denotes a recording apparatus that records a captured video signal. Reference numeral 705 denotes a level detection device that acquires exposure information based on a luminance signal in the middle of signal processing from an image pickup signal. Reference numeral 706 denotes a level control that controls exposure parameters such as an aperture based on the luminance level detected by the level detection device 705. Device, 707 is a time counting device that counts a period in which the luminance level detected by the level detecting device 705 does not reach the target value, and 708 is metadata that generates recording data based on the time information counted by the time counting device 707. A generation device 709 is a metadata generation device for the video signal processed by the signal processing device 703. A signal superimposing device that superimposes the recording data generated in 08, 710 is a clock device that generates the elapsed time of shooting recording, and 711 is a time code generating device that generates the recording time generated by the clock device 710 as time code information. is there.
本実施例の構成のうち、７００から７０８までは本発明の第１の実施例と同様の構成となり、その部分の主な処理の流れは本発明の第１の実施例を参照していただきたい。以下、本実施例の構成のうち、本発明の第１の実施例と異なる部分に関して説明する。レベル検出装置７０５では、検出された輝度信号レベルと露出制御の目標値とを比較するが、この際に輝度信号レベルと露出制御の目標値との差分が算出される。この差分が閾値を超えると露出が適正ではないと判断され露出制御がなされるが、時間カウント装置７０７では露出が適正ではない期間を計数する。 Among the configurations of the present embodiment, the configurations from 700 to 708 are the same as those of the first embodiment of the present invention, and the main processing flow of that portion should be referred to the first embodiment of the present invention. . Hereinafter, of the configuration of the present embodiment, portions that are different from the first embodiment of the present invention will be described. The level detection device 705 compares the detected luminance signal level with the target value for exposure control. At this time, the difference between the luminance signal level and the target value for exposure control is calculated. When this difference exceeds a threshold value, it is determined that the exposure is not appropriate and exposure control is performed. However, the time counting device 707 counts a period when the exposure is not appropriate.
時計装置７１０は撮像信号を記録している間の時間を計時し、タイムコード生成装置７１１は時計装置７１０の時間情報を基に記録開始からのタイムコードを生成する。メタデータ生成装置７０８では時間カウント装置７０７で計数された時間に応じて記録する情報を生成する。本実施例では、記録情報として所定の時間を超えた際のタイムコードを情報として用いる例を以下で説明する。信号重畳装置７０９はメタデータ生成装置７０８で生成された記録情報であるメタデータを映像信号に重畳する処理を行い、記録情報を重畳された映像信号は記録装置７０４で動画として記録される。 The timepiece device 710 measures the time during which the imaging signal is recorded, and the time code generation device 711 generates a time code from the start of recording based on the time information of the timepiece device 710. The metadata generation device 708 generates information to be recorded according to the time counted by the time counting device 707. In this embodiment, an example in which a time code when a predetermined time is exceeded as recorded information is used as information will be described below. The signal superimposing device 709 performs processing for superimposing metadata that is recording information generated by the metadata generating device 708 on the video signal, and the video signal on which the recording information is superimposed is recorded as a moving image by the recording device 704.
被写体の明るさの変化から、対応する絞り制御、さらには絞り制御されて撮像された映像信号レベルまでを時間経過での変化に関しては、本発明の第１の実施例と同様であり、記録される映像信号は図４の通りとなる。図８は図４の映像信号に対してメタデータ生成装置７０８でどのようなタイムコード情報が生成されるのかを説明するグラフである。図中８０１から８０３は図５の５０１から５０３と同様の輝度レベル目標値である。再生時に補正を行いたいポイントは本発明の第１の実施例で説明したものと同様であり、８１０は補正開始を示し、８１１は補正終了、８１２は補正開始、８１３は補正終了をそれぞれ示す。それに対応して、それぞれのタイムコードは図の上に示す通りとなり、撮影していくに従って以下の情報が得られてゆく。 The change over time from the change in the brightness of the subject to the corresponding aperture control and further to the video signal level picked up by the aperture control is the same as in the first embodiment of the present invention and is recorded. The video signal is as shown in FIG. FIG. 8 is a graph for explaining what time code information is generated by the metadata generation apparatus 708 for the video signal of FIG. In the figure, reference numerals 801 to 803 are luminance level target values similar to those of 501 to 503 in FIG. Points to be corrected at the time of reproduction are the same as those described in the first embodiment of the present invention. 810 indicates the start of correction, 811 indicates the end of correction, 812 indicates the start of correction, and 813 indicates the end of correction. Correspondingly, each time code is as shown in the upper part of the figure, and the following information is obtained as the image is taken.
（１） ００：０１：２２ 補正開始
（２） ００：０１：２６ 補正終了
（３） ００：０２：１２ 補正開始
（４） ００：０２：１６ 補正終了
この情報が映像信号を記録する記録媒体に追記されてゆくことで、再生時にタイムコードのどの時点で補正を行えば良いかの情報を得ることが出来る。(1) 00:01:22 Correction start (2) 00:01:26 Correction end (3) 00:02:12 Correction start (4) 00:02:16 Correction end Recording medium on which this information records a video signal As a result of being added to, it is possible to obtain information on at which point of the time code correction should be performed during reproduction.
図７−ｂは本発明の実施形態であるビデオカメラの再生系のブロック図である。７２１は映像信号が記録された記録媒体から映像信号を再生処理する再生装置、７２２は再生された映像信号の信号レベルを変化させるアンプ、７２３は再生された映像信号をモニター装置などに出力する出力端子、７２４は映像信号に重畳記録された記録データを分離して生成するメタデータ再生装置、７２８は映像信号に重畳記録されたタイムコードを分離して生成するタイムコード再生装置、７２５は再生された映像信号の輝度信号レベルを検出する再生信号レベル検出装置、７２６はメタデータ再生装置７２４で再生された記録情報とタイムコード再生装置７２８で再生されたタイムコード情報を基にして再生映像信号の補正を行うか否かを判定する補正判定装置、７２７は再生信号レベル検出装置７２５で検出された映像信号の輝度信号レベルを基にアンプ７２２のゲインを算出する再生信号レベル制御装置である。 FIG. 7B is a block diagram of the playback system of the video camera according to the embodiment of the present invention. Reference numeral 721 denotes a reproduction device that reproduces the video signal from the recording medium on which the video signal is recorded, 722 denotes an amplifier that changes the signal level of the reproduced video signal, and 723 denotes an output that outputs the reproduced video signal to a monitor device or the like. A terminal 724, a metadata playback device that generates by separating the recording data superimposed and recorded on the video signal, 728 a time code playback device that generates by separating the time code superimposed on the video signal, and 725 726 is a reproduction signal level detection device for detecting the luminance signal level of the reproduced video signal. The reference numeral 726 denotes a reproduction video signal based on the recording information reproduced by the metadata reproduction device 724 and the time code information reproduced by the time code reproduction device 728. A correction determination device 727 for determining whether or not correction is performed, and a luminance signal 727 detected by a reproduction signal level detection device 725. A reproduction signal level controller that calculates the gain of the amplifier 722 the signal level based on.
図７−ｂの７２１から７２７までの構成は本発明の第１の実施例と同様で、本実施例に特有の構成はタイムコード再生装置７２８の部分である。本実施例のメタデータはタイムコードを基にした時間情報と補正の開始／終了情報である。メタデータ再生装置７２４で分離されたメタデータは補正判定装置７２６においてタイムコード再生装置７２８で分離された時間情報に照らし合わされ、再生時のどの時点で補正を行えば良いかが判定される。補正判定装置７２６の判定結果で再生信号レベル制御が行われる部分に関しては、本発明の第１の実施例と同様である。 The configuration from 721 to 727 in FIG. 7B is the same as that of the first embodiment of the present invention, and the configuration unique to this embodiment is a portion of the time code reproducing device 728. The metadata of this embodiment is time information based on a time code and correction start / end information. The metadata separated by the metadata reproduction device 724 is compared with the time information separated by the time code reproduction device 728 by the correction determination device 726, and it is determined at which point in time the reproduction should be performed. The portion where the reproduction signal level control is performed based on the determination result of the correction determination device 726 is the same as in the first embodiment of the present invention.
本実施例によれば、記録されるメタデータは映像信号と同一の時間に記録されていなくても構わない。別の部分に記録されていた場合は、映像信号の再生前、或いは再生中にメタデータを読み出し、メタデータの情報が映像信号のタイムコードと一致した時点で補正を行う構成にすることが可能となる。 According to the present embodiment, the recorded metadata may not be recorded at the same time as the video signal. If it is recorded in another part, it can be configured to read the metadata before or during playback of the video signal, and make corrections when the metadata information matches the time code of the video signal It becomes.
以上が本発明の実施形態であるビデオカメラに関する説明である。本実施例によれば、被写体上の横切りなどの突発的な被写体環境変化が発生するシーンを撮影した場合や、短い周期で明るさや色などの条件が変化する被写体を撮影した場合などのその短期間の変化が映像として再現されるうえで、被写体全体にわたって照明環境の変化があった場合には照明状態を十分に補正して適切な再現が可能な映像再生が可能になった。 This completes the description of the video camera that is the embodiment of the present invention. According to the present embodiment, when shooting a scene that suddenly changes the subject environment such as crossing over the subject, or when shooting a subject whose conditions such as brightness and color change in a short cycle, such a short-term In addition, when the lighting environment changes over the entire subject, video playback that can be appropriately reproduced is possible by correcting the lighting conditions sufficiently.
本実施例では記録情報としてタイムコードを用いることで説明したが、記録情報としてはフラグデータなどの単純なものでも良いし、補正するか否かのスレッシュは再生装置に持たせても実現可能である。また、本実施例では光学絞りで露出制御を行う構成で説明したが、ＮＤフィルタなどの減光装置やイメージセンサの蓄積時間、また、撮像信号の利得制御などでも同様の効果を得ることが出来る。さらには、記録再生可能な撮像装置として説明したが、撮像部分、記録部分、再生部分が分離されている構成でも構わない。 In the present embodiment, the time code is used as the recording information. However, the recording information may be simple information such as flag data, and the threshold for determining whether or not to correct the recording information can also be realized by providing the reproducing apparatus. is there. In the present embodiment, the configuration is described in which the exposure control is performed by the optical diaphragm. However, the same effect can be obtained by the accumulation time of the light reduction device such as the ND filter, the accumulation time of the image sensor, and the gain control of the imaging signal. . Furthermore, although described as an imaging apparatus capable of recording and reproducing, a configuration in which an imaging part, a recording part, and a reproduction part are separated may be employed.
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。 Although the present invention has been described in detail based on preferred embodiments thereof, the present invention is not limited to these specific embodiments, and various forms within the scope of the present invention are also included in the present invention. included. A part of the above-described embodiments may be appropriately combined.
＜第３の実施形態＞
図９−ａは本発明の第３の実施形態であるビデオカメラの撮像系のブロック図である。９００はレンズ、９０１はイメージセンサ、９０２はホワイトバランスアンプ、９０３はガンマ処理、カラーバランス処理などを行う信号処理装置、９０４は撮像した映像信号を記録する記録装置、９０５は撮像信号から信号処理途中の色信号をもとに色温度情報を取得する色温度検出装置、９０６は色温度検出装置９０５で検出した色温度情報が目標値に達していない期間をカウントする時間カウント装置、９０７は時間カウント装置９０６でカウントした時間情報をもとに記録データを生成するメタデータ生成装置、９０８は信号処理装置９０３で処理された映像信号にメタデータ生成装置９０７で生成された記録データを重畳する信号重畳装置である。<Third Embodiment>
FIG. 9A is a block diagram of an imaging system of a video camera which is the third embodiment of the present invention. 900 is a lens, 901 is an image sensor, 902 is a white balance amplifier, 903 is a signal processing device that performs gamma processing, color balance processing, and the like, 904 is a recording device that records a captured video signal, and 905 is in the middle of signal processing from the captured signal A color temperature detection device that acquires color temperature information based on the color signal of the color temperature, 906 is a time count device that counts a period during which the color temperature information detected by the color temperature detection device 905 does not reach the target value, and 907 is a time count A metadata generation apparatus that generates recording data based on the time information counted by the apparatus 906, and a signal superposition 908 that superimposes the recording data generated by the metadata generation apparatus 907 on the video signal processed by the signal processing apparatus 903. Device.
レンズ９００に入射した光はイメージセンサ９０１で光電変換される。イメージセンサ９０１で光電変換された映像信号はホワイトバランスアンプ９０２で色温度が調整された後信号処理装置９０３へ入力される。信号処理装置９０３では輝度信号や色信号に対してガンマ処理、輪郭強調処理、ノイズリダクション処理、カラーバランス処理、各種記録フォーマットにのっとったエンコード処理などが施された後、記録装置９０４で動画として記録される。 Light incident on the lens 900 is photoelectrically converted by the image sensor 901. The video signal photoelectrically converted by the image sensor 901 is input to the signal processing device 903 after the color temperature is adjusted by the white balance amplifier 902. The signal processing device 903 performs gamma processing, contour enhancement processing, noise reduction processing, color balance processing, encoding processing according to various recording formats, and the like on the luminance signal and color signal, and then records them as a moving image in the recording device 904. Is done.
次に、撮像装置のホワイトバランス制御に関する部分について説明をする。一般的に撮像装置のホワイトバランス制御は、撮像した映像の色信号をもとに色温度の評価を行い、ホワイトバランスアンプの利得をフィードバックあるいはフィードフォワード制御し、映像信号のホワイトバランスを最適に保つように制御する構成である。本実施例では簡潔に説明する為に一般的な撮像装置のホワイトバランス制御のうち、フィードバック制御に関して説明する。色温度検出装置９０５は信号処理装置９０３中の映像信号から複数の領域ごとに積分された色信号を評価値として取得する。映像信号をもとにした色温度の評価は、例えば撮像領域の無彩色部分を抽出して評価する技術や、画像全体の平均色信号を用いて評価する技術など様々な評価方法があり、撮影モードなどに応じて算出方法を切替えて使い分ける手法が一般的になっている。 Next, a part related to white balance control of the imaging apparatus will be described. In general, the white balance control of an imaging device evaluates the color temperature based on the color signal of the captured image, and feeds back or feed-forward the gain of the white balance amplifier to keep the white balance of the image signal optimal. It is the structure which controls as follows. In the present embodiment, feedback control will be described in general white balance control of an imaging apparatus for the sake of brevity. The color temperature detection device 905 acquires a color signal integrated for each of a plurality of regions as an evaluation value from the video signal in the signal processing device 903. There are various evaluation methods for evaluating the color temperature based on the video signal, such as a technique for extracting and evaluating the achromatic portion of the imaging region and a technique for evaluating using the average color signal of the entire image. There is a general method of switching the calculation method according to the mode or the like.
ホワイトバランス制御装置１０６では、色温度検出装置９０５で検出された色温度を色温度制御の目標値と比較し、色温度が目標値よりも低い場合は色温度を高くする方向へ色温度制御方向を決定する。逆に色温度が目標値よりも高い場合は色温度を低くする方向へ色温度制御方向を決定し、判定した色温度制御方向に従って、ホワイトバランスアンプゲインを制御する。図９のとおり、ホワイトバランスの制御はフィードバックループで構成されており、入射光が変化しても所定の時定数を持ってホワイトバランスゲインが変更され、適切なホワイトバランスを得ることが出来る構成である。 In the white balance control device 106, the color temperature detected by the color temperature detection device 905 is compared with a target value for color temperature control. If the color temperature is lower than the target value, the color temperature control direction is increased in the direction of increasing the color temperature. To decide. On the other hand, when the color temperature is higher than the target value, the color temperature control direction is determined in the direction of decreasing the color temperature, and the white balance amplifier gain is controlled according to the determined color temperature control direction. As shown in FIG. 9, the white balance control is configured by a feedback loop, and even when the incident light changes, the white balance gain is changed with a predetermined time constant so that an appropriate white balance can be obtained. is there.
色温度検出装置９０５では、検出された色温度とホワイトバランス制御の目標値とを比較するが、この際に色温度とホワイトバランス制御の目標値との差分が算出される。この差分が閾値を超えるとホワイトバランスが適正ではないと判断されホワイトバランス制御がなされるが、時間カウント装置９０６ではホワイトバランスが適正ではない期間を計数する。メタデータ生成装置９０７では時間カウント装置９０６で計数された時間に応じて記録する情報を生成する。 The color temperature detection device 905 compares the detected color temperature with the target value for white balance control. At this time, the difference between the color temperature and the target value for white balance control is calculated. If this difference exceeds a threshold value, it is determined that the white balance is not appropriate and white balance control is performed, but the time counting device 906 counts a period during which the white balance is not appropriate. The metadata generation device 907 generates information to be recorded according to the time counted by the time counting device 906.
本実施例では、記録情報として所定の時間を超えた際のタイムコードを情報として用いる例を以下で説明する。信号重畳装置７０９はメタデータ生成装置７０８で生成された記録情報であるメタデータを映像信号に重畳する処理を行い、記録情報を重畳された映像信号は記録装置７０４で動画として記録される。 In this embodiment, an example in which a time code when a predetermined time is exceeded as recorded information is used as information will be described below. The signal superimposing device 709 performs processing for superimposing metadata that is recording information generated by the metadata generating device 708 on the video signal, and the video signal on which the recording information is superimposed is recorded as a moving image by the recording device 704.
映像信号から色温度を判別する装置では、被写体の色を照明の色温度として誤検出する場合がある。撮影中に色温度の変化と誤検出するような被写体が横切った場合、即座にホワイトバランス補正が追従すると不安定な色の映像となってしまう。従って、本発明の第１の実施例における絞り制御の考え方と同様に、フィードバックゲインを低くしたり、制御開始に時定数を持たせたりする手法が一般的である。従って、このような被写体環境の変化を時系列で説明すると、本発明の第１の実施例の絞り制御の説明と同様のものとなる。 An apparatus that determines a color temperature from a video signal may erroneously detect the color of a subject as a color temperature of illumination. If an object that is falsely detected as a change in color temperature crosses during shooting, an image with an unstable color will result if white balance correction immediately follows. Therefore, as in the concept of the diaphragm control in the first embodiment of the present invention, a method of reducing the feedback gain or giving a time constant to the start of control is common. Accordingly, the change in the subject environment in time series will be the same as the description of the aperture control in the first embodiment of the present invention.
色温度の変化から、対応するホワイトバランス制御、さらにはホワイトバランス制御されて撮像された映像信号の色信号までの時間経過での変化に関しては、本発明の第１の実施例の絞り制御と極めて類似しており、記録される映像信号は図４の通りとなる。また、メタデータ生成装置９０７で生成されるメタデータとしても、本発明の第２の実施例を参照することで説明できる。ここでは図８を参照してそれぞれのタイムコードは、撮影していくに従って以下の情報が得られてゆく。 Regarding the change over time from the change in color temperature to the corresponding white balance control, and further to the color signal of the image signal picked up by the white balance control, it is extremely similar to the aperture control of the first embodiment of the present invention. The video signals to be recorded are as shown in FIG. The metadata generated by the metadata generation device 907 can also be described by referring to the second embodiment of the present invention. Here, referring to FIG. 8, the following information is obtained for each time code as it is photographed.
（１） ００：０１：２２ 補正開始
（２） ００：０１：２６ 補正終了
（３） ００：０２：１２ 補正開始
（４） ００：０２：１６ 補正終了
この情報が映像信号を記録する記録媒体に追記されてゆくことで、再生時にタイムコードのどの時点で補正を行えば良いかの情報を得ることが出来る。(1) 00:01:22 Correction start (2) 00:01:26 Correction end (3) 00:02:12 Correction start (4) 00:02:16 Correction end Recording medium on which this information records a video signal As a result of being added to, it is possible to obtain information on at which point of the time code correction should be performed during reproduction.
図９−ｂは本発明の実施形態であるビデオカメラの再生系のブロック図である。９２１は映像信号が記録された記録媒体から映像信号を再生処理する再生装置、９２２は再生された映像信号のホワイトバランスを変化させるホワイトバランスアンプ、９２３は再生された映像信号をモニター装置などに出力する出力端子、９２４は映像信号に重畳記録された記録データを分離して生成するメタデータ再生装置、９２８は映像信号に重畳記録されたタイムコードを分離して生成するタイムコード再生装置、９２５は再生された映像信号の色温度を検出する再生信号色温度検出装置、９２６はメタデータ再生装置９２４で再生された記録情報とタイムコード再生装置９２８で再生されたタイムコード情報を基にして再生映像信号の補正を行うか否かを判定する補正判定装置、９２７は再生信号色温度検出装置９２５で検出された映像信号の色温度を基にホワイトバランスアンプ９２２のゲインを算出する再生信号ホワイトバランス制御装置である。 FIG. 9B is a block diagram of the playback system of the video camera according to the embodiment of the present invention. 921 is a playback device that plays back a video signal from a recording medium on which the video signal is recorded, 922 is a white balance amplifier that changes the white balance of the played video signal, and 923 outputs the played back video signal to a monitor device or the like An output terminal 924, a metadata reproducing apparatus 924 for separating and generating recording data superimposed on the video signal, a time code reproducing apparatus 928 for separating and generating the time code superimposed on the video signal, and 925 A reproduction signal color temperature detection device for detecting the color temperature of the reproduced video signal, 926 is a reproduction video based on the recording information reproduced by the metadata reproduction device 924 and the time code information reproduced by the time code reproduction device 928. A correction determination device 927 for determining whether or not to perform signal correction is detected by a reproduction signal color temperature detection device 925. A reproduction signal a white balance control device which calculates the gain of the white balance amplifier 922 based on the color temperature of the video signal.
図９−ｂの構成は本発明の第２の実施例と極めて近く、本実施例に特有の構成は露出制御ではなくホワイトバランス制御に関するという部分である。本実施例のメタデータはタイムコードを基にした時間情報と補正の開始／終了情報である。メタデータ再生装置９２４で分離されたメタデータは補正判定装置９２６においてタイムコード再生装置７２８で分離された時間情報に照らし合わされ、再生時のどの時点で補正を行えば良いかが判定される。補正判定装置７２６の判定結果で再生信号ホワイトバランス制御が行われる部分に関しては、本発明の第２の実施例と同様である。 The configuration in FIG. 9B is very close to the second embodiment of the present invention, and the configuration unique to this embodiment is related to white balance control rather than exposure control. The metadata of this embodiment is time information based on a time code and correction start / end information. The metadata separated by the metadata reproduction device 924 is compared with the time information separated by the time code reproduction device 728 by the correction determination device 926, and it is determined at which point in time the reproduction should be performed. The portion where the reproduction signal white balance control is performed based on the determination result of the correction determination device 726 is the same as in the second embodiment of the present invention.
本実施例によれば、記録されるメタデータは映像信号と同一の時間に記録されていなくても構わない。別の部分に記録されていた場合は、映像信号の再生前、或いは再生中にメタデータを読み出し、メタデータの情報が映像信号のタイムコードと一致した時点で補正を行う構成にすることが可能となる。 According to the present embodiment, the recorded metadata may not be recorded at the same time as the video signal. If it is recorded in another part, it can be configured to read the metadata before or during playback of the video signal, and make corrections when the metadata information matches the time code of the video signal It becomes.
以上が本発明の実施形態であるビデオカメラに関する説明である。本実施例によれば、被写体上の横切りなどの突発的な被写体環境変化が発生するシーンを撮影した場合や、短い周期で明るさや色などの条件が変化する被写体を撮影した場合などのその短期間の変化が映像として再現されるうえで、被写体全体にわたって照明環境の変化があった場合には照明状態を十分に補正して適切な再現が可能な映像再生が可能になった。 This completes the description of the video camera that is the embodiment of the present invention. According to the present embodiment, when shooting a scene that suddenly changes the subject environment such as crossing over the subject, or when shooting a subject whose conditions such as brightness and color change in a short cycle, such a short-term In addition, when the lighting environment changes over the entire subject, video playback that can be appropriately reproduced is possible by correcting the lighting conditions sufficiently.
本実施例では記録情報としてタイムコードを用いることで説明したが、記録情報としてはフラグデータなどの簡単なものでも良いし、補正するか否かのスレッシュは再生装置に持たせても実現可能である。また、本実施例ではホワイトバランス制御を行う構成で説明したが、ガンマ処理、輪郭強調、蛍光灯フリッカ補正などの信号処理制御でも同様の効果を得ることが出来る。さらには、記録再生可能な撮像装置として説明したが、撮像部分、記録部分、再生部分が分離されている構成でも構わない。 In this embodiment, the time code is used as the recording information. However, the recording information may be a simple information such as flag data, and the threshold for determining whether or not to correct the image can be realized even if it is provided in the playback apparatus. is there. In this embodiment, the white balance control is described. However, the same effect can be obtained by signal processing control such as gamma processing, contour enhancement, and fluorescent lamp flicker correction. Furthermore, although described as an imaging apparatus capable of recording and reproducing, a configuration in which an imaging part, a recording part, and a reproduction part are separated may be employed.
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。 Although the present invention has been described in detail based on preferred embodiments thereof, the present invention is not limited to these specific embodiments, and various forms within the scope of the present invention are also included in the present invention. included. A part of the above-described embodiments may be appropriately combined.
１００‥‥レンズ
１０１‥‥光学絞り
１０２‥‥撮像素子
１０３‥‥信号処理装置
１０４‥‥記録装置
１０５‥‥レベル検出装置
１０６‥‥レベル制御装置
１０７‥‥時間カウント装置
１０８‥‥メタデータ生成装置
１０９‥‥信号重畳装置
１２１‥‥再生装置
１２２‥‥アンプ
１２３‥‥出力端子
１２４‥‥メタデータ再生装置
１２５‥‥再生信号レベル検出装置
１２６‥‥補正判定装置
１２７‥‥再生信号レベル制御装置
DESCRIPTION OF SYMBOLS 100 ... Lens 101 ... Optical stop 102 ... Image pick-up element 103 ... Signal processing device 104 ... Recording device 105 ... Level detection device 106 ... Level control device 107 ... Time count device 108 ... Metadata generation device 109 Signal superimposing device 121 Playback device 122 Amplifier 123 Output terminal 124 Metadata playback device 125 Playback signal level detection device 126 Correction determination device 127 Playback signal level control device
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011015601AJP2012156885A (en) | 2011-01-27 | 2011-01-27 | Imaging apparatus |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011015601AJP2012156885A (en) | 2011-01-27 | 2011-01-27 | Imaging apparatus |
| Publication Number | Publication Date |
|---|---|
| JP2012156885Atrue JP2012156885A (en) | 2012-08-16 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011015601APendingJP2012156885A (en) | 2011-01-27 | 2011-01-27 | Imaging apparatus |
| Country | Link |
|---|---|
| JP (1) | JP2012156885A (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015115947A (en)* | 2013-12-06 | 2015-06-22 | インテル・コーポレーション | Robust automatic exposure control using embedded data |
| JP2018503325A (en)* | 2014-11-06 | 2018-02-01 | デューライト・リミテッド・ライアビリティ・カンパニーＤｕｅｌｉｇｈｔ Ｌｌｃ | System and method for performing operations on pixel data |
| US10558848B2 (en) | 2017-10-05 | 2020-02-11 | Duelight Llc | System, method, and computer program for capturing an image with correct skin tone exposure |
| US10652478B2 (en) | 2012-09-04 | 2020-05-12 | Duelight Llc | Image sensor apparatus and method for obtaining multiple exposures with zero interframe time |
| US10785401B2 (en) | 2016-09-01 | 2020-09-22 | Duelight Llc | Systems and methods for adjusting focus based on focus target information |
| US10904505B2 (en) | 2015-05-01 | 2021-01-26 | Duelight Llc | Systems and methods for generating a digital image |
| US10924688B2 (en) | 2014-11-06 | 2021-02-16 | Duelight Llc | Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene |
| US10931897B2 (en) | 2013-03-15 | 2021-02-23 | Duelight Llc | Systems and methods for a digital image sensor |
| US11375085B2 (en) | 2016-07-01 | 2022-06-28 | Duelight Llc | Systems and methods for capturing digital images |
| US11463630B2 (en) | 2014-11-07 | 2022-10-04 | Duelight Llc | Systems and methods for generating a high-dynamic range (HDR) pixel stream |
| US12401912B2 (en) | 2014-11-17 | 2025-08-26 | Duelight Llc | System and method for generating a digital image |
| US12401911B2 (en) | 2014-11-07 | 2025-08-26 | Duelight Llc | Systems and methods for generating a high-dynamic range (HDR) pixel stream |
| US12445736B2 (en) | 2024-10-30 | 2025-10-14 | Duelight Llc | Systems and methods for generating a digital image |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11025831B2 (en) | 2012-09-04 | 2021-06-01 | Duelight Llc | Image sensor apparatus and method for obtaining multiple exposures with zero interframe time |
| US12003864B2 (en) | 2012-09-04 | 2024-06-04 | Duelight Llc | Image sensor apparatus and method for obtaining multiple exposures with zero interframe time |
| US10652478B2 (en) | 2012-09-04 | 2020-05-12 | Duelight Llc | Image sensor apparatus and method for obtaining multiple exposures with zero interframe time |
| US10931897B2 (en) | 2013-03-15 | 2021-02-23 | Duelight Llc | Systems and methods for a digital image sensor |
| JP2015115947A (en)* | 2013-12-06 | 2015-06-22 | インテル・コーポレーション | Robust automatic exposure control using embedded data |
| JP2018503325A (en)* | 2014-11-06 | 2018-02-01 | デューライト・リミテッド・ライアビリティ・カンパニーＤｕｅｌｉｇｈｔ Ｌｌｃ | System and method for performing operations on pixel data |
| US11394894B2 (en) | 2014-11-06 | 2022-07-19 | Duelight Llc | Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene |
| EP3952288A1 (en)* | 2014-11-06 | 2022-02-09 | DueLight LLC | Systems and methods for performing operations on pixel data |
| US10924688B2 (en) | 2014-11-06 | 2021-02-16 | Duelight Llc | Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene |
| US11463630B2 (en) | 2014-11-07 | 2022-10-04 | Duelight Llc | Systems and methods for generating a high-dynamic range (HDR) pixel stream |
| US12401911B2 (en) | 2014-11-07 | 2025-08-26 | Duelight Llc | Systems and methods for generating a high-dynamic range (HDR) pixel stream |
| US12401912B2 (en) | 2014-11-17 | 2025-08-26 | Duelight Llc | System and method for generating a digital image |
| US12418727B2 (en) | 2014-11-17 | 2025-09-16 | Duelight Llc | System and method for generating a digital image |
| US11356647B2 (en) | 2015-05-01 | 2022-06-07 | Duelight Llc | Systems and methods for generating a digital image |
| US10904505B2 (en) | 2015-05-01 | 2021-01-26 | Duelight Llc | Systems and methods for generating a digital image |
| US11375085B2 (en) | 2016-07-01 | 2022-06-28 | Duelight Llc | Systems and methods for capturing digital images |
| US10785401B2 (en) | 2016-09-01 | 2020-09-22 | Duelight Llc | Systems and methods for adjusting focus based on focus target information |
| US12003853B2 (en) | 2016-09-01 | 2024-06-04 | Duelight Llc | Systems and methods for adjusting focus based on focus target information |
| US10558848B2 (en) | 2017-10-05 | 2020-02-11 | Duelight Llc | System, method, and computer program for capturing an image with correct skin tone exposure |
| US11699219B2 (en) | 2017-10-05 | 2023-07-11 | Duelight Llc | System, method, and computer program for capturing an image with correct skin tone exposure |
| US10586097B2 (en) | 2017-10-05 | 2020-03-10 | Duelight Llc | System, method, and computer program for capturing an image with correct skin tone exposure |
| US11455829B2 (en) | 2017-10-05 | 2022-09-27 | Duelight Llc | System, method, and computer program for capturing an image with correct skin tone exposure |
| US12445736B2 (en) | 2024-10-30 | 2025-10-14 | Duelight Llc | Systems and methods for generating a digital image |
| Publication | Publication Date | Title |
|---|---|---|
| JP2012156885A (en) | Imaging apparatus | |
| US8106965B2 (en) | Image capturing device which corrects a target luminance, based on which an exposure condition is determined | |
| JP5072431B2 (en) | Imaging apparatus and control method thereof | |
| US20120189263A1 (en) | Imaging apparatus and imaging method for taking moving image | |
| US8878979B2 (en) | Image pickup apparatus and focus control method which amplify an image in accordance with the luminance when the luminance variation exists and use the amplified image in focus control | |
| JP2010016664A (en) | Imaging apparatus | |
| JPH07298286A (en) | Imaging device | |
| US9338368B2 (en) | Imaging apparatus, method of detecting flicker, and information processing unit | |
| JP6230265B2 (en) | Imaging device | |
| JP2005065186A (en) | Image pickup unit | |
| JP6652303B2 (en) | Flash band determination device, control method thereof, control program, and imaging device | |
| JP5350090B2 (en) | Imaging apparatus and control method thereof | |
| JP2765642B2 (en) | Exposure control device for video camera | |
| US20190124240A1 (en) | Flash band determination device for detecting flash band, method of controlling the same, storage medium, and image pickup apparatus | |
| JP5219474B2 (en) | Imaging apparatus and control method thereof | |
| JP2506184B2 (en) | Exposure control device | |
| KR101579734B1 (en) | Digital photographing apparatus, control method thereof, and recording medium storing a program for executing the same | |
| JP2883254B2 (en) | Video camera and control method thereof | |
| JP5533059B2 (en) | Imaging device | |
| JP2009278155A (en) | Imaging apparatus, control method of imaging apparatus and program | |
| JP2011114442A (en) | Electronic camera | |
| JP2009206569A (en) | Imaging apparatus and flicker correction method thereof | |
| JPH05219431A (en) | Exposure controller for video camera | |
| JPH11261881A (en) | Digital video camera | |
| JPH11127380A (en) | Image pickup device |