＜撮像装置の概略構成例＞
図１は、撮像装置の概略構成例を示す横断面図である。撮像装置１００は、レンズ部１０１およびカメラボディ１０２のうち少なくともカメラボディ１０２を有する。レンズ部１０１は、カメラボディ１０２に着脱可能な交換式レンズである。撮像装置１００は、レンズ部１０１とカメラボディ１０２とが着脱不可能な一体型でもよい。<Example of schematic configuration of imaging device>
FIG. 1 is a cross-sectional view showing a schematic configuration example of an imaging device. Theimaging device 100 has at least thecamera body 102 out of thelens unit 101 and thecamera body 102 . Alens unit 101 is an interchangeable lens that can be attached to and detached from acamera body 102 . Theimaging device 100 may be of an integral type in which thelens unit 101 and thecamera body 102 are not detachable.
レンズ部１０１は、撮像光学系１１１と、絞り１１２と、駆動制御部１１３と、レンズ側マウント部１１４と、を有する。撮像光学系１１１は、レンズ１１１ａと、ズーミング用レンズ１１１ｂと、フォーカシング用レンズ１１１ｃと、を含む。絞り１１２は、撮像光学系１１１の光軸１０３に沿って配置されている。 Thelens unit 101 has an imagingoptical system 111 , adiaphragm 112 , adrive control unit 113 and a lensside mount unit 114 . The imagingoptical system 111 includes a lens 111a, a zooming lens 111b, and a focusing lens 111c. Adiaphragm 112 is arranged along theoptical axis 103 of the imagingoptical system 111 .
絞り１１２は、光量およびボケ量調整のために光軸１０３中心に開口径が可変な開口を形成する。レンズ側マウント部１１４は、ボディ側マウント部１２４に着脱可能である。レンズ側マウント部１１４は、電気接点１１５を有する。電気接点１１５は、駆動制御部１１３に電気的に接続されている。レンズ側マウント部１１４とボディ側マウント部１２４との装着により、電気接点１１５は、カメラボディ１０２の電気接点１２５と電気的に接続される。 Adiaphragm 112 forms an aperture with a variable aperture diameter at the center of theoptical axis 103 for adjusting the amount of light and the amount of blurring. The lensside mount section 114 is attachable to and detachable from the bodyside mount section 124 . The lens-side mount portion 114 haselectrical contacts 115 . Theelectrical contact 115 is electrically connected to thedrive control section 113 . By mounting the lensside mount portion 114 and the bodyside mount portion 124 together, theelectrical contact 115 is electrically connected to theelectrical contact 125 of thecamera body 102 .
駆動制御部１１３は、不図示のレンズ側プロセッサ、メモリ、および駆動制御回路を含み、撮像光学系１１１を駆動制御する。具体的には、たとえば、駆動制御部１１３は、電気接点１１５，１２５を介してカメラボディ１０２側のシステム制御部１２９と電気的に接続される。 Thedrive control unit 113 includes a lens side processor, a memory, and a drive control circuit (not shown), and drives and controls the imagingoptical system 111 . Specifically, for example, thedrive control unit 113 is electrically connected to thesystem control unit 129 on thecamera body 102 side viaelectrical contacts 115 and 125 .
駆動制御部１１３は、レンズ情報をシステム制御部１２９に送信し、制御情報をシステム制御部１２９と送受信する。レンズ情報とは、撮像光学系１１１の光学特性に関する情報である。制御情報とは、ズーミング用レンズ１１１ｂ、フォーカシング用レンズ１１１ｃおよび絞り１１２を駆動するための情報である。 Thedrive control unit 113 transmits lens information to thesystem control unit 129 and transmits/receives control information to/from thesystem control unit 129 . Lens information is information about the optical characteristics of the imagingoptical system 111 . The control information is information for driving the zooming lens 111b, the focusing lens 111c, and thediaphragm 112. FIG.
駆動制御部１１３内のプロセッサは、撮像光学系１１１の焦点調節を行うために、カメラボディ１０２内のシステム制御部１２９から送信される制御情報（たとえば、フォーカシング用レンズ駆動コマンド）に基づいて、駆動制御部１１３内の駆動制御回路にフォーカシング用レンズ１１１ｃの駆動制御を実行させる。 In order to adjust the focus of the imagingoptical system 111, the processor in thedrive control unit 113 controls driving based on control information (for example, a focusing lens drive command) transmitted from thesystem control unit 129 in thecamera body 102. The drive control circuit in thecontrol unit 113 is caused to control the drive of the focusing lens 111c.
駆動制御部１１３のプロセッサは、ズーミング調節を行うために、システム制御部１２９から送信される制御情報（たとえば、ズーミング用レンズ駆動コマンド）に基づいて、駆動制御部１１３内の駆動制御回路にズーミング用レンズ１１１ｂの駆動制御を実行させる。駆動制御部１１３のプロセッサは、絞り１１２の開口径調節を行うために、カメラボディ１０２内のシステム制御部１２９から送信される制御情報（たとえば、絞り駆動コマンド）に基づいて絞り１１２の駆動制御を駆動制御部１１３内の駆動制御回路に実行させる。 In order to perform zooming adjustment, the processor of thedrive control unit 113 instructs the drive control circuit in thedrive control unit 113 to perform zooming control information (for example, a zooming lens drive command) transmitted from thesystem control unit 129 . Drive control of the lens 111b is executed. In order to adjust the aperture diameter of thediaphragm 112, the processor of thedrive control unit 113 controls the driving of thediaphragm 112 based on control information (for example, diaphragm drive command) transmitted from thesystem controller 129 in thecamera body 102. The drive control circuit in thedrive control unit 113 is made to execute.
カメラボディ１０２は、レリーズボタン（シャッターボタンともいう）１２０と、シャッター１２１と、ファインダ１２２と、操作部１２３と、ボディ側マウント部１２４と、電気接点１２５と、表示デバイス１２６と、撮像素子１２７と、画像処理部１２８と、システム制御部１２９と、記録媒体１３０と、バッテリ１３１と、を有する。 Thecamera body 102 includes a release button (also referred to as a shutter button) 120, ashutter 121, aviewfinder 122, anoperation section 123, a body-side mount section 124, anelectrical contact 125, adisplay device 126, and animaging element 127. , animage processing unit 128 , asystem control unit 129 , arecording medium 130 , and abattery 131 .
レリーズボタン１２０は、シャッター１２１を開閉制御するためのデバイスである。レリーズボタン１２０は、たとえば、２段階押下式である。レリーズボタン１２０が半押しされることでシャッター１２１が開放されて、オートフォーカスと露出計が作動する。レリーズボタン１２０がさらに押し込まれて全押し状態となることでシャッター１２１が閉鎖される。 Arelease button 120 is a device for controlling the opening and closing of ashutter 121 . Therelease button 120 is, for example, a two-step depression type. When therelease button 120 is half-pressed, theshutter 121 is opened and the autofocus and exposure meter are activated. Theshutter 121 is closed by further pushing therelease button 120 into a fully pushed state.
シャッター１２１は、撮像素子１２７の手前に設けられ、開放時に被写体光を撮像素子１２７に出射し、閉鎖時に被写体光を遮光する。なお、シャッター１２１は、レンズ部１０１に設けられてもよい。 Theshutter 121 is provided in front of theimaging element 127, emits subject light to theimaging element 127 when open, and blocks subject light when closed. Note that theshutter 121 may be provided in thelens unit 101 .
ファインダ１２２は、被写体像を閲覧可能な表示デバイスである。ファインダ１２２が光学式ファインダである場合、ユーザは、レンズ部１０１から得られた被写体像をファインダ１２２から観察可能である。ファインダ１２２が電子式ファインダである場合、ユーザは、撮像素子１２７からのＲＡＷデータを画像処理部１２８で画像処理した被写体画像をファインダ１２２から閲覧可能である。 Aviewfinder 122 is a display device that allows viewing of a subject image. If theviewfinder 122 is an optical viewfinder, the user can observe the subject image obtained from thelens unit 101 through theviewfinder 122 . If theviewfinder 122 is an electronic viewfinder, the user can view, from theviewfinder 122, a subject image obtained by image-processing the RAW data from theimage sensor 127 by theimage processing unit 128 .
操作部１２３は、撮像装置１００に対し、各種操作をするためのボタンやスイッチ、ダイヤルなどの物理的なデバイスである。操作部１２３は、タッチパネルでもよい。 Theoperation unit 123 is a physical device such as buttons, switches, and dials for performing various operations on theimaging apparatus 100 . Theoperation unit 123 may be a touch panel.
ボディ側マウント部１２４は、レンズ側マウント部１１４に着脱可能である。ボディ側マウント部１２４は、電気接点１２５を有する。レンズ側マウント部１１４とボディ側マウント部１２４との装着により、電気接点１２５は、レンズ部１０１の電気接点１１５と電気的に接続される。 The body-side mount section 124 is attachable to and detachable from the lens-side mount section 114 . The body-side mount portion 124 haselectrical contacts 125 . By attaching the lens-side mount portion 114 and the body-side mount portion 124 , theelectrical contact 125 is electrically connected to theelectrical contact 115 of thelens portion 101 .
表示デバイス１２６は、撮像素子１２７からのＲＡＷデータを画像処理部１２８で画像処理した画像（静止画、動画、ライブビュー画像を含む）、上述したレンズ情報、そのほか、撮影に関するアイコンや文字情報などを表示するデバイスである。 Thedisplay device 126 displays images (including still images, moving images, and live view images) obtained by image processing the RAW data from theimage sensor 127 by theimage processing unit 128, the lens information described above, icons and text information related to shooting, and the like. Display device.
撮像素子１２７は、レンズ部１０１の撮像光学系１１１から出射された光束（撮像視野内の光束）を受光する。撮像素子１２７は、画像生成のための画素信号を出力する各画素を有する。各画素は、入射された光束を光電変換して画素信号を生成する。撮像素子１２７は、各画素の画素信号からなるＲＡＷデータを画像処理部１２８に出力する。ＲＡＷデータも画像データの一例である。 Theimaging device 127 receives a light flux (a light flux within the imaging field of view) emitted from the imagingoptical system 111 of thelens unit 101 . Theimaging device 127 has pixels that output pixel signals for image generation. Each pixel photoelectrically converts the incident light flux to generate a pixel signal. Theimaging device 127 outputs RAW data made up of pixel signals of each pixel to theimage processing section 128 . RAW data is also an example of image data.
画像処理部１２８は、撮像素子１２７からのＲＡＷデータを画像処理し、画像処理された画像データ（たとえば、ＪＰＥＧ形式）を表示デバイス１２６および記録媒体１３０に出力する。また、ファインダ１２２が電子式ファインダである場合、画像処理部１２８は、被写体像を縮小してファインダ１２２に出力する。画像処理部１２８の詳細については図２で説明する。 Theimage processing unit 128 image-processes the RAW data from theimaging device 127 and outputs the image data (for example, JPEG format) subjected to the image processing to thedisplay device 126 and therecording medium 130 . Also, if theviewfinder 122 is an electronic viewfinder, theimage processing unit 128 reduces the subject image and outputs it to theviewfinder 122 . Details of theimage processing unit 128 will be described with reference to FIG.
システム制御部１２９は、撮像装置１００を統括制御する。具体的には、たとえば、システム制御部１２９は、駆動制御部１１３、レリーズボタン１２０、操作部１２３、バッテリ１３１からの制御指示に従って、撮像装置１００を制御する。 Thesystem control unit 129 centrally controls theimaging device 100 . Specifically, for example, thesystem control unit 129 controls theimaging device 100 according to control instructions from thedrive control unit 113 , therelease button 120 , theoperation unit 123 and thebattery 131 .
記録媒体１３０は、カメラボディ１０２に着脱可能であり、画像データを記録する。なお、記録媒体１３０は、カメラボディ１０２に内蔵されていてもよい。 Arecording medium 130 is detachable from thecamera body 102 and records image data. Note that therecording medium 130 may be built in thecamera body 102 .
バッテリ１３１は、撮像装置１００内の各部に電力供給する。バッテリ１３１は、着脱型でもよく内蔵型でもよい。図１では、簡略化のため画像処理部１２８にのみ電力供給しているが、システム制御部１２９、撮像素子１２７、ファインダ１２２、表示デバイス１２６、記録媒体１３０にも電力供給する。 Abattery 131 supplies power to each unit in theimaging apparatus 100 . Thebattery 131 may be detachable or built-in. In FIG. 1, power is supplied only to theimage processing unit 128 for the sake of simplification.
＜撮像装置１００のブロック構成例＞
図２は、撮像装置１００のブロック構成例を示すブロック構成図である。本実施例では、撮像装置１００は、動画の記録動作中または画像の表示動作中におけるデモザイク処理を低品質化する。動画の記録動作中とは、撮像素子１２７から得られた時系列なフレーム群（画像データ群）を記録媒体１３０に記録する期間である。画像の表示動作中とは、撮像素子１２７から得られた時系列なフレーム群（画像データ群）の画像を表示デバイス１２６（または電子式ファインダ）に表示している期間である。<Example of Block Configuration ofImaging Device 100>
FIG. 2 is a block configuration diagram showing a block configuration example of theimaging device 100. As shown in FIG. In this embodiment, theimaging apparatus 100 lowers the quality of the demosaicing process during the moving image recording operation or the image display operation. During the moving image recording operation is a period during which a time-series frame group (image data group) obtained from theimage sensor 127 is recorded on therecording medium 130 . During the image display operation is the period during which the images of the time-series frame group (image data group) obtained from theimage sensor 127 are displayed on the display device 126 (or the electronic viewfinder).
具体的には、撮像装置１００は、第１デモザイク処理部２０３および第２デモザイク処理部２０４のうち、デモザイク処理が低品質となるデモザイク処理部を選択する。低品質となるデモザイク処理部は、高品質なデモザイク処理部よりも回路規模が小さいため消費電力が低い。 Specifically, theimaging device 100 selects a demosaic processing unit that provides low-quality demosaic processing, from among the firstdemosaic processing unit 203 and the seconddemosaic processing unit 204 . A demosaic processing unit with low quality has a smaller circuit scale than a demosaic processing unit with high quality, and therefore consumes less power.
したがって、消費電力が抑制される。以下、第１デモザイク処理部２０３を高品質（すなわち、高消費電力）なデータ処理部とし、第２デモザイク処理部２０４を第１デモザイク処理部２０３よりも低品質（すなわち、第１デモザイク処理部２０３よりも低消費電力）なデータ処理部として、各ブロックについて詳細に説明する。 Therefore, power consumption is suppressed. Hereinafter, the firstdemosaicing processing unit 203 is a high-quality (that is, high power consumption) data processing unit, and the seconddemosaicing processing unit 204 is lower in quality than the first demosaicing processing unit 203 (that is, the firstdemosaicing processing unit 203 Each block will be described in detail as a data processing unit that consumes less power than the .
システム制御部１２９は、検出部２００を有する。検出部２００は、記録媒体１３０への動画の記録動作中または表示デバイス１２６への画像（静止画、動画、ライブビュー画像を含む）の表示動作中における選択契機を検出する。選択契機は、デモザイク処理を低品質化、すなわち、低消費電力化するためのトリガである。選択契機の具体例については後述する。 Thesystem controller 129 has adetector 200 . Thedetection unit 200 detects a selection trigger during the operation of recording a moving image on therecording medium 130 or during the operation of displaying an image (including still images, moving images, and live view images) on thedisplay device 126 . The selection trigger is a trigger for lowering the quality of the demosaicing process, that is, lowering the power consumption. A specific example of the selection trigger will be described later.
画像処理部１２８は、画像前処理部２０１と、選択部２０２と、第１デモザイク処理部２０３と、第２デモザイク処理部２０４と、ラインメモリ２０５と、動作制御部２０６と、画像後処理部２０７と、を有する。選択部２０２は、切替部２３１と決定部２３２とを含む。動作制御部２０６は、電力制御部２６１と信号制御部２６２とを含む。 Theimage processing unit 128 includes animage preprocessing unit 201 , aselection unit 202 , a firstdemosaic processing unit 203 , a seconddemosaic processing unit 204 , aline memory 205 , anoperation control unit 206 , and animage post-processing unit 207 . and haveSelection section 202 includes aswitching section 231 and adetermination section 232 .Operation control section 206 includespower control section 261 andsignal control section 262 .
なお、検出部２００や画像処理部１２８内の各ブロック（ラインメモリ２０５除く）は、具体的には、たとえば、集積回路で設計することによりハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することによりソフトウェアで実現してもよい。 Note that each block in thedetection unit 200 and the image processing unit 128 (except for the line memory 205) may be realized by hardware by designing an integrated circuit, for example. may be implemented by software by interpreting and executing a program that implements
画像前処理部２０１は、撮像素子１２７からのＲＡＷデータを前処理する。具体的には、たとえば、画像前処理部２０１は、ＲＡＷデータのＲ（赤）、Ｇ（緑）、Ｂ（青）の感度調整、ホワイトバランス調整、ノイズ除去、オートフォーカス用の評価値の生成を実行する。 Animage preprocessing unit 201 preprocesses RAW data from theimage sensor 127 . Specifically, for example, theimage preprocessing unit 201 performs sensitivity adjustment of R (red), G (green), and B (blue) of RAW data, white balance adjustment, noise removal, and generation of evaluation values for autofocus. to run.
選択部２０２は、動画の記録または表示の動作中における選択契機に基づいて、複数のデータ処理部のうち特定のデータ処理部を選択する。具体的には、たとえば、あるフレームの画像データのデータ処理中に、特定のデータ処理部を選択して、切り替えることになる。ここで、特定のデータ処理部とは、複数のデータ処理部のうち最も低品質（低消費電力）のデータ処理部であり、上述の例では、第２デモザイク処理部２０４である。具体的には、たとえば、選択部２０２は、切替部２３１と、決定部２３２と、を含む。 Theselection unit 202 selects a specific data processing unit from among the plurality of data processing units based on a selection trigger during motion picture recording or display operation. Specifically, for example, during data processing of image data of a certain frame, a specific data processing unit is selected and switched. Here, the specific data processing unit is the data processing unit with the lowest quality (low power consumption) among the plurality of data processing units, which is the seconddemosaicing processing unit 204 in the above example. Specifically, theselection unit 202 includes aswitching unit 231 and adetermination unit 232, for example.
切替部２３１は、複数のデータ処理部のうちいずれか１つのデータ処理部に画像データを出力可能に切り替える。切替部２３１は、スイッチング回路であり、画像前処理部２０１からの画像データの出力経路を、決定部２３２からの切替指示で指示された出力先となるデータ処理部に切り替える。 Theswitching unit 231 switches so that image data can be output to one of the plurality of data processing units. Theswitching unit 231 is a switching circuit that switches the output path of the image data from theimage preprocessing unit 201 to the data processing unit that is the output destination instructed by the switching instruction from the determiningunit 232 .
決定部２３２は、選択契機に基づいて、特定のデータ処理部を画像データの出力先に決定する。そして、選択部２０２は、特定のデータ処理部を出力先とする切替指示を切替部２３１に与え、切替部２３１を制御して当該切替指示で指示された出力先となるデータ処理部に切り替える。 Thedetermination unit 232 determines a specific data processing unit as the output destination of the image data based on the selection trigger. Then, the selectingunit 202 gives theswitching unit 231 an instruction to switch the output destination to a specific data processing unit, and controls theswitching unit 231 to switch to the data processing unit to be the output destination specified by the switching instruction.
なお、選択部２０２は、決定部２３２によって決定された特定のデータ処理部が、活性化状態のデータ処理部、すなわち、現在動作中のデータ処理部である場合、切替部２３１を切り替えない。具体的には、たとえば、特定のデータ処理部が、現在動作中の第２デモザイク処理部２０４である場合、切替部２３１を切り替える必要がないため、切り替えない。これにより、切替部２３１の切替試行を抑制することができ、低消費電力化を図ることができる。 Note that theselection unit 202 does not switch theswitching unit 231 when the specific data processing unit determined by thedetermination unit 232 is an activated data processing unit, that is, the currently operating data processing unit. Specifically, for example, if the specific data processing unit is the currently operating seconddemosaicing processing unit 204, there is no need to switch theswitching unit 231, so switching is not performed. As a result, switching attempts by theswitching unit 231 can be suppressed, and power consumption can be reduced.
第１デモザイク処理部２０３および第２デモザイク処理部２０４はともに、デモザイク処理を実行する。上述したように、第１デモザイク処理部２０３は高品質（すなわち、高消費電力）なデータ処理部であり、第２デモザイク処理部２０４は第１デモザイク処理部２０３よりも低品質（すなわち、第１デモザイク処理部２０３よりも低消費電力）なデータ処理部である。 Both thefirst demosaicing unit 203 and thesecond demosaicing unit 204 perform demosaic processing. As described above, the firstdemosaic processing unit 203 is a high-quality (that is, high power consumption) data processing unit, and the seconddemosaic processing unit 204 has lower quality than the first demosaic processing unit 203 (that is, the first This data processing unit consumes less power than thedemosaic processing unit 203 .
第１デモザイク処理部２０３は、第２デモザイク処理部２０４に比べて、色補間に用いる周辺画素が多く、したがって、計算量が増大する。このため、第１デモザイク処理部２０３は、第２デモザイク処理部２０４に比べてフリップフロップなどの回路規模が多くなり、消費電力が第２デモザイク処理部２０４よりも増加する。なお、本例では、複数のデータ処理部として、第１デモザイク処理部２０３および第２デモザイク処理部２０４を例に挙げたが、３個以上の電力消費量が異なるデモザイク処理部を用いてもよい。 The firstdemosaic processing unit 203 uses more peripheral pixels for color interpolation than the seconddemosaic processing unit 204, so the amount of calculation increases. Therefore, the firstdemosaic processing unit 203 has a larger circuit scale such as flip-flops than the seconddemosaic processing unit 204 , and consumes more power than the seconddemosaic processing unit 204 . In this example, the firstdemosaic processing unit 203 and the seconddemosaic processing unit 204 are used as the plurality of data processing units, but three or more demosaic processing units with different power consumption may be used. .
動作制御部２０６は、選択部２０２によって選択された特定のデータ処理部を活性化状態に制御し、複数のデータ処理部のうち特定のデータ処理部以外の他のデータ処理部を非活性化状態に制御する。上記の例では、特定のデータ処理部が第２デモザイク処理部２０４であるため、第２デモザイク処理部２０４が活性化状態となり、他のデータ処理部である第１デモザイク処理部２０３が非活性化状態となる。 Theoperation control unit 206 activates the specific data processing unit selected by theselection unit 202, and deactivates the data processing units other than the specific data processing unit among the plurality of data processing units. to control. In the above example, since the specific data processing unit is the seconddemosaicing processing unit 204, the seconddemosaicing processing unit 204 is activated, and the other data processing unit, the firstdemosaicing processing unit 203, is deactivated. state.
図３は、活性化状態および非活性化状態の一例を示す説明図である。図３では、第１デモザイク処理部２０３を例に挙げて説明するが、第２デモザイク処理部２０４も同様である。活性化状態とは、画像データが与えられることでデモザイク処理が実行可能な状態であり、具体的には、たとえば、電力が供給されている状態（電力供給ＯＮ）、クロック信号が供給されている状態（クロック信号ＯＮ）、または、画像データのデータ信号が抑止されていない状態、すなわち、抑止制御信号を供給しない状態（抑止制御信号ＯＦＦ）である。 FIG. 3 is an explanatory diagram showing an example of an activated state and a deactivated state. Although the firstdemosaic processing unit 203 will be described as an example in FIG. 3, the seconddemosaic processing unit 204 is similar. The activated state is a state in which demosaic processing can be executed by applying image data. Specifically, for example, a state in which power is supplied (power supply ON), and a clock signal is supplied. A state (clock signal ON), or a state in which the data signal of the image data is not inhibited, ie, a state in which the inhibition control signal is not supplied (inhibition control signal OFF).
一方、非活性化状態とは、画像データが与えられてもデモザイク処理が実行不可能な状態であり、具体的には、たとえば、電力が供給されていない状態（電力供給ＯＦＦ）、クロック信号が供給されていない状態（クロック信号ＯＦＦ）、または、画像データのデータ信号が抑止されている状態、すなわち、抑止制御信号を供給する状態（抑止制御信号ＯＮ）である。 On the other hand, the inactive state is a state in which demosaic processing cannot be executed even if image data is supplied. A state in which the data signal of the image data is not supplied (clock signal OFF), or a state in which the data signal of the image data is suppressed, that is, a state in which the suppression control signal is supplied (inhibition control signal ON).
画像データの抑止とは、画像データのデータ信号がリセットされた状態である。具体的には、たとえば、フリップフロップ回路ＦＦの前段に設けられた抑止回路３００は、選択部２０２から抑止制御信号を入力した場合にデータ信号の遷移を抑止して、抑止したデータ信号をＦＦに出力する。一方、抑止回路３００は、抑止制御信号が入力されていない場合にデータ信号の遷移を抑止せずに、そのままフリップフロップ回路ＦＦに出力する。 Suppression of image data is a state in which the data signal of image data is reset. Specifically, for example, thesuppression circuit 300 provided in the preceding stage of the flip-flop circuit FF suppresses the transition of the data signal when the suppression control signal is input from theselection unit 202, and the suppressed data signal is sent to the FF. Output. On the other hand, theinhibition circuit 300 outputs the data signal to the flip-flop circuit FF as it is without inhibiting the transition of the data signal when the inhibition control signal is not input.
図２に戻り、動作制御部２０６は、電力制御部２６１と、信号制御部２６２と、を含む。電力制御部２６１は、バッテリ１３１から第１デモザイク処理部２０３および第２デモザイク処理部２０４への電力供給を制御する。具体的には、たとえば、電力制御部２６１は、上記の例では、特定のデータ処理部（第２デモザイク処理部２０４）に電力供給し、他のデータ処理部（第１デモザイク処理部２０３）への電力供給を停止する。 Returning to FIG. 2 , theoperation control section 206 includes apower control section 261 and asignal control section 262 . Thepower control unit 261 controls power supply from thebattery 131 to the firstdemosaic processing unit 203 and the seconddemosaic processing unit 204 . Specifically, for example, thepower control unit 261 supplies power to a specific data processing unit (second demosaic processing unit 204) in the above example, and supplies power to another data processing unit (first demosaic processing unit 203). power off.
信号制御部２６２は、第１デモザイク処理部２０３および第２デモザイク処理部２０４へのクロック信号または抑止制御信号を制御する。具体的には、たとえば、信号制御部２６２は、上記の例では、特定のデータ処理部（第２デモザイク処理部２０４）にクロック信号を供給し、他のデータ処理部（第１デモザイク処理部２０３）へのクロック信号の供給を停止する。または、信号制御部２６２は、上記の例では、特定のデータ処理部（第２デモザイク処理部２０４）に抑止制御信号の供給を停止し、他のデータ処理部（第１デモザイク処理部２０３）への抑止制御信号を供給する。 Thesignal control unit 262 controls the clock signal or suppression control signal to the firstdemosaic processing unit 203 and the seconddemosaic processing unit 204 . Specifically, for example, in the above example, thesignal control unit 262 supplies a clock signal to a specific data processing unit (second demosaic processing unit 204), and supplies a clock signal to another data processing unit (firstdemosaic processing unit 203). ) is stopped. Alternatively, in the above example, thesignal control unit 262 stops supplying the suppression control signal to a specific data processing unit (second demosaic processing unit 204), and sends it to another data processing unit (first demosaic processing unit 203). to inhibit control signals.
動作制御部２０６において、電力供給、クロック信号供給、および抑止制御信号の供給の動作制御のうちいずれを適用するかは、撮像装置１００の設計時、または、撮像装置１００の出荷後においてユーザ設定により決定すればよい。 Which of the power supply, the clock signal supply, and the suppression control signal supply is applied in theoperation control unit 206 is set by the user when theimaging apparatus 100 is designed or after theimaging apparatus 100 is shipped. You just have to decide.
電力制御部２６１を用いる場合、信号制御部２６２よりも消費電力の抑制効果が得られる。一方、信号制御部２６２で抑止制御信号を用いる場合、いずれのデモザイク処理部にも電力およびクロック信号が供給されているため、抑止制御の解除後の復帰動作が電力制御部２６１やクロック信号制御の場合に比べて速い。また、信号制御部２６２でクロック信号を用いる場合、クロック信号の供給が停止されるため、抑止制御に比べて低消費電力となり、かつ、電力は供給されているため、クロック信号供給後の復帰動作が電力制御の場合に比べて速い。 When thepower control unit 261 is used, the effect of suppressing power consumption is obtained more effectively than thesignal control unit 262 . On the other hand, when the suppression control signal is used in thesignal control unit 262, power and clock signals are supplied to all demosaicing processing units. faster than the case. Further, when the clock signal is used in thesignal control unit 262, the supply of the clock signal is stopped, so the power consumption is lower than that of the suppression control, and since the power is still supplied, the recovery operation after the clock signal is supplied. is faster than in power control.
また、動作制御部２０６は、電力制御部２６１および信号制御部２６２の両方を実装してもよく、いずれか一方を実装してもよい。また、信号制御部２６２は、クロック信号の供給制御および抑止制御信号の供給制御のうち少なくともいずれか一方を実装してもよい。 Also, theoperation control unit 206 may implement both thepower control unit 261 and thesignal control unit 262, or may implement either one. Further, thesignal control unit 262 may implement at least one of the supply control of the clock signal and the supply control of the inhibition control signal.
ラインメモリ２０５は、たとえば、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）で構成され、第１デモザイク処理部２０３のワークエリアとして使用される。図２では、第２デモザイク処理部２０４は、ラインメモリ２０５に接続されていないが、第２デモザイク処理部２０４もラインメモリ２０５を用いてもよい。 Theline memory 205 is composed of, for example, an SRAM (Static Random Access Memory), and is used as a work area for thefirst demosaicing unit 203 . Although thesecond demosaicing unit 204 is not connected to theline memory 205 in FIG. 2 , the seconddemosaic processing unit 204 may also use theline memory 205 .
図４は、デモザイク処理とラインメモリ２０５との関係を示す説明図である。（Ａ）は、第１デモザイク処理部２０３は第１ラインメモリ２５１にアクセス可能であり、第２デモザイク処理部２０４は、第１ラインメモリ２５１よりもメモリ容量が小さい第２ラインメモリ２５２にアクセス可能な例である。 FIG. 4 is an explanatory diagram showing the relationship between the demosaicing process and theline memory 205. As shown in FIG. In (A), the firstdemosaic processing unit 203 can access thefirst line memory 251, and the seconddemosaic processing unit 204 can access thesecond line memory 252, which has a smaller memory capacity than thefirst line memory 251. is an example.
（Ｂ）は、第１デモザイク処理部２０３および第２デモザイク処理部２０４がラインメモリ２０５に接続される例である。この場合、第１デモザイク処理部２０３は、第１メモリ領域２７１にアクセス可能であり、第２デモザイク処理部２０４は、第１メモリ領域２７１よりもメモリ容量が小さい第２メモリ領域２７２にアクセス可能である。 (B) is an example in which the firstdemosaic processing unit 203 and the seconddemosaic processing unit 204 are connected to theline memory 205 . In this case, thefirst demosaicing unit 203 can access thefirst memory area 271, and thesecond demosaicing unit 204 can access thesecond memory area 272, which has a smaller memory capacity than thefirst memory area 271. be.
図２に戻り、画像後処理部２０７は、デモザイク処理された画像データの収差補正やアップサンプリング処理、手振れ補正、顔認識処理などの後処理を実行する。なお、顔認識処理は、画像前処理部２０１で実行されてもよく、デモザイク処理と並列に実行されてもよい。 Returning to FIG. 2, theimage post-processing unit 207 executes post-processing such as aberration correction, upsampling processing, hand-shake correction, and face recognition processing on demosaic-processed image data. Note that the face recognition processing may be performed by theimage preprocessing unit 201, or may be performed in parallel with the demosaicing processing.
つぎに、動画の記録または表示の動作中における選択契機と動作制御の関係について具体的に列挙して説明する。 Next, the relationship between the selection trigger and the operation control during the operation of recording or displaying a moving image will be specifically enumerated and explained.
（１）選択契機：撮像素子１２７の感度
操作部１２３からの設定またはシステム制御部１２９による自動設定により撮像素子１２７の感度（たとえば、ＩＳＯ感度）が感度しきい値よりも高くなったことを、検出部２００が検出する選択契機とする。感度が感度しきい値よりも高い場合の画像の画質は、感度が感度しきい値以下の画像の画質よりも悪い。(1) Selection Trigger: Sensitivity ofImaging Device 127 When the sensitivity of the imaging device 127 (for example, ISO sensitivity) becomes higher than the sensitivity threshold value by the setting from theoperation unit 123 or the automatic setting by thesystem control unit 129, This is a selection trigger detected by thedetection unit 200 . The image quality for which the sensitivity is higher than the sensitivity threshold is worse than the image quality for which the sensitivity is equal to or lower than the sensitivity threshold.
したがって、撮像素子１２７の感度（たとえば、ＩＳＯ感度）が感度しきい値よりも高くなったことを選択契機とする。これにより、第２デモザイク処理部２０４が選択されるため、デモザイク処理が低品質化し、消費電力が抑制される。なお、撮像素子１２７の感度（たとえば、ＩＳＯ感度）が感度しきい値以下となったことを検出部２００が検出した場合、第１デモザイク処理部２０３が選択され、高品質なデモザイク処理が実行される。 Therefore, the selection is triggered when the sensitivity (for example, ISO sensitivity) of theimage sensor 127 becomes higher than the sensitivity threshold. Since the seconddemosaic processing unit 204 is thereby selected, the quality of the demosaic processing is lowered and power consumption is suppressed. Note that when thedetection unit 200 detects that the sensitivity (for example, ISO sensitivity) of theimage sensor 127 has become equal to or less than the sensitivity threshold value, the firstdemosaic processing unit 203 is selected, and high-quality demosaic processing is performed. be.
（２）選択契機：絞り値
操作部１２３からの設定またはシステム制御部１２９による自動設定により、被写体からの光を通過させる撮像光学系１１１の絞り値が所定絞り値以下となったことを、検出部２００が検出する選択契機とする。絞り値が所定絞り値以下（開放寄り）となった場合、被写界深度が浅くなり、ピントが合わない領域が多く含まれる可能性が高い。ピントが合わない領域が多い被写体に対して高品質なデモザイク処理が無駄になる可能性が高い。(2) Trigger for selection: Aperture value Detects that the aperture value of the imagingoptical system 111 through which the light from the subject passes has become equal to or less than a predetermined aperture value, by setting from theoperation unit 123 or automatically by thesystem control unit 129. This is the selection trigger detected by theunit 200 . When the aperture value is equal to or less than the predetermined aperture value (closer to open), the depth of field becomes shallower, and there is a high possibility that many out-of-focus areas are included. There is a high possibility that high-quality demosaic processing will be wasted on a subject that has many out-of-focus areas.
したがって、絞り値が所定絞り値以下となったことを選択契機とする。これにより、第２デモザイク処理部２０４が選択されるため、デモザイク処理が低品質化し、消費電力が抑制される。なお、絞り値が所定絞り値よりも大きくなったことを検出部２００が検出した場合、第１デモザイク処理部２０３が選択され、高品質なデモザイク処理が実行される。 Therefore, the selection is triggered when the aperture value becomes equal to or less than the predetermined aperture value. Since the seconddemosaic processing unit 204 is thereby selected, the quality of the demosaic processing is lowered and power consumption is suppressed. Note that when thedetection unit 200 detects that the aperture value has become larger than the predetermined aperture value, the firstdemosaic processing unit 203 is selected and high-quality demosaic processing is performed.
（３）選択契機：合焦動作の開始
レリーズボタン１２０の半押しまたはシステム制御部１２９による自動設定（たとえば、セルフタイマ撮影）により、被写体に対する合焦動作の開始を、検出部２００が検出する選択契機とする。被写体に対する合焦動作を開始した段階では、被写体に合焦していないため、合焦していない被写体に対して高品質なデモザイク処理をするのは無駄である。(3) Selection trigger: Start of focusing operation Selection in which thedetection unit 200 detects the start of the focusing operation for the subject by half-pressing therelease button 120 or automatically setting by the system control unit 129 (for example, self-timer shooting). Opportunity. At the stage when the focusing operation for the object is started, the object is not in focus, so it is useless to perform high-quality demosaic processing on the out-of-focus object.
したがって、被写体に対する合焦動作の開始を選択契機とする。これにより、第２デモザイク処理部２０４が選択されるため、デモザイク処理が低品質化し、消費電力が抑制される。なお、合焦動作の開始以降に合焦を検出部２００が検出した場合、第１デモザイク処理部２０３が選択され、高品質なデモザイク処理が実行される。 Therefore, the start of the focusing operation for the subject is used as a selection trigger. Since the seconddemosaic processing unit 204 is thereby selected, the quality of the demosaic processing is lowered and power consumption is suppressed. Note that when thedetection unit 200 detects focus after the start of the focusing operation, the firstdemosaic processing unit 203 is selected, and high-quality demosaic processing is performed.
（４）選択契機：表示デバイス１２６の表示解像度
操作部１２３からの設定またはシステム制御部１２９による自動設定により、表示デバイス１２６の表示解像度が所定解像度以下となったことを、検出部２００が検出する選択契機とする。表示解像度が所定解像度以下となった場合、高品質なデモザイク処理をするのは無駄である。したがって、表示解像度が所定解像度以下となったことを選択契機とする。これにより、第２デモザイク処理部２０４が選択されるため、デモザイク処理が低品質化し、消費電力が抑制される。(4) Selection Trigger: Display Resolution ofDisplay Device 126 Thedetection unit 200 detects that the display resolution of thedisplay device 126 has become a predetermined resolution or less due to setting from theoperation unit 123 or automatic setting by thesystem control unit 129. Make a choice. If the display resolution becomes equal to or lower than the predetermined resolution, it is useless to perform high-quality demosaic processing. Therefore, the selection is triggered when the display resolution becomes equal to or lower than the predetermined resolution. Since the seconddemosaic processing unit 204 is thereby selected, the quality of the demosaic processing is lowered and power consumption is suppressed.
なお、表示解像度が所定解像度よりも高くなったことを検出部２００が検出した場合、第１デモザイク処理部２０３が選択され、高品質なデモザイク処理が実行される。また、表示デバイス１２６と電子ファインダ１２２とで解像度が異なり、かつ、一方（たとえば、電子ファインダ１２２）の解像度が相対的に低い場合に、たとえば、電子ファインダ１２２にユーザの顔が接近することで、表示先が表示デバイス１２６から電子ファインダ１２２に切り替わった場合にも、検出部２００が検出する選択契機としてもよい。 Note that when thedetection unit 200 detects that the display resolution has become higher than the predetermined resolution, the firstdemosaic processing unit 203 is selected, and high-quality demosaic processing is performed. Further, when thedisplay device 126 and theelectronic viewfinder 122 have different resolutions, and the resolution of one (for example, the electronic viewfinder 122) is relatively low, for example, when the user's face approaches theelectronic viewfinder 122, When the display destination is switched from thedisplay device 126 to theelectronic viewfinder 122, the selection trigger detected by thedetection unit 200 may be used.
（５）選択契機：フレームレート
操作部１２３からの設定またはシステム制御部１２９による自動設定により、表示デバイス１２６のフレームレートが所定フレームレート以上となったことを、検出部２００が検出する選択契機とする。フレームレートが所定フレームレート以上となった場合、時間方向のフレーム数が、所定フレームレート未満の場合のフレーム数よりも多くなり、所定フレームレート未満の場合に比べて１フレーム内の画像の品質を低下させても問題ない。(5) Selection Trigger: Frame Rate A selection trigger for thedetection unit 200 to detect that the frame rate of thedisplay device 126 has become equal to or higher than a predetermined frame rate by setting from theoperation unit 123 or automatically by thesystem control unit 129. do. When the frame rate is equal to or higher than the predetermined frame rate, the number of frames in the time direction becomes greater than the number of frames when the frame rate is less than the predetermined frame rate. There is no problem even if it is lowered.
したがって、フレームレートが所定フレームレート以上となったことを選択契機とする。これにより、第２デモザイク処理部２０４が選択されるため、デモザイク処理が低品質化し、消費電力が抑制される。なお、フレームレートが所定フレームレート未満になったことを検出部２００が検出した場合、第１デモザイク処理部２０３が選択され、高品質なデモザイク処理が実行される。 Therefore, the selection is triggered when the frame rate becomes equal to or higher than the predetermined frame rate. Since the seconddemosaic processing unit 204 is thereby selected, the quality of the demosaic processing is lowered and power consumption is suppressed. Note that when thedetection unit 200 detects that the frame rate has become less than the predetermined frame rate, the firstdemosaic processing unit 203 is selected and high-quality demosaic processing is performed.
（６）選択契機：縮小表示
操作部１２３からの設定またはシステム制御部１２９による自動設定により、表示デバイス１２６の表示画面の少なくとも一部の領域における拡大表示が終了したことを、検出部２００が検出する選択契機とする。拡大表示の終了、すなわち、拡大表示から縮小された場合、縮小後の画像の品質を低下させても問題ない。したがって、拡大表示の終了がしたことを選択契機とする。これにより、第２デモザイク処理部２０４が選択されるため、デモザイク処理が低品質化し、消費電力が抑制される。なお、拡大表示の開始を検出部２００が検出した場合、第１デモザイク処理部２０３が選択され、高品質なデモザイク処理が実行される。(6) Selection Trigger: Reduced Display Thedetection unit 200 detects that enlarged display in at least a part of the display screen of thedisplay device 126 has been completed by setting from theoperation unit 123 or automatic setting by thesystem control unit 129. It is used as an opportunity for selection. When the enlarged display ends, that is, when the enlarged display is reduced, there is no problem even if the quality of the image after reduction is reduced. Therefore, the termination of enlarged display is used as a trigger for selection. Since the seconddemosaic processing unit 204 is thereby selected, the quality of the demosaic processing is lowered and power consumption is suppressed. Note that when thedetection unit 200 detects the start of enlarged display, the firstdemosaic processing unit 203 is selected, and high-quality demosaic processing is performed.
なお、上述において、拡大も縮小もしない等倍（１倍）表示を基準として、１倍よりも大きい倍率の場合を拡大表示、１倍未満の倍率の場合を縮小表示とする。たとえば、倍率が１倍より大きい場合は、第１デモザイク処理部２０３が選択され、倍率が１倍の場合は、第２デモザイク処理部２０４が選択され、倍率が１倍未満の場合は不図示の第３もデモザイク処理部（第２デモザイク処理部２０４よりも低品質で低消費電力）が選択される。 Note that, in the above description, based on normal (1×) display that is neither enlarged nor reduced, a magnification larger than 1 is enlarged display, and a magnification smaller than 1 is reduced display. For example, if the magnification is greater than 1, the firstdemosaic processing unit 203 is selected, if the magnification is 1, the seconddemosaic processing unit 204 is selected, and if the magnification is less than 1, not shown A third demosaicing unit (lower quality and lower power consumption than the second demosaicing unit 204) is also selected.
また、検出部２００による拡大終了の検出前の倍率と比較して相対的に拡大終了後の倍率が小さければ、縮小表示であるとして、選択契機としてもよい。また、検出部２００による縮小表示終了の検出前の倍率と比較して相対的に縮小終了後の倍率が大きければ、拡大表示であるとして、第１デモザイク処理部２０３を選択する選択契機としてもよい。 Further, if the magnification after the end of enlargement is relatively smaller than the magnification before detection of the end of enlargement by thedetection unit 200, it may be regarded as a reduced display, and may be used as a selection trigger. In addition, if the magnification after the end of reduction is relatively larger than the magnification before detection of the end of reduced display by thedetection unit 200, it may be regarded as an enlarged display and may be used as a selection trigger for selecting the firstdemosaicing processing unit 203. .
（７）選択契機：電池残量
バッテリ１３１の電池残量が所定残量以下となったことを、検出部２００が検出する選択契機とする。電池残量が所定残量以下となった場合、電力消費をできる限り抑制する必要がある。したがって、電池残量が所定残量以下となったことを選択契機とする。これにより、第２デモザイク処理部２０４が選択されるため、デモザイク処理が低品質化し、消費電力が抑制される。なお、バッテリ１３１への充電やバッテリ１３１の交換により電池残量が所定残量よりも多くなったことを検出部２００が検出した場合、第１デモザイク処理部２０３が選択され、高品質なデモザイク処理が実行される。(7) Selection Trigger: Remaining Battery Level Thedetection unit 200 detects that the remaining battery level of thebattery 131 has become equal to or less than a predetermined remaining battery level as a selection trigger. When the remaining battery level becomes equal to or less than a predetermined level, it is necessary to suppress power consumption as much as possible. Therefore, the selection is triggered when the remaining battery level becomes equal to or less than the predetermined remaining battery level. Since the seconddemosaic processing unit 204 is thereby selected, the quality of the demosaic processing is lowered and power consumption is suppressed. Note that when thedetection unit 200 detects that the remaining battery level has become greater than a predetermined remaining amount due to charging of thebattery 131 or replacement of thebattery 131, the firstdemosaic processing unit 203 is selected, and high-quality demosaic processing is performed. is executed.
（８）選択契機：画像データの飽和
画像データに飽和状態となった領域が存在すること、たとえば、隣接しあう所定数以上の画素集合が飽和状態となったことを、検出部２００が検出する選択契機とする。たとえば、画像データ内のある領域において特定の色の彩度が高くなりすぎて階調差が所定値以内となる場合、飽和状態となる。飽和状態において高品質なデモザイク処理をするのは無駄である。(8) Selection Trigger: Image Data Saturation Thedetection unit 200 detects that there is a saturated area in the image data, for example, that a set of adjacent pixels of a predetermined number or more is saturated. Make a choice. For example, if the saturation of a specific color becomes too high in a certain area within the image data, and the gradation difference is within a predetermined value, the saturation state occurs. High quality demosaicing in saturation is wasteful.
したがって、画像データに飽和状態となった領域が存在することを選択契機とすることにより、第２デモザイク処理部２０４が選択されるため、デモザイク処理が低品質化し、消費電力が抑制される。なお、画像データに飽和状態となった領域が存在しなくなったことを検出部２００が検出した場合、第１デモザイク処理部２０３が選択され、高品質なデモザイク処理が実行される。 Therefore, the seconddemosaic processing unit 204 is selected by using the existence of a saturated region in the image data as a selection trigger, so that the quality of the demosaic processing is lowered and power consumption is suppressed. Note that when thedetection unit 200 detects that the image data no longer has a saturated region, the firstdemosaic processing unit 203 is selected, and high-quality demosaic processing is performed.
（９）選択契機：手振れ量
撮像装置１００の手振れ量が所定手振れ量以上であることを、検出部２００が検出する選択契機とする。手振れ量が所定手振れ量以上となった場合、手振れの影響により表示画像の品質が悪くなるため、所定手振れ量未満の場合に比べて画像の品質を低下させても問題ない。したがって、手振れ量が所定手振れ量以上となったことを選択契機とすることにより、第２デモザイク処理部２０４が選択されるため、デモザイク処理が低品質化し、消費電力が抑制される。なお、手振れ量が所定手振れ量未満になったことを検出部２００が検出した場合、第１デモザイク処理部２０３が選択され、高品質なデモザイク処理が実行される。(9) Selection Trigger: Camera Shake Amount The selection trigger detected by thedetection unit 200 is that the camera shake amount of theimaging device 100 is equal to or greater than a predetermined camera shake amount. When the amount of camera shake exceeds a predetermined amount of camera shake, the quality of the displayed image deteriorates due to the influence of the camera shake. Therefore, the seconddemosaic processing unit 204 is selected when the amount of camera shake exceeds a predetermined amount of camera shake, so that the quality of the demosaicing process is lowered and power consumption is reduced. Note that when thedetection unit 200 detects that the amount of camera shake is less than the predetermined amount of camera shake, the firstdemosaic processing unit 203 is selected and high-quality demosaic processing is performed.
（１０）選択契機：特定のオブジェクト
画像データに特定のオブジェクトが存在しないことを、検出部２００が検出する選択契機とする。ここで、特定のオブジェクトには、たとえば、人物の顔がある。人物の顔は、画像処理部１２８の顔認識処理により認識される。また、撮像装置１００にあらかじめ特定のオブジェクトのテンプレート（登録した特定の顔、建物、動物など）が用意されている場合、当該テンプレートに対応するオブジェクトである。特定のオブジェクトが存在しない場合、特定のオブジェクトを撮影しようとしていたユーザにとっては、無駄な画像データとなる。(10) Selection Trigger: Specific Object A selection trigger detected by thedetection unit 200 is that a specific object does not exist in the image data. Here, the specific object includes, for example, a person's face. A person's face is recognized by face recognition processing of theimage processing unit 128 . Further, when a template of a specific object (registered specific face, building, animal, etc.) is prepared in advance in theimaging device 100, the object corresponds to the template. If the specific object does not exist, the image data will be useless for the user trying to capture the specific object.
したがって、画像データに特定のオブジェクトが存在しないことを選択契機とすることにより、第２デモザイク処理部２０４が選択されるため、デモザイク処理が低品質化し、消費電力が抑制される。なお、画像データに特定のオブジェクトが存在することを検出部２００が検出した場合、第１デモザイク処理部２０３が選択され、高品質なデモザイク処理が実行される。 Therefore, the seconddemosaic processing unit 204 is selected by using the fact that a specific object does not exist in the image data as a selection trigger, so that the quality of the demosaic processing is lowered and power consumption is suppressed. Note that when thedetection unit 200 detects that a specific object exists in the image data, the firstdemosaic processing unit 203 is selected and high-quality demosaic processing is performed.
（１１）選択契機：レリーズボタン１２０
レリーズボタン１２０の操作期間外であることを、検出部２００が検出する選択契機とする。レリーズボタン１２０の操作期間とは、レリーズボタン１２０の半押し（オートフォーカスと露出計が作動）から全押し（シャッター１２１を切る）までの期間である。レリーズボタン１２０の操作期間外では、ライブビュー画像が表示デバイス１２６に表示されている状態であり、レリーズボタン１２０の操作によって取得される画像データよりもデモザイク処理が低品質でも問題はない。(11) Selection trigger:release button 120
A selection trigger detected by thedetection unit 200 is that therelease button 120 is not operated. The operation period of therelease button 120 is the period from half-pressing the release button 120 (autofocus and exposure meter are activated) to full-pressing (release the shutter 121). Outside the operation period of therelease button 120, the live view image is displayed on thedisplay device 126, and there is no problem even if the quality of the demosaic processing is lower than that of the image data obtained by operating therelease button 120.
したがって、レリーズボタン１２０の操作期間外であることを選択契機とすることにより、第２デモザイク処理部２０４が選択されるため、デモザイク処理が低品質化し、消費電力が抑制される。なお、レリーズボタン１２０の操作期間であることを検出部２００が検出した場合、第１デモザイク処理部２０３が選択され、高品質なデモザイク処理が実行される。 Therefore, the seconddemosaic processing unit 204 is selected by using the fact that therelease button 120 is not operated as a trigger for selection, so that the quality of the demosaic processing is lowered and power consumption is suppressed. Note that when thedetection unit 200 detects that therelease button 120 is being operated, the firstdemosaic processing unit 203 is selected, and high-quality demosaic processing is performed.
（１２）選択契機：レンズ駆動
被写体からの光を通過させるレンズの駆動を、検出部２００が検出する選択契機とする。ここでのレンズの駆動とは、具体的には、たとえば、フォーカシング用レンズ１１１ｃの駆動である。フォーカシング用レンズ１１１ｃの駆動中は、被写体に合焦していないため、デモザイク処理が低品質でも問題はない。(12) Selection Trigger: Lens Driving The selection trigger detected by thedetection unit 200 is the driving of the lens that allows the light from the subject to pass through. Driving the lens here specifically means driving the focusing lens 111c, for example. Since the subject is not in focus while the focusing lens 111c is being driven, there is no problem even if the quality of the demosaic processing is low.
したがって、被写体からの光を通過させるレンズの駆動を選択契機とすることにより、第２デモザイク処理部２０４が選択されるため、デモザイク処理が低品質化し、消費電力が抑制される。なお、被写体からの光を通過させるレンズの駆動停止を検出部２００が検出した場合、被写体に合焦したとして、第１デモザイク処理部２０３が選択され、高品質なデモザイク処理が実行される。 Therefore, the seconddemosaic processing unit 204 is selected by driving the lens that allows light from the subject to pass therethrough, thereby reducing the quality of the demosaic processing and reducing power consumption. Note that when thedetection unit 200 detects that the lens that transmits light from the subject has stopped driving, the firstdemosaic processing unit 203 is selected as the subject is focused, and high-quality demosaic processing is performed.
（１２）表示デバイス１２６での動画の表示動作中に、表示デバイス１２６の表示画面内の特定のオブジェクトが存在することを、検出部２００が検出する選択契機とする。表示画面内の特定のオブジェクトとは、たとえば、操作部１２３により入力可能なメニュー表示や、撮影のためのグリッド表示、水準器表示である。表示画面内の特定のオブジェクトは、ライブビュー画像の一部に、または、ライブビュー画像に重畳して表示されてもよい。表示画面内の特定のオブジェクトが存在する場合、ユーザは、ライブビュー画像よりも表示画面内の特定のオブジェクトに注目する傾向があるため、デモザイク処理が低品質でも問題はない。 (12) The presence of a specific object in the display screen of thedisplay device 126 during the display operation of the moving image on thedisplay device 126 is used as a selection trigger for thedetection unit 200 to detect. The specific objects in the display screen are, for example, a menu display that can be input using theoperation unit 123, a grid display for photographing, and a spirit level display. A specific object within the display screen may be displayed as part of the live-view image or superimposed on the live-view image. If there is a specific object in the display screen, the user tends to pay attention to the specific object in the display screen rather than the live view image, so there is no problem even if the demosaicing process is of low quality.
したがって、表示デバイス１２６の表示画面内の特定のオブジェクトが存在することを選択契機とすることにより、第２デモザイク処理部２０４が選択されるため、デモザイク処理が低品質化し、消費電力が抑制される。なお、表示デバイス１２６の表示画面内の特定のオブジェクトが存在しないことを検出部２００が検出した場合、第１デモザイク処理部２０３が選択され、高品質なデモザイク処理が実行される。 Therefore, the presence of a specific object in the display screen of thedisplay device 126 is used as a selection trigger to select the seconddemosaic processing unit 204, so that the quality of the demosaic processing is lowered and power consumption is suppressed. . Note that when thedetection unit 200 detects that a specific object does not exist in the display screen of thedisplay device 126, the firstdemosaic processing unit 203 is selected and high-quality demosaic processing is performed.
（１３）表示デバイス１２６の表示画面内での部分拡大表示
表示デバイス１２６での動画の表示動作中に、表示デバイス１２６の表示画面内の部分拡大表示領域が存在しないことを、検出部２００が検出する選択契機とする。部分拡大表示領域とは、表示画面の全体である表示領域のうち、操作部１２３の操作により部分的に拡大表示された領域である。たとえば、ユーザが表示領域内のある領域についてフォーカス調整をしたい場合に、当該領域を部分拡大表示する。部分拡大表示領域は、連続するフレームにおいて同一領域とする。(13) Partially Enlarged Display within the Display Screen of theDisplay Device 126 While thedisplay device 126 is displaying a moving image, thedetection unit 200 detects that there is no partially enlarged display area within the display screen of thedisplay device 126. It is used as an opportunity for selection. The partial enlarged display area is an area that is partially enlarged and displayed by operating theoperation unit 123 in the display area that is the entire display screen. For example, when the user wants to focus on a certain area within the display area, the area is displayed in a partially enlarged manner. The enlarged partial display area is the same area in consecutive frames.
この場合、撮像装置１００は、現フレームの時間的に先行する先行フレームにおける部分拡大表示領域を保持しておき、現フレームにおいて当該部分拡大表示領域でのデモザイク処理を高品質とし、部分拡大表示領域外の領域のデモザイク処理を低品質とする。より具体的には、画像データをラインごとにデモザイク処理する場合、あるラインにおいて部分拡大表示領域の区間では、第１デモザイク処理が選択され、部分拡大表示領域外の区間では、第２デモザイク処理が選択される。 In this case, theimaging apparatus 100 holds the enlarged partial display area in the preceding frame temporally preceding the current frame, sets the demosaic processing in the enlarged partial display area in the current frame to high quality, and performs the demosaicing process on the enlarged partial display area. Demosaicize the outer region to low quality. More specifically, when the image data is demosaiced line by line, the first demosaicing process is selected in a section of the partial enlarged display area in a certain line, and the second demosaicing process is selected in a section outside the partial enlarged display area. selected.
図５は、部分拡大表示領域を含む１フレーム分の画像データでのデモザイク処理の選択例を示す説明図である。表示領域となるフレーム５００は、先行フレームで規定された部分拡大表示領域５０１を有する。ここで、デモザイク処理は、ラインごとに走査方向の画素順に実行されるものとする。あるラインＬの区間Ａ、Ｃの画素列は、非部分拡大表示領域（等倍の表示領域）５０２に含まれ、ラインＬの区間Ｂの画素列は、部分拡大表示領域５０１に含まれる。区間Ａは非部分拡大表示領域５０２であるため、検出部２００は、区間Ａの先頭画素ｅ１を第２デモザイク処理部２０４を選択する選択契機として検出し、選択部２０２は、区間Ａにおいて先頭画素ｅ１から第２デモザイク処理部２０４でデモザイク処理を実行する。 FIG. 5 is an explanatory diagram showing a selection example of demosaic processing for one frame of image data including a partially enlarged display area. Aframe 500 serving as a display area has a partiallyenlarged display area 501 defined in the preceding frame. Here, it is assumed that the demosaicing process is executed in pixel order in the scanning direction for each line. Pixel columns of sections A and C of a certain line L are included in a non-partially enlarged display area (same-size display area) 502 , and pixel columns of section B of a line L are included in a partiallyenlarged display area 501 . Since the section A is the non-partiallyenlarged display area 502, thedetection unit 200 detects the leading pixel e1 of the section A as a selection trigger for selecting the seconddemosaicing processing unit 204, and the selectingunit 202 selects the leading pixel e1 in the section A. The seconddemosaic processing unit 204 executes the demosaic processing from e1.
つぎに、区間Ａの末尾画素ｅ２のデモザイク処理が終了すると、検出部２００は、区間Ｂの先頭画素ｅ３を第１デモザイク処理部２０３を選択する選択契機として検出し、選択部２０２は、区間Ｂにおいて先頭画素ｅ３から第１デモザイク処理部２０３でデモザイク処理を実行する。 Next, when the demosaic processing of the last pixel e2 of the section A is completed, thedetection unit 200 detects the top pixel e3 of the section B as a selection trigger for selecting the firstdemosaic processing unit 203, and theselection unit 202 selects the section B , demosaic processing is performed by the firstdemosaic processing unit 203 from the top pixel e3.
つぎに、区間Ｂの末尾画素ｅ４のデモザイク処理が終了すると、検出部２００は、区間Ｃの先頭画素ｅ５を第１デモザイク処理部２０３を選択する選択契機として検出し、選択部２０２は、区間Ｃにおいて先頭画素ｅ５から第２デモザイク処理部２０４でデモザイク処理を実行する。 Next, when the demosaic processing of the last pixel e4 of the section B is completed, thedetection unit 200 detects the top pixel e5 of the section C as a selection trigger for selecting the firstdemosaic processing unit 203, and theselection unit 202 selects the section C , the seconddemosaic processing unit 204 performs the demosaic processing from the leading pixel e5.
ユーザは、部分拡大表示領域５０１に注目するため、非部分拡大表示領域５０２を低品質としても問題ない。これにより、非部分拡大表示領域５０２では第２デモザイク処理部２０４が選択されるため、デモザイク処理が低品質化し、消費電力が抑制され、部分拡大表示領域５０１では、非部分拡大表示領域５０２よりもデモザイク処理が高品質となる。なお、デモザイク処理により、部分拡大表示領域５０１よりも１回り（所定画素分）小さい領域の現像結果が拡大表示されてもよい。 Since the user focuses on the partialenlargement display area 501, there is no problem even if the non-partialenlargement display area 502 is of low quality. As a result, since the seconddemosaic processing unit 204 is selected in the non-partiallyenlarged display area 502, the quality of the demosaicing process is lowered and power consumption is suppressed. Demosaicing is of high quality. It should be noted that the demosaic processing may be used to enlarge and display the development result of an area that is one size (predetermined pixels) smaller than the enlargedpartial display area 501 .
（１４）選択契機：レンズの収差補正量
被写体からの光を通過させるレンズ部１０１の収差補正量が所定収差補正量以上であることを、検出部２００が検出する選択契機とする。収差補正量が所定収差補正量以上となった場合、収差補正量にしたがって画像品質の劣化が大きくなる。このため、収差補正量が所定収差補正量以上となった場合、デモザイク処理をあえて低品質とすれば、収差補正に起因する画像品質の劣化が、ユーザにとって顕著にならない可能性がある。(14) Selection Trigger: Lens Aberration Correction Amount A selection trigger for thedetection unit 200 to detect that the aberration correction amount of thelens unit 101 through which the light from the subject passes is equal to or greater than a predetermined aberration correction amount. When the amount of aberration correction exceeds the predetermined amount of aberration correction, the deterioration of image quality increases according to the amount of aberration correction. For this reason, when the aberration correction amount is equal to or greater than the predetermined aberration correction amount, if the quality of demosaic processing is intentionally set to be low, there is a possibility that image quality deterioration due to aberration correction will not become noticeable to the user.
したがって、収差補正量が所定収差補正量以上となったことを選択契機とすることにより、第２デモザイク処理部２０４が選択されるため、デモザイク処理が低品質化し、消費電力が抑制される。なお、収差補正量が所定収差補正量未満になったことを検出部２００が検出した場合、第１デモザイク処理部２０３が選択され、高品質なデモザイク処理が実行される。 Therefore, the seconddemosaic processing unit 204 is selected when the aberration correction amount becomes equal to or greater than the predetermined aberration correction amount, so that the quality of the demosaic processing is lowered and power consumption is suppressed. Note that when thedetection unit 200 detects that the amount of aberration correction has become less than the predetermined amount of aberration correction, the firstdemosaic processing unit 203 is selected, and high-quality demosaic processing is performed.
（１５）選択契機：セルフタイマ動作中
一定時間の経過により前記被写体を撮像して画像データを取得するセルフタイマの動作中を、検出部２００が検出する選択契機とする。セルフタイマの動作中は、ライブビュー画像が表示されている場合があるが、ライブビュー画像を観察する者が少ないため、デモザイク処理が低品質でも問題はない。(15) Selection trigger: during operation of the self-timer The selection trigger detected by thedetection unit 200 is the operation of the self-timer that acquires image data by capturing an image of the subject after a certain period of time has elapsed. Although the live view image may be displayed while the self-timer is operating, there is no problem even if the quality of the demosaicing process is low because few people observe the live view image.
したがって、セルフタイマの動作中を選択契機とすることにより、第２デモザイク処理部２０４が選択されるため、デモザイク処理が低品質化し、消費電力が抑制される。なお、セルフタイマの動作終了時を検出部２００が検出した場合、撮影（画像データの取得）されるため、第１デモザイク処理部２０３が選択され、高品質なデモザイク処理が実行される。 Therefore, by using the operation of the self-timer as a selection trigger, the seconddemosaic processing unit 204 is selected, so that the quality of the demosaic processing is lowered and power consumption is suppressed. When thedetection unit 200 detects that the self-timer has finished operating, the firstdemosaic processing unit 203 is selected and high-quality demosaic processing is performed because an image is captured (image data is acquired).
なお、消費電力を低下させる選択契機と消費電力を上昇させる選択契機とが競合した場合、消費電力を低下させる選択契機を優先して、第２デモザイク処理部２０４を選択するようにしてもよい。この場合、消費電力を上昇させる選択契機と競合した場合に優先させる、消費電力を低下させる選択契機（たとえば、上記（７）の電池残量）をあらかじめ決定部２３２に設定しておき、消費電力を低下させる選択契機により第２デモザイク処理部２０４がデモザイク処理を実行中に、検出部２００が消費電力を上昇させる選択契機を検出しても、選択部２０２は、消費電力を上昇させる選択契機を選択しない。これにより、低消費電力を優先してデモザイク処理を実行することができる。 If a selection trigger for reducing power consumption and a selection trigger for increasing power consumption conflict, the seconddemosaic processing unit 204 may be selected with priority given to the selection trigger for reducing power consumption. In this case, the selection trigger for lowering the power consumption (for example, the remaining battery level in (7) above) to be prioritized in the event of conflict with the selection trigger for increasing the power consumption is set in advance in thedetermination unit 232, and the power consumption Even if thedetection unit 200 detects a selection trigger to increase power consumption while the seconddemosaic processing unit 204 is performing demosaic processing with a selection trigger to decrease Do not choose. Thereby, low power consumption can be prioritized and demosaic processing can be performed.
＜デモザイク処理の選択制御処理手順例＞
図６は、撮像装置１００によるデモザイク処理の選択制御処理手順例１を示すフローチャートである。図６は、１フレームのデモザイク処理中にデモザイク処理部を切り替える選択制御処理を示す。なお、ここでは、例として、初期状態において切替部２３１が接続される出力先は、第１デモザイク処理部２０３とする。また、図６では、動作制御部２０６として信号制御部２６２のクロック供給制御を適用する場合について説明するが、抑止制御信号や電力制御部２６１による電力供給制御を適用する場合も同様である。<Example of selection control processing procedure for demosaic processing>
FIG. 6 is a flowchart showing a demosaicing process selection control process procedure example 1 by theimaging device 100 . FIG. 6 shows selection control processing for switching demosaicing units during demosaicing processing of one frame. Here, as an example, the output destination to which theswitching unit 231 is connected in the initial state is thefirst demosaicing unit 203 . In addition, FIG. 6 describes a case where the clock supply control of thesignal control unit 262 is applied as theoperation control unit 206, but the same applies to the case of applying the suppression control signal or the power supply control by thepower control unit 261. FIG.
まず、画像処理部１２８は、１フレーム分のＲＡＷデータを撮像素子１２７から入力する（ステップＳ６０１）。画像処理部１２８は、入力されたＲＡＷデータについて画像前処理部２０１により画像前処理を実行し、画像前処理された画像データを所定数のライン（たとえば、１ライン）ずつ切替部２３１に出力する（ステップＳ６０２）。 First, theimage processing unit 128 inputs RAW data for one frame from the imaging element 127 (step S601). Theimage processing unit 128 performs image preprocessing on the input RAW data by theimage preprocessing unit 201, and outputs the image data subjected to the image preprocessing to theswitching unit 231 by a predetermined number of lines (for example, one line). (Step S602).
つぎに、システム制御部１２９は、検出部２００により、上述した（１）～（１５）の消費電力を低下させる選択契機を検出したか否かを判断する（ステップＳ６０３）。検出していない場合（ステップＳ６０３：Ｎｏ）、ステップＳ６０９に移行する。一方、検出した場合（ステップＳ６０３：Ｙｅｓ）、画像処理部１２８は、選択部２０２内の決定部２３２により、特定のデモザイク処理部を、画像前処理部２０１からの画像データの出力先に決定する（ステップＳ６０４）。 Next, thesystem control unit 129 determines whether or not thedetection unit 200 has detected any of the above-described selection triggers (1) to (15) for reducing the power consumption (step S603). If not detected (step S603: No), the process proceeds to step S609. On the other hand, if detected (step S603: Yes), theimage processing unit 128 causes thedetermination unit 232 in theselection unit 202 to determine a specific demosaicing unit as the output destination of the image data from theimage preprocessing unit 201. (Step S604).
そして、画像処理部１２８は、選択部２０２により、切替部２３１の切り替えが必要であるか否かを判断する（ステップＳ６０５）。すなわち、選択部２０２は、現在動作状態のデモザイク処理部と、今回決定された特定のデモザイク処理部とが異なるか否かを判断する。異なる場合は、切り替えが必要であり、同一である場合は、切り替えが不要である。 Then, theimage processing unit 128 uses theselection unit 202 to determine whether or not theswitching unit 231 needs to be switched (step S605). That is, theselection unit 202 determines whether or not the currently operating demosaic processing unit is different from the specific demosaic processing unit determined this time. If different, switching is required; if identical, switching is not required.
切替が不要である場合（ステップＳ６０５：Ｎｏ）、ステップＳ６０９に移行する。一方、切替が必要である場合（ステップＳ６０５：Ｙｅｓ）、選択部２０２は、切替部２３１の出力先が、特定のデモザイク処理部（たとえば、第２デモザイク処理部２０４）となるように切替部２３１を切り替える（ステップＳ６０６）。 If switching is unnecessary (step S605: No), the process proceeds to step S609. On the other hand, if switching is necessary (step S605: Yes), theselection unit 202 selects theswitching unit 231 so that the output destination of theswitching unit 231 becomes a specific demosaic processing unit (for example, the second demosaic processing unit 204). (step S606).
そして、画像処理部１２８は、動作制御部２０６内の信号制御部２６２により、特定のデモザイク処理部へのクロック信号の供給を開始し（ステップＳ６０７）、特定のデモザイク処理部以外の他のデモザイク処理部（たとえば、第１デモザイク処理部２０３）へのクロック信号の供給を停止し（ステップＳ６０８）、特定のデモザイク処理部によりデモザイク処理を実行する（ステップＳ６０９）。これにより、他のデモザイク処理部がデモザイク処理を実行する場合に比べて、消費電力の低下を図ることができる。 Then, theimage processing unit 128 causes thesignal control unit 262 in theoperation control unit 206 to start supplying a clock signal to a specific demosaic processing unit (step S607), and performs demosaic processing other than the specific demosaic processing unit. (for example, the first demosaicing unit 203) is stopped (step S608), and demosaic processing is performed by a specific demosaicing unit (step S609). Thereby, compared with the case where another demosaic processing part performs a demosaicing process, the fall of power consumption can be aimed at.
このあと、画像処理部１２８は、画像後処理部２０７により画像後処理を実行し（ステップＳ６１０）、画像後処理後の画像データにより、表示デバイス１２６に表示画像を出力する（ステップＳ６１１）。動画の記録中である場合は、画像処理部１２８は、画像後処理後の画像データを記録媒体１３０に記録する（ステップＳ６１１）。これにより、１フレーム分の処理が終了する（ステップＳ６１２）。 Thereafter, theimage processing unit 128 executes image post-processing by the image post-processing unit 207 (step S610), and outputs a display image to thedisplay device 126 based on the image data after the image post-processing (step S611). When moving images are being recorded, theimage processing unit 128 records image data after image post-processing on the recording medium 130 (step S611). This completes the processing for one frame (step S612).
このように、選択制御処理手順例１によれば、動画記録中またはライブビュー画像の表示中における選択契機に応じて低消費電力である特定のデモザイク処理部を動作状態とし、より消費電力が高い他のデモザイク処理部を非動作状態とするため、動画の記録動作中または画像の表示動作中における消費電力の低減化を図ることができる。 As described above, according to the selection control processing procedure example 1, a specific demosaic processing unit with low power consumption is brought into the operating state according to a selection trigger during recording of a moving image or display of a live view image, resulting in higher power consumption. Since the other demosaic processing units are in the non-operating state, it is possible to reduce power consumption during the moving image recording operation or the image display operation.
図７は、撮像装置１００によるデモザイク処理の選択制御処理手順例２を示すフローチャートである。図７は、１フレームのデモザイク処理中に、次に撮像素子１２７から得られるフレームに対するデモザイク処理部を切り替える選択制御処理を示す。これにより、フレーム単位でデモザイク処理の品質を切り替えることができるため、１フレーム中において、高品質なデモザイク処理の処理結果と低品質なデモザイク処理の処理結果との混在を抑制することができる。 FIG. 7 is a flow chart showing an example 2 of a selection control processing procedure for demosaic processing by theimaging device 100 . FIG. 7 shows selection control processing for switching the demosaic processing unit for the next frame obtained from theimaging device 127 during the demosaic processing of one frame. As a result, the quality of the demosaicing process can be switched on a frame-by-frame basis, so that it is possible to suppress the mixture of high-quality demosaicing results and low-quality demosaicing results in one frame.
なお、図６と同様、例として、初期状態において切替部２３１が接続される出力先は、第１デモザイク処理部２０３とする。また、図６と同様、動作制御部２０６として信号制御部２６２のクロック供給制御を適用する場合について説明するが、抑止制御信号や電力制御部２６１による電力供給制御を適用する場合も同様である。なお、図６で用いた処理と同一処理については同一ステップ番号を付し、その説明を省略する。 As in FIG. 6, for example, the output destination to which theswitching unit 231 is connected in the initial state is the firstdemosaic processing unit 203 . Also, as in FIG. 6, the case where the clock supply control of thesignal control unit 262 is applied as theoperation control unit 206 will be described, but the same applies to the case where the inhibition control signal and the power supply control by thepower control unit 261 are applied. The same step numbers are assigned to the same processes as those used in FIG. 6, and the description thereof is omitted.
ステップＳ６０５において、切替必要と判断された場合（ステップＳ６０５：Ｙｅｓ）、画像処理部１２８は、切替予約フラグＦをＦ＝１に設定する（ステップＳ７０１）。切替予約フラグＦとは、次のフレームに対して切替部２３１の切り替えを予約するためのフラグである。Ｆ＝１が予約有りを示し、Ｆ＝０が予約なしを示す。 In step S605, when it is determined that switching is necessary (step S605: Yes), theimage processing unit 128 sets the switching reservation flag F to F=1 (step S701). The switching reservation flag F is a flag for reserving switching of theswitching unit 231 for the next frame. F=1 indicates that there is a reservation, and F=0 indicates that there is no reservation.
切替予約フラグＦをＦ＝１に設定後（ステップＳ７０１）、画像処理部１２８は、ステップＳ６０９～Ｓ６１１を実行し、その後、すなわち、１フレーム分の出力または記録の終了後に切替予約フラグＦを参照し、切替予約フラグＦがＦ＝１であるか否かを判断する（ステップＳ７０２）。切替予約フラグＦがＦ＝１でない場合（ステップＳ７０２：Ｎｏ）、ステップＳ６１３に移行する。一方、切替予約フラグＦがＦ＝１である場合（ステップＳ７０２：Ｙｅｓ）、画像処理部１２８は、次のフレームのために、動作制御部２０６内の信号制御部２６２により、特定のデモザイク処理部へのクロック信号の供給を開始する（ステップＳ６０７）。 After setting the switching reservation flag F to F=1 (step S701), theimage processing unit 128 executes steps S609 to S611, and then refers to the switching reservation flag F after outputting or recording one frame. Then, it is determined whether or not the switching reservation flag F is F=1 (step S702). If the switching reservation flag F is not F=1 (step S702: No), the process proceeds to step S613. On the other hand, if the switching reservation flag F is F=1 (step S702: Yes), theimage processing unit 128 causes thesignal control unit 262 in theoperation control unit 206 to cause the specific demosaic processing unit start supplying a clock signal to the (step S607).
また、画像処理部１２８は、選択部２０２により、切替部２３１の出力先が、特定のデモザイク処理部（たとえば、第２デモザイク処理部２０４）となるように切替部２３１を切り替え、切替予約フラグＦをリセット（Ｆ＝０）する（ステップＳ７０３）。そして、画像処理部１２８は、特定のデモザイク処理部以外の他のデモザイク処理部が次のフレームでは動作しないため、特定のデモザイク処理部以外の他のデモザイク処理部（たとえば、第１デモザイク処理部２０３）へのクロック信号の供給を停止する（ステップＳ６０８）。そして、１フレーム分の処理が終了する（ステップＳ６１２）。これにより、他のデモザイク処理部がデモザイク処理を実行する場合に比べて、動画の記録動作中または画像の表示動作中における消費電力の低下を図ることができる。 Further, theimage processing unit 128 causes theselection unit 202 to switch theswitching unit 231 so that the output destination of theswitching unit 231 becomes a specific demosaic processing unit (for example, the second demosaic processing unit 204). is reset (F=0) (step S703). Then, since the other demosaic processing units other than the specific demosaicing processing unit do not operate in the next frame, theimage processing unit 128 performs other demosaicing processing units other than the specific demosaicing processing unit (for example, the first demosaicing processing unit 203 ) is stopped (step S608). Then, the processing for one frame ends (step S612). As a result, power consumption can be reduced during the moving image recording operation or the image display operation, compared to the case where another demosaic processing unit executes the demosaic processing.
このように、フレームの入力中に次のフレームでのデモザイク処理部の切替の有無をあらかじめ判断しておき、当該フレームの画像処理の終了後、次のフレームの画像処理前の間に、デモザイク処理の選択制御（ステップＳ６０７、Ｓ７０３、Ｓ６０８）を実行する。したがって、フレーム単位でデモザイク処理の品質を切り替えることができ、１フレーム中において、高品質なデモザイク処理の処理結果と低品質なデモザイク処理の処理結果との混在を抑制することができる。これにより、たとえば、高品質な画像に低品質な処理結果が含まれないことになる。したがって、動画の記録動作中または画像の表示動作中における消費電力の低減化と高品質画像の維持とを両立することができる。 In this way, it is determined in advance whether or not the demosaic processing unit is to be switched in the next frame during input of the frame, and demosaic processing is performed after the end of the image processing of the frame and before the image processing of the next frame. selection control (steps S607, S703, S608). Therefore, the quality of the demosaicing process can be switched on a frame-by-frame basis, and it is possible to suppress the mixture of high-quality demosaicing results and low-quality demosaicing results in one frame. This ensures that, for example, a high quality image does not contain low quality processing results. Therefore, it is possible to achieve both reduction in power consumption and maintenance of high-quality images during a moving image recording operation or an image display operation.
なお、上述した撮像装置１００は、デジタルカメラ（レンズ交換式一眼レフカメラ、レンズ交換式ミラーレスカメラ、コンパクトデジタルカメラ、デジタルビデオカメラを含む）を例に挙げて説明したが、カメラを有するスマートフォン、タブレット、ドローン、車両のドライブレコーダや、監視カメラにも適用可能である。 Note that theimaging apparatus 100 described above has been described using a digital camera (including a lens-interchangeable single-lens reflex camera, a lens-interchangeable mirrorless camera, a compact digital camera, and a digital video camera) as an example. It can also be applied to tablets, drones, vehicle drive recorders, and surveillance cameras.
また、上述した撮像装置１００の処理の一部または全部をソフトウェアで実現する場合、ダウンロードサーバに記憶されたプログラムを撮像装置１００にダウンロードし、ダウンロードしたプログラムを撮像装置１００内のプロセッサが実行してもよい。 Further, when part or all of the processing of theimaging device 100 described above is realized by software, a program stored in the download server is downloaded to theimaging device 100, and the downloaded program is executed by the processor in theimaging device 100. good too.
