JP2024176038A - Signal processing device and signal processing method - Google Patents
Signal processing device and signal processing methodDownload PDFInfo
- Publication number
- JP2024176038A JP2024176038AJP2023094237AJP2023094237AJP2024176038AJP 2024176038 AJP2024176038 AJP 2024176038AJP 2023094237 AJP2023094237 AJP 2023094237AJP 2023094237 AJP2023094237 AJP 2023094237AJP 2024176038 AJP2024176038 AJP 2024176038A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- demosaic
- processing
- signal processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/617—Upgrading or updating of programs or applications for camera control
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
Translated fromJapanese本技術は、ＡＩモデルを用いた画像解析処理を行う信号処理装置とその方法とに関するものである。This technology relates to a signal processing device and method for performing image analysis processing using an AI model.
例えば、ＣＮＮ（Convolutional Neural Network）等のニューラルネットワークを有するＡＩ（Artificial Intelligence：人工知能）モデルを用いて、撮像画像を対象とした物体検出処理や物体認識処理等の画像解析処理を行う技術が普及している。
かかる画像解析処理では、ＡＩモデルの入力データとして、Ｒ（赤色）、Ｇ（緑色）、Ｂ（青色）の３ｃｈの画像を用いることが一般的とされる（例えば、下記特許文献１を参照）。 For example, technology is becoming widespread that performs image analysis processing such as object detection processing and object recognition processing on captured images using an AI (Artificial Intelligence) model having a neural network such as a CNN (Convolutional Neural Network).
In such image analysis processing, it is common to use images with three channels, R (red), G (green), and B (blue), as input data for the AI model (see, for example,
ここで、人が画像を鑑賞する用途では、Ｒ、Ｇ、Ｂの３ｃｈの画像を用いることでフルカラー表現が可能となり望ましいが、ＡＩモデルの性能面で考えると、Ｒ、Ｇ、Ｂの３ｃｈの画像を入力データとして用いることが最善であるとは限らない。For purposes where images are viewed by humans, it is desirable to use 3ch images (R, G, B) to enable full-color representation, but when considering the performance of an AI model, it is not necessarily best to use 3ch images (R, G, B) as input data.
本技術は上記事情に鑑み為されたものであり、ＡＩモデルを用いた画像解析処理についての処理精度向上を図ることを目的とする。This technology was developed in light of the above circumstances, and aims to improve the processing accuracy of image analysis processing using AI models.
本技術に係る信号処理装置は、異なる波長帯の光を受光する複数の画素が所定パターンで二次元配列されて成る画素ユニットが二次元に複数配列されて構成された画素アレイ部により得られる撮像画像について、デモザイク処理されていない状態の前記撮像画像である非デモザイク画像を入力データとして、ＡＩモデルを用いた画像解析処理を行うＡＩ処理部を備えたものである。
デモザイク処理は空間的な補間処理を伴うものであるため、本来の画素値からの乖離が生じる傾向となり、ＡＩモデルによる画像解析処理の入力データとしてデモザイク後の画像を用いた場合には、上記の画素値の乖離に起因して処理精度が低下する場合がある。上記のように非デモザイク画像を画像解析処理の入力データとすることで、そのようなデモザイク処理に起因した処理精度低下の防止を図ることが可能となる。 The signal processing device according to the present technology includes an AI processing unit that performs image analysis processing using an AI model on an captured image obtained by a pixel array unit configured with a plurality of pixel units arranged two-dimensionally in a predetermined pattern, each pixel unit being made up of a plurality of pixels that receive light in different wavelength bands and that uses as input data a non-demosaic image, which is the captured image in a state that has not been demosaiced.
Since demosaic processing involves spatial interpolation processing, deviation from the original pixel values tends to occur, and when a demosaic image is used as input data for image analysis processing using an AI model, the processing accuracy may decrease due to the deviation of the pixel values. By using a non-demosaic image as input data for image analysis processing as described above, it is possible to prevent such a decrease in processing accuracy caused by demosaic processing.
以下、添付図面を参照し、本技術に係る信号処理装置の実施形態を次の順序で説明する。
＜１．第一実施形態＞
［1-1．カメラ装置の構成例］
［1-2．第一実施形態としての解析処理手法］
［1-3．処理手順］
＜２．第二実施形態＞
＜３．変形例＞
＜４．実施形態のまとめ＞
＜５．本技術＞
Hereinafter, with reference to the accompanying drawings, an embodiment of a signal processing device according to the present technology will be described in the following order.
1. First embodiment
[1-1. Example of camera device configuration]
[1-2. Analysis processing method as the first embodiment]
[1-3. Processing procedure]
<2. Second embodiment>
3. Modifications
4. Summary of the embodiment
<5. This Technology>
＜１．第一実施形態＞
［1-1．カメラ装置の構成例］
図１は、本技術に係る第一実施形態としての信号処理装置を備えたカメラ装置１０の概略構成例を示したブロック図である。
図示のようにカメラ装置１０は、センサ部１と共に、光学系１１、通信Ｉ／Ｆ（インタフェース）１２、カメラ制御部１３、センサ外メモリ部１４、及び通信部１５を備えている。1. First embodiment
[1-1. Example of camera device configuration]
FIG. 1 is a block diagram showing an example of a schematic configuration of a
As shown in the figure, the
カメラ装置１０において、第一実施形態としての信号処理装置は、センサ部１が該当する。
センサ部１は、例えばＣＣＤ（Charge Coupled Device）型イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサ等のイメージセンサとして構成される。
センサ部１は、撮像機能のみでなく、撮像画像についての画像解析処理として、ＡＩ（Artificial Intelligence：人工知能）モデルを用いた画像解析処理を行うことが可能に構成されている。
また、センサ部１は、受光素子を有する画素として、異なる波長帯の光を受光する複数の画素が形成されており、カラー画像としての撮像画像を得ることが可能に構成されている。 In the
The
The
The
カメラ装置１０において、光学系１１は、カバーレンズ、フォーカスレンズ等のレンズや絞り（アイリス）機構を備える。この光学系１１により、被写体からの光（入射光）が導かれ、センサ部１の受光面に集光される。In the
通信インタフェース（Ｉ／Ｆ）１２は、センサ部１とカメラ制御部１３との間でデータ通信を行うための通信インタフェースである。The communication interface (I/F) 12 is a communication interface for data communication between the
カメラ制御部１３は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ(Read Only Memory)、及びＲＡＭ( Random Access Memory)を有するマイクロコンピュータを備えて構成され、ＣＰＵがＲＯＭに記憶されているプログラム、又はＲＡＭにロードされたプログラムに従って各種の処理を実行することで、カメラ装置１０の全体制御を行う。
カメラ制御部１３は、通信インタフェース１２を介して、センサ部１からの各種のデータの受信、及びセンサ部１に対する各種データの送信を行うことができる。 The
The
カメラ制御部１３には、センサ外メモリ部１４が接続されている。センサ外メモリ部１４は、例えばＳＳＤ（Solid State Drive）やフラッシュメモリ装置等の不揮発性の記憶デバイスで構成され、カメラ制御部１３が各種制御に用いる情報の記憶に用いられる。また、センサ外メモリ部１４は、センサ部１による撮像画像データ等、センサ部１において得られた各種データの記憶に用いることもできる。
本実施形態のカメラ装置１０では、センサ外メモリ部１４には第一ＡＩモデル設定データＰ１、及び第二ＡＩモデル設定データＰ２が記憶されるが、これらについては後に改めて説明する。 The sensor
In the
また、カメラ制御部１３には、通信部１５が接続されている。
通信部１５は、外部装置との間で有線又は無線によるデータ通信を行うことが可能に構成されている。通信部１５としては、ネットワーク通信機能を有するように構成することもでき、その場合、カメラ制御部１３は、通信部１５を介して、例えばインターネット等の所定のネットワーク上における所定装置（例えば、サーバ装置）との間でデータのやりとりを行うことが可能とされる。 In addition, a
The
センサ部１は、図示のように画素アレイ部２、画像信号処理部３、前処理部４、ＡＩ処理部５、センサ内制御部６、センサ内メモリ部７、出力データ生成部８、及び通信インタフェース（Ｉ／Ｆ）９を有している。As shown in the figure, the
画素アレイ部２は、例えばフォトダイオード等の受光素子（光電変換素子）を有する画素が、水平方向及び垂直方向の二次元に複数配列されている。
具体的に、画素アレイ部２は、異なる波長帯の光を受光する複数の画素が所定パターンで二次元配列されて成る画素ユニットＰｕ（後述する図４Ａを参照）を有し、この画素ユニットＰｕが二次元に複数配列されて構成されている。 In the
Specifically, the
本実施形態において、画素ユニットＰｕは、Ｒ（赤色）光を受光するＲ画素、Ｇ（緑色）光を受光するＧ画素、及びＢ（青色）光を受光するＢ画素の三種の画素が所定の配列パターンにより配列されて成る。具体的に、本例における画素ユニットＰｕは、Ｒ画素、Ｇ画素、及びＢ画素がベイヤー（bayer）配列されて成る。In this embodiment, the pixel unit Pu is composed of three types of pixels, an R pixel that receives R (red) light, a G pixel that receives G (green) light, and a B pixel that receives B (blue) light, arranged in a predetermined arrangement pattern. Specifically, the pixel unit Pu in this example is composed of R pixels, G pixels, and B pixels arranged in a Bayer pattern.
画素アレイ部２には、各画素の値（受光値）を読み出す読み出し回路や、アナログ信号としての画素値をデジタルサンプリングするためのＡＤＣ（Analog to Digital Converter）等、デジタルデータとしての画像データを得るための構成も含まれる。The
画像信号処理部（ＩＳＰ：Imaging Signal Processor）３は、画素アレイ部２により得られた画像データ（撮像画像データ）を入力し、各種の画像信号処理を施す。
なお、画像信号処理部３の内部構成については後に改めて説明する。 An imaging signal processor (ISP) 3 receives image data (captured image data) obtained by the
The internal configuration of the image
前処理部４は、画像信号処理部３による画像信号処理後の画像データを入力し、ＡＩ処理部５による画像解析処理にとっての前処理としての画像信号処理を施す。具体的に、本例における前処理部４は、少なくとも画像のリサイズ処理を行うことが可能に構成されている。The
ＡＩ処理部５は、前処理部４より出力される画像データを入力データとして、ＡＩモデルを用いた画像解析処理を行う。
ＡＩ処理部５は、例えばＤＳＰ（Digital Signal Processor）により構成され、処理パラメータの切り替えによって、画像解析処理に用いるＡＩモデルの切り替えが可能とされている。
本例のＡＩ処理部５は、例えばＣＮＮ（Convolutional Neural Network）等のニューラルネットワークを有するＡＩモデルを用いた画像解析処理を行うことが可能に構成されている。 The
The
The
ここで、一例として、本例におけるカメラ装置１０は、スーパーマーケットやデパート等の商業施設に配置されて、顧客としての人を対象被写体とした画像解析処理を行うものとする。具体的には、人を対象被写体とした物体検出処理を行うものであるとする。
この場合において、ＡＩ処理部５におけるＡＩモデルとしては、人を対象被写体とした物体検出処理を行うように機械学習されたＡＩモデルを用いる。ここで、物体検出処理は、いわゆるバウンディングボックスとしての、対象被写体が存在する領域を特定する処理を含むものである。 Here, as an example, the
In this case, an AI model that has been machine-learned to perform object detection processing with a person as a target subject is used as the AI model in the
センサ内制御部６は、例えばＣＰＵ、ＲＯＭ、及びＲＡＭ等を有して構成されたマイクロコンピュータを備えて構成され、センサ部１の動作を統括的に制御する。
例えば、センサ内制御部６は、画素アレイ部２の動作制御を行う。具体的には、動作の開始／停止の制御等を行う。
また、センサ内制御部６は、画像信号処理部３、前処理部４、及びＡＩ処理部５の動作制御も行う。画像信号処理部３、前処理部４の動作制御については、センサ内制御部６は、各種処理の処理パラメータの制御を行うことが可能とされる。
また、ＡＩ処理部５の制御として、センサ内制御部６は、ＡＩモデルの切り替え制御を行うことが可能とされる。 The sensor
For example, the
The
In addition, as part of the control of the
センサ内制御部６には、センサ内メモリ部７が接続されている。センサ内メモリ部７は、例えばフラッシュメモリ装置等の不揮発性の記憶デバイスで構成され、センサ内制御部６が各種制御に用いる情報の記憶に用いられる。The sensor
出力データ生成部８は、ＡＩ処理部５による解析処理結果と、画像信号処理部３より出力される画像データとを入力し、センサ部１の外部に出力する出力データを生成する。出力データ生成部８は、センサ内制御部６の指示に基づき出力データを生成する。例えば、ＡＩ処理部５による解析処理結果と画像データの双方を出力データとするか、或いは、ＡＩ処理部５による解析処理結果のみを出力データとするかの切り替えをセンサ内制御部６の指示に基づき行うことが考えられる。The output data generation unit 8 inputs the analysis processing results by the
通信インタフェース９は、センサ部１内からセンサ部１外へのデータ出力、及びセンサ部１外からセンサ部１内へのデータ入力を可能とするための通信インタフェースであり、前述した通信インタフェース１２との間で、所定の通信データフォーマットに従ったデータ通信を行う。
この通信インタフェース９を介して、上述した出力データをセンサ部１の外部（本例ではカメラ制御部１３）に対して出力することができる。
また、センサ内制御部６は、通信インタフェース９を介して、カメラ制御部１３との間でデータ通信を行うことが可能とされている。 The
Through this
In addition, the internal
図２は、画像信号処理部３の内部構成例を説明するための図である。
なお、図２では、画像信号処理部３の内部構成例と共に、図１に示した前処理部４、ＡＩ処理部５、及びセンサ内制御部６を併せて示している。 FIG. 2 is a diagram for explaining an example of the internal configuration of the image
2 shows an example of the internal configuration of the image
画像信号処理部３には、図１に示した画素アレイ部２より、ＲＡＷデータとしての画像データが入力される。ここで言うＲＡＷデータとは、各画素の値をラスタ順で読み出して得られる画像データ、つまり本例ではベイヤー配列による画素配列を維持した状態の画像データを意味するものである。Image data as RAW data is input to the image
図示のように画像信号処理部３は、黒レベル補正部３１、ゲイン調整部３３、デモザイク処理部３４、色補正部３５、ガンマ補正部３６、及びデワープ処理部３７を有しており、画素アレイ部２より入力されるＲＡＷデータとしての画像データに対し、シェーディング補正処理、ゲイン調整処理、デモザイク処理、色補正処理、ガンマ補正処理、及びデワープ処理を順に施すことが可能とされている。As shown in the figure, the image
ここで、ゲイン調整部３３によるゲイン調整処理としては、画素の色を問わずに画像全体の輝度分布を調整するための全体ゲイン調整と、色ごとのゲイン調整処理であるＡＷＢ（Auto White Balance）処理とを含む。Here, the gain adjustment process performed by the
また、デモザイク処理部３４によるデモザイク処理は、ベイヤー配列状態の入力画像データからＲ、Ｇ、Ｂの色ごとに空間的な補間処理を行うことによって入力画像データと同画素数によるＲ画像、Ｇ画像、Ｂ画像としての各画像データを生成する処理である。In addition, the demosaic processing by the
色補正部３５においては、デモザイク処理後の画像データについてリニアマトリクス処理による色補正処理を行う。
また、デワープ処理部３７においては、デワープ処理として、少なくともレンズ歪み補正処理を行う。 The
Furthermore, the
ここで、本実施形態における画像信号処理部３は、画像編成部３８、及びセレクタ３９も備えているが、これらについては後に改めて説明する。
Here, the image
［1-2．第一実施形態としての解析処理手法］
前述もしたように、人が画像を鑑賞する用途では、Ｒ、Ｇ、Ｂの３ｃｈの画像を用いることはフルカラー表現が可能となり望ましいものとなるが、ＡＩモデルを用いた画像解析処理にとって、入力データとしてＲ、Ｇ、Ｂの３ｃｈの画像を用いることは、解析処理精度の面で必ずしも最善であるとは言えない。[1-2. Analysis processing method as the first embodiment]
As mentioned above, for applications in which people view images, using 3-channel images (R, G, and B) is desirable because it enables full-color expression; however, for image analysis processing using an AI model, using 3-channel images (R, G, and B) as input data is not necessarily optimal in terms of analysis processing accuracy.
この点に鑑み、本実施形態では、ＡＩ処理部５の入力データとして、デモザイク処理されていない状態の撮像画像である非デモザイク画像を用いるという手法を提案する。
デモザイク処理は空間的な補間処理を伴うものであるため、本来の画素値からの乖離が生じる傾向となり、ＡＩモデルによる画像解析処理の入力データとしてデモザイク後の画像を用いた場合には、上記の画素値の乖離に起因して、画像解析処理の精度が低下する場合がある。
これに対し、上記のように非デモザイク画像をＡＩ処理部５の入力データとすることで、そのようなデモザイク処理に起因した処理精度低下の防止を図ることが可能となり、ＡＩモデルを用いた画像解析処理についての処理精度向上を図ることができる。 In view of this, in this embodiment, a method is proposed in which a non-demosaic image, which is a captured image that has not been subjected to demosaic processing, is used as input data for the
Because demosaic processing involves spatial interpolation processing, there is a tendency for deviations from the original pixel values to occur, and when a demosaic image is used as input data for image analysis processing using an AI model, the accuracy of the image analysis processing may decrease due to the above-mentioned deviations in pixel values.
In contrast, by using the non-demosaic image as input data for the
また、本実施形態では、撮像対象シーンについてのシーン判定結果に基づき、ＡＩ処理部５の入力データが、デモザイク処理部３４によるデモザイク処理後の画像であるデモザイク後画像と非デモザイク画像との間で切り替えられるようにする。In addition, in this embodiment, the input data of the
ここで、本実施形態のようにセンサ装置内でＡＩモデルを用いた画像解析処理を行う場合は、画像解析処理に割くことのできるリソース（メモリ量や演算能力）が不足する傾向となる。
例えば、物体検出処理等、ＡＩモデルを用いた画像解析処理は、実用上、カメラで捉えられるシーンに或る程度の変化が生じても精度維持が図られるようにすることが要請される。例えば、昼夜等の明／暗シーンや、人等の解析対象の被写体が比較的遠くに存在しているシーンや近くに存在しているシーン等、カメラで捉えられるシーンは経時的に変化し得るものであるが、そのようなシーンの変化に対しても解析処理精度が一定以上に維持されることが望ましい。 Here, when performing image analysis processing using an AI model within a sensor device as in this embodiment, there is a tendency for resources (memory amount and computing power) that can be allocated to image analysis processing to become insufficient.
For example, in practical use, image analysis processing using an AI model, such as object detection processing, is required to maintain accuracy even if a certain degree of change occurs in the scene captured by the camera. For example, the scene captured by the camera may change over time, such as light/dark scenes such as day and night, or scenes in which a subject to be analyzed, such as a person, is relatively far away or nearby, but it is desirable to maintain the analysis processing accuracy at a certain level even against such scene changes.
シーン変化に対する精度維持を図るためには、ＡＩモデルの学習として、対応したい各シーンの撮像画像を学習用入力データに用いた機械学習を行って、シーンの差を吸収可能なＡＩモデルを作成することが考えられる。In order to maintain accuracy in the face of scene changes, one possible approach would be to train the AI model using machine learning techniques that use images of each scene to be handled as learning input data, thereby creating an AI model that can absorb differences in scenes.
しかしながら、このようにシーンの差を吸収可能とするためには、ＡＩモデルとして比較的多くのフィルタ係数、ネットワーク階層数を要するものとなり、ＡＩモデル実現に要するリソースが増大してしまう。
このため、シーンの変化をＡＩモデルにおいて吸収するという手法は、画像解析処理の実行主体が比較的リソースの豊富なコンピュータ装置、具体的には、カメラ装置１０外部のコンピュータ装置で行う場合には適用可能であるが、画像解析処理をリソースが限られるカメラ装置１０内で行う場合、特には、センサ装置（センサ部１）内で行う場合には適用が困難となる。 However, in order to absorb such scene differences, the AI model requires a relatively large number of filter coefficients and a relatively large number of network hierarchies, which increases the resources required to realize the AI model.
For this reason, the technique of absorbing scene changes in an AI model is applicable when the image analysis processing is performed by a computer device with relatively abundant resources, specifically, a computer device external to the
このため、本実施形態では、上記のようにシーン判定結果に基づいてＡＩ処理部５の入力データをデモザイク後画像と非デモザイク画像との間で切り替えるという手法を採る。For this reason, in this embodiment, a method is adopted in which the input data to the
図３は、ＡＩ処理部５の入力データの種類を変化させた場合の画像解析処理精度の変化特性について実験を行った結果を示している。
具体的に、図３の実験結果は、ＡＩモデルを用いた画像解析処理として人の体を対象被写体とした物体検出処理を行った場合の結果を示すものであり、暗シーンと明シーンの各シーンごとに、図２の＜１＞から＜６＞で示す各取り出し位置の画像データを入力データとして用いた場合の画像解析処理精度の評価値の測定結果を示している。
ここでの評価値は、人の体を対象被写体とした物体検出処理を複数回行った場合における、９０％以上の人を正確に検出できた割合を求めたものである。 FIG. 3 shows the results of an experiment conducted on the change characteristics of the image analysis processing accuracy when the type of input data to the
Specifically, the experimental results in Figure 3 show the results of object detection processing using a human body as a target subject as image analysis processing using an AI model, and show the measurement results of the evaluation value of the image analysis processing accuracy when image data from each extraction position shown in <1> to <6> in Figure 2 is used as input data for each dark scene and bright scene.
The evaluation value here is the percentage of people that are accurately detected at 90% or more when object detection processing is performed multiple times with a human body as the target subject.
ここで、暗シーンとは、対象被写体が暗く写るシーンを意味するものであり、例えば、対象被写体の輝度値が一定値以下となるシーンと定義することができるものである。明シーンは、逆に対象被写体が明るく写るシーンを意味するものであり、例えば、対象被写体の輝度値が上記の一定値を超えるシーンと定義することができる。Here, a dark scene refers to a scene in which the target subject appears dark, and can be defined, for example, as a scene in which the luminance value of the target subject is below a certain value. Conversely, a bright scene refers to a scene in which the target subject appears bright, and can be defined, for example, as a scene in which the luminance value of the target subject exceeds the above-mentioned certain value.
図２を参照して分かるように、＜１＞の取り出し位置は、画像信号処理部３への入力直前の位置であり、＜２＞の取り出し位置は、シェーディング補正部３２とゲイン調整部３３との間の位置である。また、＜３＞の取り出し位置は、ゲイン調整部３３とデモザイク処理部３４との間の位置である。
これら＜１＞から＜３＞の取り出し位置は、共にデモザイク前の位置となるが、実験では、これら＜１＞から＜３＞の取り出し位置の画像データとしては、ＡＩモデルとしてＣＮＮを有するＡＩモデルを用いることに対応して、以下で説明する色分離画像としての画像データを用いるものとしている。 2, the extraction position of <1> is a position immediately before input to the image
The extraction positions of these <1> to <3> are all positions before demosaicing, but in the experiment, as the image data for the extraction positions of these <1> to <3>, image data as color separated images described below are used in correspondence with the use of an AI model having CNN as the AI model.
図４は、実施形態における色分離画像の説明図である。
図４Ａは、画素アレイ部２における画素配列（本例ではベイヤー配列）を示している。図示のように本例では、画素ユニットＰｕは、Ｒ、Ｇ、Ｇ、Ｂの四つの画素がベイヤーフォーマットに従った所定の配列パターンで配列されて成る。 FIG. 4 is an explanatory diagram of a color separation image in the embodiment.
4A shows a pixel arrangement (Bayer arrangement in this example) in the
ここで言う色分離画像とは、各画素ユニットＰｕから、画素ユニット内位置が同じ画素ごとに画素値を収集して同一画像平面上のそれぞれ異なる領域に並べて形成される画像を意味する。
図４Ｂは、ベイヤー配列の場合に生成される色分離画像を例示している。図示のようにベイヤー配列の場合には、各画素ユニットＰｕにおけるＲ画素、Ｇ画素、Ｇ画素、Ｂ画素について、画素ユニット内位置が同じ画素の画素値同士を収集して同一画像平面上のそれぞれ異なる領域に並べることで、各画素ユニットＰｕにおけるＲ画素の画素値が配列された画像領域と、各画素ユニットＰｕにおける一方のＧ画素の画素値が配列された画像領域と、各画素ユニットＰｕにおける他方のＧ画素の画素値が配列された画像領域と、各画素ユニットＰｕにおけるＢ画素の画素値が配列された画像領域とを有する色分離画像を生成する。 The color separation image referred to here means an image formed by collecting pixel values for pixels at the same position within each pixel unit Pu and arranging them in different regions on the same image plane.
4B illustrates a color-separated image generated in the case of the Bayer array. As shown in the figure, in the case of the Bayer array, pixel values of R pixels, G pixels, G pixels, and B pixels in each pixel unit Pu that are located at the same position in the pixel unit are collected and arranged in different regions on the same image plane, thereby generating a color-separated image having an image region in which the pixel values of the R pixels in each pixel unit Pu are arranged, an image region in which the pixel values of one G pixel in each pixel unit Pu are arranged, an image region in which the pixel values of the other G pixel in each pixel unit Pu are arranged, and an image region in which the pixel values of the B pixels in each pixel unit Pu are arranged.
上記のような色分離画像をＡＩ処理部５の入力データとして用いることで、ＡＩ処理部に対する入力データの形式が、ＣＮＮの構成に適した入力データ形式となり、画像解析処理の精度向上を図ることができる。By using color separation images such as those described above as input data for the
説明を図３に戻す。
＜４＞から＜６＞の取り出し位置は、デモザイク後の取り出し位置であり、＜４＞はデモザイク処理部３４と色補正部３５との間の位置、＜５＞は色補正部３５とガンマ補正部３６との間の位置、＜６＞はガンマ補正部３６とデワープ処理部３７との間の位置である。 Returning to FIG.
The extraction positions <4> to <6> are the extraction positions after demosaic, with <4> being a position between the
図３の結果によると、明シーンにおいては、入力データを＜１＞から＜６＞の何れのデータ種類とした場合であっても評価値は９０％以上となっている。この点より、明シーンの場合には、物体検出処理の精度がデータ種類の違いに依存しない傾向となることが分かる。According to the results in Figure 3, in bright scenes, the evaluation value is 90% or more regardless of the data type of the input data, from <1> to <6>. This shows that in bright scenes, the accuracy of the object detection process tends not to depend on the difference in data type.
一方、暗シーンの場合には、＜４＞の取り出し位置以降において、評価値の顕著な低下が確認できる。すなわち、デモザイク後画像を入力データとした場合に、処理精度の顕著な低下が生じるものである。
実験によると、＜１＞から＜３＞のデモザイク前のデータ種類とした場合、評価値は６０％以上を維持しているのに対し、デモザイク後の＜４＞＜５＞のデータ種類では評価値が６０％を大きく下回るものとなっている。＜６＞のデータ種類、すなわちガンマ補正後のデモザイク後画像を用いる場合には、評価値の若干の上昇は確認できるが、６０％には満たないものとなっている。
暗シーンでは、＜２＞のデータ種類、すなわちシェーディング補正後且つゲイン調整前の画像を用いる場合が最も評価値が高く、評価値＝７５％程度となる結果が得られている。 On the other hand, in the case of a dark scene, a significant drop in the evaluation value can be confirmed after the extraction position of <4>. In other words, when the demosaiced image is used as input data, a significant drop in processing accuracy occurs.
According to experiments, when the pre-demosaic data types <1> to <3> are used, the evaluation value remains at 60% or more, whereas the evaluation value falls far below 60% for the post-demosaic data types <4> and <5>. When the data type <6>, i.e., the demosaic image after gamma correction, is used, a slight increase in the evaluation value can be confirmed, but it does not reach 60%.
In dark scenes, the data type <2>, that is, the image after shading correction and before gain adjustment, gives the highest evaluation value, with an evaluation value of about 75%.
上記の実験結果のように、デモザイク後画像を用いた場合に画像解析処理の精度低下が生じるのは、デモザイク処理としての空間的な補間処理を行うことに伴う本来画素値との乖離が暗シーンにおいて顕著化することに依るものと考えられる。As shown by the experimental results above, the accuracy of image analysis processing decreases when demosaiced images are used. This is thought to be due to the fact that the deviation from the original pixel values caused by the spatial interpolation process used in the demosaicing process becomes more noticeable in dark scenes.
また、リソースが限られた下では、ＡＩ処理部５への入力データ量が削減されるように、ＡＩ処理部５への入力データを前処理部４において所定サイズにリサイズ（例えば間引き）するようにされるが、この点に起因しても、デモザイク後画像を用いた場合の処理精度低下が生じると考えられる。In addition, when resources are limited, the input data to the
具体例として、例えば、ＡＩ処理部５の入力データ量を１２８０×９６０画素のデータ量に制限する前提において、図５に示すように非デモザイク画像を用いる場合は１２８０×９６０画素の解像度（情報密度）による画像を入力データとすることができるが、デモザイク後画像を用いる場合は、ＡＩ処理部５の入力データとなるＲ画像、Ｂ画像、Ｇ画像それぞれの解像度は７３９×５５４画素に縮小化されてしまう。
このように解像度が低下する点も、入力データにデモザイク後画像を用いた場合における処理精度低下の一因となると考えられる。 As a specific example, assuming that the amount of input data to the
Such a decrease in resolution is also thought to be one of the factors that leads to a decrease in processing accuracy when a demosaiced image is used as input data.
上記の点を踏まえ、本実施形態では、撮像対象シーンの判定として、暗シーンであるか否かの判定を行い、暗シーンと判定された場合にＡＩ処理部５の入力データとして非デモザイク画像を入力させるという手法を採る。
これにより、リソースの問題からシーンの差を吸収可能なＡＩモデルを用いることができない場合において、暗シーンにおける画像解析処理精度の低下抑制を図ることができ、シーンに依存した画像解析処理精度低下の抑制を図ることができる。 Taking the above points into consideration, in this embodiment, the scene to be imaged is determined by determining whether it is a dark scene or not, and if it is determined to be a dark scene, a non-demosaic image is input as input data for the
This makes it possible to suppress deterioration in image analysis processing accuracy in dark scenes when it is not possible to use an AI model that can absorb scene differences due to resource issues, thereby suppressing deterioration in image analysis processing accuracy that is scene-dependent.
本例において、暗シーンにおける入力データとしては、＜２＞と示したシェーディング補正後の非デモザイク画像を用いる。具体的には、シェーディング補正部３２とゲイン調整部３３との間で得られる非デモザイク画像についての色分離画像を暗シーンにおける入力データとする。In this example, the non-demosaic image after shading correction indicated by <2> is used as input data for a dark scene. Specifically, the color separation image of the non-demosaic image obtained between the
このために、本実施形態のカメラ装置１０においては、画像信号処理部３において、画像編成部３８を設けるものとしている。
図２に示すように画像編成部３８は、シェーディング補正部３２より出力されるシェーディング補正後の非デモザイク画像を入力し、先の図３で説明した手法により画素値の並べ替えを行うことで、シェーディング補正後の非デモザイク画像についての色分離画像を生成する。 For this reason, in the
As shown in Figure 2, an
また、本実施形態では、暗シーンか否かの判定の結果、暗シーンではないと判定された場合は、ＡＩ処理部５の入力データとしてデモザイク後画像が入力されるようにする。
具体的に本例において、暗シーンではないと判定された場合は、デワープ処理部３７より出力されるデモザイク後画像がＡＩ処理部５の入力データとして与えられるようにする。 In addition, in this embodiment, if the result of judging whether or not the scene is a dark scene indicates that the scene is not a dark scene, the demosaiced image is input as input data to the
Specifically, in this example, if it is determined that the scene is not a dark scene, the demosaiced image output from the
このような暗シーン／明シーンに応じた入力データ切り替えを可能とするべく、画像信号処理部３にはセレクタ３９が設けられる。
セレクタ３９は、画像編成部３８において色分離画像とされた非デモザイク画像と、デワープ処理部３７より出力されるデモザイク後画像とを入力し、センサ内制御部６により指示された方の画像を前処理部４に対して出力する。 In order to enable switching of input data according to such a dark scene/bright scene, the image
The
本例において、暗シーンか否かの判定は、センサ内制御部６がデモザイク後画像に基づいて行う。具体的に、本例におけるセンサ内制御部６は、デワープ処理部３７が出力するデモザイク後画像に基づいて暗シーンか否かの判定を行う。
そして、センサ内制御部６は、暗シーンか否かの判定を行った結果、暗シーンでないと判定した場合にはセレクタ３９にデモザイク後画像を出力させ（選択させ）、暗シーンであると判定した場合にはセレクタ３９に非デモザイク画像を出力させる（選択させる）。 In this example, the determination of whether or not the scene is a dark scene is performed by the
Then, the
また、本実施形態において、センサ内制御部６は、デモザイク後画像がＡＩ処理部５の入力データとされる場合にはＡＩモデルとしてデモザイク後画像を学習用入力データとして学習されたＡＩモデルが用いられ、非デモザイク画像がＡＩ処理部５の入力データとされる場合にはＡＩモデルとして非デモザイク画像を学習用入力データとして学習されたＡＩモデルが用いられるように制御する。In addition, in this embodiment, the
本例では、前者のＡＩモデル、すなわちデモザイク後画像を学習用入力データとして学習されたＡＩモデルを実現するためのＡＩ処理部５の設定データが、図１に示したセンサ外メモリ部１４において、第一ＡＩモデル設定データＰ１として記憶され、また、後者のＡＩモデル、すなわち非デモザイク画像を学習用入力データとして学習されたＡＩモデルを実現するためのＡＩ処理部５の設定データが、センサ外メモリ部１４において第二ＡＩモデル設定データＰ２として記憶されている。
ここで、第一ＡＩモデル設定データＰ１、第二ＡＩモデル設定データＰ２には、ＣＮＮにおける畳み込み処理等のフィルタ処理で用いるフィルタ係数としてのパラメータや、ニューラルネットワークの構造に係る各種パラメータを含むデータとされる。 In this example, the setting data of the
Here, the first AI model setting data P1 and the second AI model setting data P2 are data including parameters as filter coefficients used in filter processing such as convolution processing in CNN, and various parameters related to the structure of the neural network.
センサ内制御部６は、暗シーンではないと判定した場合には、通信インタフェース９を介してカメラ制御部１３に対する指示を行って、センサ外メモリ部１４から第一ＡＩモデル設定データＰ１を読み出させ、自身に対して転送させる。そして、転送された第一ＡＩモデル設定データＰ１に従ってＡＩ処理部５のパラメータ設定を行うことで、ＡＩ処理部５がデモザイク後画像を学習用入力データとして学習されたＡＩモデルによる画像解析処理を実行可能な状態とする。
また、センサ内制御部６は、暗シーンであると判定した場合には、通信インタフェース９を介してカメラ制御部１３に対する指示を行ってセンサ外メモリ部１４から第二ＡＩモデル設定データＰ２を読み出させ、自身に対して転送させると共に、転送された第二ＡＩモデル設定データＰ２に従ってＡＩ処理部５のパラメータ設定を行うことで、ＡＩ処理部５が非デモザイク画像を学習用入力データとして学習されたＡＩモデルによる画像解析処理を実行可能な状態とする。
When the
In addition, when the sensor
［1-3．処理手順］
図６のフローチャートを参照し、上記により説明した第一実施形態としての解析処理手法を実現するためにセンサ内制御部６が実行すべき具体的な処理手順例について説明する。
なお、図６に示す処理は、センサ内制御部６におけるＣＰＵが、センサ内制御部６のＲＯＭ等の所定の記憶装置に記憶されたプログラムに基づき実行する。ただし、以下では説明上、処理の実行主体はセンサ内制御部６であると表現する。
本例において、センサ内制御部６は、図６に示す処理を起動に応じて開始する。[1-3. Processing procedure]
With reference to the flowchart in FIG. 6, a specific example of a processing procedure to be executed by the internal
6 is executed by the CPU in the internal
In this example, the internal
先ず、センサ内制御部６はステップＳ１０１で、シーン判定実行条件が成立したか否かを判定する。すなわち、後述するステップＳ１０３のシーン判定処理（本例では暗シーンか否かの判定処理）を実行すべきとして予め定められた所定条件が成立したか否かを判定する。
ステップＳ１０３のシーン判定処理は、例えば、所定の時間間隔で周期的に行うことが考えられる。その場合、シーン判定条件としては、一定時間の経過を条件とすればよい。
なお、シーン判定実行条件は、外部からの指示が行われたことや、照度センサ等を用いた簡易的な明るさ検出の結果、明るさに所定量以上の変化があったこと等とすることも考えられ、特定の条件に限定されるものではない。 First, in step S101, the
The scene determination process in step S103 may be performed periodically at a predetermined time interval, for example. In this case, the scene determination condition may be the passage of a certain period of time.
In addition, the conditions for executing scene determination may include an external instruction being given, or a simple brightness detection using an illuminance sensor or the like resulting in a change in brightness of a predetermined amount or more, and are not limited to specific conditions.
ステップＳ１０１において、シーン判定実行条件が成立していないと判定した場合、センサ内制御部６はステップＳ１０２に進み、処理終了であるか否か、すなわち、例えば電源断等、図６に示す一連の処理を終了すべきとして予め定められた所定条件が成立したか否かを判定する。
ステップＳ１０２において、処理終了でないと判定した場合、センサ内制御部６はステップＳ１０１に戻る。
すなわち、ステップＳ１０１及びＳ１０２の処理によっては、シーン判定実行条件の成立、処理終了条件の成立の何れかを待機するループ処理が形成される。 If it is determined in step S101 that the scene determination execution conditions are not met, the
If it is determined in step S102 that the processing has not ended, the internal
That is, depending on the processing in steps S101 and S102, a loop process is formed in which the process waits for either the satisfaction of a scene determination execution condition or the satisfaction of a processing end condition.
ステップＳ１０１において、シーン判定実行条件が成立したと判定した場合、センサ内制御部６はステップＳ１０３に進み、シーン判定処理を実行する。すなわち、本例では、デワープ処理部３７より出力されるデモザイク後画像に基づいて暗シーンか否かの判定を行う。具体的には、対象被写体の領域の平均輝度値が所定輝度値以下であるか否かの判定を行う。このとき、対象被写体の領域は、例えば、ＡＩ処理部５による物体検出処理の結果として得られる対象被写体の領域情報に基づき特定することが考えられる。なお、ＡＩ処理部５による物体検出処理が開始されていない状態では、例えばフレーム間の差分検出処理等による動体検出処理によって検出された動体の領域を対象被写体の領域として特定すること等が考えられる。If it is determined in step S101 that the scene determination execution condition is met, the
ステップＳ１０３に続くステップＳ１０４でセンサ内制御部６は、暗シーンであるか否かの判定を行う。すなわち、ステップＳ１０３の判定処理の結果、暗シーンであるとの判定結果が得られたか否かを判定する。In step S104 following step S103, the
ステップＳ１０４において、暗シーンではないと判定した場合、センサ内制御部６はステップＳ１０５に進み、デモザイク後画像の選択指示を行う。すなわち、セレクタ３９に対し、デワープ処理部３７より入力されるデモザイク後画像を選択出力する指示を行う。If it is determined in step S104 that the scene is not a dark scene, the
そして、ステップＳ１０５に続くステップＳ１０６でセンサ内制御部６は、第一ＡＩモデルの設定処理を行う。すなわち、通信インタフェース９を介してカメラ制御部１３に対する指示を行ってセンサ外メモリ部１４から第一ＡＩモデル設定データＰ１を読み出させ、自身に対して転送させると共に、転送された第一ＡＩモデル設定データＰ１に従ってＡＩ処理部５のパラメータ設定を行う。
これにより、暗シーンではないと判定された場合は、ＡＩ処理部５において、デモザイク後画像を入力データとし、デモザイク後画像を学習用入力データとして学習が行われたＡＩモデルを用いた画像解析処理が行われる。 Then, in step S106 following step S105, the
As a result, if it is determined that the scene is not a dark scene, the
センサ内制御部６は、ステップＳ１０６の設定処理を実行したことに応じてステップＳ１０１に戻る。The
また、先のステップＳ１０４において、暗シーンであると判定した場合、センサ内制御部６はステップＳ１０７に進み、非デモザイク画像の選択指示、すなわち、セレクタ３９に対し画像編成部３８より入力される色分離画像による非デモザイク画像を選択出力する指示を行う。Also, if it is determined in the previous step S104 that it is a dark scene, the
さらに、ステップＳ１０７に続くステップＳ１０８でセンサ内制御部６は、第二ＡＩモデルの設定処理を行う。すなわち、通信インタフェース９を介してカメラ制御部１３に対する指示を行ってセンサ外メモリ部１４から第二ＡＩモデル設定データＰ２を読み出させ、自身に対して転送させると共に、転送された第二ＡＩモデル設定データＰ２に従ってＡＩ処理部５のパラメータ設定を行う。
これにより、暗シーンであると判定された場合は、ＡＩ処理部５において、色分離画像による非デモザイク画像を入力データとし、色分離画像による非デモザイク画像を学習用入力データとして学習が行われたＡＩモデルを用いた画像解析処理が行われる。 Furthermore, in step S108 following step S107, the
As a result, if it is determined that the scene is dark, the
センサ内制御部６は、ステップＳ１０８の設定処理を実行したことに応じてステップＳ１０１に戻る。The
また、センサ内制御部６は、先のステップＳ１０２で処理終了であると判定した場合は、図６に示す一連の処理を終える。If the
なお、シーン判定処理について、暗シーンであるか否かの判定は、ＡＩ処理部５におけるＡＩモデルの一部機能として暗シーンであるか否かの判定機能を持たせることにより、ＡＩ処理部５において実行させることも考えられる。その場合、センサ内制御部６は、このようにＡＩ処理部５で行われる暗シーンか否かの判定処理の結果に基づき、セレクタ３９の制御（及びＡＩモデルの切り替え制御）を行う。
Regarding the scene determination process, the determination of whether or not the scene is a dark scene may be executed by the
＜２．第二実施形態＞
続いて、第二実施形態について説明する。
第二実施形態は、ＡＩ処理部５で用いるＡＩモデルを再学習することを想定して、非デモザイク画像を蓄積するものである。<2. Second embodiment>
Next, a second embodiment will be described.
The second embodiment stores non-demosaic images assuming that the AI model used in the
図７は、非デモザイク画像の蓄積機能を有する第二実施形態としてのカメラ装置１０Ａの構成例を説明するためのブロック図である。
なお、図７では図示の都合から、光学系１１の図示と、画素アレイ部２、センサ内メモリ部７及び出力データ生成部８の図示を省略しているが、第二実施形態のカメラ装置１０Ａとしてもこれら光学系１１、画素アレイ部２、センサ内メモリ部７及び出力データ生成部８をカメラ装置１０の場合と同様に備えるものである。また、センサ外メモリ部１４において第一ＡＩモデル設定データＰ１と第二ＡＩモデル設定データＰ２の図示を省略しているが、カメラ装置１０Ａにおいてもこれら第一ＡＩモデル設定データＰ１と第二ＡＩモデル設定データＰ２はカメラ装置１０の場合と同様にセンサ外メモリ部１４に記憶されている。 FIG. 7 is a block diagram for explaining an example of the configuration of a
7, for convenience of illustration, the
以下の説明において、既に説明済みとなった部分と同様となる部分については同一符号を付して説明を省略する。In the following explanation, parts that are similar to parts that have already been explained will be given the same reference numerals and explanations will be omitted.
カメラ装置１０Ａにおいて、図１に示したカメラ装置１０との相違点は、センサ部１に代えてセンサ部１Ａが設けられた点である。
センサ部１Ａは、センサ部１と比較して、センサ内制御部６に代えてセンサ内制御部６Ａが設けられた点が異なる。
センサ内制御部６Ａは、非デモザイク画像をカメラ装置１０Ａ内のメモリ、具体的に本例ではセンサ外メモリ部１４に蓄積させるための処理を行う点がセンサ内制御部６と異なる。
図示のようにセンサ部１Ａにおいては、画像編成部３８により生成される色分離画像による非デモザイク画像が、セレクタ３９のみでなく通信インタフェース９に入力可能とされている。
センサ内制御部６Ａは、通信インタフェース９を介して色分離画像による非デモザイク画像をカメラ制御部１３に送信させると共に、通信インタフェース９を介して、カメラ制御部１３に対して該非デモザイク画像をセンサ外メモリ部１４に記憶させる指示を行う。
これにより、センサ外メモリ部１４に対して、カメラ装置１０Ａの実使用環境下で得られ得る非デモザイク画像による撮像画像を蓄積させることができる。 The
As shown in the figure, in the
The sensor
This makes it possible to store in the sensor off-
また、センサ内制御部６Ａは、センサ外メモリ部１４に蓄積された非デモザイク画像を、カメラ装置１０Ａ外部に送信する処理を行う。具体的に、センサ内制御部６Ａは、カメラ装置１０Ａの外部装置（例えば、サーバ装置等）から行われた指示に基づき、センサ外メモリ部１４に蓄積された非デモザイク画像を該外部装置に送信する処理の実行をカメラ制御部１３に指示する。
これにより、ＡＩ処理部５で用いるＡＩモデルの再学習を外部装置で行う場合に対応して、再学習に用いるべき非デモザイク画像を外部装置に対して送信することが可能となる。 Furthermore, the
This makes it possible to transmit non-demosaic images to be used for re-learning to an external device in response to the case where the AI model used by the
なお、上記では蓄積された非デモザイク画像についての送信処理の実行をセンサ内制御部６Ａがカメラ制御部１３に指示する構成を例示したが、蓄積された非デモザイク画像の送信処理は、カメラ制御部１３が外部からの指示に基づいて行うことも考えられる。In the above example, the
また、上記では、非デモザイク画像を蓄積する蓄積部がセンサ外メモリ部１４とされた例を挙げたが、該蓄積部は、センサ内メモリ部７等、センサ部１Ａ内のメモリとすることも考えられる。
ここで、センサ部１Ａがカメラ装置１０Ａの外部装置と直接的に通信可能な通信部を有する場合には、蓄積された非デモザイク画像の送信処理の実行主体がセンサ内制御部６Ａとなることも有り得る。
In addition, in the above example, the storage unit that stores non-demosaic images is the sensor
Here, if the
＜３．変形例＞
なお、実施形態としては上記した具体例に限定されるものでなく、多様な変形例としての構成を採り得る。
例えば、シーン判定結果に基づき、画像信号処理部３の信号処理パラメータを変化させる構成とすることも考えられる。一例として、暗シーンか否かの判定結果に基づき、ゲイン調整部３３による前述した全体ゲイン調整としてのゲイン調整処理のパラメータや、ガンマ補正部３６によるガンマ補正処理のパラメータを変化させることが考えられる。具体的には、暗シーンとしての、対象被写体が暗いシーンのときは、黒つぶれ防止傾向とするパラメータによりガンマ補正や全体ゲイン調整を行い、明シーン（暗シーンでない場合）としての、対象被写体が明るいシーンのときは白飛び防止傾向とするパラメータによりガンマ補正や全体ゲイン調整を行うことが考えられる。3. Modifications
The embodiment is not limited to the specific example described above, and various modified configurations may be adopted.
For example, it is also possible to change the signal processing parameters of the image
ここで、上記のような暗シーン／明シーンに応じたパラメータ調整は、ＡＩモデルを用いた画像解析処理として、物体検出処理を行う場合に有効な手法となる。
ＡＩモデルを用いた画像解析処理としてセマンティックセグメンテーション等のセグメンテーション処理を行う場合には、該セグメンテーション処理では、画素ごと等のブロックごとにクラス識別を行うことになるので、ガンマ補正や全体ゲイン調整を行うと、明るい部分や暗い部分のブロックでの処理精度の悪化を招く虞がある。
そのため、ＡＩモデルを用いた画像解析処理としてセグメンテーション処理を行う場合には、ガンマ補正や全体ゲイン調整を未実施の状態の撮像画像を入力データとすることが考えられる。 Here, the parameter adjustment according to the dark scene/bright scene as described above is an effective method when performing object detection processing as image analysis processing using an AI model.
When performing segmentation processing such as semantic segmentation as image analysis processing using an AI model, the segmentation processing involves class identification for each block, such as for each pixel, so performing gamma correction or overall gain adjustment may result in a deterioration of processing accuracy in bright and dark blocks.
Therefore, when performing segmentation processing as image analysis processing using an AI model, it is possible to use captured images that have not yet undergone gamma correction or overall gain adjustment as input data.
図８は、上記のようにシーン判定結果に基づき画像信号処理部３の信号処理パラメータを変化させる変形例としての解析処理手法を実現するための具体的な処理手順例を示したフローチャートである。
ここで、図８に示す処理は、センサ内制御部６、センサ内制御部６Ａの何れが行ってもよいが、ここでは、センサ内制御部６が実行するものとして説明する。 FIG. 8 is a flow chart showing a specific example of a processing procedure for implementing a modified analysis processing method in which the signal processing parameters of the image
Here, the process shown in FIG. 8 may be performed by either the internal
図８に示す処理について、先の図６に示した処理との相違点は、図中のステップＳ１１０及びＳ１１１の処理が追加された点である。
具体的に、この場合のセンサ内制御部６は、ステップＳ１０６で第一ＡＩモデルの設定処理を実行したことに応じ、ステップＳ１１０の信号処理パラメータ調整処理を行う。本例において、このステップＳ１１０の信号処理パラメータ調整処理としては、暗シーンではないと判定された場合に対応して、上記した白飛び防止傾向とするパラメータがゲイン調整部３３やガンマ補正部３６に設定されるように制御する処理を行う。
また、この場合のセンサ内制御部６は、ステップＳ１０８で第二ＡＩモデルの設定処理を実行したことに応じ、ステップＳ１１１の信号処理パラメータ調整処理を行う。具体的に、本例におけるステップＳ１１１の信号処理パラメータ調整処理としては、暗シーンであると判定された場合に対応して、上記した黒つぶれ防止傾向とするパラメータがゲイン調整部３３やガンマ補正部３６に設定されるように制御する処理を行う。 The process shown in FIG. 8 differs from the process shown in FIG. 6 in that steps S110 and S111 are added.
Specifically, in this case, the
In this case, the
この場合のセンサ内制御部６は、ステップＳ１１０、Ｓ１１１の何れの信号処理パラメータ調整処理を行った場合も処理をステップＳ１０１に戻す。In this case, the
なお、上記ではシーン判定結果に基づき全体ゲイン調整やガンマ補正に係るパラメータを変化させる例を挙げたが、シーン判定結果に基づき変化させるパラメータとしては、例えばＡＷＢのパラメータ等、他パラメータとすることも考えられる。Note that, although the above provides an example of changing parameters related to overall gain adjustment and gamma correction based on the scene determination results, other parameters, such as AWB parameters, may also be used as parameters that are changed based on the scene determination results.
また、上記では、ＡＩ処理部５がセンサ装置内に設けられた構成を例示したが、図９に示すカメラ装置１０Ｂのように、ＡＩ処理部５がセンサ装置外に設けられた構成とすることも考えられる。
具体的に、カメラ装置１０Ｂにおいては、センサ部１（又はセンサ部１Ａ）に代えて、画素アレイ部２と通信インタフェース９のみを有するセンサ部１Ｂが設けられる。この場合、画像信号処理部３、前処理部４、及びＡＩ処理部５はセンサ部１Ｂ外部に設けられる。また、カメラ装置１０Ｂにおいては、カメラ制御部１３に代えてカメラ制御部１３Ｂが設けられる。 In addition, although the above example illustrates a configuration in which the
Specifically, in the
図示のようにカメラ装置１０Ｂにおいては、画素アレイ部２により得られるＲＡＷデータとしての撮像画像が通信インタフェース９及び通信インタフェース１２を介して、画像信号処理部３に入力される。そして、画像信号処理部３のセレクタ３９により選択された画像データが、前処理部４を介してＡＩ処理部５に入力される。As shown in the figure, in the
カメラ制御部１３Ｂは、センサ内制御部６と同様に、シーン判定結果に基づくセレクタ３９の制御を行う。また、カメラ制御部１３Ｂは、センサ外メモリ部１４に記憶された第一ＡＩモデル設定データＰ１、第二ＡＩモデル設定データＰ２に基づき、センサ内制御部６と同様にＡＩ処理部５のＡＩモデル設定処理を行う。
また、第二実施形態で説明した非デモザイク画像の蓄積を実現する場合には、カメラ制御部１３Ｂは、画像信号処理部３で得られる非デモザイク画像をセンサ外メモリ部１４等のカメラ装置１０Ｂ内のメモリに記憶させる処理を行う。またこの場合、カメラ制御部１３Ｂは、蓄積された非デモザイク画像を外部装置に送信する処理を行うこともできる。 The
Furthermore, when realizing the accumulation of non-demosaic images described in the second embodiment, the
また、上記では、ＡＩ処理部５に入力する非デモザイク画像として色分離画像を用いる例を挙げたが、色分離画像以外のデータ形式による非デモザイク画像をＡＩ処理部５の入力データとして与えることもできる。In addition, in the above, an example was given in which a color-separated image was used as the non-demosaic image to be input to the
また、上記では、ＡＩ処理部５の入力データ切り替えについて、暗シーンか否かの判定結果に基づいてデモザイク後画像／非デモザイク画像の切り替えを行う例としたが、暗シーンか否かの判定結果以外の他の基準に基づいてデモザイク後画像／非デモザイク画像の切り替えを行うことも考えられる。
例えば、対象被写体が小さく写っていて解像度が要求される場合には入力データを非デモザイク画像に切り替え、対象被写体が大きく写っているシーンでは入力データをデモザイク後画像に切り替えること等が考えられる。 In addition, in the above example, the input data switching of the
For example, when the target subject is small and high resolution is required, the input data may be switched to a non-demosaic image, and in a scene where the target subject is large, the input data may be switched to a demosaiced image.
また、シーン判定として、３以上のシーンを判定するものとし、シーンごとに、ＡＩ処理部５の入力データの取り出し位置を変化させるという構成を採ることも考えられる。例えば、第一のシーンでは入力データをシェーディング補正後の非デモザイク画像とし、第二のシーンでは入力データをＡＷＢ処理後の非デモザイク画像とし、第三のシーンでは入力データをデモザイク後画像とする等が考えられる。It is also possible to adopt a configuration in which three or more scenes are judged as scene judgment, and the position from which the
また、上記では、画素アレイ部２がＲ、Ｇ、Ｂの３波長のみを受光し分ける構成とされる場合を例示したが、本技術は、例えばマルチスペクトラムカメラにおける画素アレイ部のように、４以上の波長帯の光を受光し分けることが可能に構成された画素アレイ部が用いられる場合にも好適に適用することができる。In addition, the above describes an example in which the
また、ＡＩ処理部５において、解析タスクが異なる複数のＡＩモデルを切り替えて使用することが前提とされる場合には、ＡＩ処理部５が使用するＡＩモデルの種類（つまり解析タスクの種類）によって、ＡＩ処理部５の入力データを非デモザイク画像とするか否かの決定を行うことも考えられる。
In addition, when it is assumed that the
＜５．実施形態のまとめ＞
以上で説明したように実施形態としての信号処理装置（センサ部１，１Ａ，カメラ装置１０Ｂ）は、異なる波長帯の光を受光する複数の画素が所定パターンで二次元配列されて成る画素ユニットが二次元に複数配列されて構成された画素アレイ部（同２）により得られる撮像画像について、デモザイク処理されていない状態の撮像画像である非デモザイク画像を入力データとして、ＡＩモデルを用いた画像解析処理を行うＡＩ処理部（同５）を備えたものである。
デモザイク処理は空間的な補間処理を伴うものであるため、本来の画素値からの乖離が生じる傾向となり、ＡＩモデルによる画像解析処理の入力データとしてデモザイク後の画像を用いた場合には、上記の画素値の乖離に起因して処理精度が低下する場合がある。上記のように非デモザイク画像を画像解析処理の入力データとすることで、そのようなデモザイク処理に起因した処理精度低下の防止を図ることが可能となる。
従って、ＡＩモデルを用いた画像解析処理についての処理精度向上を図ることができる。5. Summary of the embodiment
As described above, the signal processing device (
Since demosaic processing involves spatial interpolation processing, deviation from the original pixel values tends to occur, and when a demosaic image is used as input data for image analysis processing using an AI model, the processing accuracy may decrease due to the deviation of the pixel values. By using a non-demosaic image as input data for image analysis processing as described above, it is possible to prevent such a decrease in processing accuracy caused by demosaic processing.
Therefore, it is possible to improve the processing accuracy of image analysis processing using an AI model.
また、実施形態としての信号処理装置においては、画素アレイ部により得られる撮像画像についてデモザイク処理を行うデモザイク処理部（同３４）と、撮像対象シーンについてのシーン判定結果に基づき、ＡＩ処理部の入力データが、デモザイク処理部によるデモザイク処理後の画像であるデモザイク後画像と非デモザイク画像との間で切り替えられるように制御する制御部（センサ内制御部６，６Ａ，カメラ制御部１３Ｂ）を備えている。
図３を参照して説明したように、シーンによっては、デモザイク後画像ではなく、非デモザイク画像を用いた方が画像解析処理の精度向上が図られる場合があることが実験により確認されている。すなわち、ＡＩモデルとしてシーンの差を吸収する機能を有さないモデルを用いても、或るシーンにおいては、デモザイク後画像ではなく非デモザイク画像を用いるという手法を採ることで、画像解析処理の精度向上が図られる場合がある。
上記のようにシーン判定結果に基づきＡＩ処理部の入力データをデモザイク後画像と非デモザイク画像との間で切り替えるようにすることで、非デモザイク画像を入力データとした場合に画像解析処理精度の向上が図られる特定のシーンにおいて、非デモザイク画像を入力データとすることが可能となる。
従って、リソースの問題からシーンの差を吸収可能なＡＩモデルを用いることができない場合であっても、シーンに依存した画像解析処理精度低下の抑制を図ることができる。 In addition, the signal processing device as an embodiment is equipped with a demosaic processing unit (34) that performs demosaic processing on the captured image obtained by the pixel array unit, and a control unit (
As described with reference to Fig. 3, it has been confirmed by experiments that, depending on the scene, the accuracy of the image analysis process may be improved by using a non-demosaic image rather than a demosaiced image. That is, even if an AI model that does not have the function of absorbing scene differences is used, the accuracy of the image analysis process may be improved by adopting a technique of using a non-demosaic image rather than a demosaiced image in a certain scene.
By switching the input data of the AI processing unit between a demosaiced image and a non-demosaic image based on the scene determination result as described above, it is possible to use a non-demosaic image as input data in specific scenes where the accuracy of image analysis processing is improved when a non-demosaic image is used as input data.
Therefore, even if it is not possible to use an AI model that can absorb scene differences due to resource issues, it is possible to suppress a decrease in the accuracy of image analysis processing that is dependent on the scene.
さらに、実施形態としての信号処理装置においては、制御部は、デモザイク後画像が入力データとされる場合にはＡＩモデルとしてデモザイク後画像を学習用入力データとして学習されたＡＩモデルが用いられ、非デモザイク画像が入力データとされる場合にはＡＩモデルとして非デモザイク画像を学習用入力データとして学習されたＡＩモデルが用いられるように制御している。
これにより、ＡＩモデルを用いた画像解析処理として、シーンに応じた適切な画像解析処理を実行することができる。 Furthermore, in a signal processing device as an embodiment, the control unit controls so that when a demosaiced image is used as input data, an AI model trained using the demosaiced image as learning input data is used as the AI model, and when a non-demosaic image is used as input data, an AI model trained using the non-demosaic image as learning input data is used as the AI model.
This makes it possible to execute appropriate image analysis processing according to the scene as image analysis processing using an AI model.
さらにまた、実施形態としての信号処理装置においては、撮像対象シーンの判定は、暗シーンであるか否かの判定であり、制御部は、暗シーンと判定された場合に入力データとして非デモザイク画像を入力させている。
図３を参照して説明したように、暗シーンにおいては、デモザイク後画像ではなく、非デモザイク画像を用いた方が画像解析処理の精度向上が図られる場合があることが確認されている。
従って、上記構成によれば、リソースの問題からシーンの差を吸収可能なＡＩモデルを用いることができない場合であっても、シーンに依存した画像解析処理精度低下の抑制を図ることができる。 Furthermore, in the signal processing device of the embodiment, the determination of the scene to be imaged is a determination of whether or not it is a dark scene, and the control unit inputs a non-demosaic image as input data when it is determined to be a dark scene.
As described with reference to FIG. 3, it has been confirmed that in dark scenes, the accuracy of image analysis processing can be improved by using a non-demosaic image rather than a demosaiced image.
Therefore, with the above configuration, even if it is not possible to use an AI model that can absorb scene differences due to resource issues, it is possible to suppress a decrease in the accuracy of scene-dependent image analysis processing.
また、実施形態としての信号処理装置においては、デモザイク処理部を含み、撮像画像を対象とした画像信号処理を行う画像信号処理部（同３）を備え、制御部は、シーン判定結果に基づき、画像信号処理部の信号処理パラメータを変化させている（図８参照）。
これにより、特定のシーンであると判定されて非デモザイク画像を入力データとした画像解析処理が行われる場合には、非デモザイク画像に適した画像信号処理が行われるようにし、特定のシーンではないと判定されてデモザイク後画像を入力データとした画像解析処理が行われる場合には、デモザイク後画像に適した画像信号処理が行われるようにすることが可能となる。
従って、画像解析処理の精度向上を図ることができる。 In addition, in the signal processing device of the embodiment, an image signal processing unit (same as 3) is provided which includes a demosaic processing unit and performs image signal processing on the captured image, and the control unit changes the signal processing parameters of the image signal processing unit based on the scene determination result (see Figure 8).
This makes it possible to perform image signal processing suitable for the non-demosaic image when it is determined that the scene is a specific one and image analysis processing is performed using a non-demosaic image as input data, and to perform image signal processing suitable for the demosaiced image when it is determined that the scene is not a specific one and image analysis processing is performed using a demosaiced image as input data.
Therefore, the accuracy of the image analysis process can be improved.
さらに、実施形態としての信号処理装置においては、ＡＩモデルは、ＣＮＮとしてのニューラルネットワークを有するＡＩモデルとされ、各画素ユニットから、画素ユニット内位置が同じ画素ごとに画素値を収集して同一画像平面上のそれぞれ異なる領域に並べて形成される画像である色分離画像を生成する画像編成部（同３８）を備え、ＡＩ処理部は、色分離画像を入力データとして画像解析処理を行っている。
これにより、ＡＩ処理部に対する入力データの形式が、ＣＮＮの構成に適した入力データ形式となる。
従って、画像解析処理の精度向上を図ることができる。 Furthermore, in the signal processing device as an embodiment, the AI model is an AI model having a neural network such as a CNN, and is equipped with an image organizing unit (38) that generates a color-separated image, which is an image formed by collecting pixel values for each pixel having the same position within the pixel unit from each pixel unit and arranging them in different areas on the same image plane, and the AI processing unit performs image analysis processing using the color-separated image as input data.
This makes the format of the input data to the AI processing unit an input data format suitable for the CNN configuration.
Therefore, the accuracy of the image analysis process can be improved.
さらにまた、実施形態としての信号処理装置においては、ＡＩ処理部は、シェーディング補正後の非デモザイク画像を入力データとして画像解析処理を行っている。
図３を参照して説明したように、非デモザイク画像を入力データに用いるべきシーンでは、シェーディング補正後の非デモザイク画像を用いた方がシェーディング補正前の非デモザイク画像を用いる場合よりも解析処理精度の向上を図ることが可能である。
従って、上記構成によれば、暗シーン等の特定シーンに対応して解析処理精度の向上を図ることができる。 Furthermore, in the signal processing device according to the embodiment, the AI processing unit performs image analysis processing using the non-demosaic image after shading correction as input data.
As explained with reference to Figure 3, in scenes where a non-demosaic image should be used as input data, using a non-demosaic image after shading correction can improve the accuracy of analysis processing compared to using a non-demosaic image before shading correction.
Therefore, according to the above configuration, it is possible to improve the accuracy of analysis processing in response to specific scenes such as dark scenes.
また、実施形態としての信号処理装置（センサ部１Ａ，カメラ装置１０Ｂ）においては、非デモザイク画像を蓄積する蓄積部（センサ内メモリ部７，センサ外メモリ部１４）を備えている。
蓄積部に蓄積された非デモザイク画像は、ＡＩ処理部で用いるＡＩモデルの再学習に用いることが可能である。
ＡＩモデルの再学習が可能となることで、ＡＩ処理部による画像解析処理の精度向上を図ることができる。 Further, the signal processing device (
The non-demosaic images stored in the storage unit can be used to re-learn the AI model used in the AI processing unit.
By making it possible to re-learn the AI model, it is possible to improve the accuracy of image analysis processing by the AI processing unit.
さらに、実施形態としての信号処理装置においては、蓄積部に蓄積された非デモザイク画像を装置外部に送信する処理を行う送信処理部（カメラ制御部１３，センサ内制御部６Ａ，カメラ制御部１３Ｂ）を備えている。
これにより、ＡＩモデルの再学習を信号処理装置の外部装置で行う場合に対応して、再学習に用いるべき非デモザイク画像を外部装置に対して送信することが可能となる。
従って、ＡＩモデルの再学習が適切に行われるように図ることができる。 Furthermore, the signal processing device according to the embodiment is provided with a transmission processing unit (
This makes it possible to transmit non-demosaic images to be used for re-learning to an external device external to the signal processing device, in response to the case where re-learning of an AI model is performed by the external device.
Therefore, it is possible to ensure that the AI model is re-learned appropriately.
さらにまた、実施形態としての信号処理装置（センサ部１，１Ａ）は、画素アレイ部を備えたセンサ装置として構成されている。
これにより、ＡＩモデルを用いた画像解析処理を実行可能に構成されたセンサ装置について、画像解析処理の精度向上を図ることができる。 Furthermore, the signal processing device (
This makes it possible to improve the accuracy of image analysis processing for sensor devices configured to perform image analysis processing using an AI model.
また、実施形態としての信号処理方法は、異なる波長帯の光を受光する複数の画素が所定パターンで二次元配列されて成る画素ユニットが二次元に複数配列されて構成された画素アレイ部により得られる撮像画像について、デモザイク処理されていない状態の撮像画像である非デモザイク画像を入力データとして、ＡＩモデルを用いた画像解析処理を行う信号処理方法である。
このような信号処理方法によっても、上記した実施形態としての信号処理装置と同様の作用及び効果を得ることができる。 In addition, the signal processing method as an embodiment is a signal processing method that performs image analysis processing using an AI model on an captured image obtained by a pixel array section configured by a plurality of pixel units arranged two-dimensionally in a predetermined pattern, each pixel unit being made up of a plurality of pixels that receive light in different wavelength bands and arranged two-dimensionally. The captured image is obtained by using as input data a non-demosaic image, which is an captured image in a state that has not been demosaiced.
With such a signal processing method, it is possible to obtain the same functions and effects as those of the signal processing device according to the above embodiment.
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
It should be noted that the effects described in this specification are merely examples and are not limiting, and other effects may also be obtained.
＜６．本技術＞
本技術は以下のような構成を採ることもできる。
（１）
異なる波長帯の光を受光する複数の画素が所定パターンで二次元配列されて成る画素ユニットが二次元に複数配列されて構成された画素アレイ部により得られる撮像画像について、デモザイク処理されていない状態の前記撮像画像である非デモザイク画像を入力データとして、ＡＩモデルを用いた画像解析処理を行うＡＩ処理部を備えた
信号処理装置。
（２）
前記画素アレイ部により得られる撮像画像についてデモザイク処理を行うデモザイク処理部と、
撮像対象シーンについてのシーン判定結果に基づき、前記ＡＩ処理部の入力データが、前記デモザイク処理部によるデモザイク処理後の画像であるデモザイク後画像と前記非デモザイク画像との間で切り替えられるように制御する制御部を備えた
前記（１）に記載の信号処理装置。
（３）
前記制御部は、
前記デモザイク後画像が前記入力データとされる場合には前記ＡＩモデルとして前記デモザイク後画像を学習用入力データとして学習されたＡＩモデルが用いられ、前記非デモザイク画像が前記入力データとされる場合には前記ＡＩモデルとして前記非デモザイク画像を学習用入力データとして学習されたＡＩモデルが用いられるように制御する
前記（２）に記載の信号処理装置。
（４）
前記撮像対象シーンの判定は、暗シーンであるか否かの判定であり、
前記制御部は、
暗シーンと判定された場合に前記入力データとして前記非デモザイク画像を入力させる
前記（２）又は（３）に記載の信号処理装置。
（５）
前記デモザイク処理部を含み、前記撮像画像を対象とした画像信号処理を行う画像信号処理部を備え、
前記制御部は、
前記シーン判定結果に基づき、前記画像信号処理部の信号処理パラメータを変化させる
前記（２）から（４）の何れかに記載の信号処理装置。
（６）
前記ＡＩモデルは、ＣＮＮとしてのニューラルネットワークを有するＡＩモデルとされ、
各前記画素ユニットから、画素ユニット内位置が同じ画素ごとに画素値を収集して同一画像平面上のそれぞれ異なる領域に並べて形成される画像である色分離画像を生成する画像編成部を備え、
前記ＡＩ処理部は、前記色分離画像を入力データとして前記画像解析処理を行う
前記（１）から（５）の何れかに記載の信号処理装置。
（７）
前記ＡＩ処理部は、シェーディング補正後の前記非デモザイク画像を入力データとして前記画像解析処理を行う
前記（１）から（６）の何れかに記載の信号処理装置。
（８）
前記非デモザイク画像を蓄積する蓄積部を備えた
前記（１）から（７）の何れかに記載の信号処理装置。
（９）
前記蓄積部に蓄積された前記非デモザイク画像を装置外部に送信する処理を行う送信処理部を備えた
前記（８）に記載の信号処理装置。
（１０）
前記画素アレイ部を備えたセンサ装置として構成された
前記（１）から（９）に何れかに記載の信号処理装置。
（１１）
異なる波長帯の光を受光する複数の画素が所定パターンで二次元配列されて成る画素ユニットが二次元に複数配列されて構成された画素アレイ部により得られる撮像画像について、デモザイク処理されていない状態の前記撮像画像である非デモザイク画像を入力データとして、ＡＩモデルを用いた画像解析処理を行う
信号処理方法。<6. This Technology>
The present technology can also be configured as follows.
(1)
A signal processing device including an AI processing unit that performs image analysis processing using an AI model on an image obtained by a pixel array unit configured with a plurality of pixel units arranged two-dimensionally in a predetermined pattern, each pixel unit being made up of a plurality of pixels that receive light of different wavelength bands and that uses as input data a non-demosaic image, which is an image that has not been demosaiced.
(2)
a demosaic processing unit that performs demosaic processing on an image obtained by the pixel array unit;
The signal processing device according to (1), further comprising a control unit that controls input data of the AI processing unit to be switched between a demosaic image, which is an image after demosaic processing by the demosaic processing unit, and the non-demosaic image, based on a scene determination result for a scene to be imaged.
(3)
The control unit is
The signal processing device described in (2) above, wherein when the demosaiced image is used as the input data, an AI model trained using the demosaiced image as training input data is used as the AI model, and when the non-demosaic image is used as the input data, an AI model trained using the non-demosaic image as training input data is used as the AI model.
(4)
The determination of the scene to be imaged is a determination of whether the scene is a dark scene,
The control unit is
The signal processing device according to (2) or (3), further comprising: inputting the non-demosaic image as the input data when the scene is determined to be a dark scene.
(5)
an image signal processing unit that includes the demosaic processing unit and performs image signal processing on the captured image,
The control unit is
The signal processing device according to any one of (2) to (4), wherein a signal processing parameter of the image signal processing unit is changed based on the scene determination result.
(6)
The AI model is an AI model having a neural network such as a CNN,
an image organizing unit that generates a color separation image, which is an image formed by collecting pixel values of pixels at the same position in each pixel unit from each of the pixel units and arranging them in different regions on the same image plane;
The signal processing device according to any one of (1) to (5), wherein the AI processing unit performs the image analysis processing using the color separation image as input data.
(7)
The signal processing device according to any one of (1) to (6), wherein the AI processing unit performs the image analysis processing using the non-demosaic image after shading correction as input data.
(8)
The signal processing device according to any one of (1) to (7), further comprising a storage unit that stores the non-demosaic image.
(9)
The signal processing device according to (8), further comprising a transmission processing unit that performs processing for transmitting the non-demosaic image stored in the storage unit to an outside of the device.
(10)
The signal processing device according to any one of (1) to (9), configured as a sensor device including the pixel array unit.
(11)
A signal processing method for performing image analysis processing using an AI model on an image obtained by a pixel array section configured by a two-dimensional array of pixel units, each of which is made up of a plurality of pixels that receive light of different wavelength bands arranged in a two-dimensional pattern, using as input data a non-demosaic image, which is the image obtained without being demosaiced.
１０，１０Ａ，１０Ｂ カメラ装置
１，１Ａ，１Ｂ センサ部
２ 画素アレイ部
３ 画像信号処理部
４ 前処理部
５ ＡＩ処理部
６，６Ａ センサ内制御部
７ センサ内メモリ部
８ 出力データ生成部
９ 通信インタフェース（Ｉ／Ｆ）
１１ 光学系
１２ 通信インタフェース（Ｉ／Ｆ）
１３，１３Ｂ カメラ制御部
１４ センサ外メモリ部
１５ 通信部
Ｐ１ 第一ＡＩモデル設定データ
Ｐ２ 第二ＡＩモデル設定データ
３１ 黒レベル補正部
３２ シェーディング補正部
３３ ゲイン調整部
３４ デモザイク処理部
３５ 色補正部
３６ ガンマ補正部
３７ デワープ処理部
３８ 画像編成部
３９ セレクタ
Ｐｕ 画素ユニット10, 10A,
11
13, 13B
Claims (11)
Translated fromJapanese信号処理装置。 A signal processing device including an AI processing unit that performs image analysis processing using an AI model on an image obtained by a pixel array unit configured with a plurality of pixel units arranged two-dimensionally in a predetermined pattern, each pixel unit being made up of a plurality of pixels that receive light of different wavelength bands and that uses as input data a non-demosaic image, which is an image that has not been demosaiced.
撮像対象シーンについてのシーン判定結果に基づき、前記ＡＩ処理部の入力データが、前記デモザイク処理部によるデモザイク処理後の画像であるデモザイク後画像と前記非デモザイク画像との間で切り替えられるように制御する制御部を備えた
請求項１に記載の信号処理装置。 a demosaic processing unit that performs demosaic processing on an image obtained by the pixel array unit;
The signal processing device according to claim 1, further comprising a control unit that controls input data of the AI processing unit to be switched between a demosaic image that is an image after demosaic processing by the demosaic processing unit and the non-demosaic image based on a scene determination result for a scene to be imaged.
前記デモザイク後画像が前記入力データとされる場合には前記ＡＩモデルとして前記デモザイク後画像を学習用入力データとして学習されたＡＩモデルが用いられ、前記非デモザイク画像が前記入力データとされる場合には前記ＡＩモデルとして前記非デモザイク画像を学習用入力データとして学習されたＡＩモデルが用いられるように制御する
請求項２に記載の信号処理装置。 The control unit is
3. The signal processing device according to claim 2, wherein when the demosaiced image is used as the input data, an AI model trained using the demosaiced image as training input data is used as the AI model, and when the non-demosaic image is used as the input data, an AI model trained using the non-demosaic image as training input data is used as the AI model.
前記制御部は、
暗シーンと判定された場合に前記入力データとして前記非デモザイク画像を入力させる
請求項２に記載の信号処理装置。 The determination of the scene to be imaged is a determination of whether the scene is a dark scene,
The control unit is
The signal processing device according to claim 2 , further comprising: a non-demosaic image input as the input data when the scene is determined to be a dark scene.
前記制御部は、
前記シーン判定結果に基づき、前記画像信号処理部の信号処理パラメータを変化させる
請求項２に記載の信号処理装置。 an image signal processing unit that includes the demosaic processing unit and performs image signal processing on the captured image,
The control unit is
The signal processing device according to claim 2 , wherein a signal processing parameter of the image signal processing unit is changed based on the scene determination result.
各前記画素ユニットから、画素ユニット内位置が同じ画素ごとに画素値を収集して同一画像平面上のそれぞれ異なる領域に並べて形成される画像である色分離画像を生成する画像編成部を備え、
前記ＡＩ処理部は、前記色分離画像を入力データとして前記画像解析処理を行う
請求項１に記載の信号処理装置。 The AI model is an AI model having a neural network such as a CNN,
an image organizing unit that generates a color separation image, which is an image formed by collecting pixel values of pixels at the same position in each pixel unit from each of the pixel units and arranging them in different regions on the same image plane;
The signal processing device according to claim 1 , wherein the AI processing unit performs the image analysis processing using the color separation image as input data.
請求項１に記載の信号処理装置。 The signal processing device according to claim 1 , wherein the AI processing unit performs the image analysis processing using the non-demosaic image after shading correction as input data.
請求項１に記載の信号処理装置。 The signal processing device according to claim 1 , further comprising a storage unit that stores the non-demosaic image.
請求項８に記載の信号処理装置。 The signal processing device according to claim 8 , further comprising a transmission processing unit configured to perform processing for transmitting the non-demosaic image stored in the storage unit to an outside of the device.
請求項１に記載の信号処理装置。 The signal processing device according to claim 1 , which is configured as a sensor device including the pixel array unit.
信号処理方法。 A signal processing method for performing image analysis processing using an AI model on an image obtained by a pixel array section configured by a two-dimensional array of pixel units, each of which is made up of a plurality of pixels that receive light of different wavelength bands arranged in a two-dimensional pattern, using as input data a non-demosaic image, which is the image obtained without being demosaiced.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023094237AJP2024176038A (en) | 2023-06-07 | 2023-06-07 | Signal processing device and signal processing method |
| PCT/JP2024/019482WO2024252977A1 (en) | 2023-06-07 | 2024-05-28 | Signal processing device and signal processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023094237AJP2024176038A (en) | 2023-06-07 | 2023-06-07 | Signal processing device and signal processing method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2024176038Atrue JP2024176038A (en) | 2024-12-19 |
Family
ID=91580712
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023094237APendingJP2024176038A (en) | 2023-06-07 | 2023-06-07 | Signal processing device and signal processing method |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2024176038A (en) |
| WO (1) | WO2024252977A1 (en) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020126023A1 (en)* | 2018-12-21 | 2020-06-25 | Huawei Technologies Co., Ltd. | Image processor |
| CN116420158A (en)* | 2020-10-27 | 2023-07-11 | 三星电子株式会社 | Apparatus and method for generating image in which subject has been captured |
| US11778305B2 (en)* | 2021-06-18 | 2023-10-03 | Qualcomm Incorporated | Composite image signal processor |
- 2023
- 2023-06-07JPJP2023094237Apatent/JP2024176038A/enactivePending
- 2024
- 2024-05-28WOPCT/JP2024/019482patent/WO2024252977A1/enactivePending
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024252977A1 (en) | 2024-12-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20240214689A1 (en) | Image-capturing device and image processing device | |
| CN212785522U (en) | Image sensor and electronic device | |
| US12028610B2 (en) | Imaging device, image processing device, and electronic apparatus | |
| US7756330B2 (en) | Producing an extended dynamic range digital image | |
| US9007488B2 (en) | Systems and methods for generating interpolated high-dynamic-range images | |
| EP2547091B1 (en) | Image processing apparatus and control method for image processing apparatus | |
| JP2013148873A (en) | Imaging device and control method of the same | |
| US20190182419A1 (en) | Imaging device, image processing device, and electronic apparatus | |
| JP7439856B2 (en) | Imaging device | |
| JP2020187409A (en) | Image recognition device, solid-state imaging device, and image recognition method | |
| US7221793B2 (en) | Systems and methods for providing spatially-varied demosaicing | |
| JP4250513B2 (en) | Image processing apparatus and image processing method | |
| JP2024176038A (en) | Signal processing device and signal processing method | |
| US20240062339A1 (en) | Photographing system and method of image fusion | |
| JP2011227388A (en) | Imaging device | |
| JPWO2017170717A1 (en) | IMAGING DEVICE, FOCUS ADJUSTMENT DEVICE, AND ELECTRONIC DEVICE | |
| JP6900577B2 (en) | Image processing equipment and programs | |
| JP7726766B2 (en) | Imaging device, imaging method, and program | |
| WO2017170726A1 (en) | Image pickup device and electronic apparatus | |
| CN101365930A (en) | System and method for image sensor element or array with photometric and realtime reporting capabilities | |
| WO2024153152A1 (en) | Image sensor, and imaging method and apparatus | |
| JPWO2017170719A1 (en) | Imaging apparatus and electronic device | |
| JPWO2017170718A1 (en) | IMAGING DEVICE, SUBJECT DETECTING DEVICE, AND ELECTRONIC DEVICE | |
| JPWO2017170725A1 (en) | IMAGING DEVICE, SUBJECT DETECTING DEVICE, AND ELECTRONIC DEVICE | |
| JP2016134822A (en) | Imaging apparatus and method of controlling the same |