本発明は、画像を補正する技術に関する。 The present invention relates to a technique for correcting an image.
デジタルカメラの撮像素子は、メインレンズによって結像される像を記録する。撮像素子が各画素において一度に受光できる光量の範囲は予め決まっている。そのため、撮像素子が取得できる範囲を超えた光量が撮像素子に入光した場合、生成される画像の一部の輝度値がオーバーフローしてしまう。このような現象は“白とび”と呼ばれる。色深度が符号なし８ビットの画像では、白とびが発生した画素の輝度値は最大値の２５５になってしまう。本来なら２５５以上の値で表されるべき画像の情報が、全て２５５になってしまうために表現できなくなってしまう。逆に、極端に少ない光量しか撮像素子に入光しない場合、生成される画像の一部の輝度値がゼロとなってしまう。このような現象は“黒潰れ”と呼ばれる。
このように、撮像素子が一度に取得できる光量には、予め定められた範囲がある。このことが、ダイナミックレンジの広い画像を取得する際の妨げとなっている。ダイナミックレンジを広くした画像を取得するための方法として、非特許文献１に記載された技術や、非特許文献２に記載された技術がある。The image sensor of the digital camera records an image formed by the main lens. The range of the amount of light that can be received by the image sensor at each pixel is determined in advance. Therefore, when the amount of light exceeding the range that can be acquired by the image sensor enters the image sensor, the luminance value of a part of the generated image overflows. Such a phenomenon is called “white jump”. In an 8-bit image with an unsigned color depth, the luminance value of a pixel in which overexposure occurs is the maximum value of 255. Originally, the information of the image that should be represented by a value of 255 or more is all 255, so that it cannot be expressed. On the other hand, when only an extremely small amount of light enters the image sensor, the luminance value of a part of the generated image becomes zero. Such a phenomenon is called “black crushing”.
As described above, there is a predetermined range in the amount of light that can be acquired by the image sensor at one time. This is a hindrance when acquiring an image with a wide dynamic range. As a method for acquiring an image with a wide dynamic range, there are a technique described in Non-Patent Document 1 and a technique described in Non-Patent Document 2.
しかしながら、非特許文献１に記載された技術では、一つのシーンに対してレンズ絞りを変えながら複数枚の撮像を行う必要がある。そのため、動的なシーンに用いることができないという問題があった。
また、非特許文献２に記載された技術では、ＬＣｏＳを用いた可変露光カメラによって、画素単位で露光を制御することが可能となっている。そのため、ダイナミックレンジがより広い画像（ＨＤＲ：High Dynamic Range）画像を一度の撮像で生成することが可能である。しかしながら、カメラではない特殊なデバイスを用いる必要があるため、利便性に欠ける。
上記事情に鑑み、本発明は、ダイナミックレンジがより広い画像を、より簡易な装置によって生成することを可能とする技術の提供を目的とする。However, in the technique described in Non-Patent Document 1, it is necessary to capture a plurality of images while changing the lens aperture for one scene. Therefore, there is a problem that it cannot be used for a dynamic scene.
In the technique described in Non-Patent Document 2, it is possible to control exposure on a pixel basis by a variable exposure camera using LCoS. Therefore, an image having a wider dynamic range (HDR: High Dynamic Range) can be generated by one imaging. However, since it is necessary to use a special device that is not a camera, it is not convenient.
In view of the above circumstances, an object of the present invention is to provide a technique that enables an image having a wider dynamic range to be generated by a simpler apparatus.
本発明の一態様は、同一の被写体が撮像された複数の要素画像を有するライトフィールド画像を撮像する画像撮像部と、前記要素画像毎に、その要素画像において輝度値が偏ってしまっている領域の画素であることを示す条件を満たす補正対象画素を検出する補正対象画素検出部と、前記補正対象画素とは異なる要素画像に含まれる画素であって、前記補正対象画素に写っている被写体と同じ被写体が写っている画素である代替画素を、前記補正対象画素毎に１又は複数取得する代替画素取得部と、前記補正対象画素の輝度値を、前記代替画素の輝度値に基づいて補正する補正部と、を備え、前記画像撮像部は、メインレンズ及びマイクロレンズを含む光学系において２種以上の透過率の光学系と、受光部と、を有している、画像撮像装置である。 One aspect of the present invention is an image capturing unit that captures a light field image including a plurality of element images in which the same subject is captured, and a region where the luminance value is biased in each element image A correction target pixel detection unit that detects a correction target pixel that satisfies a condition indicating that the correction target pixel is included, and a pixel that is included in an element image different from the correction target pixel and that is reflected in the correction target pixel; An alternative pixel acquisition unit that acquires one or more alternative pixels that are pixels in which the same subject is captured, and corrects the luminance value of the correction target pixel based on the luminance value of the alternative pixel. A correction unit, and the image pickup unit includes an optical system having two or more transmittances in an optical system including a main lens and a microlens, and a light receiving unit. That.
本発明の一態様は、上記の画像撮像装置であって、前記画像撮像部は、２種以上の透過率の光学系として、透過率が異なる２種以上のマイクロレンズを備える。 One embodiment of the present invention is the above-described image capturing device, wherein the image capturing unit includes two or more types of microlenses having different transmittances as an optical system having two or more types of transmittance.
本発明の一態様は、上記の画像撮像装置であって、前記画像撮像部は、２種以上の透過率の光学系として、透過率を変更可能な複数のマスクユニットを、前記メインレンズと前記受光部との間に有している。 One aspect of the present invention is the above-described image capturing device, wherein the image capturing unit includes a plurality of mask units capable of changing transmittance as the optical system having two or more transmittances, the main lens, and the Between the light receiving part.
本発明の一態様は、上記の画像撮像装置であって、前記代替画素取得部は、前記代替画素のうち、前記条件を満たさない代替画素のみを取得する。 One aspect of the present invention is the above-described image capturing apparatus, wherein the substitute pixel acquisition unit acquires only substitute pixels that do not satisfy the condition among the substitute pixels.
本発明の一態様は、同一の被写体が撮像された複数の要素画像を有するライトフィールド画像を画像撮像部が撮像する画像撮像ステップと、前記要素画像毎に、その要素画像において輝度値が偏ってしまっている領域の画素であることを示す条件を満たす補正対象画素を検出する補正対象画素検出ステップと、前記補正対象画素とは異なる要素画像に含まれる画素であって、前記補正対象画素に写っている被写体と同じ被写体が写っている画素である代替画素を、前記補正対象画素毎に１又は複数取得する代替画素取得ステップと、前記補正対象画素の輝度値を、前記代替画素の輝度値に基づいて補正する補正ステップと、を有し、前記画像撮像部は、メインレンズ及びマイクロレンズを含む光学系において２種以上の透過率の光学系と、受光部と、を有している画像撮像方法である。 According to one aspect of the present invention, an image capturing step in which an image capturing unit captures a light field image having a plurality of element images in which the same subject is captured, and the brightness value is biased in the element image for each element image. A correction target pixel detecting step for detecting a correction target pixel that satisfies a condition indicating that it is a pixel in a closed area; and a pixel that is included in an element image different from the correction target pixel, and is reflected in the correction target pixel. An alternative pixel acquisition step of acquiring one or a plurality of alternative pixels for each of the correction target pixels, and the luminance value of the correction target pixel as the luminance value of the alternative pixel. A correction step for performing correction based on the optical imaging system, wherein the image capturing unit includes an optical system having two or more transmittances in an optical system including a main lens and a microlens, And parts, an image capturing method have.
本発明の一態様は、上記の画像撮像装置としてコンピュータを機能させるためのコンピュータプログラムである。 One embodiment of the present invention is a computer program for causing a computer to function as the above-described image capturing apparatus.
本発明により、ダイナミックレンジがより広い画像を、より簡易な装置によって生成することが可能となる。 According to the present invention, an image having a wider dynamic range can be generated by a simpler apparatus.
[概略]
本実施形態における画像撮像装置は、ライトフィールド画像を撮像する画像撮像部を備える。画像撮像部は、メインレンズ及びマイクロレンズを含む光学系において、２種以上の透過率の光学系を有している。例えば、あるマイクロレンズを通過した光に基づいて撮像された要素画像と、他のマイクロレンズを通過した光に基づいて撮像された要素画像とでは、撮像に際して光が通過した光学系の光の透過率が異なる場合がある。このような画像撮像部によって撮像されたライトフィールド画像を用いることによって、ダイナミックレンジがより広い画像を、より簡易な装置によって生成することが可能となる。以下、本実施形態の画像撮像装置についてより詳細に説明する。[Summary]
The image capturing apparatus according to the present embodiment includes an image capturing unit that captures a light field image. The image pickup unit has two or more types of optical systems in an optical system including a main lens and a microlens. For example, in an element image captured based on light that has passed through a certain microlens and an element image captured based on light that has passed through another microlens, transmission of light of an optical system through which light has passed during imaging The rate may be different. By using the light field image captured by such an image capturing unit, an image having a wider dynamic range can be generated by a simpler device. Hereinafter, the image capturing apparatus of the present embodiment will be described in more detail.
[第一実施形態]
図１は、画像撮像装置の第一実施形態（画像撮像装置１０）の機能構成を示す概略ブロック図である。画像撮像装置１０は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備える。画像撮像装置１０のＣＰＵは、画像撮像装置１０のメモリに予め記憶されている画像補正プログラムを実行する。ＣＰＵが画像補正プログラムを実行することによって、画像撮像装置１０は、画像撮像部１０１、マイクロレンズ画像取得部１０２、補正対象画素検出部１０３、代替画素取得部１０４及び補正部１０５を備える装置として機能する。なお、画像撮像装置１０の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。画像補正プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。画像補正プログラムは、電気通信回線を介して送信されてもよい。[First embodiment]
FIG. 1 is a schematic block diagram illustrating a functional configuration of a first embodiment (image capturing apparatus 10) of an image capturing apparatus. The image capturing apparatus 10 includes a CPU (Central Processing Unit), a memory, an auxiliary storage device, and the like connected by a bus. The CPU of the image capturing apparatus 10 executes an image correction program stored in advance in the memory of the image capturing apparatus 10. When the CPU executes the image correction program, the image capturing apparatus 10 functions as an apparatus including the image capturing unit 101, the microlens image acquisition unit 102, the correction target pixel detection unit 103, the alternative pixel acquisition unit 104, and the correction unit 105. To do. Note that all or a part of each function of the image capturing apparatus 10 may be realized by using hardware such as an application specific integrated circuit (ASIC), a programmable logic device (PLD), or a field programmable gate array (FPGA). . The image correction program may be recorded on a computer-readable recording medium. The computer-readable recording medium is, for example, a portable medium such as a flexible disk, a magneto-optical disk, a ROM, a CD-ROM, or a storage device such as a hard disk built in the computer system. The image correction program may be transmitted via a telecommunication line.
画像撮像部１０１は、ライトフィールド画像を撮像する。ライトフィールド画像は、同一の被写体を僅かに位置が異なる複数のマイクロレンズを介して撮像された複数の要素画像（以下「マイクロレンズ画像」という。）によって形成される画像である。 The image capturing unit 101 captures a light field image. The light field image is an image formed by a plurality of element images (hereinafter referred to as “microlens images”) obtained by imaging the same subject through a plurality of microlenses slightly different in position.
図２は、第一実施形態の画像撮像部１０１の具体例を示す図である。第一実施形態の画像撮像部１０１は、メインレンズ２０１、マイクロレンズアレイ２０２及び受光部２０３を備える。メインレンズ２０１は、マイクロレンズアレイ２０２に備えられる個々のマイクロレンズ２０４よりも径が大きいレンズである。メインレンズ２０１は、被写体の表面で反射した光と被写体から発せられた光とを受光部２０３上に結像させる。マイクロレンズアレイ２０２は、複数のマイクロレンズ２０４（例えば２０４−１、２０４−２）を備える。マイクロレンズアレイ２０２に備えられるマイクロレンズ２０４の透過率の値には、２種類以上の値がある。すなわち、マイクロレンズアレイ２０２に備えられるマイクロレンズ２０４には、ａという値の透過率を有するマイクロレンズ２０４−１と、ａとは異なるｂという値の透過率を有するマイクロレンズ２０４−２とがある。例えば、マイクロレンズ２０４は、縦方向又は横方向に隣接する他のマイクロレンズ２０４と異なる透過率を有するように配置されてもよい。例えば、マイクロレンズ２０４は、縦方向及び横方向に隣接する他のマイクロレンズ２０４と異なる透過率を有するように配置されてもよい。なお、透過率の種類は２種類以上であればいくつであってもよい。受光部２０３は、マイクロレンズアレイ２０２を介してメインレンズ２０１によって結像された光の像を撮影する。受光部２０３には、画素に応じた複数の撮像素子が配置されている。受光部２０３によって撮像された画像は、ライトフィールド画像として出力される。 FIG. 2 is a diagram illustrating a specific example of the image capturing unit 101 according to the first embodiment. The image capturing unit 101 of the first embodiment includes a main lens 201, a microlens array 202, and a light receiving unit 203. The main lens 201 is a lens having a larger diameter than the individual microlenses 204 provided in the microlens array 202. The main lens 201 forms an image on the light receiving unit 203 with light reflected from the surface of the subject and light emitted from the subject. The microlens array 202 includes a plurality of microlenses 204 (for example, 204-1 and 204-2). There are two or more types of transmittance values of the microlens 204 provided in the microlens array 202. That is, the microlens 204 provided in the microlens array 202 includes a microlens 204-1 having a transmittance of a and a microlens 204-2 having a transmittance of b different from a. . For example, the microlens 204 may be arranged to have a different transmittance from other microlenses 204 adjacent in the vertical direction or the horizontal direction. For example, the microlens 204 may be arranged to have a different transmittance from the other microlenses 204 adjacent in the vertical direction and the horizontal direction. Note that the number of transmittances may be any number as long as it is two or more. The light receiving unit 203 captures an image of light formed by the main lens 201 via the microlens array 202. In the light receiving unit 203, a plurality of image sensors corresponding to the pixels are arranged. An image captured by the light receiving unit 203 is output as a light field image.
マイクロレンズ画像取得部１０２は、画像撮像部１０１によって入力されたライトフィールド画像から、複数のマイクロレンズ画像を取得する。マイクロレンズ画像取得部１０２は、取得されたマイクロレンズ画像毎に独立した画像座標系を設定する。 The microlens image acquisition unit 102 acquires a plurality of microlens images from the light field image input by the image capturing unit 101. The microlens image acquisition unit 102 sets an independent image coordinate system for each acquired microlens image.
補正対象画素検出部１０３は、各マイクロレンズ画像の各画素において、輝度値が補正対象となる所定の条件を満たしているか否か判定する。所定の条件とは、ダイナミックレンジの影響により、そのマイクロレンズ画像において輝度値が偏ってしまっている領域の画素であることを示す条件である。所定の条件は、例えば、白とびと呼ばれる現象が生じていることを示す条件や、黒潰れと呼ばれる現象が生じていることを示す条件である。 The correction target pixel detection unit 103 determines whether or not the luminance value satisfies a predetermined condition to be corrected in each pixel of each microlens image. The predetermined condition is a condition indicating a pixel in a region where the luminance value is biased in the microlens image due to the influence of the dynamic range. The predetermined condition is, for example, a condition indicating that a phenomenon called overexposure occurs, or a condition indicating that a phenomenon called blackout occurs.
より具体的には、所定の条件は、例えば各画素の輝度値が第１閾値以上の値又は第２閾値以下の値であることである。この場合、第１閾値は第２閾値よりも大きい値である。画素の輝度値が例えば０〜２５５の値を取り得る場合、第１閾値は“２５０”、第２閾値は“５”であってもよい。第１閾値及び第２閾値は動的に変化してもよい。例えばマイクロレンズ画像毎に輝度値の統計値（例えば偏差）に基づいて輝度値が偏っていると認められる領域の輝度値が閾値として設定されてもよい。 More specifically, the predetermined condition is, for example, that the luminance value of each pixel is a value equal to or higher than the first threshold value or a value equal to or lower than the second threshold value. In this case, the first threshold value is larger than the second threshold value. When the luminance value of the pixel can take a value of, for example, 0 to 255, the first threshold value may be “250” and the second threshold value may be “5”. The first threshold and the second threshold may change dynamically. For example, the luminance value of an area where the luminance value is recognized to be biased based on a statistical value (for example, deviation) of the luminance value for each microlens image may be set as the threshold value.
所定の条件の他の具体例として、周波数成分に関する条件がある。例えば、マイクロレンズ画像において周波数成分が所定の閾値よりも低い領域の画素であることが所定の条件であってもよい。このように周波数成分が低い領域は、白とび又は黒潰れによって輝度変化の乏しい領域になっている可能性があるためである。 As another specific example of the predetermined condition, there is a condition regarding a frequency component. For example, the predetermined condition may be a pixel in a region where the frequency component is lower than a predetermined threshold in the microlens image. This is because the region with a low frequency component may be a region where the luminance change is poor due to overexposure or blackout.
補正対象画素検出部１０３は、所定の条件を満たした画素を、補正対象画素として検出する。補正対象画素検出部１０３は、このように補正対象画素を検出する処理を、全てのマイクロレンズ画像に対して実行する。 The correction target pixel detection unit 103 detects a pixel that satisfies a predetermined condition as a correction target pixel. The correction target pixel detection unit 103 performs the process of detecting the correction target pixel in this way on all the microlens images.
代替画素取得部１０４は、補正対象画素検出部１０３によって検出された補正対象画素毎に、１又は複数の代替画素を取得する。代替画素は、補正対象画素とは異なるマイクロレンズ画像に含まれる画素であって、補正対象画素に写っている被写体と同じ被写体が写っている画素である。ライトフィールド画像では、各マイクロレンズ画像は、近隣に配置された他のマイクロレンズ画像との間で、互いに重複した範囲の被写体の画像を有している。そのため、複数のマイクロレンズ画像についてステレオマッチングを行うことによって、同一の被写体が写っている画素（以下「代替画素」という。）を示す情報を取得することが可能である。なお、ステレオマッチング処理にはどのような手法が適用されてもよい。ステレオマッチングに用いられる対応評価指標は、輝度の変化に頑健なNomalized Cross Correlation（ＮＣＣ）であってもよいし、これに類する他の方法であってもよい。 The replacement pixel acquisition unit 104 acquires one or a plurality of replacement pixels for each correction target pixel detected by the correction target pixel detection unit 103. The substitute pixel is a pixel included in a microlens image different from the correction target pixel, and is a pixel in which the same subject as the subject shown in the correction target pixel is shown. In the light field image, each microlens image has an image of the subject in an overlapping range with another microlens image arranged in the vicinity. Therefore, by performing stereo matching on a plurality of microlens images, it is possible to acquire information indicating pixels (hereinafter referred to as “alternative pixels”) in which the same subject is captured. Note that any method may be applied to the stereo matching process. The correspondence evaluation index used for stereo matching may be Normalized Cross Correlation (NCC) that is robust against changes in luminance, or other similar methods.
なお、厳密には各代替画素にはそれぞれ異なる方向の光線が集光している。しかしながら、各マイクロレンズ画像は非常に密に配置されているため、各マイクロレンズ画像の代替画素に関する光線はほぼ同一であると仮定できる。そのため、もしも同一の透過率をもつレンズを介した場合、各代替画素は同じ輝度値を持つと仮定できる。 Strictly speaking, light beams in different directions are collected on each substitute pixel. However, since each microlens image is very densely arranged, it can be assumed that the light rays for the alternative pixels of each microlens image are substantially the same. Therefore, if the lenses having the same transmittance are used, it can be assumed that the alternative pixels have the same luminance value.
補正部１０５は、補正対象画素の輝度値を代替画素の輝度値に基づいて補正する。例えば、補正部１０５は、補正対象画素の輝度値を、代替画素の輝度値に置き換えることによって補正してもよい。例えば、補正部１０５は、補正対象画素の輝度値を以下のような式１に基づいて補正してもよい。 The correction unit 105 corrects the luminance value of the correction target pixel based on the luminance value of the alternative pixel. For example, the correction unit 105 may perform correction by replacing the luminance value of the correction target pixel with the luminance value of the alternative pixel. For example, the correction unit 105 may correct the luminance value of the correction target pixel based on Equation 1 below.
Ｐ＝Ｐ１×ａ＋Ｐ２×ｂ ・・・（式１）
ａ＋ｂ＝１ ・・・（式２）
Ｐ：補正後の輝度値
Ｐ１：補正対象画素の補正前の輝度値
Ｐ２：代替画素の輝度値
ａ：補正対象画素の輝度値に対する重み
ｂ：代替画素の輝度値に対する重みP = P1 * a + P2 * b (Formula 1)
a + b = 1 (Formula 2)
P: luminance value after correction P1: luminance value before correction of the correction target pixel P2: luminance value of the alternative pixel a: weight for the luminance value of the correction target pixel b: weight for the luminance value of the alternative pixel
このような処理によって、ダイナミックレンジが適切ではないために白とび又は黒潰れしてしまった画素の輝度値が、より適切なダイナミックレンジで取得された輝度値に補正される。補正部１０５は、補正対象画素検出部１０３によって検出された全ての補正対象画素に対して補正処理を行うことによって、ライトフィールド画像に対してＨＤＲ処理を実行する。 By such processing, the luminance value of the pixel that is overexposed or blacked out because the dynamic range is not appropriate is corrected to the luminance value acquired in a more appropriate dynamic range. The correction unit 105 performs HDR processing on the light field image by performing correction processing on all the correction target pixels detected by the correction target pixel detection unit 103.
補正部１０５が実行する補正処理に関してさらに説明する。画像撮像部１０１によって撮像が行われる際、複数種の透過率のマイクロレンズによるマイクロレンズ画像が撮像される。そのため、例えばあるマイクロレンズ画像において被写体が白とびにより観測されていないとしても、異なる透過率を有するマイクロレンズの画像では、同じ被写体が観測されている場合がある。そのため、あるマイクロレンズ画像において白とびが発生していたとしても、代替画素が他のマイクロレンズ画像の画素として検出されていれば、白とびしていない画素の輝度値を用いて補正できる。 The correction process executed by the correction unit 105 will be further described. When an image is picked up by the image pickup unit 101, a microlens image is picked up by microlenses having a plurality of types of transmittance. Therefore, for example, even if a subject is not observed due to overexposure in a certain microlens image, the same subject may be observed in an image of a microlens having different transmittances. For this reason, even if an overexposure occurs in a certain microlens image, it can be corrected using the luminance value of the nonexcessive pixel if the alternative pixel is detected as a pixel in another microlens image.
図３〜図６は、補正処理の具体例を示す図である。図３は、平面の被写体モデルを示す。図４は、白とびや黒つぶれが生じることなく得られたマイクロレンズ画像の具体例を示す図である。図５は、白とびの補正の具体例を示す図である。図６は、黒潰れの補正の具体例を示す図である。 3 to 6 are diagrams illustrating specific examples of the correction process. FIG. 3 shows a planar subject model. FIG. 4 is a diagram illustrating a specific example of a microlens image obtained without whiteout or blackout. FIG. 5 is a diagram showing a specific example of overexposure correction. FIG. 6 is a diagram illustrating a specific example of blackout correction.
図４には、２つのマイクロレンズ画像２０（２０−１及び２０−２）が示されている。マイクロレンズ画像２０−１には、被写体モデルのうち“あいう”が写っている。マイクロレンズ画像２０−２には、被写体モデルのうち“あいう”と“え”の一部が写っている。マイクロレンズ画像２０−１の画素２１１には、文字“あ”の左上部分が写っている。マイクロレンズ画像２０−２において、マイクロレンズ画像２０−１の画素２１１に写っている被写体と同じ被写体が写っている画素は、画素２１２である。そのため、もしマイクロレンズ画像２０−１の画素２１１が補正対象画素であった場合、マイクロレンズ画像２０−２の画素２１２は代替画素の一つである。実際には、画素２１１に写っている被写体と同じ被写体が写っている画素を有するマイクロレンズ画像２０は３つ以上存在する場合もある。そのため、代替画素は一つとは限られない。 In FIG. 4, two microlens images 20 (20-1 and 20-2) are shown. In the microlens image 20-1, “something” of the subject model is shown. In the microlens image 20-2, a part of “yes” and “e” in the subject model is shown. In the pixel 211 of the microlens image 20-1, the upper left portion of the character “A” is shown. In the microlens image 20-2, a pixel in which the same subject as that in the pixel 211 of the microlens image 20-1 is shown is a pixel 212. Therefore, if the pixel 211 of the microlens image 20-1 is a correction target pixel, the pixel 212 of the microlens image 20-2 is one of the alternative pixels. Actually, there may be three or more microlens images 20 having pixels in which the same subject as the subject in the pixel 211 is shown. Therefore, the number of alternative pixels is not limited to one.
図５には、２つのマイクロレンズ画像２０（２０−３及び２０−４）が示されている。マイクロレンズ画像２０−３は、被写体モデルとマイクロレンズとの相対的な位置関係が図４におけるマイクロレンズ画像２０−１と同じである。マイクロレンズ画像２０−４は、被写体モデルとマイクロレンズとの相対的な位置関係が図４におけるマイクロレンズ画像２０−２と同じである。そのため、マイクロレンズ画像２０−３には、被写体モデルのうち“あいう”が本来なら写っているはずである。同様に、マイクロレンズ画像２０−４には、被写体モデルのうち“あいう”と“え”の一部が本来なら写っているはずである。しかしながら、マイクロレンズ画像２０−３が撮影された際に光が通過したマイクロレンズ２０４の透過率は、マイクロレンズ画像２０−４が撮影された際に光が通過したマイクロレンズ２０４の透過率よりも高い。そのため、マイクロレンズ画像２０−３は、マイクロレンズ画像２０−４よりも明るい画像として生成されている。その結果、マイクロレンズ画像２０−３では“あ”が白とびにより写っていないのに対し、マイクロレンズ画像２０−４では“あ”が白とびすることなく写っている。そのため、マイクロレンズ画像２０−３において“あ”が表されているべき領域２２１の画素（補正対象画素）を、マイクロレンズ画像２０−４において“あ”が表されている領域２２２の画素（代替画素）を用いて補正することによって、マイクロレンズ画像２０−３において“あ”の文字を復元することができる。 In FIG. 5, two microlens images 20 (20-3 and 20-4) are shown. In the microlens image 20-3, the relative positional relationship between the subject model and the microlens is the same as the microlens image 20-1 in FIG. The microlens image 20-4 has the same relative positional relationship between the subject model and the microlens as the microlens image 20-2 in FIG. Therefore, in the microlens image 20-3, “That” out of the subject model should be reflected. Similarly, in the microlens image 20-4, a part of “That” and “E” in the subject model should be originally visible. However, the transmittance of the microlens 204 through which light passes when the microlens image 20-3 is photographed is higher than the transmittance of the microlens 204 through which light passes when the microlens image 20-4 is photographed. high. Therefore, the microlens image 20-3 is generated as an image brighter than the microlens image 20-4. As a result, in the microlens image 20-3, “A” is not captured by overexposure, whereas in the microlens image 20-4, “A” is captured without overexposure. Therefore, the pixel (correction target pixel) in the region 221 where “A” should be represented in the microlens image 20-3 is replaced with the pixel (substitute) in the region 222 where “A” is represented in the microlens image 20-4. The character “A” can be restored in the microlens image 20-3.
図６には、２つのマイクロレンズ画像２０（２０−５及び２０−６）が示されている。マイクロレンズ画像２０−５は、被写体モデルとマイクロレンズとの相対的な位置関係が図４におけるマイクロレンズ画像２０−１と同じである。マイクロレンズ画像２０−６は、被写体モデルとマイクロレンズとの相対的な位置関係が図４におけるマイクロレンズ画像２０−２と同じである。そのため、マイクロレンズ画像２０−５には、被写体モデルのうち“あいう”が本来なら写っているはずである。同様に、マイクロレンズ画像２０−６には、被写体モデルのうち“あいう”と“え”の一部が本来なら写っているはずである。しかしながら、マイクロレンズ画像２０−５が撮影された際に光が通過したマイクロレンズ２０４の透過率は、マイクロレンズ画像２０−６が撮影された際に光が通過したマイクロレンズ２０４の透過率よりも低い。そのため、マイクロレンズ画像２０−５は、マイクロレンズ画像２０−６よりも暗い画像として生成されている。その結果、マイクロレンズ画像２０−５では“う”が黒潰れにより写っていないのに対し、マイクロレンズ画像２０−６では“う”が黒潰れすることなく写っている。そのため、マイクロレンズ画像２０−５において“う”が表されているべき領域２３１の画素（補正対象画素）を、マイクロレンズ画像２０−６において“う”が表されている領域２３２の画素（代替画素）を用いて補正することによって、マイクロレンズ画像２０−５において“う”の文字を復元することができる。 In FIG. 6, two microlens images 20 (20-5 and 20-6) are shown. The microlens image 20-5 has the same relative positional relationship between the subject model and the microlens as the microlens image 20-1 in FIG. The microlens image 20-6 has the same relative positional relationship between the subject model and the microlens as the microlens image 20-2 in FIG. For this reason, in the microlens image 20-5, “That” of the subject model should be reflected. Similarly, in the microlens image 20-6, a part of “That” and “E” in the subject model should be originally visible. However, the transmittance of the microlens 204 through which light passes when the microlens image 20-5 is photographed is greater than the transmittance of the microlens 204 through which light passes when the microlens image 20-6 is photographed. Low. Therefore, the microlens image 20-5 is generated as an image darker than the microlens image 20-6. As a result, in the microlens image 20-5, “U” is not captured due to black crushing, whereas in the microlens image 20-6, “U” is captured without being blacked out. Therefore, the pixel (correction target pixel) in the region 231 where “U” should be represented in the microlens image 20-5 is replaced with the pixel (substitute) in the region 232 in which “U” is represented in the microlens image 20-6. The character “U” can be restored in the microlens image 20-5.
なお、本実施形態では単純な輝度値の置き換えなどの補正によってハイダイナミックレンジ画像を生成しているが、トーンマッピング等のヒストグラムを用いる方法によってハイダイナミックレンジ画像が生成されてもよい。 In the present embodiment, the high dynamic range image is generated by correction such as simple luminance value replacement, but the high dynamic range image may be generated by a method using a histogram such as tone mapping.
図７は、第一実施形態の画像撮像装置１０の処理の流れを示すフローチャートである。まず、画像撮像部１０１がライトフィールド画像を撮像する（ステップＳ１０１）。次に、マイクロレンズ画像取得部１０２は、画像撮像部１０１によって撮像された処理対象となるライトフィールド画像から、処理対象となるマイクロレンズ画像を抽出する（ステップＳ１０２）。次に、補正対象画素検出部１０３は、処理対象となるマイクロレンズ画像に含まれる画素の中から、補正対象画素を検出する（ステップＳ１０３）。次に、代替画素取得部１０４は、補正対象画素検出部１０３によって検出された補正対象画素毎に１又は複数の代替画素を検出する（ステップＳ１０４）。補正部１０５は、補正対象画素の輝度値を、代替画素の輝度値に基づいて補正することによってＨＤＲ処理を実行する（ステップＳ１０５）。補正部１０５は、補正処理が行われたライトフィールド画像を出力する。 FIG. 7 is a flowchart showing the flow of processing of the image capturing apparatus 10 of the first embodiment. First, the image capturing unit 101 captures a light field image (step S101). Next, the microlens image acquisition unit 102 extracts a microlens image to be processed from the light field image to be processed captured by the image capturing unit 101 (step S102). Next, the correction target pixel detection unit 103 detects a correction target pixel from pixels included in the microlens image to be processed (step S103). Next, the alternative pixel acquisition unit 104 detects one or a plurality of alternative pixels for each correction target pixel detected by the correction target pixel detection unit 103 (step S104). The correcting unit 105 executes the HDR process by correcting the luminance value of the correction target pixel based on the luminance value of the alternative pixel (step S105). The correction unit 105 outputs the light field image that has been subjected to the correction process.
このように構成された画像撮像装置１０では、ダイナミックレンジがより広い画像をより簡易な装置によって生成することが可能となる。このような効果について詳細に説明する。 In the image capturing apparatus 10 configured as described above, an image having a wider dynamic range can be generated by a simpler apparatus. Such an effect will be described in detail.
画像撮像装置１０では、一度の撮像で生成された一枚のライトフィールド画像を用いてＨＤＲ処理を実行することができる。そのため、動的なシーンが撮影されたライトフィールド画像に対してもＨＤＲ処理を実行することが可能である。 The image capturing apparatus 10 can execute the HDR processing using one light field image generated by one image capturing. Therefore, it is possible to execute the HDR process on the light field image in which a dynamic scene is captured.
また、画像撮像装置１０では、ＬＣｏＳ等の特殊な装置を必要としない。 Further, the image capturing device 10 does not require a special device such as LCoS.
また、画像撮像装置１０による撮像及び補正が行われたライトフィールド画像を用いて再構築画像を生成することによって、ダイナミックレンジがより広い画像を簡易な装置によって生成することが可能となる。すなわち、補正処理が行われたライトフィールド画像を用いて再構築画像を生成する際には、特殊な装置は必要ではなく、ライトフィールド画像から再構築画像を生成できる通常の装置があればよい。なお、再構築画像とは、１つの撮像用レンズ（メインレンズ）によって結像された場合の被写体を表す画像である。 Further, by generating a reconstructed image using a light field image that has been picked up and corrected by the image pickup device 10, an image with a wider dynamic range can be generated by a simple device. That is, when a reconstructed image is generated using a light field image that has been subjected to correction processing, a special device is not necessary, and a normal device that can generate a reconstructed image from a light field image may be used. Note that the reconstructed image is an image representing a subject when imaged by one imaging lens (main lens).
（変形例）
補正部１０５は、ケラレ効果を利用して補正処理を実行してもよい。この場合、補正部１０５は、画像撮像装置１０固有のケラレパラメータを予め記憶している。ケラレパラメータは、例えばケラレキャリブレーションを行うことによって、予め取得される。ケラレキャリブレーションでは、プレノプティックカメラによる被写体の撮影が行われる前に、白い紙や壁などの輝度が均一のものが撮影される。このような処理によって、プレノプティックカメラ毎に固有であるケラレのパラメータが事前に推定される。補正部１０５は、補正処理が行われるよりも前の時点で、ケラレパラメータを記憶している。(Modification)
The correction unit 105 may perform correction processing using the vignetting effect. In this case, the correction unit 105 stores in advance vignetting parameters unique to the image capturing apparatus 10. The vignetting parameter is acquired in advance, for example, by performing vignetting calibration. In vignetting calibration, a white paper or a wall with uniform brightness is photographed before the subject is photographed by the plenoptic camera. By such processing, vignetting parameters unique to each plenoptic camera are estimated in advance. The correction unit 105 stores the vignetting parameter at a time before the correction process is performed.
補正部１０５は、補正処理を行う際に、代替画素の輝度値に対してケラレパラ-メタに基づいて得られる重み（スケール）をかけあわせてもよい。このように構成されることによって、より自然な輝度値を有したライトフィールド画像を生成することが可能となる。 The correction unit 105 may multiply the luminance value of the alternative pixel by a weight (scale) obtained based on the vignetting parameter when performing the correction process. With this configuration, it is possible to generate a light field image having a more natural luminance value.
代替画素取得部１０４は、補正対象画素とは異なる要素画像に含まれる画素であって、補正対象画素に写っている被写体と同じ被写体が写っている画素のうち、補正対象画素の条件を満たさない画素のみを取得してもよい。このように構成されることによって、白とびや黒潰れが生じている画素を代替画素として取得することを抑止できる。そのため、被写体がより明確に写っている代替画素のみに基づいて補正を行うことによってより質の高いハイダイナミックレンジ画像を取得する事が可能となる。 The substitute pixel acquisition unit 104 is a pixel included in an element image different from the correction target pixel, and does not satisfy the condition of the correction target pixel among pixels including the same subject as the subject in the correction target pixel. Only pixels may be acquired. With such a configuration, it is possible to suppress acquisition of a pixel in which overexposure or blackout occurs as an alternative pixel. Therefore, it is possible to acquire a higher quality high dynamic range image by performing correction based only on the alternative pixels in which the subject is clearly shown.
[第二実施形態]
図８は、画像撮像装置の第二実施形態（画像撮像装置１０ａ）の機能構成を示す概略ブロック図である。画像撮像装置１０ａは、画像撮像部１０１に代えて画像撮像部１０１ａを備える点、マスク制御部１１１をさらに備える点、において第一実施形態の画像撮像装置１０と異なる。画像撮像装置１０ａの残る構成は、第一実施形態の画像撮像装置１０と同じである。[Second Embodiment]
FIG. 8 is a schematic block diagram illustrating a functional configuration of the second embodiment (image capturing device 10a) of the image capturing device. The image capturing device 10a is different from the image capturing device 10 of the first embodiment in that the image capturing unit 101a is replaced with the image capturing unit 101a and the mask control unit 111 is further included. The remaining configuration of the image capturing apparatus 10a is the same as that of the image capturing apparatus 10 of the first embodiment.
図９は、第二実施形態の画像撮像部１０１ａの構成を示す図である。第二実施形態の画像撮像部１０１ａは、マスクアレイ２０５を備える点で第一実施形態の画像撮像部１０１と異なる。マスクアレイ２０５は、メインレンズ２０１とマイクロレンズアレイ２０２との間に設けられる。マスクアレイ２０５は、複数のマスクユニット２０６を備える。各マスクユニット２０６は、自身の透過率を変化させることが可能である。例えば、マスクユニット２０６は、液晶シャッターを用いて構成されてもよい。各マスクユニット２０６は、１又は複数のマイクロレンズ２０４に対応付けて配置される。マスクユニット２０６が透過率を変化させることにより、そのマスクユニット２０６に対応付けられたマイクロレンズ２０４に到達する光の量が変化する。 FIG. 9 is a diagram illustrating a configuration of the image capturing unit 101a of the second embodiment. The image capturing unit 101a of the second embodiment is different from the image capturing unit 101 of the first embodiment in that a mask array 205 is provided. The mask array 205 is provided between the main lens 201 and the microlens array 202. The mask array 205 includes a plurality of mask units 206. Each mask unit 206 can change its own transmittance. For example, the mask unit 206 may be configured using a liquid crystal shutter. Each mask unit 206 is arranged in association with one or a plurality of microlenses 204. As the mask unit 206 changes the transmittance, the amount of light reaching the microlens 204 associated with the mask unit 206 changes.
マスク制御部１１１は、マスクユニット２０６毎に、その透過率の値を制御する。以下、マスク制御部１１１が行う処理の具体例について説明する。 The mask control unit 111 controls the transmittance value for each mask unit 206. Hereinafter, a specific example of processing performed by the mask control unit 111 will be described.
（第一手法）
マスク制御部１１１は、マスクユニット２０６に対応付けられたマイクロレンズ画像に関して、マスクユニット２０６が取りうる各透過率での補正対象画素の総数を判定する。マスク制御部１１１は、最も補正対象画素の数が少ない透過率を、処理対象となっているマスクユニット２０６の透過率として決定する。(First method)
The mask control unit 111 determines the total number of pixels to be corrected at each transmittance that the mask unit 206 can take with respect to the microlens image associated with the mask unit 206. The mask control unit 111 determines the transmittance with the smallest number of correction target pixels as the transmittance of the mask unit 206 that is the processing target.
（第二手法）
マスク制御部１１１は、マスクユニット２０６に対応付けられたマイクロレンズ画像に関して、他のマイクロレンズ画像に対する代替画素を検出する。マスク制御部１１１は、マスクユニット２０６が取りうる各透過率において、所定の条件を満たさない代替画素の総数を判定する。マスク制御部１１１は、所定の条件を満たさない代替画素の総数が最も少ない透過率を、処理対象となっているマスクユニット２０６の透過率として決定する。マスク制御部１１１は、このような処理を全てのマスクユニット２０６について実行する。マスク制御部１１１は、少なくとも１回以上このような処理を実行することによって透過率を決定する。マスク制御部１１１は、このような処理を所定の回数繰り返し実行した時点の透過率を最終的な透過率として決定してもよい。
以上で、マスク制御部１１１が行う処理の具体例についての説明を終える。(Second method)
The mask control unit 111 detects a substitute pixel for another microlens image with respect to the microlens image associated with the mask unit 206. The mask control unit 111 determines the total number of alternative pixels that do not satisfy a predetermined condition for each transmittance that the mask unit 206 can take. The mask control unit 111 determines the transmittance with the smallest total number of alternative pixels that do not satisfy the predetermined condition as the transmittance of the mask unit 206 that is the processing target. The mask control unit 111 executes such processing for all the mask units 206. The mask control unit 111 determines the transmittance by executing such processing at least once. The mask control unit 111 may determine the transmittance at the time when such processing is repeatedly executed a predetermined number of times as the final transmittance.
This is the end of the description of the specific example of the process performed by the mask control unit 111.
図１０は、第二実施形態の画像撮像装置１０ａの処理の流れを示すフローチャートである。まず、マスク制御部１１１が、画像撮像部１０１によって予備撮影された画像に基づいて、マスクアレイ２０５の透過率を制御する（ステップＳ１１０）。その後、画像撮像部１０１ａが、マスクアレイ２０５によって決定された透過率のマスクアレイ２０５を用いてライトフィールド画像を撮像する（ステップＳ１０１）。ステップＳ１０２以降の処理は第一実施形態と同じであるため説明を省く。 FIG. 10 is a flowchart illustrating a processing flow of the image capturing apparatus 10a according to the second embodiment. First, the mask control unit 111 controls the transmittance of the mask array 205 based on the image preliminarily captured by the image capturing unit 101 (step S110). Thereafter, the image capturing unit 101a captures a light field image using the mask array 205 having the transmittance determined by the mask array 205 (step S101). Since the processing after step S102 is the same as that of the first embodiment, a description thereof will be omitted.
このように構成された画像撮像装置１０ａでも、第一実施形態と同様の効果を奏することができる。特に第二実施形態の画像撮像装置１０ａでは、受光部２０３に到達する光の量がマスクアレイ２０５によって動的に変更される。また、マスクアレイ２０５には複数のマスクユニット２０６があり、マスクユニット２０６毎に透過率が変更される。そのため、より適切な輝度値を有したマイクロレンズ画像を取得することが可能となる。その結果、より精度のよいＨＤＲ処理を実行することが可能となる。 The image capturing apparatus 10a configured as described above can achieve the same effects as those of the first embodiment. In particular, in the image capturing apparatus 10 a of the second embodiment, the amount of light reaching the light receiving unit 203 is dynamically changed by the mask array 205. The mask array 205 includes a plurality of mask units 206, and the transmittance is changed for each mask unit 206. Therefore, it is possible to acquire a microlens image having a more appropriate luminance value. As a result, it is possible to execute more accurate HDR processing.
（変形例）
マスクアレイは、マイクロレンズアレイと受光部との間に設けられてもよい。この場合、マスクユニットが透過率を変化させることにより、そのマスクユニットに対応付けられたマイクロレンズアレイを通過して受光部に到達する光の量が変化する。(Modification)
The mask array may be provided between the microlens array and the light receiving unit. In this case, when the mask unit changes the transmittance, the amount of light that passes through the microlens array associated with the mask unit and reaches the light receiving unit changes.
マスクアレイは、一部のマイクロレンズに対応付けられたマスクユニットが存在しないように構成されてもよい。この場合、マスクユニットが存在しない部分に配置されたマイクロレンズには、メインレンズを通過した光がマスクユニットを通過することなく到達する。 The mask array may be configured such that there are no mask units associated with some microlenses. In this case, the light that has passed through the main lens reaches the microlens arranged in the portion where the mask unit does not exist without passing through the mask unit.
第一手法において、透過率を決定する基準は“最も補正対象画素の数が少ない透過率”に限定される必要は無い。例えば、マスク制御部１１１は以下のように動作してもよい。
マスク制御部１１１は、マスクユニット２０６に対応付けられたマイクロレンズ画像に関して、マスクユニット２０６が取り得る各透過率でのマイクロレンズ画像に属する全ての画素の輝度値のヒストグラムを取得する。マスク制御部１１１は、取得されたヒストグラムに基づいて、処理対象となっているマスクユニット２０６の透過率を決定してもよい。例えば、マスク制御部１１１は、ヒストグラムの度数の最大値や偏りが最も中央（輝度値の取り得る値の中央）にくるような透過率を、処理対象となっているマスクユニット２０６の透過率として決定してもよい。
マスク制御部１１１は、マスクユニット２０６に対応付けられたマイクロレンズ画像に関して、マスクユニット２０６が取り得る各透過率でのマイクロレンズ画像に属する全ての画素の輝度値の平均値を取得する。マスク制御部１１１は、平均値が輝度値の中央値（例えば輝度値が０〜２５５である場合には１２８）に最も近づくときの透過率を、処理対象となっているマスクユニット２０６の透過率として決定してもよい。
第二実施形態の画像撮像装置１０ａは、第一実施形態の画像撮像装置１０と同様に変形されてもよい。In the first method, the criterion for determining the transmittance need not be limited to “the transmittance with the smallest number of pixels to be corrected”. For example, the mask control unit 111 may operate as follows.
The mask control unit 111 acquires a histogram of luminance values of all pixels belonging to the microlens image at each transmittance that can be taken by the mask unit 206 with respect to the microlens image associated with the mask unit 206. The mask control unit 111 may determine the transmittance of the mask unit 206 to be processed based on the acquired histogram. For example, the mask control unit 111 sets the transmittance such that the maximum value or bias of the histogram frequency is at the center (the center of the possible values of the luminance value) as the transmittance of the mask unit 206 to be processed. You may decide.
For the microlens image associated with the mask unit 206, the mask control unit 111 acquires an average value of luminance values of all the pixels belonging to the microlens image at each transmittance that the mask unit 206 can take. The mask control unit 111 sets the transmittance when the average value is closest to the median value of the luminance values (for example, 128 when the luminance value is 0 to 255) as the transmittance of the mask unit 206 to be processed. May be determined as
The image capturing device 10a of the second embodiment may be modified similarly to the image capturing device 10 of the first embodiment.
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes designs and the like that do not depart from the gist of the present invention.
１０…画像撮像装置， １０１，１０１ａ…画像撮像部， １０２…マイクロレンズ画像取得部， １０３…補正対象画素検出部， １０４…代替画素取得部， １０５…補正部， １１１…マスク制御部， ２０…マイクロレンズ画像， ２０１…メインレンズ， ２０２…マイクロレンズアレイ， ２０３…受光部， ２０４…マイクロレンズ， ２０５…マスクアレイ， ２０６…マスクユニットDESCRIPTION OF SYMBOLS 10 ... Image pick-up apparatus, 101, 101a ... Image pick-up part, 102 ... Micro lens image acquisition part, 103 ... Correction object pixel detection part, 104 ... Alternative pixel acquisition part, 105 ... Correction part, 111 ... Mask control part, 20 ... Microlens image, 201 ... main lens, 202 ... microlens array, 203 ... light receiving unit, 204 ... microlens, 205 ... mask array, 206 ... mask unit
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015122074AJP6348883B2 (en) | 2015-06-17 | 2015-06-17 | Image capturing apparatus, image capturing method, and computer program |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015122074AJP6348883B2 (en) | 2015-06-17 | 2015-06-17 | Image capturing apparatus, image capturing method, and computer program |
| Publication Number | Publication Date |
|---|---|
| JP2017011364A JP2017011364A (en) | 2017-01-12 |
| JP6348883B2true JP6348883B2 (en) | 2018-06-27 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015122074AActiveJP6348883B2 (en) | 2015-06-17 | 2015-06-17 | Image capturing apparatus, image capturing method, and computer program |
| Country | Link |
|---|---|
| JP (1) | JP6348883B2 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017170392A1 (en)* | 2016-03-30 | 2017-10-05 | 株式会社ニコン | Optical device |
| JP7276120B2 (en)* | 2019-12-25 | 2023-05-18 | セイコーエプソン株式会社 | Display device control method and display device |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6045208B2 (en)* | 2012-06-13 | 2016-12-14 | オリンパス株式会社 | Imaging device |
| JP6123341B2 (en)* | 2013-02-19 | 2017-05-10 | カシオ計算機株式会社 | Image processing apparatus, imaging apparatus, image processing method, and program |
| JP6369016B2 (en)* | 2013-11-28 | 2018-08-08 | 株式会社ニコン | Imaging device and imaging apparatus |
| Publication number | Publication date |
|---|---|
| JP2017011364A (en) | 2017-01-12 |
| Publication | Publication Date | Title |
|---|---|---|
| US9699387B2 (en) | Image processing device for processing pupil-divided images obtained through different pupil regions of an imaging optical system, control method thereof, and program | |
| JP4466015B2 (en) | Image processing apparatus and image processing program | |
| JP6833415B2 (en) | Image processing equipment, image processing methods, and programs | |
| JP2004343519A (en) | Imaging device and image processing device | |
| US20180182075A1 (en) | Image processing apparatus, image capturing apparatus, method of image processing, and storage medium | |
| US9071766B2 (en) | Image capturing apparatus and control method thereof | |
| JP6412386B2 (en) | Image processing apparatus, control method therefor, program, and recording medium | |
| JP5882789B2 (en) | Image processing apparatus, image processing method, and program | |
| JP6353233B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
| JP7479831B2 (en) | Imaging device, control method thereof, and program | |
| JPWO2012086127A1 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
| JP2015032966A (en) | Image processing apparatus, imaging apparatus, control method, and program | |
| JP6552325B2 (en) | Imaging device, control method of imaging device, and program | |
| US10972676B2 (en) | Image processing method and electronic device capable of optimizing hdr image by using depth information | |
| JP5782311B2 (en) | Imaging apparatus and control method thereof | |
| JP4419479B2 (en) | Image processing apparatus and image processing program | |
| JP6556033B2 (en) | Image processing apparatus, image processing method, and program | |
| JP6362070B2 (en) | Image processing apparatus, imaging apparatus, image processing method, program, and storage medium | |
| JP6348883B2 (en) | Image capturing apparatus, image capturing method, and computer program | |
| JP2017147568A (en) | Image processing apparatus, imaging apparatus, control method, and program | |
| JP4438363B2 (en) | Image processing apparatus and image processing program | |
| JP4668863B2 (en) | Imaging device | |
| JP4466017B2 (en) | Image processing apparatus and image processing program | |
| JP4466016B2 (en) | Image processing apparatus and image processing program | |
| JP7297566B2 (en) | Image processing device, imaging device, image processing method and program |
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20170626 | |
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20180220 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20180227 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20180419 | |
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20180529 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20180601 | |
| R150 | Certificate of patent or registration of utility model | Ref document number:6348883 Country of ref document:JP Free format text:JAPANESE INTERMEDIATE CODE: R150 |