【０００１】[0001]
【発明の属する技術分野】本発明は、マルチバンド画像
を処理し画像を形成する画像形成方法および装置に関す
る。The present invention relates to an image forming method and apparatus for processing a multiband image to form an image.
【０００２】[0002]
【従来の技術】近年、撮影技術の進歩により、撮影対象
の分光波形を実用上十分な精度で復元できる程度のチャ
ンネル数を有する撮影機（マルチバンドカメラ）が実用
化されつつある。これは、複数種類（多くは４種類以
上）の光を透過する複数の波長領域（マルチバンド）
で、被写体を撮影して複数の画像（マルチバンド画像）
を得るカメラである。前記撮影機は、ＣＣＤセンサと色
分解フィルタを主とした構成になっており、高速化、操
作性の観点から、色分解フィルタとして液晶チューナブ
ルフィルタが使用され始めている。2. Description of the Related Art In recent years, a photographing machine (multi-band camera) having a number of channels capable of restoring a spectral waveform of a photographing object with practically sufficient accuracy has been put into practical use with the advance of photographing technology. This is a plurality of wavelength regions (multi-band) that transmit a plurality of types (mostly four or more types) of light.
Then, take a picture of the subject and make multiple images (multi-band images)
Camera. The photographing apparatus mainly has a CCD sensor and a color separation filter, and a liquid crystal tunable filter has begun to be used as a color separation filter from the viewpoint of high speed and operability.
【０００３】[0003]
【発明が解決しようとする課題】しかしながら、前記従
来のようにＣＣＤセンサと液晶チューナブルフィルタを
主とした構成とするマルチバンドカメラでは、空間解像
力やラチチュードの問題がある。ここで、空間解像力の
問題とは、ＣＣＤの画素数の制限や液晶チューナブルフ
ィルタ、レンズ等の特性あるいはＣＣＤ自体のぼけ等の
原因によって、空間解像力が低下し、画像にぼけが生じ
るということである。また、ラチチュードの問題とは、
ＣＣＤのダイナミックレンジの制限（およそ実効で２桁
程度）に起因して、ラチチュード（撮影露光量域）が制
限され、狭くなるということである。However, a multiband camera having a configuration mainly including a CCD sensor and a liquid crystal tunable filter as described above has a problem of spatial resolution and latitude. Here, the problem of the spatial resolution is that the spatial resolution is reduced due to the limitation of the number of pixels of the CCD, the characteristics of the liquid crystal tunable filter and the lens, or the blur of the CCD itself, and the image is blurred. is there. Also, the problem of latitude is
Due to the limitation of the dynamic range (approximately two digits in effective) of the CCD, the latitude (imaging exposure area) is limited and narrowed.
【０００４】その結果、撮影で得られる画像の画質には
制限があり、例えばプロ写真分野等の高画質な画像が必
要とされる分野における画像ソースとしては不十分であ
った。また、広露光レンジの再現あるいは撮影ラチチュ
ードがある程度必要な場合においても不十分であった。
このように、上記従来タイプのマルチバンドカメラで
は、その画像情報には、様々な制限があり、高画質な画
像を得ることができないという問題があった。[0004] As a result, the image quality of an image obtained by photographing is limited, and is insufficient as an image source in a field where a high-quality image is required, such as a professional photography field. Further, even when reproduction of a wide exposure range or photographing latitude is required to some extent, it is insufficient.
As described above, in the above-described conventional type multi-band camera, there is a problem that the image information has various restrictions and a high-quality image cannot be obtained.
【０００５】本発明は、前記従来の問題に鑑みてなされ
たものであり、撮影装置による様々な画質上の制限を受
けず、高画質な画像を得ることのできる、マルチバンド
画像の画像処理方法および装置を提供することを課題と
する。The present invention has been made in view of the above-mentioned conventional problems, and is an image processing method for a multi-band image capable of obtaining a high-quality image without being limited by various kinds of image quality by a photographing apparatus. And an apparatus.
【０００６】[0006]
【課題を解決するための手段】前記課題を解決するため
に、本発明は、被写体をマルチバンドカメラで撮影する
際に、同一撮影波長領域で、被写体画像に対応する画素
の位置がそれぞれ異なるように複数枚撮影したマルチバ
ンド画像を処理し画像を形成する画像形成方法であっ
て、同一撮影波長領域で、被写体画像に対応する画素の
位置がそれぞれ所定量だけ異なるように複数枚撮影し
た、複数のマルチバンド画像を、より小さな標本間隔で
再標本化し、前記所定量を参照して、該再標本化された
複数のマルチバンド画像を合成することを特徴とする画
像形成方法を提供する。In order to solve the above-mentioned problems, the present invention provides a method for photographing a subject with a multi-band camera such that the positions of pixels corresponding to the subject image are different in the same photographing wavelength region. An image forming method for processing a multi-band image taken in a plurality of times to form an image, wherein a plurality of images are taken such that the positions of pixels corresponding to a subject image are different from each other by a predetermined amount in the same imaging wavelength region. Is resampled at smaller sampling intervals, and a plurality of resampled multiband images are synthesized with reference to the predetermined amount.
【０００７】また、前記複数のマルチバンド画像を合成
した後、該合成画像に対してシャープネス処理を行うこ
とが好ましい。It is preferable that, after synthesizing the plurality of multi-band images, a sharpness process is performed on the synthesized image.
【０００８】また、前記課題を解決するために、本発明
は、被写体をマルチバンドカメラで撮影する際に、同一
撮影波長領域で、被写体画像を異なる撮影露光量で複数
枚撮影したマルチバンド画像を処理し画像を形成する画
像形成方法であって、同一撮影露光量で、露光レンジが
一部重なり合うように被写体画像を異なる撮影露光量で
複数枚撮影した、複数のマルチバンド画像を、露光量ご
との入射光量とそのとき得られる画像信号値との特性を
参照して、信号強度方向に合成することを特徴とする画
像形成方法を提供する。In order to solve the above-mentioned problem, the present invention provides a multi-band image capturing apparatus which captures a plurality of images of a subject with different exposures in the same wavelength range when the subject is photographed by the multi-band camera. An image forming method for processing and forming an image, wherein a plurality of multi-band images are taken for each exposure amount by photographing a plurality of subject images at different imaging exposure amounts so that the exposure ranges partially overlap with each other at the same imaging exposure amount. The present invention provides an image forming method characterized by combining in the signal intensity direction with reference to the characteristics of the incident light amount and the image signal value obtained at that time.
【０００９】また、前記課題を解決するために、本発明
は、被写体をマルチバンドカメラで撮影する際に、同一
撮影波長領域で、被写体画像に対応する画素の位置がそ
れぞれ異なるようにして、かつ、異なる撮影露光量で複
数枚撮影したマルチバンド画像を処理し画像を形成する
画像形成方法であって、同一撮影波長領域で、被写体画
像に対応する画素の位置がそれぞれ所定量だけ異なるよ
うにして、かつ、露光レンジが一部重なり合うように被
写体画像を異なる撮影露光量で複数枚のマルチバンド画
像を撮影し、該複数のマルチバンド画像をより小さな標
本間隔で再標本化し、前記所定量を参照し、該再標本化
された複数のマルチバンド画像を合成するとともに、前
記複数のマルチバンド画像を、露光量ごとの入射光量と
そのとき得られる画像信号値との特性を参照して、信号
強度方向に合成することを特徴とする画像形成方法を提
供する。In order to solve the above-mentioned problems, the present invention provides a multi-band camera in which the positions of pixels corresponding to a subject image are different in the same photographing wavelength region, and An image forming method for processing a multi-band image photographed by a plurality of images with different photographing exposure amounts to form an image, wherein the positions of pixels corresponding to the subject image differ by a predetermined amount in the same photographing wavelength region. And, a plurality of multi-band images are photographed at different photographing exposure amounts of the subject image so that the exposure ranges partially overlap, and the plurality of multi-band images are resampled at a smaller sample interval, and refer to the predetermined amount. Then, the plurality of resampled multiband images are synthesized, and the plurality of multiband images are obtained by the amount of incident light for each exposure and at that time. With reference to characteristics of the image signal value, to provide an image forming method characterized by synthesizing the signal strength direction.
【００１０】また、前記課題を解決するために、本発明
は、被写体をマルチバンドカメラで撮影する際に、同一
撮影波長領域で、被写体画像に対応する画素の位置がそ
れぞれ異なるようにする手段を有する画像形成装置であ
って、同一撮影波長領域で、被写体画像に対応する画素
の位置がそれぞれ所定量だけ異なるように複数枚撮影し
た、複数のマルチバンド画像を、より小さな標本間隔で
再標本化する手段と、前記所定量を参照して、該再標本
化された複数のマルチバンド画像を合成する手段と、を
備えたことを特徴とする画像形成装置を提供する。In order to solve the above-mentioned problems, the present invention provides a means for making a position of a pixel corresponding to a subject image different in the same photographing wavelength region when the subject is photographed by a multi-band camera. Re-sampling a plurality of multi-band images at a smaller sample interval, wherein a plurality of multi-band images are shot in such a manner that the positions of the pixels corresponding to the subject images differ by a predetermined amount in the same shooting wavelength region. And a means for combining the resampled multiband images with reference to the predetermined amount.
【００１１】また、同様に前記課題を解決するために、
本発明は、被写体をマルチバンドカメラで撮影する際
に、同一撮影波長領域で、被写体画像を異なる撮影露光
量で撮影する手段を有する画像形成装置であって、同一
撮影波長領域で、露光レンジが一部重なり合うように被
写体画像を異なる撮影露光量で複数枚撮影した、複数の
マルチバンド画像を、露光量ごとの入射光量とそのとき
得られる画像信号値との特性を参照して信号強度方向に
合成する手段を、備えたことを特徴とする画像形成装置
を提供する。[0011] Similarly, in order to solve the above problems,
The present invention is an image forming apparatus having means for photographing a subject image with different photographing exposure amounts in the same photographing wavelength region when photographing a subject with a multi-band camera, wherein the exposure range is in the same photographing wavelength region. A plurality of multi-band images obtained by photographing a plurality of subject images at different photographing exposure amounts so as to partially overlap each other are referred to in the signal intensity direction with reference to the characteristics of the incident light amount for each exposure amount and the image signal value obtained at that time. There is provided an image forming apparatus comprising a combining unit.
【００１２】また、同様に前記課題を解決するために、
本発明は、被写体をマルチバンドカメラで撮影する際
に、同一撮影波長領域で、被写体画像に対応する画素の
位置がそれぞれ異なるようにする手段と、被写体画像を
異なる撮影露光量で撮影する手段を有する画像形成装置
であって、同一撮影波長領域で、被写体画像に対応する
画素の位置がそれぞれ所定量だけ異なるように複数枚撮
影した、複数のマルチバンド画像を、より小さな標本間
隔で再標本化する手段と、前記所定量を参照して、該再
標本化された複数のマルチバンド画像を合成する手段
と、同一撮影波長領域で、露光レンジが一部重なり合う
ように被写体画像を異なる撮影露光量で複数枚撮影し
た、複数のマルチバンド画像を、露光量ごとの入射光量
とそのとき得られる画像信号値との特性を参照して、信
号強度方向に合成する手段と、を備えたことを特徴とす
る画像形成装置を提供する。[0012] Similarly, in order to solve the above problems,
According to the present invention, when a subject is photographed by a multi-band camera, means for making the positions of pixels corresponding to the subject image different in the same photographing wavelength region, and means for photographing the subject image with different photographing exposure amounts are provided. Re-sampling a plurality of multi-band images at a smaller sample interval, wherein a plurality of multi-band images are shot in such a manner that the positions of the pixels corresponding to the subject images differ by a predetermined amount in the same shooting wavelength region. Means for synthesizing a plurality of resampled multi-band images with reference to the predetermined amount; and different photographing exposure amounts for subject images so as to partially overlap in the same photographing wavelength region. A method of combining a plurality of multi-band images photographed in the above-described manner in the signal intensity direction with reference to characteristics of an incident light amount for each exposure amount and an image signal value obtained at that time. If, to provide an image forming apparatus characterized by comprising a.
【００１３】また、前記マルチバンド画像の撮影を液晶
フィルタと組み合わせたＣＣＤカメラによって行うこと
が好ましい。It is preferable that the photographing of the multiband image is performed by a CCD camera combined with a liquid crystal filter.
【００１４】[0014]
【発明の実施の形態】以下、本発明に係る画像形成方法
および装置について、添付の図面に示される好適実施形
態を基に、詳細に説明する。DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, an image forming method and apparatus according to the present invention will be described in detail based on preferred embodiments shown in the accompanying drawings.
【００１５】図１は、本発明による画像形成装置の一実
施形態の概略を示すブロック図である。図１において、
本実施形態に係る、複数のマルチバンド画像を処理し画
像を形成する画像形成装置１０は、マルチバンドカメラ
１２、画素ずらし手段１４、光量調整手段１６、高解像
力化手段１８および広ラチチュード化手段２０を有して
いる。FIG. 1 is a block diagram schematically showing an embodiment of an image forming apparatus according to the present invention. In FIG.
An image forming apparatus 10 according to the present embodiment for processing a plurality of multiband images to form an image includes a multiband camera 12, a pixel shifting unit 14, a light amount adjusting unit 16, a high resolution unit 18, and a wide latitude unit 20. have.
【００１６】マルチバンドカメラ１２は、基本的に色分
解フィルタ（液晶チューナブルフィルタ）とＣＣＤの組
合せから成る。具体的には、ＣＣＤカメラとしては、Ｄ
ＡＬＳＡ社製ＣＡ−Ｄ４−１０２４Ａが挙げられ、液晶
チューナブルフィルタとしては、ＣＲＩ社製Varispec T
unable Filter が挙げられる。例えば、撮影波長範囲４
１０〜７１０nmを１６分割して、１６チャンネルとし、
各波長間隔を２０nmに設定し、液晶チューナブルフィル
タの分光透過率分布を各分割したチャンネルに応じて変
化させて撮影できるようになっている。ＣＣＤカメラで
受光した画像信号はＡ／Ｄ変換され、デジタル画像デー
タとされる。The multiband camera 12 basically comprises a combination of a color separation filter (liquid crystal tunable filter) and a CCD. Specifically, as a CCD camera, D
ALSA's CA-D4-1024A is mentioned. As a liquid crystal tunable filter, CRI's Varispec T
unable Filter. For example, imaging wavelength range 4
10 to 710 nm is divided into 16 into 16 channels,
Each wavelength interval is set to 20 nm, and the spectral transmittance distribution of the liquid crystal tunable filter is changed according to each divided channel so that an image can be taken. The image signal received by the CCD camera is A / D converted to digital image data.
【００１７】画素ずらし手段１４は、被写体をマルチバ
ンドカメラで撮影する際に、同一撮影波長領域で、被写
体画像に対応する画素の位置がそれぞれ異なるようにす
るものであり、特に限定されるものではないが、具体的
には、例えばＣＣＤの方向制御手段、微動手段あるいは
光の進行方向を変化させる回転ガラス等をマルチバンド
カメラ１２に付加して、撮影される画素位置をずらすも
のである。光量調整手段１６は、被写体をマルチバンド
カメラで撮影する際に、同一撮影波長領域で、被写体画
像を異なる撮影露光量で撮影するものであり、やはり特
に限定されるものではないが、具体的には、例えば液晶
バルブ、ＮＤフィルタが例示される。あるいは、露光時
間を調整することで露光量を調整するものであってもよ
い。The pixel shift means 14 makes the positions of the pixels corresponding to the subject image different in the same photographing wavelength region when the subject is photographed by the multi-band camera, and is not particularly limited. However, specifically, for example, a direction control unit of a CCD, a fine movement unit, a rotating glass for changing the traveling direction of light, or the like is added to the multi-band camera 12 to shift a pixel position to be photographed. The light amount adjusting means 16 is for photographing the subject image with different photographing exposure amounts in the same photographing wavelength region when photographing the subject with the multi-band camera, and is not particularly limited, but is specifically described. Are, for example, liquid crystal valves and ND filters. Alternatively, the exposure amount may be adjusted by adjusting the exposure time.
【００１８】高解像力化手段１８は、前記画素ずらし手
段１４によって、同一撮影波長領域で、被写体画像に対
応する画素の位置がそれぞれ異なるように画素の位置を
ずらして撮影した複数のマルチバンド画像を、この画素
をずらした量（画素ずらし量）を参照して合成すること
により、画素数の豊富な高解像かつ精密な画像を得るも
のである。そのため高解像力化手段１８は、画素ずらし
量認定手段２２、再標本化手段２４、画像合成手段２６
を有している。広ラチチュード化手段２０は、画像合成
手段２８を有し、前記光量調整手段１６によって光量調
整量を変化させて撮影した複数のマルチバンド画像を、
光量調整量を参照して合成することにより、広レンジで
かつ精密な画像を得るものである。また、高解像力化処
理後の画像データに対し、必要に応じて、シャープネス
処理を施すために、シャープネス手段３０が設けられて
いる。The high-resolution unit 18 shifts a plurality of multi-band images taken by the pixel shifting unit 14 by shifting the positions of the pixels so that the positions of the pixels corresponding to the subject image are different in the same shooting wavelength region. By synthesizing with reference to the amount of pixel shift (pixel shift amount), a high-resolution and precise image with a large number of pixels is obtained. Therefore, the high resolution means 18 includes a pixel shift amount identifying means 22, a resampling means 24, and an image synthesizing means 26.
have. The wide latitude unit 20 includes an image synthesizing unit 28, and converts a plurality of multi-band images photographed by changing the light amount adjustment amount by the light amount adjustment unit 16,
By combining with reference to the light amount adjustment amount, a wide range and accurate image is obtained. Further, a sharpness unit 30 is provided to perform a sharpness process on the image data after the high resolution processing as needed.
【００１９】以下、本実施形態の作用について説明す
る。まず、高解像化処理について説明する。事前に画素
ずらし手段１４の制御量とその結果得られる画像上で画
素が移動する所定量（画素ずらし量）の関係を求めてお
く。次に、例えばＣＣＤカメラ方向制御手段等の画素ず
らし手段１４により、マルチバンドカメラ１２を制御し
て、撮影方向を変化させ、同一撮影波長領域で、被写体
画像に対応する画素の位置がそれぞれ異なるようにし、
複数のマルチバンド画像を撮影する。このようにして撮
影して得られた各画像は、高解像力化手段１８に送ら
れ、高解像力化処理が行われる。Hereinafter, the operation of the present embodiment will be described. First, the high resolution processing will be described. The relationship between the control amount of the pixel shift means 14 and a predetermined amount (pixel shift amount) by which the pixel moves on the resulting image is determined in advance. Next, for example, the multi-band camera 12 is controlled by the pixel shift means 14 such as a CCD camera direction control means to change the shooting direction so that the positions of the pixels corresponding to the subject image are different in the same shooting wavelength region. West,
Take multiple multi-band images. Each image obtained by shooting in this manner is sent to the high-resolution means 18 to perform high-resolution processing.
【００２０】高解像力化手段１８では、まず、再標本化
手段２４により、各画像を再標本化し（補間によりさら
に細かく間をとることにより）、画素数を増加させる。
すなわち、名目上での高解像化である。なお、前記補間
の方法としては、線型補間やスプライン補間等が例示さ
れる。補間により、例えば縦横４倍の画素数の増加が行
われる。次に、この画素数の増加された複数の画像に対
し、画素ずらし量認定手段２２において、画素ずらし手
段１４の制御量から認定された、画素ずらし量を参照し
て、画像合成手段２６において、加重平均をとることに
よって、これら複数の画像を合成する。このとき、平均
画素値を算出する際、四捨五入、切り上げ、切り下げ等
の丸めを行わないことで、高ビット化も並行して行われ
る。最後に、このようにして算出された平均画素値を各
画素値として有する画像に対して、必要に応じて、シャ
ープネス手段３０において、デコンボリューションやフ
ィルタリングあるいはマスク処理等によるシャープネス
処理を行う。In the high resolution means 18, first, each image is resampled by the resampling means 24 (by taking finer intervals by interpolation) to increase the number of pixels.
That is, nominally higher resolution. Note that examples of the interpolation method include linear interpolation and spline interpolation. By interpolation, for example, the number of pixels is increased four times vertically and horizontally. Next, with respect to the plurality of images having the increased number of pixels, the pixel shifting amount recognition unit 22 refers to the pixel shift amount recognized from the control amount of the pixel shifting unit 14 and, in the image combining unit 26, These multiple images are combined by taking a weighted average. At this time, when calculating an average pixel value, rounding such as rounding, rounding up, rounding down, etc. is not performed, so that higher bits are performed in parallel. Finally, the image having the average pixel value calculated as described above as each pixel value is subjected to sharpness processing by deconvolution, filtering, mask processing, or the like in the sharpness means 30 as necessary.
【００２１】以上の処理においては、同一撮影波長領域
で、被写体画像に対応する画素の位置がそれぞれ異なる
ようにし、画素ずらし量を変化させて撮影した複数のマ
ルチバンド画像を、画素ずらし量を参照し、合成するこ
とによって高解像化が達成される。また、複数の画像を
撮影し、それらを積算することによりビット数も増加
し、量子化数も多くなり、精密な画像が得られる。ま
た、通常マルチバンドカメラで撮影する際には、撮影波
長のほぼ中心点である５５０nmにてフォーカスを合わせ
て撮影するが、この場合にフォーカスを合わせた波長か
ら離れた波長域（短波長側や長波長側）ではフォーカス
において甘くなったり、色においてずれが生じたりす
る。しかし、上述した高解像力化処理によれば、そのよ
うな波長領域における鮮鋭度改良および色補正改良が行
われるため、全体として優れた画像が得られる。このよ
うに、高解像力化処理は、マルチバンドにおいて有効で
ある。In the above processing, the positions of the pixels corresponding to the subject image are made different in the same photographing wavelength region, and a plurality of multi-band images photographed by changing the pixel shift amount are referred to the pixel shift amount. Then, high resolution is achieved by combining. In addition, by capturing a plurality of images and integrating them, the number of bits increases, the number of quantizations increases, and a precise image can be obtained. In general, when photographing with a multi-band camera, the photographing is performed with focus at 550 nm, which is almost the center of the photographing wavelength. In this case, a wavelength region (short wavelength side or On the long wavelength side), the focus becomes sweet and the color shifts. However, according to the above-described high-resolution processing, sharpness improvement and color correction improvement in such a wavelength region are performed, so that an overall excellent image can be obtained. As described above, the high resolution processing is effective in multiband.
【００２２】次に、広ラチチュード化処理について説明
する。事前に、光量調整手段１６の光量調整の制御量
と、その結果得られる画像上での光量変化量との関係を
求めておく。また、各光量レベルで、入射光量対信号値
の特性を得ておく。次に、例えば液晶バルブ等の光量調
整手段１６により、光量を調整し、光量を変化させ、同
一撮影波長領域にて、被写体画像を異なる撮影露光量
で、複数のマルチバンド画像を撮影する。この撮影の際
には、撮影の有効露光レンジが一部重なり合うようにす
る。このようにして撮影して得られた各画像は、広ラチ
チュード化手段２０に送られ広ラチチュード化処理が行
われる。Next, the wide latitude processing will be described. The relationship between the control amount of the light amount adjustment by the light amount adjusting means 16 and the amount of change in the light amount on the image obtained as a result is obtained in advance. In addition, the characteristic of the incident light amount versus the signal value is obtained for each light amount level. Next, the light amount is adjusted by the light amount adjusting means 16 such as a liquid crystal valve, and the light amount is changed, and a plurality of multi-band images of the subject image are photographed at different photographing exposure amounts in the same photographing wavelength region. At the time of this photographing, the effective exposure ranges of the photographing are made to partially overlap. Each image obtained by shooting in this way is sent to the wide latitude means 20 and subjected to wide latitude processing.
【００２３】広ラチチュード化手段２０では、事前に求
められている光量調整の制御量と、その結果得られる画
像上での光量変化量との関係、および各光量レベルにお
ける入射光量対信号値の特性を参照し、画像合成手段２
８において、各画像を信号強度方向に合成する。これに
より、広レンジで、かつ、精密な画像を得ることができ
る。液晶チューナブルフィルタを用いたマルチバンドカ
メラでは、４００nm付近の短波長領域の特性が、それ以
外の領域に比べ、露光量レンジが狭い、またＳ／Ｎ比が
小さい等の問題がある。露光量切り換えレベルを細かく
設定し、本処理を行うことにより、短波長領域での露光
量レンジの確保が行え、また、露光量のオーバーラップ
部分を荷重平均化等の処理を行うことでＳ／Ｎ比の問題
が解決される。このように、広ラチチュード化処理は、
マルチバンドにおいて有効である。In the wide latitude means 20, the relationship between the control amount of light amount adjustment obtained in advance and the amount of change in light amount on the image obtained as a result, and the characteristics of incident light amount versus signal value at each light amount level With reference to the image synthesizing means 2
At 8, each image is synthesized in the signal strength direction. Thereby, a precise image can be obtained in a wide range. In a multiband camera using a liquid crystal tunable filter, there are problems in that the characteristics in the short wavelength region around 400 nm are narrower in the exposure amount range and the S / N ratio is smaller than in other regions. By setting the exposure amount switching level finely and performing this processing, it is possible to secure an exposure amount range in the short wavelength region, and to perform S / S by performing processing such as load averaging on the overlapped portion of the exposure amount. The problem of N ratio is solved. Thus, the wide latitude processing is
It is effective in multi-band.
【００２４】以上説明した高解像力化処理と、広ラチチ
ュード化処理は、全く別個に行うのではなく、例えば次
に説明するような形で、同時に行うことができる。ま
ず、事前に、両処理の前提である各処理に用いられる情
報を得ておく。すなわち、画素ずらし手段１４の制御量
と、この結果得られる画像上での画素の所定の移動量の
関係、光量調整手段１６の光量調整の制御量と、その結
果得られる画像上での光量変化量との関係、および各光
量レベルでの入射光量対信号値の特性を得る。The processing for increasing the resolution and the processing for increasing the latitude described above are not performed completely separately, but can be performed simultaneously, for example, in the following manner. First, information used for each process, which is a premise of both processes, is obtained in advance. That is, the relationship between the control amount of the pixel shifting unit 14 and the predetermined moving amount of the pixel on the image obtained as a result, the control amount of the light amount adjustment by the light amount adjusting unit 16 and the change in the light amount on the image obtained as a result. The relationship between the light quantity and the characteristics of the incident light quantity versus the signal value at each light quantity level is obtained.
【００２５】次に、マルチバンドカメラ１２をある方向
へ向け、その方向で、光量調整手段１６により露光レン
ジが一部重なり合うように光量を調整し、同一撮影波長
領域で、被写体画像を異なる撮影露光量で複数のマルチ
バンド画像を撮影する。次に、画素ずらし手段１４によ
り、マルチバンドカメラ１２を制御して、撮影方向を変
化させる。そして、その方向で、再び光量調整手段１６
により露光レンジが一部重なり合うように光量を調整
し、同一撮影波長領域で、被写体画像を異なる撮影露光
量で複数のマルチバンド画像を撮影する。Next, the multi-band camera 12 is directed in a certain direction, and in that direction, the light amount is adjusted by the light amount adjusting means 16 so that the exposure ranges partially overlap. Take multiple multi-band images by volume. Next, the multi-band camera 12 is controlled by the pixel shifting means 14 to change the shooting direction. Then, in that direction, the light amount adjusting means 16
, The light amount is adjusted so that the exposure ranges partially overlap, and a plurality of multi-band images of the subject image are photographed at different photographing exposure amounts in the same photographing wavelength region.
【００２６】このように、各撮影方向ごとに、光量レベ
ルの異なる複数のマルチバンド画像を得る。次に、光量
調整手段１６の光量調整の制御量と、その結果得られる
画像上での光量変化量との関係、および各光量レベルで
の入射光量対信号値の特性を参照して、各撮影方向ごと
に得られている光量レベルの異なる複数のマルチバンド
画像を、画像合成手段２８により、信号強度方向に合成
し、各撮影方向ごとに広ラチチュード化された画像を得
る。In this way, a plurality of multi-band images having different light intensity levels are obtained for each photographing direction. Next, referring to the relationship between the control amount of the light amount adjustment of the light amount adjusting means 16 and the amount of change in the light amount on the resulting image, and the characteristics of the incident light amount versus the signal value at each light amount level, A plurality of multi-band images having different light intensity levels obtained for each direction are synthesized in the signal intensity direction by the image synthesizing means 28, and an image widened in latitude in each shooting direction is obtained.
【００２７】次に、広ラチチュード化された、各撮影方
向ごとの画像を再標本化手段２４により再標本化し、画
素数を増加させ、画素ずらし量認定手段２２の画素ずら
し量を参照して、画像合成手段２６において、加重平均
をとり、合成する。さらに、必要に応じて、シャープネ
ス手段３０において、シャープネス調整を行う。これに
より、広ラチチュード化とともに、高解像力化も達成さ
れる。なお、高解像力化処理と広ラチチュード化処理を
同時に行う方法は、これに限定されるものではなく、他
の方法でもよいのはもちろんである。Next, the wide latitude image for each photographing direction is resampled by the resampling means 24, the number of pixels is increased, and the pixel shift amount of the pixel shift amount identifying means 22 is referred to. The image combining means 26 calculates a weighted average and combines the images. Further, if necessary, sharpness adjustment is performed by the sharpness means 30. As a result, high resolution can be achieved as well as wide latitude. Note that the method of simultaneously performing the high-resolution processing and the widening processing is not limited to this, and it is a matter of course that another method may be used.
【００２８】なお、撮影素子としてＣＣＤを用いている
と、ＣＣＤ固有のノイズが発生するという問題がある
が、上述した高解像力化処理により、画素ずらしを行っ
た複数画像を合成することにより、ノイズを低減するこ
とができる（平均化の効果）。従って、上述した本実施
形態の処理を行うことにより、自動的に該ノイズを解消
することができる。When a CCD is used as a photographing element, there is a problem that noise specific to the CCD is generated. However, by combining a plurality of images having undergone pixel shift by the above-described high resolution processing, noise is reduced. Can be reduced (the effect of averaging). Therefore, by performing the above-described processing of the present embodiment, the noise can be automatically eliminated.
【００２９】また、長波長側においては、短波長側に比
べて、画像がわずかに大きくなる傾向があり、波長毎に
分解された複数枚の画像を最終的に合成する際に、拡
大、もしくは縮小された画像比率を調整する。具体的に
は、異なる撮影露光領域で撮影された被写体画像の画素
を比較し、それらの間でどの程度拡大もしくは縮小され
ているかを調べ、その比率を調整し、同一画素に収まる
ようにする。このような処理は上述した高解像力化処理
において行うようにすると、特に鮮鋭度改良に有効であ
る。On the long wavelength side, the image tends to be slightly larger than on the short wavelength side. When a plurality of images decomposed for each wavelength are finally synthesized, they are enlarged or enlarged. Adjust the reduced image ratio. Specifically, the pixels of the subject image photographed in different photographing exposure areas are compared, the extent of enlargement or reduction between them is checked, and the ratio is adjusted so that the pixels fall within the same pixel. If such processing is performed in the above-described high-resolution processing, it is particularly effective for improving sharpness.
【００３０】本発明に係る画像形成方法および装置につ
いて詳細に説明したが、本発明は、これに限定されるも
のではなく、本発明の要旨を逸脱しない範囲において、
種々の改良や変更を行ってもよいのはもちろんである。Although the image forming method and apparatus according to the present invention have been described in detail, the present invention is not limited to this, and may be modified without departing from the gist of the present invention.
Of course, various improvements and changes may be made.
【００３１】[0031]
【発明の効果】以上詳細に説明した通り、本発明によれ
ば、撮影装置による様々な画質上の制限を受けることな
く、豊富な画像情報を有する高画質なマルチバンド画像
を取得することが可能となる。As described above in detail, according to the present invention, it is possible to obtain a high-quality multiband image having abundant image information without being subjected to various image quality restrictions due to the photographing apparatus. Becomes
【図１】 本発明による画像形成装置の一実施形態の概
略を示す、ブロック図である。FIG. 1 is a block diagram schematically showing an embodiment of an image forming apparatus according to the present invention.
１０ 画像形成装置 １２ マルチバンドカメラ １４ 画素ずらし手段 １６ 光量調整手段 １８ 高解像力化手段 ２０ 広ラチチュード化手段 ２２ 画素ずらし量認定手段 ２４ 再標本化手段 ２６ （高解像力化処理における）画像合成手段 ２８ （広ラチチュード化処理における）画像合成手段 REFERENCE SIGNS LIST 10 image forming apparatus 12 multi-band camera 14 pixel shifting means 16 light quantity adjusting means 18 high resolution means 20 wide latitude means 22 pixel shifting amount identifying means 24 resampling means 26 image synthesizing means 28 (in high resolution processing) Image synthesis means (in wide latitude processing)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25676299AJP2001086383A (en) | 1999-09-10 | 1999-09-10 | Method and device for forming image |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25676299AJP2001086383A (en) | 1999-09-10 | 1999-09-10 | Method and device for forming image |
| Publication Number | Publication Date |
|---|---|
| JP2001086383Atrue JP2001086383A (en) | 2001-03-30 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25676299AWithdrawnJP2001086383A (en) | 1999-09-10 | 1999-09-10 | Method and device for forming image |
| Country | Link |
|---|---|
| JP (1) | JP2001086383A (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7630542B2 (en) | 2005-04-13 | 2009-12-08 | Canon Kabushiki Kaisha | Color processing method and apparatus |
| US7782365B2 (en) | 2005-06-02 | 2010-08-24 | Searete Llc | Enhanced video/still image correlation |
| US7876357B2 (en) | 2005-01-31 | 2011-01-25 | The Invention Science Fund I, Llc | Estimating shared image device operational capabilities or resources |
| US7920169B2 (en) | 2005-01-31 | 2011-04-05 | Invention Science Fund I, Llc | Proximity of shared image devices |
| US8350946B2 (en) | 2005-01-31 | 2013-01-08 | The Invention Science Fund I, Llc | Viewfinder for shared image device |
| US8606383B2 (en) | 2005-01-31 | 2013-12-10 | The Invention Science Fund I, Llc | Audio sharing |
| US8681225B2 (en) | 2005-06-02 | 2014-03-25 | Royce A. Levien | Storage access technique for captured data |
| US8902320B2 (en) | 2005-01-31 | 2014-12-02 | The Invention Science Fund I, Llc | Shared image device synchronization or designation |
| US8988537B2 (en) | 2005-01-31 | 2015-03-24 | The Invention Science Fund I, Llc | Shared image devices |
| US9001215B2 (en) | 2005-06-02 | 2015-04-07 | The Invention Science Fund I, Llc | Estimating shared image device operational capabilities or resources |
| US9041826B2 (en) | 2005-06-02 | 2015-05-26 | The Invention Science Fund I, Llc | Capturing selected image objects |
| US9082456B2 (en) | 2005-01-31 | 2015-07-14 | The Invention Science Fund I Llc | Shared image device designation |
| US9093121B2 (en) | 2006-02-28 | 2015-07-28 | The Invention Science Fund I, Llc | Data management of an audio data stream |
| US9124729B2 (en) | 2005-01-31 | 2015-09-01 | The Invention Science Fund I, Llc | Shared image device synchronization or designation |
| WO2015182176A1 (en)* | 2014-05-29 | 2015-12-03 | オリンパス株式会社 | Imaging device and image processing method |
| US9325781B2 (en) | 2005-01-31 | 2016-04-26 | Invention Science Fund I, Llc | Audio sharing |
| US9451200B2 (en) | 2005-06-02 | 2016-09-20 | Invention Science Fund I, Llc | Storage access technique for captured data |
| US9489717B2 (en) | 2005-01-31 | 2016-11-08 | Invention Science Fund I, Llc | Shared image device |
| US9819490B2 (en) | 2005-05-04 | 2017-11-14 | Invention Science Fund I, Llc | Regional proximity for shared image device(s) |
| US9910341B2 (en) | 2005-01-31 | 2018-03-06 | The Invention Science Fund I, Llc | Shared image device designation |
| US9942511B2 (en) | 2005-10-31 | 2018-04-10 | Invention Science Fund I, Llc | Preservation/degradation of video/audio aspects of a data stream |
| US10003762B2 (en) | 2005-04-26 | 2018-06-19 | Invention Science Fund I, Llc | Shared image devices |
| WO2023210197A1 (en)* | 2022-04-27 | 2023-11-02 | ソニーセミコンダクタソリューションズ株式会社 | Imaging device and signal processing method |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9124729B2 (en) | 2005-01-31 | 2015-09-01 | The Invention Science Fund I, Llc | Shared image device synchronization or designation |
| US9489717B2 (en) | 2005-01-31 | 2016-11-08 | Invention Science Fund I, Llc | Shared image device |
| US7876357B2 (en) | 2005-01-31 | 2011-01-25 | The Invention Science Fund I, Llc | Estimating shared image device operational capabilities or resources |
| US7920169B2 (en) | 2005-01-31 | 2011-04-05 | Invention Science Fund I, Llc | Proximity of shared image devices |
| US9910341B2 (en) | 2005-01-31 | 2018-03-06 | The Invention Science Fund I, Llc | Shared image device designation |
| US8606383B2 (en) | 2005-01-31 | 2013-12-10 | The Invention Science Fund I, Llc | Audio sharing |
| US9082456B2 (en) | 2005-01-31 | 2015-07-14 | The Invention Science Fund I Llc | Shared image device designation |
| US8902320B2 (en) | 2005-01-31 | 2014-12-02 | The Invention Science Fund I, Llc | Shared image device synchronization or designation |
| US8988537B2 (en) | 2005-01-31 | 2015-03-24 | The Invention Science Fund I, Llc | Shared image devices |
| US9325781B2 (en) | 2005-01-31 | 2016-04-26 | Invention Science Fund I, Llc | Audio sharing |
| US9019383B2 (en) | 2005-01-31 | 2015-04-28 | The Invention Science Fund I, Llc | Shared image devices |
| US8350946B2 (en) | 2005-01-31 | 2013-01-08 | The Invention Science Fund I, Llc | Viewfinder for shared image device |
| US7630542B2 (en) | 2005-04-13 | 2009-12-08 | Canon Kabushiki Kaisha | Color processing method and apparatus |
| US10003762B2 (en) | 2005-04-26 | 2018-06-19 | Invention Science Fund I, Llc | Shared image devices |
| US9819490B2 (en) | 2005-05-04 | 2017-11-14 | Invention Science Fund I, Llc | Regional proximity for shared image device(s) |
| US9041826B2 (en) | 2005-06-02 | 2015-05-26 | The Invention Science Fund I, Llc | Capturing selected image objects |
| US9001215B2 (en) | 2005-06-02 | 2015-04-07 | The Invention Science Fund I, Llc | Estimating shared image device operational capabilities or resources |
| US9451200B2 (en) | 2005-06-02 | 2016-09-20 | Invention Science Fund I, Llc | Storage access technique for captured data |
| US7782365B2 (en) | 2005-06-02 | 2010-08-24 | Searete Llc | Enhanced video/still image correlation |
| US9967424B2 (en) | 2005-06-02 | 2018-05-08 | Invention Science Fund I, Llc | Data storage usage protocol |
| US8681225B2 (en) | 2005-06-02 | 2014-03-25 | Royce A. Levien | Storage access technique for captured data |
| US9942511B2 (en) | 2005-10-31 | 2018-04-10 | Invention Science Fund I, Llc | Preservation/degradation of video/audio aspects of a data stream |
| US9093121B2 (en) | 2006-02-28 | 2015-07-28 | The Invention Science Fund I, Llc | Data management of an audio data stream |
| JP2015226256A (en)* | 2014-05-29 | 2015-12-14 | オリンパス株式会社 | Imaging apparatus and image processing method |
| CN106464809A (en)* | 2014-05-29 | 2017-02-22 | 奥林巴斯株式会社 | Image pickup apparatus and image processing method |
| US9998690B2 (en) | 2014-05-29 | 2018-06-12 | Olympus Corporation | Image pickup apparatus and image processing method |
| WO2015182176A1 (en)* | 2014-05-29 | 2015-12-03 | オリンパス株式会社 | Imaging device and image processing method |
| WO2023210197A1 (en)* | 2022-04-27 | 2023-11-02 | ソニーセミコンダクタソリューションズ株式会社 | Imaging device and signal processing method |
| Publication | Publication Date | Title |
|---|---|---|
| JP2001086383A (en) | Method and device for forming image | |
| US7245325B2 (en) | Photographing device with light quantity adjustment | |
| US7920172B2 (en) | Method of controlling an action, such as a sharpness modification, using a colour digital image | |
| CN102783135B (en) | Utilize the method and apparatus that low-resolution image provides high-definition picture | |
| US8879870B2 (en) | Image creation with software controllable depth of field | |
| TWI496463B (en) | Method of forming full-color image | |
| CN102822863B (en) | The image pick up equipment of image processing equipment and this image processing equipment of use | |
| US6995793B1 (en) | Video tap for a digital motion camera that simulates the look of post processing | |
| JP3382359B2 (en) | Imaging device | |
| JP3766308B2 (en) | Camera and image forming system | |
| US20070291161A1 (en) | Camera, aperture controlling method and apparatus, lens controlling method and apparatus, and edging amount controlling method and apparatus | |
| EP1187455A2 (en) | Image data processing apparatus and electronic camera | |
| JP2007336561A (en) | Video generation apparatus and method | |
| US20080158372A1 (en) | Anti-aliasing in an imaging device using an image stabilization system | |
| JPWO2013089036A1 (en) | Imaging device | |
| JP2003189183A (en) | Image pickup device | |
| JP2005065274A (en) | Method and apparatus for generating data representative of image | |
| JP2004501542A (en) | Camera with color filter | |
| WO2007078682A2 (en) | Improving appearance of a light-diffusing screen | |
| JP3818685B2 (en) | Imaging device | |
| US20050190200A1 (en) | Image processing method, image processing device, semiconductor device, electronic apparatus, image processing program, and computer-readable storage medium | |
| US6909491B2 (en) | Electronic and film theatrical quality | |
| JP4295709B2 (en) | Imaging apparatus, image processing apparatus, and image processing method | |
| JPH03226078A (en) | Video camera | |
| JP4032200B2 (en) | Image data interpolation method, image data interpolation device, and computer readable recording medium recording image data interpolation program |
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed | Free format text:JAPANESE INTERMEDIATE CODE: A300 Effective date:20061205 |