JP2004289225A - Imaging apparatus - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To provide an imaging apparatus capable of correcting a conversion disabled region caused by converting an imaged image with prescribed aberration into a display image for display and effectively utilizing the corrected region. <P>SOLUTION: Each of pixels of an imaging element 202 applies photoelectric conversion to an optical image formed on an imaging face wherein a plurality of the pixels are two-dimensionally arranged into an electric signal, an imaging section 201 forms the optical image to the imaging face, the optical image having resolution different between the center part and the peripheral part of the imaged image, an image generating section 203 generates the imaged image on the basis of the electric signal outputted from the imaging element 202, an image processing section 206 converts the imaged image generated by the image generating section 203 into a display use image, and an image composite section 207 corrects the conversion disabled region in the display image caused when the imaged image is converted into the display image by using part of the display image that is separately imaged. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

Translated fromJapanese

【０００１】
【発明の属する技術分野】
本発明は、撮像された撮像画像を表示画像に変換する際に生じる表示画像内の変換不能な領域を有効利用するための撮像装置に関するものである。
【０００２】
【従来の技術】
従来、ＣＣＤ等の撮像素子を用いたデジタルカメラにおいて、複数の部分的に撮像された画像を合成してなる被写体全体の撮像画像を生成することにより解像度を高める方法が提案されている（例えば、特許文献１参照）。
【０００３】
また、近年、人間の視覚機能の一つである中心窩を模したレンズ（以下、中心窩レンズとする）が提案されている（例えば、非特許文献１参照）。この中心窩レンズを用いて撮像された画像の特徴は、中心部分の分解能が高く、周辺部分の分解能が低くなっている。
【０００４】
【特許文献１】
特開平１１−１９６３１７号公報
【非特許文献１】
「中心窩を有する新しい視覚センサの開発−広角高歪曲レンズの開発−」，計測自動制御学会論文集，１９９５年，第３１巻，第１０号，ｐ．１５５６−１５６３
【０００５】
【発明が解決しようとする課題】
ところで、上記中心窩レンズを用いて撮像した場合、レンズの特性により歪曲が生じる。そのため、撮像画像から幾何変換を行い、歪曲を除去した表示画像を作成する必要がある。図１６は、撮像素子の撮像面に対する光像の大きさを示す図である。図１６（ａ）は、撮像素子の撮像面の上辺及び下辺に円形状の光像が接する場合における撮像面に対する光像の大きさを示す図であり、図１６（ｂ）は、撮像素子の撮像面の右辺及び左辺に円形状の光像が接する場合における撮像面に対する光像の大きさを示す図であり、図１６（ｃ）は、撮像素子の撮像面の各頂点に円形状の光像が接する場合における撮像面に対する光像の大きさを示す図である。図１６（ａ）〜（ｃ）に示すように、撮像素子の撮像面は、上辺と下辺との長さが等しく、右辺と左辺との長さが等しく、上辺及び下辺の長さが右辺及び左辺の長さよりも長い長方形状であり、中心窩レンズによって撮像面に結像される光像は、撮像面の２つの対角線の交点を中心点とする円形状である。
【０００６】
図１６（ａ）に示すように、撮像面に光像全体が納まる場合、結像されない領域が大きくなるため、使用しない画素が多くなり、分解能が低下してしまう。また、図１６（ｃ）に示すように、光像に撮像面全体が収まる場合、分解能は高くなるが、光像が撮像面から大きくはみ出しているため、撮影対象物を広画角に撮像することが困難である。そこで、図１６（ｂ）に示すように、撮像面の右辺及び左辺と光像が接するように光像の位置と撮像面の位置とを設定することにより、分解能を損なうことなく、広画角に撮像することが可能となる。
【０００７】
しかしながら、上記図１６（ｂ）に示す撮像画像を表示画像に変換する際に、表示画像の上下に変換不能な領域が発生する。これは、撮像画像が、レンズの特性により樽型歪曲収差となるためであり、樽型歪曲収差を表示画像に変換した場合、撮像面の上辺部分の画像が下方に湾曲し、撮像面の下辺部分の画像が上方に湾曲して変換されるためである。
【０００８】
本発明は、上記の問題を解決するためになされたもので、所定の歪曲収差を有する撮像画像を表示用の表示画像に変換する際に生じる変換不能領域を補正すると共に、有効に利用することができる撮像装置を提供することを目的とするものである。
【０００９】
【課題を解決するための手段】
本発明に係る撮像装置は、複数の画素が２次元的に配置されてなる撮像面に結像される光像を各画素で電気信号に光電変換する撮像素子と、撮像された画像の中心部分と周辺部分とで分解能が異なる光像を前記撮像面に結像する結像部とを備える撮像部と、前記撮像素子から出力される電気信号に基づいて撮像画像を生成する撮像画像生成部と、前記撮像画像生成部によって生成された撮像画像を表示用の表示画像に変換する表示画像作成部と、前記撮像画像から前記表示画像に変換する際に生じる表示画像内の変換不能な領域を、別途撮像した表示画像の一部を用いて補正する表示画像補正部とを備える。
【００１０】
この構成によれば、撮像された画像の中心部分で解像度が高く、周辺部分で中心部分よりも解像度が低くなるように光像が撮像面に結像され、撮像素子から出力される電気信号に基づいて撮像画像が生成され、生成された撮像画像が表示用の表示画像に変換され、撮像画像から表示画像に変換する際に生じる表示画像内の変換不能な領域が、別途撮像した表示画像の一部を用いて補正されるので、表示用の画像である表示画像内の変換不能な領域を補正して表示することができ、解像度の高い表示画像を作成することができる。
【００１１】
また、上記の撮像装置において、前記撮像部を所定の方向に駆動する駆動部をさらに備え、前記表示画像補正部は、前記撮像画像から前記表示画像に変換する際に生じる表示画像内の変換不能な領域を、前記駆動部によって前記撮像部を所定の方向に駆動することで得られる表示画像の一部を用いて補正することが好ましい。
【００１２】
この構成によれば、撮像画像から表示画像に変換する際に生じる表示画像内の変換不能な領域が、駆動部によって撮像部を所定の方向に駆動することで得られる表示画像の一部を用いて補正されるので、表示用の画像である表示画像内の変換不能な領域を補正して表示することができ、解像度の高い表示画像を作成することができる。
【００１３】
また、本発明に係る撮像装置は、複数の画素が２次元的に配置されてなる撮像面に結像される光像を各画素で電気信号に光電変換する撮像素子と、撮像された画像の中心部分と周辺部分とで分解能が異なる光像を前記撮像面に結像する結像部とを備える撮像部と、前記撮像素子から出力される電気信号に基づいて撮像画像を生成する撮像画像生成部と、前記撮像画像生成部によって生成された撮像画像を表示用の表示画像に変換する表示画像作成部と、前記撮像画像から前記表示画像に変換する際に生じる表示画像内の変換不能な領域に所定の情報を合成する情報合成部とを備える。
【００１４】
この構成によれば、撮像された画像の中心部分で解像度が高く、周辺部分で中心部分よりも解像度が低くなるように光像が撮像面に結像され、撮像素子から出力される電気信号に基づいて撮像画像が生成され、生成された撮像画像が表示用の表示画像に変換され、撮像画像から表示画像に変換する際に生じる表示画像内の変換不能な領域に所定の情報が合成されるので、表示用の画像である表示画像内に変換不能な領域が含まれている場合でも、この変換不能な領域を有効に利用することができる。
【００１５】
また、上記の撮像装置において、前記情報合成部は、前記撮像画像から前記表示画像に変換する際に生じる表示画像内の変換不能な領域に文字情報を合成することが好ましい。
【００１６】
この構成によれば、撮像画像から表示画像に変換する際に生じる表示画像内の変換不能な領域に文字情報が合成されるので、表示画像と共に当該表示画像に関する文字情報を表示することができ、変換不能な領域を有効に利用することができる。
【００１７】
また、上記の撮像装置において、前記情報合成部は、前記撮像画像から前記表示画像に変換する際に生じる表示画像内の変換不能な領域に前記表示画像の一部を拡大した拡大画像を合成することが好ましい。
【００１８】
この構成によれば、撮像画像から表示画像に変換する際に生じる表示画像内の変換不能な領域に当該表示画像の一部を拡大した拡大画像が合成されるので、表示画像と共に当該表示画像の一部を拡大した拡大画像を表示することができ、変換不能な領域を有効に利用することができる。
【００１９】
【発明の実施の形態】
以下、本発明に係る実施形態を図面に基づいて説明する。
（第１の実施形態）
図１は、本実施形態の監視システムの構成図である。
【００２０】
図１に示すように、監視システム１は、所定の監視対象領域を撮影する監視カメラ（撮像装置に相当する）２とコントローラ３とが通信ネットワーク４を介して通信可能に接続されている。コントローラ３は、例えば、パーソナルコンピュータや携帯電話などであり、監視カメラ２から送信される画像を表示する画像表示部３１を備えている。画像表示部３１としては、コントローラ３がパーソナルコンピュータであれば、例えば、ＣＲＴモニタや液晶モニタで構成され、コントローラ３が携帯電話であれば、例えば、液晶モニタで構成される。また、監視カメラ２及びコントローラ３は、相互に通信可能にするための通信部（図示省略）をそれぞれ備えて構成される。
【００２１】
監視システム１においては、監視カメラ２により上記監視対象領域が撮影されると、その画像のデータが監視カメラ２から通信ネットワーク４を介してコントローラ３に送信される一方、コントローラ３において、監視カメラ２に対する何らかの要求が入力されると、その要求を示す情報（以下、要求情報という）が、コントローラ３から通信ネットワーク４を介して監視カメラ２に送信され、監視カメラ２は、その要求情報に基づき動作する。
【００２２】
なお、この要求としては、例えば、監視カメラ２との通信のコネクションを確立する要求、監視カメラ２から送信される画像データの切換えの要求、監視カメラ２の動作に関する要求等がある。
【００２３】
これにより、コントローラ３の画像表示部３１において、監視カメラ２により撮影された画像を視認することができるとともに、監視カメラ２の動作を遠隔で操作することができる。
【００２４】
監視カメラ２とコントローラ３とを通信可能に接続する通信ネットワーク４は、例えば、電波や赤外線などの伝送媒体を利用した無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）や、Ｅｔｈｅｒｎｅｔ（登録商標）の規格により構築されたＬＡＮ等からなる。
【００２５】
なお、本実施の形態では、監視カメラ２とコントローラ３とを通信ネットワーク４を介して接続するとしたが、本発明は特にこれに限定されず、監視カメラ２とコントローラ３とを直接有線で接続してもよく、また、通信ネットワーク４としてインターネットを用いてもよい。さらに、本実施形態では、監視カメラ２とコントローラ３とをＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信によって接続してもよい。
【００２６】
図２は、監視システム１において使用される監視カメラ２の外観図である。図２に示すように、監視カメラ２は、カメラ２１、Ｕ字型に屈曲した枠体２２、カメラ２１の光軸（監視方向）Ｌを上下方向（以下、チルト方向という）に移動させるギヤードモータ２３及びカメラ２１の光軸Ｌを左右方向（以下、パン方向という）に移動させるギヤードモータ２４を備えて構成されている。
【００２７】
カメラ２１は、左右の側面に突設されたチルト方向の回転軸２５をＵ字型の枠体２２の側面２２Ａ，２２Ａ’に穿設された孔２２Ｂに貫通させてＵ字型の枠体２２に取り付けられ、側面２２Ａを貫通して突出された回転軸２５の先端にはギヤードモータ２３の出力軸が取り付けられている。Ｕ字型の枠体２２の下面中央には、パン方向の回転軸２６が下方向に突設され、この回転軸２６の先端に上記ギヤードモータ２４の出力軸が取り付けられている。
【００２８】
ギヤードモータ２４は枠体２２に固定され、該枠体２２と一体的にパン方向に回動可能に構成され、ギヤードモータ２３はカメラ２１に固定されている。
【００２９】
上記の構成において、ギヤードモータ２４を回転駆動すると、Ｕ字型の枠体２２が回転軸２６の周りに回転し、これによりカメラ２１の光軸Ｌがパン方向に移動し、ギヤードモータ２３を回転駆動すると、カメラ２１が回転軸２５の周りに回転し、これによりカメラ２１の光軸Ｌがチルト方向に移動する。
【００３０】
なお、以下の説明において、カメラ２１の光軸Ｌがパン方向に移動する監視カメラ２の動作をパン動作、チルト方向に移動する監視カメラ２の動作をチルト動作という。
【００３１】
監視カメラ２には、監視対象領域を撮影するための光学系として、人間の視覚機能の一つである中心窩を模したレンズ（以下、中心窩レンズとする）が採用されている。そこで、以下に、監視カメラ２に用いられる中心窩レンズについて説明する。
【００３２】
図３（ａ）は、中心窩レンズの歪曲収差・画角特性を示すグラフであり、横軸は百分率で示す歪曲収差Ｘであり、縦軸は度（°）単位で示す画角θである。図３（ｂ）は、画角・像高特性を示すグラフであり、横軸は画角θであり、縦軸は像高Ｙである。
【００３３】
図３（ａ）に示すように、中心窩レンズは、画角θが小さい領域（図３では約５度までの領域）では、歪曲収差Ｘが所定値Ｘｉであり、画角θがその領域を超えると急激に大きくなるという特性を有する。
【００３４】
ここで、歪曲収差Ｘにおける所定値Ｘｉは、中心窩レンズの中心領域を透過した被写体の光像による画像を人間が見た場合において相似形の歪みのない自然な画像に見える値であり、例えばＸｉ＝３％（この時θｉ＝約８°）である。勿論、所定値Ｘｉを３％以下の値、例えば約２％や約１％に設定したとしても、人間の見た目では相似形の歪みのない自然な画像に見える。
【００３５】
なお、図３（ａ）は、約５０度の半画角で約−７０％の歪曲収差を有する中心窩レンズの特性を示している。
【００３６】
この特性により、図３（ｂ）に示すように、中心窩レンズに結像される光像の高さ（以下、像高という）Ｙは、画角θが小さい領域（図３（ｂ）に示す点線より左側の領域）では、画角θに対して像高Ｙは、略線形であって、画角θの単位変化に対する変化量は大きい。
【００３７】
一方、画角θが大きい領域（図３（ｂ）に示す点線より右側の領域）では、画角θに対して像高Ｙは、非線形であって、画角θの単位変化に対する変化量は、画角θの増大に伴って徐々に小さくなり、像高Ｙは、略一定値となる。換言すれば、画角θが小さい領域では解像度が高く、画角θが大きい領域では解像度が低くなる。
【００３８】
そして、中心窩レンズの曲率半径等を適切に設定することで、中心窩レンズは、大きな像高Ｙが得られる中心窩レンズの中心領域（「画角θが小さい領域」に相当）と同等のズーム倍率を、この中心窩レンズの代わりに通常のレンズを用いて得る場合に比して、広い視野を有するとともに、この広い視野を有する中心窩レンズの周辺領域（「画角θが大きい領域」に相当）と同等の視野を、この中心窩レンズの代わりに通常のレンズを用いて得る場合に比して、中心窩レンズの中心領域で被写体の光像を大きく投影する。
【００３９】
なお、本実施形態では、中心窩レンズとして、中心領域が３５ｍｍカメラに換算して焦点距離ｆが８０ｍｍ、周辺領域が３５ｍｍカメラに換算して焦点距離ｆが１６ｍｍに相当するレンズが採用されているが、これに限定されるものではない。
【００４０】
中心窩レンズは、視野における中心領域で画像を拡大し、その周辺領域で画像を圧縮する機能を有するレンズであり、広い視野、中心領域での高解像度及び中心領域でひずみの目立たない自然な画像が得られる等の特徴を有する。
【００４１】
なお、上記にいう通常のレンズとは、像高Ｙ、焦点距離ｆ、画角θの関係が、Ｙ＝ｆ・ｔａｎθで表されるレンズのことをいう。
【００４２】
以上のような特性を有する中心窩レンズを結像部として用いて撮影を行うことにより、撮影画像は、例えば図４に示すように、中心窩レンズの広角領域に対応する部分が、広い領域の被写体が圧縮されたものとなる一方、中心窩レンズの望遠領域に対応する部分が、中心部分に位置する被写体がその周辺部分に位置する被写体に比して拡大されたものとなる。
【００４３】
したがって、監視カメラ２は、撮影領域のうち中心部分を高い解像度で撮影しつつ、広い領域を撮影することができるものである。
【００４４】
次に、本発明に係る第１の実施形態の監視カメラについて説明する。図５は、第１の実施形態における監視システム１の構成を示すブロック図である。
【００４５】
図５に示すように、第１の実施形態における監視システム１は、監視カメラ２及びコントローラ３で構成される。第１の実施形態における監視カメラ２は、結像部２０１、撮像素子２０２、画像生成部（撮像画像生成部に相当する）２０３、画像記憶部２０４、ＣＰＵ（中央演算処理装置）２０５、画像処理部（表示画像作成部に相当する）２０６、画像合成部（表示画像補正部に相当する）２０７、Ｉ／Ｏ（入出力）部２０８及び駆動部２０９を備えて構成されている。撮像部２１０は、結像部２０１及び撮像素子２０２で構成され、制御部２２０は、画像生成部２０３、画像記憶部２０４、ＣＰＵ２０５、画像処理部２０６、画像合成部２０７及びＩ／Ｏ部２０８で構成される。
【００４６】
結像部２０１は、撮像された画像の中心部分と周辺部分とで分解能が異なる光像を撮像素子２０２の撮像面に結像するものであり、例えば、上述した中心窩レンズに相当するものである。
【００４７】
撮像素子２０２は、例えばフォトダイオード等の複数の光電変換素子がマトリックス状に２次元配列され、各光電変換素子の受光面に、それぞれＲ（赤），Ｇ（緑），Ｂ（青）の色フィルタが１：２：１の比率で配設されてなるＣＣＤカラーエリアセンサである。撮像素子２０２は、結像部２０１により結像された被写体の光像をＲ（赤），Ｇ（緑），Ｂ（青）各色成分のアナログの電気信号（画像信号）に変換し、Ｒ，Ｇ，Ｂ各色の画像信号として出力する。なお、撮像素子２０２は、モノクロの撮像素子でもよい。
【００４８】
撮像素子２０２は、図略のタイミングジェネレータ等により、撮像素子２０２の露出動作の開始及び終了や、撮像素子２０２における各画素の出力信号の読出し（水平同期、垂直同期、転送）等の撮像動作が制御される。
【００４９】
画像生成部２０３は、撮像素子２０２から出力される電気信号に基づいて撮像画像を生成する。まず、画像生成部２０３は、撮像素子２０２から出力されるアナログの画像信号に所定のアナログ信号処理を施す。具体的には、画像生成部２０３は、ＣＤＳ（相関二重サンプリング）回路により画像信号のノイズの低減を行い、ＡＧＣ（オートゲインコントロール）回路により画像信号のレベル調整を行う。そして、画像生成部２０３は、出力されたアナログのＲ，Ｇ，Ｂの画像信号を、複数のビットからなるデジタルの画像信号（以下、デジタル信号という）にそれぞれ変換する。画像生成部２０３は、Ａ／Ｄ変換されたＲ，Ｇ，Ｂの各デジタル信号に、黒レベルを基準の黒レベルに補正する黒レベル補正、光源に応じた白の基準に基づいて、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色成分のデジタル信号のレベル変換を行うホワイトバランス、Ｒ（赤），Ｇ（緑），Ｂ（青）の各色のデジタル信号のγ特性を補正するγ補正を行う。画像生成部２０３によって生成される撮像画像は、結像部として上述の中心窩レンズが用いられているため、図４に示すような所定の歪曲収差を有する画像となる。
【００５０】
なお、以下の説明において、画像生成部２０３による処理が施された信号を撮像画像データ、撮像画像データを構成する各画素の画素データを撮像画素データ、撮像画像データに係る画像を撮像画像とする。なお、本実施形態においては、各色の撮像画像データは、１２８０（個）×１０２４（個）の画素の画素データをそれぞれ有してなる。
【００５１】
画像記憶部２０４は、画像生成部２０３から出力される撮像画像データを一時的に記憶するとともに、この画像データに対しＣＰＵ２０５により後述の処理を行うための作業領域として用いられるメモリである。なお、画像記憶部２０４は、少なくとも１フレーム前の撮像画像データを記憶する。
【００５２】
ＣＰＵ２０５は、例えば制御プログラムを記憶するＲＯＭや一時的にデータを記憶するＲＡＭからなる記憶部が内蔵されたマイクロコンピュータからなり、上述したカメラ２１及びカメラ本体内の各部材の駆動を有機的に制御して、監視カメラ２の撮影動作を統括的に制御するものである。なお、ＣＰＵ２０５と画像記憶部２０４と画像処理部２０６と画像合成部２０７とＩ／Ｏ部２０８とは、バス２３０を介して相互に接続されており、画像記憶部２０４と画像処理部２０６と画像合成部２０７とＩ／Ｏ部２０８とは、ＣＰＵ２０５による指示に基づいて動作する。
【００５３】
画像処理部２０６は、画像記憶部２０４に記憶されている撮像画像を表示用の表示画像に変換することによって、撮像画像の歪曲を補正する。上述したように、撮像画像は全体的に歪みが生じているため、この撮像画像のデータをコントローラ３にそのまま送信するように構成すると、コントローラ３の画像表示部３１には、歪みの生じた画像が表示されるため、画像の良好な視認性（肉眼で画像を見たときの自然な見た目）が得られない。そのため、撮像画像の歪みを補正する必要があり、画像処理部２０６は、撮像画像を幾何変換することにより、通常のレンズで撮影された表示用の表示画像を作成する。画像処理部２０６は、変換された表示画像を画像記憶部２０４に記憶する。なお、本実施形態において、画像処理部２０３による処理が施された信号を表示画像データ、表示画像データに係る画像を表示画像とする。
【００５４】
ここで、中心窩レンズによって撮像された画像から、通常のレンズによって撮像された画像に変換する方法について説明する。
【００５５】
まず、撮像画像の画素数をＭ（ｐｉｘ）×Ｎ（ｐｉｘ）、表示画像の画素数をＫ（ｐｉｘ）×Ｌ（ｐｉｘ）として、表示画像における任意の画素（以下、注目画素とする）の座標（ｉ，ｊ）（０≦ｉ≦Ｋ，０≦ｊ≦Ｋ）に対応する撮像画像の対応点の座標（ｕ，ｖ）を計算する。表示画像の注目画素の座標（ｉ，ｊ）について、表示画像の中心座標（ｃｖｘ，ｃｖｙ）からの距離ｄ（ｄｘ：ｘ成分、ｄｙ：ｙ成分）は、下記の（１）〜（３）式で表される。なお、表示画像の中心座標（ｃｖｘ，ｃｖｙ）は表示画像の中央、つまり、ｃｖｘ＝Ｋ／２、ｃｖｙ＝Ｌ／２である。
ｄｘ＝（Ｋ／２−ｉ）・・・・（１）
ｄｙ＝（Ｌ／２−ｊ）・・・・（２）
ｄ＝（ｄｘ^２＋ｄｙ^２）^１／２・・・・（３）
【００５６】
また、注目画素（ｉ，ｊ）における入射角θは、下記の（４）式及び（５）式により、（６）式で表される。
ｔａｎθ＝ｄ／ｆｌ・・・・（４）
ｔａｎ（θｖ／２）＝（Ｋ／２）／ｆｌ・・・・（５）
θ＝ａｔａｎ（ｄ・ｔａｎ（θｖ／２）／（Ｋ／２））・・・・（６）
【００５７】
なお、上記（４）〜（６）式において、ｆｌは、中心窩レンズから撮像素子までの焦点距離を表し、θｖは、水平画角を表す。
【００５８】
撮像画像での像高ｈは、ｈ＝ｆ（θ）で表されるので、撮像画像における対応点の座標（ｕ，ｖ）は、撮像画像の中心座標（ｃｗｘ，ｃｗｙ）を用いて下記の（７）式及び（８）式で表される。なお、表示画像の中心座標（ｃｗｘ，ｃｗｙ）は表示画像の中央、つまり、ｃｗｘ＝Ｍ／２、ｃｗｙ＝Ｎ／２である。
ｕ＝ｃｗｘ＋ｈ×（ｄｘ／ｄ）・・・・（７）
ｖ＝ｃｗｙ＋ｈ×（ｄｙ／ｄ）・・・・（８）
【００５９】
ここで、ｕ，ｖが撮像画像内（０≦ｕ≦Ｍかつ０≦ｖ≦Ｌ）であれば、表示画像の注目画素（ｉ，ｊ）の画素値を計算する。なお、注目画素（ｉ，ｊ）の画素値は、対応する撮像画像の座標（ｕ，ｖ）の画素値が代入される。なお、ｕ，ｖが整数で表されない（小数となる）場合、小数点以下を切り捨てる整数化処理を行う。ここで、整数化処理を行うと、撮像画像における画素には、対応する表示画像の画素がない画素が生じる可能性がある。すなわち、整数化処理によって位置データに整数値で不連続となっている部分が生じ得る。そこで、撮像画像の画素に対応する表示画像の画素がない場合、表示画像における画素の画素値を生成する補間処理を行う。この補間処理は、例えば、画素値のない画素に垂直方向で隣接する画素の一方における画素の画素値をそのまま使用する。あるいは、補間処理は、例えば、画素値のない画素に垂直方向で隣接する画素の画像データを用いて、位置と輝度との関係を示す一次関数を求め、整数化処理によって画素値のない画素の画素値を算出する線形補間を行う。また、ｕ，ｖが撮像画像外であれば、変換不能な領域（以下、欠損領域とする）と判断し、画素値の計算を行わない。
【００６０】
このようにして、表示画像の各画素値が計算され、撮像画像から表示画像への変換が行われ、撮像画像から表示用に変換された表示画像が画像記憶部２０４に記憶される。
【００６１】
画像合成部２０７は、画像処理部２０６において撮像画像から表示画像に変換する際に生じる表示画像内の変換不能な領域（欠損領域）を、駆動部２０９によって撮像部を所定の方向に駆動することで得られる表示画像の一部を用いて補正する。すなわち、画像合成部２０７は、撮像画像から表示画像に変換する際に生じる表示画像内の変換不能な欠損領域を、後述する駆動部２０９によって撮像部２１０を垂直方向に駆動することで得られる第１の表示画像と、駆動部２０９によって撮像部２１０をさらに垂直方向に駆動することで得られる第２の表示画像とを合成する。
【００６２】
Ｉ／Ｏ部２０８は、コントローラ３及び駆動部２０９とのデータの入出力を制御するものであり、コントローラ３への画像データの送信や、該コントローラ３からの要求情報の受信等を行う。
【００６３】
駆動部２０９は、ギヤードモータ２３，２４を含んでなり、ＣＰＵ２０５からの指令により、監視カメラ２１の光軸Ｌをパン方向及びチルト方向に駆動するものである。
【００６４】
次に、第１の実施形態における監視カメラ２の動作について説明する。図６は、第１の実施形態における監視カメラ２の動作を示すフローチャートである。
【００６５】
ステップＳ１において、ＣＰＵ２０５は、駆動部２０９のリセットを指示する。ＣＰＵ２０５は、駆動部２０９に対して撮像部２１０の位置を初期位置に戻すよう指示する。
【００６６】
ステップＳ２において、ＣＰＵ２０５は、表示画像をコントローラ３に出力する。すなわち、ＣＰＵ２０５は、画像記憶部２０３に記憶されている表示画像を読み出し、Ｉ／Ｏ部２０８を介してコントローラ３に出力する。コントローラ３の画像表示部３１は、入力される表示画像を表示する。なお、監視カメラ２の起動時、つまり、最初に監視対象領域を撮像する場合、ステップＳ２の処理はスルーされ、ステップＳ３以降の処理が行われる。
【００６７】
ステップＳ３において、ＣＰＵ２０５は、コントローラ３から出力されるパン動作、チルト動作及びズーム動作のそれぞれの駆動量（ＰＴＺ量）ｐ、ｔ、ｚを検知したか否かを判断する。ここで、パン動作、チルト動作及びズーム動作のそれぞれの駆動量ｐ、ｔ、ｚが検知された場合（ステップＳ３でＹＥＳ）、ステップＳ４に移行し、パン動作、チルト動作及びズーム動作のそれぞれの駆動量ｐ、ｔ、ｚが検知されない場合、ステップＳ２に戻り、ステップＳ２以降の処理が行われる。なお、パン動作、チルト動作及びズーム動作のそれぞれの駆動量は、コントローラ３が備える入力部によって指示される。
【００６８】
ステップＳ４において、ＣＰＵ２０５は、駆動部２０９に対してパン方向への駆動量及びチルト方向への駆動量を指示する。ここで、ＣＰＵ２０５が指示するパン方向への駆動量は、コントローラ３から出力される駆動量ｐであり、ＣＰＵ２０５が指示するチルト方向への駆動量は、コントローラ３から出力される駆動量ｔから欠損領域の垂直方向の画角αを減算した量ｔ−αである。
【００６９】
ここで、欠損領域の垂直方向の画角αの算出方法について説明する。図７は、欠損領域の垂直方向の画角αの算出方法について説明するための図である。
【００７０】
図７に示すように、表示画像の垂直方向の画素数をＬ（ｐｉｘ）とし、表示画像の垂直方向の画角をθＨとし、焦点距離をｆｌとし、欠損領域の垂直方向の画素数をｎ（ｐｉｘ）とし、欠損領域の垂直方向の画角をαとすると、下記の（９）式が成り立つ。
ｔａｎθＨ＝Ｌ／ｆｌ・・・・（９）
【００７１】
上記（９）式は、下記の（１０）式に置き換えることができる。
ｆｌ＝Ｌ／ｔａｎθＨ・・・・（１０）
【００７２】
さらに、表示画像の垂直方向の画角θＨから欠損領域の垂直方向の画角αを減算した場合、下記の（１１）式で表される。
θＨ−α＝ａｔａｎ（（Ｌ−ｎ）／ｆｌ）・・・・（１１）
【００７３】
上記（１１）式におけるαは、ｆｌに上記（１０）式を代入することによって、下記の（１２）式で表される。
α＝θＨ−ａｔａｎ（（Ｌ−ｎ）／（Ｌ／ｔａｎθＨ））・・・・（１２）
【００７４】
このようにして求められた欠損領域の垂直方向の画角αを用いて、チルト方向への駆動量ｔ−αが算出され、ＣＰＵ２０５は、算出されたチルト方向への駆動量ｔ−αを駆動部２０９に対して指示する。駆動部２０９は、ＣＰＵ２０５から指示されるパン方向への駆動量及びチルト方向への駆動量に基づいて、撮像部２１０をそれぞれの方向に回転駆動させる。
【００７５】
図６に戻って、ステップＳ５において、ＣＰＵ２０５は、画像処理部２０６へ焦点距離ｆｌの第１の表示画像の作成を指示する。すなわち、結像部２０１は、監視対象範囲内の光像を撮像素子２０２の撮像面に結像し、撮像素子２０２は、撮像面に結像された監視対象範囲内の光像を光電変換し、画像生成部２０３は、撮像素子２０２によって光電変換された電気信号から第１の撮像画像を生成する。画像記憶部２０４は、第１の撮像画像を一時的に記憶する。画像処理部２０６は、ＣＰＵ２０５からの指示に基づいて、画像記憶部２０４に記憶されている第１の撮像画像を読み出し、第１の撮像画像から歪みを補正した焦点距離ｆｌにおける第１の表示画像を作成する。作成された第１の表示画像は、画像記憶部２０４に記憶される。
【００７６】
図８は、第１の撮像画像の一例を示す図である。図８に示す第１の撮像画像ＳＧ１は、コントローラ３から入力されるパン方向の駆動量ｐで撮像部２１０をパン方向に駆動し、コントローラ３から入力されるチルト方向の駆動量ｔから欠損領域の画角αだけ減算した駆動量ｔ−αで撮像部２１０をチルト方向に駆動することによって撮像される画像である。すなわち、画像生成部２０３は、駆動部２０９によって、パン方向へ駆動量ｐで駆動され、チルト方向へ駆動量ｔ−αで駆動された場合における第１の撮像画像ＳＧ１を生成する。図８に示すように、中心窩レンズを有する結像部２０１によって撮像された第１の撮像画像ＳＧ１は、樽型に歪曲する。
【００７７】
図９は、第１の表示画像の一例を示す図である。画像処理部２０６は、図８に示す第１の撮像画像ＳＧ１の歪みを補正することによって、第１の表示画像ＨＧ１を作成する。図９に示すように、第１の表示画像ＨＧ１は、歪み補正が行われることによって、画像の上部分及び下部分に表示されない欠損領域ＫＲが発生する。また、図９に示すように、第１の表示画像ＨＧ１は、コントローラ３から入力されるチルト方向の駆動量ｔから欠損領域の垂直方向の画角の分だけ下方にずれた画像となる。
【００７８】
図６に戻って、ステップＳ６において、ＣＰＵ２０５は、駆動部２０９に対してチルト方向への駆動量を指示する。ここで、ＣＰＵ２０５が指示するチルト方向への駆動量は、欠損領域の垂直方向の画角αを２倍した量２αである。
【００７９】
ステップＳ７において、ＣＰＵ２０５は、画像処理部２０６へ第１の表示画像と同じ焦点距離ｆｌであり、２つの欠損領域の垂直方向の画角の分だけ上方にずらした第２の表示画像の作成を指示する。すなわち、画像生成部２０３は、撮像素子２０２によって光電変換された電気信号から第２の撮像画像を生成し、生成された第２の撮像画像は、画像記憶部２０４に一時的に記憶される。画像処理部２０６は、ＣＰＵ２０５からの指示に基づいて、画像記憶部２０４に記憶されている第２の撮像画像から歪みを補正した焦点距離ｆｌにおける第２の表示画像を作成する。
【００８０】
図１０は、第２の撮像画像の一例を示す図である。図１０に示す第２の撮像画像ＳＧ２は、２つの欠損領域の垂直方向の画角αの分だけさらに上方にずらす駆動量２αで撮像部２１０をチルト方向に駆動することによって撮像される画像である。すなわち、画像生成部２０３は、駆動部２０９によって、チルト方向へ駆動量２αでさらに駆動された場合における第２の撮像画像ＳＧ２を生成する。図１０に示すように、中心窩レンズを有する結像部２０１によって撮像された第２の撮像画像ＳＧ２は、樽型に歪曲する。
【００８１】
図１１は、第２の表示画像の一例を示す図である。画像処理部２０６は、図１０に示す第２の撮像画像ＳＧ２の歪みを補正することによって、第２の表示画像ＨＧ２を作成する。図１１に示すように、第２の表示画像ＨＧ２は、歪み補正が行われることによって、画像の上部分及び下部分に表示されない欠損領域ＫＲが発生する。また、図１１に示すように、第２の表示画像ＨＧ２は、第１の表示画像ＨＧ１より２つの欠損領域の垂直方向の画角の分だけ上方にずれた画像となる。
【００８２】
図６に戻って、ステップＳ８において、ＣＰＵ２０５は、画像合成部２０７へ第１の表示画像ＨＧ１と第２の表示画像ＨＧ２との合成を指示する。画像合成部２０７は、第１の表示画像ＨＧ１の合成領域ＧＲ１（図９参照）と第２の表示画像ＨＧ２の合成領域ＧＲ２（図１１参照）とを合成することによって合成画像ＧＧを作成し、作成された合成画像を画像記憶部２０３に記憶する。合成領域ＧＲ１は、合成画像ＧＧの上半分の画像であり、起点を（０，ｎ）とし、サイズをＫ×Ｌ／２とする画像である。また、合成領域ＧＲ２は、合成画像ＧＧの下半分の画像であり、起点を（０，Ｌ／２−ｎ）とし、サイズをＫ×Ｌ／２とする画像である。なお、ｎは第１の表示画像ＨＧ１における欠損領域の垂直方向の画素数であり、Ｋは第１の表示画像ＨＧ１における水平方向の画素数であり、Ｌは第１の表示画像ＨＧ１における垂直方向の画素数である。画像記憶部２０３に記憶された合成画像は、Ｉ／Ｏ部２０８を介してコントローラ３に出力され、コントローラ３の画像表示部３１に表示される。
【００８３】
図１２は、合成画像の一例を示す図である。画像合成部２０７は、ＣＰＵ２０５の指示に基づいて、図９に示す第１の表示画像ＨＧ１における合成領域ＧＲ１と、図１１に示す第２の表示画像ＨＧ２における合成領域ＧＲ２とを合成することによって、合成画像ＧＧを作成する。この合成画像ＧＧが、パン方向に駆動量ｐだけ駆動させ、チルト方向に駆動量ｔだけ駆動させた画像となる。図１２に示すように、第１の表示画像ＨＧ１における合成領域ＧＲ１と第２の表示画像ＨＧ２における合成領域ＧＲ２とを合成した合成画像ＧＧが、表示画像としてコントローラ３の画像表示部３１に表示されるため、撮像画像を表示画像に変換することによって生じる欠損領域ＫＲを補正した画像を提供することができる。
【００８４】
図６に戻って、ステップＳ９において、ＣＰＵ２０５は、コントローラ３から送信される終了信号を検知したか否かを判断する。終了信号は、監視対象領域の撮影を終了するための信号であり、コントローラ３の入力部によって入力され、Ｉ／Ｏ部２０８を介してＣＰＵ２０５に出力される。ここで、終了信号が検知された場合（ステップＳ９でＹＥＳ）、処理は終了となり、終了信号が検知されない場合（ステップＳ９でＮＯ）、ステップＳ２に戻り、表示画像のコントローラ３への出力が行われ、ステップＳ２以降の処理が行われる。
【００８５】
なお、本実施の形態では、撮像部２１０をチルト方向に上下に駆動することによって２つの表示画像を作成し、作成された２つの表示画像を合成することによって、欠損領域のない画像を作成したが、本発明は特にこれに限定されず、撮像部２１０をパン方向に左右に駆動することによって複数の表示画像を作成し、作成された複数の表示画像のうちの欠損領域のない画像を合成することによって、欠損領域のない表示画像を作成してもよい。
【００８６】
また、撮像部２１０がチルト方向にのみ駆動する場合、前フレームの画像の一部を用いて補正してもよい。すなわち、撮像部２１０がチルト方向にのみ駆動する場合、前フレームの表示画像の欠損領域を除く画像と、次フレームの表示画像の欠損領域を除く画像とを合成することによって補正を行う。この場合、補正のために画像を取り直す必要がなくなり、高速に欠損領域の補正をすることができる。
【００８７】
このように、撮像された画像の中心部分で解像度が高く、周辺部分で中心部分よりも解像度が低くなるように光像が撮像面に結像され、撮像素子２０２から出力される電気信号に基づいて撮像画像が生成され、生成された撮像画像が表示用の表示画像に変換され、撮像画像から表示画像に変換する際に生じる表示画像内の変換不能な領域（欠損領域）が、別途撮像した表示画像の一部を用いて補正されるので、表示用の画像である表示画像内の変換不能な領域を補正して表示することができ、解像度の高い表示画像を作成することができる。
【００８８】
また、撮像画像から表示画像に変換する際に生じる表示画像内の変換不能な領域が、駆動部２０９によって撮像部２１０を所定の方向に駆動することで得られる表示画像の一部を用いて補正されるので、表示用の画像である表示画像内の変換不能な領域を補正して表示することができ、解像度の高い表示画像を作成することができる。
（第２の実施形態）
次に本発明に係る第２の実施形態の監視カメラについて説明する。第１の実施形態では、撮像画像から表示画像に変換する際に生じる表示画像内の変換不能な領域を、駆動部２０９によって撮像部２１０を所定の方向に駆動することで得られる表示画像の一部を用いて補正したが、第２の実施形態では、表示画像の変換不能な領域に様々な情報を合成して表示する。なお、第２の実施形態における監視システム１及び監視カメラ２は、図１及び図２に示す監視システム１及び監視カメラ２と同様の構成であるため、説明を省略する。図１３は、第２の実施形態における監視システム１の構成を示すブロック図である。
【００８９】
図１３に示すように、第２の実施形態における監視システム１は、監視カメラ２、コントローラ３及びＧＰＳ５で構成される。第２の実施形態における監視カメラ２は、結像部２０１、撮像素子２０２、画像生成部２０３、画像記憶部２０４、ＣＰＵ（中央演算処理装置）２０５、画像処理部２０６、Ｉ／Ｏ（入出力）部２０８、駆動部２０９、文字情報合成部２１１及び画像情報合成部２１２を備えて構成されている。撮像部２１０は、結像部２０１及び撮像素子２０２で構成され、制御部２２０は、画像生成部２０３、画像記憶部２０４、ＣＰＵ２０５、画像処理部２０６、Ｉ／Ｏ部２０８、文字情報合成部２１１及び画像情報合成部２１２で構成される。撮像情報合成部（情報合成部に相当する）２４０は、文字情報合成部２１１及び画像情報合成部２１２で構成される。なお、第２の実施形態における監視カメラ２は、図５に示す第１の実施形態における監視カメラ２とほぼ同様の構成であるので、異なる構成のみを以下に説明する。
【００９０】
撮像情報合成部２４０は、撮像装置に関する情報を、表示画像の欠損領域に合成するものであり、文字情報合成部２１１及び画像情報合成部２１２を含む。
【００９１】
文字情報合成部２１１は、画像処理部２０６によって作成された表示画像の欠損領域ＫＲに文字又は図形等のキャラクタベースで表される文字情報を合成する。文字情報とは、撮像装置に関する様々な情報であり、例えば、撮像部２１０のパン方向の駆動量、チルト方向の駆動量及びズーム量などの撮像装置の動作に関する情報、現在時刻などの情報、撮像装置が設置されている位置に関する位置情報などである。また、位置情報には、撮像装置が設置されている緯度経度に関する情報、撮像装置が向いている方位に関する情報、撮像装置が設置されている高度に関する情報などがある。なお、これら位置情報は、監視カメラ２の３次元の位置の測定するＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）５によって測定される情報であり、Ｉ／Ｏ部２０８を介して入力される。また、欠損領域に表示する文字情報は、上記に限らず、その他ユーザが所望する種々の情報を提供してもよい。
【００９２】
画像情報合成部２１２は、画像処理部２０６によって作成された表示画像の欠損領域ＫＲに当該表示画像に含まれる画像に関する画像情報を合成する。具体的には、画像情報合成部２１２は、画像処理部２０６によって作成された表示画像の所定の領域を拡大し、拡大された拡大画像を表示画像の欠損領域ＫＲに合成する。表示画像上の拡大する所定の領域は、その範囲がコントローラ３によって指定され、指定された表示画像上の範囲内の画像が、表示画像の欠損領域に拡大されて合成される。なお、本実施の形態では、表示画像上の拡大する所定の領域は、コントローラ３によって指定される領域であるとしているが、本発明は特にこれに限定されず、あらかじめ設定されている領域、例えば、表示画像の中心部分の領域でもよい。また、画像情報としては、表示画像が撮像画像の所定の領域を切り出した画像である場合、撮像画像のうちの表示画像として切り出された領域を表す画像でもよい。
【００９３】
次に、第２の実施形態における監視カメラ２の動作について説明する。図１４は、第２の実施形態における監視カメラ２の動作を示すフローチャートである。
【００９４】
ステップＳ１１からステップＳ１３までの処理は、図６に示すステップＳ１からステップＳ３までの処理と同じであるので説明を省略する。
【００９５】
ステップＳ１４において、ＣＰＵ２０５は、駆動部２０９に対してパン方向への駆動量及びチルト方向への駆動量を指示する。ここで、ＣＰＵ２０５が指示するパン方向への駆動量は、コントローラ３から出力される駆動量ｐであり、ＣＰＵ２０５が指示するチルト方向への駆動量は、コントローラ３から出力される駆動量ｔである。ステップＳ１５において、ＣＰＵ２０５は、コントローラ３からＩ／Ｏ部２０８を介して入力されるズーム量ｚを焦点距離ｆｌに変換する。
【００９６】
ステップＳ１６において、ＣＰＵ２０５は、変換された焦点距離ｆｌの表示画像の作成を画像処理部２０６に指示する。画像処理部２０６は、ＣＰＵ２０５からの指示に基づいて、画像記憶部２０４に記憶されている撮像画像から歪みを補正した焦点距離ｆｌにおける表示画像を作成する。なお、この場合、表示画像の上方及び下方には、画像が表示されない欠損領域が含まれる。
【００９７】
ステップＳ１７において、ＣＰＵ２０５は、監視カメラ２に関する文字情報の表示画像の欠損領域への合成を文字情報合成部２１１に指示する。文字情報合成部２１１は、画像処理部２０６によって作成された表示画像の欠損領域に文字情報を合成する。
【００９８】
ステップＳ１８において、ＣＰＵ２０５は、表示画像内の所定の領域を拡大した拡大画像の当該表示画像の欠損領域への合成を画像情報合成部２１２に指示する。画像情報合成部２１２は、表示領域内の所定の領域の画像を拡大し、拡大した拡大画像を表示画像の欠損領域に合成する。
【００９９】
ステップＳ１９における処理は、図６に示すステップＳ９における処理と同じであるので説明を省略する。
【０１００】
図１５は、欠損領域に文字情報及び画像情報を表示する場合の表示画像の一例を示す図である。図１５に示すように、表示画像ＨＧ３の上部の欠損領域ＫＲＵには、文字情報が合成され、表示画像ＨＧ３の下部の欠損領域ＫＲＤには、拡大画像が合成されている。図１５に示す表示画像ＨＧ３の上部の欠損領域ＫＲＵには、撮像部２１０のパン方向の駆動量３０１、チルト方向の駆動量３０２、ズーム量３０３、現在時刻３０４、撮像装置が設置されている緯度経度３０５及び撮像装置が向いている方位３０６が文字情報として表示されている。図１５におけるパン方向の駆動量３０１には、撮像部２１０がパン方向に１０センチメートル回転しているため、「Ｐ：１０」と表示され、チルト方向の駆動量３０２には、撮像部２１０がチルト方向に２０センチメートル回転しているため、「Ｐ：２０」と表示され、ズーム量３０３には、撮像部２１０が等倍率でズーミングされているため、「Ｚ：１×」と表示されている。図１５における現在時刻には、現在の時刻が１２時３４分であるため、「１２：３４」と表示されている。図１５における緯度経度３０５には、監視カメラ２が東経１３５度、北緯２０度の位置に設置されているため、「東経１３５°北緯２０°」と表示されている。図１５における方位３０６には、撮像部２１０が北の方角の監視対象領域を撮影しているため、表示画像ＨＧ３の上方に「Ｎ」、下方に「Ｓ」と表示されている。
【０１０１】
図１５に示す表示画像ＨＧ３の下部の欠損領域ＫＲＤには、表示画像ＨＧ３内の一部分である領域ＷＲの画像を拡大した拡大画像ＷＧが表示されている。なお、拡大して表示する領域ＷＲは、コントローラ３が備える入力部（図示省略）より指示される。なお、入力部としては、例えば、コントローラ３がパーソナルコンピュータで構成される場合、キーボード及びマウス等である。
【０１０２】
なお、本実施形態では、表示画像ＨＧ３の上部の欠損領域ＫＲＵに文字情報を合成し、表示画像ＨＧ３の下部の欠損領域ＫＲＤに拡大画像を合成しているが、本発明は特にこれに限定されず、表示画像ＨＧ３の上部の欠損領域ＫＲＵに拡大画像を合成し、表示画像ＨＧ３の下部の欠損領域ＫＲＤに文字情報を合成してもよく、また、表示画像ＨＧ３の上部の欠損領域ＫＲＵ及び表示画像ＨＧ３の下部の欠損領域ＫＲＤのうちの一方にのみ文字情報及び拡大画像のうちの一方を合成してもよい。
【０１０３】
このように、撮像された画像の中心部分で解像度が高く、周辺部分で中心部分よりも解像度が低くなるように光像が撮像面に結像され、撮像素子２０２から出力される電気信号に基づいて撮像画像が生成され、生成された撮像画像が表示用の表示画像に変換され、撮像画像から表示画像に変換する際に生じる表示画像内の変換不能な領域（欠損領域）に撮像装置に関する撮像情報が合成されるので、表示用の画像である表示画像内に変換不能な領域が含まれている場合でも、この変換不能な領域を有効に利用することができる。
【０１０４】
また、撮像画像から表示画像に変換する際に生じる表示画像内の変換不能な領域に文字情報が合成されるので、表示画像と共に当該表示画像に関する文字情報を表示することができ、変換不能な領域を有効に利用することができる。
【０１０５】
さらに、画像から表示画像に変換する際に生じる表示画像内の変換不能な領域に当該表示画像の一部を拡大した拡大画像が合成されるので、表示画像と共に当該表示画像の一部を拡大した拡大画像を表示することができ、変換不能な領域を有効に利用することができる。
【０１０６】
なお、本実施形態では、撮像装置を監視カメラとして説明しているが、本発明は特にこれに限定されず、例えば、ＷＥＢカメラや車載カメラなどでもよい。
【０１０７】
なお、上述した具体的実施形態には以下の構成を有する発明が主に含まれている。
【０１０８】
（１）複数の画素が２次元的に配置されてなる撮像面に結像される光像を各画素で電気信号に光電変換する撮像素子と、撮像された画像の中心部分と周辺部分とで分解能が異なる光像を前記撮像面に結像する結像部とを備える撮像部と、前記撮像素子から出力される電気信号に基づいて、所定の歪曲収差を有する撮像画像を生成する撮像画像生成部と、前記撮像画像生成部によって生成された撮像画像を歪曲のない表示用の表示画像に変換する表示画像作成部と、前記撮像画像から前記表示画像に変換する際に生じる表示画像内の変換不能な領域を、別途撮像した表示画像の一部を用いて補正する表示画像補正部とを備えることを特徴とする撮像装置。
【０１０９】
この構成によれば、撮像された画像の中心部分で解像度が高く、周辺部分で中心部分よりも解像度が低くなるように光像が撮像面に結像され、撮像素子から出力される電気信号に基づいて、所定の歪曲収差を有する撮像画像が生成され、生成された撮像画像が歪曲のない表示用の表示画像に変換され、撮像画像から表示画像に変換する際に生じる表示画像内の変換不能な領域が、別途撮像した表示画像の一部を用いて補正される。
【０１１０】
（２）前記撮像部を垂直方向及び水平方向に駆動する駆動部をさらに備え、前記表示画像補正部は、前記撮像画像から前記表示画像に変換する際に生じる表示画像内の変換不能な領域を、前記駆動部によって前記撮像部を垂直方向に駆動することで得られる第１の表示画像と、前記駆動部によって前記撮像部をさらに垂直方向に駆動することで得られる第２の表示画像とを合成することによって補正することを特徴とする上記（１）記載の撮像装置。
【０１１１】
この構成によれば、撮像画像から表示画像に変換する際に生じる表示画像内の変換不能な領域が、駆動部によって撮像部を垂直方向に駆動することで得られる第１の表示画像と、駆動部によって撮像部をさらに垂直方向に駆動することで得られる第２の表示画像とを合成することによって補正される。
【０１１２】
（３）前記撮像部を垂直方向及び水平方向に駆動する駆動部をさらに備え、前記表示画像補正部は、前記撮像画像から前記表示画像に変換する際に表示画像内の上部及び下部に生じる変換不能な領域を、前記駆動部によって前記撮像部を垂直下方向に駆動することで得られる第１の表示画像の変換不能な領域が含まれない画像と、前記駆動部によって前記撮像部を垂直上方向に駆動することで得られる第２の表示画像の変換不能な領域が含まれない画像とを合成することによって補正することを特徴とする上記（１）記載の撮像装置。
【０１１３】
この構成によれば、撮像画像から表示画像に変換する際に表示画像内の上部及び下部に生じる変換不能な領域が、駆動部によって撮像部を垂直下方向に駆動することで得られる第１の表示画像の変換不能な領域が含まれない画像と、駆動部によって撮像部を垂直上方向に駆動することで得られる第２の表示画像の変換不能な領域が含まれない画像とを合成することによって補正される。
【０１１４】
（４）前記撮像部を垂直方向及び水平方向に駆動する駆動部をさらに備え、前記表示画像補正部は、前記撮像画像から前記表示画像に変換する際に生じる表示画像内の変換不能な領域を、前記駆動部によって前記撮像部を垂直方向に駆動することで得られる複数の表示画像の変換不能な領域が含まれない画像を合成することによって補正することを特徴とする上記（１）記載の撮像装置。
【０１１５】
この構成によれば、撮像画像から表示画像に変換する際に生じる表示画像内の変換不能な領域が、駆動部によって撮像部を垂直方向に駆動することで得られる複数の表示画像の変換不能な領域が含まれない画像を合成することによって補正される。
【０１１６】
（５）複数の画素が２次元的に配置されてなる撮像面に結像される光像を各画素で電気信号に光電変換する撮像素子と、撮像された画像の中心部分と周辺部分とで分解能が異なる光像を前記撮像面に結像する結像部とを備える撮像部と、前記撮像素子から出力される電気信号に基づいて、所定の歪曲収差を有する撮像画像を生成する撮像画像生成部と、前記撮像画像生成部によって生成された撮像画像を歪曲のない表示用の表示画像に変換する表示画像作成部と、前記撮像画像から前記表示画像に変換する際に生じる表示画像内の変換不能な領域に撮像装置に関する撮像情報を合成する撮像情報合成部とを備えることを特徴とする撮像装置。
【０１１７】
この構成によれば、撮像された画像の中心部分で解像度が高く、周辺部分で中心部分よりも解像度が低くなるように光像が撮像面に結像され、撮像素子から出力される電気信号に基づいて撮像画像が生成され、生成された撮像画像が表示用の表示画像に変換され、撮像画像から表示画像に変換する際に生じる表示画像内の変換不能な領域に撮像装置に関する撮像情報が合成される。
【０１１８】
（６）上記（１）〜（５）のいずれかに記載の撮像装置と、画像を表示する画像表示部を備えたコントローラとが、それぞれ備えられた通信部により通信ネットワークを介して互いに通信可能に構成されてなり、前記撮像装置からコントローラに前記表示画像が送信されると、この表示画像を前記コントローラの画像表示部に表示することを特徴とする撮像システム。
【０１１９】
この構成によれば、撮像装置において作成された表示画像は、該カメラの通信部によりコントローラに送信される。一方、コントローラにおいては、撮像装置から表示画像が送信されると、該表示画像が通信部により受信され、画像表示部にその表示画像が表示される。
【０１２０】
【発明の効果】
請求項１に記載の発明によれば、撮像された画像の中心部分で解像度が高く、周辺部分で中心部分よりも解像度が低くなるように光像が撮像面に結像され、撮像素子から出力される電気信号に基づいて撮像画像が生成され、生成された撮像画像が表示用の表示画像に変換され、撮像画像から表示画像に変換する際に生じる表示画像内の変換不能な領域が、別途撮像した表示画像の一部を用いて補正されるので、表示用の画像である表示画像内の変換不能な領域を補正して表示することができ、解像度の高い表示画像を作成することができる。
【０１２１】
請求項２に記載の発明によれば、撮像画像から表示画像に変換する際に生じる表示画像内の変換不能な領域が、駆動部によって撮像部を所定の方向に駆動することで得られる表示画像の一部を用いて補正されるので、表示用の画像である表示画像内の変換不能な領域を補正して表示することができ、解像度の高い表示画像を作成することができる。
【０１２２】
請求項３に記載の発明によれば、撮像された画像の中心部分で解像度が高く、周辺部分で中心部分よりも解像度が低くなるように光像が撮像面に結像され、撮像素子から出力される電気信号に基づいて撮像画像が生成され、生成された撮像画像が表示用の表示画像に変換され、撮像画像から表示画像に変換する際に生じる表示画像内の変換不能な領域に所定の情報が合成されるので、表示用の画像である表示画像内に変換不能な領域が含まれている場合でも、この変換不能な領域を有効に利用することができる。
【０１２３】
請求項４に記載の発明によれば、撮像画像から表示画像に変換する際に生じる表示画像内の変換不能な領域に文字情報が合成されるので、表示画像と共に当該表示画像に関する文字情報を表示することができ、変換不能な領域を有効に利用することができる。
【０１２４】
請求項５に記載の発明によれば、撮像画像から表示画像に変換する際に生じる表示画像内の変換不能な領域に当該表示画像の一部を拡大した拡大画像が合成されるので、表示画像と共に当該表示画像の一部を拡大した拡大画像を表示することができ、変換不能な領域を有効に利用することができる。
【図面の簡単な説明】
【図１】本実施形態の監視システムの構成図である。
【図２】監視システムにおいて使用される監視カメラの外観図である。
【図３】監視カメラに採用されるレンズの特性を示す図である。
【図４】監視カメラで撮影を行って得られた画像の一例を示す図である。
【図５】第１の実施形態における監視システムの構成を示すブロック図である。
【図６】第１の実施形態における監視カメラの動作を示すフローチャートである。
【図７】欠損領域の垂直方向の画角の算出方法について説明するための図である。
【図８】第１の撮像画像の一例を示す図である。
【図９】第１の表示画像の一例を示す図である。
【図１０】第２の撮像画像の一例を示す図である。
【図１１】第２の表示画像の一例を示す図である。
【図１２】合成画像の一例を示す図である。
【図１３】第２の実施形態における監視システムの構成を示すブロック図である。
【図１４】第２の実施形態における監視カメラの動作を示すフローチャートである。
【図１５】欠損領域に文字情報及び画像情報を表示する場合の表示画像の一例を示す図である。
【図１６】撮像素子の撮像面に対する光像の大きさを示す図である。
【符号の説明】
１ 監視システム
２ 監視カメラ
３ コントローラ
４ 通信ネットワーク
５ ＧＰＳ
３１ 画像表示部
２０１ 結像部
２０２ 撮像素子
２０３ 画像生成部
２０４ 画像記憶部
２０５ ＣＰＵ
２０６ 画像処理部
２０７ 画像合成部
２０８ Ｉ／Ｏ部
２０９ 駆動部
２１０ 撮像部
２２０ 制御部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an imaging device for effectively utilizing an unconvertible area in a display image generated when a captured image is converted into a display image.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, in a digital camera using an image sensor such as a CCD, a method of increasing a resolution by generating a captured image of an entire subject by combining a plurality of partially captured images has been proposed (for example, Patent Document 1).
[0003]
In recent years, a lens that mimics the fovea which is one of human visual functions (hereinafter referred to as a fovea lens) has been proposed (for example, see Non-Patent Document 1). The image captured using the foveated lens has a high resolution at the center and a low resolution at the periphery.
[0004]
[Patent Document 1]
JP-A-11-196317
[Non-patent document 1]
"Development of a new visual sensor having a fovea-development of a wide-angle high-distortion lens-", Transactions of the Society of Instrument and Control Engineers, 1995, Vol. 31, No. 10, p. 1556-1563
[0005]
[Problems to be solved by the invention]
By the way, when an image is taken using the foveated lens, distortion occurs due to the characteristics of the lens. Therefore, it is necessary to perform a geometric transformation from the captured image to create a display image from which distortion has been removed. FIG. 16 is a diagram illustrating a size of an optical image with respect to an imaging surface of an imaging element. FIG. 16A is a diagram illustrating the size of a light image with respect to the imaging surface when a circular light image is in contact with the upper side and the lower side of the imaging surface of the imaging device, and FIG. FIG. 16C is a diagram illustrating the size of a light image with respect to the imaging surface when a circular light image is in contact with the right side and the left side of the imaging surface. FIG. FIG. 7 is a diagram illustrating a size of an optical image with respect to an imaging surface when an image is in contact. As shown in FIGS. 16A to 16C, the imaging surface of the imaging device has an upper side and a lower side equal in length, a right side and a left side equal in length, and the upper side and the lower side have a right side and a lower side. The light image formed into a rectangular shape longer than the length of the left side and formed on the imaging surface by the foveated lens has a circular shape having a center point at an intersection of two diagonals of the imaging surface.
[0006]
As shown in FIG. 16A, when the entire optical image fits on the imaging surface, the area where no image is formed becomes large, so that the number of unused pixels increases and the resolution decreases. Also, as shown in FIG. 16C, when the entire imaging surface fits in the optical image, the resolution is high, but since the optical image largely protrudes from the imaging surface, the imaging target is imaged at a wide angle of view. It is difficult. Therefore, as shown in FIG. 16B, by setting the position of the light image and the position of the imaging surface so that the right and left sides of the imaging surface are in contact with the light image, the wide angle of view can be obtained without impairing the resolution. It is possible to take an image.
[0007]
However, when the captured image shown in FIG. 16B is converted into a display image, a region that cannot be converted occurs above and below the display image. This is because the captured image becomes barrel-shaped distortion due to the characteristics of the lens. When the barrel-shaped distortion is converted into a display image, the image of the upper side portion of the imaging surface curves downward and the lower side of the imaging surface. This is because the image of the portion is curved upward and converted.
[0008]
SUMMARY An advantage of some aspects of the invention is to correct a non-convertible region generated when a captured image having a predetermined distortion is converted into a display image for display, and to effectively use the image. It is an object of the present invention to provide an imaging device capable of performing the following.
[0009]
[Means for Solving the Problems]
An imaging device according to the present invention includes an imaging device that photoelectrically converts an optical image formed on an imaging surface in which a plurality of pixels are two-dimensionally arranged into an electric signal at each pixel, and a central portion of the captured image. An imaging unit including an imaging unit that forms an optical image having a different resolution on the imaging surface with a peripheral portion and a captured image generation unit that generates a captured image based on an electric signal output from the imaging element. A display image creation unit that converts the captured image generated by the captured image generation unit into a display image for display, and a non-convertible area in the display image generated when converting the captured image to the display image. A display image correction unit configured to perform correction using a part of a separately captured display image.
[0010]
According to this configuration, the optical image is formed on the imaging surface so that the resolution is higher at the center of the captured image and lower at the periphery than at the center, and the electric signal output from the imaging element is A captured image is generated based on the generated captured image, the generated captured image is converted to a display image for display, and an unconvertible area in the display image generated when converting the captured image to the display image is an image of the display image captured separately. Since the correction is performed using a part of the display image, an unconvertible area in the display image, which is a display image, can be corrected and displayed, and a display image with high resolution can be created.
[0011]
In the above-described imaging apparatus, the image processing apparatus further includes a driving unit configured to drive the imaging unit in a predetermined direction, wherein the display image correction unit is configured to convert the captured image into the display image. It is preferable to correct an unnecessary area using a part of a display image obtained by driving the imaging unit in a predetermined direction by the driving unit.
[0012]
According to this configuration, an unconvertible region in the display image generated when converting the captured image to the display image uses a part of the display image obtained by driving the imaging unit in a predetermined direction by the driving unit. Therefore, the area that cannot be converted in the display image, which is a display image, can be corrected and displayed, and a display image with high resolution can be created.
[0013]
In addition, an imaging device according to the present invention includes an imaging device that photoelectrically converts a light image formed on an imaging surface in which a plurality of pixels are two-dimensionally arranged into an electric signal at each pixel, and an imaging device that captures a captured image. An imaging unit including an imaging unit that forms an optical image having a different resolution between a central part and a peripheral part on the imaging surface; and a captured image generation that generates a captured image based on an electric signal output from the imaging element Unit, a display image creation unit that converts the captured image generated by the captured image generation unit into a display image for display, and an unconvertible area in the display image generated when converting the captured image to the display image And an information synthesizing unit for synthesizing predetermined information.
[0014]
According to this configuration, the optical image is formed on the imaging surface so that the resolution is higher at the center of the captured image and lower at the periphery than at the center, and the electric signal output from the imaging element is A captured image is generated based on the captured image, the generated captured image is converted into a display image for display, and predetermined information is combined with an unconvertible area in the display image generated when converting the captured image into a display image. Therefore, even when a non-convertible area is included in a display image that is a display image, the non-convertible area can be effectively used.
[0015]
Further, in the above-described imaging apparatus, it is preferable that the information synthesizing unit synthesizes character information with a non-convertible region in a display image generated when converting the captured image into the display image.
[0016]
According to this configuration, the character information is combined with the non-convertible region in the display image generated when converting the captured image to the display image, so that the character information on the display image can be displayed together with the display image, An area that cannot be converted can be effectively used.
[0017]
Further, in the above-described imaging apparatus, the information synthesis unit synthesizes an enlarged image obtained by enlarging a part of the display image with a non-convertible area in the display image generated when converting the captured image into the display image. Is preferred.
[0018]
According to this configuration, an enlarged image obtained by enlarging a part of the display image is combined with a non-convertible area in the display image generated when the captured image is converted to the display image. An enlarged image in which a part is enlarged can be displayed, and an area that cannot be converted can be effectively used.
[0019]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments according to the present invention will be described with reference to the drawings.
(1st Embodiment)
FIG. 1 is a configuration diagram of the monitoring system of the present embodiment.
[0020]
As shown in FIG. 1, themonitoring system 1 includes a monitoring camera (corresponding to an imaging device) 2 that captures a predetermined monitoring target area and acontroller 3 communicably connected via a communication network 4. Thecontroller 3 is, for example, a personal computer or a mobile phone, and includes animage display unit 31 that displays an image transmitted from themonitoring camera 2. If thecontroller 3 is a personal computer, theimage display unit 31 is configured by, for example, a CRT monitor or a liquid crystal monitor. If thecontroller 3 is a mobile phone, theimage display unit 31 is configured by, for example, a liquid crystal monitor. Themonitoring camera 2 and thecontroller 3 are each provided with a communication unit (not shown) for enabling mutual communication.
[0021]
In themonitoring system 1, when the monitoring target area is photographed by themonitoring camera 2, data of the image is transmitted from themonitoring camera 2 to thecontroller 3 via the communication network 4, while thecontroller 3 controls themonitoring camera 2 Is input from thecontroller 3 to thesurveillance camera 2 via the communication network 4, thesurveillance camera 2 operates based on the request information. I do.
[0022]
The request includes, for example, a request for establishing a communication connection with themonitoring camera 2, a request for switching image data transmitted from themonitoring camera 2, a request relating to the operation of themonitoring camera 2, and the like.
[0023]
Thus, the image captured by thesurveillance camera 2 can be visually recognized on theimage display unit 31 of thecontroller 3, and the operation of thesurveillance camera 2 can be remotely operated.
[0024]
The communication network 4 for communicably connecting themonitoring camera 2 and thecontroller 3 is constructed by, for example, a wireless LAN (Local Area Network) using a transmission medium such as radio waves or infrared rays, or an Ethernet (registered trademark) standard. It is composed of a LAN or the like.
[0025]
In the present embodiment, thesurveillance camera 2 and thecontroller 3 are connected via the communication network 4. However, the present invention is not particularly limited to this, and thesurveillance camera 2 and thecontroller 3 are directly connected by wire. Alternatively, the Internet may be used as the communication network 4. Furthermore, in the present embodiment, themonitoring camera 2 and thecontroller 3 may be connected by wireless communication such as Bluetooth (registered trademark).
[0026]
FIG. 2 is an external view of themonitoring camera 2 used in themonitoring system 1. As shown in FIG. 2, thesurveillance camera 2 includes acamera 21, aframe 22 bent in a U-shape, and a geared motor that moves an optical axis (monitoring direction) L of thecamera 21 in a vertical direction (hereinafter, referred to as a tilt direction). 23 and a gearedmotor 24 for moving the optical axis L of thecamera 21 in the left-right direction (hereinafter, referred to as a pan direction).
[0027]
Thecamera 21 has aU-shaped frame 22 with a tilt-direction rotating shaft 25 protruding from the left and right sides penetrating throughholes 22B formed in the side surfaces 22A and 22A 'of theU-shaped frame 22. The output shaft of a gearedmotor 23 is attached to the tip of arotating shaft 25 that projects through theside surface 22A. At the center of the lower surface of theU-shaped frame 22, apanning rotation shaft 26 projects downward, and the output shaft of the gearedmotor 24 is attached to the tip of therotation shaft 26.
[0028]
The gearedmotor 24 is fixed to theframe 22, and is configured to be rotatable in the pan direction integrally with theframe 22. The gearedmotor 23 is fixed to thecamera 21.
[0029]
In the above configuration, when the gearedmotor 24 is rotationally driven, theU-shaped frame 22 rotates around therotation axis 26, whereby the optical axis L of thecamera 21 moves in the pan direction, and the gearedmotor 23 rotates. When driven, thecamera 21 rotates around therotation axis 25, whereby the optical axis L of thecamera 21 moves in the tilt direction.
[0030]
In the following description, the operation of themonitoring camera 2 in which the optical axis L of thecamera 21 moves in the pan direction is referred to as a pan operation, and the operation of themonitoring camera 2 in which the optical axis L moves in the tilt direction is referred to as a tilt operation.
[0031]
Thesurveillance camera 2 employs a lens that mimics the fovea (a fovea lens), which is one of human visual functions, as an optical system for photographing the monitored area. Therefore, the foveal lens used for themonitoring camera 2 will be described below.
[0032]
FIG. 3A is a graph showing the distortion / angle-of-view characteristics of the foveated lens, in which the horizontal axis represents the distortion X expressed as a percentage and the vertical axis represents the angle of view θ expressed in degrees (°). . FIG. 3B is a graph showing the angle-of-view / image height characteristics. The horizontal axis is the angle of view θ, and the vertical axis is the image height Y.
[0033]
As shown in FIG. 3A, in the fovea lens, in a region where the angle of view θ is small (the region up to about 5 degrees in FIG. 3), the distortion X is a predetermined value Xi, and the angle of view θ is It has the characteristic that when it exceeds, it rapidly increases.
[0034]
Here, the predetermined value Xi in the distortion X is a value that looks like a natural image without similar distortion when a human sees an image of an optical image of a subject transmitted through the central region of the fovea lens. Xi = 3% (at this time, θi = about 8 °). Of course, even if the predetermined value Xi is set to a value of 3% or less, for example, about 2% or about 1%, a human looks like a natural image without similar distortion.
[0035]
FIG. 3A shows the characteristics of a foveated lens having about -70% distortion at a half angle of view of about 50 degrees.
[0036]
Due to this characteristic, as shown in FIG. 3B, the height (hereinafter, referred to as an image height) Y of the optical image formed on the fovea lens is in a region where the angle of view θ is small (see FIG. 3B). (The area on the left side of the dotted line), the image height Y is substantially linear with respect to the angle of view θ, and the amount of change with respect to a unit change of the angle of view θ is large.
[0037]
On the other hand, in a region where the angle of view θ is large (region on the right side of the dotted line shown in FIG. 3B), the image height Y is non-linear with respect to the angle of view θ, and the amount of change per unit change of the angle of view θ is , Gradually decreases with an increase in the angle of view θ, and the image height Y becomes a substantially constant value. In other words, the resolution is high in a region where the angle of view θ is small, and the resolution is low in a region where the angle of view θ is large.
[0038]
By appropriately setting the radius of curvature and the like of the fovea lens, the fovea lens is equivalent to the central region (corresponding to “a region having a small angle of view θ”) of the fovea lens where a large image height Y is obtained. Compared to a case where the zoom magnification is obtained by using a normal lens in place of the foveated lens, the zoom lens has a wider field of view and a peripheral area of the foveated lens having the wide field of view (“region with a large angle of view θ”). A large light image of the subject is projected in the central region of the foveated lens, as compared with a case where a field of view equivalent to that described above is obtained by using a normal lens instead of the foveated lens.
[0039]
In the present embodiment, as the foveated lens, a lens whose central area is equivalent to a focal length f of 80 mm in terms of a 35 mm camera and whose peripheral area is equivalent to a focal length f of 16 mm in terms of a 35 mm camera is adopted. However, the present invention is not limited to this.
[0040]
The foveated lens is a lens that has the function of enlarging the image in the central region of the visual field and compressing the image in the peripheral region, and has a wide visual field, high resolution in the central region, and a natural image with little distortion in the central region. Are obtained.
[0041]
Note that the above-mentioned ordinary lens refers to a lens in which the relationship among the image height Y, the focal length f, and the angle of view θ is represented by Y = f · tan θ.
[0042]
By performing photographing using the foveal lens having the above-described characteristics as an image forming unit, the captured image has a portion corresponding to the wide-angle region of the foveal lens as shown in FIG. While the subject is compressed, the portion corresponding to the telephoto region of the foveated lens is an enlarged subject located at the center compared to a subject located at the periphery.
[0043]
Therefore, thesurveillance camera 2 can capture a wide area while capturing a central portion of the capturing area with high resolution.
[0044]
Next, a surveillance camera according to the first embodiment of the present invention will be described. FIG. 5 is a block diagram illustrating a configuration of themonitoring system 1 according to the first embodiment.
[0045]
As shown in FIG. 5, themonitoring system 1 according to the first embodiment includes amonitoring camera 2 and acontroller 3. Themonitoring camera 2 according to the first embodiment includes animaging unit 201, animaging element 202, an image generation unit (corresponding to a captured image generation unit) 203, animage storage unit 204, a CPU (central processing unit) 205, image processingA display unit 206, an image synthesizing unit 207 (corresponding to a display image correcting unit), an I / O (input / output)unit 208, and adriving unit 209. Theimaging unit 210 includes animaging unit 201 and animaging device 202. Thecontrol unit 220 includes animage generation unit 203, animage storage unit 204, aCPU 205, animage processing unit 206, animage synthesis unit 207, and an I /O unit 208. Be composed.
[0046]
Theimaging unit 201 forms an optical image having a different resolution between a central portion and a peripheral portion of a captured image on an imaging surface of theimaging element 202, and corresponds to, for example, the above-mentioned foveated lens. is there.
[0047]
Theimage pickup device 202 includes a plurality of photoelectric conversion elements such as photodiodes, which are two-dimensionally arranged in a matrix, and R (red), G (green), and B (blue) colors are provided on a light receiving surface of each photoelectric conversion element. This is a CCD color area sensor in which filters are arranged at a ratio of 1: 2: 1. Theimage sensor 202 converts the light image of the subject formed by theimage forming unit 201 into analog electric signals (image signals) of R (red), G (green), and B (blue) color components. It is output as an image signal of each of G and B colors. Note that theimage sensor 202 may be a monochrome image sensor.
[0048]
Theimage pickup device 202 performs an image pickup operation such as start and end of an exposure operation of theimage pickup device 202 and readout (horizontal synchronization, vertical synchronization, transfer) of an output signal of each pixel in theimage pickup device 202 by a timing generator or the like (not shown). Controlled.
[0049]
Theimage generation unit 203 generates a captured image based on an electric signal output from theimage sensor 202. First, theimage generation unit 203 performs predetermined analog signal processing on an analog image signal output from theimage sensor 202. Specifically, theimage generation unit 203 reduces noise of the image signal by a CDS (correlated double sampling) circuit, and adjusts the level of the image signal by an AGC (auto gain control) circuit. Then, theimage generation unit 203 converts the output analog R, G, B image signals into digital image signals (hereinafter, referred to as digital signals) including a plurality of bits. Theimage generation unit 203 converts the A / D-converted R, G, and B digital signals into R (G) based on black level correction for correcting the black level to a reference black level and white reference according to the light source. White balance that performs level conversion of digital signals of each color component of red, G (green), and B (blue), and corrects γ characteristics of digital signals of each color of R (red), G (green), and B (blue) Correction is performed. The captured image generated by theimage generation unit 203 is an image having a predetermined distortion as shown in FIG. 4 because the above-described foveated lens is used as an imaging unit.
[0050]
In the following description, a signal processed by theimage generation unit 203 is referred to as captured image data, pixel data of each pixel included in the captured image data is referred to as captured pixel data, and an image related to the captured image data is referred to as a captured image. . In the present embodiment, the captured image data of each color has pixel data of 1280 (pixels) × 1024 (pixels) pixels.
[0051]
Theimage storage unit 204 is a memory that temporarily stores captured image data output from theimage generation unit 203 and is used as a work area for theCPU 205 to perform processing to be described later on the image data. Note that theimage storage unit 204 stores at least one frame before the captured image data.
[0052]
TheCPU 205 is, for example, a microcomputer having a built-in storage unit including a ROM for storing a control program and a RAM for temporarily storing data, and organically controls the driving of thecamera 21 and each member in the camera body described above. Then, the photographing operation of thesurveillance camera 2 is comprehensively controlled. TheCPU 205, theimage storage unit 204, theimage processing unit 206, theimage synthesizing unit 207, and the I /O unit 208 are mutually connected via abus 230, and theimage storage unit 204, theimage processing unit 206, and theThe combining unit 207 and the I /O unit 208 operate based on an instruction from theCPU 205.
[0053]
Theimage processing unit 206 corrects the distortion of the captured image by converting the captured image stored in theimage storage unit 204 into a display image for display. As described above, since the captured image is entirely distorted, if the data of the captured image is transmitted to thecontroller 3 as it is, theimage display unit 31 of thecontroller 3 displays the distorted image. Is displayed, so that good visibility of the image (natural appearance when the image is viewed with the naked eye) cannot be obtained. Therefore, it is necessary to correct the distortion of the captured image, and theimage processing unit 206 creates a display image for display captured by a normal lens by geometrically transforming the captured image. Theimage processing unit 206 stores the converted display image in theimage storage unit 204. In the present embodiment, a signal processed by theimage processing unit 203 is defined as display image data, and an image related to the display image data is defined as a display image.
[0054]
Here, a method of converting an image captured by a foveated lens into an image captured by a normal lens will be described.
[0055]
First, assuming that the number of pixels of the captured image is M (pix) × N (pix) and the number of pixels of the display image is K (pix) × L (pix), an arbitrary pixel (hereinafter referred to as a pixel of interest) in the display image The coordinates (u, v) of the corresponding point of the captured image corresponding to the coordinates (i, j) (0 ≦ i ≦ K, 0 ≦ j ≦ K) are calculated. With respect to the coordinates (i, j) of the target pixel of the display image, the distance d (dx: x component, dy: y component) from the center coordinates (cvx, cvy) of the display image is as follows (1) to (3). It is represented by the formula. Note that the center coordinates (cvx, cvy) of the display image are the center of the display image, that is, cvx = K / 2 and cvy = L / 2.
dx = (K / 2−i) (1)
dy = (L / 2−j) (2)
d = (dx² + Dy² )^1/2 ・ ・ ・ ・ (3)
[0056]
The incident angle θ at the target pixel (i, j) is expressed by the following equation (4) and the following equation (5).
tan θ = d / fl (4)
tan (θv / 2) = (K / 2) / fl (5)
θ = atan (d · tan (θv / 2) / (K / 2)) (6)
[0057]
In the above equations (4) to (6), fl represents the focal length from the fovea lens to the image sensor, and θv represents the horizontal angle of view.
[0058]
Since the image height h in the captured image is represented by h = f (θ), the coordinates (u, v) of the corresponding point in the captured image are calculated using the center coordinates (cwx, cwy) of the captured image as follows: Expressions (7) and (8) are used. The center coordinates (cwx, cwy) of the display image are at the center of the display image, that is, cwx = M / 2 and cwy = N / 2.
u = cwx + h × (dx / d) (7)
v = cwy + h × (dy / d) (8)
[0059]
Here, if u and v are within the captured image (0 ≦ u ≦ M and 0 ≦ v ≦ L), the pixel value of the target pixel (i, j) of the display image is calculated. Note that the pixel value of the coordinates (u, v) of the corresponding captured image is substituted for the pixel value of the target pixel (i, j). If u and v are not represented by integers (decimals), an integer conversion process is performed to round off decimal places. Here, when the integer conversion process is performed, there is a possibility that some pixels in the captured image have no corresponding pixels in the display image. In other words, a part where the position data is discontinuous with an integer value may occur due to the integer conversion processing. Therefore, when there is no pixel in the display image corresponding to the pixel in the captured image, an interpolation process for generating a pixel value of a pixel in the display image is performed. In this interpolation processing, for example, the pixel value of a pixel in one of the pixels vertically adjacent to the pixel having no pixel value is used as it is. Alternatively, in the interpolation processing, for example, a linear function indicating the relationship between the position and the luminance is obtained by using image data of a pixel vertically adjacent to a pixel having no pixel value, and the pixel function having no pixel value is determined by integer conversion processing. Perform linear interpolation to calculate pixel values. If u and v are outside the captured image, it is determined that the area cannot be converted (hereinafter, referred to as a lost area), and the pixel value is not calculated.
[0060]
In this way, each pixel value of the display image is calculated, the captured image is converted into the display image, and the display image converted from the captured image for display is stored in theimage storage unit 204.
[0061]
Theimage synthesizing unit 207 causes thedrive unit 209 to drive the imaging unit in a predetermined direction in a non-convertible area (missing area) in the display image generated when theimage processing unit 206 converts the captured image into the display image. Is corrected by using a part of the display image obtained in the step (1). That is, theimage synthesis unit 207 obtains a non-convertible defective area in the display image generated when converting the captured image into the display image by driving theimaging unit 210 in the vertical direction by the drivingunit 209 described below. The first display image and the second display image obtained by further driving theimaging unit 210 in the vertical direction by the drivingunit 209 are combined.
[0062]
The I /O unit 208 controls input and output of data between thecontroller 3 and thedrive unit 209, and performs transmission of image data to thecontroller 3, reception of request information from thecontroller 3, and the like.
[0063]
Thedrive unit 209 includes gearedmotors 23 and 24, and drives the optical axis L of themonitoring camera 21 in the pan direction and the tilt direction according to a command from theCPU 205.
[0064]
Next, the operation of themonitoring camera 2 according to the first embodiment will be described. FIG. 6 is a flowchart illustrating the operation of themonitoring camera 2 according to the first embodiment.
[0065]
In step S1, theCPU 205 instructs a reset of thedriving unit 209. TheCPU 205 instructs thedrive unit 209 to return the position of theimaging unit 210 to the initial position.
[0066]
In step S2, theCPU 205 outputs a display image to thecontroller 3. That is, theCPU 205 reads the display image stored in theimage storage unit 203 and outputs the display image to thecontroller 3 via the I /O unit 208. Theimage display unit 31 of thecontroller 3 displays an input display image. When themonitoring camera 2 is activated, that is, when the monitoring target area is first imaged, the processing in step S2 is skipped, and the processing in step S3 and subsequent steps is performed.
[0067]
In step S3, theCPU 205 determines whether or not the driving amounts (PTZ amounts) p, t, and z of the pan operation, the tilt operation, and the zoom operation output from thecontroller 3 have been detected. Here, when the respective drive amounts p, t, and z of the pan operation, the tilt operation, and the zoom operation are detected (YES in step S3), the process proceeds to step S4, and each of the pan operation, the tilt operation, and the zoom operation is performed. When the drive amounts p, t, and z are not detected, the process returns to step S2, and the processes after step S2 are performed. Note that the respective drive amounts of the pan operation, the tilt operation, and the zoom operation are instructed by an input unit included in thecontroller 3.
[0068]
In step S4, theCPU 205 instructs the drivingunit 209 on the driving amount in the pan direction and the driving amount in the tilt direction. Here, the driving amount in the pan direction instructed by theCPU 205 is the driving amount p output from thecontroller 3, and the driving amount in the tilt direction instructed by theCPU 205 is less than the driving amount t output from thecontroller 3. This is the amount t−α obtained by subtracting the vertical angle of view α of the region.
[0069]
Here, a method of calculating the vertical angle of view α of the defective area will be described. FIG. 7 is a diagram for explaining a method of calculating the vertical angle of view α of the defective area.
[0070]
As shown in FIG. 7, the number of pixels in the vertical direction of the display image is L (pix), the angle of view in the vertical direction of the display image is θH, the focal length is fl, and the number of pixels in the vertical direction of the defective area is n. (Pix), and the angle of view of the missing area in the vertical direction is α, the following equation (9) holds.
tanθH = L / fl (9)
[0071]
The above equation (9) can be replaced by the following equation (10).
fl = L / tan θH (10)
[0072]
Further, when the vertical angle of view α of the missing area is subtracted from the vertical angle of view θH of the display image, it is expressed by the following equation (11).
θH−α = atan ((L−n) / fl) (11)
[0073]
Α in the above equation (11) is expressed by the following equation (12) by substituting the above equation (10) into fl.
α = θH-atan ((Ln) / (L / tan θH)) (12)
[0074]
The drive amount t-α in the tilt direction is calculated using the vertical angle of view α of the defective area thus obtained, and theCPU 205 drives the calculated drive amount t-α in the tilt direction. An instruction is given to theunit 209. Thedrive unit 209 drives theimaging unit 210 to rotate in each direction based on the drive amount in the pan direction and the drive amount in the tilt direction instructed by theCPU 205.
[0075]
Returning to FIG. 6, in step S5, theCPU 205 instructs theimage processing unit 206 to create a first display image with the focal length fl. That is, theimaging unit 201 forms an optical image in the monitoring target range on the imaging surface of theimaging device 202, and theimaging device 202 photoelectrically converts the optical image in the monitoring target range formed on the imaging surface. Theimage generation unit 203 generates a first captured image from the electric signal photoelectrically converted by theimage sensor 202. Theimage storage unit 204 temporarily stores the first captured image. Theimage processing unit 206 reads the first captured image stored in theimage storage unit 204 based on an instruction from theCPU 205, and displays a first display image at a focal length fl in which distortion has been corrected from the first captured image. Create The created first display image is stored in theimage storage unit 204.
[0076]
FIG. 8 is a diagram illustrating an example of the first captured image. The first captured image SG1 shown in FIG. 8 is obtained by driving theimaging unit 210 in the pan direction with the driving amount p in the pan direction input from thecontroller 3, and calculating the missing area from the driving amount t in the tilt direction input from thecontroller 3. Is an image captured by driving theimaging unit 210 in the tilt direction with the drive amount t−α subtracted by the angle of view α. That is, theimage generation unit 203 generates the first captured image SG1 when the drivingunit 209 is driven by the driving amount p in the pan direction and driven by the driving amount t−α in the tilt direction. As shown in FIG. 8, the first captured image SG1 captured by theimaging unit 201 having the foveated lens is distorted in a barrel shape.
[0077]
FIG. 9 is a diagram illustrating an example of the first display image. Theimage processing unit 206 creates the first display image HG1 by correcting the distortion of the first captured image SG1 shown in FIG. As shown in FIG. 9, in the first display image HG <b> 1, a missing area KR that is not displayed in the upper part and the lower part of the image is generated by performing the distortion correction. Further, as shown in FIG. 9, the first display image HG1 is an image shifted downward from the drive amount t in the tilt direction input from thecontroller 3 by the angle of view in the vertical direction of the defective area.
[0078]
Returning to FIG. 6, in step S6, theCPU 205 instructs thedrive unit 209 to drive in the tilt direction. Here, the amount of drive in the tilt direction instructed by theCPU 205 is 2α, which is twice the vertical angle of view α of the defective area.
[0079]
In step S7, theCPU 205 instructs theimage processing unit 206 to create a second display image having the same focal length fl as the first display image and shifted upward by the vertical angle of view of the two defective areas. Instruct. That is, theimage generation unit 203 generates a second captured image from the electric signal photoelectrically converted by theimaging element 202, and the generated second captured image is temporarily stored in theimage storage unit 204. Theimage processing unit 206 creates a second display image at a focal length fl in which distortion has been corrected from the second captured image stored in theimage storage unit 204, based on an instruction from theCPU 205.
[0080]
FIG. 10 is a diagram illustrating an example of the second captured image. The second captured image SG2 illustrated in FIG. 10 is an image captured by driving theimaging unit 210 in the tilt direction with a drive amount 2α that is further shifted upward by the vertical angle of view α of the two defective areas. is there. That is, theimage generation unit 203 generates the second captured image SG2 when the drivingunit 209 is further driven by the driving amount 2α in the tilt direction. As shown in FIG. 10, the second captured image SG2 captured by theimaging unit 201 having the fovea lens is distorted in a barrel shape.
[0081]
FIG. 11 is a diagram illustrating an example of the second display image. Theimage processing unit 206 creates the second display image HG2 by correcting the distortion of the second captured image SG2 shown in FIG. As shown in FIG. 11, the second display image HG2 is subjected to distortion correction, so that a missing region KR that is not displayed in the upper portion and the lower portion of the image is generated. Also, as shown in FIG. 11, the second display image HG2 is an image shifted upward from the first display image HG1 by the angle of view in the vertical direction of the two defective areas.
[0082]
Returning to FIG. 6, in step S8, theCPU 205 instructs theimage combining unit 207 to combine the first display image HG1 and the second display image HG2. Theimage combining unit 207 creates a combined image GG by combining the combined area GR1 of the first display image HG1 (see FIG. 9) and the combined area GR2 of the second display image HG2 (see FIG. 11), The created composite image is stored in theimage storage unit 203. The combined area GR1 is an image of the upper half of the combined image GG, an image having a starting point of (0, n) and a size of K × L / 2. The combined area GR2 is an image of the lower half of the combined image GG, the starting point of which is (0, L / 2-n), and the size of which is K × L / 2. Here, n is the number of pixels in the vertical direction of the defective area in the first display image HG1, K is the number of pixels in the horizontal direction in the first display image HG1, and L is the vertical direction in the first display image HG1. Is the number of pixels. The composite image stored in theimage storage unit 203 is output to thecontroller 3 via the I /O unit 208, and displayed on theimage display unit 31 of thecontroller 3.
[0083]
FIG. 12 is a diagram illustrating an example of the composite image. Theimage combining unit 207 combines the combining area GR1 in the first display image HG1 shown in FIG. 9 with the combining area GR2 in the second display image HG2 shown in FIG. A composite image GG is created. The composite image GG is an image driven by the drive amount p in the pan direction and driven by the drive amount t in the tilt direction. As shown in FIG. 12, a combined image GG obtained by combining the combined area GR1 in the first display image HG1 and the combined area GR2 in the second display image HG2 is displayed on theimage display unit 31 of thecontroller 3 as a display image. Therefore, it is possible to provide an image in which the missing region KR caused by converting the captured image into the display image is corrected.
[0084]
Returning to FIG. 6, in step S9, theCPU 205 determines whether an end signal transmitted from thecontroller 3 has been detected. The end signal is a signal for ending the shooting of the monitoring target area, is input by the input unit of thecontroller 3, and is output to theCPU 205 via the I /O unit 208. Here, when the end signal is detected (YES in step S9), the process ends, and when the end signal is not detected (NO in step S9), the process returns to step S2, and the output of the display image to thecontroller 3 is performed. Then, the processing after step S2 is performed.
[0085]
In the present embodiment, two display images are created by driving theimaging unit 210 up and down in the tilt direction, and an image without a missing area is created by combining the two created display images. However, the present invention is not particularly limited to this, and a plurality of display images are created by driving theimaging unit 210 to the left and right in the pan direction, and an image without a defective area among the created plurality of display images is synthesized. By doing so, a display image having no missing area may be created.
[0086]
When theimaging unit 210 is driven only in the tilt direction, the correction may be performed using a part of the image of the previous frame. That is, when theimaging unit 210 is driven only in the tilt direction, the correction is performed by combining the image excluding the defective area of the display image of the previous frame and the image excluding the defective area of the display image of the next frame. In this case, it is not necessary to retake the image for the correction, and the defective area can be corrected at a high speed.
[0087]
In this way, an optical image is formed on the imaging surface such that the resolution is higher at the center of the captured image and lower at the periphery than at the center, and based on the electric signal output from theimaging element 202. A captured image is generated, the generated captured image is converted into a display image for display, and a non-convertible area (missing area) in the display image generated when converting the captured image to the display image is separately captured. Since the correction is performed using a part of the display image, an unconvertible area in the display image, which is a display image, can be corrected and displayed, and a display image with high resolution can be created.
[0088]
Further, an unconvertible area in the display image generated when converting the captured image to the display image is corrected using a part of the display image obtained by driving theimaging unit 210 in a predetermined direction by the drivingunit 209. Therefore, a non-convertible area in the display image, which is a display image, can be corrected and displayed, and a display image with high resolution can be created.
(Second embodiment)
Next, a surveillance camera according to a second embodiment of the present invention will be described. In the first embodiment, a non-convertible area in a display image generated when a captured image is converted to a display image is one of display images obtained by driving theimaging unit 210 in a predetermined direction by the drivingunit 209. However, in the second embodiment, various pieces of information are combined and displayed in a non-convertible area of the display image in the second embodiment. Thesurveillance system 1 and thesurveillance camera 2 according to the second embodiment have the same configuration as thesurveillance system 1 and thesurveillance camera 2 shown in FIGS. FIG. 13 is a block diagram illustrating a configuration of themonitoring system 1 according to the second embodiment.
[0089]
As shown in FIG. 13, thesurveillance system 1 according to the second embodiment includes asurveillance camera 2, acontroller 3, and a GPS 5. Themonitoring camera 2 according to the second embodiment includes animaging unit 201, animaging element 202, animage generation unit 203, animage storage unit 204, a CPU (central processing unit) 205, animage processing unit 206, and I / O (input / output). )Unit 208, adriving unit 209, a characterinformation synthesizing unit 211, and an imageinformation synthesizing unit 212. Theimaging unit 210 includes animaging unit 201 and animaging element 202. Thecontrol unit 220 includes animage generation unit 203, animage storage unit 204, aCPU 205, animage processing unit 206, an I /O unit 208, and a characterinformation synthesis unit 211. And an imageinformation synthesizing unit 212. The imaging information synthesizing unit (corresponding to the information synthesizing unit) 240 includes a characterinformation synthesizing unit 211 and an imageinformation synthesizing unit 212. Thesurveillance camera 2 according to the second embodiment has substantially the same configuration as thesurveillance camera 2 according to the first embodiment shown in FIG. 5, and therefore only different configurations will be described below.
[0090]
The imaginginformation synthesizing unit 240 is for synthesizing information regarding the imaging device with a missing area of the display image, and includes a characterinformation synthesizing unit 211 and an imageinformation synthesizing unit 212.
[0091]
The characterinformation combining unit 211 combines character information represented on a character basis such as a character or a figure with the missing area KR of the display image created by theimage processing unit 206. The character information is various information related to the imaging device. For example, information related to the operation of the imaging device such as the driving amount in the pan direction, the driving amount in the tilt direction and the zoom amount of theimaging unit 210, information such as the current time, This is position information on the position where the device is installed. The position information includes information on the latitude and longitude where the imaging device is installed, information on the direction in which the imaging device is facing, information on the altitude where the imaging device is installed, and the like. The position information is information measured by a GPS (Global Positioning System) 5 that measures the three-dimensional position of themonitoring camera 2, and is input via the I /O unit 208. The character information displayed in the missing area is not limited to the above, and various other information desired by the user may be provided.
[0092]
The imageinformation synthesizing unit 212 synthesizes image information on an image included in the display image with the missing region KR of the display image created by theimage processing unit 206. Specifically, the imageinformation combining unit 212 enlarges a predetermined area of the display image created by theimage processing unit 206, and combines the enlarged image with the missing area KR of the display image. The range of the predetermined area to be enlarged on the display image is specified by thecontroller 3, and the image within the specified range on the display image is enlarged and combined with the missing area of the display image. In the present embodiment, the predetermined area to be enlarged on the display image is assumed to be an area specified by thecontroller 3, but the present invention is not particularly limited to this, and a predetermined area, for example, Alternatively, the area may be a central area of the display image. When the display image is an image obtained by cutting out a predetermined area of the captured image, the image information may be an image representing the area cut out as the display image in the captured image.
[0093]
Next, the operation of themonitoring camera 2 according to the second embodiment will be described. FIG. 14 is a flowchart illustrating the operation of themonitoring camera 2 according to the second embodiment.
[0094]
The processing from step S11 to step S13 is the same as the processing from step S1 to step S3 shown in FIG.
[0095]
In step S14, theCPU 205 instructs the drivingunit 209 on the driving amount in the pan direction and the driving amount in the tilt direction. Here, the driving amount in the pan direction specified by theCPU 205 is the driving amount p output from thecontroller 3, and the driving amount in the tilt direction specified by theCPU 205 is the driving amount t output from thecontroller 3. . In step S15, theCPU 205 converts the zoom amount z input from thecontroller 3 via the I /O unit 208 into a focal length fl.
[0096]
In step S16, theCPU 205 instructs theimage processing unit 206 to create a display image having the converted focal length fl. Theimage processing unit 206 creates a display image at a focal length fl in which distortion has been corrected from the captured image stored in theimage storage unit 204 based on an instruction from theCPU 205. Note that, in this case, above and below the display image, a defective area where no image is displayed is included.
[0097]
In step S17, theCPU 205 instructs the characterinformation combining unit 211 to combine the character information regarding themonitoring camera 2 with the display image in the missing area. The characterinformation combining unit 211 combines character information with a missing area of the display image created by theimage processing unit 206.
[0098]
In step S18, theCPU 205 instructs the imageinformation synthesizing unit 212 to synthesize an enlarged image obtained by enlarging a predetermined area in the display image with a defective area of the display image. The imageinformation synthesizing unit 212 enlarges an image of a predetermined area in the display area, and synthesizes the enlarged image with a missing area of the display image.
[0099]
The processing in step S19 is the same as the processing in step S9 shown in FIG.
[0100]
FIG. 15 is a diagram illustrating an example of a display image when character information and image information are displayed in a missing area. As shown in FIG. 15, character information is combined with the missing area KRU in the upper part of the display image HG3, and an enlarged image is combined with the missing area KRD in the lower part of the display image HG3. In the missing area KRU on the upper part of the display image HG3 shown in FIG. 15, the drivingamount 301 in the pan direction, the driving amount 302 in the tilt direction, thezoom amount 303, the current time 304, and the latitude where the imaging device is installed are provided. Thelongitude 305 and theazimuth 306 to which the imaging device is facing are displayed as character information. The drivingamount 301 in the pan direction in FIG. 15 indicates “P: 10” because theimaging unit 210 is rotated by 10 cm in the pan direction, and the driving amount 302 in the tilt direction includes theimaging unit 210. Since the image is rotated by 20 cm in the tilt direction, “P: 20” is displayed. In thezoom amount 303, “Z: 1 ×” is displayed because theimaging unit 210 is zoomed at the same magnification. I have. The current time in FIG. 15 is displayed as “12:34” because the current time is 12:34. Since themonitoring camera 2 is installed at the position of 135 degrees east and 20 degrees north latitude at the latitude andlongitude 305 in FIG. 15, "135 degreeseast longitude 20 degrees north latitude" is displayed. In theazimuth 306 in FIG. 15, “N” is displayed above the display image HG3 and “S” is displayed below the display image HG3 because theimaging unit 210 is capturing an image of the monitoring target area in the north direction.
[0101]
An enlarged image WG obtained by enlarging the image of the region WR that is a part of the display image HG3 is displayed in the defective region KRD below the display image HG3 shown in FIG. Note that the region WR to be enlarged and displayed is specified by an input unit (not shown) provided in thecontroller 3. The input unit is, for example, a keyboard and a mouse when thecontroller 3 is constituted by a personal computer.
[0102]
In the present embodiment, the character information is combined with the missing area KRU at the upper part of the display image HG3, and the enlarged image is combined with the missing area KRD at the lower part of the display image HG3. However, the present invention is not particularly limited to this. Instead, the enlarged image may be combined with the missing area KRU in the upper part of the display image HG3, and the character information may be combined with the missing area KRD in the lower part of the display image HG3. One of the character information and the enlarged image may be combined with only one of the missing regions KRD below the image HG3.
[0103]
In this way, an optical image is formed on the imaging surface such that the resolution is higher at the center of the captured image and lower at the periphery than at the center, and based on the electric signal output from theimaging element 202. A captured image is generated, the generated captured image is converted into a display image for display, and an image related to the imaging device is captured in a non-convertible area (missing area) in the display image generated when the captured image is converted into a display image. Since the information is synthesized, even if an area that cannot be converted is included in the display image that is a display image, the area that cannot be converted can be effectively used.
[0104]
In addition, since character information is combined with a non-convertible area in the display image generated when converting the captured image to the display image, character information about the display image can be displayed together with the display image, and the non-convertible area can be displayed. Can be used effectively.
[0105]
Further, since an enlarged image obtained by enlarging a part of the display image is combined with a non-convertible area in the display image generated when converting the image to the display image, a part of the display image is enlarged together with the display image. An enlarged image can be displayed, and an area that cannot be converted can be effectively used.
[0106]
In the present embodiment, the imaging device is described as a surveillance camera, but the present invention is not particularly limited to this, and may be, for example, a web camera or a vehicle-mounted camera.
[0107]
The specific embodiments described above mainly include inventions having the following configurations.
[0108]
(1) An image sensor that photoelectrically converts an optical image formed on an imaging surface having a plurality of pixels arranged two-dimensionally into an electric signal at each pixel, and a central portion and a peripheral portion of the captured image An imaging unit including an imaging unit that forms optical images having different resolutions on the imaging surface; and a captured image generation that generates a captured image having a predetermined distortion based on an electric signal output from the imaging element. Unit, a display image creation unit that converts the captured image generated by the captured image generation unit into a display image for display without distortion, and conversion within the display image that occurs when the captured image is converted to the display image. An image pickup apparatus, comprising: a display image correction unit that corrects an impossible region using a part of a display image separately captured.
[0109]
According to this configuration, the optical image is formed on the imaging surface so that the resolution is higher at the center of the captured image and lower at the periphery than at the center, and the electric signal output from the imaging element is A captured image having a predetermined distortion is generated based on the generated image, the generated captured image is converted into a display image for display without distortion, and the conversion in the display image that occurs when converting the captured image to the display image is impossible. Is corrected using a part of the display image separately captured.
[0110]
(2) The image processing apparatus further includes a driving unit that drives the image capturing unit in a vertical direction and a horizontal direction, and the display image correction unit removes an unconvertible area in the display image generated when converting the captured image into the display image. A first display image obtained by driving the imaging unit in the vertical direction by the driving unit, and a second display image obtained by further driving the imaging unit in the vertical direction by the driving unit. The imaging device according to the above (1), wherein the correction is performed by combining.
[0111]
According to this configuration, an unconvertible area in the display image generated when converting the captured image to the display image is obtained by driving the imaging unit in the vertical direction by the driving unit, The correction is performed by combining the second display image obtained by further driving the imaging unit in the vertical direction by the unit.
[0112]
(3) The image display unit further includes a drive unit that drives the image pickup unit in a vertical direction and a horizontal direction, wherein the display image correction unit performs conversion that occurs in an upper part and a lower part in a display image when converting the captured image into the display image. An image that does not include an unconvertible region of the first display image obtained by driving the imaging unit vertically downward by the driving unit, and vertically moving the imaging unit by the driving unit. The image pickup apparatus according to (1), wherein the correction is performed by synthesizing a second display image obtained by driving in the direction and an image that does not include an unconvertible area.
[0113]
According to this configuration, when the captured image is converted into the display image, the non-convertible regions generated in the upper and lower parts of the display image are obtained by driving the imaging unit vertically downward by the driving unit. Combining an image that does not include an unconvertible area of a display image with an image that does not include an unconvertible area of a second display image obtained by driving an imaging unit vertically upward by a driving unit. Is corrected by
[0114]
(4) The image processing apparatus further includes a driving unit that drives the imaging unit in a vertical direction and a horizontal direction, wherein the display image correction unit removes a non-convertible area in the display image generated when converting the captured image into the display image. The correction according to the above (1), wherein the correction is performed by synthesizing an image that does not include an unconvertible region of a plurality of display images obtained by driving the imaging unit in the vertical direction by the driving unit. Imaging device.
[0115]
According to this configuration, an unconvertible region in the display image generated when converting the captured image to the display image is incapable of converting a plurality of display images obtained by driving the imaging unit in the vertical direction by the driving unit. The correction is performed by synthesizing an image that does not include the region.
[0116]
(5) An image sensor that photoelectrically converts a light image formed on an imaging surface having a plurality of pixels arranged two-dimensionally into an electric signal at each pixel, and a central portion and a peripheral portion of the captured image. An imaging unit including an imaging unit that forms optical images having different resolutions on the imaging surface; and a captured image generation that generates a captured image having a predetermined distortion based on an electric signal output from the imaging element. Unit, a display image creation unit that converts the captured image generated by the captured image generation unit into a display image for display without distortion, and conversion within the display image that occurs when the captured image is converted to the display image. An imaging apparatus comprising: an imaging information synthesizing unit that synthesizes imaging information relating to the imaging apparatus in an impossible region.
[0117]
According to this configuration, the optical image is formed on the imaging surface so that the resolution is higher at the center of the captured image and lower at the periphery than at the center, and the electric signal output from the imaging element is A captured image is generated based on the captured image, the generated captured image is converted into a display image for display, and imaging information about the imaging device is combined with an unconvertible area in the display image generated when converting the captured image into a display image. Is done.
[0118]
(6) The imaging device according to any one of the above (1) to (5) and a controller including an image display unit for displaying an image can communicate with each other via a communication network by communication units provided respectively. And when the display image is transmitted from the imaging device to a controller, the display image is displayed on an image display unit of the controller.
[0119]
According to this configuration, the display image created by the imaging device is transmitted to the controller by the communication unit of the camera. On the other hand, in the controller, when a display image is transmitted from the imaging device, the display image is received by the communication unit, and the display image is displayed on the image display unit.
[0120]
【The invention's effect】
According to the first aspect of the invention, an optical image is formed on the imaging surface such that the resolution is higher at the center of the captured image and lower at the peripheral portion than at the center, and is output from the imaging device. A captured image is generated based on the received electrical signal, the generated captured image is converted into a display image for display, and an unconvertible region in the display image generated when converting the captured image into a display image is separately generated. Since the correction is performed using a part of the captured display image, a non-convertible area in the display image, which is a display image, can be corrected and displayed, and a high-resolution display image can be created. .
[0121]
According to the invention described inclaim 2, a non-convertible area in the display image generated when converting the captured image to the display image is obtained by driving the imaging unit in a predetermined direction by the driving unit. Is corrected by using a part of the display image, it is possible to correct and display a non-convertible area in the display image, which is a display image, and to create a display image with high resolution.
[0122]
According to the third aspect of the present invention, an optical image is formed on the imaging surface such that the resolution is higher at the center of the captured image and lower at the peripheral portion than at the center, and is output from the imaging device. A captured image is generated based on the received electrical signal, the generated captured image is converted into a display image for display, and a predetermined image is converted into a non-convertible area in the display image generated when the captured image is converted into a display image. Since the information is synthesized, even if an area that cannot be converted is included in the display image that is a display image, the area that cannot be converted can be effectively used.
[0123]
According to the fourth aspect of the present invention, the character information is combined with the non-convertible area in the display image generated when the captured image is converted into the display image, so that the character information on the display image is displayed together with the display image. And the area that cannot be converted can be effectively used.
[0124]
According to the fifth aspect of the present invention, an enlarged image obtained by enlarging a part of the display image is combined with a non-convertible area in the display image generated when the captured image is converted to the display image. At the same time, an enlarged image obtained by enlarging a part of the display image can be displayed, and an area that cannot be converted can be effectively used.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a monitoring system according to an embodiment.
FIG. 2 is an external view of a surveillance camera used in the surveillance system.
FIG. 3 is a diagram illustrating characteristics of a lens used in a surveillance camera.
FIG. 4 is a diagram illustrating an example of an image obtained by shooting with a monitoring camera.
FIG. 5 is a block diagram illustrating a configuration of a monitoring system according to the first embodiment.
FIG. 6 is a flowchart illustrating an operation of the surveillance camera according to the first embodiment.
FIG. 7 is a diagram for explaining a method of calculating a vertical angle of view of a defective area.
FIG. 8 is a diagram illustrating an example of a first captured image.
FIG. 9 is a diagram illustrating an example of a first display image.
FIG. 10 is a diagram illustrating an example of a second captured image.
FIG. 11 is a diagram illustrating an example of a second display image.
FIG. 12 is a diagram illustrating an example of a composite image.
FIG. 13 is a block diagram illustrating a configuration of a monitoring system according to a second embodiment.
FIG. 14 is a flowchart illustrating the operation of the surveillance camera according to the second embodiment.
FIG. 15 is a diagram illustrating an example of a display image when character information and image information are displayed in a defective area.
FIG. 16 is a diagram illustrating a size of an optical image with respect to an imaging surface of an imaging element.
[Explanation of symbols]
1 monitoring system
2 surveillance cameras
3 Controller
4 Communication network
5 GPS
31 Image display section
201 Imaging unit
202 Image sensor
203 Image generation unit
204 Image storage unit
205 CPU
206 Image processing unit
207 Image synthesis unit
208 I / O section
209 Drive unit
210 Imaging unit
220 control unit

Claims (5)

Translated fromJapanese

複数の画素が２次元的に配置されてなる撮像面に結像される光像を各画素で電気信号に光電変換する撮像素子と、
撮像された画像の中心部分と周辺部分とで分解能が異なる光像を前記撮像面に結像する結像部とを備える撮像部と、
前記撮像素子から出力される電気信号に基づいて撮像画像を生成する撮像画像生成部と、
前記撮像画像生成部によって生成された撮像画像を表示用の表示画像に変換する表示画像作成部と、
前記撮像画像から前記表示画像に変換する際に生じる表示画像内の変換不能な領域を、別途撮像した表示画像の一部を用いて補正する表示画像補正部とを備えることを特徴とする撮像装置。An image sensor that photoelectrically converts an optical image formed on an imaging surface in which a plurality of pixels are two-dimensionally arranged into an electric signal at each pixel;
An imaging unit including an imaging unit that forms an optical image having a different resolution between a central portion and a peripheral portion of a captured image on the imaging surface,
A captured image generation unit that generates a captured image based on an electric signal output from the image sensor,
A display image creation unit that converts the captured image generated by the captured image generation unit into a display image for display,
An image pickup apparatus comprising: a display image correction unit that corrects an unconvertible area in a display image generated when converting the captured image into the display image by using a part of a separately captured display image. .前記撮像部を所定の方向に駆動する駆動部をさらに備え、
前記表示画像補正部は、前記撮像画像から前記表示画像に変換する際に生じる表示画像内の変換不能な領域を、前記駆動部によって前記撮像部を所定の方向に駆動することで得られる表示画像の一部を用いて補正することを特徴とする請求項１記載の撮像装置。A driving unit that drives the imaging unit in a predetermined direction,
The display image correction unit is a display image obtained by driving the imaging unit in a predetermined direction by the driving unit in a non-convertible area in the display image generated when converting the captured image to the display image. 2. The image pickup apparatus according to claim 1, wherein the correction is performed using a part of the image data.複数の画素が２次元的に配置されてなる撮像面に結像される光像を各画素で電気信号に光電変換する撮像素子と、
撮像された画像の中心部分と周辺部分とで分解能が異なる光像を前記撮像面に結像する結像部とを備える撮像部と、
前記撮像素子から出力される電気信号に基づいて撮像画像を生成する撮像画像生成部と、
前記撮像画像生成部によって生成された撮像画像を表示用の表示画像に変換する表示画像作成部と、
前記撮像画像から前記表示画像に変換する際に生じる表示画像内の変換不能な領域に所定の情報を合成する情報合成部とを備えることを特徴とする撮像装置。An image sensor that photoelectrically converts an optical image formed on an imaging surface in which a plurality of pixels are two-dimensionally arranged into an electric signal at each pixel;
An imaging unit including an imaging unit that forms an optical image having a different resolution between a central portion and a peripheral portion of a captured image on the imaging surface,
A captured image generation unit that generates a captured image based on an electric signal output from the image sensor,
A display image creation unit that converts the captured image generated by the captured image generation unit into a display image for display,
An imaging apparatus, comprising: an information synthesizing unit that synthesizes predetermined information with an unconvertible area in a display image generated when converting the captured image into the display image.前記情報合成部は、前記撮像画像から前記表示画像に変換する際に生じる表示画像内の変換不能な領域に文字情報を合成することを特徴とする請求項３記載の撮像装置。The image pickup apparatus according to claim 3, wherein the information synthesizing unit synthesizes character information with an unconvertible area in the display image generated when converting the captured image into the display image.前記情報合成部は、前記撮像画像から前記表示画像に変換する際に生じる表示画像内の変換不能な領域に前記表示画像の一部を拡大した拡大画像を合成することを特徴とする請求項３又は４記載の撮像装置。4. The information synthesizing unit synthesizes an enlarged image obtained by enlarging a part of the display image with an unconvertible area in the display image generated when converting the captured image into the display image. Or the imaging device according to 4.

Images