【０００１】[0001]
【産業上の利用分野】本発明は撮像装置に係り、特に、
撮像した画像の情報量圧縮のため、符号化された映像信
号を出力する撮像装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image pickup device, and in particular,
The present invention relates to an imaging device that outputs a coded video signal for compressing the amount of information of a captured image.
【０００２】[0002]
【従来の技術】映像信号のディジタル化が進み、動画像
の高能率符号化が行われるようになった。このような符
号化アルゴリズムの一例として、映像信号におけるフレ
ーム間の差分を符号化するフレーム間予測符号化があ
る。これは、隣接するフレーム画像間の相関を利用して
情報量を低減する符号化方式である。さらにこの方式
に、動き補償を加えて、速い動きを含む画像の符号化効
率向上を図る、動き補償フレーム間予測符号化が知られ
ている。このような符号化方式は、符号化の国際標準規
格であるＭＰＥＧ(Moving Picture Expert Group )や、
ＣＣＩＴＴのＨ．２６１等に採用されている。2. Description of the Related Art With the progress of digitization of video signals, high-efficiency coding of moving images has come to be performed. An example of such an encoding algorithm is inter-frame predictive encoding that encodes a difference between frames in a video signal. This is an encoding method that reduces the amount of information by utilizing the correlation between adjacent frame images. Further, motion compensation interframe predictive coding is known in which motion compensation is added to this method to improve coding efficiency of an image including fast motion. Such an encoding method includes MPEG (Moving Picture Expert Group), which is an international standard for encoding,
CCITT H. It is adopted in 261 etc.
【０００３】また、撮像装置の小型軽量化が進むにつ
れ、撮像装置の振れに起因する、映像の振れが目立つよ
うになった。これを補正するいくつかの手段が開発さ
れ、実用化されている。その一つとしては、撮像装置の
振れ量を検出する手段、例えば角速度センサ等を設け、
該センサからの信号を基に振れ量の演算を行い、その演
算結果をもとに、撮像装置中のＣＣＤ(Charge Coupled
Device )等のセンサから映像信号を出力する領域を適宜
移動させることで、画像の振れを補正する手段がある。Further, as the size and weight of the image pickup apparatus have been reduced, the image shake due to the shake of the image pickup apparatus has become noticeable. Several means for correcting this have been developed and put into practical use. As one of them, a means for detecting the shake amount of the image pickup device, for example, an angular velocity sensor or the like is provided,
The shake amount is calculated based on the signal from the sensor, and based on the calculation result, the CCD (Charge Coupled) in the image pickup device is calculated.
There is a means for correcting image shake by appropriately moving an area for outputting a video signal from a sensor such as Device).
【０００４】[0004]
【発明が解決しようとする課題】前項で述べたフレーム
間予測符号化では、動きを多く含む画像、すなわち相関
が低い画像においては、圧縮効率が低下し、高効率符号
化の障害となる。また、動きを多く含む画像の符号化効
率向上を図る動き補償フレーム間予測符号化において
も、動きは少ない方が符号化効率が良い。In the inter-frame predictive coding described in the previous section, the compression efficiency is lowered in an image containing a lot of motion, that is, an image having a low correlation, which is an obstacle to high-efficiency coding. Also, in motion-compensated interframe predictive coding for improving the coding efficiency of an image including a lot of motion, the smaller the motion, the better the coding efficiency.
【０００５】また、動き補償フレーム間予測符号化を実
現する回路は、フレームメモリに格納された２フレーム
以上の画像について、テンプレートマッチングを必要な
探索範囲について行うものである。この探索範囲は、処
理するフレームに含まれる動きベクトルＭのほとんど、
例えば９０％を補償できる範囲に設定する。ところが、
撮像装置の振れにより、フレーム全体に振れベクトル成
分Ｖが含まれている場合、探索範囲を、動きベクトルＭ
と振れベクトルＶの合成ベクトルＭ＋Ｖを充分補償でき
るように、さらに拡大する必要がある。しかし、探索範
囲の拡大は、回路規模の著しい増大や、処理速度の低下
を招く。A circuit for realizing motion-compensated interframe predictive coding performs template matching on a required search range for images of two or more frames stored in a frame memory. This search range includes most of the motion vectors M included in the frame to be processed,
For example, it is set to a range where 90% can be compensated. However,
If the shake vector component V is included in the entire frame due to shake of the imaging device, the search range is set to the motion vector M.
It is necessary to further expand so that the combined vector M + V of the shake vector V and the shake vector V can be sufficiently compensated. However, the expansion of the search range causes a significant increase in circuit scale and a decrease in processing speed.
【０００６】このような符号化機能を、特に小型化が要
求される撮像装置に搭載する場合、回路規模の増大は問
題となる。また、撮影しながら符号化、記録を行う場合
は、処理速度の低下も問題となる。When such an encoding function is mounted on an image pickup device which is particularly required to be downsized, an increase in circuit scale becomes a problem. In addition, when encoding and recording are performed while shooting, a decrease in processing speed is also a problem.
【０００７】一方、前項で述べた撮像装置の振れを補正
する手段は、撮像装置の振れを検出する手段を含め、あ
る程度の回路規模、装置規模を必要とする。撮像装置の
さらなる小型化を目指す場合、これらの規模は障害とな
る。On the other hand, the means for correcting the shake of the image pickup device described in the preceding paragraph requires a certain circuit scale and device scale including the means for detecting the shake of the image pickup device. These scales become an obstacle when aiming at further miniaturization of the imaging device.
【０００８】本発明は上記の点に鑑みなされたもので、
その目的とするところは、より小規模な回路構成、装置
構成で、高能率符号化され、且つ振れを抑えた見やすい
映像信号を出力する撮像装置を提供することにある。The present invention has been made in view of the above points,
It is therefore an object of the present invention to provide an image pickup device which outputs a video signal which is highly efficient coded and has a small shake, and which is easy to see and which suppresses shake.
【０００９】[0009]
【課題を解決するための手段】上記した目的を達成する
ため、本発明による撮像装置には、以下の手段を設け
る。In order to achieve the above object, the image pickup apparatus according to the present invention is provided with the following means.
【００１０】まず、動き補償フレーム間予測符号化につ
いて、振れを補正したフレームを入力する構成とする。First, for motion-compensated inter-frame predictive coding, a frame in which shake is corrected is input.
【００１１】次に、動き補償フレーム間予測符号化を行
うために検出した情報を利用して、撮像装置の振れ量を
検出し、映像の振れ補正を行う構成とする。Next, by using the information detected for performing the motion-compensated inter-frame predictive coding, the amount of shake of the image pickup apparatus is detected and the shake of the image is corrected.
【００１２】または、撮像装置の振れを検出する手段か
らの信号を利用し、フレームメモリから出力されるフレ
ームのテンプレートを移動させる構成とする。Alternatively, the template of the frame output from the frame memory is moved by using the signal from the shake detecting means of the image pickup device.
【００１３】次に、撮像装置の振れに起因する映像の振
れを補正する手段を設けた撮像装置において、撮像装置
の振れを検出する手段からの信号を利用し、動き補償フ
レーム間予測符号化における動きベクトルの探索範囲を
制御する構成とする。Next, in an image pickup apparatus provided with a means for correcting a shake of an image caused by the shake of the image pickup apparatus, a signal from a means for detecting the shake of the image pickup apparatus is used to perform motion compensation interframe predictive coding. The motion vector search range is controlled.
【００１４】[0014]
【作用】まず、振れを補正したフレームに対してフレー
ム間予測符号化、動き補償フレーム間予測符号化を行う
ことで、動きベクトルの探索範囲を拡大する必要が無く
なり、回路規模の増大や、処理速度の低下を回避するこ
とができる。また、振れを補正することで、フレーム間
の相関が高くなり、圧縮率が向上するという別の効果も
ある。First, by performing inter-frame predictive coding and motion-compensated inter-frame predictive coding on a frame in which shake is corrected, there is no need to expand the search range of motion vectors, which increases the circuit scale and processing. It is possible to avoid a decrease in speed. Further, by correcting the shake, there is another effect that the correlation between the frames is increased and the compression rate is improved.
【００１５】次に、動き補償フレーム間予測符号化を行
うために検出した情報を利用して、撮像装置の振れ量を
検出し、映像の振れ補正を行うことで、従来用いられて
いた振れ補正手段を省くことができ、撮像装置の回路規
模、装置規模を縮小することができる。Next, by using the information detected for performing the motion-compensated inter-frame predictive coding, the shake amount of the image pickup device is detected and the shake of the image is corrected, so that the shake correction which has been conventionally used is used. The means can be omitted, and the circuit scale and device scale of the imaging device can be reduced.
【００１６】または、撮像装置の振れを検出する手段か
らの信号を基に、フレームメモリから出力されるフレー
ムのテンプレートを移動させることで、映像の振れ補正
が行えるので、従来用いられていた振れ補正手段を省く
ことができ、撮像装置の回路規模、装置規模を縮小する
ことができる。Alternatively, since the shake of the image can be corrected by moving the template of the frame output from the frame memory based on the signal from the means for detecting the shake of the image pickup apparatus, the shake correction which has been conventionally used can be performed. The means can be omitted, and the circuit scale and device scale of the imaging device can be reduced.
【００１７】次に、撮像装置の振れを検出する手段から
の信号を利用し、動き補償フレーム間予測符号化におけ
る、動きベクトルの探索範囲を制御する構成とすること
で、回路規模の増大や、処理速度の低下を回避すること
ができる。Next, by using the signal from the shake detecting means of the image pickup apparatus to control the search range of the motion vector in the motion compensation interframe predictive coding, the circuit scale is increased, It is possible to avoid a decrease in processing speed.
【００１８】[0018]
【実施例】以下、本発明の詳細を図示した各実施例によ
って説明する。The details of the present invention will be described below with reference to the illustrated embodiments.
【００１９】〈第１実施例〉図１は、本発明の第１実施
例に係る撮像装置の構成を示すブロック図である。同図
において、１はレンズであり、入射した光をＣＣＤ（Ch
arge Coupled Device ）等のセンサ２に結像させる。セ
ンサ２は、結像した光信号を電気信号に変換し、撮像信
号として出力する。<First Embodiment> FIG. 1 is a block diagram showing the arrangement of an image pickup apparatus according to the first embodiment of the present invention. In the figure, reference numeral 1 is a lens, which makes incident light incident on a CCD (Ch
An image is formed on the sensor 2 such as a large coupled device). The sensor 2 converts the formed optical signal into an electric signal and outputs it as an image pickup signal.
【００２０】角速度センサ等のセンサ３は、撮像装置の
振れを検出し、振れの量、方向を示す振れ信号を制御回
路４に出力する。制御回路４は、振れ信号や、レンズ１
から得られるズ−ム情報を基に、後述する手法をもっ
て、駆動回路４０１を経由し、センサ２を制御する。The sensor 3 such as an angular velocity sensor detects a shake of the image pickup device and outputs a shake signal indicating the shake amount and direction to the control circuit 4. The control circuit 4 controls the shake signal and the lens 1
The sensor 2 is controlled via the drive circuit 401 by the method described later based on the zoom information obtained from the above.
【００２１】４０２はＡ／Ｄ変換回路であり、センサ２
から出力されたアナログの撮像信号をディジタル信号に
変換する。信号処理回路５は、ディジタル化された撮像
信号に、ガンマ補正やホワイトバランス補正等の公知の
処理を施して、輝度信号及び色差信号からなるディジタ
ル映像信号を出力する。Reference numeral 402 denotes an A / D conversion circuit, which is used for the sensor 2
The analog image pickup signal output from is converted into a digital signal. The signal processing circuit 5 performs known processing such as gamma correction and white balance correction on the digitized image pickup signal and outputs a digital video signal including a luminance signal and a color difference signal.
【００２２】Ｄ／Ａ変換回路４０３は、信号処理回路５
から出力されたディジタル映像信号をアナログ信号に変
換し、出力端子４０４から出力する。出力端子４０４か
らの映像信号は、ビューファインダー等の表示装置に入
力される。The D / A conversion circuit 403 is a signal processing circuit 5
The digital video signal output from the converter is converted into an analog signal and output from the output terminal 404. The video signal from the output terminal 404 is input to a display device such as a viewfinder.
【００２３】本例の信号処理回路５はディジタルで処理
する方式の回路であるが、アナログで処理する方式の回
路を用いても良い。その場合は、センサ２からの信号を
アナログのまま信号処理を行った後、Ａ／Ｄ変換回路を
経由し、圧縮回路に映像信号を入力する。Although the signal processing circuit 5 of this example is a digital processing circuit, an analog processing circuit may be used. In that case, after the signal from the sensor 2 is analog processed, the video signal is input to the compression circuit via the A / D conversion circuit.
【００２４】圧縮回路６は、信号処理回路５から出力さ
れたディジタル映像信号の情報量の圧縮を行ない、圧縮
したディジタル映像信号を記憶装置などへ出力する。圧
縮回路６では、フレーム間予測符号化等の方式によって
符号化を行う。特定の規格に従った符号化でも良いし、
そうでなくてもよい。圧縮回路６により符号化されたデ
ィジタル映像信号は、出力端子４０５より出力される。
出力端子４０５からのディジタル映像信号は、記憶装置
などに入力するが、伸長回路等を経て、ビューファイン
ダーなどの表示装置へ入力しても良い。The compression circuit 6 compresses the information amount of the digital video signal output from the signal processing circuit 5, and outputs the compressed digital video signal to a storage device or the like. The compression circuit 6 performs encoding by a method such as interframe predictive encoding. It may be encoded according to a specific standard,
It doesn't have to be. The digital video signal encoded by the compression circuit 6 is output from the output terminal 405.
The digital video signal from the output terminal 405 is input to a storage device or the like, but may be input to a display device such as a viewfinder through an expansion circuit or the like.
【００２５】図２は、撮影時において、撮影装置の振れ
が発生していない場合のセンサ２の結像面の様子を示し
た例である。８は被写体であり、７はセンサ２から映像
信号として出力する像の領域である。FIG. 2 is an example showing a state of the image forming surface of the sensor 2 when the shake of the photographing apparatus does not occur during photographing. Reference numeral 8 denotes a subject, and 7 denotes an image area output from the sensor 2 as a video signal.
【００２６】撮影装置の振れが発生した場合、センサ２
における被写体８の結像の位置が変動する一方、図１の
センサ３によって振れ信号が出力される。制御回路４
は、センサ３からの振れ信号や、レンズ１からのズ−ム
情報をもとに、センサ２の結像面における、被写体８の
結像の位置の変動量を計算し、振れベクトル信号として
駆動回路４０１に出力する。駆動回路４０１は、振れベ
クトル信号を基に、センサ２から映像信号として出力さ
れる像の範囲を制御する。この制御は、振れの発生に合
わせ、逐次行なわれる。When the shake of the photographing device occurs, the sensor 2
While the position of the image formation of the subject 8 at the position fluctuates, the shake signal is output by the sensor 3 in FIG. Control circuit 4
Is the amount of fluctuation of the image forming position of the subject 8 on the image forming plane of the sensor 2 based on the shake signal from the sensor 3 and the zoom information from the lens 1 and is driven as a shake vector signal. Output to the circuit 401. The drive circuit 401 controls the range of the image output from the sensor 2 as a video signal based on the shake vector signal. This control is sequentially performed according to the occurrence of shake.
【００２７】図３は、振れが発生した場合のセンサ２の
結像面の例を示したものである。振れにより、被写体８
の結像の位置が図２に示す場合に比べ変動しているが、
制御回路４により、映像信号を出力する像の領域９も被
写体８の結像の位置の変動に合わせ変動しているので、
振れを補正した映像が得られる。FIG. 3 shows an example of the image plane of the sensor 2 when a shake occurs. Subject 8 due to shake
Although the position of the image formation of fluctuates compared to the case shown in FIG. 2,
Since the control circuit 4 also changes the image area 9 for outputting the video signal in accordance with the change in the image forming position of the subject 8,
An image with shake correction can be obtained.
【００２８】図４の４０６は、動きベクトルの探索範囲
を示す。この範囲は、振れが発生していないフレームに
おいて、被写体の動きベクトルを充分補償する広さ、例
えば３２×３２画素の広さを持つ。ここで、全ての点に
ついて、テンプレートマッチングを行う場合、３２×３
２＝１０２４回のマッチングを行うことになる。しか
し、フレーム全体に振れベクトル４０７が含まれていた
場合、圧縮率を低下させないためには、探索範囲を４０
８に示す範囲、たとえば６４×６４画素に広げる必要が
ある。その場合、マッチングは６４×６４＝４０９６回
行うことになり、計算量は実に４倍になる。Reference numeral 406 in FIG. 4 shows a motion vector search range. This range has a width that sufficiently compensates for the motion vector of the subject in a frame in which no shake has occurred, for example, a width of 32 × 32 pixels. Here, when template matching is performed for all points, 32 × 3
Matching is performed 2 = 1024 times. However, if the shake vector 407 is included in the entire frame, the search range is set to 40 in order not to reduce the compression rate.
It is necessary to widen the range shown in FIG. 8, for example, 64 × 64 pixels. In that case, matching is performed 64 × 64 = 4096 times, and the amount of calculation is actually quadrupled.
【００２９】ところが本実施例によれば、予め振れを補
正してから動きベクトルを探索する構成のため、図４に
おける振れベクトル４０７は、ほぼ０（零）である。す
なわち、探索範囲４０６を、振れベクトルを考慮した広
さまで拡大する必要はない。However, according to the present embodiment, since the shake vector is corrected in advance and the motion vector is searched for, the shake vector 407 in FIG. 4 is almost 0 (zero). That is, it is not necessary to expand the search range 406 to a width that considers the shake vector.
【００３０】図５は、振れが発生した場合のフレーム間
の相関を説明する図である。ただし、図５では、振れの
補正は行われていない。ある瞬間、フレームｔにおける
被写体１０と、その次のフレームｔ＋１におけるフレー
ム間の相関が高い領域は、図５において斜線部で示した
領域である。一般に、フレーム間予測符号化や、動き補
償フレーム間予測符号化においては、フレーム間の情報
の差を符号化するため、この斜線部の領域が大きいほ
ど、符号化効率が高くなり、２つのフレームが同一の場
合、符号化効率は最高になる。FIG. 5 is a diagram for explaining the correlation between frames when shake occurs. However, in FIG. 5, the shake is not corrected. An area in which the correlation between the subject 10 in the frame t and the frame in the next frame t + 1 at a certain moment is high is an area indicated by a hatched portion in FIG. Generally, in inter-frame predictive coding and motion-compensated inter-frame predictive coding, the difference in information between frames is coded. Therefore, the larger the shaded area is, the higher the coding efficiency is. The same, the coding efficiency is highest.
【００３１】図６は、振れが発生し、且つ振れの補正が
行われた場合のフレーム間の相関を説明する図である。
ある瞬間の、フレームｔにおける被写体１２と、フレー
ムｔ＋１における被写体１３は、振れの補正が行われた
ため、ほぼ一致している。その相関の高い領域を斜線部
で示す。振れの補正が行われたことで、図５の場合と比
べ、相関の高い領域が拡大している。FIG. 6 is a diagram for explaining the correlation between frames when a shake occurs and the shake is corrected.
The subject 12 in the frame t and the subject 13 in the frame t + 1 at a certain moment are substantially in agreement because the shake is corrected. A region having a high correlation is indicated by a hatched portion. Since the shake correction is performed, the region having a high correlation is expanded as compared with the case of FIG.
【００３２】かように本実施例によれば、振れが発生し
ているフレームにおいても、動き補償の探索範囲を拡大
することなく充分な動きベクトル探索が行え、さらに、
フレーム間の相関が高くなることで、符号化の効率が向
上する。As described above, according to this embodiment, a sufficient motion vector search can be performed without expanding the search range for motion compensation even in a frame in which a shake has occurred.
The higher correlation between frames improves the efficiency of encoding.
【００３３】〈第２実施例〉図７は、本発明の第２実施
例に係る撮像装置の構成を示すブロック図である。同図
において、１はレンズ、２はＣＣＤ等のセンサ２、４０
１は駆動回路、４０２はＡ／Ｄ変換回路、５は信号処理
回路、４０３はＤ／Ａ変換回路、１４は圧縮回路、４０
４，４０５は出力端子である。本実施例が図１の第１実
施例と異なるのは、センサ３、制御回路４が省略された
点と、圧縮回路１４の内部構成、および第１実施例では
センサ２に結像した像の一部が映像信号として出力され
ていたのに対し、本実施例ではセンサ２に結像した像の
全てが映像信号として出力されている点である。<Second Embodiment> FIG. 7 is a block diagram showing the arrangement of an image pickup apparatus according to the second embodiment of the present invention. In the figure, 1 is a lens, 2 is a sensor 2 or 40 such as a CCD
1 is a drive circuit, 402 is an A / D conversion circuit, 5 is a signal processing circuit, 403 is a D / A conversion circuit, 14 is a compression circuit, 40
4, 405 are output terminals. This embodiment is different from the first embodiment in FIG. 1 in that the sensor 3 and the control circuit 4 are omitted, the internal configuration of the compression circuit 14 and the image formed on the sensor 2 in the first embodiment. A part of the image is output as a video signal, whereas the present embodiment outputs all of the image formed on the sensor 2 as a video signal.
【００３４】図８は、本実施例の圧縮回路１４の内部構
成の１例を示したものである。図８におけるフレームメ
モリ１５の入力信号は、図７の信号処理回路５の出力信
号であり、フレームメモリ１５に記憶される。フレーム
メモリ１５は、ディジタル映像信号をｎ×ｍ画素（一般
にはｎ＝ｍ＝１６）のテンプレートに沿った形で出力す
る。制御回路２６は、このテンプレートを当てる位置を
後述のように制御する。FIG. 8 shows an example of the internal configuration of the compression circuit 14 of this embodiment. The input signal of the frame memory 15 in FIG. 8 is the output signal of the signal processing circuit 5 in FIG. 7, and is stored in the frame memory 15. The frame memory 15 outputs the digital video signal in a form along a template of n × m pixels (generally n = m = 16). The control circuit 26 controls the position to which the template is applied as described later.
【００３５】減算器１６は、フレームメモリ１５の出力
信号と予測メモリ２１の出力する映像信号の差分をとる
ことによって、フレーム間差信号を生成する。フレーム
間差信号は、ＤＣＴ(Distance Cosine Transform )／量
子化回路１７によって、フレーム内符号化および符号量
低減のための量子化が行われる。量子化された信号は、
可変長符号化回路１８と、逆量子化／ＩＤＣＴ(Inverse
DCT )回路１９へ出力される。The subtractor 16 generates an inter-frame difference signal by taking the difference between the output signal of the frame memory 15 and the video signal output by the prediction memory 21. The inter-frame difference signal is subjected to intra-frame coding and quantization for reducing the code amount by a DCT (Distance Cosine Transform) / quantization circuit 17. The quantized signal is
Variable length coding circuit 18 and inverse quantization / IDCT (Inverse
It is output to the DCT) circuit 19.
【００３６】可変長符号化回路１８では、上記量子化信
号のハフマン符号化を行い、図７の出力端子４０５から
出力する。The variable length coding circuit 18 performs Huffman coding on the quantized signal and outputs it from the output terminal 405 of FIG.
【００３７】一方、上記量子化信号は、逆量子化／ＩＤ
ＣＴ回路１９により、再びフレーム間差信号に逆変換さ
れる。逆変換されたフレーム間差信号は、加算器２０に
より、予測メモリ２１が出力する映像信号と加算され
て、予測メモリ２１へ出力される。On the other hand, the quantized signal is the inverse quantized / ID
The CT circuit 19 again converts the signal into an interframe difference signal. The inversely-converted interframe difference signal is added by the adder 20 to the video signal output from the prediction memory 21 and output to the prediction memory 21.
【００３８】動き検出回路２２は、フレームメモリ１５
がテンプレートに沿って出力する映像信号と、予測メモ
リ２１に記憶している映像信号との間で相関を利用する
（例えば、テンプレートの位置を逐次移動させつつテン
プレートマッチングを行い、２信号の差が最小となる点
を検索する）ことで、動きベクトルを抽出する。抽出し
た動きベクトルは、スイッチ４１０を経て、予測メモリ
２１や振れベクトル検出手段４０９の比較器２３に出力
される。The motion detection circuit 22 includes a frame memory 15
Uses the correlation between the video signal output according to the template and the video signal stored in the prediction memory 21 (for example, template matching is performed while sequentially moving the position of the template, and the difference between the two signals is The motion vector is extracted by searching for the minimum point). The extracted motion vector is output to the prediction memory 21 and the comparator 23 of the shake vector detection unit 409 via the switch 410.
【００３９】動き検出回路２２とスイッチ４１０の動作
の関連は、次のようになる。まず、スイッチ４１０を比
較器２３側に切り換えた後、動き検出回路２２は１回目
の動き検出を行い、動きベクトルを比較器２３に出力す
る。１フレーム分の動き検出完了後、スイッチ４１０を
予測メモリ２１側に切り換える。次に動き検出回路２２
は２回目の動き検出を行い、動きベクトルを予測メモリ
２１に出力する。２回目の動き検出では１回目の動き検
出と比べ、フレームメモリ１５が制御回路２６によって
後述する制御をされている点が異なる。The relationship between the motion detection circuit 22 and the operation of the switch 410 is as follows. First, after the switch 410 is switched to the comparator 23 side, the motion detection circuit 22 performs the first motion detection and outputs the motion vector to the comparator 23. After the motion detection for one frame is completed, the switch 410 is switched to the prediction memory 21 side. Next, the motion detection circuit 22
Performs the second motion detection and outputs the motion vector to the prediction memory 21. The second motion detection differs from the first motion detection in that the frame memory 15 is controlled by the control circuit 26, which will be described later.
【００４０】予測メモリ２１は、映像信号を前述したｎ
×ｍ画素のテンプレートに沿った形で減算器１６に出力
するが、このテンプレートの位置は、動き検出回路２２
の出力する動きベクトル分だけ逐次移動する。The prediction memory 21 stores the video signal in the above-mentioned n.
It is output to the subtractor 16 along a template of × m pixels, and the position of this template is the motion detection circuit 22.
It moves sequentially by the motion vector output by.
【００４１】比較器２３は、動き検出回路２２から出力
された動きベクトルの成分によって、カウンタ２４に送
る信号を変化させる。カウンタ２４は１フレーム内にお
ける、動き検出回路２２で検出される動きベクトルの各
成分の度数を保持している。演算器２５は、１フレーム
分の動きベクトルが検出完了した時点で、カウンタ２４
が保持する度数を基にして（例えば、動き検出回路２２
が検出したベクトルの平均をとることで）振れベクトル
を求め、振れベクトルを制御回路２６に出力する。The comparator 23 changes the signal sent to the counter 24 according to the component of the motion vector output from the motion detection circuit 22. The counter 24 holds the frequency of each component of the motion vector detected by the motion detection circuit 22 within one frame. When the motion vector for one frame is completely detected, the calculator 25 counts up the counter 24.
Based on the frequency held by (for example, the motion detection circuit 22
The shake vector is obtained (by taking the average of the vectors detected by), and the shake vector is output to the control circuit 26.
【００４２】制御回路２６の制御内容を、図９，図１０
により説明する。図９において、２７は、振れが発生し
ていない場合のフレームメモリ１５内のディジタル映像
信号のイメージである。２９は被写体であり、２８は、
フレームメモリ１５に記憶されたフレーム上に配したテ
ンプレートである。テンプレートは、ｎ×ｍ画素（一般
にはｎ＝ｍ＝１６）単位のブロックに区切られている。
フレームメモリ１５からは、このブロック単位で、ディ
ジタル映像信号が出力される。振れが発生し、フレーム
メモリ１５内のイメージが図１０に示すように変動した
場合、制御回路２６によりテンプレートは３０の位置に
変動する。テンプレート３０の変動量および方向は、振
れの発生に従い逐次変化する。The control contents of the control circuit 26 are shown in FIGS.
This will be described below. In FIG. 9, 27 is an image of the digital video signal in the frame memory 15 when the shake does not occur. 29 is a subject, 28 is
It is a template arranged on the frame stored in the frame memory 15. The template is divided into blocks of n × m pixels (generally n = m = 16).
From the frame memory 15, a digital video signal is output in block units. When a shake occurs and the image in the frame memory 15 changes as shown in FIG. 10, the control circuit 26 moves the template to the position of 30. The fluctuation amount and direction of the template 30 sequentially change as the shake occurs.
【００４３】図１１は、図７の圧縮回路１４の内部構成
の他の１例を示したものである。本例が、前記した図８
の圧縮回路１４と異なるのは、スイッチ４１０が省か
れ、減算器４１１が付加された点と、以下に示す動作で
ある。FIG. 11 shows another example of the internal configuration of the compression circuit 14 of FIG. This example is shown in FIG.
The difference from the compression circuit 14 is that the switch 410 is omitted and a subtractor 411 is added, and the following operation.
【００４４】図１１で示した構成においては、動き検出
回路２２によって検出された動きベクトルは、比較器２
３と減算器４１１に出力される。比較器２３に出力され
た動きベクトルは、カウンタ２４、演算器２５によって
前述の処理を施され、振れベクトルとして減算器４１１
および制御回路２６に出力される。減算器４１１は、動
きベクトルから振れベクトルを減じ、振れ補正動きベク
トルを得る。振れ補正動きベクトルは、予測メモリ２１
に出力される。制御回路２６の動作は前述した通りであ
る。In the configuration shown in FIG. 11, the motion vector detected by the motion detection circuit 22 is the comparator 2
3 and the subtracter 411. The motion vector output to the comparator 23 is subjected to the above-described processing by the counter 24 and the calculator 25, and the subtractor 411 is used as a shake vector.
And output to the control circuit 26. The subtractor 411 subtracts the shake vector from the motion vector to obtain a shake correction motion vector. The shake correction motion vector is stored in the prediction memory 21.
Is output to The operation of the control circuit 26 is as described above.
【００４５】図８，図１１のどちらにおいても、圧縮回
路１４はＭＰＥＧに準拠した符号を出力する回路構成に
なっているが、動き検出回路２２により検出した動きベ
クトルを利用し、比較器２３やカウンタ２４、演算器２
５を経由し、制御回路２６により、フレームメモリ１５
に記憶されているフレームに適用しているテンプレート
の位置を制御している点が従来のものと異なる。In both FIG. 8 and FIG. 11, the compression circuit 14 has a circuit configuration for outputting a code conforming to MPEG. However, the motion vector detected by the motion detection circuit 22 is used, and the comparator 23 and Counter 24, calculator 2
5, the control circuit 26 controls the frame memory 15
It differs from the conventional one in that the position of the template applied to the frame stored in is controlled.
【００４６】かように本実施例によれば、第１実施例で
用いたセンサ３などの構造物を用いずに、撮像装置の振
れに起因する、映像の振れを補正できると共に、より高
効率の予測符号化が達成できる。As described above, according to this embodiment, it is possible to correct the shake of the image due to the shake of the image pickup apparatus without using the structure such as the sensor 3 used in the first embodiment, and to improve the efficiency. Predictive coding can be achieved.
【００４７】〈第３実施例〉図１２は、本発明の第３実
施例に係る撮像装置の構成を示すブロック図である。同
図において、１はレンズ、２はＣＣＤ等のセンサ、３は
角速度センサ等のセンサ、４０１は駆動回路、４０２は
Ａ／Ｄ変換回路、５は信号処理回路、４０３はＤ／Ａ変
換回路、３１は圧縮回路、４０４，４０５は出力端子で
ある。本実施例が図１の第１実施例と異なるのは、制御
回路４が省略され、レンズ１及びセンサ３からの信号が
圧縮回路３１に入力されている点と、圧縮回路３１の内
部構成、および第１実施例ではセンサ２に結像した像の
一部が映像信号として出力されていたのに対し、本実施
例ではセンサ２に結像した像の全てが映像信号として出
力されている点である。<Third Embodiment> FIG. 12 is a block diagram showing the arrangement of an image pickup apparatus according to the third embodiment of the present invention. In the figure, 1 is a lens, 2 is a sensor such as a CCD, 3 is a sensor such as an angular velocity sensor, 401 is a drive circuit, 402 is an A / D conversion circuit, 5 is a signal processing circuit, 403 is a D / A conversion circuit, Reference numeral 31 is a compression circuit, and 404 and 405 are output terminals. The present embodiment is different from the first embodiment of FIG. 1 in that the control circuit 4 is omitted and the signals from the lens 1 and the sensor 3 are input to the compression circuit 31, and the internal configuration of the compression circuit 31. In addition, in the first embodiment, part of the image formed on the sensor 2 is output as a video signal, whereas in the present embodiment, all of the image formed on the sensor 2 is output as a video signal. Is.
【００４８】図１３は、本実施例の圧縮回路３１の内部
構成を示したものである。図１３におけるフレームメモ
リ１５の入力信号は、図１２の信号処理回路５の出力信
号であり、フレームメモリ１５に記憶される。フレーム
メモリ１５は、ディジタル映像信号をｎ×ｍ画素（一般
にはｎ＝ｍ＝１６）のテンプレートに沿った形で出力す
る。制御回路３２は、このテンプレートを当てる位置を
制御するが、その制御内容は第２実施例の制御回路２６
と同一である。FIG. 13 shows the internal structure of the compression circuit 31 of this embodiment. The input signal of the frame memory 15 in FIG. 13 is the output signal of the signal processing circuit 5 in FIG. 12, and is stored in the frame memory 15. The frame memory 15 outputs the digital video signal in a form along a template of n × m pixels (generally n = m = 16). The control circuit 32 controls the position to which the template is applied. The control content is the control circuit 26 of the second embodiment.
Is the same as
【００４９】減算器１６は、フレームメモリ１５の出力
信号と、予測メモリ２１の出力する映像信号の差分をと
ることによって、フレーム間差信号を生成する。フレー
ム間差信号は、ＤＣＴ／量子化回路１７によって、フレ
ーム内符号化および符号量低減のための量子化が行われ
る。量子化された信号は、可変長符号化回路１８と逆量
子化／ＩＤＣＴ回路１９へ出力される。The subtractor 16 generates an interframe difference signal by taking the difference between the output signal of the frame memory 15 and the video signal output by the prediction memory 21. The inter-frame difference signal is subjected to intra-frame coding and quantization for reducing the code amount by the DCT / quantization circuit 17. The quantized signal is output to the variable length coding circuit 18 and the inverse quantization / IDCT circuit 19.
【００５０】可変長符号化回路１８では、上記量子化信
号のハフマン符号化を行い、図１２の出力端子４０５か
ら出力する。The variable length coding circuit 18 performs Huffman coding on the quantized signal and outputs it from the output terminal 405 in FIG.
【００５１】一方、上記量子化信号は、逆量子化／ＩＤ
ＣＴ回路１９により、再びフレーム間差信号に逆変換さ
れる。逆変換されたフレーム間差信号は、加算器２０に
より、予測メモリ２１が出力する映像信号と加算され
て、予測メモリ２１へ出力される。On the other hand, the quantized signal is the inverse quantized / ID
The CT circuit 19 again converts the signal into an interframe difference signal. The inversely-converted interframe difference signal is added by the adder 20 to the video signal output from the prediction memory 21 and output to the prediction memory 21.
【００５２】動き検出回路３３は、フレームメモリ１５
がテンプレートに沿って出力する映像信号と、予測メモ
リ２１に記憶している映像信号との間で相関を利用する
（例えば、テンプレートの位置を逐次移動させつつテン
プレートマッチングを行い、２信号の差が最小となる点
を検索する）ことで、動きベクトルを抽出する。抽出し
た動きベクトルは、予測メモリ２１に出力される。The motion detection circuit 33 includes a frame memory 15
Uses the correlation between the video signal output according to the template and the video signal stored in the prediction memory 21 (for example, template matching is performed while sequentially moving the position of the template, and the difference between the two signals is The motion vector is extracted by searching for the minimum point). The extracted motion vector is output to the prediction memory 21.
【００５３】予測メモリ２１は、映像信号を前述したｎ
×ｍ画素のテンプレートに沿った形で減算器１６に出力
するが、このテンプレートの位置は、動き検出回路３３
の出力する動きベクトル分だけ逐次移動する。The prediction memory 21 stores the video signal in the above n.
The data is output to the subtractor 16 along a template of × m pixels, and the position of this template is the motion detection circuit 33.
It moves sequentially by the motion vector output by.
【００５４】圧縮回路３１は、ＭＰＥＧに準拠した符号
を出力する回路構成になっているが、センサ３から発生
する振れ信号や、レンズ１から得られるズ−ム情報を基
に、フレームメモリ１５から出力するディジタルビデオ
信号の領域を制御している点が、従来のものと異なる。The compression circuit 31 has a circuit configuration for outputting a code compliant with MPEG. However, based on a shake signal generated from the sensor 3 and zoom information obtained from the lens 1, the compression circuit 31 outputs from the frame memory 15. It is different from the conventional one in that the area of the digital video signal to be output is controlled.
【００５５】かように本実施例によれば、撮像装置の振
れに起因する映像の振れを補正できると共に、より高効
率の予測符号化が達成できる。As described above, according to the present embodiment, it is possible to correct the shake of the image due to the shake of the image pickup apparatus, and it is possible to achieve more efficient predictive coding.
【００５６】〈第４実施例〉図１４は、本発明の第４実
施例に係る撮像装置の構成を示すブロック図である。同
図において、１はレンズ、２はＣＣＤ等のセンサ、３は
角速度センサ等のセンサ、４０１は駆動回路、４０２は
Ａ／Ｄ変換回路、５は信号処理回路、４０３はＤ／Ａ変
換回路、３８は圧縮回路、４０４，４０５は出力端子で
ある。本実施例が図１の第１実施例１と異なるのは、制
御回路４が省略され、センサ３、レンズ１からの信号が
圧縮回路３８に入力されている点と、圧縮回路３８の内
部構成である。<Fourth Embodiment> FIG. 14 is a block diagram showing the arrangement of an image pickup apparatus according to the fourth embodiment of the present invention. In the figure, 1 is a lens, 2 is a sensor such as a CCD, 3 is a sensor such as an angular velocity sensor, 401 is a drive circuit, 402 is an A / D conversion circuit, 5 is a signal processing circuit, 403 is a D / A conversion circuit, 38 is a compression circuit, and 404 and 405 are output terminals. The present embodiment is different from the first embodiment 1 in FIG. 1 in that the control circuit 4 is omitted and the signals from the sensor 3 and the lens 1 are input to the compression circuit 38, and the internal configuration of the compression circuit 38. Is.
【００５７】図１５は、本実施例の圧縮回路３８の内部
構成を示したものである。図１５におけるフレームメモ
リ１５の入力信号は、図１４の信号処理回路５の出力信
号であり、フレームメモリ１５に記憶される。フレーム
メモリ１５は、ディジタル映像信号をｎ×ｍ画素（一般
にはｎ＝ｍ＝１６）のテンプレートに沿った形で出力す
る。FIG. 15 shows the internal structure of the compression circuit 38 of this embodiment. The input signal of the frame memory 15 in FIG. 15 is the output signal of the signal processing circuit 5 in FIG. 14, and is stored in the frame memory 15. The frame memory 15 outputs the digital video signal in a form along a template of n × m pixels (generally n = m = 16).
【００５８】減算器１６は、メモリ１５の出力信号と、
予測メモリ２１の出力する映像信号の差分をとることに
よって、フレーム間差信号を生成する。フレーム間差信
号は、ＤＣＴ／量子化回路１７によって、フレーム内符
号化および符号量低減のための量子化が行われる。量子
化された信号は、可変長符号化回路１８と逆量子化／Ｉ
ＤＣＴ回路１９へ出力される。The subtractor 16 receives the output signal of the memory 15 and
An inter-frame difference signal is generated by taking the difference between the video signals output from the prediction memory 21. The inter-frame difference signal is subjected to intra-frame coding and quantization for reducing the code amount by the DCT / quantization circuit 17. The quantized signal is supplied to the variable length coding circuit 18 and inverse quantization / I
It is output to the DCT circuit 19.
【００５９】可変長符号化回路１８では、上記量子化信
号のハフマン符号化を行い、図１４の出力端子４０５か
ら出力する。The variable length coding circuit 18 performs Huffman coding on the quantized signal and outputs it from the output terminal 405 of FIG.
【００６０】一方、上記量子化信号は、逆量子化／ＩＤ
ＣＴ回路１９により、再びフレーム間差信号に逆変換さ
れる。逆変換されたフレーム間差信号は、加算器２０に
より、予測メモリ２１が出力する映像信号と加算され
て、予測メモリ２１へ出力される。On the other hand, the quantized signal is the inverse quantized / ID
The CT circuit 19 again converts the signal into an interframe difference signal. The inversely-converted interframe difference signal is added by the adder 20 to the video signal output from the prediction memory 21 and output to the prediction memory 21.
【００６１】動き検出回路４０は、フレームメモリ１５
がテンプレートに沿って出力する映像信号と、予測メモ
リ２１に記憶している映像信号との間で相関を利用する
（例えば、テンプレートの位置を逐次移動させつつテン
プレートマッチングを行い、２信号の差が最小となる点
を検索する）ことで、動きベクトルを抽出する。抽出し
た動きベクトルは、予測メモリ２１に出力される。The motion detection circuit 40 includes a frame memory 15
Uses the correlation between the video signal output according to the template and the video signal stored in the prediction memory 21 (for example, template matching is performed while sequentially moving the position of the template, and the difference between the two signals is The motion vector is extracted by searching for the minimum point). The extracted motion vector is output to the prediction memory 21.
【００６２】予測メモリ２１は、映像信号を前述したｎ
×ｍ画素のテンプレートに沿った形で減算器１６に出力
するが、このテンプレートの位置は、動き検出回路４０
が出力する動きベクトル分だけ逐次移動する。The prediction memory 21 stores the video signal in the above-mentioned n.
It is output to the subtractor 16 in a form along the template of × m pixels. The position of this template is the motion detection circuit 40.
Sequentially moves by the motion vector output by.
【００６３】演算回路３９は、センサ３からの振れ信号
及び、レンズ１からのズ−ム情報を基に、撮影したフレ
ームに発生している振れベクトルを求める。振れベクト
ルは、動き検出回路４０に出力される。The arithmetic circuit 39 obtains the shake vector generated in the photographed frame based on the shake signal from the sensor 3 and the zoom information from the lens 1. The shake vector is output to the motion detection circuit 40.
【００６４】次に、動き検出回路４０の動作を、図１
６，図１７，図１８により説明する。図１６において、
４１は処理中のフレームを表す。ＭＰＥＧなどに用いら
れる一般的な動き検出は、現在処理を行うブロック４３
の周囲、例えば４２に示す検索範囲について、ブロック
４３とのパターンマッチングを行い、相関が最大となる
点を求め、その点を指すベクトルを符号化するものであ
る。効率の良い符号化を行うために、検索範囲４２はフ
レーム中の被写体の動きを充分カバーする広さがあるこ
とが望ましい。一方、回路の規模を抑えるためには、検
索範囲４２はできるだけ狭くとることが望ましい。回路
構成にあたっては、この両者のバランスがとれている広
さ、例えばフレーム間隔１あたり、上下左右±１６画素
程度にする。Next, the operation of the motion detection circuit 40 will be described with reference to FIG.
6, FIG. 17 and FIG. In FIG.
Reference numeral 41 represents a frame being processed. In general motion detection used in MPEG or the like, the block 43 currently processed is used.
The pattern matching with the block 43 is performed around the search range indicated by 42, for example, to find a point having the maximum correlation, and a vector pointing to the point is encoded. In order to perform efficient encoding, it is desirable that the search range 42 be large enough to cover the movement of the subject in the frame. On the other hand, in order to reduce the scale of the circuit, it is desirable that the search range 42 be as narrow as possible. In the circuit configuration, the width in which the two are balanced is set, for example, approximately 16 pixels in the vertical and horizontal directions per frame interval.
【００６５】図１７は、撮像装置の振れに起因する振れ
を含むフレームを示したものである。ここではフレーム
全体に、振れベクトル４４が含まれている。このような
フレームを処理する場合、図示した検索範囲４２では被
写体の動きを十分カバーしているとは言い難い。検索範
囲４２を拡大するという手段もあるが、回路規模の増大
や処理速度の低下を招く。FIG. 17 shows a frame including shake caused by shake of the image pickup apparatus. Here, the shake vector 44 is included in the entire frame. When processing such a frame, it cannot be said that the search range 42 shown in the figure sufficiently covers the movement of the subject. Although there is a means of expanding the search range 42, it causes an increase in circuit scale and a decrease in processing speed.
【００６６】そこで本実施例では、図１８に示すよう
に、検索範囲４２の中心位置を振れベクトル４４だけ移
動し、検索範囲を４５に示す範囲に設定する構成とし
た。検索範囲４５は、振れベクトル４４により逐次移動
する。また、検索範囲４５の広さは検索範囲４２と同一
で良い。そのため回路規模の著しい増大や、処理速度の
低下を招くことは無い。Therefore, in this embodiment, as shown in FIG. 18, the central position of the search range 42 is moved by the shake vector 44 to set the search range to the range 45. The search range 45 is sequentially moved by the shake vector 44. The size of the search range 45 may be the same as that of the search range 42. Therefore, the circuit scale does not significantly increase and the processing speed does not decrease.
【００６７】圧縮回路３８は、ＭＰＥＧに準拠した符号
を出力する回路構成になっているが、センサ３から発生
する振れ信号やレンズ１から得られるズ−ム情報を基
に、動き検出回路４０における検索範囲４２の位置を制
御している点が、従来のものと異なる。The compression circuit 38 has a circuit configuration for outputting a code conforming to MPEG, but in the motion detection circuit 40 based on a shake signal generated from the sensor 3 and zoom information obtained from the lens 1. It is different from the conventional one in that the position of the search range 42 is controlled.
【００６８】かように本実施例によれば、振れの発生し
ている映像においても、効率の良い動き補償フレーム間
予測符号化が可能になり、回路規模の増大や処理速度の
低下を回避することができる。As described above, according to this embodiment, it is possible to perform efficient motion-compensated interframe predictive coding even for a video with shake, and avoid an increase in circuit scale and a decrease in processing speed. be able to.
【００６９】[0069]
【発明の効果】以上のように本発明によれば、撮像装置
において、フレーム間の相関を高める手段を設けたこと
により、より高効率のフレーム間予測符号化、動き補償
フレーム間予測符号化を行うことができる。As described above, according to the present invention, since the image pickup apparatus is provided with the means for increasing the correlation between frames, more efficient interframe predictive coding and motion-compensated interframe predictive coding can be achieved. It can be carried out.
【００７０】また、動き補償フレーム間予測符号化を行
うために検出した情報を利用して、撮像装置の振れ量を
検出し、映像の振れ補正を行うことで、従来用いられて
いた振れ補正手段を省くことができ、撮像装置の回路規
模、装置規模を縮小することができる。Further, by using the information detected for performing motion-compensated interframe predictive coding, the shake amount of the image pickup apparatus is detected and the shake of the image is corrected, so that the shake correction means used in the past is used. Can be omitted, and the circuit scale and device scale of the imaging device can be reduced.
【００７１】あるいは、撮像装置の振れを検出する手段
からの信号を利用し、計算量を最適化した構成により、
回路規模の増大や、処理速度の低下を回避することがで
きる。Alternatively, by using the signal from the means for detecting the shake of the image pickup apparatus and optimizing the calculation amount,
It is possible to avoid an increase in circuit scale and a decrease in processing speed.
【図１】本発明の第１実施例に係る撮像装置の構成を示
すブロック図である。FIG. 1 is a block diagram showing a configuration of an image pickup apparatus according to a first embodiment of the present invention.
【図２】本発明の第１実施例における、センサ（固体撮
像素子）２の通常の制御状況を示す説明図である。FIG. 2 is an explanatory diagram showing a normal control situation of a sensor (solid-state image sensor) 2 in the first embodiment of the present invention.
【図３】本発明の第１実施例における、センサ（固体撮
像素子）２の振れ発生時の制御状況を示す説明図であ
る。FIG. 3 is an explanatory diagram showing a control situation at the time of occurrence of shake of the sensor (solid-state image sensor) 2 in the first embodiment of the present invention.
【図４】本発明の第１実施例における、動きベクトルの
探索範囲を示す説明図である。FIG. 4 is an explanatory diagram showing a motion vector search range in the first embodiment of the present invention.
【図５】振れ補正を行わない場合のフレーム間の相関を
示す説明図である。FIG. 5 is an explanatory diagram showing a correlation between frames when shake correction is not performed.
【図６】本発明の第１実施例による、振れ補正を行った
場合のフレーム間の相関を示す説明図である。FIG. 6 is an explanatory diagram showing a correlation between frames when shake correction is performed according to the first embodiment of the present invention.
【図７】本発明の第２実施例に係る撮像装置の構成を示
すブロック図である。FIG. 7 is a block diagram showing a configuration of an image pickup apparatus according to a second embodiment of the present invention.
【図８】図７中の圧縮回路の構成の１例を示すブロック
図である。8 is a block diagram showing an example of a configuration of a compression circuit in FIG.
【図９】本発明の第２実施例における、振れが発生して
いない場合のフレームメモリ１５内のイメージを示す説
明図である。FIG. 9 is an explanatory diagram showing an image in the frame memory 15 in the case where shake does not occur in the second embodiment of the present invention.
【図１０】本発明の第２実施例における、振れが発生し
た場合のメモリ１５内のイメージを示す説明図である。FIG. 10 is an explanatory diagram showing an image in the memory 15 when shake occurs in the second embodiment of the present invention.
【図１１】図７中の圧縮回路の構成の他の１例を示すブ
ロック図である。11 is a block diagram showing another example of the configuration of the compression circuit in FIG.
【図１２】本発明の第３実施例に係る撮像装置の構成を
示すブロック図である。FIG. 12 is a block diagram showing a configuration of an image pickup apparatus according to a third embodiment of the present invention.
【図１３】図１２中の圧縮回路の構成を示すブロック図
である。13 is a block diagram showing a configuration of a compression circuit in FIG.
【図１４】本発明の第４実施例に係る撮像装置の構成を
示すブロック図である。FIG. 14 is a block diagram showing a configuration of an image pickup apparatus according to a fourth embodiment of the present invention.
【図１５】図１４中の圧縮回路の構成を示すブロック図
である。15 is a block diagram showing a configuration of a compression circuit in FIG.
【図１６】本発明の第４実施例による、一般的な動き検
出の範囲を示す説明図である。FIG. 16 is an explanatory diagram showing a general range of motion detection according to the fourth embodiment of the present invention.
【図１７】振れベクトルを含むフレームにおける動き検
出の範囲を示す説明図である。FIG. 17 is an explanatory diagram showing a range of motion detection in a frame including a shake vector.
【図１８】本発明の第４実施例における、動き検出の範
囲の制御の例を示す説明図である。FIG. 18 is an explanatory diagram showing an example of control of a motion detection range according to the fourth embodiment of the present invention.
１ レンズ ２ ＣＣＤ等のセンサ ３ 角速度センサ等のセンサ ４ 制御回路 ５ 信号処理回路 ６ 圧縮回路 ７ センサ２の信号出力範囲 ８ 被写体 ９ センサ２の信号出力範囲 １０ 被写体 １１ 被写体 １２ 被写体 １３ 被写体 １４ 圧縮回路 １５ フレームメモリ １６ 減算器 １７ ＤＣＴ／量子化回路 １８ 可変長符号化回路 １９ 逆量子化／ＩＤＣＴ回路 ２０ 加算器 ２１ 予測メモリ ２２ 動き検出回路 ２３ 比較器 ２４ カウンタ ２５ 演算器 ２６ 制御回路 ２７ フレームメモリ１５に記憶されたフレーム ２８ フレームメモリ１５から出力される映像信号の範
囲（テンプレートの位置） ２９ 被写体 ３０ フレームメモリ１５から出力される映像信号の範
囲（テンプレートの位置） ３１ 圧縮回路 ３２ 制御回路 ３３ 動き検出回路 ３８ 圧縮回路 ３９ 演算回路 ４０ 動き検出回路 ４１ フレーム ４２ 動き検出を行うための検索範囲 ４３ 処理中のブロック ４４ 振れベクトル ４５ 動き検出を行うための検索範囲 ４０１ 駆動回路 ４０２ Ａ／Ｄ変換回路 ４０３ Ｄ／Ａ変換回路 ４０４ 出力端子 ４０５ 出力端子 ４０６ 被写体の動きベクトルを補償をできる探索範囲 ４０７ 振れベクトル ４０８ 被写体の動きベクトルと、振れベクトルの合成
ベクトルを補償できる探索範囲 ４０９ 振れベクトル検出手段 ４１０ スイッチ ４１１ 減算器1 lens 2 sensor such as CCD 3 sensor such as angular velocity sensor 4 control circuit 5 signal processing circuit 6 compression circuit 7 signal output range of sensor 2 8 subject 9 signal output range of sensor 2 10 subject 11 subject 12 subject 13 subject 14 compression circuit 15 frame memory 16 subtractor 17 DCT / quantization circuit 18 variable length coding circuit 19 inverse quantization / IDCT circuit 20 adder 21 prediction memory 22 motion detection circuit 23 comparator 24 counter 25 arithmetic unit 26 control circuit 27 frame memory 15 The frame stored in the memory 28 The range of the video signal output from the frame memory 15 (the position of the template) 29 The subject 30 The range of the video signal output from the frame memory 15 (the position of the template) 31 The compression circuit 32 The control circuit 33 The motion detection Circuit 38 Compression circuit 9 arithmetic circuit 40 motion detection circuit 41 frame 42 search range for performing motion detection 43 block being processed 44 shake vector 45 search range for performing motion detection 401 drive circuit 402 A / D conversion circuit 403 D / A conversion circuit 404 Output terminal 405 Output terminal 406 Search range capable of compensating subject motion vector 407 Shake vector 408 Search range capable of compensating the combined vector of the subject motion vector and shake vector 409 Shake vector detection means 410 Switch 411 Subtractor
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7605195AJPH08275049A (en) | 1995-03-31 | 1995-03-31 | Imaging device |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7605195AJPH08275049A (en) | 1995-03-31 | 1995-03-31 | Imaging device |
| Publication Number | Publication Date |
|---|---|
| JPH08275049Atrue JPH08275049A (en) | 1996-10-18 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7605195APendingJPH08275049A (en) | 1995-03-31 | 1995-03-31 | Imaging device |
| Country | Link |
|---|---|
| JP (1) | JPH08275049A (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11219436A (en)* | 1998-01-30 | 1999-08-10 | Toshiba Corp | Motion vector detection circuit and motion vector detection method |
| JP2000295623A (en)* | 1999-04-06 | 2000-10-20 | Sharp Corp | Image transmission device |
| JP2001160958A (en)* | 1999-12-03 | 2001-06-12 | Nec Corp | Photographed image data correction method for mobile video phone and system thereof |
| JP2004048390A (en)* | 2002-07-11 | 2004-02-12 | Matsushita Electric Ind Co Ltd | Video encoding apparatus and method |
| US9609355B2 (en) | 2014-08-22 | 2017-03-28 | Canon Kabushiki Kaisha | Image processing apparatus to which moving vector search technique is applicable, control method therefor, and storage medium storing control program therefor |
| JP2018107683A (en)* | 2016-12-27 | 2018-07-05 | 富士通株式会社 | Video encoding apparatus and video decoding apparatus |
| JP2018142911A (en)* | 2017-02-28 | 2018-09-13 | パナソニックＩｐマネジメント株式会社 | Imaging device and method for correcting shake of captured image |
| JP2021005906A (en)* | 2020-10-15 | 2021-01-14 | 富士通株式会社 | Video encoding device |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11219436A (en)* | 1998-01-30 | 1999-08-10 | Toshiba Corp | Motion vector detection circuit and motion vector detection method |
| JP2000295623A (en)* | 1999-04-06 | 2000-10-20 | Sharp Corp | Image transmission device |
| JP2001160958A (en)* | 1999-12-03 | 2001-06-12 | Nec Corp | Photographed image data correction method for mobile video phone and system thereof |
| JP2004048390A (en)* | 2002-07-11 | 2004-02-12 | Matsushita Electric Ind Co Ltd | Video encoding apparatus and method |
| US9609355B2 (en) | 2014-08-22 | 2017-03-28 | Canon Kabushiki Kaisha | Image processing apparatus to which moving vector search technique is applicable, control method therefor, and storage medium storing control program therefor |
| JP2018107683A (en)* | 2016-12-27 | 2018-07-05 | 富士通株式会社 | Video encoding apparatus and video decoding apparatus |
| JP2018142911A (en)* | 2017-02-28 | 2018-09-13 | パナソニックＩｐマネジメント株式会社 | Imaging device and method for correcting shake of captured image |
| JP2021005906A (en)* | 2020-10-15 | 2021-01-14 | 富士通株式会社 | Video encoding device |
| Publication | Publication Date | Title |
|---|---|---|
| JPH10108121A (en) | Electronic camera | |
| JP3783238B2 (en) | Imaging system, image processing apparatus, encoding apparatus, encoding method, and method for removing random noise | |
| EP0520741B1 (en) | Image compression associated with camera shake correction | |
| JP2004200989A (en) | Imaging apparatus and supervisory system | |
| JP2009267689A (en) | Moving image coding device, and moving image coding method | |
| JP3593929B2 (en) | Moving picture coding method and moving picture coding apparatus | |
| JP4483483B2 (en) | Imaging device | |
| US8705628B2 (en) | Method and device for compressing moving image | |
| JP4641892B2 (en) | Moving picture encoding apparatus, method, and program | |
| JP3221785B2 (en) | Imaging device | |
| JP2007295370A (en) | Encoding device and method, and program | |
| JPH08275049A (en) | Imaging device | |
| FI109395B (en) | Stabilizing video images by filming a scene larger than the image and compensating camera motion by shifting the image within the film scene in a direction opposite to a predicted camera motion | |
| JPH10257366A (en) | Image processing apparatus and method | |
| JP2025000917A (en) | Coding device | |
| JP4742813B2 (en) | Image processing apparatus and image processing method | |
| JPH09261530A (en) | Video recorder | |
| JP6152642B2 (en) | Moving picture compression apparatus, moving picture decoding apparatus, and program | |
| JP2001024933A (en) | Image input device and image input method | |
| JPH114361A (en) | Image information processing method and digital imaging device using the same | |
| JP2017200199A (en) | Moving picture compression apparatus, moving picture decoding apparatus, and program | |
| JP6031366B2 (en) | Imaging vibration control device | |
| JP2001275103A (en) | MONITORING SYSTEM AND MOTION DETECTION METHOD THEREOF | |
| JPH0795590A (en) | Method and device for processing video signal and image pickup device | |
| JP2008103928A (en) | Imaging device |