【０００１】[0001]
【産業上の利用分野】本発明は、例えば画像を符号化ま
たは復号化する場合に用いて好適な動きベクトルの変換
方法、並びに動きベクトルの検出方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a motion vector conversion method and a motion vector detection method suitable for use in, for example, encoding or decoding an image.
【０００２】[0002]
【従来の技術】画像に対する人間の空間的な視覚特性
は、画像の斜め方向の変化に鈍感であることが判ってい
る。2. Description of the Related Art It has been found that the human spatial visual characteristics of an image are insensitive to changes in the diagonal direction of the image.
【０００３】そこで、従来の画像符号化装置において
は、例えば図６に示すように、２次元フィルタ１１によ
って、正方格子状に並んだ画素からなる画像データの斜
め方向の周波数帯域成分を抑制し、さらにその画素デー
タをサブサンプラ１２によって、千鳥格子状にサブサン
プルしてから、画像データを符号化するようになってい
る。Therefore, in a conventional image coding apparatus, as shown in FIG. 6, for example, a two-dimensional filter 11 suppresses a diagonal frequency band component of image data composed of pixels arranged in a square lattice, Further, the pixel data is subsampled in a zigzag pattern by the subsampler 12, and then the image data is encoded.
【０００４】従って、符号化する画像データのデータ量
が減少するので、符号化後の情報量を抑制することがで
きる。Therefore, since the data amount of the image data to be encoded is reduced, the information amount after encoding can be suppressed.
【０００５】さらに、このような画像符号化装置では、
画像のフレーム間、あるいはフィールド間の時間的な相
関を利用して、上述したようにサブサンプルされた画像
データのフレーム間、あるいはフィールド間の差分をと
り、その差分データを符号化することにより、高能率の
圧縮符号化を実現している。Further, in such an image encoding device,
By using the temporal correlation between the frames of the image or between the fields, the difference between the frames of the image data subsampled as described above or between the fields is obtained, and the difference data is encoded, It realizes highly efficient compression coding.
【０００６】[0006]
【発明が解決しようとする課題】ところで、このような
画像符号化装置においては、図７に示すように、現在の
フレーム（あるいはフィールド）の画像の、例えばブロ
ックＡに最も類似する画像のブロックＡ'を、前フレー
ム（あるいはフィールド）の画像の所定の動き補償範囲
内（図中、点線で示す範囲内）から検出し、ブロックＡ
からブロックＡ’への移動方向および移動量を動きベク
トルＶとして、符号化されて局所復号された画像に、そ
の動きベクトルＶに対応する動き補償を施すことによ
り、差分データを生成するための、差分をとる元になる
予測画像が生成されるようになっている。By the way, in such an image coding apparatus, as shown in FIG. 7, the block A of the image most similar to the block A of the image of the current frame (or field), for example. 'Is detected from within a predetermined motion compensation range of the image of the previous frame (or field) (within the range indicated by the dotted line in the figure), and block A is detected.
For generating difference data by performing motion compensation corresponding to the motion vector V on the encoded and locally decoded image with the movement direction and the movement amount from the block to the block A ′ as the motion vector V, A predicted image that is the source of the difference is generated.
【０００７】また、上述したようにして動きベクトルＶ
が検出される場合、画像の水平方向または垂直方向にｘ
軸またはｙ軸がそれぞれとられる。Further, as described above, the motion vector V
Is detected, x in the horizontal or vertical direction of the image
The axis or the y-axis is taken respectively.
【０００８】従って、図８に示すような正方格子状に並
んだ画素からなる画像データの動きを示す動きベクトル
Ｖに比較して、図９に示すような千鳥格子状の画像デー
タの動きを示す動きベクトルは、図９において○印で示
す格子点を示すことができれば良く、それ以外の格子点
（例えば、点（１，０）や点（０，１）など）を示すこ
とができるのは、いわば冗長であった。Therefore, as compared with the motion vector V indicating the movement of the image data composed of pixels arranged in a square lattice as shown in FIG. 8, the movement of the image data in the zigzag lattice as shown in FIG. It suffices that the motion vector shown can indicate a grid point indicated by a circle in FIG. 9, and can indicate other grid points (for example, a point (1,0) or a point (0,1)). Was, so to speak, redundant.
【０００９】即ち、例えば動き補償範囲が、｜ｘ｜≦
３、且つ｜ｙ｜≦３である場合、正方格子状の画像デー
タの動きを示す動きベクトルは、動き補償範囲における
４９（＝７×７）のすべての格子点を示す必要がある
が、千鳥格子状の画像データの動きを示す動きベクトル
は、動き補償範囲における４９（＝７×７）の格子点の
うち、２５の格子点（図９において、動きベクトルの検
出範囲内の○印）を示すだけで済むのにも関わらず、正
方格子状の画像データの動きを示す動きベクトルと同じ
だけのビット数を必要としていた。That is, for example, the motion compensation range is | x |
If 3 and | y | ≦ 3, the motion vector indicating the motion of the square grid image data needs to indicate all 49 (= 7 × 7) grid points in the motion compensation range, but zigzag The motion vector indicating the motion of the grid-shaped image data is 25 grid points out of 49 (= 7 × 7) grid points in the motion compensation range (in FIG. 9, circles in the motion vector detection range). However, the number of bits required is the same as that of the motion vector indicating the motion of the square grid image data.
【００１０】本発明は、このような状況に鑑みてなされ
たものであり、動きベクトルの冗長性を削減し、これに
より動き補償の範囲を拡大するとともに、画像の符号化
効率を向上させるものである。The present invention has been made in view of such a situation, and is intended to reduce the redundancy of motion vectors, thereby expanding the range of motion compensation and improving the coding efficiency of images. is there.
【００１１】[0011]
【課題を解決するための手段】請求項１に記載の動きベ
クトルの変換方法は、千鳥格子状にサブサンプルされた
画像の動きベクトルを変換する動きベクトルの変換方法
において、動きベクトルが示す画像のサンプル点に対応
して、動きベクトルを変換することを特徴とする。A motion vector conversion method according to claim 1 is a motion vector conversion method for converting a motion vector of an image subsampled in a staggered pattern, and an image indicated by the motion vector. The feature is that the motion vector is converted corresponding to the sample points of.
【００１２】請求項２に記載の動きベクトルの変換方法
は、動きベクトルが示す画像のサブサンプル点に対応し
て、動きベクトルを、千鳥格子状にサブサンプルされな
かった画像のサンプル点を示す動きベクトルに変換する
ことを特徴とする。According to a second aspect of the present invention, in the motion vector conversion method, the motion vector corresponding to the sub-sample point of the image indicated by the motion vector indicates the sample point of the image that is not sub-sampled in a staggered pattern. It is characterized in that it is converted into a motion vector.
【００１３】請求項３に記載の動きベクトルの変換方法
は、動きベクトルが示す画像のサンプル点に対応して、
動きベクトルを、千鳥格子状にサブサンプルされた画像
のサブサンプル点を示す動きベクトルに変換することを
特徴とする。According to a third aspect of the present invention, there is provided a motion vector conversion method, wherein
It is characterized in that the motion vector is converted into a motion vector indicating a sub-sampling point of an image sub-sampled in a zigzag pattern.
【００１４】請求項４に記載の動きベクトルの変換方法
は、千鳥格子状にサブサンプルされた画像の動きベクト
ルを変換する動きベクトルの変換方法において、動きベ
クトルの座標系を所定の角度だけ回転することを特徴と
する。According to a fourth aspect of the present invention, there is provided a motion vector transforming method for transforming a motion vector of an image subsampled in a zigzag pattern, wherein the coordinate system of the motion vector is rotated by a predetermined angle. It is characterized by doing.
【００１５】請求項５に記載の動きベクトルの検出方法
は、千鳥格子状にサブサンプルされた画像の動きベクト
ルを検出する動きベクトルの検出方法において、画像の
座標系を所定の角度だけ回転し、所定の角度だけ回転し
た画像の座標系における、画像の動きベクトルを検出す
ることを特徴とする。A motion vector detecting method according to a fifth aspect of the present invention is a motion vector detecting method for detecting a motion vector of an image subsampled in a staggered pattern, wherein the coordinate system of the image is rotated by a predetermined angle. , Detecting the motion vector of the image in the coordinate system of the image rotated by a predetermined angle.
【００１６】[0016]
【作用】本発明の動きベクトルの変換方法においては、
動きベクトルが示す画像のサブサンプル点に対応して、
動きベクトルを、千鳥格子状にサブサンプルされなかっ
た画像のサンプル点を示す動きベクトルに変換する。従
って、動きベクトルの冗長性を削減することができる。In the motion vector conversion method of the present invention,
Corresponding to the subsample points of the image indicated by the motion vector,
The motion vector is converted into a motion vector indicating sample points of the image that have not been subsampled in a staggered pattern. Therefore, the redundancy of the motion vector can be reduced.
【００１７】さらに、本発明の動きベクトルの変換方法
においては、動きベクトルが示す画像のサンプル点に対
応して、動きベクトルを、千鳥格子状にサブサンプルさ
れた画像のサブサンプル点を示す動きベクトルに変換す
る。従って、動きベクトルが示す画像のサブサンプル点
に対応して、千鳥格子状にサブサンプルされなかった画
像のサンプル点を示す動きベクトルに変換された動きベ
クトルを、元の動きベクトルに戻すことができる。Further, in the motion vector conversion method of the present invention, the motion vector corresponding to the sample point of the image indicated by the motion vector is a motion indicating the sub-sample points of the image obtained by sub-sampling the motion vector in a staggered pattern. Convert to vector. Therefore, the motion vector converted into the motion vector indicating the sample points of the image that is not sub-sampled in a staggered pattern corresponding to the sub-sample point of the image indicated by the motion vector can be returned to the original motion vector. it can.
【００１８】また、本発明の動きベクトルの変換方法に
おいては、千鳥格子状にサブサンプルされた画像の動き
ベクトルの座標系を所定の角度だけ回転する。従って、
動きベクトルの冗長性を削減することができるととも
に、回転された動きベクトルの座標系を元の座標系に戻
すことができる。Also, in the motion vector conversion method of the present invention, the coordinate system of the motion vector of the image subsampled in the staggered pattern is rotated by a predetermined angle. Therefore,
The redundancy of the motion vector can be reduced, and the coordinate system of the rotated motion vector can be returned to the original coordinate system.
【００１９】本発明の動きベクトルの検出方法において
は、千鳥格子状にサブサンプルされた画像の座標系を所
定の角度だけ回転し、所定の角度だけ回転した画像の座
標系における、画像の動きベクトルを検出する。従っ
て、動きベクトルの冗長性を削減することができる。In the motion vector detecting method of the present invention, the coordinate system of the image subsampled in the zigzag pattern is rotated by a predetermined angle, and the motion of the image in the coordinate system of the image rotated by the predetermined angle. Detect a vector. Therefore, the redundancy of the motion vector can be reduced.
【００２０】[0020]
【実施例】図１は、本発明の動きベクトルの変換方法に
よって、画像の動きベクトルを変換する画像符号化装置
の一実施例の構成を示すブロック図である。この画像符
号化装置は、例えばＭＰＥＧ方式に基づいて画像データ
を符号化するようになっている。1 is a block diagram showing the configuration of an embodiment of an image coding apparatus for converting a motion vector of an image by a motion vector converting method according to the present invention. This image coding apparatus is adapted to code image data based on, for example, the MPEG system.
【００２１】演算器１は、入力されるブロック単位の画
像データとフレームメモリ（ＦＭ）７より読み出され、
動き検出補償部８の動き補償回路（ＭＣ）９で動き補償
が施された予測画像データとの差を計算し、差データａ
を出力する。ＤＣＴ回路２は、入力された画像データ
（差データａ）をＤＣＴ（離散コサイン変換）処理し、
ＤＣＴ係数を出力する。量子化回路３は、ＤＣＴ回路２
からのＤＣＴ係数を、所定の量子化ステップで量子化す
る。The arithmetic unit 1 reads the input image data in block units and the frame memory (FM) 7,
The difference between the motion compensation circuit (MC) 9 of the motion detection / compensation unit 8 and the predicted image data subjected to the motion compensation is calculated, and the difference data a
Is output. The DCT circuit 2 performs DCT (discrete cosine transform) processing on the input image data (difference data a),
Output the DCT coefficient. The quantization circuit 3 is the DCT circuit 2
Quantize the DCT coefficients from 1 to 3 in a predetermined quantization step.
【００２２】逆量子化回路４は、量子化回路３により量
子化されたデータを逆量子化する。ＩＤＣＴ回路５は、
逆量子化回路４により逆量子化されたデータを逆ＤＣＴ
処理する。演算器６は、ＭＣ９から出力されるデータ
（予測画像データ）とＩＤＣＴ回路５から出力されるデ
ータとを加算し、ＦＭ７に供給する。これにより、ＦＭ
７には、この画像符号化装置で符号化された画像を復号
する画像復号化装置（図示せず）で得られる画像データ
と同一の画像データが記憶される。The dequantization circuit 4 dequantizes the data quantized by the quantization circuit 3. The IDCT circuit 5 is
Inverse DCT of the data inversely quantized by the inverse quantization circuit 4
To process. The arithmetic unit 6 adds the data output from the MC 9 (predicted image data) and the data output from the IDCT circuit 5, and supplies the result to the FM 7. As a result, FM
The same image data as the image data obtained by an image decoding device (not shown) that decodes the image encoded by this image encoding device is stored in 7.
【００２３】動き検出補償部８は、ＭＣ９および動き検
出回路（ＭＥ）１０から構成される。ＭＥ１０は、演算
器１に入力される画像データのブロックＡと最も類似す
る、既に復号されてＦＭ７に記憶されている画像データ
のブロックＡ'を、例えば全探索パターンマッチングな
どによって検出し、ブロックＡからブロックＡ’への移
動方向および移動量、即ち、動きベクトルを算出してＭ
Ｃ９に出力する。さらに、ＭＥ１０は、検出した動きベ
クトルに対し、所定の変換処理を施して出力する。The motion detection / compensation unit 8 comprises an MC 9 and a motion detection circuit (ME) 10. The ME 10 detects a block A ′ of the image data which has been already decoded and stored in the FM 7 and which is the most similar to the block A of the image data input to the arithmetic unit 1 by, for example, full search pattern matching or the like, and the block A From the block to the block A ′ and the moving amount, that is, the motion vector is calculated and M
Output to C9. Further, the ME 10 performs a predetermined conversion process on the detected motion vector and outputs it.
【００２４】ＭＣ９は、既に復号されてＦＭ７に記憶さ
れている画像データを読み出し、それに、ＭＥ１０で検
出された動きベクトルに対応する動き補償を施す。そし
て、動き補償が施された画像データを、演算器１に入力
される画像データの予測画像データとして、演算器１お
よび６に出力する。The MC 9 reads out the image data already decoded and stored in the FM 7, and applies motion compensation corresponding to the motion vector detected by the ME 10 thereto. Then, the motion-compensated image data is output to the calculators 1 and 6 as predicted image data of the image data input to the calculator 1.
【００２５】次に、その動作について説明する。まず、
例えば７２０ピクセル×４８０ライン（水平方向７２０
ピクセル、垂直方向４８０ライン）で構成される画像
（画像信号）を、８ピクセル×８ラインのブロックに分
割した画像データが、ＭＥ１０、および演算器１を介し
てＤＣＴ回路２に入力される。Next, the operation will be described. First,
For example, 720 pixels x 480 lines (720 in the horizontal direction)
Image data obtained by dividing an image (image signal) composed of pixels and 480 lines in the vertical direction into blocks of 8 pixels × 8 lines is input to the DCT circuit 2 via the ME 10 and the computing unit 1.
【００２６】なお、この入力される画像データは、例え
ば正方格子状に並んだ画素からなる画像データを千鳥格
子状にサブサンプルしたもの（図９）である。The input image data is, for example, image data composed of pixels arranged in a square lattice pattern, which are subsampled in a zigzag lattice pattern (FIG. 9).
【００２７】ＤＣＴ回路２において、千鳥格子状の画像
データに対して、ＤＣＴ処理が施され、ＤＣＴ係数が出
力される。ＤＣＴ回路２より出力されたデータ（ＤＣＴ
係数）は、量子化回路３に入力され量子化された後、例
えば可変長符号化回路（図示せず）に入力され、ハフマ
ン符号などの可変長符号に変換される。この可変長符号
は、ＭＥ１０より出力される動きベクトルと多重化さ
れ、例えば伝送路（図示せず）などに出力される。In the DCT circuit 2, the zigzag lattice image data is subjected to DCT processing, and DCT coefficients are output. Data output from the DCT circuit 2 (DCT
The coefficient) is input to the quantization circuit 3 and quantized, and then input to, for example, a variable length coding circuit (not shown) and converted into a variable length code such as a Huffman code. This variable length code is multiplexed with the motion vector output from the ME 10 and output to, for example, a transmission path (not shown).
【００２８】量子化回路２で量子化されたデータは、そ
れがＩピクチャ（イントラ符号化画像）またはＰピクチ
ャ（前方予測符号化画像）である場合、逆量子化回路４
に供給され、逆量子化される。逆量子化回路４により逆
量子化されたデータは、さらにＩＤＣＴ回路５に入力さ
れ、ＩＤＣＴ（逆ＤＣＴ）処理される。ＩＤＣＴ回路５
より出力されたデータは、演算器６を介してＦＭ７に供
給され、記憶される。The data quantized by the quantization circuit 2 is an inverse quantization circuit 4 when it is an I picture (intra coded image) or P picture (forward predictive coded image).
And is quantized inversely. The data inversely quantized by the inverse quantization circuit 4 is further input to the IDCT circuit 5 and subjected to IDCT (inverse DCT) processing. IDCT circuit 5
The output data is supplied to the FM 7 via the arithmetic unit 6 and stored therein.
【００２９】一方、ＭＥ１０において、入力された画像
データの動きが検出され、その動きベクトルがＭＣ９に
出力される。ＭＣ９において、ＭＥ１０で検出された動
きベクトルに対応する動き補償が、ＦＭ７に記憶された
画像データに対して施され、その結果得られる予測画像
データが演算器１および６に出力される。On the other hand, the ME 10 detects the motion of the input image data and outputs the motion vector to the MC 9. In MC9, motion compensation corresponding to the motion vector detected in ME10 is performed on the image data stored in FM7, and the resulting predicted image data is output to computing units 1 and 6.
【００３０】演算器２においては、入力された画像デー
タから、ＭＣ９より出力されたデータ（予測画像デー
タ）が減算される。これにより、予測画像（差分をとる
基準となる画像）として時間的に前に位置して既に復号
化されたＩピクチャまたはＰピクチャを使い、Ｐピクチ
ャが生成されたり、または予測画像として時間的に前に
位置し、既に復号化されたＩピクチャまたはＰピクチ
ャ、時間的に後ろに位置する既に復号化されたＩピクチ
ャまたはＰピクチャ、あるいはその両方から作られた補
間画像の３種類の画像を予測画像とするＢピクチャ（両
方向予測符号化画像）が生成される。Ｉピクチャは、Ｍ
Ｃ９からのデータを利用せず、入力された画像データの
みをＤＣＴ回路２に供給した場合に生成されることにな
る。In the arithmetic unit 2, the data (predicted image data) output from the MC 9 is subtracted from the input image data. As a result, a P picture is generated as a predicted image (an image serving as a reference for taking a difference) that has been previously decoded in time, and a P picture is generated, or a predicted image is temporally generated. Predict three types of images: an interpolated image made from a previously-decoded I-picture or P-picture, a temporally-deposited already-decoded I-picture or P-picture, or both A B picture (bidirectional predictive coded image) as an image is generated. I picture is M
It is generated when only the input image data is supplied to the DCT circuit 2 without using the data from C9.
【００３１】また、演算器６においては、ＭＣ９より出
力された動き補償された画像データ（予測画像データ）
と、ＩＤＣＴ回路５より供給されたデータとが加算さ
れ、Ｉピクチャ、ＰピクチャまたはＢピクチャの復号さ
れた画像が生成され、ＦＭ７に供給されて記憶される。
即ち、これにより量子化回路３より出力されたデータと
同一のデータを復号した画像データがＦＭ７に記憶され
ることになる。その結果、このＦＭ７に記憶されたデー
タを利用して、ＰピクチャまたはＢピクチャのデータを
得ることが可能となる。In the arithmetic unit 6, the motion-compensated image data (predicted image data) output from the MC 9 is output.
And the data supplied from the IDCT circuit 5 are added to generate a decoded image of an I picture, a P picture or a B picture, which is supplied to the FM 7 and stored therein.
That is, as a result, the image data obtained by decoding the same data as the data output from the quantization circuit 3 is stored in the FM 7. As a result, it becomes possible to obtain P picture data or B picture data using the data stored in the FM 7.
【００３２】ところで、ＭＥ１０は、千鳥格子状の画像
データから、その画像の水平方向または垂直方向にそれ
ぞれとったｘ軸またはｙ軸に基づいて、動きベクトルＶ
を検出し、ＭＣ９に出力した後、その動きベクトルに所
定の変換処理を施す。By the way, the ME 10 calculates the motion vector V from the zigzag lattice image data based on the x-axis or the y-axis taken in the horizontal direction or the vertical direction of the image, respectively.
Is detected and output to MC9, the motion vector is subjected to predetermined conversion processing.
【００３３】即ち、ＭＥ１０では、図２のフローチャー
トに示すように、まずステップＳ１で千鳥格子状の画像
データから動きベクトルＶ（＝（Ｖx，Ｖy））が検出さ
れ、その後、ステップＳ２に進み、動きベクトルＶのｘ
成分Ｖxおよびｙ成分Ｖyのうちの、例えばｙ成分Ｖyが
偶数であるか奇数であるかが判定される。That is, in the ME 10, as shown in the flow chart of FIG. 2, the motion vector V (= (Vx , Vy )) is first detected from the zigzag lattice image data in step S1, and then step S2 is performed. To x of the motion vector V
Of the component Vx and y component Vy , for example, the y component Vy is determined to be an even number or an odd number.
【００３４】ステップＳ２において、動きベクトルＶの
ｙ成分Ｖyが偶数であると判定された場合、ステップＳ
３に進み、動きベクトルのｙ成分Ｖyでない方の成分、
即ちｘ成分Ｖxが、式 Ｖx'＝Ｖx／２ （１） にしたがって変換され、Ｖx'が動きベクトルのｘ成分と
されてステップＳ５に進む。If it is determined in step S2 that the y component Vy of the motion vector V is an even number, step S
3, the component of the motion vector other than the y component Vy ,
That is, the x component Vx is converted according to the equation Vx ′ = Vx / 2 (1), and Vx ′ is set as the x component of the motion vector, and the process proceeds to step S5.
【００３５】一方、ステップＳ２において、動きベクト
ルＶのｙ成分Ｖyが奇数であると判定された場合、ステ
ップＳ４に進み、動きベクトルのｙ成分Ｖyでない方の
成分、即ちｘ成分Ｖxが、式 Ｖx'＝（Ｖx−１）／２ （２） にしたがって変換され、Ｖx'が動きベクトルのｘ成分と
されてステップＳ５に進む。On the other hand, when it is determined in step S2 that the y component Vy of the motion vector V is an odd number, the process proceeds to step S4 and the component other than the y component Vy of the motion vector, that is, the x component Vx is determined. , Vx ′ = (Vx −1) / 2 (2), and Vx ′ is set as the x component of the motion vector, and the process proceeds to step S5.
【００３６】ステップＳ５において、ベクトル（Ｖx'，
Ｖy）が新たな動きベクトルＶ'として出力され、処理を
終了する。新たな動きベクトルＶ'は、上述したように
可変長符号化された画像データと多重化されて、伝送路
などに出力される。In step S5, the vector (Vx ' ,
Vy ) is output as a new motion vector V ′, and the process ends. The new motion vector V ′ is multiplexed with the image data that has been variable-length coded as described above, and is output to the transmission path or the like.
【００３７】ここで、千鳥格子状の画像データから、例
えば図３（ａ）に示すような動きベクトルＶ（＝（３，
１））が検出された場合、そのｙ成分（Ｖy＝１）は奇
数であるから、ｘ成分（Ｖx＝３）は、式（２）により
１（＝（３−１）／２）に変換される。Here, from the staggered image data, the motion vector V (= (3,
1)) is detected, the y component (Vy = 1) is an odd number, so the x component (Vx = 3) is 1 (= (3-1) / 2) according to the equation (2). Is converted to.
【００３８】即ち、この場合、新たな動きベクトルＶ'
は、（１，１）となり（図３（ｂ））、変換後の動きベ
クトルＶ'のｘ'軸（ｘ'＝・・・，−１，０，１，・・
・）、およびｙ軸（ｙ＝・・・，−１，０，１，・・
・）からなる座標系の格子点（１，１）上のベクトルと
して表現されることになる。That is, in this case, a new motion vector V '
Becomes (1,1) (FIG. 3 (b)), and the x'axis (x '= ...,-1,0,1, ...) Of the converted motion vector V'.
.), And the y-axis (y = ..., -1, 0, 1, ...
・) Will be represented as a vector on the grid point (1, 1) of the coordinate system.
【００３９】千鳥格子状の画像データから検出された動
きベクトルＶが、図３（ａ）に示す他の千鳥格子状の格
子点を示す場合においても、ステップＳ３またはＳ４の
処理によって、変換後の動きベクトルＶ'のｘ'軸（ｘ'
＝・・・，−１，０，１，・・・）、およびｙ軸（ｙ＝
・・・，−１，０，１，・・・）からなる座標系の格子
点（ｘ'，ｙ）上になかった動きベクトルＶが、格子点
（ｘ'，ｙ）上のベクトル（図３（ｂ）中、斜線を付し
た○印を示すベクトル）として表現される。Even if the motion vector V detected from the houndstooth grid image data indicates another houndstooth grid point shown in FIG. 3A, the motion vector V is converted by the processing of step S3 or S4. X'axis of the subsequent motion vector V '(x'
= ..., -1, 0, 1, ..., And y-axis (y =
..., -1, 0, 1, ...), the motion vector V that was not on the grid point (x ', y) of the coordinate system consisting of the vector (Fig. In 3 (b), it is expressed as a vector indicating a circle with a diagonal line.
【００４０】即ち、変換後の動きベクトルＶ'のｘ'軸お
よびｙ軸からなる座標系の格子点（ｘ'，ｙ）上になか
った動きベクトルＶが、ステップＳ３またはＳ４の処理
によって、いわば水平方向にシフトされ（図３（ｂ）に
おいて、太い矢印で示すようにシフトされ）、ｘ'軸お
よびｙ軸からなる座標系の格子点（ｘ'，ｙ）上のベク
トル（図３（ｂ）中、斜線を付した○印を示すベクト
ル）として表現される。In other words, the motion vector V which has not been on the grid point (x ', y) of the coordinate system consisting of the x'axis and the y axis of the converted motion vector V'is, so to speak, processed by step S3 or S4. The vector is shifted in the horizontal direction (shifted as indicated by a thick arrow in FIG. 3 (b)), and the vector (FIG. 3 (b) on the grid point (x ′, y) of the coordinate system including the x ′ axis and the y axis is shifted. ), A vector indicating a circle with a diagonal line).
【００４１】なお、図３（ｂ）においては、ｘ'（ｘ）
≧０且つｙ≧０の範囲における、動きベクトルの変換の
様子を示してある。In FIG. 3B, x '(x)
The state of motion vector conversion in the range of ≧ 0 and y ≧ 0 is shown.
【００４２】以上のように、千鳥格子状の画像データの
動きを示す動きベクトルＶを、式（１）または（２）に
したがって変換することにより、千鳥格子状の位置を示
す動きベクトルＶが、正方格子状の位置を示す動きベク
トルＶ'として表現されるので、表現する必要のない位
置（格子点）がなくなり、動きベクトルの冗長性を削減
することができる。As described above, the motion vector V indicating the movement of the zigzag lattice image data is converted in accordance with the equation (1) or (2) to obtain the motion vector V indicating the zigzag lattice position. Is represented as a motion vector V ′ indicating a square lattice position, there is no position (lattice point) that does not need to be represented, and the redundancy of the motion vector can be reduced.
【００４３】さらに、この場合、変換された動きベクト
ル（ｘ'，ｙ）による動き補償範囲を、例えば｜ｘ'｜≦
３、且つ｜ｙ｜≦３とすると、変換された動きベクトル
（ｘ'，ｙ）は、千鳥格子状の位置（格子点）を、正方
格子状の位置（格子点）として表現するので、動き補償
範囲は、図３（ｂ）に示すように、千鳥格子状の画像デ
ータ（図中、○（白ぬきの○）印で示す画像データ）に
おける、水平方向に１４画素分、且つ垂直方向に７画素
分の範囲（図中、実線で囲まれている範囲）の４９の格
子点の範囲となる。Further, in this case, the motion compensation range by the converted motion vector (x ', y) is defined as, for example, | x' |
3 and | y | ≦ 3, the converted motion vector (x ′, y) expresses the zigzag lattice-like position (lattice point) as a square lattice-like position (lattice point). As shown in FIG. 3B, the motion compensation range is 14 pixels in the horizontal direction and vertically in the staggered image data (image data indicated by ○ (white circle in the figure)). This is a range of 49 grid points in the range of 7 pixels in the direction (the range surrounded by the solid line in the figure).
【００４４】一方、変換前の動きベクトル（ｘ，ｙ）に
よる動き補償範囲も、変換された動きベクトル（ｘ'，
ｙ）における場合と同様に、｜ｘ｜≦３、且つ｜ｙ｜≦
３とすると、それは、図３（ａ）または図３（ｂ）に示
すように、千鳥格子状の画像データにおける、水平方向
に７画素分、且つ垂直方向に７画素分の範囲（図中、点
線で囲まれている範囲）の２５の格子点の範囲となる。On the other hand, the motion compensation range based on the motion vector (x, y) before conversion also includes the converted motion vector (x ',
As in the case of y), | x | ≦ 3 and | y | ≦
3 is a range of 7 pixels in the horizontal direction and 7 pixels in the vertical direction in the houndstooth check image data as shown in FIG. 3A or FIG. , The range surrounded by the dotted line) is the range of 25 grid points.
【００４５】従って、いずれの場合でも、動きベクトル
を表現するのに必要なビット数は、水平方向および垂直
方向とも３ビット（−３乃至３の値）であるのにも関わ
らず、上述したようにして、検出された動きベクトル
を、それが示す画像のサブサンプル点のｙ成分に対応し
て、千鳥格子状にサブサンプルされなかった画像のサン
プル点を示す動きベクトルに変換することにより、動き
補償の範囲を拡大することができる。Therefore, in any case, the number of bits required to represent the motion vector is 3 bits (values from -3 to 3) in the horizontal direction and the vertical direction as described above. Then, by converting the detected motion vector into a motion vector indicating the sample points of the image that are not sub-sampled in a staggered pattern, corresponding to the y component of the sub-sample points of the image indicated by The range of motion compensation can be expanded.
【００４６】即ち、この場合、例えばテレビジョン受像
機で受信される画像において重要な、ビデオカメラのパ
ーンなどによって生じる水平方向の動きに対する動き補
償の性能を向上させることができる。That is, in this case, it is possible to improve the performance of motion compensation for horizontal motion, which is important in an image received by a television receiver, for example, caused by a pan of a video camera.
【００４７】さらに、この結果、演算器１より出力され
る差データを小さくすることができ、画像データの、最
終的な符号量を低減することができるとともに、その復
号画像の画質を向上させることができる。Further, as a result, the difference data output from the arithmetic unit 1 can be reduced, the final code amount of the image data can be reduced, and the image quality of the decoded image can be improved. You can
【００４８】なお、以上のようにして符号化された画像
データを復号する画像復号化装置においては、受信した
動きベクトルＶ'＝（Ｖx'，Ｖy）を、そのｙ成分Ｖyが
偶数であるときには、動きベクトルＶ＝（２Ｖx'，
Ｖy）に変換し、そのｙ成分Ｖyが奇数であるときには、
動きベクトルＶ＝（２Ｖx'＋１，Ｖy）に変換した後、
その動きベクトルＶに対応する動き補償を画像に施すよ
うにすれば良い。[0048] In the image decoding apparatus for decoding image data encoded as described above, the received motion vectorV '= (V x', V y) and the y component Vy is even , The motion vector V = (2Vx ' ,
Vy ), and when the y component Vy is an odd number,
After converting to the motion vector V = (2Vx ' + 1, Vy ),
The motion compensation corresponding to the motion vector V may be applied to the image.
【００４９】また、図２に示すフローチャートにおいて
は、動きベクトルＶのｙ成分Ｖyに対応して、そのｘ成
分Ｖxだけを変換し、水平方向の動き補償範囲を拡大す
るようにしたが、動きベクトルＶのｘ成分Ｖxに対応し
て、そのｙ成分Ｖyだけを変換し、垂直方向の動き補償
範囲を拡大するようにしても良い。Further, in the flowchart shown in FIG. 2, the x component Vx is converted corresponding to the y component Vy of the motion vector V to expand the horizontal motion compensation range. Corresponding to the x component Vx of the motion vector V, only the y component Vy of the motion vector V may be converted to expand the motion compensation range in the vertical direction.
【００５０】次に、前述したように、画像に対する人間
の空間的な視覚特性は、画像の斜め方向の変化に鈍感で
あることから、画像の斜め方向の動き補償の精度を、そ
の水平および垂直方向の精度に比較して粗くすることが
できると考えられる。As described above, since the human spatial visual characteristics of the image are insensitive to the change in the diagonal direction of the image, the accuracy of the motion compensation in the diagonal direction of the image is set to the horizontal and vertical directions. It is thought that it can be roughened compared to the accuracy of the direction.
【００５１】そこで、ＭＥ１０に、検出した動きベクト
ルＶを、例えば図４に示すフローチャートにしたがって
変換させるようにすることができる。Therefore, the ME 10 can be caused to convert the detected motion vector V according to the flowchart shown in FIG. 4, for example.
【００５２】即ち、ステップＳ１１において、千鳥格子
状の画像データから動きベクトルＶ（＝（Ｖx，Ｖy））
が検出され、その後、ステップＳ１２に進み、図５に示
すように、動きベクトル（Ｖx，Ｖy）の座標系（ｘ軸お
よびｙ軸）（図中、点線で示す座標軸）が、例えば−４
５度だけ回転され、動きベクトルＶが、新たな座標系
（ｘ'軸およびｙ'軸）（図中、実線で示す座標軸）の動
きベクトルＶ'（＝（Ｖx'，Ｖy'））に変換される。That is, in step S11, the motion vector V (= (Vx , Vy )) iscalculated from the staggered image data.
Is detected, the process then proceeds to step S12, and as shown in FIG. 5, the coordinate system (x axis and y axis) of the motion vector (Vx , Vy ) (the coordinate axis indicated by the dotted line in the figure) is, for example, − Four
The motion vector V is rotated by 5 degrees, and the motion vector V is a motion vector V '(= (Vx' , Vy ' ) of a new coordinate system (x' axis and y'axis) (coordinate axes shown by solid lines in the figure). Is converted to.
【００５３】即ち、座標軸の格子点すべてが、千鳥格子
状の画像データのサンプル点と一致するように、動きベ
クトルＶ（＝（Ｖx，Ｖy））の座標系（ｘ軸およびｙ
軸）が回転される。That is, the coordinate system (x-axis and y-axis) of the motion vector V (= (Vx , Vy )) is set so that all the grid points on the coordinate axes coincide with the sample points of the staggered grid image data.
Axis) is rotated.
【００５４】これにより、ｘｙ座標系（図中、点線で示
す座標系）においては、千鳥格子状の位置を示す動きベ
クトルＶが、ｘ'ｙ'座標系（図中、実線で示す座標系）
においては、正方格子状の位置を示す動きベクトルＶ'
となるので、表現する必要のない位置（格子点）がなく
なり、動きベクトルの冗長性を削減することができる。As a result, in the xy coordinate system (the coordinate system shown by the dotted line in the figure), the motion vector V indicating the zigzag lattice-shaped position is converted into the x'y 'coordinate system (the coordinate system shown by the solid line in the figure). )
, The motion vector V ′ indicating the position of the square lattice is
Therefore, there is no position (lattice point) that does not need to be expressed, and the redundancy of the motion vector can be reduced.
【００５５】さらに、この場合、回転されたｘ'ｙ'座標
系における動きベクトル（ｘ'，ｙ'）による動き補償範
囲を、例えば｜ｘ'｜≦３、且つ｜ｙ'｜≦３とすると、
この動きベクトル（ｘ'，ｙ'）は、千鳥格子状の位置
（格子点）を、正方格子状の位置（格子点）として表現
するので、動き補償範囲は、図５に示すように、千鳥格
子状の画像データにおける、水平（ｘ'軸）方向に７画
素分、且つ垂直（ｙ'軸）方向に７画素分の範囲（図
中、実線で囲まれている範囲）の４９の格子点の範囲と
なる。Further, in this case, if the motion compensation range by the motion vector (x ', y') in the rotated x'y 'coordinate system is, for example, | x' | ≤3 and | y '| ≤3. ,
This motion vector (x ′, y ′) expresses a zigzag lattice-like position (lattice point) as a square lattice-like position (lattice point), and therefore the motion compensation range is as shown in FIG. In the houndstooth image data, there are 49 pixels in the range of 7 pixels in the horizontal (x 'axis) direction and 7 pixels in the vertical (y' axis) direction (the area surrounded by the solid line in the figure). It is the range of grid points.
【００５６】一方、元のｘｙ座標系における動きベクト
ル（ｘ，ｙ）による動き補償範囲も、回転されたｘ'ｙ'
座標系における動きベクトル（ｘ'，ｙ'）の場合と同様
に、｜ｘ｜≦３、且つ｜ｙ｜≦３とすると、それは、図
５に示すように、千鳥格子状の画像データにおける、水
平（ｘ軸）方向に７画素分、且つ垂直（ｙ軸）方向に７
画素分の範囲（図中、点線で囲まれている範囲）の２５
の格子点の範囲となる。On the other hand, the motion compensation range by the motion vector (x, y) in the original xy coordinate system is also rotated x'y '.
As in the case of the motion vector (x ′, y ′) in the coordinate system, if | x | ≦ 3 and | y | ≦ 3, then in the staggered grid image data, as shown in FIG. , 7 pixels in the horizontal (x-axis) direction and 7 pixels in the vertical (y-axis) direction
25 in the pixel range (the area surrounded by the dotted line in the figure)
It becomes the range of the grid points of.
【００５７】従って、いずれの場合でも、動きベクトル
を表現するのに必要なビット数は、水平方向および垂直
方向とも３ビット（−３乃至３）であるのにも関わら
ず、上述したようにして、検出された動きベクトルの座
標系を回転することにより、動き補償の範囲を拡大する
ことができる。Therefore, in any case, the number of bits required to express the motion vector is 3 bits (-3 to 3) in both the horizontal and vertical directions, but as described above. The range of motion compensation can be expanded by rotating the coordinate system of the detected motion vector.
【００５８】さらに、この結果、演算器１より出力され
る差データを小さくすることができ、画像データの、最
終的な符号量を低減することができるとともに、その復
号画像の画質を向上させることができる。Further, as a result, the difference data output from the arithmetic unit 1 can be reduced, the final code amount of the image data can be reduced, and the image quality of the decoded image can be improved. You can
【００５９】ステップＳ１２で座標系の回転された動き
ベクトル（Ｖx'，Ｖy'）は、ステップＳ１３において新
たな動きベクトルＶ'として出力され、処理を終了す
る。新たな動きベクトルＶ'は、上述したように可変長
符号化された画像データと多重化されて、伝送路などに
出力される。The rotated motion vector (Vx' ,Vy' ) of the coordinate system in step S12 is output as a new motion vector V'in step S13, and the process is terminated. The new motion vector V ′ is multiplexed with the image data that has been variable-length coded as described above, and is output to the transmission path or the like.
【００６０】なお、以上のようにして符号化された画像
データを復号する画像復号化装置においては、受信した
動きベクトルＶ'＝（Ｖx'，Ｖy'）の座標系を４５度だ
け回転し、その座標系における動きベクトルＶに対応す
る動き補償を画像に施すようにすれば良い。In the image decoding apparatus for decoding the image data encoded as described above, the coordinate system of the received motion vector V '= (Vx' ,Vy ') is rotated by 45 degrees. Then, the motion compensation corresponding to the motion vector V in the coordinate system may be applied to the image.
【００６１】また、図４に示すフローチャートにおいて
は、動きベクトルＶの座標系を−４５度だけ回転するよ
うにしたが、これに限らず、例えば４５×ｎ（ｎは０で
ない整数）度だけ回転するようにすることができる。Further, in the flowchart shown in FIG. 4, the coordinate system of the motion vector V is rotated by -45 degrees, but not limited to this, for example, rotated by 45 × n (n is an integer other than 0) degrees. You can
【００６２】さらに、図４に示すフローチャートにおい
ては、動きベクトルを検出してから、その座標系を回転
するようにしたが、画像の座標系をあらかじめ回転して
おき、動きベクトルを検出するようにしても良い。Further, in the flowchart shown in FIG. 4, the coordinate system is rotated after the motion vector is detected. However, the coordinate system of the image is rotated in advance to detect the motion vector. May be.
【００６３】[0063]
【発明の効果】以上の如く、本発明の動きベクトルの変
換方法によれば、動きベクトルが示す画像のサブサンプ
ル点に対応して、動きベクトルを、千鳥格子状にサブサ
ンプルされなかった画像のサンプル点を示す動きベクト
ルに変換する。従って、動きベクトルの冗長性を削減す
ることができる。As described above, according to the motion vector conversion method of the present invention, the motion vector corresponding to the sub-sampling point of the image indicated by the motion vector is an image that is not sub-sampled in a staggered pattern. It is converted into a motion vector indicating the sample point of. Therefore, the redundancy of the motion vector can be reduced.
【００６４】さらに、本発明の動きベクトルの変換方法
によれば、動きベクトルが示す画像のサンプル点に対応
して、動きベクトルを、千鳥格子状にサブサンプルされ
た画像のサブサンプル点を示す動きベクトルに変換す
る。従って、動きベクトルが示す画像のサブサンプル点
に対応して、千鳥格子状にサブサンプルされなかった画
像のサンプル点を示す動きベクトルに変換された動きベ
クトルを、元の動きベクトルに戻すことができる。Furthermore, according to the motion vector conversion method of the present invention, the motion vector is subsampled in a houndstooth check pattern corresponding to the sample point of the image indicated by the motion vector. Convert to motion vector. Therefore, the motion vector converted into the motion vector indicating the sample points of the image that is not sub-sampled in a staggered pattern corresponding to the sub-sample point of the image indicated by the motion vector can be returned to the original motion vector. it can.
【００６５】また、本発明の動きベクトルの変換方法に
よれば、千鳥格子状にサブサンプルされた画像の動きベ
クトルの座標系を所定の角度だけ回転する。従って、動
きベクトルの冗長性を削減することができるとともに、
回転された動きベクトルの座標系を元の座標系に戻すこ
とができる。Further, according to the motion vector conversion method of the present invention, the coordinate system of the motion vector of the image subsampled in the zigzag pattern is rotated by a predetermined angle. Therefore, the redundancy of the motion vector can be reduced, and
The coordinate system of the rotated motion vector can be returned to the original coordinate system.
【００６６】本発明の動きベクトルの検出方法によれ
ば、千鳥格子状にサブサンプルされた画像の座標系を所
定の角度だけ回転し、所定の角度だけ回転した画像の座
標系における、画像の動きベクトルを検出する。従っ
て、動きベクトルの冗長性を削減することができる。According to the motion vector detecting method of the present invention, the coordinate system of the image subsampled in the zigzag pattern is rotated by a predetermined angle, and the image of the image in the coordinate system of the image rotated by the predetermined angle is rotated. Detect a motion vector. Therefore, the redundancy of the motion vector can be reduced.
【図１】本発明の動きベクトルの変換方法によって、画
像の動きベクトルを変換する画像符号化装置の一実施例
の構成を示すブロック図である。FIG. 1 is a block diagram showing a configuration of an embodiment of an image coding apparatus for converting a motion vector of an image by a motion vector conversion method of the present invention.
【図２】図１の実施例の動き検出回路１０の動作を説明
するフローチャートである。FIG. 2 is a flowchart illustrating an operation of the motion detection circuit 10 according to the embodiment of FIG.
【図３】本発明の動きベクトルの変換方法による、動き
ベクトルの変換を説明するための図である。[Fig. 3] Fig. 3 is a diagram for explaining conversion of a motion vector according to the motion vector conversion method of the present invention.
【図４】図１の実施例の動き検出回路１０の動作を説明
するフローチャートである。FIG. 4 is a flowchart illustrating an operation of the motion detection circuit 10 according to the embodiment of FIG.
【図５】本発明の動きベクトルの変換方法による、動き
ベクトルの変換を説明するための図である。[Fig. 5] Fig. 5 is a diagram for explaining conversion of a motion vector according to the motion vector conversion method of the present invention.
【図６】千鳥格子状にサブサンプルされた画像データの
生成方法を説明するための図である。FIG. 6 is a diagram illustrating a method of generating image data subsampled in a staggered pattern.
【図７】動きベクトルの検出方法を説明するための図で
ある。FIG. 7 is a diagram for explaining a method of detecting a motion vector.
【図８】正方格子状に並んだ画素からなる画像データの
動きを示す動きベクトルＶを示す図である。FIG. 8 is a diagram showing a motion vector V indicating the motion of image data composed of pixels arranged in a square lattice.
【図９】千鳥格子状にサブサンプルされた画像データを
示す図である。FIG. 9 is a diagram showing image data subsampled in a staggered pattern.
１ 演算器 ２ ＤＣＴ回路 ３ 量子化回路 ４ 逆量子化回路 ５ ＩＤＣＴ回路 ６ 演算器 ７ フレームメモリ ８ 動き検出補償部 ９ 動き補償回路（ＭＣ） １０ 動き検出回路（ＭＥ） １１ ２次元フィルタ １２ サブサンプラ 1 calculator 2 DCT circuit 3 quantizer 4 inverse quantizer 5 IDCT circuit 6 calculator 7 frame memory 8 motion detection compensator 9 motion compensation circuit (MC) 10 motion detection circuit (ME) 11 two-dimensional filter 12 subsampler
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35296192AJPH06181570A (en) | 1992-12-11 | 1992-12-11 | Trasforming and detecting methods for motion vector |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35296192AJPH06181570A (en) | 1992-12-11 | 1992-12-11 | Trasforming and detecting methods for motion vector |
| Publication Number | Publication Date |
|---|---|
| JPH06181570Atrue JPH06181570A (en) | 1994-06-28 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP35296192AWithdrawnJPH06181570A (en) | 1992-12-11 | 1992-12-11 | Trasforming and detecting methods for motion vector |
| Country | Link |
|---|---|
| JP (1) | JPH06181570A (en) |
| Publication | Publication Date | Title |
|---|---|---|
| US6148027A (en) | Method and apparatus for performing hierarchical motion estimation using nonlinear pyramid | |
| JP2744871B2 (en) | Image signal encoding method and image signal encoding device | |
| US6310919B1 (en) | Method and apparatus for adaptively scaling motion vector information in an information stream decoder | |
| JP4319352B2 (en) | Scaling compressed image | |
| EP0720374A1 (en) | Apparatus for parallel decoding of digital video signals | |
| EP1091592A2 (en) | Video signal encoding apparatus | |
| JPH05115061A (en) | Motion vector coder and decoder | |
| US7145953B2 (en) | Filtering method and apparatus for removing blocking artifacts and/or ringing noise | |
| EP1158806A1 (en) | Motion vector coding | |
| US6016365A (en) | Decoder having adaptive function of eliminating block effect | |
| JPH089375A (en) | Inverse discrete cosine transformation anticoincidence controller and picture encoding device | |
| US7139315B2 (en) | Apparatus and process for decoding motion pictures | |
| JPH07274181A (en) | Video signal coding system | |
| KR100366382B1 (en) | Apparatus and method for coding moving picture | |
| US20060146932A1 (en) | Method and apparatus for providing motion estimation with weight prediction | |
| EP0720372A1 (en) | Apparatus for parallel encoding/decoding of digital video signals | |
| CN1137211A (en) | Improved motion compensation method for use in image encoding system | |
| JPH07336684A (en) | Image signal decoding device | |
| JPH0984024A (en) | Video signal encoder | |
| JPH06181570A (en) | Trasforming and detecting methods for motion vector | |
| JPH10126794A (en) | Compressor for image signal between motion prediction frames | |
| JP3862479B2 (en) | How to prevent drift errors in video downconversion | |
| JP2008512023A (en) | Method and apparatus for motion prediction | |
| JPH06105299A (en) | Video compression device | |
| KR100657714B1 (en) | Image Data Encoding Method Using 3D Scanning |
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination | Free format text:JAPANESE INTERMEDIATE CODE: A300 Effective date:20000307 |