JP2010501127A - System and method for motion compensated image rate converter - Google Patents

Abstract

Translated fromJapanese

入力信号の時間的に隣接するフレーム対間のグローバル動きおよびローカル動きを推定して、これら動きベクトルを適用して、これら隣接するフレーム間に補間、および動き補償されたフレームを少なくとも１枚生成するシステムおよび方法が開示される。特に、システムおよび方法は、グローバルアフィン動き推定エンジン、グローバル並進動き推定エンジン、セグメンテーションマスクジェネレータ、オブジェクトエッジ強さマップジェネレータ、およびローカル動き推定エンジンを含む動き補償フレームレートコンバータについての設計を有する。これらフィーチャの組み合わせを、動き補償画像レートコンバータに実装して、フレームシーケンスの動き推定および補償を正確且つ効率的に行う。
【選択図】 図１Estimate global and local motion between pairs of temporally adjacent frames of the input signal and apply these motion vectors to generate at least one interpolated and motion compensated frame between these adjacent frames Systems and methods are disclosed. In particular, the system and method have a design for a motion compensated frame rate converter that includes a global affine motion estimation engine, a global translational motion estimation engine, a segmentation mask generator, an object edge strength map generator, and a local motion estimation engine. The combination of these features is implemented in a motion compensated image rate converter for accurate and efficient motion estimation and compensation of the frame sequence.
[Selection] Figure 1

Description

Translated fromJapanese

本願は、米国連邦法典３５セクション１１９（ｅ）に基づき２００６年６月２７日出願の米国仮出願番号第６０／８１７，０６１の恩恵を享受しており、この出願の開示の全体をここに参照として組み込む。  This application enjoys the benefit of US Provisional Application No. 60 / 817,061, filed June 27, 2006, under 35 USC 35 section 119 (e), the entire disclosure of which is hereby incorporated by reference. Incorporate as.

典型的な映画は、２４Ｈｚ、２５Ｈｚ、または３０Ｈｚで記録される。通常のビデオカメラの画像レートは、５０Ｈｚおよび６０Ｈｚである。これらに対して、市販のテレビディスプレイは、１２０Ｈｚまでの画像レートを有し、順次走査またはインターレース走査いずれかを利用する。故に、ハイエンドのＴＶディスプレイを用いて放送ビデオをインタフェースしようとすると、例えば画像レートコンバータなどを用いて放送ビデオの本来のシーケンスをアップコンバートする必要がある。画像レートコンバータの動作は典型的に、低周波数のソースであるデバイスからのフレームシーケンスが高周波のあて先ディスプレイに登録される前の時間インスタンスで画像フレームを補間する、というものである。  A typical movie is recorded at 24 Hz, 25 Hz, or 30 Hz. Typical video camera image rates are 50 Hz and 60 Hz. In contrast, commercial television displays have image rates up to 120 Hz and utilize either sequential scanning or interlaced scanning. Therefore, when attempting to interface broadcast video using a high-end TV display, it is necessary to upconvert the original sequence of broadcast video using, for example, an image rate converter. The operation of an image rate converter is typically to interpolate an image frame at a time instance before a frame sequence from a device that is a low frequency source is registered in a high frequency destination display.

単純な画像レートコンバータにおいては、画像はしばしば、次の画像がソースであるデバイスから届くまでの間、あて先のディスプレイにおいて繰り返されるので、動きが生じると、ぼけ（blur）および激しい振動（judder）を生じる場合がしばしばある。動き推定回路および動き補償回路を画像レートコンバータで利用すると、これら望ましくない効果を低減し、動画シーケンスを高性能に変換することができる。動き補償は、補間された画像のエレメントがどこにあるかを、該エレメントの動きの方向および速度に基づいて推定することで行われる。その後、方向および速度の値は、動きベクトルとして表され、エレメントを新たに補間したフレームの正しい位置に「動かす」のに利用される。この手法を適切に適用することで、動きを伴う任意の画像シーケンスへの影響は一目瞭然であり、生成画像はアップコンバージョン前の本来のシーケンスと見分けがつかないまでになる。  In a simple image rate converter, the image is often repeated on the destination display until the next image arrives from the source device, so that when motion occurs, blur and intense judder will occur. It often happens. When the motion estimation circuit and the motion compensation circuit are used in an image rate converter, these undesirable effects can be reduced and a moving image sequence can be converted to high performance. Motion compensation is performed by estimating where an interpolated image element is based on the direction and speed of the motion of the element. The direction and velocity values are then represented as motion vectors and are used to “move” the element to the correct position in the newly interpolated frame. By appropriately applying this method, the effect on an arbitrary image sequence accompanied by motion is obvious, and the generated image cannot be distinguished from the original sequence before up-conversion.

故に、動き補償された画像レート変換に伴う計算コストを最小限に抑え、その推定精度を最大化する方法およびシステムを決定することが望ましい。例えば、様々な動き補償法を、動き補償効率性と、結果生じる補間されたフレームの精度との間の平衡を保つべく、ソースであるフレームのシーケンス内の異なる領域に対して設計および適用してよい。さらに、この効率性と精度との間の平衡を達成すべく動き補償法自身を個々に最適化してよい。加えて、動き補償画像レートコンバータのシステムアーキテクチャ全体を、該アーキテクチャを様々なディスプレイデバイスに準拠させることで、汎用性を高めるよう設計することができる。  Therefore, it is desirable to determine a method and system that minimizes the computational cost associated with motion compensated image rate conversion and maximizes its estimation accuracy. For example, various motion compensation methods can be designed and applied to different regions in the source frame sequence to balance the motion compensation efficiency and the accuracy of the resulting interpolated frame. Good. Furthermore, the motion compensation method itself may be individually optimized to achieve this balance between efficiency and accuracy. In addition, the entire system architecture of the motion compensated image rate converter can be designed to increase versatility by making the architecture compliant with various display devices.

本発明は、入力信号の時間的に隣接するフレーム対間のグローバル動きおよびローカル動きを推定して、これら動きベクトルを適用して、これら隣接するフレーム間に補間、および動き補償されたフレームを少なくとも１枚生成するシステムおよび方法に関する。  The present invention estimates global and local motion between pairs of temporally adjacent frames of the input signal and applies these motion vectors to at least interpolate and motion compensated frames between these adjacent frames. The present invention relates to a system and method for generating one sheet.

本発明の一側面によると、動き補償画像レートコンバータ（ＭＣＰＲＣ）を提供して、入力信号の連続フレーム間のオブジェクト動きを推定する。先ず、信号をＭＣＰＲＣの処理モジュールで処理して、フレームの重要な領域を隔離する。そして、ＭＣＰＲＣの動き補償フレームレートコンバータ（ＭＣＦＲＣ）を利用して、アフィン動きパラメータ一式を利用して任意の二つの連続フレーム間のグローバル動きを推定する。さらに、ＭＣＦＲＣは、動きベクトル一式を利用してフレーム間のローカル動きを推定し、ここで、各動きベクトルはローカル動きベクトルまたは補正グローバル動きベクトルのいずれかである。  According to one aspect of the invention, a motion compensated image rate converter (MCPRC) is provided to estimate object motion between successive frames of the input signal. First, the signal is processed by the MCPRC processing module to isolate important areas of the frame. Then, the global motion between any two consecutive frames is estimated using a set of affine motion parameters using the MCPRC motion compensation frame rate converter (MCFRC). In addition, MCFRC uses a set of motion vectors to estimate local motion between frames, where each motion vector is either a local motion vector or a corrected global motion vector.

一実施形態においては、ＭＣＦＲＣは、２段処理によりアフィン動きパラメータ一式を生成するグローバルアフィン動き推定エンジンを含む。特に、グローバル並進推定・アフィン予測モジュールを提供して、パラメータをアフィンパラメータリファインモジュールでリファインする前に、粗いレベルのパラメータ推定を生成してよい。  In one embodiment, the MCFRC includes a global affine motion estimation engine that generates a set of affine motion parameters in a two-stage process. In particular, a global translation estimation and affine prediction module may be provided to generate a coarse level parameter estimation before refining parameters with the affine parameter refinement module.

一実施形態においては、ＭＣＦＲＣのローカル動き補正モジュールを利用して、参照フレームの対象領域に隣接する隣接領域を特定することで、現在のフレームの対象領域について動きベクトルを生成する。対象領域の動きベクトルは、その後、参照フレームについて計算した隣接領域の動きベクトルに基づいて計算されうる。結果生じる動きベクトルは、ローカル動きベクトルである。  In one embodiment, a motion vector is generated for the target region of the current frame by identifying an adjacent region adjacent to the target region of the reference frame using the local motion compensation module of the MCFRC. The motion vector of the target region can then be calculated based on the motion vector of the adjacent region calculated for the reference frame. The resulting motion vector is a local motion vector.

一実施形態においては、ＭＣＦＲＣのローカル動き補正モジュールを利用して、対象領域に隣接する隣接領域について計算したアフィン動きパラメータに基づいて、現在のフレームの対象領域について動きベクトルを生成する。結果生じる動きベクトルは、補正グローバル動きベクトルである。  In one embodiment, the MCFRC local motion compensation module is used to generate a motion vector for the target region of the current frame based on affine motion parameters calculated for adjacent regions adjacent to the target region. The resulting motion vector is a corrected global motion vector.

一実施形態においては、エッジマスクとセグメンテーションマスクとの組み合わせを利用して、現在のフレームの前景領域を決定して、ローカル動きベクトルまたは補正グローバル動きベクトルのいずれかを利用して動き補償を行う。これら２つのベクトル間の選択は、二つのベクトルの各々を対象領域に適用した結果生成される推定エラーに基づいて行われてよい。  In one embodiment, a combination of an edge mask and a segmentation mask is used to determine the foreground region of the current frame, and motion compensation is performed using either a local motion vector or a corrected global motion vector. The selection between these two vectors may be performed based on an estimation error generated as a result of applying each of the two vectors to the target region.

本発明の別の側面においては、グローバルアフィン動き推定エンジンのグローバル並進・推定モジュールを提供して、現在のフレームと参照フレームとの間のグローバル並進動きを推定する。このモジュールは、フレーム間のグローバル並進動きを粗く推定するアフィンパラメータ一式を生成する位相相関技術の利用により、動作する。位相相関技術では、先ず、特定のデシメーションファクタにより、現在のフレームおよび参照フレームそれぞれをディメーションする。結果生じるデシメーションされた現在のフレームおよび参照フレームは、その後フーリエ変換される。変換された現在のフレームに対応する位相は、その後、変換された参照フレームに対応する位相から減算されて、位相差アレイが生成される。この位相差アレイの指数をその後、逆フーリエ変換して、相関面を生成する。相関面の最大値および相関面における最大値の位置を利用して、グローバル並進動きに関するアフィンパラメータを計算してよい。  In another aspect of the invention, a global translation and estimation module of a global affine motion estimation engine is provided to estimate global translation motion between a current frame and a reference frame. This module operates by utilizing a phase correlation technique that generates a set of affine parameters that roughly estimate the global translational motion between frames. In the phase correlation technique, first, each of the current frame and the reference frame is decimated by a specific decimation factor. The resulting decimated current frame and reference frame are then Fourier transformed. The phase corresponding to the converted current frame is then subtracted from the phase corresponding to the converted reference frame to generate a phase difference array. The exponent of this phase difference array is then inverse Fourier transformed to generate a correlation surface. The maximum value of the correlation surface and the position of the maximum value on the correlation surface may be used to calculate affine parameters for global translational motion.

この粗いレベルの推定から生成されるアフィンパラメータは、さらに、グローバルアフィン動き推定エンジンのアフィンパラメータリファインモジュールでリファインされる。このモジュールは、先ず粗いレベルの推定から得られたアフィンパラメータを利用して参照フレームを更新することに基づくリファイン技術を利用する。その後、更新された参照フレームと現在のフレームとの間の差を求めて、これをアフィンパラメータリファインに利用して、更新された参照フレームと現在のフレームとの間の差を最小限に抑える。  The affine parameters generated from this coarse level estimation are further refined by the affine parameter refinement module of the global affine motion estimation engine. This module uses a refinement technique based on updating the reference frame first using the affine parameters obtained from the coarse level estimation. A difference between the updated reference frame and the current frame is then determined and used for affine parameter refinement to minimize the difference between the updated reference frame and the current frame.

本発明の別の側面によると、ＭＣＦＲＣのローカル動き補正モジュールが提供され、現在のフレームの対象領域の動きベクトルを計算する。このモジュールにおいて行われる計算は、グローバルアフィン動き推定モジュールから求めたグローバルアフィン動きパラメータ一式に基づく。特に、アフィンパラメータを利用してセグメンテーションマスクを生成することで、現在のフレームの前景領域および背景領域を特定する。そして、オブジェクトエッジ強さマップを生成して、現在のフレーム上の大きなエッジ強さを有する領域を特定する。続いて、対象領域に関する前景領域、背景領域、および大きなエッジ強さを有する領域に基づいて現在のフレームの対象領域について適切な動き推定法を選択する。  According to another aspect of the present invention, an MCFRC local motion compensation module is provided to calculate a motion vector of a current region of interest. The calculations performed in this module are based on a set of global affine motion parameters determined from the global affine motion estimation module. In particular, the foreground region and the background region of the current frame are specified by generating a segmentation mask using affine parameters. Then, an object edge strength map is generated to identify a region having a large edge strength on the current frame. Subsequently, an appropriate motion estimation method is selected for the target region of the current frame based on the foreground region, background region, and region having a large edge strength for the target region.

一実施形態においては、動き推定法は、補正グローバル動き推定法およびローカル動き推定法のいずれかである。  In one embodiment, the motion estimation method is either a corrected global motion estimation method or a local motion estimation method.

一実施形態においては、セグメンテーションマスクは、先ず、アフィンパラメータを利用して参照フレームを更新することで生成される。そして、更新された参照フレームと現在のフレームとの間の差異フレームを求める。差異フレームの各領域を、その後、閾値と比較して、この領域を前景領域および背景領域のいずれかに分類する。  In one embodiment, the segmentation mask is generated by first updating the reference frame using affine parameters. Then, a difference frame between the updated reference frame and the current frame is obtained. Each region of the difference frame is then compared to a threshold value and the region is classified as either a foreground region or a background region.

一実施形態においては、このセグメンテーションマスクは、さらに第２処理でリファインされて、最終セグメンテーションマスクが生成される。この処理は、先ず、少なくとも２つの接続された領域を有する最初のセグメンテーションマスク上のオブジェクトを決定することを含む。その後、各特定されたオブジェクトが占める面積を数量化する。続いて、各数量化された面積を閾値と比較して、オブジェクトの接続された領域各々を、前景領域および背景領域のいずれかに再分類する。  In one embodiment, this segmentation mask is further refined in a second process to produce a final segmentation mask. This process first involves determining an object on the first segmentation mask having at least two connected regions. Thereafter, the area occupied by each identified object is quantified. Subsequently, each quantified area is compared with a threshold value, and each connected region of the object is reclassified as either a foreground region or a background region.

一実施形態においては、先ず、現在のフレームの各領域の垂直方向および水平方向に相関する１以上の固有値を生成することで、オブジェクトエッジ強さマップを生成する。固有値の最大値を次に決定する。最大値が画定する範囲に実質的に在る固有値を有する各領域を、重要なエッジ強さを有するものとして分類する。  In one embodiment, the object edge strength map is generated by first generating one or more eigenvalues that correlate in the vertical and horizontal directions of each region of the current frame. The maximum eigenvalue is then determined. Each region having an eigenvalue that is substantially in the range defined by the maximum value is classified as having an important edge strength.

一実施形態においては、メジアンフィルタ、エッジフィルタ、およびガウスフィルタのうち少なくとも１つを、対象領域について生成された動きベクトルに適用する。  In one embodiment, at least one of a median filter, an edge filter, and a Gaussian filter is applied to the motion vector generated for the region of interest.

一実施形態においては、各々グローバルアフィン動きベクトル、ローカル動きベクトル、または補正グローバル動きベクトルである、ＭＣＦＲＣで生成された動きベクトルを利用して、現在のフレームと参照フレームとの間に動き補償されたフレームを補間する。  In one embodiment, motion compensated between the current frame and the reference frame using motion vectors generated by MCFRC, each of which is a global affine motion vector, a local motion vector, or a corrected global motion vector. Interpolate frames.

本発明の別の側面によると、ＭＣＰＲＣは、ＭＣＦＲＣの出力信号を処理する後処理モジュールを含み、ここで出力信号は、入力信号の本来のフレームレートより高いフレームレートを有する。  According to another aspect of the present invention, the MCPRC includes a post-processing module that processes the output signal of the MCFRC, where the output signal has a frame rate that is higher than the original frame rate of the input signal.

一実施形態においては、後処理モジュールは、処理モジュールとＭＣＦＲＣとの間に配置され、処理モジュールからの信号をさらに処理する。加えて、後処理モジュールの出力信号を、入力信号の本来のフレームレートと略等しいフレームレートを有するよう適合させる。  In one embodiment, the post-processing module is disposed between the processing module and the MCFRC and further processes signals from the processing module. In addition, the output signal of the post-processing module is adapted to have a frame rate that is approximately equal to the original frame rate of the input signal.

一実施形態においては、処理モジュールは、ノイズ低減およびデインターレースの少なくともいずれかを行う回路を有する。後処理モジュールは、フレーム画像スケーリング、強調および色管理の少なくともいずれかを行う回路を有する。  In one embodiment, the processing module has circuitry that performs noise reduction and / or deinterlacing. The post-processing module has a circuit that performs at least one of frame image scaling, enhancement, and color management.

本発明による、動き補償画像レートコンバータ（ＭＣＰＲＣ）回路の一例示的実施形態を示す。3 illustrates one exemplary embodiment of a motion compensated image rate converter (MCPRC) circuit according to the present invention.

本発明によるＭＣＰＲＣの別の例示的実施形態を示す。4 shows another exemplary embodiment of MCPRC according to the present invention.

図１および２の動き補償フレームレートコンバータ（ＭＣＦＲＣ）モジュールの例示的ブロック図を示す。3 shows an exemplary block diagram of the motion compensated frame rate converter (MCFRC) module of FIGS.

図３のグローバルアフィン動き推定機能の例示的ブロック図を示す。FIG. 4 shows an exemplary block diagram of the global affine motion estimation function of FIG. 3.

図４のグローバル並進推定機能の例示的実装例を示す。5 illustrates an exemplary implementation of the global translation estimation function of FIG.

図４の高速フーリエ変換（ＦＦＴ）機能の例示的実装例を示す。5 illustrates an exemplary implementation of the Fast Fourier Transform (FFT) function of FIG.

図５の位相計算機能の例示的ブロック図を示す。FIG. 6 shows an exemplary block diagram of the phase calculation function of FIG.

最初のセグメンテーションマスクを計算する例示的ブロック図を示す。FIG. 4 shows an exemplary block diagram for calculating an initial segmentation mask.

最終のセグメンテーションマスクを計算する例示的ブロック図を示す。FIG. 4 shows an exemplary block diagram for calculating a final segmentation mask.

オブジェクトエッジマップを計算する例示的ブロック図を示す。FIG. 4 shows an exemplary block diagram for calculating an object edge map.

図１０の固有値計算機能の例示的ブロック図を示す。FIG. 11 shows an exemplary block diagram of the eigenvalue calculation function of FIG. 10.

ローカル動き補償法および補正グローバル動き法を実装する例示的な方法を示す。Fig. 4 illustrates an exemplary method for implementing a local motion compensation method and a corrected global motion method.

フレーム対の間に動きベクトルを生成するのに適切な動き補償法を選択する例示的なフロー図を示す。FIG. 4 shows an exemplary flow diagram for selecting an appropriate motion compensation method to generate a motion vector between frame pairs.

図１３の手順から計算されるローカル動きベクトルを後処理する例示的ブロック図を示す。FIG. 14 shows an exemplary block diagram for post-processing local motion vectors calculated from the procedure of FIG.

図３の動き補償補間機能の例示的ブロック図を示す。Fig. 4 shows an exemplary block diagram of the motion compensated interpolation function of Fig. 3;

開示された技術を利用することのできる例示的高精細テレビのブロック図を示す。FIG. 4 shows a block diagram of an exemplary high definition television that can utilize the disclosed techniques.

開示された技術を利用することのできる例示的車両のブロック図を示す。FIG. 4 shows a block diagram of an exemplary vehicle that can utilize the disclosed techniques.

開示された技術を利用することのできる例示的携帯電話機のブロック図を示す。FIG. 5 shows a block diagram of an exemplary mobile phone that can utilize the disclosed technology.

開示された技術を利用することのできる例示的セットトップボックスのブロック図を示す。FIG. 4 shows a block diagram of an exemplary set top box that can utilize the disclosed techniques.

開示された技術を利用することのできる例示的メディアプレーヤのブロック図を示す。FIG. 4 shows a block diagram of an exemplary media player that can utilize the disclosed techniques.

図１は、本発明の一側面による、動き補償画像レートコンバータ（ＭＣＰＲＣ）回路１００の高レベル図である。入力信号１０２は、ビデオフレームの離散シーケンスを有しており、ＭＣＰＲＣ回路１００に入力され、ＭＣＰＲＣ回路は、アップコンバートされ動き補償された出力信号１２８を、ＭＣＰＲＣ回路１００のモジュール１０４、１０８、１１２、および１１６を介して生成する。ＭＣＰＲＣ回路１００の各モジュールを以下で説明する。アップコンバートの後、ＭＣＰＲＣ回路１００からの出力信号１２８は入力信号１０２のフレームレートより典型的に非常に高いフレームレートを有する。例えば、入力ビデオ信号１０２は、６０Ｈｚの画像レートを有するビデオカメラから生成されてよい。ビデオ信号は、例えば１２０Ｈｚのリフレッシュレートを有するＬＣＤパネルディスプレイ上の出力に適した形にすべく、ＭＣＰＲＣ回路１００を利用してアップコンバートされる必要がありうる。一般的には、フレームレートのアップコンバートは、所定の数の固有フレームを時間的に隣接した入力フレームの各対間に注入することで達成される。これらの介在フレームは、フレーム間のオブジェクトの動作軌跡を実質的に捉えるように作成されてよく、これによりアップコンバートの後でディスプレイされる際のビデオ画像シーケンス全体の滑らかさを高める。  FIG. 1 is a high level diagram of a motion compensated image rate converter (MCPRC)circuit 100 according to one aspect of the present invention. Theinput signal 102 has a discrete sequence of video frames and is input to theMCPRC circuit 100, which converts the upconverted and motion compensated output signal 128 into themodules 104, 108, 112, And 116. Each module of theMCPRC circuit 100 will be described below. After up-conversion, the output signal 128 from theMCPRC circuit 100 has a frame rate that is typically much higher than the frame rate of theinput signal 102. For example, theinput video signal 102 may be generated from a video camera having an image rate of 60 Hz. The video signal may need to be upconverted using theMCPRC circuit 100 to be in a form suitable for output on an LCD panel display having a 120 Hz refresh rate, for example. In general, frame rate up-conversion is achieved by injecting a predetermined number of unique frames between each pair of temporally adjacent input frames. These intervening frames may be created to substantially capture the motion trajectory of the object between frames, thereby increasing the smoothness of the entire video image sequence when displayed after up-conversion.

図１を参照すると、入力信号１０２は先ずフロントエンドモジュール１０４でダウンコンバートおよび復調処理を受ける。このフロントエンドモジュール１０４は、チューナ、デモジュレータ、コンバータ、コーデック、アナログビデオデコーダ等の部材を含みうる。フロントエンドモジュール１０４からの出力１０６は、その後、下流のノイズ低減およびデインターレースモジュール１０８へ渡され、そこでは、信号１０６を、本来のインタレース走査に基づく形式から、高品質な順次走査出力１１０へ変換し、且つ、ブロックノイズおよびモスキートノイズなどのアナログノイズおよび補償アーチファクトを大幅に低減させる。結果生じる順次走査出力１１０は動き補償されたフレームレート変換（ＭＣＦＲＣ）モジュール１１２へ供給され、そこでは動き補償され補間されたフレームを生成してビデオ出力シーケンス１１４が生成される。ビデオ出力シーケンス１１４は、元々の入力信号１０２の本来のフレームレートより高いフレームレートを有してよい。ＭＣＦＲＣモジュール１１２の動作の詳細を以下で詳述する。アップコンバートされたビデオ出力１１４は、その後、後処理モジュール１１６により処理され、典型的にデジタルビデオパイプラインに存在するスケーリング、エッジ強さ、色管理、画像制御などの追加的な強化機能がビデオ信号１１４に授受される。  Referring to FIG. 1, theinput signal 102 is first subjected to down-conversion and demodulation processing in thefront end module 104. Thefront end module 104 may include members such as a tuner, a demodulator, a converter, a codec, and an analog video decoder. Theoutput 106 from thefront end module 104 is then passed to a downstream noise reduction anddeinterlacing module 108 where thesignal 106 is from a format based on the original interlaced scan to a high qualityprogressive scan output 110. Transform and significantly reduce analog noise and compensation artifacts such as block noise and mosquito noise. The resultingprogressive scan output 110 is fed to a motion compensated frame rate conversion (MCCFC)module 112, which produces motion compensated interpolated frames to produce a video output sequence 114. The video output sequence 114 may have a frame rate that is higher than the original frame rate of theoriginal input signal 102. Details of the operation of theMCFRC module 112 are described in detail below. The upconverted video output 114 is then processed by thepost-processing module 116, and additional enhancements such as scaling, edge strength, color management, image control, etc., typically present in digital video pipelines are added to the video signal. 114.

幾らかの実施形態においては、図１に示す全ＭＣＰＲＣアーキテクチャが単一のチップ上に実装されてもよい。一つの例示的構造においては、このＭＣＰＲＣチップはテレビ回路に組み込まれてもよく、テレビ回路から、ＭＣＰＲＣチップのアップコンバートおよび後処理された出力１２８が外部のビデオディスプレイパネルへ送信される。しかし、後処理モジュール１１６が処理パイプラインから切り離され、その代わりにディスプレイパネルに組み込まれている場合、ＭＣＰＲＣシステム１００の利用性が厳しく制限されることになる。これは、チップからＬＣＤディスプレイに送信される際、信号１１４が入力信号１０２の本来のフレームレートより非常に高い帯域幅を占めるからである。多くの場合、テレビ回路がＬＣＤディスプレイと通信できるような、整合高帯域幅インタフェースを見つけることはできない。しかし、ＭＣＰＲＣアーキテクチャ１００を単一チップにカプセル化すると、システム１００の様々な部材間で情報交換が促進されるという利点がある。  In some embodiments, the entire MCPRC architecture shown in FIG. 1 may be implemented on a single chip. In one exemplary structure, the MCPRC chip may be incorporated into a television circuit from which the MCPRC chip upconverted and post-processed output 128 is transmitted to an external video display panel. However, if thepost-processing module 116 is disconnected from the processing pipeline and instead incorporated into the display panel, the usability of theMCPRC system 100 is severely limited. This is because the signal 114 occupies a much higher bandwidth than the original frame rate of theinput signal 102 when transmitted from the chip to the LCD display. In many cases, it is not possible to find a matched high bandwidth interface that allows the television circuit to communicate with the LCD display. However, encapsulating theMCPRC architecture 100 on a single chip has the advantage of facilitating information exchange between the various components of thesystem 100.

図２は、別のＭＣＰＲＣ構成２００の高レベル図であり、図１のＭＣＦＲＣブロック１１２および後処理モジュール１１６の順序を入れ替えて、ビデオを図２のＭＣＦＲＣモジュール２１２で高い帯域幅にアップコンバートする処理よりも、後処理モジュール２１６の処理のほうを前に行う。アップコンバート機能を処理パイプラインの最後の段階に配置することで、アップコンバート機能が残りの回路と隔離されうる。故に、この配置により、モジュール２０４、２０８、および２１６をＭＣＦＲＣモジュール２１２から切り離すことができる。幾らかの実施形態においては、モジュール２０４、２０８、２１６、および２１２は、図１のそれぞれ対応するモジュール１０４、１０８、１１６、および１１２と構造的に類似している。一例示的アーキテクチャにおいては、モジュール２０４、２０８、および２１６を組み込むチップが、テレビ受信回路に集積されて、入力信号２０２の本来のフレームレートで動作してよく、一方でＭＣＦＲＣモジュール２１２が、他の処理部から切り離されたＬＣＤディスプレイパネル内に集積されてもよい。この配置においては、テレビ回路からＬＣＤディスプレイパネルへの送信信号２１４は、ＬＣＤパネルディプレイが要するアップコンバート帯域幅より比較的低い本来の帯域幅を占める。テレビ受信回路はＬＣＤディスプレイと、低電圧差動信号（ＬＶＤＳ）チャネルなどの標準的なビデオ／ディスプレイインタフェースを介して通信する機能を有してよい。この低帯域幅のインタフェースにより、システム２００の用途は広がり、任意の数の異なるディスプレイパネルをテレビ受信回路に接続することが可能となる。  FIG. 2 is a high-level diagram of anotherMCPRC configuration 200, in which the order of theMCFRC block 112 andpost-processing module 116 of FIG. 1 is reversed and the video is upconverted to a higher bandwidth by theMCFRC module 212 of FIG. Instead, the processing of thepost-processing module 216 is performed before. By placing the up-conversion function at the last stage of the processing pipeline, the up-conversion function can be isolated from the rest of the circuit. Thus, this arrangement allowsmodules 204, 208, and 216 to be disconnected fromMCFRC module 212. In some embodiments,modules 204, 208, 216, and 212 are structurally similar tocorresponding modules 104, 108, 116, and 112, respectively, of FIG. In one exemplary architecture,chips incorporating modules 204, 208, and 216 may be integrated into the television receiver circuit to operate at the native frame rate of theinput signal 202, while theMCFRC module 212 is It may be integrated in an LCD display panel separated from the processing unit. In this arrangement, thetransmission signal 214 from the television circuit to the LCD display panel occupies a natural bandwidth that is relatively lower than the up-conversion bandwidth required by the LCD panel display. The television receiver circuit may have the ability to communicate with the LCD display via a standard video / display interface such as a low voltage differential signal (LVDS) channel. This low bandwidth interface expands the use of thesystem 200 and allows any number of different display panels to be connected to the television receiver circuit.

図１、２に示すビデオ情報信号経路１１８および２１８はそれぞれ、対応するＭＣＰＲＣシステム１００および２００のモジュール間の情報伝達を促進すべく提供されている。特に、ＭＣＦＲＣモジュール１１２および２１２に伝達される情報は、例えば、クローズドキャプションディプレイの位置、画面上の表示の存在、各入力信号１０２および２０２の本来のフレームレート、および各入力信号１０２および２０２の起点およびアクティブビデオ境界を含む。  The videoinformation signal paths 118 and 218 shown in FIGS. 1 and 2, respectively, are provided to facilitate information transfer between thecorresponding MCPRC systems 100 and 200 modules. In particular, the information communicated to theMCFRC modules 112 and 212 includes, for example, the location of the closed caption display, the presence of the display on the screen, the original frame rate of eachinput signal 102 and 202, and theinput signal 102 and 202. Includes origin and active video boundary.

図示されているＭＣＰＲＣシステム１００および２００では、入力ビデオ信号１０２および２０２は、標準精細（ＮＴＳＣ／ＰＡＬ／ＳＥＣＡＭ）から高精細に亘っており、インタレース型でも順次型でもよい。幾らかの例においては、ビデオ信号解像度は、低フレームレートを有する標準解像度よりもさらに低い。例えば、入力ビデオ信号は、ｉＰＯＤなどの携帯型メディアプレーヤ内のコネクタデバイスから、毎秒１５または３０フレーム入力されるＱＶＧＡ（３２０×２４０）であってよい。幾らかの例においては、低解像度ビデオ信号がパーソナルメディアプレーヤまたはマルチメディア携帯電話機のビデオドックにコネクタデバイスを介して供給されてよく、ここでドックには、例えば５ｆｐｓで３２０×１６０から６０ｆｐｓで７２０×４８０の空間・時間変換（spatial and temporal conversion）を行う機能を有する集積回路が含まれうる。インタフェース入力は、ビデオに起因する（video‐originated）、またはフィルムに起因する（film‐originated）材料から形成されてよい。ビデオに起因する材料は、先ずデインタレースされて、フィールドレートからフレームレートへ変換されてからＭＣＦＲＣモジュール１１２および２１２に入力される。フィルムに起因する材料は、ＭＣＦＲＣモジュール１１２および２１２への入力用に、本来の順次型形式に変換される。  In the illustratedMCPRC systems 100 and 200, the input video signals 102 and 202 range from standard definition (NTSC / PAL / SECAM) to high definition and may be interlaced or sequential. In some examples, the video signal resolution is even lower than the standard resolution with a low frame rate. For example, the input video signal may be QVGA (320 × 240) that receives 15 or 30 frames per second from a connector device in a portable media player such as iPOD. In some examples, a low-resolution video signal may be provided via a connector device to a video dock of a personal media player or multimedia mobile phone, where the dock includes, for example, 320 × 160 at 60 fps and 720 at 60 fps. An integrated circuit having a function of performing x480 spatial and temporal conversion may be included. The interface input may be formed from materials that are video-originated or film-originated. The material resulting from the video is first deinterlaced and converted from field rate to frame rate before being input toMCFRC modules 112 and 212. The material resulting from the film is converted to the original sequential format for input to theMCFRC modules 112 and 212.

図３は、オブジェクト動き推定を入力ビデオ信号３０２の連続フレーム対の間に行うことを目的とする、図１および２のＭＣＦＲＣモジュール１１２および２１２それぞれの例示的実装例３００を示す。連続フレームの各対は補間されてよく、２つのフレームのうち前のほうは、「参照フレーム」と称され、後のほうは「現在のフレーム」と称される。図３のＭＣＦＲＣモジュール３００の例示的実施形態によると、動き推定エンジン３０６による動き補償および動き補償補間モジュール３１０による動き補間の前処理として、入力信号３０２はＭＣＲＦＣ制御部３０４で処理される。特に、動き推定エンジン３０６は、ＭＣＦＲＣ制御部３０４からリンク３２２および３２４を介して送信された処理済フレーム情報を利用して、グローバルおよびローカル動き補償情報を入力シーケンス３０２の連続フレーム対各々に生成する。結果生じるグローバルおよびローカル動き補償情報は、今度は動き補償補間モジュール３１０へリンク３０８を介して転送され、また、ＭＣＦＲＣ制御部３０４へもリンク３２２および３２４を介して転送される。幾らかの例においては、動き補償補間を行うという判断も、ビデオ入力信号３０２と、ビデオ情報信号３１６を介して得た入力の任意の追加的ビデオ情報とともに、制御部３０４から動き補償補間モジュール３１０に送られてよい。ＭＣＦＲＣ制御部３０４および動き推定エンジン３０６から取得したデータに基づいて、動き補償補間を動き補償補間モジュール３１０で行うことで、望ましいフレームレートのビデオ画像シーケンスを生成するが、ここでシーケンスには、元々のビデオフレームシーケンスの間に時間的に散在した補間されたフレームが含まれている。幾らかの例においては、ＭＣＦＲＣ制御部３０４は制御信号を、リンク３２６を介して動き補償補間モジュール３１０へ送ることで、ビデオ信号の一部の補間を不要としてよい。さらに、動き推定エンジン３０６からのビデオフレーム情報、ビデオ情報信号３１６、およびビデオ入力３０２も、出力３１４を介して他の処理ブロックへ転送されてさらなる処理を受けてよい。動き推定エンジン３０６、動き補償補間モジュール３１０、およびＭＣＦＲＣ制御部３０４の動作を、以下で詳述する。  FIG. 3 shows anexemplary implementation 300 of each of theMCFRC modules 112 and 212 of FIGS. 1 and 2 intended to perform object motion estimation during successive frame pairs of theinput video signal 302. Each pair of consecutive frames may be interpolated and the earlier of the two frames is referred to as the “reference frame” and the latter is referred to as the “current frame”. According to the exemplary embodiment of theMCFRC module 300 of FIG. 3, theinput signal 302 is processed by theMCRFC control unit 304 as preprocessing for motion compensation by themotion estimation engine 306 and motion interpolation by the motioncompensation interpolation module 310. In particular, themotion estimation engine 306 uses the processed frame information transmitted from theMCFRC control unit 304 via thelinks 322 and 324 to generate global and local motion compensation information for each successive frame pair of theinput sequence 302. . The resulting global and local motion compensation information is now transferred to the motioncompensation interpolation module 310 vialink 308 and also to theMCFRC controller 304 vialinks 322 and 324. In some examples, the decision to perform motion compensated interpolation may also include the motion compensatedinterpolation module 310 from thecontroller 304, along with thevideo input signal 302 and any additional video information in the input obtained via the video information signal 316. May be sent to. Based on the data acquired from theMCFRC control unit 304 and themotion estimation engine 306, motion compensation interpolation is performed by the motioncompensation interpolation module 310 to generate a video image sequence having a desired frame rate. Interpolated frames interspersed in time between the video frame sequences. In some examples, theMCFRC controller 304 may send a control signal to the motion compensatedinterpolation module 310 via thelink 326 so that a portion of the video signal need not be interpolated. In addition, video frame information, video information signal 316, andvideo input 302 frommotion estimation engine 306 may also be forwarded to other processing blocks viaoutput 314 for further processing. The operations of themotion estimation engine 306, motioncompensation interpolation module 310, andMCFRC control unit 304 are described in detail below.

図３のＭＣＦＲＣ制御部３０４は、動き予測および後続のビデオ補間の品質に影響しうるある種のフレームフィーチャを削除しようと試みることで、入力ビデオ信号３０２の各フレームを処理する。この信号処理は、「真の」画像のみがグローバル動き推定の基として利用されるべきグローバルアフィン動き推定機能モジュール３１８において特に重要である。例えば、入力ビデオ信号３０２が、郵便ポスト（pillar box）およびサブタイトルなどのフィーチャを含むＤＶＤである場合、ＭＣＦＲＣ制御部３０４は、フレームを動き推定エンジン３０６に送る前に、各ＤＶＤフレームからピラーボックスを削除し、且つ、サブタイトルがフレームと融合している領域を特定することが望ましい。入力信号３０２が放送ビデオ信号である場合、ＭＣＦＲＣ制御部３０４は、各ビデオフレームに関連付けられた静的チャネルロゴおよびティッカシンボルを特定することが望ましいが、このティッカシンボルとは、フレームの残りのシーンとはしばしば完全に反対方向に一定の速度で回転するものである。処理されたフレームシーケンスは、その後、リンク３２２および３２４を介して動き推定エンジン３０６へ転送されて、ローカルおよびグローバル動き推定がなされる。  TheMCFRC controller 304 of FIG. 3 processes each frame of theinput video signal 302 by attempting to remove certain frame features that can affect the quality of motion estimation and subsequent video interpolation. This signal processing is particularly important in the global affine motionestimation function module 318 where only “true” images are to be used as a basis for global motion estimation. For example, if theinput video signal 302 is a DVD that includes features such as a post box and a subtitle, theMCFRC controller 304 may extract a pillar box from each DVD frame before sending the frame to themotion estimation engine 306. It is desirable to delete and specify the region where the subtitle is fused with the frame. When theinput signal 302 is a broadcast video signal, theMCFRC control unit 304 preferably specifies a static channel logo and a ticker symbol associated with each video frame. The ticker symbol is the remaining scene of the frame. Often rotates at a constant speed in the completely opposite direction. The processed frame sequence is then forwarded vialinks 322 and 324 tomotion estimation engine 306 for local and global motion estimation.

別の実施形態においては、入力ビデオ信号３０２および入力ビデオ信号３０２に関する追加的情報が、入力３１６および３３０をそれぞれ介してＭＣＦＲＣ制御部３０４へ送信される。特に、ビデオ情報信号３１６は、例えばビデオに追加されるべき合成情報または動きベクトルの推定精度に影響するようなビデオの起点情報などの、入力ビデオ信号３０２に関する追加的情報を提供する。例えば、入力信号がコンピュータグラフィック信号であることが既知である場合、該信号は、ビデオに起因する信号と比して、水平方向、垂直方向両方に非常に鋭い遷移を持つ可能性が高い。グラフィックに起因するビデオ入力に関する動きベクトルは典型的に、ひとたびこの情報が動き推定エンジン３０６に提供されると、より正確に推定できる。しかし、ビデオ起点が動き推定エンジン３０６に提供されない場合、結果生じる動きベクトルの予測は不正確となってしまう。  In another embodiment, theinput video signal 302 and additional information regarding theinput video signal 302 are transmitted to theMCFRC controller 304 viainputs 316 and 330, respectively. In particular, the video information signal 316 provides additional information regarding theinput video signal 302, such as, for example, synthesis information to be added to the video or video origin information that affects the accuracy of motion vector estimation. For example, if it is known that the input signal is a computer graphics signal, the signal is likely to have a very sharp transition in both the horizontal and vertical directions compared to the signal resulting from video. Motion vectors for video input resulting from graphics typically can be estimated more accurately once this information is provided tomotion estimation engine 306. However, if the video origin is not provided to themotion estimation engine 306, the resulting motion vector prediction will be inaccurate.

また別の実施形態によると、「シーンカット」検知回路を提供して、ビデオ信号内の特定のフレームについては動き補償補間モジュール３１０をディセーブルにすべきか否かを判断してよい。動き補償補間システムを利用することで、シーンが変更される間正確な動き推定を行うことが可能となる。故に、結果生じるアップコンバートされたビデオシーケンス内でこれら悪影響で大きい場合にはいつでも、入力信号３０２の動き補償補間を停止することができる。この一時的に補間を停止する判断は、動き推定エンジン３０６からリンク３２２および３２４を介して受信されたグローバルおよびローカル動き情報の分析に基づいてＭＣＦＲＣ制御部３０４で行われうる。ＭＣＦＲＣ制御部３０４は、通信リンク３２６を介して動き補償補間モジュール３１０をイネーブルにもディセーブルにもできる。補間するという判断がなされると、ＭＣＦＲＣ制御部３０４は、チャネル３３０から入力ビデオ信号３０２を、チャネル３１６からオプションのビデオ情報信号を、リンク３２２からグローバル動き信号を、およびリンク３２４からローカル動き信号を、動き補償補間モジュール３１０へ転送して、動き補償補間に備える。さもなくば、情報は出力３１４を介して後続の段に選択的に転送される。ＭＣＦＲＣ制御部３０４では任意の他の基準を利用して動き補償補間をイネーブルおよびディセーブルにしてもよいことに留意されたい。  According to yet another embodiment, a “scene cut” detection circuit may be provided to determine whether the motioncompensation interpolation module 310 should be disabled for a particular frame in the video signal. By using the motion compensated interpolation system, it is possible to perform accurate motion estimation while the scene is changed. Thus, motion compensated interpolation of theinput signal 302 can be stopped whenever these adverse effects are significant in the resulting upconverted video sequence. This decision to temporarily stop interpolation may be made by theMCFRC controller 304 based on analysis of global and local motion information received from themotion estimation engine 306 vialinks 322 and 324. TheMCFRC control unit 304 can enable or disable the motioncompensation interpolation module 310 via thecommunication link 326. Once the decision to interpolate is made, theMCFRC controller 304 receives theinput video signal 302 fromchannel 330, the optional video information signal from channel 316, the global motion signal fromlink 322, and the local motion signal fromlink 324. Then, transfer to the motioncompensation interpolation module 310 to prepare for motion compensation interpolation. Otherwise, the information is selectively transferred to subsequent stages viaoutput 314. Note that theMCFRC controller 304 may enable and disable motion compensated interpolation using any other criteria.

図４は、図３の動き推定エンジン３０６のグローバルアフィン動き推定モジュール３１８の例示的実装例４００である。グローバルアフィン動きとは、一般的には、一般にカメラのズーミング、パニング、あるいは回転などの動きが引き起こす、ビデオシーケンスの背景のピクセルの動きのことを言う。幾らかの実装例においては、ビデオフレームシーケンスの背景のピクセルは、全て単一の共通グローバル動きを受けると仮定される。グローバルアフィン動き推定は、通常、背景の動きを幾らかの基本パラメータを利用してモデル化する。特に、アフィンモデルは、６つのアフィンパラメータのみを利用して、任意のフレーム対間のグローバル動き軌跡を表す。アフィンパラメータのうち２つは、カメラのズーミング動きを捉えるのに利用されるスケーリングパラメータであり、２つは回転パラメータであり、２つはパニング動きを捉えるのに利用される並進パラメータである。これら６つのアフィンパラメータは、グローバル動き予測の上で非常な柔軟性を提供する。  FIG. 4 is anexample implementation 400 of the global affinemotion estimation module 318 of themotion estimation engine 306 of FIG. Global affine motion generally refers to the movement of pixels in the background of a video sequence, typically caused by camera zooming, panning, or rotation. In some implementations, the background pixels of the video frame sequence are all assumed to undergo a single common global motion. Global affine motion estimation typically models background motion using some basic parameters. In particular, the affine model uses only six affine parameters to represent a global motion trajectory between any pair of frames. Two of the affine parameters are scaling parameters used for capturing the zooming motion of the camera, two are rotation parameters, and two are translation parameters used for capturing the panning motion. These six affine parameters provide great flexibility over global motion prediction.

図４に示すように、グローバルアフィン動き推定モジュール４００は２段の処理であり、第１段４０２が、任意のフレーム対間のグローバル動きを粗い解像度で捉えるのに利用されるアフィンパラメータ一式の粗い推定を行う。より具体的には、第１段は、位相相関法を利用してグローバル並進動きに関する２つのアフィン並進パラメータを推定するが、これは図５‐７との関連で詳述する。第１段はさらに、グローバルな回転およびスケーリング動きに関する、残りの４つのアフィンパラメータを予測する。これら予測は、前のフレーム対など、過去に行った推定から算出した対応アフィン値に基づいている。結果生じるアフィンパラメータを今度は第２段４０６に渡し、より高精細な解像度レベルにまでリファインする。  As shown in FIG. 4, the global affinemotion estimation module 400 is a two-stage process, with a coarse set of affine parameters used by thefirst stage 402 to capture global motion between any pair of frames with coarse resolution. Make an estimate. More specifically, the first stage uses the phase correlation method to estimate two affine translation parameters for global translation motion, which will be described in detail in connection with FIGS. 5-7. The first stage further predicts the remaining four affine parameters for global rotation and scaling movements. These predictions are based on corresponding affine values calculated from estimates made in the past, such as previous frame pairs. The resulting affine parameters are now passed to thesecond stage 406 to refine to a higher resolution level.

特に、図４の実施形態によると、フレームシーケンスを有するアクティブビデオ入力信号４０４を、グローバルアフィン動き推定モジュール４００の段４０２に供給する。幾らかの実施形態においては、サブタイトル、ＯＳＤメニューなど全ての重要でないビデオ情報を、グローバルアフィン動き推定モジュール４００へ供給する前のアクティブビデオ入力信号４０４から除去する。段４０２においては、グローバル並進またはパニング動きに関する、２つのアフィン並進パラメータのみを推定する。グローバル並進動きを隔離する理由は、カメラの動きはその性質上圧倒的に並進的な動きであり、典型的に大きな並進範囲を捉えるのが難しいからである。殆どの市販の動き推定ツールは、非常に制限的な計測範囲を有しており、動きが許容範囲外である場合にはしばしば不正確な動き計測値を生成するきらいがある。これと比較すると、本発明のグローバル並進推定技術によれば、入力フレームの１画像サイズの半分の並進動き範囲まで正確に計測することができる。このグローバル並進推定は、粗い表示フレームの各対に対して適用した位相相関法を利用して達成される。位相相関法は図５との関連で詳述する。２つの粗い予測アフィン並進パラメータを含む粗い並進推測値数１がモジュール４０２により提供される。さらに、２つのアフィン回転パラメータと２つのアフィンスケーリングパラメータとを含む４つの残りのアフィンパラメータの粗い推定値である数２が、前のフレームのこれらパラメータの過去の推定値に基づいて計算される。

In particular, according to the embodiment of FIG. 4, an activevideo input signal 404 having a frame sequence is provided to stage 402 of global affinemotion estimation module 400. In some embodiments, all non-critical video information, such as subtitles, OSD menus, etc. are removed from the activevideo input signal 404 before being provided to the global affinemotion estimation module 400. Instage 402, only two affine translation parameters for global translation or panning motion are estimated. The reason for isolating global translational movements is that camera movements are overwhelmingly translational in nature, and it is typically difficult to capture a large translational range. Most commercially available motion estimation tools have a very limited measurement range and often tend to produce inaccurate motion measurements when the motion is outside of an acceptable range. Compared with this, according to the global translation estimation technique of the present invention, it is possible to accurately measure up to a translational motion range that is half the size of one image of the input frame. This global translation estimation is accomplished using a phase correlation method applied to each pair of coarse display frames. The phase correlation method will be described in detail in connection with FIG. A coarse translation estimate number of 1 is provided bymodule 402 that includes two coarse prediction affine translation parameters. Furthermore, anumber 2, which is a coarse estimate of the four remaining affine parameters, including two affine rotation parameters and two affine scaling parameters, is calculated based on past estimates of these parameters in the previous frame.

これら粗いレベルのアフィンパラメー推定値数１および数２はその後、ＲＡＮＳＡＣ（ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）に基づくアフィンパラメータリファインモジュール４０６へ送信され、さらにリファインされる。このリファインは、先ず、段４０２からの粗く予測されたアフィンパラメータを利用して参照フレームの画像を動き補償することで達成される。故に、補償された参照フレームと現在のフレームとの間の差は、補償された参照フレーム画像を現在のフレーム画像に実質的に位置合わせするのに必要な、粗く予測されたアフィンパラメータの調節量である。一実施形態においては、ＲＡＮＳＡＣに基づく技術を利用してこのようなリファインを達成する。このＲＡＮＳＡＣに基づく方法４０６は先ず、その最も精細な解像度で表される現在のフレームから、所定の数のランダムに配置されたピクセルブロックを選択することで動作する。これらブロックも、補償された参照フレーム内に対応するブロックを有する。次にセグメンテーションマスクを動き補償された現在のフレームに適用して、フレーム画像の前景領域および背景領域を区別する。フレームの背景領域に属するブロックのみを利用して、グローバル動き予測に関するアフィンパラメータをリファインする。こうする理由は、背景のピクセルの動きだけが、アフィンパラメータにより概算されるグローバル動きに曝されると仮定されるからである。リファインされた並進推定値Ａ<SUB>ｉ</SUB>および予測推定値であるＢ<SUB>ｉ</SUB>はその結果アフィンパラメータリファイン段４０６で生成される。セグメンテーションマスク算出を以下に詳述する。  These coarse level affine parameter estimatesnumber 1 andnumber 2 are then sent to an affineparameter refinement module 406 based on RANSAC (RANdom Sample Consensus) for further refinement. This refinement is accomplished by first motion compensating the reference frame image using the coarsely predicted affine parameters fromstage 402. Thus, the difference between the compensated reference frame and the current frame is the amount of coarsely predicted affine parameter adjustment required to substantially align the compensated reference frame image with the current frame image. It is. In one embodiment, such refinement is achieved using a RANSAC-based technique. This RANSAC-basedmethod 406 operates by first selecting a predetermined number of randomly arranged pixel blocks from the current frame represented at its finest resolution. These blocks also have corresponding blocks in the compensated reference frame. A segmentation mask is then applied to the motion compensated current frame to distinguish the foreground and background regions of the frame image. Refines the affine parameters for global motion prediction using only the blocks belonging to the background area of the frame. The reason for this is that only background pixel motion is assumed to be exposed to global motion estimated by the affine parameters. The refined translation estimate A <SUB> i </ SUB> and the predicted estimate B <SUB> i </ SUB> are consequently generated in the affineparameter refinement stage 406. The segmentation mask calculation is described in detail below.

図５は、位相相関法の例示的ブロック図実装５００を示す。位相相関法は、図４のグローバル並進推定および予測段４０２に実装されて、２つの連続フレーム間のグローバル並進動きに関するアフィンパラメータの粗いレベルの予測を行う。位相相関は、どちらもフーリエ領域で表される並進画像とその参照画像との間に位相差のみが存在するようなフーリエシフト特性を利用することで、この並進動きを計測する。さらには、この位相差の指数の逆フーリエ変換により、相関面が形成され、ここから２つの画像フレーム間の並進動きの計測値が得られる。この動作を表す例を以下で説明する。  FIG. 5 shows an exemplaryblock diagram implementation 500 of the phase correlation method. The phase correlation method is implemented in the global translation estimation andprediction stage 402 of FIG. 4 to perform a coarse level prediction of affine parameters for global translation motion between two consecutive frames. The phase correlation measures this translational motion by using a Fourier shift characteristic in which only a phase difference exists between the translational image represented in the Fourier domain and its reference image. Furthermore, a correlation plane is formed by the inverse Fourier transform of the exponent of the phase difference, and a translational movement measurement value between two image frames is obtained therefrom. An example representing this operation will be described below.

標準解像度のテレビ画像のフーリエ変換は、殆どの用途において法外に高価になってしまうことが公知である。この動作の複雑性を低減すべく、参照フレームと現在のフレームとを、これら画像がフーリエ変換前に所定のファクタによりダウンサンプリングされた、粗い解像度レベルで表す。このダウンサンプリングは、図５に示す、水平方向および垂直方向両方で各画像をデシメーションするデシメーションモジュール５０２を介して達成される。一実施形態においては、画像のデシメーションは多相を分離可能なフィルタ法を利用して達成される。結果生じるデシメーションされた画像フレームが、垂直方向および水平方向両方で各々高速フーリエ変換（ＦＦＴ）される。２ＤのＦＦＴは、２つの連続する１ＤのＦＦＴを行うことで達成され、デシメーションされた画像は典型的に、列方向のＦＦＴをモジュール５０６により受ける前に行方向のＦＦＴをモジュール５０４により受ける。参照フレームおよび現在のフレームに対応するＦＦＴ結果は各々２Ｄの複素数データアレイで表され、一時的なデータ記憶用にメモリ５０８に配置される。続いて、２Ｄ位相差アレイが、２つの複素数データアレイから生成される。次に、位相差アレイのエレメントについての指数（element-wise exponential）をとって、１Ｄの列ＩＦＦＴ５１４の後に１Ｄ行ＩＦＦＴ５１２により２Ｄ逆高速フーリエ変換（ＩＦＦＴ）された行列を生成する。これら列５１４および行５１２のＩＦＦＴ中に、メモリブロック５１６を一時的なデータ記憶用に利用してもよい。このような２ＤのＩＦＦＴから、２Ｄデータアレイでも表される正規化相関面を次に出力５１８に生成して、最大計算モジュール５２０に供給する。最大計算モジュール５２０は、相関面アレイの最大の値および位置、且つ最大値に隣接する値の幾らかを決定することで動作する。最後に、サブピクセル補間モジュール５２２を利用して、最大値およびそれに隣接する値を補間して、グローバル並進推定値を生成する。２ＤのＦＦＴの詳細および位相差計算を以下で説明する。  It is known that Fourier transforms of standard resolution television images become prohibitively expensive for most applications. To reduce the complexity of this operation, the reference frame and the current frame are represented at a coarse resolution level where the images are downsampled by a predetermined factor prior to Fourier transform. This downsampling is accomplished via adecimation module 502 that decimates each image in both the horizontal and vertical directions, as shown in FIG. In one embodiment, image decimation is accomplished using a filter method that can separate multiple phases. The resulting decimated image frames are each fast Fourier transformed (FFT) in both the vertical and horizontal directions. A 2D FFT is achieved by performing two successive 1D FFTs, and the decimated image typically undergoes a rowwise FFT bymodule 504 before undergoing a columnwise FFT bymodule 506. The FFT results corresponding to the reference frame and the current frame are each represented in a 2D complex data array and placed inmemory 508 for temporary data storage. Subsequently, a 2D phase difference array is generated from the two complex data arrays. Next, an element-wise exponential is taken for the elements of the phase difference array to generate a 2D inverse fast Fourier transform (IFFT) matrix by 1D row IFFT 512 after1D column IFFT 514. During these IFFTs incolumn 514 and row 512,memory block 516 may be utilized for temporary data storage. From such a 2D IFFT, a normalized correlation surface, which is also represented by a 2D data array, is then generated atoutput 518 and provided tomaximum computation module 520. Themaximum calculation module 520 operates by determining the maximum value and position of the correlation plane array and some of the values adjacent to the maximum value. Finally, thesub-pixel interpolation module 522 is utilized to interpolate the maximum value and adjacent values to generate a global translation estimate. Details of 2D FFT and phase difference calculation are described below.

図５の各フーリエ変換の出力は複素数の２Ｄアレイである。結果生じる動き推定の精度には有限精度計算による数量化効果が直接関与するので、各複素数の浮動小数点を記憶するのに必要となりうるビット数は注意深く考慮されねばならない。一実施形態においては、１９２ビットの浮動小数点ＦＦＴをモジュール５０４で利用して、行ＦＦＴを実装し、１２８ビットの浮動小数点ＦＦＴをモジュール５０６で利用して、列ＦＦＴを実装する。図６は、例示的な２５６×２５６ビットの２ＤのＦＦＴ設計６００を示す。設計６００の各工程で利用される例示的なビット精度も提供される。行ＦＦＴ実装は実質的に列ＦＦＴと同一でありえるが、１ＤのＦＦＴにより１方向に変換された後の入力フレームは転置され（９０度回転される）、同様に、同じ１ＤのＦＦＴを利用して第２の方向に変換される。２ＤのＦＦＴも、２つの実質的に同一な１ＤのＩＦＦＴを利用して同様に実装されうる。  The output of each Fourier transform in FIG. 5 is a complex 2D array. Since the resulting motion estimation accuracy is directly related to the quantification effect of finite precision calculations, the number of bits that may be required to store the floating point of each complex number must be carefully considered. In one embodiment, a 192-bit floating point FFT is used inmodule 504 to implement a row FFT and a 128-bit floating point FFT is used inmodule 506 to implement a column FFT. FIG. 6 shows an exemplary 256 × 256 bit2D FFT design 600. An exemplary bit accuracy utilized in each step ofdesign 600 is also provided. The row FFT implementation can be substantially the same as the column FFT, but the input frame after being transformed in one direction by the 1D FFT is transposed (rotated 90 degrees) and similarly uses the same 1D FFT. Is converted into the second direction. A 2D FFT can be similarly implemented using two substantially identical 1D IFFTs.

図７は、図５の位相差計算モジュール５１０の例示的ブロック図７００である。２つの複素数データアレイ内の対応するエレメントから得られた複素数の値の対を、例示的な位相差計算モジュール７００へ入力７０２および７１０として供給する。図７に示す一実施形態においては、入力７０２および７１０がそれぞれ、フーリエ領域のデシメーションされた参照画像フレームおよび現在の画像フレームを表す二つの複素数データアレイから取られる。入力７０２および７１０の実数部分および虚数部分を分離して分ける。複素数入力７０２および７１０と関連する位相を、入力信号の虚数部分および複素数部分の商から、アークタンルックアップテーブル７０６および７１４それぞれを用いて、処理７０４および７１２で得られた商の大きさにそれぞれ基づいて、決定する。直交補正モジュール７０８および７１６でリファインされた後、二相は加算器７１８で互いから減算され、位相差７１８が生成される。同様に、この処理を、現在のＦＦＴデータアレイおよび参照ＦＦＴデータアレイの対応するエレメントの全ての対に対して行って、位相差の２Ｄアレイを生成してよい。  FIG. 7 is an exemplary block diagram 700 of the phasedifference calculation module 510 of FIG. Complex value pairs obtained from corresponding elements in the two complex data arrays are provided asinputs 702 and 710 to the exemplary phasedifference calculation module 700. In one embodiment shown in FIG. 7,inputs 702 and 710 are each taken from two complex data arrays representing a decimated reference image frame and a current image frame in the Fourier domain. Separate and separate the real and imaginary parts ofinputs 702 and 710. The phase associated with thecomplex inputs 702 and 710 is converted from the quotient of the imaginary and complex parts of the input signal to the magnitude of the quotient obtained inoperations 704 and 712 using arctan lookup tables 706 and 714, respectively. Based on the decision. After being refined inquadrature correction modules 708 and 716, the two phases are subtracted from each other inadder 718 to producephase difference 718. Similarly, this process may be performed on all pairs of corresponding elements of the current FFT data array and the reference FFT data array to generate a 2D array of phase differences.

図５‐７の例示的実装例によるグローバル動き推定を行った後で、アフィン動き値をグローバル動き補償の適切なピクセルに対して割り当ててよい。フレームの前景に属するピクセルは、例えばセグメンテーションマスクなどの利用により、背景に属するものと区別される必要がある。背景に属するピクセルは、前述の６つのアフィンパラメータで概算される単一のグローバル動きを受けることが仮定されてよい。これに対して前景のピクセルは、同じグローバル動きでは動かない。このようなピクセルに対しては、適切なローカル動きベクトルまたは補正グローバル動きベクトルを決定してよい。  After performing global motion estimation according to the example implementation of FIGS. 5-7, affine motion values may be assigned to appropriate pixels for global motion compensation. Pixels belonging to the foreground of the frame need to be distinguished from those belonging to the background, for example by using a segmentation mask. It may be assumed that the pixels belonging to the background undergo a single global motion that is approximated by the six affine parameters described above. In contrast, foreground pixels do not move with the same global movement. For such pixels, an appropriate local motion vector or corrected global motion vector may be determined.

図８は、セグメンテーションマスクの最初の版を計算する例示的方法を示す。例示により、グローバル補償フレーム８０２および本来のフレーム８０４がシステム８００への入力として供給される。そして、ピクセル毎の、２つの入力フレーム間の絶対値の差を、加算器処理８０５および絶対値処理８０６で計算する。結果生じるピクセル毎の絶対値の差のアレイを、合算・比較モジュール８０８に供給して、絶対値の差をピクセルブロック毎に加算して、閾値８０７と比較する。絶対値のブロック合算値が閾値より大きい場合にピクセルブロック全体がフレームの前景に属すものとして分類されうる。さもなくば、ブロックはフレームの背景に属すものとして分類されうる。モジュール８０８はフレーム内に各ピクセルブロックの単一のビットバイナリ出力を生成して、この情報を提供し、これら出力の集合体が、潜在的にフレーム内の前景ブロックと背景ブロックとを区別するセグメンテーションマップ８０９を形成する。ノイズおよび隔離動き領域の存在により、セグメンテーションマップ８０９は誤って分類されたブロック領域を含みうる。故に、セグメンテーションマップ８０９は、拡張（dilation）８１２の後の閉路（closing）８１０などのバイナリ形態素処理を受け、より同質な最初のセグメンテーションマスク８１４を生成する。  FIG. 8 shows an exemplary method for calculating the first version of the segmentation mask. By way of example, aglobal compensation frame 802 and anative frame 804 are provided as inputs to thesystem 800. Then, an absolute value difference between two input frames for each pixel is calculated by anadder process 805 and anabsolute value process 806. The resulting array of absolute value differences for each pixel is supplied to a summation andcomparison module 808 that adds the absolute value differences for each pixel block and compares to a threshold 807. If the absolute block sum is greater than the threshold, the entire pixel block can be classified as belonging to the foreground of the frame. Otherwise, the block can be classified as belonging to the background of the frame.Module 808 generates a single bit binary output for each pixel block in the frame to provide this information, and the collection of these outputs potentially segments the foreground and background blocks in the frame. Amap 809 is formed. Due to the presence of noise and isolated motion regions, thesegmentation map 809 can include misclassified block regions. Thus, thesegmentation map 809 is subjected to binary morphological processing, such as closing 810 afterdilation 812, to produce a more homogeneousinitial segmentation mask 814.

図９は、図８の処理から得た最初のセグメンテーションマスク９０２に基づき最終のセグメンテーションマスクを計算する例示的方法９００を示す。セグメンテーションマスク９０２は、適切な補償法を画像フレームの個々のピクセルに適用しうるマップを提供する。システム９００は、最初のセグメンテーションマスク９０２から様々な接続されたオブジェクトを検出することで動作し、ここからピクセルが再分類されて特定の補正処置を受けてよい。一実施形態においては、接続された部材分析９０４をモジュール９０４で利用して、接続されたオブジェクトを特定する。特に、二つのオブジェクトを幾らかのピクセルのみで分離した場合、小さなオブジェクトを大きなオブジェクトの一部としてみることができる。図９の実施形態においては、２×２の解像度ブロックサイズが接続された部材分析で利用されて、オブジェクト接続特定のコスト全体を低減する。しかし、他の解像度サイズも可能である（例えば３×３、４×４）。接続部材分析の最後には、モジュール９０４は最初のセグメンテーションマスク９０２から全ての接続オブジェクトを特定するラベルリストを出力するが、ラベルリストにおいて各オブジェクトはフレーム内の該オブジェクトの位置を特定するインデックスに対応している。インデックスおよびラベルのリストは、オブジェクトごとのエッジブロックの数を計算するモジュール９０６に供給される。オブジェクト内のブロック数を所定の閾値９１２と比較することで、オブジェクトが小さいと判断される場合、オブジェクトのブロックを、画像フレームの背景に属すものとして分類する。これら背景ブロックは、上述のグローバルアフィン動き推定パラメータを利用して補償されてよい。しかし、１つのオブジェクトに関するブロック数が多い場合、これらブロックは画像フレームの前景に属すものとして分類されることがあり、グローバル動き補償法よりも正確でありうるローカル動き補正法を施される。  FIG. 9 illustrates anexemplary method 900 for calculating a final segmentation mask based on theinitial segmentation mask 902 obtained from the process of FIG. Thesegmentation mask 902 provides a map where appropriate compensation methods can be applied to individual pixels of the image frame. Thesystem 900 operates by detecting various connected objects from theinitial segmentation mask 902, from which the pixels may be reclassified to undergo certain corrective actions. In one embodiment, connectedmember analysis 904 is utilized inmodule 904 to identify connected objects. In particular, if two objects are separated by only some pixels, a small object can be viewed as part of a large object. In the embodiment of FIG. 9, a 2 × 2 resolution block size is utilized in connected member analysis to reduce the overall cost of object connection identification. However, other resolution sizes are possible (eg 3 × 3, 4 × 4). At the end of the connection analysis,module 904 outputs a label list identifying all connected objects from theinitial segmentation mask 902, where each object corresponds to an index identifying the position of the object in the frame. is doing. The list of indexes and labels is provided to amodule 906 that calculates the number of edge blocks per object. If it is determined that the object is small by comparing the number of blocks in the object with apredetermined threshold value 912, the block of the object is classified as belonging to the background of the image frame. These background blocks may be compensated using the global affine motion estimation parameters described above. However, if the number of blocks for one object is large, these blocks may be classified as belonging to the foreground of the image frame and are subjected to a local motion correction method that may be more accurate than the global motion compensation method.

本発明の別の側面によると、入力フレームについてオブジェクトエッジマップのロバストな生成手順を提供して、該フレーム内で大きなエッジ強さ（significant edge strength）を有するオブジェクトを特定することができる。オブジェクトに関するエッジ強さの欠如は、該オブジェクトとその直ぐ周辺との間にコントラストが弱いことを示す。故に、該オブジェクトがたとえセグメンテーションマスクが示すよう入力フレームの前景に存在したとしても、該オブジェクトのピクセルに対してはグローバル動き補償を適用してよい。これは、より正確な補償法を、エッジ強さが小さいオブジェクトに適用することで生じる結果が、グローバル動き補償法を適用することで生じるものと同一である可能性が高く、且つ、グローバル動き補償法が二つの方法のよりコスト効率のよい可能性が高いからである。故に、計算効率のためには、ロバストなオブジェクトエッジマップ生成法を提供して、エッジが強いオブジェクトを検知してよい。この方法によると、任意の画像フレーム内のピクセルブロック全てについて、２つの固有値が生成され、該固有値はそれぞれブロックの水平方向の計測値および垂直方向の計測値に対応する。例えば、ＳＤＴＶ解像度標準を２×２のブロックサイズについて利用すると仮定すると、各ＳＤＴＶ画像フレームについて、全部で３６０個のブロックが水平方向に、且つ２８８個のブロックが垂直方向に生成されることになる。全ての固有値の最大値（ｅｖ＿ｍａｘ）をその後決定する。固有値が、最大値により計測される所定の範囲にあるこれらブロックは、例えば、範囲「０．８＊ｅｖ＿ｍａｘ，ｅｖ＊ｍａｘ」内にあり、大きなエッジ強さを有するものとして特定されてよく、故に、グローバル動き補正法よりもより厳密な動き補償を要する可能性が高い。これらブロックは値１を割り当てられ、値０を割り当てられうる残りのブロックから区別されてよい。この結果、１のブロックが１画像フレーム内の大きなエッジ強さを有するオブジェクトを明示するようなオブジェクトエッジマップが生成される。さらには、１および０のブロックの利用により、このオブジェクトエッジマップ自身がかなりノイズに対して強くなる。本実施形態では２×２のブロックサイズを利用したが、任意の他のブロックサイズを利用することもできる（例えば４×４）。  According to another aspect of the present invention, a robust object edge map generation procedure can be provided for an input frame to identify objects having significant edge strength within the frame. The lack of edge strength for an object indicates a weak contrast between the object and its immediate surroundings. Thus, even if the object is in the foreground of the input frame as indicated by the segmentation mask, global motion compensation may be applied to the object's pixels. This is because the result of applying a more accurate compensation method to an object with low edge strength is likely to be the same as the result of applying the global motion compensation method, and global motion compensation. This is because the method is likely to be more cost effective than the two methods. Thus, for computational efficiency, a robust object edge map generation method may be provided to detect objects with strong edges. According to this method, two eigenvalues are generated for every pixel block in an arbitrary image frame, and the eigenvalues correspond to the horizontal and vertical measurements of the block, respectively. For example, assuming that the SDTV resolution standard is utilized for a 2 × 2 block size, a total of 360 blocks will be generated horizontally and 288 blocks vertically for each SDTV image frame. . The maximum value (ev_max) of all eigenvalues is then determined. Those blocks whose eigenvalues are in a predetermined range measured by the maximum value may be identified, for example, as being within the range “0.8 * ev_max, ev * max” and having a large edge strength. There is a high possibility that stricter motion compensation is required than the global motion compensation method. These blocks are assigned thevalue 1 and may be distinguished from the remaining blocks that can be assigned the value 0. As a result, an object edge map is generated in which one block clearly indicates an object having a large edge strength in one image frame. Furthermore, the use of the 1 and 0 blocks makes the object edge map itself very resistant to noise. In the present embodiment, a 2 × 2 block size is used, but any other block size can be used (for example, 4 × 4).

図１０は、入力フレーム１００２内の各ピクセルブロックに関する固有値の対を計算する処理１０００を示す。各固有値は、そのブロックの垂直方向および水平方向の計測値に対応しており、ルマ（luma）または強度領域で表されるそのブロックのピクセル値から計算される。５×５のブロックサイズの利用を仮定すると、フレーム１００２のピクセル強度は、先ず５×５のウィンドウサイズを有する２次元ガウスフィルタ１００４でフィルタにかけられる。ガウスフィルタ１００４にかける主な目的は、ノイズを平滑化して、各ブロック内の小さなオブジェクトを隔離して、それらを固有値算出の候補から除くことにある。これは、大きなエッジ強さを有する大きなオブジェクトのみに対してこのより厳密な補償処置を行うほうがコスト効率がよいからである。ブロックサイズが５×５であるガウスフィルタについては、各々がサイズ７２０×８ビットである４つのラインバッファを利用してこのようなフィルタサイズをサポートしてよい。これらラインバッファはＳＲＡＭ内に実装できる。別の実施形態においては、ガウスフィルタ１００４は、シリコン領域の利用を最小限にとどめるべく、より小さなブロックサイズ（例えば３×３）を利用してもよい。この結果、ラインバッファハードウェアのサイズが、５×５のブロックサイズに比較して、５０％低減できる。  FIG. 10 shows aprocess 1000 for calculating eigenvalue pairs for each pixel block in theinput frame 1002. Each eigenvalue corresponds to the block's vertical and horizontal measurements and is calculated from the block's pixel values expressed in luma or intensity regions. Assuming the use of a 5 × 5 block size, the pixel intensity of theframe 1002 is first filtered with a two-dimensionalGaussian filter 1004 having a 5 × 5 window size. The main purpose of applying theGaussian filter 1004 is to smooth the noise, isolate small objects in each block, and remove them from the eigenvalue calculation candidates. This is because it is more cost effective to perform this more rigorous compensation procedure only on large objects with large edge strengths. For a Gaussian filter with a block size of 5 × 5, such a filter size may be supported using four line buffers each of size 720 × 8 bits. These line buffers can be implemented in SRAM. In another embodiment, theGaussian filter 1004 may utilize a smaller block size (eg, 3 × 3) to minimize the use of silicon area. As a result, the size of the line buffer hardware can be reduced by 50% compared to the 5 × 5 block size.

ガウスフィルタ１００４でフィルタされた２Ｄの強度値アレイ１００５は、アレイ１００５の強度値の勾配を推定すべく、勾配処理モジュール１００６に供給される。一実施形態において、勾配は、アレイ１００５の隣接する強度値間の一次差（first order difference）を求めることに基づいて、水平方向および垂直方向両方において、計算される。この一次差計算は、ブロック毎に行われてよい。例えば、２×２のブロックのデータアレイ１００５を例にとって考えるが、みて分かるように、この例では、ブロックがＡ、Ｂ、Ｄ、およびＥという強度値からなり、強度ＣおよびＦが右側で隣接しており、ＧおよびＨが底側で隣接している。

ブロックの水平方向および垂直方向の一次差の勾配は以下のように計算される。

同じ勾配計算を、入力フレーム１００２の２Ｄデータアレイ１００５の２×２ブロック全てに適用してよいので、水平方向の勾配値アレイ１００８および垂直方向の勾配値アレイ１０１０の生成は、両方ともスクエアリング回路１０１２に供給される。これら入力勾配アレイに基づいて、スクエアリング回路１０１２は、以下のアレイ出力１０１４、１０１５、１０１６、および１０１８を生成する。

ここで、＊はドット積演算を示す。式２の３つの出力各々も、同じサイズを勾配値アレイ１００８および１０１０として有する２Ｄデータアレイである。これら３つの出力アレイ１０１４、１０１６、および１０１８はその後２Ｄ平均値計算モジュール１０２０に送られさらなる処理を受ける。The 2Dintensity value array 1005 filtered by theGaussian filter 1004 is provided to agradient processing module 1006 to estimate the gradient of the intensity values of thearray 1005. In one embodiment, the slope is calculated in both the horizontal and vertical directions based on determining a first order difference between adjacent intensity values in thearray 1005. This primary difference calculation may be performed for each block. For example, consider a 2 × 2block data array 1005 as an example, but as you can see, in this example, the block consists of intensity values A, B, D, and E, and the intensity C and F are adjacent on the right side. G and H are adjacent on the bottom side.

The slope of the primary difference in the horizontal and vertical directions of the block is calculated as follows:

Since the same gradient calculation may be applied to all 2 × 2 blocks of the2D data array 1005 of theinput frame 1002, the generation of the horizontalgradient value array 1008 and the verticalgradient value array 1010 is both a squaring circuit. 1012. Based on these input gradient arrays, thesquaring circuit 1012 generates thefollowing array outputs 1014, 1015, 1016, and 1018.

Here, * indicates a dot product operation. Each of the three outputs ofEquation 2 is also a 2D data array having the same size asgradient value arrays 1008 and 1010. These threeoutput arrays 1014, 1016, and 1018 are then sent to the 2D averagevalue calculation module 1020 for further processing.

２次元平均値計算モジュール１０２０は、ブロック毎に、各入力アレイ１０１４、１０１６、および１０１８の２乗勾配値を平均化して、アレイのブロック毎にスカラー平均値を生成することで動作する。例えば、２×２ブロックサイズを利用する場合、各ブロックの４つの勾配値が平均化されて、単一のスカラー値を生じる。この結果、数６で表される平均２乗勾配値の３つの２Ｄアレイ１０２２、１０２４、および１０２６がモジュール１０２０から生成される。

各２Ｄアレイは、画像全体の全てのスカラー値を含むよう適合される。これら３つの平均２乗勾配アレイは、その後固有値計算モジュール１０３０へ供給されて、そこで２つｎ固有値を、入力フレーム１００２の各ピクセルブロックに、数６のアレイに基づいて生成する。The two-dimensional averagevalue calculation module 1020 operates by averaging the square slope value of eachinput array 1014, 1016, and 1018 for each block to generate a scalar average value for each block of the array. For example, when utilizing a 2 × 2 block size, the four gradient values of each block are averaged to yield a single scalar value. As a result, three2D arrays 1022, 1024, and 1026 of mean square slope values represented by Equation 6 are generated frommodule 1020.

Each 2D array is adapted to include all scalar values of the entire image. These three mean square slope arrays are then fed to theeigenvalue calculation module 1030, where two n eigenvalues are generated for each pixel block of theinput frame 1002 based on the array of equations (6).

図１１は、図１０の固有値計算モジュール１０３０の例示的実装１１００を示す。示されているように、数７のアレイは数８のアレイから加算器１１０２で減算され、差行列Ｒを生成する。この差行列は、その後、処理１１０４でエレメントごとに２乗されて、数９のアレイがエレメントごとの２乗処理１１０８および４つの乗算のファクタを受けた後で、数９のアレイに加算器１１０６で加算される。

結果生じる合計行列１１０６は、またも処理１１１０でエレメントごとに２乗され、行列Ｓが生成される。そして固有値アレイＥ<SUB>ｖ１</SUB>およびＥ<SUB>ｖ２</SUB>は、以下のように計算されうる。

ここで、アレイＥ<SUB>ｖ１</SUB>およびＥ<SUB>ｖ２</SUB>の各エレメントは、図１０に示す入力画像フレーム１００２のピクセルブロックそれぞれに相関する固有値である。これら固有値を利用して、大きなエッジ強さを有するこれらピクセルを特定するオブジェクトエッジマップの決定に利用されてよく、故に、ローカル動き推定の候補である。FIG. 11 shows anexemplary implementation 1100 of theeigenvalue calculation module 1030 of FIG. As shown, the array of equations 7 is subtracted from the array of equations 8 withadder 1102 to produce a difference matrix R. This difference matrix is then squared element by element inoperation 1104 to add theadder 1106 to the array of number 9 after the array of number 9 has undergone the element-by-element squaring process 1108 and four multiplication factors. Is added.

The resultingsum matrix 1106 is again squared element by element inoperation 1110 to generate the matrix S. The eigenvalue arrays E <SUB> v1 </ SUB> and E <SUB> v2 </ SUB> can then be calculated as follows.

Here, each element of the arrays E <SUB> v1 </ SUB> and E <SUB> v2 </ SUB> is an eigenvalue correlated with each pixel block of theinput image frame 1002 shown in FIG. These eigenvalues may be used to determine an object edge map that identifies those pixels with large edge strengths and are therefore candidates for local motion estimation.

図１０および１１に示す実施形態においては、２×２のブロックサイズを固有値の計算に利用した。しかし、これより大きなブロックサイズを利用してハードウェア利用を低減することもできる。さらには、より小さなブロックサイズを利用することで推定の精度を上げることもできる。さらには、各固有値が正、小数点、および０から１の間で変化することから、８ビット精度を利用して固有値を表すことで、数値の観点からは十分な精度が得られることがある。しかし、他の精度値を利用することもできる。  In the embodiment shown in FIGS. 10 and 11, a 2 × 2 block size was used for eigenvalue calculation. However, hardware utilization can be reduced by using a larger block size. Furthermore, estimation accuracy can be improved by using a smaller block size. Furthermore, since each eigenvalue varies between positive, decimal point, and 0 to 1, sufficient accuracy may be obtained from a numerical point of view by representing the eigenvalue using 8-bit accuracy. However, other accuracy values can be used.

まとめると、セグメンテーションマスク計算処理を、図８および９に関して記載した。結果生じるセグメンテーションマスクを利用して、画像フレームの前景および背景に属すオブジェクトを特定することができる。加えて、図１０および１１に関して、オブジェクトエッジマップ生成処理を上述した。これにより得られるオブジェクトエッジマップを利用すると、大きなエッジ強さを有するフレームのオブジェクトを隔離することができる。セグメンテーションマスクおよびオブジェクトエッジマップの組み合わせにより、動き推定精度および効率性両方を最大化するような、画像フレームのサブ領域への適用に適した補正技術を決定することができる。概して、１フレーム内の各ピクセルブロックは、該ブロックの前景／背景分類およびそれらが示すエッジ強さに基づいて、３つの種類の動き補償のいずれかを経る。これら３つの種類とは、グローバル動き補償、補正グローバル動き補償、およびローカル動き補償である。前景の各ブロックは、図９で生成されたもののようなセグメンテーションマスクにより特定され、画像フレームのオブジェクトエッジマップが決定するローカル動き補償または補正グローバル動き補償を施される。フレームの背景のブロックも、セグメンテーションマスクによる特定が可能であり、図４‐７の処理で得られたグローバルアフィンパラメータを利用してグローバル動き補償を施される。この補償法種別選択処理およびローカルおよび補正グローバル動き補償法を以下で詳述する。  In summary, the segmentation mask calculation process has been described with respect to FIGS. The resulting segmentation mask can be used to identify objects belonging to the foreground and background of the image frame. In addition, the object edge map generation process has been described above with respect to FIGS. By using the object edge map obtained in this way, it is possible to isolate an object of a frame having a large edge strength. The combination of segmentation mask and object edge map can determine a correction technique suitable for application to sub-regions of an image frame that maximizes both motion estimation accuracy and efficiency. In general, each pixel block within a frame undergoes one of three types of motion compensation, based on the foreground / background classification of the block and the edge strength they indicate. These three types are global motion compensation, corrected global motion compensation, and local motion compensation. Each foreground block is identified by a segmentation mask such as that generated in FIG. 9 and is subjected to local motion compensation or corrected global motion compensation as determined by the object edge map of the image frame. The background block of the frame can also be specified by the segmentation mask, and global motion compensation is performed using the global affine parameters obtained by the processing of FIGS. 4-7. This compensation method type selection processing and local and corrected global motion compensation methods will be described in detail below.

図１２は、２つのピクセルブロック間の動きを捉えるローカル動きベクトルの導出に利用される技術の例示的実施形態を示しており、ここで１つのブロックは参照フレーム内にあり、他のブロックは現在のフレーム内にある。ブロック対は、それらの隣接するブロックの動きに対する、自身の動きに基づいて検出されうる。例えば、動き検出は、相関するブロック対間の動きが、隣接するブロック間の均一なグローバル動きの方向とは異なる、という観察に基づいて行われてよい。図１２に示された実施形態によると、３×３のブロック配置１２００の中心のブロック１２０５を、ローカル動きベクトルを推定する現在のフレームの対象ブロックとして選択する。現在のフレーム処理の時間ｔにおいては、ブロック１２０５は４つの隣接するブロック１２０１‐１２０９を、それぞれブロック１２０５からみた北、東、南、および西に有する。さらに、現在のフレームは、現在のフレームの前の時間ｔ‐１において処理される、時間的に隣接する参照フレームを有する。この参照フレームは、現在のフレームのブロック１２０１‐１２０９と１対１の関係にある一式のブロックを含む。現在のフレームのブロック１２０５の動きベクトルは、その後、前のフレームのブロック１２０１‐１２０４について時間ｔ‐１に計算されたグローバル動きベクトルから概算することができる、というのも、中心のブロックの動きは、隣接するブロックのものと僅かにしかずれていないと仮定できるからである。時間ｔ＋１における後続のフレームでは、各ブロック１２０６‐１２０９の動きベクトルを、時間ｔに計算されたその北、南、西、および東に隣接するブロックの動きから推定する。故に、フレームシーケンスの動きの値は、隣接する値に基づいて、画像シーケンスのフレームがそれぞれ時間的に進むにつれて、連続的にリファイン（refine）されていくことになる。  FIG. 12 illustrates an exemplary embodiment of a technique used to derive a local motion vector that captures motion between two pixel blocks, where one block is in a reference frame and the other blocks are currently In the frame. Block pairs can be detected based on their motion relative to the motion of their neighboring blocks. For example, motion detection may be based on the observation that the motion between correlated block pairs is different from the direction of uniform global motion between adjacent blocks. According to the embodiment shown in FIG. 12, thecentral block 1205 of the 3 × 3block arrangement 1200 is selected as the current block of interest for estimating the local motion vector. At the current frame processing time t,block 1205 has four adjacent blocks 1201-1209 to the north, east, south, and west, respectively, viewed fromblock 1205. In addition, the current frame has temporally adjacent reference frames that are processed at time t-1 prior to the current frame. This reference frame includes a set of blocks in a one-to-one relationship with blocks 1201-1209 of the current frame. The motion vector ofblock 1205 of the current frame can then be approximated from the global motion vector calculated at time t-1 for blocks 1201-1204 of the previous frame, since the motion of the central block is This is because it can be assumed that it is slightly shifted from that of the adjacent block. In subsequent frames attime t + 1, the motion vector of each block 1206-1209 is estimated from the motion of its neighboring blocks north, south, west, and east calculated at time t. Therefore, the motion value of the frame sequence is continuously refined as each frame of the image sequence advances in time based on adjacent values.

図１２も、本発明の別の側面による補正グローバル動き補償法を示すのに利用される。この補正グローバル動き補償法は、グローバル動き補償が、ブロックの動きを推定するには十分な精度を持たない場合に利用される可能性が高い。故に、グローバルアフィンパラメータに小さな補正を行って、生じる精度を向上させねばならない。また図１２の実施形態を参照すると、３×３のブロック配置１２００の中心のブロック１２０５を、ブロック１２０５からそれぞれ北、東、南、および西に位置する４つの隣接するブロック１２０１‐１２０９を有する現在のフレーム上の対象ブロックとして選択する。補正グローバル動き補償を決定した現在のフレームのグローバル動き補償版を決定しうる。このグローバル動き補償された現在のフレームは、現在のフレームのブロック１２０１‐１２０９と１対１の関係にある一式のブロックを含む。現在のフレーム内のブロック１２０５の動きベクトルは、その後、対応するグローバル動き補償されたフレームのブロック１２０１‐１２０４のグローバル動きベクトルから推定されてよい。特に、ブロック１２０５は、グローバル動き補償フレーム上の隣り合うブロック１２０１‐１２０４各々について計算された単一の均一な動きベクトルから全ての方向の増加量により並進または動きシフトされる。その結果生じる最も整合するベクトルが、ブロック１２０５の最終動きベクトルになる。この増加分は、ＸｃおよびＹｃという補正パラメータ対で表されてよく、ここではＸｃが水平グローバル方向のスカラーシフトを表し、Ｙｃが垂直グローバル方向のスカラーシフトを表す。  FIG. 12 is also used to illustrate a corrected global motion compensation method according to another aspect of the present invention. This corrected global motion compensation method is likely to be used when global motion compensation is not accurate enough to estimate the motion of a block. Therefore, a small correction must be made to the global affine parameters to improve the resulting accuracy. Referring also to the embodiment of FIG. 12, thecentral block 1205 of the 3 × 3block arrangement 1200 is a current block having four adjacent blocks 1201-1209 located north, east, south, and west, respectively, from theblock 1205. As the target block on the frame. A global motion compensation version of the current frame for which the corrected global motion compensation has been determined may be determined. This global motion compensated current frame includes a set of blocks that have a one-to-one relationship with blocks 1201-1209 of the current frame. The motion vector ofblock 1205 in the current frame may then be estimated from the global motion vector of blocks 1201-1204 of the corresponding global motion compensated frame. In particular,block 1205 is translated or motion shifted by increments in all directions from a single uniform motion vector calculated for each adjacent block 1201-1204 on the global motion compensation frame. The resulting most consistent vector is the final motion vector ofblock 1205. This increase may be represented by a pair of correction parameters Xc and Yc, where Xc represents a horizontal shift in the horizontal global direction and Yc represents a scalar shift in the vertical global direction.

ある実施形態においては、ローカル動き推定法は、補正グローバル動き補償法と類似しているが、前者では、ブロック補償量が現在のフレームと参照フレームとの比較に基づき決定されるのに比して、後者ではこの量を現在のフレームと、現在のフレームのグローバル動き補償された版との比較に基づいて決定されることが異なる。幾らかの実装例においては、補償量は、対象ブロックから所定の範囲内（例えば、対象ブロックを囲む３ピクセルブロックの範囲内）にあるピクセルの動きベクトルに基づいて決定される。  In some embodiments, the local motion estimation method is similar to the corrected global motion compensation method, but in the former, compared to the block compensation amount being determined based on a comparison between the current frame and the reference frame. The latter differs in that this amount is determined based on a comparison of the current frame with a global motion compensated version of the current frame. In some implementations, the amount of compensation is determined based on motion vectors of pixels that are within a predetermined range from the target block (eg, within a range of 3 pixel blocks surrounding the target block).

ローカル動きベクトルおよび補正グローバル動きベクトルの計算に対して隣接検索アルゴリズムを利用することの決定的な利点は、対象ブロックについて限られた数の隣接ブロックのみを検索すればいい、ということにある。加えて、これら隣接ブロックを利用して導出およびリファインされる動き推定値は、既に前のフレームで計算済みである。故に、これら技法は、動き推定の効率を大幅に高める。  The decisive advantage of using the neighbor search algorithm for the calculation of the local motion vector and the corrected global motion vector is that only a limited number of neighboring blocks need be searched for the target block. In addition, the motion estimates derived and refined using these neighboring blocks have already been calculated in the previous frame. Hence, these techniques greatly increase the efficiency of motion estimation.

図１３は、現在のフレームの各ブロックについてどの動き補償法を利用すべきかを選択する工程を示す。例えば、マルチプレクサ１３１０は先ず、グローバル動き補償法１３１２と、よりリファインされた補償法１３１４との間で選択を行う。この決定は、フレームの前景ブロックを背景ブロックから区別するセグメンテーションマスク１３１８の利用に基づいて行われる。グローバル動き補償１３１２は背景ブロックのみに適用される。任意のブロックがより精度の高い補正法を必要とする場合、マルチプレクサ１３０２は、ローカル動き補償法１３０４と補正グローバル動き補償法１３０６、いずれをそのブロックに適用するかの決定を行う。この決定は、そのブロックを補償するのに、ローカル動き補償法１３０４と補正グローバル動き補償法１３０６のいずれを利用するとエラーがより小さくなるか、を考えて行われる。故に、最終的なセグメンテーションマスク１３１８は、対象ブロック各々について適切な動き補償法を選択することができるので、グローバル、ローカル、または補正グローバル動きベクトル一式を各ブロックについて計算することができる。  FIG. 13 shows the process of selecting which motion compensation method to use for each block of the current frame. For example,multiplexer 1310 first selects between globalmotion compensation method 1312 and a morerefined compensation method 1314. This determination is based on the use of asegmentation mask 1318 that distinguishes the foreground block of the frame from the background block. Theglobal motion compensation 1312 is applied only to the background block. If any block requires a more accurate correction method, themultiplexer 1302 determines which of the localmotion compensation method 1304 and the corrected globalmotion compensation method 1306 is applied to the block. This determination is made by considering whether the localmotion compensation method 1304 or the corrected globalmotion compensation method 1306 is used to compensate for the block, and the error becomes smaller. Thus, thefinal segmentation mask 1318 can select an appropriate motion compensation method for each target block, so a global, local, or corrected global motion vector set can be calculated for each block.

図１４に示す本発明の別の側面によると、後処理手順１４００を、図１３の回路から取得したローカル動きベクトル１４１８をリファインするのに用いる。一般的なローカル動きベクトルは、ノイズおよびアパーチャー効果を受けやすい。故に、メジアンフィルタ１４０２および１４０４一式が、ローカルベクトル１４１８のｘ−ベクトル方向およびｙ−ベクトル方向両方に適用されて、ローカル補正に関する悪影響をいずれも最小限に抑える。メジアンフィルタの動作の前提は、隔離されたローカルブロックに隣接する全てのブロックが、隔離されたブロックの動きとは大幅に異なる均一な方向に動くとすると、隔離されたブロックの動きベクトルは、大部分の動きと実質的に適合するよう補正されねばならない、というものである。入力セグメンテーションマスク１４０６をメジアンフィルタ１４０２および１４０４とともに利用して、これら隔離されたブロックを特定する。メジアンフィルタの後に、ｘ‐方向およびｙ‐方向両方のリファインされたローカル動きベクトル１４０８‐１４１０は、ｘ‐方向およびｙ‐方向両方に、エッジ適合またはガウスフィルタ１４１２および１４１４一式によりさらなる処理を受ける。ガウスフィルタ１４１２および１４１４は、それぞれｘ−方向およびｙ−方向にローカル動きベクトル１４０８および１４１０を平滑化することで動作するが、ここで各ベクトル成分に適用される平滑化量は、図１０および１１で上述した手順を利用した入力オブジェクトエッジマップ１４１６により決定される。  According to another aspect of the invention shown in FIG. 14, apost-processing procedure 1400 is used to refine thelocal motion vector 1418 obtained from the circuit of FIG. General local motion vectors are susceptible to noise and aperture effects. Thus, a set ofmedian filters 1402 and 1404 are applied in both the x-vector and y-vector directions of thelocal vector 1418 to minimize any adverse effects related to local correction. The premise of median filter operation is that if all blocks adjacent to an isolated local block move in a uniform direction that is significantly different from the motion of the isolated block, then the motion vector of the isolated block is large. It must be corrected to substantially match the movement of the part. Aninput segmentation mask 1406 is utilized withmedian filters 1402 and 1404 to identify these isolated blocks. After the median filter, both the x-direction and y-direction refined local motion vectors 1408-1410 are further processed by edge fitting or a set ofGaussian filters 1412 and 1414 in both the x-direction and the y-direction. The Gaussian filters 1412 and 1414 operate by smoothing thelocal motion vectors 1408 and 1410 in the x-direction and the y-direction, respectively. Here, the smoothing amount applied to each vector component is as shown in FIGS. The inputobject edge map 1416 using the procedure described above is determined.

本発明のまた別の側面においては、動き補償補間法を利用して、一対の入力参照フレームおよび現在のフレーム間の１以上の中間フレームを推定する。先ず、一対のフレーム間のオブジェクトの動きを、一式の動きベクトルによりブロック毎に特徴づける。動きベクトルはその後、１以上の中間フレームを補間するのに利用され、それらが順次フレーム間の動き軌跡を捉えるようにする。より具体的には、図１５に示すように、モジュール１５０２を利用して、グローバル動き補償が必要な中間フレームの領域を補間する。この種類の動き補償補間は、一式の所定のグローバルアフィンパラメータ１５０４および参照フレーム１５０６と現在の入力フレーム１５０８の対とに基づいて計算される。モジュール１５１０を利用して、ローカル動き補償が必要な中間フレームの領域を補間する。この種類の動き補償補間は、一式の所定の入力ローカル動きベクトルおよび参照フレーム１５０６と現在の入力フレーム１５０８の対とに基づいて達成される。セグメンテーションマスク１５１４を利用して、１フレームの各領域が、補間中に、グローバルまたはローカルに動き補償されるべきかを決定してよい。  In yet another aspect of the invention, motion compensated interpolation is used to estimate a pair of input reference frames and one or more intermediate frames between the current frame. First, the motion of an object between a pair of frames is characterized for each block by a set of motion vectors. The motion vectors are then used to interpolate one or more intermediate frames so that they sequentially capture the motion trajectory between frames. More specifically, as shown in FIG. 15, amodule 1502 is used to interpolate an intermediate frame area that requires global motion compensation. This type of motion compensated interpolation is calculated based on a set of predetermined globalaffine parameters 1504 and a reference frame 1506 andcurrent input frame 1508 pair.Module 1510 is used to interpolate intermediate frame regions that require local motion compensation. This type of motion compensated interpolation is accomplished based on a set of predetermined input local motion vectors and a reference frame 1506 andcurrent input frame 1508 pair. Asegmentation mask 1514 may be utilized to determine whether each region of a frame should be globally or locally motion compensated during interpolation.

以上示した実施形態は、例示的であり、本発明の範囲を制限するものではない。開示した通信システムの様々なブロックで実装できるとして記載した式は、ハードウェア回路および／またはプロセッサ上で動作するソフトウェア命令により計算することができる。式の計算は、式内の項や演算そのものではなくてもよい。例えば、式計算は、式計算の結果が略等しくなるような、他の項および演算を利用して行われてもよい。故に、通信システムの様々なブロックは、直接これら式を計算することなしに、式に基づいた計算を行うことで行われてもよい。  The embodiments described above are exemplary and do not limit the scope of the present invention. The equations described as being implemented in various blocks of the disclosed communication system can be calculated by software instructions running on hardware circuits and / or processors. The calculation of the expression may not be a term in the expression or the operation itself. For example, the formula calculation may be performed using other terms and operations such that the results of the formula calculation are approximately equal. Thus, various blocks of the communication system may be performed by performing calculations based on equations without directly calculating these equations.

図１６Ａ−１６Ｅを参照すると、本発明の様々な例示的実装例が示されている。  Referring to FIGS. 16A-16E, various exemplary implementations of the present invention are shown.

図１６Ａを参照すると、本発明は、高精細テレビ（ＨＤＴＶ）１６２０に実装しうる。本発明は、ＨＤＴＶ１６２０の、一般的に図１６Ａでは１６２２として特定される処理および／または制御回路、ＷＬＡＮインタフェース１６２９、および／または大容量データ記憶装置１６２７を実装してよい。ＨＤＴＶ１６２０はＨＤＴＶ入力信号を有線形式あるいは無線形式で受信して、ディスプレイ１６２６用にＨＤＴＶ出力信号を生成する。幾らかの実施例においては、ＨＤＴＶ１６２０の信号処理回路および／または制御回路１６２２および／または他の回路（不図示）はデータ処理、符号化および／または暗号化、計算、データフォーマッティングおよび／またはＨＤＴＶが必要としうるその他の種類の処理を行いうる。  Referring to FIG. 16A, the present invention may be implemented in a high definition television (HDTV) 1620. The present invention may implement processing and / or control circuitry,WLAN interface 1629, and / or massdata storage device 1627, generally identified as 1622 in FIG. 16A, ofHDTV 1620. TheHDTV 1620 receives the HDTV input signal in a wired or wireless format and generates an HDTV output signal for the display 1626. In some embodiments, the signal processing circuitry and / orcontrol circuitry 1622 and / or other circuitry (not shown) of theHDTV 1620 may be used for data processing, encoding and / or encryption, computation, data formatting and / or HDTV. Other types of processing that may be required may be performed.

ＨＤＴＶ１６２０は、データを不揮発な形で記憶しうる大容量データ記憶装置１６２７と通信しうるが、ここで大容量データ記憶装置１６２７は、ハードディスクドライブ（ＨＤＤ）および／またはデジタルバーサタイルディスク（ＤＶＤ）ドライブなどの、光学記憶デバイスおよび／または磁気記憶デバイスを含みうる。ＨＤＤは、直径が約１．８"より小さい一以上のプラッタを含むミニＨＤＤであってもよい。ＨＤＴＶ１６２０は、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの低レイテンシー不揮発性メモリ、および／または他の適切な電子データ記憶装置などのメモリ１６２８に接続されうる。ＨＤＴＶ１６２０はＷＬＡＮインタフェース１６２９を介したＷＬＡＮへの接続を支援しうる。  TheHDTV 1620 can communicate with a massdata storage device 1627 that can store data in a nonvolatile form, where the massdata storage device 1627 can be a hard disk drive (HDD) and / or a digital versatile disk (DVD) drive, etc. Optical storage devices and / or magnetic storage devices. The HDD may be a mini HDD that includes one or more platters that are less than about 1.8 "in diameter. TheHDTV 1620 is a low-latency non-volatile memory such as RAM, ROM, flash memory, and / or other suitable It may be connected to amemory 1628 such as an electronic data storage device, etc. TheHDTV 1620 may support connection to a WLAN via aWLAN interface 1629.

図１６Ｂを参照すると、本発明は、車両１６００のデジタル娯楽システム１６０４に実装することができ、これは、ＷＬＡＮインタフェース１６１６および／または大容量データ記憶装置１６１０を含みうる。  Referring to FIG. 16B, the present invention may be implemented in adigital entertainment system 1604 of avehicle 1600 that may include aWLAN interface 1616 and / or a massdata storage device 1610.

デジタル娯楽システム１６０４は、データを不揮発な形で記憶しうる大容量データ記憶装置１６１０と通信しうる。大容量データ記憶装置１６１０は、ハードディスクドライブ（ＨＤＤ）および／またはデジタルバーサタイルディスク（ＤＶＤ）ドライブなどの、光学記憶デバイスおよび／または磁気記憶デバイスを含みうる。ＨＤＤは、直径が約１．８"より小さい一以上のプラッタを含むミニＨＤＤであってもよい。デジタル娯楽システム１６０４は、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの低レイテンシー不揮発性メモリ、および／または他の適切な電子データ記憶装置などのメモリ１６１４に接続されうる。デジタル娯楽システム１６０４はＷＬＡＮインタフェース１６16を介したＷＬＡＮへの接続を支援しうる。  Digital entertainment system 1604 may communicate withmass data storage 1610 that may store data in a nonvolatile manner.Mass data storage 1610 may include optical and / or magnetic storage devices, such as hard disk drives (HDD) and / or digital versatile disk (DVD) drives. The HDD may be a mini HDD that includes one or more platters that are less than about 1.8 "in diameter. Thedigital entertainment system 1604 may include low latency nonvolatile memory such as RAM, ROM, flash memory, and / or others. Connected to amemory 1614, such as any suitable electronic data storage device, and thedigital entertainment system 1604 may support connection to a WLAN via aWLAN interface 1616.

図１６Ｃを参照すると、本発明は、携帯式アンテナ１６５１を含みうる携帯電話機１６５０に実装しうる。本発明は、携帯電話機１６５０の、一般的に図１６Ｃでは１６５２として特定される処理および／または制御回路、ＷＬＡＮインタフェース１６６８、および／または大容量データ記憶装置１６６４を実装してよい。幾らかの実施例においては、携帯電話機１６５０は、マイクロフォン１６５６、スピーカおよび／または音声出力ジャックなどの音声出力１６５８、ディスプレイ１６６０、および／またはキーパッド、ポインティングデバイス、および／またはボイス駆動および／または他の入力デバイスなどの入力デバイス１６６２を含みうる。携帯電話機１６５０内の信号処理および／または制御回路１６５２および／または他の回路（不図示）は、データ処理、符号化および／または暗号化、計算、データフォーマッティングおよび／またはその他の携帯電話機能を行いうる。  Referring to FIG. 16C, the present invention can be implemented in amobile phone 1650 that can include aportable antenna 1651. The present invention may implement processing and / or control circuitry,WLAN interface 1668, and / or massdata storage device 1664, generally identified as 1652 in FIG. In some embodiments, themobile phone 1650 includes amicrophone 1656, anaudio output 1658 such as a speaker and / or audio output jack, adisplay 1660, and / or a keypad, pointing device, and / or voice-driven and / or others. Aninput device 1662 such as an input device may be included. Signal processing and / orcontrol circuitry 1652 and / or other circuitry (not shown) withinmobile phone 1650 performs data processing, encoding and / or encryption, computation, data formatting, and / or other mobile phone functions. sell.

携帯電話機１６５０は、データを不揮発な形で記憶する大容量データ記憶装置１６６４と通信しうるが、大容量データ記憶装置１６６４は、ハードディスクドライブ（ＨＤＤ）および／またはデジタルバーサタイルディスク（ＤＶＤ）ドライブなどの、光学記憶デバイスおよび／または磁気記憶デバイスを含みうる。ＨＤＤは、直径が約１．８"より小さい一以上のプラッタを含むミニＨＤＤであってもよい。携帯電話機１６５０は、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの低レイテンシー不揮発性メモリ、および／または他の適切な電子データ記憶装置などのメモリ１６６６に接続されうる。携帯電話機１６５０はＷＬＡＮインタフェース１６６８を介したＷＬＡＮへの接続を支援しうる。  Themobile phone 1650 can communicate with a massdata storage device 1664 that stores data in a nonvolatile form, such as a hard disk drive (HDD) and / or a digital versatile disc (DVD) drive. Optical storage devices and / or magnetic storage devices. The HDD may be a mini HDD that includes one or more platters that are less than about 1.8 "in diameter. Themobile phone 1650 may be a low-latency non-volatile memory such as RAM, ROM, flash memory, and / or other It may be connected to amemory 1666, such as a suitable electronic data storage device, and themobile phone 1650 may support connection to a WLAN via aWLAN interface 1668.

図１６Ｄを参照すると、本発明はセットトップボックス１６８０に実装しうる。本発明は、セットトップボックス１６８０の、一般的に図１６Ｄでは１６８４として特定される処理および／または制御回路、ＷＬＡＮインタフェース１６９６、および／または大容量データ記憶装置１６９０を実装してよい。セットトップボックス１６８０はブロードバンドソースなどのソースから信号を受け取り、テレビおよび／またはモニタおよび／または他のビデオおよび／または音声出力デバイスなどのディスプレイ１６８８に適した、標準音声／映像信号および／または高精細音声／映像信号を出力してよい。セットトップボックス１６８０内の信号処理および／または制御回路１６８４および／または他の回路（不図示）は、データ処理、符号化および／または暗号化、計算、データフォーマッティングおよび／またはその他のセットトップボックス機能を行いうる。  Referring to FIG. 16D, the present invention may be implemented in aset top box 1680. The present invention may implement the processing and / or control circuitry,WLAN interface 1696, and / or massdata storage device 1690, generally identified as 1684 in FIG. 16D, of the settop box 1680. Theset top box 1680 receives signals from a source such as a broadband source and is suitable for a standard audio / video signal and / or high definition suitable for adisplay 1688 such as a television and / or monitor and / or other video and / or audio output device. Audio / video signals may be output. Signal processing and / orcontrol circuitry 1684 and / or other circuitry (not shown) within set-top box 1680 may be used for data processing, encoding and / or encryption, computation, data formatting and / or other set-top box functions. Can be performed.

セットトップボックス１６８０は、データを不揮発な形で記憶する大容量データ記憶装置１６９０と通信しうる。大容量データ記憶装置１６９０は、ハードディスクドライブ（ＨＤＤ）および／またはデジタルバーサタイルディスク（ＤＶＤ）ドライブなどの、光学記憶デバイスおよび／または磁気記憶デバイスを含みうる。ＨＤＤは、直径が約１．８"より小さい一以上のプラッタを含むミニＨＤＤであってもよい。セットトップボックス１６８０は、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの低レイテンシー不揮発性メモリ、および／または他の適切な電子データ記憶装置などのメモリ１６９４に接続されうる。セットトップボックス１６８０はＷＬＡＮインタフェース１６９６を介したＷＬＡＮへの接続を支援しうる。  Settop box 1680 may communicate withmass data storage 1690 that stores data in a nonvolatile manner. Massdata storage device 1690 may include optical and / or magnetic storage devices, such as hard disk drives (HDD) and / or digital versatile disk (DVD) drives. The HDD may be a mini HDD that includes one or more platters that are less than about 1.8 "in diameter. Theset top box 1680 may be a low-latency non-volatile memory such as RAM, ROM, flash memory, and / or others. May be connected to amemory 1694, such as a suitable electronic data storage device, and aset top box 1680 may support connection to a WLAN via aWLAN interface 1696.

図１６Ｅを参照すると、本発明は、メディアプレーヤ１７００に実装しうる。本発明は、メディアプレーヤ１７００の、一般的に図１６Ｅでは１７０４として特定される処理および／または制御回路、ＷＬＡＮインタフェース１７１６、および／または大容量データ記憶装置１７１０を実装してよい。幾らかの実施例においては、メディアプレーヤ１７００は、ディスプレイ１７０７、および／またはキーパッド、タッチパッドなどのユーザ入力１７０８を含む。幾らかの実施例においては、メディアプレーヤ１７００は、典型的にメニュー、ドロップダウンメニュー、アイコンおよび／またはポイントアンドクリックインタフェースをディスプレイ１７０７および／またはユーザ入力１７０８を介して利用するグラフィカルユーザインタフェース（ＧＵＩ）を利用しうる。メディアプレーヤ１７００はさらに、スピーカおよび／または音声出力ジャックなどの音声出力１７０９を含む。メディアプレーヤ１７００の信号処理および／または制御回路１７０４および／または他の回路（不図示）は、データ処理、符号化および／または暗号化、計算、データフォーマッティングおよび／またはその他のメディアプレーヤ機能を行いうる。  Referring to FIG. 16E, the present invention may be implemented in amedia player 1700. The present invention may implement the processing and / or control circuitry,WLAN interface 1716, and / or massdata storage device 1710 ofmedia player 1700, generally identified as 1704 in FIG. 16E. In some embodiments, themedia player 1700 includes adisplay 1707 and / oruser input 1708 such as a keypad, touchpad, and the like. In some embodiments, themedia player 1700 typically uses a menu, drop-down menu, icon and / or point-and-click interface via adisplay 1707 and / oruser input 1708 to provide a graphical user interface (GUI). Can be used.Media player 1700 further includes an audio output 1709, such as a speaker and / or audio output jack. Signal processing and / orcontrol circuitry 1704 and / or other circuitry (not shown) ofmedia player 1700 may perform data processing, encoding and / or encryption, computation, data formatting, and / or other media player functions. .

メディアプレーヤ１７００は、圧縮された音声および／または映像コンテンツなどのデータを不揮発な形で記憶する大容量データ記憶装置１７１０と連通しうる。幾らかの実施形態においては、圧縮された音声ファイルは、ＭＰ３形式あるいは他の適切な圧縮された音声および／または映像形式に準拠したファイルを含む。大容量データ記憶装置１７１０は、ハードディスクドライブ（ＨＤＤ）および／またはデジタルバーサタイルディスク（ＤＶＤ）ドライブなどの、光学記憶デバイスおよび／または磁気記憶デバイスを含みうる。ＨＤＤは、直径が約１．８"より小さい一以上のプラッタを含むミニＨＤＤであってもよい。メディアプレーヤ１７００は、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの低レイテンシー不揮発性メモリ、および／または他の適切な電子データ記憶装置などのメモリ１７１４に接続されうる。メディアプレーヤ１７００はＷＬＡＮインタフェース１７１６を介したＷＬＡＮへの接続を支援しうる。これら記載されたものに加えて他の実施例も考えられる。  Media player 1700 may communicate withmass data storage 1710 that stores data such as compressed audio and / or video content in a nonvolatile manner. In some embodiments, the compressed audio file includes a file that conforms to the MP3 format or other suitable compressed audio and / or video format. Massdata storage device 1710 may include optical and / or magnetic storage devices, such as hard disk drives (HDD) and / or digital versatile disk (DVD) drives. The HDD may be a mini HDD that includes one or more platters that are less than about 1.8 "in diameter. Themedia player 1700 may be a low-latency non-volatile memory such as RAM, ROM, flash memory, and / or other It may be connected to amemory 1714, such as a suitable electronic data storage device, and themedia player 1700 may support connection to a WLAN via aWLAN interface 1716. In addition to those described, other embodiments are possible.

入力フレームシーケンスから動き補償されたフレームを効率よく且つ正確に補間する様々な技法を含む、動き補償画像レートコンバータに係るシステムおよび方法を記載してきた。当業者であれば、本発明が記載された実施形態以外の方法によっても実施できることを理解するであろうし、記載された実施形態は例示を目的としたものであって、それに限定することは意図していない。本発明は以下に記載する請求項によってのみ限定される。  Systems and methods for motion compensated image rate converters have been described, including various techniques for efficiently and accurately interpolating motion compensated frames from an input frame sequence. One skilled in the art will appreciate that the present invention may be practiced in other ways than those described, which are intended to be illustrative and not limiting. Not done. The invention is limited only by the claims set forth below.

Claims (72)

Translated fromJapanese

動き推定を適用する方法であって、
現在のフレームと参照フレームとを少なくとも有する入力信号を受信する工程と、
前記参照フレームと前記現在のフレームとの間のグローバル動きを推定して、少なくとも１つのアフィン動きパラメータを生成する工程と、
前記参照フレームと前記現在のフレームとの間のローカル動きを推定して、少なくとも１つの動きベクトルを生成する工程と、を備え、
前記少なくとも１つのアフィン動きパラメータは、前記参照フレームと前記現在のフレームとの間の第１領域の前記グローバル動きを推定し、
前記少なくとも１つの動きベクトルは、前記参照フレームと前記現在のフレームとの間の第２領域のローカル動きを推定する、方法。A method for applying motion estimation, comprising:
Receiving an input signal having at least a current frame and a reference frame;
Estimating global motion between the reference frame and the current frame to generate at least one affine motion parameter;
Estimating local motion between the reference frame and the current frame to generate at least one motion vector;
The at least one affine motion parameter estimates the global motion of a first region between the reference frame and the current frame;
The method, wherein the at least one motion vector estimates a local motion of a second region between the reference frame and the current frame. 少なくとも１つの粗いアフィンパラメータを生成する工程と、
前記少なくとも１つの粗いアフィンパラメータをリファインして、前記少なくとも１つのアフィン動きパラメータを生成する工程と、をさらに備える、請求項１に記載の方法。Generating at least one coarse affine parameter;
The method of claim 1, further comprising refining the at least one coarse affine parameter to generate the at least one affine motion parameter. 前記第１領域は、前記現在のフレームの背景領域であり、
前記少なくとも１つのアフィン動きパラメータは、前記第１領域の動き補償に利用される、請求項１に記載の方法。The first region is a background region of the current frame;
The method of claim 1, wherein the at least one affine motion parameter is utilized for motion compensation of the first region. 前記参照フレームの前記第２領域に隣接する隣接領域を特定する工程と、
前記参照フレームについて計算した前記隣接領域の動きベクトルを利用して、前記現在のフレームの前記第２領域の前記少なくとも１つの動きベクトルを生成する工程と、をさらに備え、
前記少なくとも１つの動きベクトルは、ローカル動きベクトルである、請求項１に記載の方法。Identifying an adjacent region adjacent to the second region of the reference frame;
Generating the at least one motion vector of the second region of the current frame using the motion vector of the adjacent region calculated for the reference frame; and
The method of claim 1, wherein the at least one motion vector is a local motion vector. 前記参照フレームの前記第２領域に隣接する隣接領域を特定する工程と、
前記隣接領域に対応するアフィン動きパラメータを計算する工程と、
前記計算されたアフィン動きパラメータを利用して、前記第２領域の前記少なくとも１つの動きベクトルを生成する工程と、をさらに備え、
前記少なくとも１つの動きベクトルは、補正グローバル動きベクトルである、請求項１に記載の方法。Identifying an adjacent region adjacent to the second region of the reference frame;
Calculating an affine motion parameter corresponding to the adjacent region;
Generating the at least one motion vector of the second region using the calculated affine motion parameters; and
The method of claim 1, wherein the at least one motion vector is a corrected global motion vector. 前記第２領域は、前記現在のフレームに適用されたセグメンテーションマスクおよびオブジェクトエッジ強さマップのうち少なくとも１つにより決定される、請求項１に記載の方法。  The method of claim 1, wherein the second region is determined by at least one of a segmentation mask and an object edge strength map applied to the current frame. 補正グローバル動きベクトルおよびローカル動きベクトルの適用により生成されたエラーのうち小さいほうに基づき、前記補正グローバル動きベクトルおよび前記ローカル動きベクトルのいずれかを利用して、前記第２領域の動きを補償する、請求項１に記載の方法。  Compensating for the motion of the second region based on the smaller of the errors generated by applying the corrected global motion vector and the local motion vector, using either the corrected global motion vector or the local motion vector; The method of claim 1. グローバル動き推定を行う方法であって、
現在のフレームと参照フレームとを少なくとも有する入力信号を受信する工程と、
前記現在のフレームと前記参照フレームとを位相相関させる工程と、
前記位相相関に基づいて前記現在のフレームと前記参照フレームとの間のグローバル並進動きを推定する少なくとも１つのアフィンパラメータを計算する工程と、を備える、方法。A global motion estimation method,
Receiving an input signal having at least a current frame and a reference frame;
Phase correlating the current frame with the reference frame;
Calculating at least one affine parameter that estimates a global translational motion between the current frame and the reference frame based on the phase correlation. 前記現在のフレームと前記参照フレームとを位相相関させる工程は、
デシメーションファクタにより前記現在のフレームおよび前記参照フレームをそれぞれデシメーションする工程と、
前記デシメーションされた現在のフレームおよび参照フレームをフーリエ変換する工程と、
前記変換された現在のフレームに相関する位相を、前記変換された参照フレームに相関する位相から減算して、位相差アレイを生成する工程と、
前記位相差アレイの指数を逆フーリエ変換して、相関面を生成する工程と、を含む、請求項８に記載の方法。The phase correlating the current frame and the reference frame comprises:
Decimating the current frame and the reference frame, respectively, with a decimation factor;
Fourier transforming the decimated current frame and reference frame;
Subtracting the phase correlated to the transformed current frame from the phase correlated to the transformed reference frame to generate a phase difference array;
The method of claim 8, further comprising: inverse Fourier transforming the exponent of the phase difference array to generate a correlation surface. 前記相関面の最大値と前記相関面の前記最大値の位置とを利用して、前記少なくとも１つのアフィンパラメータを計算する、請求項９に記載の方法。  The method of claim 9, wherein the at least one affine parameter is calculated using a maximum value of the correlation surface and a position of the maximum value of the correlation surface. 前記デシメーションファクタは１、４、および９のいずれかである、請求項９に記載の方法。  The method of claim 9, wherein the decimation factor is one of 1, 4, and 9. 前記少なくとも１つのアフィンパラメータを利用して前記参照フレームを更新する工程と、
前記更新された参照フレームと前記現在のフレームとの間の差を求める工程と、
前記少なくとも１つのアフィンパラメータをリファインして前記差を最小にする工程と、をさらに備える、請求項８に記載の方法。Updating the reference frame using the at least one affine parameter;
Determining a difference between the updated reference frame and the current frame;
9. The method of claim 8, further comprising refining the at least one affine parameter to minimize the difference. 参照フレームとの関連で現在のフレームの対象領域について少なくとも１つの動きベクトルを生成する方法であって、
前記現在のフレームと前記参照フレームとの間のグローバル動きを推定する少なくとも１つのアフィンパラメータを提供する工程と、
前記少なくとも１つのアフィンパラメータに基づいて、前記現在のフレームの前景領域および背景領域を特定するセグメンテーションマスクを生成する工程と、
前記現在のフレームの大きなエッジ強さを有する領域を特定するオブジェクトエッジ強さマップを生成する工程と、
前記対象領域との関連で、前記前景領域、前記背景領域、および前記大きなエッジ強さを有する領域に基づいて、前記対象領域について前記少なくとも１つの動きベクトルを計算する工程と、を備える、方法。A method for generating at least one motion vector for a target region of a current frame in relation to a reference frame, comprising:
Providing at least one affine parameter that estimates global motion between the current frame and the reference frame;
Generating a segmentation mask identifying a foreground region and a background region of the current frame based on the at least one affine parameter;
Generating an object edge strength map identifying a region having a large edge strength of the current frame;
Calculating the at least one motion vector for the target region based on the foreground region, the background region, and the region having a large edge strength in relation to the target region. 前記少なくとも１つの動きベクトルを計算する工程は、
グローバル動きベクトル、補正グローバル動きベクトル、およびローカル動きベクトルのうち少なくとも１つを計算する工程を含む、請求項１３に記載の方法。Calculating the at least one motion vector comprises:
The method of claim 13, comprising calculating at least one of a global motion vector, a corrected global motion vector, and a local motion vector. 前記セグメンテーションマスクを生成する工程は、
前記少なくとも１つのアフィンパラメータを利用して前記参照フレームを更新する工程と、
前記更新された参照フレームと前記現在のフレームとの間の差異フレームを求める工程と、
前記差異フレームの各領域を第１閾値と比較して、前記領域を前記前景領域および前記背景領域のいずれかに分類する工程と、を含む、請求項１３に記載の方法。The step of generating the segmentation mask includes:
Updating the reference frame using the at least one affine parameter;
Determining a difference frame between the updated reference frame and the current frame;
14. The method of claim 13, comprising comparing each region of the difference frame with a first threshold and classifying the region as either the foreground region or the background region. 前記セグメンテーションマスク内に少なくとも２つの接続された領域を有するオブジェクトを決定する工程と、
前記オブジェクトが占める面積を数量化する工程と、
前記数量化された面積を第２閾値と比較して、前記少なくとも２つの接続された領域の各々を、前記前景領域および前記背景領域のいずれかに再分類する工程と、をさらに備える、請求項１５に記載の方法。Determining an object having at least two connected regions within the segmentation mask;
Quantifying the area occupied by the object;
Comparing the quantified area with a second threshold and reclassifying each of the at least two connected regions into either the foreground region or the background region. 15. The method according to 15. 前記オブジェクトエッジ強さマップを生成する工程は、
前記現在のフレームのサブ領域の垂直方向および水平方向に相関する複数の固有値を生成する工程と、
前記複数の固有値の最大値を決定する工程と、を含み、
前記最大値が画定する範囲に実質的に在る固有値を有する前記サブ領域の各々は、大きなエッジ強さを有する領域である、請求項１３に記載の方法。The step of generating the object edge strength map includes:
Generating a plurality of eigenvalues correlated in the vertical and horizontal directions of the sub-region of the current frame;
Determining a maximum value of the plurality of eigenvalues,
The method of claim 13, wherein each of the sub-regions having eigenvalues substantially within a range defined by the maximum value is a region having a large edge strength. 前記対象領域に対応する前記動きベクトルに対して、メジアンフィルタリング、エッジ適合フィルタリング、およびガウスフィルタリングのうち少なくとも１つを適用する工程をさらに備え、
前記対象領域は、前記現在のフレームに適用された前記セグメンテーションマスクと前記オブジェクトエッジ強さマップとの組み合わせから選択される、請求項１３に記載の方法。Applying at least one of median filtering, edge matching filtering, and Gaussian filtering to the motion vector corresponding to the target region;
The method of claim 13, wherein the region of interest is selected from a combination of the segmentation mask applied to the current frame and the object edge strength map. 前記少なくとも１つの動きベクトルを利用して、前記現在のフレームと前記参照フレームとの間に動き補償されたフレームを補間する工程をさらに備える、請求項１３に記載の方法。  The method of claim 13, further comprising interpolating a motion compensated frame between the current frame and the reference frame using the at least one motion vector. 動き補償されたフレームレート変換を行う方法であって、
現在のフレームと参照フレームとを少なくとも有する入力信号を受信する工程と、
前記現在のフレームと前記参照フレームとを処理する工程と、
前記処理された現在のフレームと前記処理された参照フレームとの間のグローバル動きおよびローカル動きそれぞれを特徴付けるアフィングローバル動きパラメータおよび動きベクトルのうち少なくとも１つを提供する工程と、
前記アフィングローバル動きパラメータと前記動きベクトルのうち少なくとも１つを利用して、前記処理された現在のフレームと前記処理された参照フレームとの間に少なくとも１つのフレームを補間する、動き補償補間を行う工程と、を備える、方法。A method for performing motion compensated frame rate conversion, comprising:
Receiving an input signal having at least a current frame and a reference frame;
Processing the current frame and the reference frame;
Providing at least one of affine global motion parameters and motion vectors characterizing global motion and local motion, respectively, between the processed current frame and the processed reference frame;
Performing motion compensated interpolation using at least one of the affine global motion parameter and the motion vector to interpolate at least one frame between the processed current frame and the processed reference frame A method comprising the steps of: 前記動き補償補間された出力信号を後処理する工程をさらに備え、
前記出力信号は、前記入力信号の本来のフレームレートより早いフレームレートを有する、請求項２０に記載の方法。Further comprising post-processing the motion compensated interpolated output signal;
21. The method of claim 20, wherein the output signal has a frame rate that is faster than an original frame rate of the input signal. 前記処理された現在のフレームと前記処理された参照フレームとを後処理して、前記動き補償補間を行うべき信号を生成する工程をさらに備え、
前記信号は、前記入力信号の本来のフレームレートに略等しいフレームレートを有する、請求項２０に記載の方法。Further comprising post-processing the processed current frame and the processed reference frame to generate a signal to perform the motion compensated interpolation;
21. The method of claim 20, wherein the signal has a frame rate that is approximately equal to an original frame rate of the input signal. 前記現在のフレームと前記参照フレームとを処理する工程は、
前記現在のフレームと前記参照フレームとに対してノイズ低減およびデインターレースのうち少なくとも１つを行う工程を含む、請求項２０に記載の方法。Processing the current frame and the reference frame comprises:
21. The method of claim 20, comprising performing at least one of noise reduction and deinterlacing on the current frame and the reference frame. 動き補償フレームレートコンバータであって、
現在のフレームと参照フレームとを少なくとも有する入力信号を受信する回路と、
前記参照フレームと前記現在のフレームとの間のグローバル動きを推定して、少なくとも１つのアフィン動きパラメータを生成するグローバルアフィン動き推定モジュールと、
前記参照フレームと前記現在のフレームとの間のローカル動きを推定して、少なくとも１つの動きベクトルを生成するローカル動き補正モジュールと、を備え、
前記少なくとも１つのアフィン動きパラメータは、前記参照フレームと前記現在のフレームとの間の第１領域の前記グローバル動きを推定し、
前記少なくとも１つの動きベクトルは、前記参照フレームと前記現在のフレームとの間の第２領域のローカル動きを推定する、動き補償フレームレートコンバータ。A motion compensated frame rate converter,
A circuit for receiving an input signal having at least a current frame and a reference frame;
A global affine motion estimation module that estimates global motion between the reference frame and the current frame to generate at least one affine motion parameter;
A local motion compensation module that estimates local motion between the reference frame and the current frame to generate at least one motion vector;
The at least one affine motion parameter estimates the global motion of a first region between the reference frame and the current frame;
A motion compensated frame rate converter, wherein the at least one motion vector estimates a local motion of a second region between the reference frame and the current frame. 前記グローバルアフィン動き推定モジュールは、
少なくとも１つの粗いアフィンパラメータを生成するグローバル並進推定・アフィン予測モジュールと、
前記少なくとも１つの粗いアフィンパラメータをリファインして、前記少なくとも１つのアフィン動きパラメータを生成するアフィンパラメータリファインモジュールと、を含む、請求項２４に記載の動き補償フレームレートコンバータ。The global affine motion estimation module includes:
A global translation estimation and affine prediction module that generates at least one coarse affine parameter;
25. The motion compensated frame rate converter of claim 24, comprising: an affine parameter refinement module that refines the at least one coarse affine parameter to produce the at least one affine motion parameter. 前記アフィンパラメータリファインモジュールは、ＲＡＮＳＡＣ（ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）に基づくリファイン法を利用する、請求項２４に記載の動き補償フレームレートコンバータ。  25. The motion compensated frame rate converter according to claim 24, wherein the affine parameter refinement module uses a refinement method based on RANSAC (RANdom Sample Consensus). 前記第１領域は、前記現在のフレームの背景領域であり、
前記少なくとも１つのアフィン動きパラメータは、前記第１領域の動き補償に利用される、請求項２４に記載の動き補償フレームレートコンバータ。The first region is a background region of the current frame;
25. The motion compensated frame rate converter of claim 24, wherein the at least one affine motion parameter is utilized for motion compensation of the first region. 前記ローカル動き補正モジュールは、
前記参照フレームの前記第２領域に隣接する隣接領域を特定する回路と、
前記参照フレームについて計算した前記隣接領域の動きベクトルを利用して、前記現在のフレームの前記第２領域の前記少なくとも１つの動きベクトルを生成するローカル動き推定モジュールと、を含み、
前記少なくとも１つの動きベクトルは、ローカル動きベクトルである、請求項２４に記載の動き補償フレームレートコンバータ。The local motion compensation module includes:
A circuit for specifying an adjacent region adjacent to the second region of the reference frame;
A local motion estimation module that generates the at least one motion vector of the second region of the current frame using the motion vector of the adjacent region calculated for the reference frame;
25. A motion compensated frame rate converter according to claim 24, wherein the at least one motion vector is a local motion vector. 前記ローカル動き補正モジュールは、
前記参照フレームの前記第２領域に隣接する隣接領域を特定する回路と、
前記隣接領域について計算したアフィン動きパラメータを利用して、前記第２領域の前記少なくとも１つの動きベクトルを生成する補正グローバル動き推定モジュールと、を含み、
前記少なくとも１つの動きベクトルは、補正グローバル動きベクトルである、請求項２４に記載の動き補償フレームレートコンバータ。The local motion compensation module includes:
A circuit for specifying an adjacent region adjacent to the second region of the reference frame;
A corrected global motion estimation module that generates the at least one motion vector of the second region using affine motion parameters calculated for the adjacent region;
25. A motion compensated frame rate converter according to claim 24, wherein the at least one motion vector is a corrected global motion vector. 前記第２領域は、セグメンテーションマスクおよびオブジェクトエッジ強さマップの少なくとも１つを前記現在のフレームに適用することにより決定される、請求項２４に記載の動き補償フレームレートコンバータ。  25. The motion compensated frame rate converter of claim 24, wherein the second region is determined by applying at least one of a segmentation mask and an object edge strength map to the current frame. 補正グローバル動きベクトルおよびローカル動きベクトルの適用により生成されたエラーのうち小さいほうに基づき、前記補正グローバル動きベクトルおよび前記ローカル動きベクトルのいずれかを利用して、前記第２領域の動きを補償する、請求項２４に記載の動き補償フレームレートコンバータ。  Compensating for the motion of the second region using either the corrected global motion vector or the local motion vector based on the smaller of the errors generated by applying the corrected global motion vector and the local motion vector; 25. A motion compensated frame rate converter according to claim 24. 前記動き補償フレームレートコンバータは、動き補償画像レートコンバータの内部に提供され、フレームシーケンスを有する入力信号を処理する、請求項２４に記載の動き補償フレームレートコンバータ。  The motion compensated frame rate converter of claim 24, wherein the motion compensated frame rate converter is provided within a motion compensated image rate converter to process an input signal having a frame sequence. グローバル並進推定モジュールであって、
現在のフレームと参照フレームとを少なくとも有する入力信号を受信する回路と、
前記現在のフレームと前記参照フレームとを位相相関させる位相相関モジュールと、
前記位相相関に基づいて前記現在のフレームと前記参照フレームとの間のグローバル並進動きを推定する少なくとも１つのアフィンパラメータを計算する回路と、を備える、グローバル並進推定モジュール。A global translation estimation module,
A circuit for receiving an input signal having at least a current frame and a reference frame;
A phase correlation module that phase correlates the current frame and the reference frame;
A global translation estimation module comprising: at least one affine parameter that estimates global translation motion between the current frame and the reference frame based on the phase correlation. デシメーションファクタにより前記現在のフレームおよび前記参照フレームをそれぞれデシメーションする回路と、
前記デシメーションされた現在のフレームおよび参照フレームをフーリエ変換する回路と、
前記変換された現在のフレームに相関する位相を、前記変換された参照フレームに相関する位相から減算して、位相差アレイを生成する回路と、
前記位相差アレイの指数を逆フーリエ変換して、相関面を生成する回路と、を備える請求項３３に記載のグローバル並進推定モジュール。A circuit for decimating the current frame and the reference frame, respectively, according to a decimation factor;
Circuitry for Fourier transforming the decimated current frame and reference frame;
A circuit that subtracts a phase correlated to the converted current frame from a phase correlated to the converted reference frame to generate a phase difference array;
The global translation estimation module according to claim 33, further comprising: a circuit that generates a correlation surface by performing an inverse Fourier transform on an index of the phase difference array. 前記相関面の最大値と前記相関面の前記最大値の位置とを決定する回路をさらに備え、
前記最大値と前記最大値の位置とを利用して、前記少なくとも１つのアフィンパラメータを計算する、請求項３４に記載のグローバル並進推定モジュール。A circuit for determining a maximum value of the correlation surface and a position of the maximum value of the correlation surface;
35. The global translation estimation module according to claim 34, wherein the at least one affine parameter is calculated using the maximum value and the position of the maximum value. 前記デシメーションファクタは１、４、および９のいずれかである、請求項３４に記載のグローバル並進推定モジュール。  35. The global translation estimation module of claim 34, wherein the decimation factor is one of 1, 4, and 9. 前記少なくとも１つのアフィンパラメータは、前記グローバル並進推定モジュールに連結されたアフィンパラメータリファインモジュールに提供され、
前記アフィンパラメータリファインモジュールは、
前記少なくとも１つのアフィンパラメータに基づいて前記参照フレームを更新する回路と、
前記更新された参照フレームと前記現在のフレームとの間の差を求める回路と、
前記少なくとも１つのアフィンパラメータをリファインして前記差を最小にする回路と、を含む、請求項３３に記載のグローバル並進推定モジュール。The at least one affine parameter is provided to an affine parameter refinement module coupled to the global translation estimation module;
The affine parameter refinement module is
A circuit for updating the reference frame based on the at least one affine parameter;
Circuitry for determining a difference between the updated reference frame and the current frame;
34. A global translation estimation module according to claim 33, comprising circuitry for refining the at least one affine parameter to minimize the difference. ローカル動き補正モジュールであって、
現在のフレームの前景領域および背景領域を特定するセグメンテーションマスクと、
前記現在のフレームの大きなエッジ強さを有する領域を特定するオブジェクトエッジ強さマップと、
対象領域との関連で、前記前景領域、前記背景領域、および前記大きなエッジ強さを有する領域に基づいて、前記対象領域について少なくとも１つの動きベクトルを計算する回路と、を備える、ローカル動き補正モジュール。A local motion compensation module,
A segmentation mask that identifies the foreground and background areas of the current frame;
An object edge strength map identifying a region having a large edge strength of the current frame;
A local motion correction module comprising: a circuit that calculates at least one motion vector for the target region based on the foreground region, the background region, and the region having the large edge strength in relation to the target region. . 前記少なくとも１つの動きベクトルを計算する回路は、
前記対象領域について、補正グローバル動きベクトルおよびローカル動きベクトルのうち少なくとも１つを計算する回路を含む、請求項３８に記載のローカル動き補正モジュール。The circuit for calculating the at least one motion vector comprises:
39. The local motion correction module according to claim 38, comprising circuitry for calculating at least one of a corrected global motion vector and a local motion vector for the region of interest. 前記セグメンテーションマスクは、
前記現在のフレームと前記参照フレームとの間のグローバル動きを特徴付ける少なくとも１つのアフィンパラメータを利用して、前記参照フレームを更新する回路と、
前記更新された参照フレームと前記現在のフレームとの間の差異フレームを求める回路と、
前記差異フレームの各領域を第１閾値と比較して、前記領域を前記前景領域および前記背景領域のいずれかに分類する回路と、を含む回路により生成される、請求項３８に記載のローカル動き補正モジュール。The segmentation mask is
Circuitry for updating the reference frame utilizing at least one affine parameter characterizing global motion between the current frame and the reference frame;
Circuitry for determining a difference frame between the updated reference frame and the current frame;
39. The local motion of claim 38, wherein the local motion is generated by a circuit comprising: comparing each region of the difference frame with a first threshold and classifying the region into one of the foreground region and the background region. Correction module. 前記セグメンテーションマスクは、さらに、
前記セグメンテーションマスク内に少なくとも２つの接続された領域を有するオブジェクトを決定する回路と、
前記オブジェクトが占める面積を数量化する回路と、
前記数量化された面積を第２閾値と比較して、前記少なくとも２つの接続された領域の各々を、前記前景領域および前記背景領域のいずれかに再分類する回路と、を含む回路により生成される、請求項４０に記載のローカル動き補正モジュール。The segmentation mask further includes:
Circuitry for determining an object having at least two connected regions in the segmentation mask;
A circuit for quantifying the area occupied by the object;
A circuit that compares the quantified area with a second threshold and reclassifies each of the at least two connected regions into either the foreground region or the background region. 41. The local motion compensation module of claim 40. 前記オブジェクトエッジ強さマップは、
前記現在のフレームのサブ領域の垂直方向および水平方向に相関する複数の固有値を生成する回路と、
前記複数の固有値の最大値を決定する回路と、を含む回路により生成され、
前記最大値が画定する範囲に実質的に在る固有値を有する前記サブ領域の各々は、大きなエッジ強さを有する領域として適合される、請求項３８に記載のローカル動き補正モジュール。The object edge strength map is:
A circuit for generating a plurality of eigenvalues correlated in the vertical and horizontal directions of the sub-region of the current frame;
A circuit for determining a maximum value of the plurality of eigenvalues, and
40. The local motion correction module of claim 38, wherein each of the sub-regions having eigenvalues substantially within a range defined by the maximum value is adapted as a region having a large edge strength. メジアンフィルタ、エッジ適合フィルタ、およびガウスフィルタのうち少なくとも１つを利用して、前記対象領域に対応する前記動きベクトルをフィルタにかけ、
前記対象領域は、前記現在のフレームに適用された前記セグメンテーションマスクと前記オブジェクトエッジ強さマップとの組み合わせから選択される、請求項３８に記載のローカル動き補正モジュール。Filtering the motion vector corresponding to the region of interest using at least one of a median filter, an edge fitting filter, and a Gaussian filter;
39. The local motion correction module of claim 38, wherein the region of interest is selected from a combination of the segmentation mask applied to the current frame and the object edge strength map. 前記少なくとも１つの動きベクトルを利用して、前記現在のフレームと前記参照フレームとの間に動き補償されたフレームを補間する、請求項３８に記載のローカル動き補正モジュール。  40. The local motion correction module of claim 38, wherein the at least one motion vector is utilized to interpolate a motion compensated frame between the current frame and the reference frame. 動き補償画像レートコンバータであって、
参照フレームと現在のフレームとを少なくとも有する入力信号を受信する回路と、
前記参照フレームと前記現在のフレームとを処理する処理モジュールと、
動き補償フレームレートコンバータと、を備え、
前記動き補償フレームレートコンバータは、
前記処理された現在のフレームと前記処理された参照フレームとの間のグローバル動きおよびローカル動きそれぞれを特徴付けるアフィングローバル動きパラメータおよび動きベクトルのうち少なくとも１つを提供する回路と、
前記アフィングローバル動きパラメータと前記動きベクトルのうち少なくとも１つを利用して、前記処理された現在のフレームと前記処理された参照フレームとの間に少なくとも１つのフレームを補間する、動き補償補間を行う回路と、を含む、動き補償画像レートコンバータ。A motion compensated image rate converter,
A circuit for receiving an input signal having at least a reference frame and a current frame;
A processing module for processing the reference frame and the current frame;
A motion compensation frame rate converter, and
The motion compensated frame rate converter
A circuit that provides at least one of affine global motion parameters and motion vectors that characterize global and local motion, respectively, between the processed current frame and the processed reference frame;
Performing motion compensated interpolation using at least one of the affine global motion parameter and the motion vector to interpolate at least one frame between the processed current frame and the processed reference frame And a motion compensated image rate converter. 前記動き補償フレームレートコンバータの出力信号を処理する後処理モジュールをさらに備え、
前記出力信号は、前記入力信号の本来のフレームレートより高いフレームレートを有する、請求項４５に記載の動き補償画像レートコンバータ。A post-processing module for processing an output signal of the motion compensation frame rate converter;
46. The motion compensated image rate converter of claim 45, wherein the output signal has a frame rate that is higher than an original frame rate of the input signal. 前記処理された現在のフレームと前記処理された参照フレームとを処理して、前記動き補償フレームレートコンバータへ供給すべき信号を生成する後処理モジュールをさらに備え、
前記信号は、前記入力信号の本来のフレームレートに略等しいフレームレートを有するよう適合される、請求項４５に記載の動き補償画像レートコンバータ。A post-processing module that processes the processed current frame and the processed reference frame to generate a signal to be supplied to the motion compensated frame rate converter;
46. The motion compensated image rate converter of claim 45, wherein the signal is adapted to have a frame rate that is approximately equal to an original frame rate of the input signal. 前記処理モジュールは、
前記現在のフレームと前記参照フレームとに対してノイズ低減およびデインターレースのうち少なくとも１つを行う回路を含む、請求項４５に記載の動き補償画像レートコンバータ。The processing module is
46. The motion compensated image rate converter of claim 45, including circuitry that performs at least one of noise reduction and deinterlacing on the current frame and the reference frame. 動き補償フレームレートコンバータであって、
参照フレームと現在のフレームとを少なくとも有する入力信号を受信する手段と、
前記参照フレームと前記現在のフレームとの間のグローバル動きを推定して、少なくとも１つのアフィン動きパラメータを生成する手段と、
前記参照フレームと前記現在のフレームとの間のローカル動きを推定して、少なくとも１つの動きベクトルを生成する手段と、を備え、
前記少なくとも１つのアフィン動きパラメータは、前記参照フレームと前記現在のフレームとの間の第１領域の前記グローバル動きを推定し、
前記少なくとも１つの動きベクトルは、前記参照フレームと前記現在のフレームとの間の第２領域のローカル動きを推定する、動き補償フレームレートコンバータ。A motion compensated frame rate converter,
Means for receiving an input signal having at least a reference frame and a current frame;
Means for estimating global motion between the reference frame and the current frame to generate at least one affine motion parameter;
Means for estimating local motion between the reference frame and the current frame to generate at least one motion vector;
The at least one affine motion parameter estimates the global motion of a first region between the reference frame and the current frame;
A motion compensated frame rate converter, wherein the at least one motion vector estimates a local motion of a second region between the reference frame and the current frame. 前記参照フレームと前記現在のフレームとの間のグローバル動きを推定する手段は、
少なくとも１つの粗いアフィンパラメータを生成する手段と、
前記少なくとも１つの粗いアフィンパラメータをリファインして、前記少なくとも１つのアフィン動きパラメータを生成する手段と、をさらに含む、請求項４９に記載の動き補償フレームレートコンバータ。Means for estimating global motion between the reference frame and the current frame;
Means for generating at least one coarse affine parameter;
50. The motion compensated frame rate converter of claim 49, further comprising means for refining the at least one coarse affine parameter to generate the at least one affine motion parameter. 前記少なくとも１つの粗いアフィンパラメータをリファインする手段は、ＲＡＮＳＡＣに基づくリファイン法を利用する、請求項５０に記載の動き補償フレームレートコンバータ。  51. The motion compensated frame rate converter of claim 50, wherein the means for refining the at least one coarse affine parameter utilizes a RANSAC based refinement method. 前記第１領域は、前記現在のフレームの背景領域であり、
前記少なくとも１つのアフィン動きパラメータは、前記第１領域の動き補償に利用される、請求項４９に記載の動き補償フレームレートコンバータ。The first region is a background region of the current frame;
50. The motion compensated frame rate converter of claim 49, wherein the at least one affine motion parameter is utilized for motion compensation of the first region. 前記参照フレームと前記現在のフレームとの間のローカル動きを推定する手段は、
前記参照フレームの前記第２領域に隣接する隣接領域を特定する手段と、
前記参照フレームについて計算した前記隣接領域の動きベクトルを利用して、前記現在のフレームの前記第２領域の前記少なくとも１つの動きベクトルを生成する手段と、を含み、
前記少なくとも１つの動きベクトルは、ローカル動きベクトルである、請求項４９に記載の動き補償フレームレートコンバータ。Means for estimating local motion between the reference frame and the current frame;
Means for identifying an adjacent region adjacent to the second region of the reference frame;
Means for generating the at least one motion vector of the second region of the current frame using a motion vector of the adjacent region calculated for the reference frame;
50. The motion compensated frame rate converter of claim 49, wherein the at least one motion vector is a local motion vector. 前記参照フレームと前記現在のフレームとの間のローカル動きを推定する手段は、
前記参照フレームの前記第２領域に隣接する隣接領域を特定する手段と、
前記隣接領域のアフィン動きパラメータを利用して、前記第２領域の前記少なくとも１つの動きベクトルを生成する手段と、を含み、
前記少なくとも１つの動きベクトルは、補正グローバル動きベクトルである、請求項４９に記載の動き補償フレームレートコンバータ。Means for estimating local motion between the reference frame and the current frame;
Means for identifying an adjacent region adjacent to the second region of the reference frame;
Means for generating the at least one motion vector of the second region using affine motion parameters of the adjacent region;
50. The motion compensated frame rate converter of claim 49, wherein the at least one motion vector is a corrected global motion vector. 前記現在のフレームに対してセグメンテーションマスクおよびオブジェクトエッジ強さマップの少なくとも１つを適用する手段に基づいて、前記第２領域を決定する手段をさらに備える、請求項４９に記載の動き補償フレームレートコンバータ。  50. The motion compensated frame rate converter of claim 49, further comprising means for determining the second region based on means for applying at least one of a segmentation mask and an object edge strength map to the current frame. . 補正グローバル動きベクトルおよびローカル動きベクトルの適用により生成されたエラーのうち小さいほうに基づき、前記補正グローバル動きベクトルおよび前記ローカル動きベクトルのいずれかを利用して、前記第２領域の動きを補償する手段をさらに備える、請求項４９に記載の動き補償フレームレートコンバータ。  Means for compensating for the motion of the second region using either the corrected global motion vector or the local motion vector based on the smaller one of the errors generated by applying the corrected global motion vector and the local motion vector 50. The motion compensated frame rate converter of claim 49, further comprising: 現在のフレームと参照フレームとを少なくとも有する入力信号を受信する手段と、
前記現在のフレームと前記参照フレームとを位相相関させる手段と、
前記位相相関に基づいて前記現在のフレームと前記参照フレームとの間のグローバル並進動きを推定する少なくとも１つのアフィンパラメータを計算する手段と、を備える、グローバル並進推定モジュール。Means for receiving an input signal having at least a current frame and a reference frame;
Means for phase correlating the current frame and the reference frame;
Means for calculating at least one affine parameter that estimates a global translational motion between the current frame and the reference frame based on the phase correlation. 前記現在のフレームと前記参照フレームとを位相相関させる手段は、
デシメーションファクタにより前記現在のフレームおよび前記参照フレームをそれぞれデシメーションする手段と、
前記デシメーションされた現在のフレームおよび参照フレームをフーリエ変換する手段と、
前記変換された現在のフレームに相関する位相を、前記変換された参照フレームに相関する位相から減算して、位相差アレイを生成する手段と、
前記位相差アレイの指数を逆フーリエ変換して、相関面を生成する手段と、をさらに含む請求項５７に記載のグローバル並進推定モジュール。Means for phase-correlating the current frame and the reference frame;
Means for decimating the current frame and the reference frame, respectively, by a decimation factor;
Means for Fourier transforming said decimated current frame and reference frame;
Means for subtracting a phase correlated to the transformed current frame from a phase correlated to the transformed reference frame to generate a phase difference array;
58. The global translation estimation module according to claim 57, further comprising: an inverse Fourier transform of an index of the phase difference array to generate a correlation surface. 前記相関面の最大値と前記相関面の前記最大値の位置とを決定する手段をさらに備え、
前記最大値と前記最大値の位置とを利用して、前記少なくとも１つのアフィンパラメータを計算する、請求項５８に記載のグローバル並進推定モジュール。Means for determining a maximum value of the correlation surface and a position of the maximum value of the correlation surface;
59. The global translation estimation module of claim 58, wherein the at least one affine parameter is calculated utilizing the maximum value and the position of the maximum value. 前記デシメーションファクタは１、４、および９のいずれかである、請求項５９に記載のグローバル並進推定モジュール。  60. The global translation estimation module of claim 59, wherein the decimation factor is one of 1, 4, and 9. 前記少なくとも１つのアフィンパラメータは、前記グローバル並進推定モジュールに連結されたアフィンパラメータリファインモジュールに提供され、
前記アフィンパラメータリファインモジュールは、
前記少なくとも１つのアフィンパラメータに基づいて前記参照フレームを更新する手段と、
前記更新された参照フレームと前記現在のフレームとの間の差を求める手段と、
前記少なくとも１つのアフィンパラメータをリファインして前記差を最小にする手段と、を含む、請求項５９に記載のグローバル並進推定モジュール。The at least one affine parameter is provided to an affine parameter refinement module coupled to the global translation estimation module;
The affine parameter refinement module is
Means for updating the reference frame based on the at least one affine parameter;
Means for determining a difference between the updated reference frame and the current frame;
60. The global translation estimation module of claim 59, comprising: means for refining the at least one affine parameter to minimize the difference. 現在のフレームの前景領域および背景領域を特定するセグメンテーションマスクを生成する手段と、
前記現在のフレームの大きなエッジ強さを有する領域を特定するオブジェクトエッジ強さマップを生成する手段と、
対象領域との関連で、前記前景領域、前記背景領域、および前記大きなエッジ強さを有する領域に基づいて、前記対象領域について少なくとも１つの動きベクトルを計算する手段と、を備える、ローカル動き補正モジュール。Means for generating a segmentation mask identifying the foreground and background regions of the current frame;
Means for generating an object edge strength map identifying a region having a large edge strength of the current frame;
Means for calculating at least one motion vector for the target region based on the foreground region, the background region, and the region having a large edge strength in relation to the target region. . 前記少なくとも１つの動きベクトルを計算する手段は、
前記対象領域について、補正グローバル動きベクトルおよびローカル動きベクトルのうち少なくとも１つを計算する手段を含む、請求項６２に記載のローカル動き補正モジュール。The means for calculating the at least one motion vector comprises:
64. The local motion correction module according to claim 62, comprising means for calculating at least one of a corrected global motion vector and a local motion vector for the target region. 前記セグメンテーションマスクを生成する手段は、
前記現在のフレームと前記参照フレームとの間のグローバル動きを特徴付ける少なくとも１つのアフィンパラメータを利用して、前記参照フレームを更新する手段と、
前記更新された参照フレームと前記現在のフレームとの間の差異フレームを求める手段と、
前記差異フレームの各領域を第１閾値と比較して、前記領域を前記前景領域および前記背景領域のいずれかに分類する手段と、を含む、請求項６２に記載のローカル動き補正モジュール。The means for generating the segmentation mask comprises:
Means for updating the reference frame utilizing at least one affine parameter characterizing global motion between the current frame and the reference frame;
Means for determining a difference frame between the updated reference frame and the current frame;
63. The local motion correction module according to claim 62, further comprising: comparing each region of the difference frame with a first threshold to classify the region into one of the foreground region and the background region. 前記セグメンテーションマスクを生成する手段は、
前記セグメンテーションマスク内に少なくとも２つの接続された領域を有するオブジェクトを決定する手段と、
前記オブジェクトが占める面積を数量化する手段と、
前記数量化された面積を第２閾値と比較して、前記少なくとも２つの接続された領域の各々を、前記前景領域および前記背景領域のいずれかに再分類する手段と、をさらに含む、請求項６４に記載のローカル動き補正モジュール。The means for generating the segmentation mask comprises:
Means for determining an object having at least two connected regions within the segmentation mask;
Means for quantifying the area occupied by the object;
Means for comparing the quantified area with a second threshold and reclassifying each of the at least two connected regions into either the foreground region or the background region. 64. The local motion correction module according to 64. 前記オブジェクトエッジ強さマップを生成する手段は、
前記現在のフレームのサブ領域の垂直方向および水平方向に相関する複数の固有値を生成する手段と、
前記複数の固有値の最大値を決定する手段と、を含み、
前記最大値が画定する範囲に実質的に在る固有値を有する前記サブ領域の各々は、大きなエッジ強さを有する領域である、請求項６２に記載のローカル動き補正モジュール。The means for generating the object edge strength map includes:
Means for generating a plurality of eigenvalues correlated in the vertical and horizontal directions of the sub-region of the current frame;
Means for determining a maximum value of the plurality of eigenvalues,
64. The local motion correction module according to claim 62, wherein each of the sub-regions having eigenvalues substantially within a range defined by the maximum value is a region having a large edge strength. メジアンフィルタ手段、エッジ適合フィルタ手段、およびガウスフィルタ手段のうち少なくとも１つを利用して、前記対象領域に対応する前記動きベクトルをフィルタにかけ、
前記対象領域は、前記現在のフレームに適用された前記セグメンテーションマスクと前記オブジェクトエッジ強さマップとの組み合わせから選択される、請求項６２に記載のローカル動き補正モジュール。Filtering the motion vector corresponding to the region of interest using at least one of median filter means, edge matched filter means, and Gaussian filter means;
64. The local motion correction module of claim 62, wherein the region of interest is selected from a combination of the segmentation mask applied to the current frame and the object edge strength map. 前記少なくとも１つの動きベクトルを利用して、前記現在のフレームと前記参照フレームとの間に動き補償されたフレームを補間する、請求項６２に記載のローカル動き補正モジュール。  64. The local motion correction module of claim 62, wherein the at least one motion vector is utilized to interpolate a motion compensated frame between the current frame and the reference frame. 現在のフレームと参照フレームとを少なくとも有する入力信号を受信する手段と、
前記現在のフレームと前記参照フレームとを処理する手段と、
前記処理された現在のフレームと前記処理された参照フレームとの間のグローバル動きおよびローカル動きそれぞれを特徴付けるアフィングローバル動きパラメータおよび動きベクトルのうち少なくとも１つを提供する手段と、
前記アフィングローバル動きパラメータと前記動きベクトルのうち少なくとも１つを利用して、前記処理された現在のフレームと前記処理された参照フレームとの間に少なくとも１つのフレームを補間する、動き補償補間を行う手段と、を備える、動き補償画像レートコンバータ。Means for receiving an input signal having at least a current frame and a reference frame;
Means for processing the current frame and the reference frame;
Means for providing at least one of affine global motion parameters and motion vectors characterizing global motion and local motion, respectively, between the processed current frame and the processed reference frame;
Performing motion compensated interpolation using at least one of the affine global motion parameter and the motion vector to interpolate at least one frame between the processed current frame and the processed reference frame And a motion compensated image rate converter. 前記動き補償補間を行う手段からの出力信号を後処理する手段をさらに備え、
前記出力信号は、前記入力信号の本来のフレームレートより速いフレームレートを有する、請求項６９に記載の動き補償画像レートコンバータ。Means for post-processing the output signal from the means for performing the motion compensated interpolation;
70. The motion compensated image rate converter of claim 69, wherein the output signal has a frame rate that is faster than an original frame rate of the input signal. 前記処理された現在のフレームと前記処理された参照フレームとを後処理して、前記動き補償補間を行う手段へ供給すべき信号を生成する手段をさらに備え、
前記信号は、前記入力信号の本来のフレームレートに略等しいフレームレートを有するよう適合される、請求項６９に記載の動き補償画像レートコンバータ。Means for post-processing the processed current frame and the processed reference frame to generate a signal to be supplied to the means for performing the motion compensated interpolation;
70. The motion compensated image rate converter of claim 69, wherein the signal is adapted to have a frame rate that is approximately equal to an original frame rate of the input signal. 前記現在のフレームと前記参照フレームとを処理する手段は、
前記現在のフレームと前記参照フレームとに対してノイズ低減およびデインターレースのうち少なくとも１つを行う手段を含む、請求項６９に記載の動き補償画像レートコンバータ。Means for processing the current frame and the reference frame;
70. The motion compensated image rate converter of claim 69, comprising means for performing at least one of noise reduction and deinterlacing on the current frame and the reference frame.

Images