【発明の詳細な説明】［発明の目的コ（産業上の利用分野）この発明は、動画像の入力、表示、蓄積、編集等を電子
的に実行する動画像管理装置に関する。DETAILED DESCRIPTION OF THE INVENTION [Objective of the Invention (Field of Industrial Application) This invention relates to a moving image management device that electronically performs input, display, storage, editing, etc. of moving images.
（従来の技術）近年、ＶＴＲやビデオムービーの普及により動画像か身
近なメディアの一つになっている。このような動画像は
ビデオカセット等により保存されるようになっているか
、保存する動画像が増大するにつれ、その管理方法か問
題になっている。(Prior Art) In recent years, with the spread of VTRs and video movies, moving images have become one of the most familiar media. As the number of moving images to be stored increases, the question is whether such moving images are stored in video cassettes or the like, and how to manage them.
現状では、ビデオカセットを積み上げ、その各ビデオカ
セットのラベルをたよりに検索するといった非効率的な
方法をとらざるを得ないようになっている。Currently, users are forced to use the inefficient method of stacking video cassettes and searching based on the label of each video cassette.
さらに、ビデオカセットか本質的にシーケンシャルなア
クセスメディアであることから、検索、編集なとの際に
、−本のビデオカセットの中から希望するシーンを探し
出すには、テープカウンタを頼りに行うか、早送り、巻
戻しをくり返さなければならない。Furthermore, since video cassettes are inherently sequential access media, when searching and editing, one must rely on a tape counter to locate a desired scene within a book's video cassette; I have to fast forward and rewind repeatedly.
したかって、必要なシーン、カットを容易に探し出すこ
とができず、しかもシーン、カットを単位とした編集を
容易に行うことができす、さらにカット単位の分割がユ
ーザに過度の負担を強いているという欠点かある。Therefore, it is not possible to easily find the necessary scene or cut, and it is not easy to edit in units of scenes or cuts.Furthermore, the division into cut units imposes an excessive burden on the user. There are some drawbacks.
（発明か解決しようとする課題）この発明は、上記したように、必要なシーン、カットを
容易に探し出すことかできず、しかもシーン、カットを
単位とした編集を容易に行うことかできす、さらにカッ
ト単位の分割かユーザに過度の負担を強いているという
欠点を除去するもので、動画像をシーン、カットの階層
構造で記憶して管理することができ、必要なシーン、カ
ットを容易に探し出すことかでき、しかもシーン、カッ
トを単位とした編集にも容易に対応でき、さらにカット
単位の分割が自動的にてき、ユーザの負担を無くすこと
ができる動画像管理装置を提供することを目的とする。(Problems to be Solved by the Invention) As mentioned above, this invention solves the problem that it is not possible to easily find necessary scenes and cuts, and it is also possible to easily edit scenes and cuts. Furthermore, it eliminates the drawback of dividing into cuts, which imposes an excessive burden on the user, and allows video images to be stored and managed in a hierarchical structure of scenes and cuts, making it easy to find the necessary scenes and cuts. The purpose of the present invention is to provide a moving image management device that can easily handle editing in units of scenes and cuts, and that can automatically divide the units of cuts to eliminate the burden on the user. do.
［発明の構成］（課題を解決するだめの手段）この発明の動画像管理装置では、入力された動画像の各
フレームを複数個の矩形ブロックに分割する第１の分割
手段と、この第１の分割手段により分割された各ブロッ
クごとに現フレームの隣接ブロックからのフレーム内予
測誤差と、前フレームの同ブロックからのフレーム間予
測誤差とを算出する算出手段と、上記算出手段により算
出したフレーム内予測誤差とフレーム間予測誤差とを比
較する比較手段と、所定のフレームにおいて上記比較手
段の比較結果によりフレーム内予測誤差の方か小さいブ
ロック数を計数する計数手段と、この計数手段による計
数値か１フレーム内で所定数より大きいか否かを検出す
る検出手段と、この検出手段による連続する複数のフレ
ームに対する検出結果か所定の関係にあるときカットの
境界を判定する判定手段とからなる境界検出手段、この
境界検出手段内の上記判定手段の判定結果に応じて複数
のフレームからなるカットを単位としたファイルに分割
する分割手段、この分割手段により分割されたカットを
単位としたファイルを記憶する記憶手段、この記憶手段
に記憶したカットを単位としたファイルごとの画像を上
記記憶手段から読出して出力する出力手段、この出力手
段により出力された画像によりカットを１まとめとした
シーンの区切りを指示する指示手段、およびこの指示手
段の指示に応じて１つの動画像をシーン、カットの階層
構造で上記記憶手段に記憶する処理手段から構成されて
いる。[Structure of the Invention] (Means for Solving the Problems) The moving image management device of the present invention includes a first dividing means for dividing each frame of an input moving image into a plurality of rectangular blocks; a calculation means for calculating an intra-frame prediction error from an adjacent block of the current frame and an inter-frame prediction error from the same block of the previous frame for each block divided by the division means; and a frame calculated by the calculation means. a comparison means for comparing an intra-frame prediction error and an inter-frame prediction error; a counting means for counting the number of blocks in which the intra-frame prediction error is smaller based on the comparison result of the comparison means in a predetermined frame; and a count value by the counting means. A boundary consisting of a detection means for detecting whether or not the number is larger than a predetermined number within one frame, and a determination means for determining a cut boundary when the detection results for a plurality of consecutive frames by this detection means have a predetermined relationship. a detecting means, a dividing means for dividing into files in units of cuts consisting of a plurality of frames according to the determination result of the above-mentioned determining means in this boundary detecting means, and storing files in units of cuts divided by this dividing means. a storage means for reading and outputting an image for each file in units of cuts stored in the storage means, an output means for reading and outputting an image for each file stored in the storage means; The apparatus is comprised of an instruction means for giving an instruction, and a processing means for storing one moving image in the storage means in a hierarchical structure of scenes and cuts in accordance with the instruction from the instruction means.
（作用）この発明は、入力された動画像の各フレームを複数個の
矩形ブロックに分割し、この分割された各ブロックごと
に現フレームの隣接ブロックからのフレーム内予測誤差
と、前フレームの同ブロックからのフレーム間予測誤差
とを算出し、この算出したフレーム内予測誤差とフレー
ム間予測誤差とを比較手段で比較し、所定のフレームに
おいて上記比較手段の比較結果によりフレーム内予測誤
差の方が小さいブロック数を計数し、この計数値か１フ
レーム内で所定数より大きいか否かを検出手段で検出し
、この検出手段による連続する複数のフレームに対する
検出結果か所定の関係にあるときカットの境界を判定し
、この判定結果に応して複数のフレームからなるカット
を単位としたファイルに分割し、この分割されたカット
を単位としたファイルを記憶手段で記憶し、この記憶し
たカットを単位としたファイルごとの画像を上記記憶手
段から読出して出力し、この出力された画像によりカッ
トを１まとめとしたシーンの区切りを指示し、二の指示
に応じて１つの動画像をシーン、カットの階層構造で上
記記憶手段に記憶するようにしたものである。(Operation) This invention divides each frame of an input moving image into a plurality of rectangular blocks, and for each divided block, calculates the intra-frame prediction error from the adjacent block of the current frame and the prediction error from the previous frame. The inter-frame prediction error from the block is calculated, and the calculated intra-frame prediction error and the inter-frame prediction error are compared by a comparing means, and the comparison result of the above-mentioned comparing means shows that the intra-frame prediction error is higher in a given frame. The number of small blocks is counted, and a detection means detects whether this counted value is larger than a predetermined number within one frame, and when the detection result for a plurality of consecutive frames by this detection means has a predetermined relationship, a cut is made. The boundaries are determined, and according to the determination result, the file is divided into files each consisting of a cut made up of multiple frames, and the file is stored in a storage means, and this stored cut is used as the unit. The image for each file is read out from the storage means and outputted, and the outputted image is used to instruct the division of scenes with cuts grouped together, and in accordance with the second instruction, one moving image is divided into scenes and cuts. The information is stored in the storage means in a hierarchical structure.
（実施例）以下、この発明の一実施例について図面を参照しなから
詳細に説明する。第１図はこの発明の動画像管理装置の
ブロック構成図である。すなわち、各種制御を行うＣＰ
Ｕ１、動画像および動画像を管理するための情報などを
表示するＣＲＴデイスプレィ装置２、ＣＰＵＩの制御プ
ログラムおよびＣＲＴデイスプレィ装置２に表示する画
像などを記憶するメモリ３、複数のカットからなる一連
の動画像を入力し、各１カツトの境界を検出する境界検
出部４、一連の動画像または境界検出部４て切り比した
複数のフレームからなる１つのカットを単位としたファ
イルを格納する磁気ディスク（Ｉ（ＤＤ）５を扱う磁気
ディスク装置］１、ビデオカメラ７、ＶＴＲ８なとから
のＮＴＳＣ（ナショナル テレビンヨン システム コ
ミッティ）信号を入力し、この装置で動画を扱うフォー
マットに変換するビデオインターフェース６、ビデオイ
ンターフェース６に接続されるビデオカメラ７、マｆニ
ー ハＶ Ｔ Ｒ８、および入力手段としてのマウス１
０（あるいは本−ホード）から構成されている。(Example) Hereinafter, an example of the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram of a moving picture management device according to the present invention. In other words, the CP that performs various controls
U1, a CRT display device 2 that displays moving images and information for managing the moving images, a memory 3 that stores CPU control programs and images to be displayed on the CRT display device 2, a series of moving images consisting of a plurality of cuts; A boundary detection unit 4 inputs an image and detects the boundaries of each cut, and a magnetic disk ( [Magnetic disk device that handles I (DD) 5] 1. Video interface 6. Video interface that inputs NTSC (National Television System Committee) signals from video cameras 7, VTRs 8, etc. and converts them into a format that handles moving images with this device. a video camera 7 connected to
0 (or book-horde).
上記ＣＰＵＩ、メモリ３、境界検出部４、ビデオインタ
ーフェース６、マウス１０．磁気ディスク装置１１はハ
ス９に接続されており、ＣＰＵＩからのアクセスにより
制御される。The above CPUUI, memory 3, boundary detection section 4, video interface 6, mouse 10. The magnetic disk device 11 is connected to the lotus 9 and is controlled by access from the CPUI.
磁気ディスク５の代りに、他の記憶媒体たとえば光ディ
スク（○ＤＤ）を用いても、あるいはネットワークを介
したリモートファイルを用いても良い。Instead of the magnetic disk 5, other storage media such as an optical disk (○DD) or a remote file via a network may be used.
この実施例における動画像のフォーマットの例を第２図
に示す。毎秒３ｏフレーム、１フレームは６４０Ｘ５１
２画素、１画素は濃度（Ｙ）８ビツト、色度（１，Ｑ）
各４ビツトで表される。また、境界検出部４おける処理
は６４０Ｘ５１２画素を８×８のブロックに分割し、ブ
ロックを単位として行われる。FIG. 2 shows an example of the format of a moving image in this embodiment. 3o frames per second, 1 frame is 640x51
2 pixels, 1 pixel is density (Y) 8 bits, chromaticity (1, Q)
Each bit is represented by 4 bits. Further, the processing in the boundary detection unit 4 is performed by dividing 640×512 pixels into 8×8 blocks and performing the processing in units of blocks.
上記境界検出部４は、第３図のように、入力画像に対し
てフレーム内のブロック単位に前フレームと比較して動
きの有無を検出し、動き補償フレーム間予測とフレーム
内予測のうち誤差の少ない方法で符号化する符号化器４
１、符号化器４１の出力するフレーム内／フレーム間フ
ラグを用いて連続するフレームの間のカット境界を検出
する境界検出器４２、符号化した動画像を復元する復号
化器４３から構成されている。As shown in FIG. 3, the boundary detection unit 4 detects the presence or absence of motion by comparing the input image block by block within the frame with the previous frame, and detects the presence or absence of motion between motion compensated interframe prediction and intraframe prediction. Encoder 4 that encodes using a method with fewer
1. Consists of a boundary detector 42 that detects a cut boundary between consecutive frames using the intra-frame/inter-frame flag output from the encoder 41, and a decoder 43 that restores the encoded moving image. There is.
上記符号化器４１が出力する符号化された動画像情報は
境界検出器４２の検出する境界によって切り分けられ、
１カツトが１フアイルとして磁気ディスク５に格納され
る。The encoded video information outputted by the encoder 41 is divided by the boundaries detected by the boundary detector 42,
One cut is stored on the magnetic disk 5 as one file.
上記復号化器４３は磁気ディスク５に格納されたファイ
ルを表示するときに復号化を行う。The decoder 43 decodes files stored on the magnetic disk 5 when displaying them.
上記符号化器４１は、第４図のように、フレーム内／フ
レーム間判定器４１１、直交変換器４１２、量子化器４
１３、逆量子化器４１４、逆直交変換器４１５、フレー
ムメモリ４］６、ループフィルタ４１７、符号器４１８
、減算器４１０、切換スイッチ４０８．４０９、および
加算器４０７から構成されている。The encoder 41 includes an intra-frame/inter-frame determiner 411, an orthogonal transformer 412, a quantizer 4, and
13, inverse quantizer 414, inverse orthogonal transformer 415, frame memory 4] 6, loop filter 417, encoder 418
, a subtracter 410, changeover switches 408, 409, and an adder 407.
フレーム内／フレーム間判定器４１１は、探索した動き
ベクトルを用いて動き補償を行った後のブロックと入力
ブロックとの間でフレーム間予測か行われ、予測誤差が
大きいときは入力ブロックでフレーム内予測か行われる
ものである。予測誤差か大きいとき、切換スイッチ４０
９．４０８が上側に切換わり、入力ブロックの画像が切
換スイッチ４０９を介してそのまま直交変換器４１２へ
出力される。予測誤差が小さいとき、切換スイッチ４０
９．４０８が下側に切換ゎり、動画像の入力ブロックか
減算器４１０によりループフィルタ４１７からの１つ前
の画像で減算された画像が直交変換器４１２へ出力され
る。The intra-frame/inter-frame determiner 411 performs inter-frame prediction between the input block and the block after motion compensation has been performed using the searched motion vector, and when the prediction error is large, the intra-frame prediction is performed in the input block. Predictions are made. When the prediction error is large, selector switch 40
9.408 is switched to the upper side, and the image of the input block is directly output to the orthogonal transformer 412 via the changeover switch 409. When the prediction error is small, the changeover switch 40
9.408 is switched to the lower side, and the input block of the moving image or the image subtracted by the previous image from the loop filter 417 by the subtracter 410 is output to the orthogonal transformer 412.
直交変換器４１２は、切換スイフチ４０９がら供給され
る画像に対して２次元の直交変換（Ｄ ＣＴ）を行うも
のである。量子化器４１３は、直交変換器４１２の直交
変換内容を量子化するものである。逆量子化器４１４は
、量子化器４１３の量子化後の８×８の係数を動き補償
を行うために逆量子化するものである。逆直交変換器４
１５は、逆量子化器４１４からの内容を逆直交変換して
復元するものである。フレームメモリ４１６は、逆直交
変換器４１５からの逆直交変換して復元した内容とフレ
ームメモリ４１６からループフィルタ４１７および切換
スイッチ４０８を介して供給される画像とを加算器４０
７で加算した画像（１つ前の画像）を記憶して保持する
ものである。The orthogonal transformer 412 performs two-dimensional orthogonal transformation (DCT) on the image supplied from the switching switch 409. The quantizer 413 quantizes the orthogonal transform contents of the orthogonal transformer 412. The dequantizer 414 dequantizes the 8×8 coefficients quantized by the quantizer 413 in order to perform motion compensation. Inverse orthogonal transformer 4
15 is for restoring the contents from the inverse quantizer 414 by inverse orthogonal transformation. The frame memory 416 converts the content restored by the inverse orthogonal transform from the inverse orthogonal transformer 415 and the image supplied from the frame memory 416 via the loop filter 417 and the changeover switch 408 to the adder 40.
The image added in step 7 (the previous image) is stored and held.
ループフィルタ４１７は量子化誤差を軽減するために用
いられるものである。符号器４１８は、フレーム内／フ
レーム間判定器４１１からのフレーム内／フレーム間ブ
ロック指示、量子化器４１３からの変換係数に対する量
子化インデックスと量子化器指示、フレームメモリ４１
６からの動きベクトル、およびループフィルタ４１７か
らのループフィルタオン／オフ指示によって割り合てら
れる符号語を符号として出力するものである。Loop filter 417 is used to reduce quantization errors. The encoder 418 receives the intraframe/interframe block instruction from the intraframe/interframe determiner 411 , the quantization index and quantizer instruction for the transform coefficient from the quantizer 413 , and the frame memory 41
The code word divided by the motion vector from 6 and the loop filter on/off instruction from the loop filter 417 is output as a code.
二のような構成により、フレーム内／フレーム間判定器
４１１は、探索した動きベクトルを用いて動き補償を行
った後のブロックと入力ブロックとの間でフレーム間予
測か行われ、予測誤差か大きいとき、切換スイッチ４０
９．４０８か上側に切換わり、予測誤差か小さいとき、
切換スイッチ４０９．４０８か下側に切換わる。これに
より、予測誤差が大きいとき、入力ブロックの画像か切
換スイッチ４０９を介してそのまま直交変換器４ユ２へ
出力され、直交変換器４１２で２次元の直交変換（Ｄ
ＣＴ）が行われ、量子化器４１３で直交変換内容が量子
化され、符号器４１８へ出力される。With the configuration described in 2, the intra-frame/inter-frame determiner 411 performs inter-frame prediction between the block after motion compensation using the searched motion vector and the input block, and if the prediction error is large. When, selector switch 40
9. When 408 or above switches and the prediction error is small,
Changeover switches 409 and 408 are switched to the lower side. As a result, when the prediction error is large, the image of the input block is directly output to the orthogonal transformer 4U2 via the changeover switch 409, and the orthogonal transformer 412 performs two-dimensional orthogonal transformation (D
CT) is performed, and the orthogonal transform contents are quantized by a quantizer 413 and output to an encoder 418.
また、量子化器４１３の量子化内容は逆量子化器４１４
と逆直交変換器４１５により復元されて加算器４０７に
供給される。この加算器４０７て逆直交変換器４ユ５か
らの復元画像とフレームメモリ４１６からの１つ前の画
像とが加算され、この画像によりフレームメモリ４１６
の内容が更新される。これにより、符号器４１８はフレ
ーム内／／フレーム間判定器４１１からのフレーム内／
フレーム間ブロック指示と量子化器４１３からの変換係
数に対する量子化インデックスと量子化器指示、フレー
ムメモリ４１６からの動きベクトル、およびループフィ
ルタ４１７からのループフィルタオン／オフ指示によっ
て割り合てられる符号語を符号として出力する。Furthermore, the quantization content of the quantizer 413 is changed to the inverse quantizer 414.
is restored by the inverse orthogonal transformer 415 and supplied to the adder 407. This adder 407 adds the restored image from the inverse orthogonal transformer 4U5 and the previous image from the frame memory 416, and this image
The contents of will be updated. As a result, the encoder 418 receives the intraframe/interframe information from the intraframe/interframe determiner 411.
Codewords divided by interframe block instructions and quantization indexes and quantizer instructions for transform coefficients from quantizer 413, motion vectors from frame memory 416, and loop filter on/off instructions from loop filter 417. Outputs as a sign.
次に、連続する一連のフレームからなる動画像をいくつ
かのカットに分解する方法について説明する。Next, a method of dividing a moving image consisting of a series of consecutive frames into several cuts will be explained.
１カツト内の連続するフレーム間では類似度が高いので
フレーム間符号化の方か誤差か少なく、したかってフレ
ーム内符号化を行うブロックは少なくなる。逆にあるカ
ットの最後のフレームと次のカットの最初のフレームと
の間では、フレーム間相関が低く、フレーム内符号化が
有利になり、フレーム内符号化を行うブロックは局所的
に増加する。したがってこのような判定を行うことで一
連の動画像を１つ１つのカットに切り出すことができる
。Since there is a high degree of similarity between consecutive frames within one cut, interframe coding has less error, and therefore fewer blocks are subjected to intraframe coding. Conversely, between the last frame of a certain cut and the first frame of the next cut, the interframe correlation is low, making intraframe coding advantageous, and the number of blocks subjected to intraframe coding increases locally. Therefore, by making such a determination, a series of moving images can be cut out one by one.
上記境界検出器４２は、第５図に示すように、加算器４
２１、比較器４２２、ＦＦ回路４２３〜４２６、および
論理ゲート４２７〜４３３から構成されている。加算器
４２１は、ＣＰＵＩからのフレーム終了信号（あるいは
フレーム開始信号）で「０」に初期化され、各ブロック
毎に符号化器４１からのフレーム間／フレーム内フラグ
を見てフレーム内であれば「１」加算し、フレーム間で
あれば変化しないように動作する加算器である。The boundary detector 42 includes an adder 4 as shown in FIG.
21, a comparator 422, FF circuits 423-426, and logic gates 427-433. The adder 421 is initialized to "0" by the frame end signal (or frame start signal) from the CPUI, and checks the interframe/intraframe flag from the encoder 41 for each block and determines if it is within the frame. This is an adder that adds "1" and operates so that it does not change between frames.
比較器４２２は、１フレーム内で符号化を行ったブロッ
ク数とあらかじめＣＰＵＩにより与えられたしきい値と
を比較して、ブロック数の方が多ければ変化ありのフラ
グを出力する比較器である。The comparator 422 is a comparator that compares the number of blocks encoded in one frame with a threshold value given in advance by the CPUI, and outputs a flag indicating a change if the number of blocks is greater. .
ＦＦ回路４２３〜４２６はＣＰＵＩからのフレーム終了
信号により比較器４２２からの変化ありのフラグをラッ
チし、過去４フレームでの変化の有無の情報を保持する
４段の回路である。論理ゲート４２７〜４３３は、連続
する５フレームの変化の有無が「無有無＊＊Ｊ （＊
は有無のどちらでもよい）、「無有有無＊」、「無有有
有無」のいずれかであったときカット境界であると判定
して境界検出フラグを出力する論理回路である。The FF circuits 423 to 426 are four-stage circuits that latch the change flag from the comparator 422 in response to the frame end signal from the CPUI, and hold information on the presence or absence of change in the past four frames. Logic gates 427 to 433 determine whether or not there is a change in five consecutive frames.
This is a logic circuit that determines that it is a cut boundary and outputs a boundary detection flag when it is either "absence/absence *" or "absence/absence".
このような構成により、各フレームごとに、ＣＰＵＩか
らのフレーム終了信号により、加算器４２１か「０」に
初期化され、各ブロック毎に符号化器４１からのフレー
ム間／フレーム内フラグがフレーム内である場合に加算
器４２１か「１」加算され、加算器４２１の加算内容か
比較器４２２に出力される。比較器４２２により加算器
４２１の加算内容つまり１フレーム内で符号化を行った
ブロック数か所定のしきい値より多い場合、変化ありの
フラグかＦＦ回路４２３に出力される。With such a configuration, for each frame, the adder 421 is initialized to "0" by the frame end signal from the CPUI, and the interframe/intraframe flag from the encoder 41 for each block is initialized to "0". If so, the adder 421 adds "1", and the addition content of the adder 421 is output to the comparator 422. If the comparator 422 determines that the addition content of the adder 421, that is, the number of blocks encoded within one frame, is greater than a predetermined threshold, a change flag is output to the FF circuit 423.
これにより、ＦＦ回路４２３〜４２６にはＣＰＵＩから
のフレーム終了信号により比較器４２２からの変化あり
のフラグが順次ラッチされ、過去４フレームでの変化の
有無の情報か保持される。ＦＦ回路４２３〜４２６のラ
ッチ内容か「無有無＊＊」、「無有有無＊」、「無有有
有無」のいずれかであったとき、論理ケート４２７〜４
３３による論理演算によりカット境界であると判定して
論理ケート４２８から境界検出フラグか出力される。As a result, the change flag from the comparator 422 is sequentially latched in the FF circuits 423 to 426 in response to the frame end signal from the CPUI, and information on the presence or absence of change in the past four frames is held. When the latched contents of the FF circuits 423 to 426 are either "absence/absence**", "absence/presence*", or "presence/absence", the logic gates 427 to 4
33 determines that it is a cut boundary, and a boundary detection flag is output from the logic gate 428.
すなわち、この回路により変化ありの状態か３フレーム
以下連続し、前後か変化なしであるよらな場合をカプト
境界とみなしている。That is, with this circuit, a state in which there is a change continues for three frames or less, and a case where there is no change or before or after is regarded as a Kaputo boundary.
判定の例を第６図で示す。横軸にフレーム数、たて軸に
各フレームにおいてクレーム内ｎ号化を行ったブロック
数か二のように変化したとする。An example of determination is shown in FIG. Assume that the horizontal axis represents the number of frames, and the vertical axis represents the number of blocks subjected to intra-claim n encoding in each frame.
ピーク１はしきい値より高い状態か１フレームだけで前
後は変化なしのフレームなので第５図に示す、境界検出
器４２により境界と判定される。したがって、第１フレ
ームからピーク］の直前のフレームまでをカット１とし
て切り出し、ファイルとして格納する。同様にピーク２
も境界判定されるので、ピーク１からピーク２の直前ま
でかカット２として切り出される。一方ピーク３は変化
ありのフレームか「４」以上連続するので境界と判定さ
れない。Since the peak 1 is either higher than the threshold value or is only one frame with no change before and after, it is determined to be a boundary by the boundary detector 42 shown in FIG. Therefore, the period from the first frame to the frame immediately before the peak] is cut out as cut 1 and stored as a file. Similarly, peak 2
Since the boundary is also determined, the area from peak 1 to just before peak 2 is cut out as cut 2. On the other hand, peak 3 is not determined to be a boundary because it is a frame with a change or "4" or more consecutive frames.
このような判定により、ビデオカメラ７のレンズの前を
移動する物体かあったり、急激なパン操作を行ったりし
た場合を、カット境界と誤判定することなく良好な切り
分けが得られる。With such a determination, when there is an object moving in front of the lens of the video camera 7 or when a sudden panning operation is performed, good segmentation can be obtained without erroneously determining that it is a cut boundary.
二の実施例では変化なしか「１」以上、変化ありか「３
」以下、変化なしか「１」以上の順に連続する箇所を境
界と判定しているか第５図ＯＦＦ回路と論理ゲートを変
更することて変化なしか Ｔｆ回以上、変化ありかＴｗ
回以上、変化なしがＴａ回以上の順で連続する場合を判
定することが可能である。In the second example, no change is “1” or more, and change is “3” or more.
” Below, there is no change. Is it determined that the consecutive parts in the order of “1” or more are boundaries? Is there no change by changing the OFF circuit and logic gate in Figure 5? Is there a change after Tf times or more? Tw
It is possible to determine the case where no change continues in the order of Ta times or more.
復号化器４３は符号化器４２と同様の構成となっている
。また、符号化器４２を符号化、復号化器として動作す
るような構成とし、特に復号化器４３を設けないシステ
ムでも良い。The decoder 43 has a similar configuration to the encoder 42. Alternatively, a system may be used in which the encoder 42 is configured to operate as an encoder and decoder, and the decoder 43 is not particularly provided.
ビデオインターフェース６は、第７図に示すように、Ａ
／Ｄ変換器６１とフォーマット変換器６２から構成され
ている。Ａ／Ｄ変換器６１はビデオカメラ７、ＶＴＲ８
などからのＮＴＳＣ信号をデジタル信号に変換して出力
するものである。As shown in FIG.
It is composed of a /D converter 61 and a format converter 62. A/D converter 61 is video camera 7, VTR 8
It converts NTSC signals from other sources into digital signals and outputs them.
フォーマット変換器６２はＡ／Ｄ変換器６１からのデジ
タル化されたＮＴＳＣ信号を第２図に示すフォーマット
に変換するものである。The format converter 62 converts the digitized NTSC signal from the A/D converter 61 into the format shown in FIG.
入力信号はＮＴＳＣの代わりにハイビジョンなと他の方
式でも良い。この場合は方式の解像度に合わせてフォー
マットを変換すれば良い。あるいは、あらかしめ他のシ
ステムでこの実施例の７オーマツトに変換し、ネットワ
ークやＦＤＤ （フロッピーディスク）なとを用いて入
力してもよい。The input signal may be high-definition or other formats instead of NTSC. In this case, the format should be converted according to the resolution of the system. Alternatively, the data may be converted into the 7 format of this embodiment using another system and input using a network or FDD (floppy disk).
次に、このような構成において、動作を説明する。まず
、マウス１０あるいはキーボードの指示によりビデオカ
メラ７あるいはＶＴＲ８に設定されたビデオカセットか
らの磁気ディスク５への登録か指示される。すると、ビ
デオカメラ７あるいはＶＴＲ８からの１フレ一ム単位の
動画像がビデオインターフェース６、ハス９を介して境
界検出部４に供給される。境界検出部４は入力された動
画像を符号化するとともに、カット境界の検出が行われ
る。これにより、複数のフレームからなる１つのカット
か一つのファイルとして磁気ディスク１１によって磁気
ディスク５に格納される。二の際、磁気ディスク５には
、第９図に示すように、動画像基、カット番号、カット
の長さ（秒）、ｌカット分の複数のフレームからなる符
号化された動画像情報か記憶される。この際、カット番
号はカットの順にシリアルに付与されている。Next, the operation in such a configuration will be explained. First, an instruction is given using the mouse 10 or the keyboard to register the video cassette set in the video camera 7 or VTR 8 onto the magnetic disk 5. Then, a frame-by-frame moving image from the video camera 7 or VTR 8 is supplied to the boundary detection section 4 via the video interface 6 and the lotus 9. The boundary detection unit 4 encodes the input moving image and also detects cut boundaries. As a result, one cut consisting of a plurality of frames is stored on the magnetic disk 5 by the magnetic disk 11 as one file. At the second time, as shown in FIG. 9, the magnetic disk 5 contains encoded video information consisting of a video base, a cut number, a cut length (seconds), and a plurality of frames for l cuts. be remembered. At this time, cut numbers are assigned serially in the order of cuts.
また、オペレータは上記磁気ディスク５に登録した画像
の読出しをマウス１０あるいはキーボードにより指示す
る。すると、ＣＰＵＩは対応する動画像基の各カットの
１フレーム目のみを順に読出し、ＣＲＴデイスプレィ装
置２で表示する。この表示に対応して、オペレータはマ
ウス１０あるいはキーボードにより、カットの区切りか
正しいか否か、およびシーン（意味的、時間的なまとま
りとしての連続したいくつかのカット）の区切りを指示
する。ＣＰＵＩは磁気ディスク５の各カットごとにシー
ン番号を付与するとともに、シーン単位のシリアル番号
にカット番号を変更する。また、カットの区切りか正し
くないと指示された場合、ＣＰＵＩは磁気ディスク５の
その区切りの前後のカットを１つのカットとして、再登
録し直す。Further, the operator instructs reading of the image registered on the magnetic disk 5 using the mouse 10 or the keyboard. Then, the CPUI sequentially reads only the first frame of each cut of the corresponding moving picture base and displays it on the CRT display device 2. In response to this display, the operator uses the mouse 10 or the keyboard to indicate whether or not the cut divisions are correct and to indicate the division of scenes (several consecutive cuts as a semantic and temporal group). The CPU assigns a scene number to each cut of the magnetic disk 5, and changes the cut number to a serial number for each scene. Further, if it is instructed that only the cut break is incorrect, the CPUI re-registers the cuts before and after the cut break on the magnetic disk 5 as one cut.
したかって、磁気ディスク５上では１つの連続する動画
像に対する各シーンと各カットの関係は、第８図（ａ）
（ｂ）に示すように構成され、複数のカットからなるシ
ーンか複数有り、その複数のシーンにより１つの連続す
る動画像か形成されているツリー構造（階層構造）で登
録される。Therefore, on the magnetic disk 5, the relationship between each scene and each cut for one continuous moving image is as shown in FIG. 8(a).
It is configured as shown in (b), and is registered in a tree structure (hierarchical structure) in which there are a plurality of scenes consisting of a plurality of cuts, and one continuous moving image is formed by the plurality of scenes.
また、各カッドことに、親となるカットや、子となるカ
ットや、リンクするカットを、オペレータがマウス１０
あるいはキーボードにより指示することにより、親とな
るカットのアドレスや、子となるカットのアドレスや、
リンクするカットのアドレスが第９図に示すように、磁
気ディスク５の上記カット単位の記憶エリア内に登録さ
れる。In addition, for each quad, the operator can select parent cuts, child cuts, and linked cuts using the mouse 10.
Alternatively, you can specify the address of the parent cut, the address of the child cut, etc. by using the keyboard.
The address of the cut to be linked is registered in the storage area of the cut unit of the magnetic disk 5, as shown in FIG.
たとえば、シーン１のカット２とシーン２のカット５．
６がリンクする関係にある場合、磁気ディスク５のシー
ン１のカット２に対応するデータにはシーン２のカット
５．６の磁気ディスク５におけるアドレスか付加され、
磁気ディスク５のシーン２のカット５．６に対応するデ
ータにはシーン１のカット２の磁気ディスク５における
アドレスが付加されている。また、シーン１のカット３
とシーン２のカット３がリンクする関係にある場合、磁
気ディスク５のシーン１のカット３に対応するデータに
はシーン２のカット３の磁気ディスク５におけるアドレ
スが付加され、磁気ディスク５のシーン２のカット３に
対応するデータにはシーン１のカット３の磁気ディスク
５におけるアドレスか付加されている。For example, scene 1 cut 2 and scene 2 cut 5.
6 are in a link relationship, the data corresponding to cut 2 of scene 1 on the magnetic disk 5 is appended with the address of cut 5.6 of scene 2 on the magnetic disk 5,
The address of cut 2 of scene 1 on the magnetic disk 5 is added to the data corresponding to cuts 5 and 6 of scene 2 on the magnetic disk 5. Also, cut 3 of scene 1
When there is a link relationship between and cut 3 of scene 2, the address of cut 3 of scene 2 on the magnetic disk 5 is added to the data corresponding to cut 3 of scene 1 on the magnetic disk 5, and The address of cut 3 of scene 1 on the magnetic disk 5 is added to the data corresponding to cut 3 of scene 1.
また、磁気ディスク５におけるカット単位の記憶エリア
には、代表フレームの符号化された動画像として、１フ
レーム目の画像や途中のフレームの画像が登録される。Furthermore, in the storage area of the magnetic disk 5 for each cut, an image of the first frame and an image of an intermediate frame are registered as the encoded moving image of the representative frame.
この代表フレームの画像は早送りをする際に用いられる
ようになっている。The image of this representative frame is used when fast forwarding.
また、ＣＰＵＩは上記１つの連続する動画像に対するツ
リー構造（階層構造）を示す画像（第８図（ｂ）参照）
を作成し、磁気ディスク５に登録するようにしても良い
。この場合、その動画像に対するカットと関連づけて磁
気ディスク５上に登録されるようになっている。In addition, the CPUI displays an image showing a tree structure (hierarchical structure) for the above-mentioned one continuous moving image (see Fig. 8(b)).
may be created and registered on the magnetic disk 5. In this case, it is registered on the magnetic disk 5 in association with the cut for the moving image.
また、オペレータによりマウス１０あるいはキーボード
で画像編集等か指示されるとともに動画像基が指示され
ると、その動画像基に対応するツリー構造（階層構造）
を示す画像か磁気ディスク５から読出されて、第１０図
に示すように、ＣＲＴデイスプレィ装置２のウィンドウ
２１で表示される。このウィンドウ２１には１つの動画
を処理してシーン−カットに分類した構造か表示されて
おり、各シーン、カットがアイコンで表示されている。In addition, when the operator instructs image editing etc. using the mouse 10 or keyboard and also specifies a video base, a tree structure (hierarchical structure) corresponding to the video base is created.
An image showing the image is read from the magnetic disk 5 and displayed on the window 21 of the CRT display device 2, as shown in FIG. This window 21 displays a structure in which one moving image is processed and classified into scenes and cuts, and each scene and cut is displayed as an icon.
ついで、オペレータによりマウス１０あるいはキーボー
ドで所定のアイコンの再生を指示すると、別のウィンド
ウ２２かオープンし、そのアイコンの示すシーンあるい
はカットか磁気ディスク５から読出されて、ウィンドウ
２２て表示される。Next, when the operator instructs reproduction of a predetermined icon using the mouse 10 or keyboard, another window 22 is opened, and the scene or cut indicated by the icon is read from the magnetic disk 5 and displayed in the window 22.
上記したように、入力された動画像の各フレームを複数
個の矩形ブロックに分割し、この分割された各ブロック
ごとに現フレームの隣接ブロックからのフレーム内予測
誤差と、前フレームの同ブロックからのフレーム間予測
誤差とを算出し、この算８したフレーム内予測誤差とフ
レーム間予測誤差とをフレーム内／フレーム間判定器で
比較し、所定のフレームにおいて上記フレーム内／フレ
ーム間判定器の比較結果によりフレーム内予測誤差の方
か小さいブロック数を加算器４２１て計数し、この加算
器４２１の計数値か１フレーム内で所定数より大きいか
否かを比較器４２２により比較し、この比較器４２２の
比較結果としての変化ありのフラグか連続する５フレー
ムに対して「無有無＊＊」、「無有有無＊」、「無有有
有無」のいずれかであったとき論理ゲート４２８からカ
ットの境界を示す境界検出フラグを出力し、この境界検
出フラグに応して複数のフレームからなるカットを単位
としたファイルに分割し、この分割されたカットを単位
としたファイルを磁気ディスク５で記憶し、この記憶し
たカットを単位としたファイルごとの画像を上記磁気デ
ィスク５から読出して出力し、この出力された画像によ
りカットを１まとめとしたシーンの区切りをマウス１０
あるいはキーボードにより指示し、この指示に応じて１
つの動画像をシーン、カットの階層構造て上記磁気ディ
スク５に記憶するようにしたものである。As mentioned above, each frame of the input video image is divided into multiple rectangular blocks, and for each divided block, the intra-frame prediction error from the adjacent block of the current frame and the prediction error from the same block of the previous frame are calculated. The calculated intra-frame prediction error and the inter-frame prediction error are compared by an intra-frame/inter-frame judger, and the intra-frame/inter-frame judger compares the above-mentioned intra-frame/inter-frame judger for a predetermined frame. Based on the result, an adder 421 counts the number of blocks that is smaller than the intra-frame prediction error, and a comparator 422 compares whether the counted value of this adder 421 is larger than a predetermined number within one frame. When the change flag as a comparison result of 422 is either "absence/presence**", "presence/presence*", or "presence/presence/absence" for five consecutive frames, a cut is made from logic gate 428. outputs a boundary detection flag indicating the boundary of the frame, divides the file into files in which each cut consisting of a plurality of frames is a unit according to this boundary detection flag, and stores the file in which each divided cut is a unit on the magnetic disk 5. Then, the image for each file in which each cut is a unit of the stored cut is read out from the magnetic disk 5 and outputted, and the outputted image is used to mark the scene break with the cut as a unit using the mouse 10.
Alternatively, you can use the keyboard to specify 1 in response to this instruction.
In this embodiment, two moving images are stored on the magnetic disk 5 in a hierarchical structure of scenes and cuts.
これにより、動画像をシーン、カットの階層構造で磁気
ディスクに記憶して管理することかでき、必要なシーン
、カットを容易に探し出すことかでき、しかもシーン、
カットを単位とした編集にも容易に対応でき１．さらに
カット単位の分割か自動的にテキ、ユーザの負担を無く
すことかできる。This makes it possible to store and manage video images on magnetic disks in a hierarchical structure of scenes and cuts, making it easy to search for necessary scenes and cuts, and to
Easily supports editing in units of cuts 1. Furthermore, it is possible to automatically divide each cut, eliminating the burden on the user.
［発明の効果］以上詳述したようにこの発明によれば、動画像をシーン
、カットの階層構造で記憶して管理することができ、必
要なシーン、カットを容易に探し出すことができ、しか
もシーン、カットを単位とした編集にも容易に対応でき
、さらにカット単位の分割か自動的にでき、ユーザの負
担を無くすことができる動画像管理装置を提供できる。[Effects of the Invention] As detailed above, according to the present invention, moving images can be stored and managed in a hierarchical structure of scenes and cuts, and necessary scenes and cuts can be easily searched for. It is possible to provide a moving image management device that can easily handle editing in units of scenes and cuts, and can also automatically perform division in units of cuts, thereby eliminating the burden on the user.
図面はこの発明の一実施例を示すもので、第１図は全体
の構成を示す概略ブロック図、第２図は動画像フォーマ
ットの一例を示す図、第３図は境界検出部の構成を示す
プロ１ツク図、第４図は符号化器の構造を示す図、第５
図は境界検出器の構成を示す図、第６図は境界検出器の
動作を説明するための図、第７図はビデオインターフェ
ースの構成を示すブロック図、第８図は動画像の管理構
造を説明するための図、第９図はカットを単位としたフ
ァイルの構成例を示す図、第１０図は表示画面の例を示
す図である。１・・・ＣＰＵ、２・・・ＣＲＴ、３・・・メモリ、４
・・・境界検出部、５・・・磁気ディスク、６・・・ビ
デオインターフェース、７・・・ビデオカメラ、８・・
・ＶＴＲ。９・・・バス、１０・・マウス、１１・・・磁気ディス
ク装置、４１・・・符号化器、４２・・・境界検出器、
４３・・復号化器、４１１・・・フレーム内／フレーム
間判定器、４２１・・加算器、４２２・・・比較器、４
２３〜４２６・・ＦＦ回路、４２７〜４３３・・・論理
ゲート。出願人代理人 弁理士 鈴江武彦動１ａＪＡ□時間（ａ ） ｍ １！！！Ｊ’Ｊｋ童、味１−よるリンク第８図第９図The drawings show an embodiment of the present invention; FIG. 1 is a schematic block diagram showing the overall configuration, FIG. 2 is a diagram showing an example of a moving image format, and FIG. 3 is a diagram showing the configuration of a boundary detection section. Figure 4 shows the structure of the encoder, Figure 5 shows the structure of the encoder.
Figure 6 shows the configuration of the boundary detector, Figure 6 is a diagram explaining the operation of the boundary detector, Figure 7 is a block diagram showing the configuration of the video interface, and Figure 8 shows the management structure of moving images. For illustration purposes, FIG. 9 is a diagram showing an example of the structure of a file in units of cuts, and FIG. 10 is a diagram showing an example of a display screen. 1...CPU, 2...CRT, 3...Memory, 4
... Boundary detection unit, 5... Magnetic disk, 6... Video interface, 7... Video camera, 8...
・VTR. 9... Bus, 10... Mouse, 11... Magnetic disk device, 41... Encoder, 42... Boundary detector,
43...Decoder, 411...Intraframe/interframe determiner, 421...Adder, 422...Comparator, 4
23-426...FF circuit, 427-433...Logic gate. Applicant's agent Patent attorney Takehiko Suzue 1aJA □Time (a) m 1! ! ! J'Jk Do, Taste 1-Yoru Links Figure 8 Figure 9
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2340284AJPH04207876A (en) | 1990-11-30 | 1990-11-30 | Video management device |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2340284AJPH04207876A (en) | 1990-11-30 | 1990-11-30 | Video management device |
| Publication Number | Publication Date |
|---|---|
| JPH04207876Atrue JPH04207876A (en) | 1992-07-29 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2340284APendingJPH04207876A (en) | 1990-11-30 | 1990-11-30 | Video management device |
| Country | Link |
|---|---|
| JP (1) | JPH04207876A (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07114567A (en)* | 1993-10-20 | 1995-05-02 | Hitachi Ltd | Method and device for retrieving video |
| US6275534B1 (en) | 1997-03-19 | 2001-08-14 | Nec Corporation | Moving picture transmission system and moving picture transmission apparatus used therein |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07114567A (en)* | 1993-10-20 | 1995-05-02 | Hitachi Ltd | Method and device for retrieving video |
| US6275534B1 (en) | 1997-03-19 | 2001-08-14 | Nec Corporation | Moving picture transmission system and moving picture transmission apparatus used therein |
| Publication | Publication Date | Title |
|---|---|---|
| JPH04207878A (en) | Moving image management device | |
| US5177513A (en) | Moving picture managing device and method of managing a moving picture | |
| JPH0530464A (en) | Video management device | |
| US5493345A (en) | Method for detecting a scene change and image editing apparatus | |
| US6912327B1 (en) | Imagine information describing method, video retrieval method, video reproducing method, and video reproducing apparatus | |
| JP3719933B2 (en) | Hierarchical digital video summary and browsing method and apparatus | |
| EP0587397B1 (en) | Image data processing | |
| JP4666784B2 (en) | Video sequence key frame extraction method and video sequence key frame extraction device | |
| KR100252538B1 (en) | Video editing technology using icons directly obtained from coded video data | |
| JP3280717B2 (en) | Video compression encoding and decoding method and apparatus | |
| US5719643A (en) | Scene cut frame detector and scene cut frame group detector | |
| KR20010089770A (en) | Significant scene detection and frame filtering for a visual indexing system using dynamic threshold | |
| JP2000516435A (en) | Key Scene Detection and Frame Filtering for Visible Indexing System | |
| JP2000516434A (en) | Visible indexing system | |
| US7148908B2 (en) | Method and apparatus for generating image transitions | |
| JP2000013744A (en) | Time lapse recorder provided with abnormality detection function | |
| JPH11284948A (en) | Thumbnail creation method and thumbnail display method | |
| US6882687B2 (en) | Compressed image data reproducing apparatus and method thereof | |
| JPH04207877A (en) | Moving image management device | |
| JPH04207876A (en) | Video management device | |
| JP3573493B2 (en) | Video search system and video search data extraction method | |
| JP2001119661A (en) | Video editing system and recording medium | |
| Idris et al. | Spatio-temporal indexing of vector quantized video sequences | |
| WO2000079799A9 (en) | Method and apparatus for composing image sequences | |
| JPH07284017A (en) | Cut detection device |