【０００１】[0001]
【産業上の利用分野】本発明は、ビデオカメラなどで撮
影された動画情報を効率良く編集するための動画編集装
置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a moving picture editing apparatus for efficiently editing moving picture information taken by a video camera or the like.
【０００２】[0002]
【従来の技術】近年、ビデオカメラの普及により、誰に
でも手軽に様々な場面で動画情報を収集できるようにな
った。素人が撮影する場合、絵コンテやタイムスケジュ
ールなどの綿密な撮影計画を作成してから行なうわけで
はなく、取敢ず興味の有るシーンを手当たり次第撮影す
ることが多い。2. Description of the Related Art In recent years, with the widespread use of video cameras, anyone can easily collect moving picture information in various situations. When an amateur shoots, he does not make a detailed shooting plan such as storyboards or time schedules, but often shoots scenes he is interested in at random.
【０００３】このように撮影された動画情報を編集する
場合、動画情報に冗長なシーンが多く含まれるため、必
要なシーンだけを取り出す編集作業が必須となる。動画
情報を編集するうえで、まず、動画情報全体の概略内容
を把握することで、編集作業の効率を大幅に向上させる
ことができる。In the case of editing moving image information shot in this way, since many redundant scenes are included in the moving image information, it is essential to perform an editing operation for extracting only necessary scenes. In editing moving image information, first, by grasping the outline content of the entire moving image information, it is possible to greatly improve the efficiency of editing work.
【０００４】従来、動画情報の内容を把握するために
は、早送り再生、いわゆる高速サーチ機能を用いて、動
画を続けて見ることにより行なわれていたが、それでも
時間がかかり過ぎると言う問題があった。Conventionally, in order to grasp the contents of moving image information, fast-forward reproduction, that is, a so-called high-speed search function has been used to continuously watch moving images, but there is a problem that it takes too much time. It was
【０００５】そこで、動画中のシーンの切り替わりであ
るシーンチェンジや、フェードイン・フェードアウトな
どの特種効果を自動検出し、これらの特徴的なシーンの
変わり目を画像のインデックスとして縮小・静止画表示
させ、動画の内容把握を行なう手法が考えられている。
このようなシーンチェンジやフェードイン、フェードア
ウトの自動検出技術は、例えば「電子情報通信学会技術
研究報告」（ＩＥ９０−１０３，ｐｐ．５５−６１）に
記載されている技術により実現される。Therefore, a special effect such as a scene change, which is a scene change in a moving picture, or a fade-in / fade-out is automatically detected, and these characteristic scene transitions are reduced / still-displayed as an image index, A method of grasping the content of a moving image is considered.
Such a scene change, fade-in, or fade-out automatic detection technique is realized by, for example, the technique described in "Technical Research Report of IEICE" (IE90-103, pp.55-61).
【０００６】[0006]
【発明が解決しようとする課題】このように従来では、
動画情報を効率良く編集するために、動画中のシーンの
切り替わりや、フェードイン、フェードアウトなどの特
種効果を自動検出し、これら特徴的なシーンから代表画
像を求め、代表画像を画像のインデックスとして縮小・
静止画表示させ、動画情報の概略内容を把握する手法が
提案されている。As described above, in the prior art,
In order to edit video information efficiently, special effects such as scene changes in the video and fade-in and fade-out are automatically detected, representative images are obtained from these characteristic scenes, and the representative images are reduced as image indexes.・
A method of displaying a still image and grasping the outline content of the moving image information has been proposed.
【０００７】しかしながら、高速サーチによる早見に比
較して効率良く動画情報の内容を把握することができ
る、長時間の動画情報では前述の特徴的なシーンだけで
もかなりの数になり、それら多くの画像インデックスか
ら編集者が必要とするシーンを選択するのが困難である
という問題が生じる。However, in the case of long-time moving image information, the number of even the above-mentioned characteristic scenes is considerably large, and the number of such images can be increased in comparison with the quick-viewing by the high-speed search. The problem arises that it is difficult for the editor to select the required scene from the index.
【０００８】本発明は前記のような事情を考慮してなさ
れたもので、動画情報を効率良く編集するために容易に
内容把握することが可能な動画編集装置を提供すること
を目的とする。The present invention has been made in consideration of the above circumstances, and an object of the present invention is to provide a moving image editing apparatus capable of easily grasping the contents in order to edit moving image information efficiently.
【０００９】[0009]
【課題を解決するための手段】本発明は、動画情報を編
集する動画編集装置において、前記動画情報を表現する
時系列的に連続するフレーム画像から、シーンの切り替
わりを検出するシーン検出手段と、前記シーン検出手段
によって検出されたシーンの切り替わりで区切られたシ
ーン毎に、特徴的なフレーム画像である代表画像を検出
する代表画像検出手段と、前記シーン検出手段によって
検出されたシーンの切り替わりで区切られたシーン毎
に、シーンに対する所定の特徴量を計測する特徴量計測
手段と、前記特徴量測定手段によって測定された特徴量
に基づいて、前記代表画像検出手段によって検出された
各シーンに対応する代表画像をソーティングするソーテ
ィング手段と、前記ソーティング手段によってソーティ
ングされた順に従って、前記代表画像を複数表示する表
示手段とを具備したことを特徴とする。According to the present invention, in a moving picture editing apparatus for editing moving picture information, scene detection means for detecting a scene change from frame images which represent the moving picture information and which are continuous in time series, A representative image detection unit that detects a representative image that is a characteristic frame image for each of the scenes that are separated by the scene switching detected by the scene detection unit, and a scene that is separated by the scene detection detected by the scene detection unit. For each scene, a feature amount measuring unit that measures a predetermined feature amount for the scene, and each of the scenes detected by the representative image detecting unit based on the feature amount measured by the feature amount measuring unit. According to the sorting means for sorting the representative images and the order sorted by the sorting means. , Characterized by comprising a display means for displaying a plurality of the representative images.
【００１０】[0010]
【作用】このような構成によれば、シーン毎に測定され
た特徴量に基づいて、各シーンの代表画像をソーティン
グして画像インデックスを表示する。特徴量を選択する
ことにより、編集者が必要とする代表画像を優先的に表
示させることができるため、代表画像が大量にあっても
全ての代表画像を確認する手間を解消し、動画情報の概
略内容の把握を的確に行えるため、動画編集の作業効率
を大きく改善しうる。例えば、動きベクトルのような特
徴量によりソーティングを行えば、激しい動きを多く有
するシーンの代表画像を容易に見つけることが可能にな
り、逆に動きの少ない静かなシーンの代表画像を捜すこ
とも極めて容易に行なうことができる。According to this structure, the representative image of each scene is sorted and the image index is displayed based on the characteristic amount measured for each scene. By selecting the feature amount, the representative images required by the editor can be displayed preferentially, eliminating the trouble of checking all the representative images even if there are a large number of representative images. Since the outline content can be grasped accurately, the work efficiency of video editing can be greatly improved. For example, if sorting is performed using a feature amount such as a motion vector, it is possible to easily find a representative image of a scene having a lot of intense motion, and conversely, it is extremely possible to search for a representative image of a quiet scene with little motion. It can be done easily.
【００１１】[0011]
【実施例】以下、図面を参照して本発明の一実施例を説
明する。本実施例における動画編集装置は、動きベクト
ル、色ヒストグラム、検出文字数などの特徴量をシーン
チェンジフェードイン、フェードアウトで区切られたシ
ーン毎に計測し、これら特徴量をもとにシーンの代表画
像をソーティングして画像インデックスを表示するもの
である。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of the present invention will be described below with reference to the drawings. The moving image editing apparatus in the present embodiment measures a feature amount such as a motion vector, a color histogram, and the number of detected characters for each scene separated by scene change fade-in and fade-out, and a representative image of the scene is determined based on these feature amounts. The image index is displayed after sorting.
【００１２】図１は本実施例の一実施例に係わる動画編
集装置の構成を示すブロック図である。動画編集装置
は、図１に示すように、動画情報記録／再生部１、Ａ／
Ｄ変換部２、イメージメモリ３、シーンチェンジ検出部
４、フェードイン・アウト検出部５、動きベクトル計測
部８、色ヒストグラム計測部９、文字検出部１０、ＣＰ
Ｕ１１、メモリ１２、Ｄ／Ａ変換部１３、モニタ１４、
アフィン変換部１５、画像バス１６、汎用バス１７、及
び特徴量ソーティング部１８によって構成されている。FIG. 1 is a block diagram showing the arrangement of a moving picture editing apparatus according to an embodiment of the present invention. As shown in FIG. 1, the moving image editing apparatus includes a moving image information recording / reproducing unit 1, A /
D conversion unit 2, image memory 3, scene change detection unit 4, fade-in / out detection unit 5, motion vector measurement unit 8, color histogram measurement unit 9, character detection unit 10, CP
U11, memory 12, D / A converter 13, monitor 14,
It is composed of an affine transformation unit 15, an image bus 16, a general-purpose bus 17, and a feature amount sorting unit 18.
【００１３】動画情報記録／再生部１は、例えばビデオ
装置のようなものであり、ビデオテープなどのような記
録媒体に動画情報を記録し、再生する。Ａ／Ｄ変換部２
は、動画情報記録／再生部１で再生されたビデオ信号を
１フレーム単位で量子化し、例えば８ｂｉｔのデジタル
画像としてイメージメモリ３に蓄える。The moving picture information recording / reproducing unit 1 is, for example, a video apparatus, and records and reproduces moving picture information on a recording medium such as a video tape. A / D converter 2
Quantizes the video signal reproduced by the moving image information recording / reproducing unit 1 in units of one frame and stores it in the image memory 3 as an 8-bit digital image, for example.
【００１４】イメージメモリ３は、２次元の画像メモリ
であり、Ａ／Ｄ変換部２において量子化された時系列的
に連続する所定枚数のフレーム画像を蓄える。また、後
述する画像インデックスをレイアウトし、表示するため
にも用いられる。動画情報を表わす時系列のフレーム画
像は、１フレーム毎にフレーム番号で管理される。フレ
ーム番号により任意のフレーム画像をアクセスすること
もできる。The image memory 3 is a two-dimensional image memory and stores a predetermined number of frame images which are quantized in the A / D converter 2 and which are continuous in time series. It is also used for laying out and displaying an image index described later. Time-series frame images representing moving image information are managed by frame numbers for each frame. An arbitrary frame image can be accessed by the frame number.
【００１５】シーンチェンジ検出部４は、イメージメモ
リ３に蓄えられた時系列的に連続するフレーム画像を解
析し、例えば図２に示すような、シーンが切り替わって
いるシーンチェンジを検出する。このようなシーンチェ
ンジの検出は、例えば「電子情報通信学会技術研究報
告」（ＩＥ９０１−１０３，ｐｐ．５５−６１）に記載
されている技術を用いて実現することができる。シーン
チェンジの検出を行なう際、隣接するフレーム画像間の
変化量（例えば輝度情報の変化量）が求めら、この変化
量に基づいてシーンチェンジが検出される。The scene change detection unit 4 analyzes the time-series continuous frame images stored in the image memory 3 and detects a scene change in which scenes are switched as shown in FIG. 2, for example. The detection of such a scene change can be realized by using, for example, the technique described in "Technical Research Report of IEICE" (IE901-103, pp.55-61). When a scene change is detected, a change amount between adjacent frame images (for example, a change amount of brightness information) is obtained, and the scene change is detected based on this change amount.
【００１６】フェードイン・アウト検出部５は、イメー
ジメモリ３に蓄えられた時系列的に連続するフレーム画
像を解析し、フェードイン、フェードアウトを検出す
る。このようなフェードイン、フェードアウトの検出
は、例えば「電子情報通信学会技術研究報告」（ＩＥ９
０−１０３，ｐｐ．５５−６１）に記載されている技術
を用いて実現することができる。The fade-in / out detecting section 5 analyzes frame images that are stored in the image memory 3 and that are continuous in time series, and detects fade-in and fade-out. The detection of such fade-in and fade-out can be performed by, for example, “Technical Research Report of IEICE” (IE9
0-103, pp. 55-61).
【００１７】動きベクトル計測部８は、例えば時系列的
に連続する２枚のフレーム画像間で動きベクトルを求め
る。このような動きベクトル検出は、例えば「画像処理
ハンドブック」（昭晃堂，ｐｐ．３７３−３９１）に記
載されたオプティカルフロー法を用いて実現することが
できる。The motion vector measuring unit 8 obtains a motion vector between, for example, two frame images which are continuous in time series. Such motion vector detection can be realized using, for example, the optical flow method described in "Image Processing Handbook" (Shokodo, pp. 373-391).
【００１８】色ヒストグラム計測部９は、例えば画像に
おけるＲＧＢの色成分毎にヒストグラムを計測する。計
測された色ヒストグラムを解析することにより、あるシ
ーンでは図３に示すような色ヒストグラムが計測され、
例えば閾値ＴＨ以上の頻度を調べれば、画像の色の傾向
を定量的に把握することができる。例えば空や海のシー
ンについて色ヒストグラムを解析した場合、青の色成分
が多いといった色の傾向を定量的に把握することができ
る。The color histogram measuring section 9 measures a histogram for each of RGB color components in an image, for example. By analyzing the measured color histogram, a color histogram as shown in FIG. 3 is measured in a certain scene,
For example, by checking the frequency equal to or higher than the threshold value TH, the tendency of the color of the image can be quantitatively grasped. For example, when a color histogram is analyzed for a sky or sea scene, it is possible to quantitatively grasp the tendency of the color such that there are many blue color components.
【００１９】文字検出部１０は、フレーム画像を解析
し、画像中の文字パターンを検出する。動画情報中の文
字パターンは、例えば展示会を撮影した場合にタイトル
のように、画像の内容を表わすなどの特別な意味合いを
有するものもあり、シーン中の文字数も有用な情報とな
る。このような情景画像中の文字検出は、例えば「電子
情報通信学会論文誌 Ｄ」（Ｖｏｌ．Ｊ７１−Ｄ，Ｎ
ｏ．６，ｐｐ．１０３７−１０４７）に記載されている
技術を用いることができる。The character detector 10 analyzes the frame image and detects a character pattern in the image. Some of the character patterns in the moving image information have a special meaning, such as a title when the exhibition is photographed, such as a title, and the number of characters in the scene is also useful information. Character detection in such a scene image is performed by, for example, "Journal of the Institute of Electronics, Information and Communication Engineers D" (Vol. J71-D, N.
o. 6, pp. The techniques described in 1037-1047) can be used.
【００２０】ＣＰＵ１１は、動画編集装置全体の動作を
制御するものである。また、ＣＰＵ１１は、例えばシー
ンチェンジやフェードイン・アウトが検出された位置に
基づいて、シーンを代表するフレーム画像（代表画像）
を決定する。メモリ１２は、一時的に情報を蓄えるバッ
ファメモリである。The CPU 11 controls the operation of the whole moving picture editing apparatus. Further, the CPU 11 uses, for example, a frame image (representative image) representing a scene based on the position where a scene change or fade-in / out is detected.
To decide. The memory 12 is a buffer memory that temporarily stores information.
【００２１】アフィン変換部１５は、表示用に画像を拡
大・縮小・回転等の処理を行なう。Ｄ／Ａ変換部１３
は、動画情報記録／再生部１からＡ／Ｄ変換部２を介し
て送られる動画情報をＤ／Ａ変換してモニタ１４にて表
示させる。また、シーンチェンジやフェードイン・アウ
トから求められる代表画像をアフィン変換部１５におい
て縮小し、画像インデックスとして、例えば図４に示す
ように、イメージメモリ３上に複数枚分の画像をレイア
ウトし、Ｄ／Ａ変換部１３においてＤ／Ａ変換してモニ
タ１４にて表示させる。The affine transformation unit 15 performs processing such as enlarging / reducing / rotating an image for display. D / A converter 13
Displays the moving image information sent from the moving image information recording / reproducing unit 1 via the A / D converting unit 2 on the monitor 14 after D / A converting. Further, the representative image obtained from the scene change or the fade-in / out is reduced in the affine transformation unit 15, and a plurality of images are laid out on the image memory 3 as an image index, as shown in FIG. The A / A converter 13 performs D / A conversion, and the monitor 14 displays it.
【００２２】画像バス１６は、画像データを高速に転送
するための専用バスであり、汎用バス１７は、ＣＰＵ１
１からの制御や各検出部及び計測部からの情報を転送す
るための汎用的なバスである。The image bus 16 is a dedicated bus for transferring image data at high speed, and the general-purpose bus 17 is the CPU 1
It is a general-purpose bus for controlling from 1 and transferring information from each detection unit and measurement unit.
【００２３】特徴量ソーティング部１８は、動きベクト
ル計測部８によって計測された動きベクトル、色ヒスト
グラム計測部９によって測定された色情報、文字検出部
１０によって検出された文字の文字数情報などの特徴量
を、所定の順、例えば動きベクトルの場合には、大きい
順あるいは小さい順にソートする。The feature quantity sorting unit 18 is a feature quantity such as a motion vector measured by the motion vector measurement unit 8, color information measured by the color histogram measurement unit 9, and character number information of characters detected by the character detection unit 10. Are sorted in a predetermined order, for example, in the case of a motion vector, the larger order or the smaller order.
【００２４】次に、本実施例の動作について説明する。
本実施例では、展示会をビデオカメラで撮影し、これに
よって得られた動画情報を編集する作業を例にして説明
する。ここでは、画像中から得られた動きベクトル量に
基づいて、代表画像をソーティングし、動きベクトルが
大きい順、すなわち人の混雑が激しいブース順で、対応
する代表画像が配列された画像インデックスを作成す
る。この動作について、図５に示すフローチャートを参
照しながら説明する。Next, the operation of this embodiment will be described.
In this embodiment, a work of shooting an exhibition with a video camera and editing moving image information obtained by the shooting will be described as an example. Here, the representative images are sorted based on the motion vector amount obtained from the images, and an image index in which the corresponding representative images are arranged is created in the descending order of the motion vectors, that is, in the booth order where the crowd of people is intense. To do. This operation will be described with reference to the flowchart shown in FIG.
【００２５】まず、動画情報記録／再生部１は、記録さ
れた動画情報を再生し、ビデオ信号としてＡ／Ｄ変換部
２に送る（ステップＳ１）。Ａ／Ｄ変換部２は、動画情
報記録／再生部１からの動画情報を１フレーム単位、例
えば５１２×５１２画素８ｂｉｔのデジタル画像（フレ
ーム画像）に量子化し、イメージメモリ３に随時蓄えて
いく。First, the moving picture information recording / reproducing section 1 reproduces the recorded moving picture information and sends it as a video signal to the A / D converting section 2 (step S1). The A / D conversion unit 2 quantizes the moving image information from the moving image information recording / reproducing unit 1 into a digital image (frame image) of one frame unit, for example, 512 × 512 pixels 8 bits, and stores it in the image memory 3 as needed.
【００２６】シーンチェンジ検出部４は、イメージメモ
リ３に蓄えられた時系列画像を、例えば「電子情報通信
学会技術研究報告」（ＩＥ９０−１０３，ｐｐ．５５−
６１）に記載されている技術を用いて解析し、図２に示
すようなシーンの切り替わりであるシーチェンジを検出
する（ステップＳ２）。The scene change detection unit 4 processes the time-series images stored in the image memory 3 into, for example, "Technical Research Report of Institute of Electronics, Information and Communication Engineers" (IE90-103, pp.55-).
The technique described in 61) is used for analysis to detect a sea change, which is a scene change as shown in FIG. 2 (step S2).
【００２７】シーンチェンジ検出部４は、シーンチェン
ジを検出した場合、シーンチェンジしたフレーム画像を
示すフレーム番号を、汎用バス１７を介してＣＰＵ１１
に送出する。ＣＰＵ１１は、シーンチェンジ検出部４か
ら受け取ったシーンチェンジしたフレーム画像を示すフ
レーム番号を、メモリ１２に例えば図６に示すようにし
て蓄える。すなわち、シーンチェンジフレーム番号格納
用の領域に、順次フレーム番号を格納する。When a scene change is detected, the scene change detection unit 4 sends the frame number indicating the frame image of the scene change to the CPU 11 via the general-purpose bus 17.
Send to. The CPU 11 stores the frame number indicating the scene-changed frame image received from the scene change detection unit 4 in the memory 12 as shown in FIG. 6, for example. That is, frame numbers are sequentially stored in the area for storing scene change frame numbers.
【００２８】シーンチェンジ検出部４によるシーンチェ
ンジの検出と並行して、フェードイン・アウト検出部４
は、イメージメモリ３に蓄えられた時系列画像を、例え
ば「電子情報通信学会技術研究報告」（ＩＥ９０−１０
３，ｐｐ．５５−６１）に記載されている技術を用いて
解析し、フェードイン、フェードアウトの特種効果を検
出する（ステップＳ３）。In parallel with the detection of the scene change by the scene change detection unit 4, the fade-in / out detection unit 4
Displays the time-series images stored in the image memory 3, for example, "Technical Research Report of IEICE" (IE90-10).
3, pp. 55-61), and the special effect of fade-in and fade-out is detected (step S3).
【００２９】フェードイン・アウト検出部４は、フェー
ドインまたはフェードアウトを検出したら、フェードイ
ンまたはフェードアウトしたフレーム画像を示すフレー
ム番号を、汎用バス１７を介してＣＰＵ１１に送出す
る。ＣＰＵ１１は、受け取ったフェードインまたはフェ
ードアウトしたフレーム画像のフレーム番号を、メモリ
１２に例えば図６のように蓄える。すなわち、フェード
イン・アウトフレーム番号格納用の領域に、順次フレー
ム番号を格納する。Upon detecting the fade-in or fade-out, the fade-in / out detecting unit 4 sends the frame number indicating the fade-in or fade-out frame image to the CPU 11 via the general-purpose bus 17. The CPU 11 stores the frame number of the received fade-in or fade-out frame image in the memory 12 as shown in FIG. 6, for example. That is, the frame numbers are sequentially stored in the fade-in / out frame number storage area.
【００３０】以上の処理により、時系列画像が、例えば
図７に示すようにシーンが切り分けられたものとする。
各シーンは、シーン毎に付けられるシリアルなシーン番
号で管理される（ステップＳ４）。By the above processing, it is assumed that the time-series images are divided into scenes as shown in FIG. 7, for example.
Each scene is managed by a serial scene number assigned to each scene (step S4).
【００３１】次に、動きベクトル計測部８は、切り分け
られたシーン毎に各々の特徴量を計測する。この際、例
えばシーン１について特徴量を計測する場合、開始フレ
ーム番号と終了フレーム番号をメモリ１２から取り出
し、動画情報記録／再生部１から開始フレームから終了
フレームまでの動画情報を再生する。Next, the motion vector measuring unit 8 measures each feature amount for each divided scene. At this time, for example, when measuring the feature amount of scene 1, the start frame number and the end frame number are retrieved from the memory 12, and the moving image information recording / reproducing unit 1 reproduces the moving image information from the start frame to the end frame.
【００３２】再生された動画情報は、順次Ａ／Ｄ変換部
２において量子化され、一旦画像メモリ３に蓄えられ
る。画像メモリ３中のフレーム画像は、画像バス１６を
介して、動きベクトル計測部８に転送される。The reproduced moving image information is sequentially quantized in the A / D converter 2 and temporarily stored in the image memory 3. The frame image in the image memory 3 is transferred to the motion vector measuring unit 8 via the image bus 16.
【００３３】動きベクトル計測部８は、例えば「画像処
理ハンドブック」（ｐｐ．３７３−３９１）に記載され
たオプティカルフローの技術を用いて、時系列的に連続
する画像間の動きベクトルを定量的に検出し、この結果
をシーン番号に対応させて例えば図６に示すようにメモ
リ１２に蓄える（ステップＳ５）。すなわち、動きベク
トル情報格納用の領域に、順次、動きベクトル情報を格
納する。なお、動きベクトルは、動きの量と共に動きの
方向も計測される。この動きベクトルを検出する処理に
ついて全てのシーンについて行なう（ステップＳ６）。The motion vector measuring unit 8 quantitatively calculates the motion vector between images that are continuous in time series by using the optical flow technique described in, for example, "Image Processing Handbook" (pp. 373-391). It is detected and the result is stored in the memory 12 in correspondence with the scene number, for example, as shown in FIG. 6 (step S5). That is, the motion vector information is sequentially stored in the motion vector information storage area. It should be noted that the motion vector measures the amount of motion and the direction of motion. The process of detecting the motion vector is performed for all scenes (step S6).
【００３４】前述したように、本実施例においては、展
示会をビデオカメラで撮影して得られた動画情報を編集
する作業において、動きベクトル量に基づいて代表画像
をソーティングし、例えば人の混雑が激しいと思われる
ブースを撮影した順に、代表画像を配列する画像インデ
ックスを作成する例について説明している。As described above, in the present embodiment, in the work of editing the moving image information obtained by shooting the exhibition with the video camera, the representative images are sorted based on the motion vector amount, and, for example, the crowd of people is crowded. An example in which an image index for arranging representative images is created in the order in which the booths that are considered to be intense are shot is described.
【００３５】動きベクトル量以外の特徴量である色情報
や文字情報にに基づいて画像インデックスを作成する場
合には、色ヒストグラム計測部９及び文字検出部１０に
おいて、それぞれ特徴量を計測してメモリ１２に蓄え
る。詳細については後述する。When an image index is created based on color information or character information which is a feature amount other than the motion vector amount, the color histogram measuring unit 9 and the character detecting unit 10 measure the feature amount and store it in the memory. Store in 12. Details will be described later.
【００３６】特徴量ソーティング部１６は、メモリ１２
に蓄えられた動きベクトル情報について動き量の大きい
順にソートする（ステップＳ７）。ＣＰＵ１１は、特徴
量ソーティング部１６によるソート結果、すなわち動き
ベクトル量の大きい順に、対応するシーンの代表画像に
高い優先順位を与える（ステップＳ８）。ＣＰＵ１１
は、各代表画像をアフィン変換部１５によって縮小し、
イメージメモリ３にレイアウトして画像インデックスを
作成する。The feature amount sorting unit 16 is provided in the memory 12
The motion vector information stored in is sorted in descending order of motion amount (step S7). The CPU 11 gives a high priority to the representative images of the corresponding scenes in the descending order of the sorting result of the feature amount sorting unit 16, that is, the motion vector amount (step S8). CPU11
Reduces each representative image by the affine transformation unit 15,
The image memory 3 is laid out to create an image index.
【００３７】こうして作成された画像インデックスは、
Ｄ／Ａ変換部１３でアナログビデオ信号に変換され、モ
ニタ１４にて表示される（ステップＳ９）。編集者は、
動きベクトルの大きい順に代表画像が並べられた画像イ
ンデックスを参照することによって、動きベクトルが大
きい、すなわち混雑の激しい（人気のあるブースを撮影
した）シーンを容易に検索することが可能となる。The image index created in this way is
It is converted into an analog video signal by the D / A converter 13 and displayed on the monitor 14 (step S9). The editor
By referring to the image index in which the representative images are arranged in the descending order of the motion vector, it is possible to easily search for a scene having a large motion vector, that is, a heavily crowded scene (where a popular booth was shot).
【００３８】また、前述した動きベクトル以外の特徴量
として、フレーム画像間の変化量、色ヒストグラム、シ
ーン中の文字数を利用することができる。フレーム画像
間の変化量は、シーンチェンジ検出部４によってシーン
チェンジを検出するために検出された情報である。Further, the amount of change between frame images, the color histogram, and the number of characters in a scene can be used as the feature amount other than the motion vector described above. The amount of change between frame images is information detected by the scene change detection unit 4 to detect a scene change.
【００３９】色ヒストグラムを利用する場合、色ヒスト
グラム計測部９は、画像メモリ３中のフレーム画像につ
いて、ＲＧＢの色成分毎にヒストグラムを計測する（図
３参照）。計測された色ヒストグラムを解析することに
より、赤、緑、青、マゼンタ、シアン、肌色、無彩色な
どの代表的な色成分によって、画像の特徴を定量的に表
す。When the color histogram is used, the color histogram measuring unit 9 measures the histogram for each of the RGB color components of the frame image in the image memory 3 (see FIG. 3). By analyzing the measured color histogram, the characteristics of the image are quantitatively represented by representative color components such as red, green, blue, magenta, cyan, flesh color, and achromatic color.
【００４０】具体的には、ＲＧＢ各々の成分に分解した
画像に対する濃度ヒストグラムに対し、各々の色に対応
する閾値範囲内における頻度の和を評価値とし、赤っぽ
い画像、青っぽい画像などの判定を行なう。計測された
色ヒストグラムの解析結果は、シーン番号に対応してメ
モリ１２に、例えば図６に示すように蓄えられる。すな
わち、色情報格納用の領域に順次、シーン番号と対応づ
けて色情報を格納する。Specifically, for the density histogram of an image decomposed into RGB components, the sum of frequencies within a threshold range corresponding to each color is used as an evaluation value, and a reddish image, a bluish image, or the like is determined. Do. The analysis result of the measured color histogram is stored in the memory 12 corresponding to the scene number, as shown in FIG. 6, for example. That is, the color information is sequentially stored in the area for storing color information in association with the scene number.
【００４１】特徴量ソーティング部１８は、例えば赤っ
ぽい画像について編集を行なう場合、赤色の色情報を赤
成分の多い順にソートすれば、赤っぽい映像を多く含む
シーンの代表画像が優先的に画像インデックスとして表
示される。When editing a reddish image, for example, the feature amount sorting section 18 sorts the red color information in the order of the red component, and the representative image of the scene containing a lot of reddish video is given priority. Displayed as an image index.
【００４２】さらに、シーン中に含まれる文字も画像の
特徴量として利用できる。文字検出部１０は、画像メモ
リ３中のフレーム画像から文字を検出し、画像中に存在
する文字数を計測する。計測された文字数は、シーン番
号に対応づけてメモリ１２に、例えば図６のように蓄え
る。Further, the characters included in the scene can also be used as the feature amount of the image. The character detection unit 10 detects a character from the frame image in the image memory 3 and counts the number of characters existing in the image. The measured number of characters is stored in the memory 12 in association with the scene number, for example, as shown in FIG.
【００４３】特徴量ソーティング部１６は、文字数の多
い順にソートすれば、展示会などで説明パネルのような
シーンの画像インデックスを優先的に表示できる。この
ようにして、各シーンの特徴量、すなわち動きベクトル
計測部８によって計測された動きベクトル、色ヒストグ
ラム計測部９によって計測された色ヒストグラム、文字
検出部１０によって検出された文字数に基づいて、各シ
ーンの代表画像をレイアウトした画像インデックスを作
成することができる。例えば動きベクトルを特徴量を用
いてソーティングを行えば、激しい動きを多く有するシ
ーンの代表画像を容易に見つけることが可能となり、逆
に動きの少ない静かなシーンの代表画像を捜すことも極
めて容易に行なうことができる。従って、代表画像が大
量にある場合に、所望するシーンを見つけだすのが困難
であるという不具合を解消し、動画情報の概略内容の把
握を的確に行えるため、動画編集の作業効率を大きく改
善することができる。The feature quantity sorting unit 16 can preferentially display the image index of a scene such as an explanation panel at an exhibition or the like by sorting in descending order of the number of characters. In this way, based on the feature amount of each scene, that is, the motion vector measured by the motion vector measuring unit 8, the color histogram measured by the color histogram measuring unit 9, and the number of characters detected by the character detecting unit 10, An image index in which a representative image of a scene is laid out can be created. For example, if a motion vector is sorted using a feature amount, it becomes possible to easily find a representative image of a scene having a lot of intense motion, and conversely, it is extremely easy to search for a representative image of a quiet scene with little motion. Can be done. Therefore, when a large number of representative images are present, it is difficult to find the desired scene, and the outline content of the video information can be grasped accurately, so that the work efficiency of video editing is greatly improved. You can
【００４４】なお、前記実施例における動画情報記録／
再生部１は、ビデオ装置だけでなく、光ディスクのよう
な記録媒体や再生のみのレーザーディスクなどでもよい
し、デジタル的な記録装置でもよい。その場合、画像情
報は最初からデジタル情報であるため、Ａ／Ｄ変換部が
不要となる。Recording of moving image information in the above embodiment /
The reproducing unit 1 may be not only a video device, but also a recording medium such as an optical disk, a laser disk for reproduction only, or a digital recording device. In that case, since the image information is digital information from the beginning, the A / D conversion unit is unnecessary.
【００４５】また、シーンチェンジ検出やフェードイ
ン、フェードアウトの検出方法は、「電子情報通信学会
技術研究報告」（ＩＥ９０−１０３，ｐｐ．５５−６
１）に記載されている手法のみに限らない。The method of scene change detection and fade-in / fade-out detection is described in "Technical Report of IEICE" (IE90-103, pp.55-6).
It is not limited to the method described in 1).
【００４６】動きベクトル計測方法は、「画像処理ハン
ドブック」（ｐｐ．３７３−３９１）に記載されたオプ
ティカルフロー法に限らず、２フレーム間の差分による
変化領域の検出方式なども考えられる。差分法では動き
の方向情報までは得られないが、計算量を軽減できる。The motion vector measuring method is not limited to the optical flow method described in "Image Processing Handbook" (pp. 373-391), and a method of detecting a change area based on a difference between two frames may be considered. Although it is not possible to obtain motion direction information by the difference method, the amount of calculation can be reduced.
【００４７】同様に、色ヒストグラムは、ＲＧＢ空間に
おけるヒストグラム計測のみならずＨＣＬ空間など様々
な色空間でも行えるのはいうまでもない。さらに、情景
画像中の文字検出は、「電子情報通信学会論文誌 Ｄ」
（Ｖｏｌ．Ｊ７１−Ｄ，Ｎｏ．６，ｐｐ．１０３７−１
０４７）に記載された手法以外を用いることも可能であ
る。Similarly, it goes without saying that the color histogram can be measured not only in the histogram measurement in the RGB space but also in various color spaces such as the HCL space. Furthermore, the detection of characters in the scene image is performed by "The IEICE Transactions D"
(Vol. J71-D, No. 6, pp. 1037-1
It is also possible to use a method other than the method described in 047).
【００４８】[0048]
【発明の効果】以上述べたように本発明によれば、シー
ン毎の特徴量に基づいて、各シーンの代表画像をソーテ
ィングして画像インデックスを作成、表示するので、任
意に選択される特徴量により編集者が必要とする代表画
像を優先的に表示し、As described above, according to the present invention, a representative image of each scene is sorted and an image index is created and displayed based on the characteristic amount of each scene. By displaying the representative image required by the editor by priority,
【図１】本発明の一実施例に係わる動画編集装置の構成
を示すブロック図。FIG. 1 is a block diagram showing the configuration of a moving image editing apparatus according to an embodiment of the present invention.
【図２】シーンチェンジの例を説明するための図。FIG. 2 is a diagram for explaining an example of a scene change.
【図３】色ヒストグラム計測の例を説明するための図。FIG. 3 is a diagram for explaining an example of color histogram measurement.
【図４】画像インデックスの表示例を示す図。FIG. 4 is a diagram showing a display example of an image index.
【図５】本実施例の動作を説明するためのフローチャー
ト。FIG. 5 is a flowchart for explaining the operation of this embodiment.
【図６】本実施例のメモリ１２のマップを示す図。FIG. 6 is a diagram showing a map of a memory 12 of this embodiment.
【図７】シーンの切り分け例を説明するための図。FIG. 7 is a diagram for explaining an example of scene division.
１…動画情報記録／再生部、２…Ａ／Ｄ変換部、３…イ
メージメモリ、４…シーンチェンジ検出部、５…フェー
ドイン・アウト検出部、８…動きベクトル計測部、９…
色ヒストグラム計測部、１０…文字検出部、１１…ＣＰ
Ｕ、１２…メモリ、１３…Ｄ／Ａ変換部、１４…モニ
タ、１５…アフィン変換部、１６…画像バス、１７…汎
用バス、１８…特徴量ソーティング部。1 ... Video information recording / reproducing section, 2 ... A / D converting section, 3 ... Image memory, 4 ... Scene change detecting section, 5 ... Fade in / out detecting section, 8 ... Motion vector measuring section, 9 ...
Color histogram measurement unit, 10 ... Character detection unit, 11 ... CP
U, 12 ... Memory, 13 ... D / A conversion section, 14 ... Monitor, 15 ... Affine conversion section, 16 ... Image bus, 17 ... General-purpose bus, 18 ... Feature amount sorting section.
フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０６Ｔ 13/00 Ｈ０４Ｎ 5/7826 9287−5Ｌ Ｇ０６Ｆ 15/62 ３８０ 8837−5Ｌ 15/70 ４０５ Ｈ０４Ｎ 5/782 ＡContinuation of the front page (51) Int.Cl.6 Identification code Office reference number FI Technical display location G06T 13/00 H04N 5/7826 9287-5L G06F 15/62 380 8837-5L 15/70 405 H04N 5/782 A
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5158367AJPH0738842A (en) | 1993-06-29 | 1993-06-29 | Video editing equipment |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5158367AJPH0738842A (en) | 1993-06-29 | 1993-06-29 | Video editing equipment |
| Publication Number | Publication Date |
|---|---|
| JPH0738842Atrue JPH0738842A (en) | 1995-02-07 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5158367APendingJPH0738842A (en) | 1993-06-29 | 1993-06-29 | Video editing equipment |
| Country | Link |
|---|---|
| JP (1) | JPH0738842A (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09139913A (en)* | 1995-11-16 | 1997-05-27 | Matsushita Electric Ind Co Ltd | Video display method and video display device |
| JPH09270006A (en)* | 1996-04-03 | 1997-10-14 | Toshiba Corp | Moving image processing method |
| JPH09293139A (en)* | 1996-04-26 | 1997-11-11 | Nippon Telegr & Teleph Corp <Ntt> | Video management method and apparatus |
| JPH09294277A (en)* | 1996-04-26 | 1997-11-11 | Nippon Telegr & Teleph Corp <Ntt> | Predictive coded image data management method and apparatus |
| JPH10187760A (en)* | 1996-10-22 | 1998-07-21 | Matsushita Electric Ind Co Ltd | Image display device and moving image search system |
| JPH10234004A (en)* | 1997-02-18 | 1998-09-02 | Toshiba Corp | Moving image display device and display method |
| US5969772A (en)* | 1997-10-30 | 1999-10-19 | Nec Corporation | Detection of moving objects in video data by block matching to derive a region motion vector |
| JP2002135747A (en)* | 1995-03-20 | 2002-05-10 | Internatl Business Mach Corp <Ibm> | System and method for allowing presentation and preparing collection of movie for private use |
| JP2003032583A (en)* | 2001-03-23 | 2003-01-31 | Lg Electronics Inc | Automatic detection method of anchor shot in news video browsing system |
| US7092040B1 (en) | 1999-06-30 | 2006-08-15 | Sharp Kabushiki Kaisha | Dynamic image search information recording apparatus and dynamic image searching device |
| US7136508B2 (en)* | 2000-11-09 | 2006-11-14 | Minolta Co., Ltd. | Image processing apparatus, method, and program for processing a moving image |
| US7474766B2 (en) | 2000-09-01 | 2009-01-06 | Minolta Co., Ltd. | Motion image processor, motion image processing method and recording medium |
| JP2009044422A (en)* | 2007-08-08 | 2009-02-26 | Univ Of Electro-Communications | Cut part detection system, shot detection system, scene detection system, and cut part detection method |
| JP2009110536A (en)* | 2004-05-19 | 2009-05-21 | Sony Computer Entertainment Inc | Image frame processing method and device, rendering processor and moving image display method |
| JP2010198634A (en)* | 2010-05-14 | 2010-09-09 | Casio Computer Co Ltd | Image processing device and image processing program |
| WO2013089038A1 (en)* | 2011-12-15 | 2013-06-20 | Ｊｆｅスチール株式会社 | Laser welding position-detecting device and welding position-detecting method |
| US8559798B2 (en) | 2004-05-19 | 2013-10-15 | Sony Corporation | Image frame processing method and device for displaying moving images to a variety of displays |
| JP2013225731A (en)* | 2012-04-19 | 2013-10-31 | Nippon Hoso Kyokai <Nhk> | Image processing device and program |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002135747A (en)* | 1995-03-20 | 2002-05-10 | Internatl Business Mach Corp <Ibm> | System and method for allowing presentation and preparing collection of movie for private use |
| JPH09139913A (en)* | 1995-11-16 | 1997-05-27 | Matsushita Electric Ind Co Ltd | Video display method and video display device |
| JPH09270006A (en)* | 1996-04-03 | 1997-10-14 | Toshiba Corp | Moving image processing method |
| JPH09293139A (en)* | 1996-04-26 | 1997-11-11 | Nippon Telegr & Teleph Corp <Ntt> | Video management method and apparatus |
| JPH09294277A (en)* | 1996-04-26 | 1997-11-11 | Nippon Telegr & Teleph Corp <Ntt> | Predictive coded image data management method and apparatus |
| JPH10187760A (en)* | 1996-10-22 | 1998-07-21 | Matsushita Electric Ind Co Ltd | Image display device and moving image search system |
| JPH10234004A (en)* | 1997-02-18 | 1998-09-02 | Toshiba Corp | Moving image display device and display method |
| US5969772A (en)* | 1997-10-30 | 1999-10-19 | Nec Corporation | Detection of moving objects in video data by block matching to derive a region motion vector |
| US7884884B2 (en) | 1999-06-30 | 2011-02-08 | Sharp Kabushiki Kaisha | Dynamic image search information recording apparatus and dynamic image searching devices |
| US7092040B1 (en) | 1999-06-30 | 2006-08-15 | Sharp Kabushiki Kaisha | Dynamic image search information recording apparatus and dynamic image searching device |
| US7474766B2 (en) | 2000-09-01 | 2009-01-06 | Minolta Co., Ltd. | Motion image processor, motion image processing method and recording medium |
| US7136508B2 (en)* | 2000-11-09 | 2006-11-14 | Minolta Co., Ltd. | Image processing apparatus, method, and program for processing a moving image |
| JP2003032583A (en)* | 2001-03-23 | 2003-01-31 | Lg Electronics Inc | Automatic detection method of anchor shot in news video browsing system |
| US8559798B2 (en) | 2004-05-19 | 2013-10-15 | Sony Corporation | Image frame processing method and device for displaying moving images to a variety of displays |
| JP2009110536A (en)* | 2004-05-19 | 2009-05-21 | Sony Computer Entertainment Inc | Image frame processing method and device, rendering processor and moving image display method |
| JP2009044422A (en)* | 2007-08-08 | 2009-02-26 | Univ Of Electro-Communications | Cut part detection system, shot detection system, scene detection system, and cut part detection method |
| JP2010198634A (en)* | 2010-05-14 | 2010-09-09 | Casio Computer Co Ltd | Image processing device and image processing program |
| WO2013089038A1 (en)* | 2011-12-15 | 2013-06-20 | Ｊｆｅスチール株式会社 | Laser welding position-detecting device and welding position-detecting method |
| JP2013123743A (en)* | 2011-12-15 | 2013-06-24 | Jfe Steel Corp | Device and method for detecting welding position of laser welding |
| CN103998177A (en)* | 2011-12-15 | 2014-08-20 | 杰富意钢铁株式会社 | Laser welding position-detecting device and welding position-detecting method |
| CN103998177B (en)* | 2011-12-15 | 2015-08-05 | 杰富意钢铁株式会社 | The welding position checkout gear of laser weld and welding position detection method |
| US9492888B2 (en) | 2011-12-15 | 2016-11-15 | Jfe Steel Corporation | Welding position detecting apparatus and welding position detecting method for laser beam welding |
| JP2013225731A (en)* | 2012-04-19 | 2013-10-31 | Nippon Hoso Kyokai <Nhk> | Image processing device and program |
| Publication | Publication Date | Title |
|---|---|---|
| JPH0738842A (en) | Video editing equipment | |
| US5801765A (en) | Scene-change detection method that distinguishes between gradual and sudden scene changes | |
| EP0729117B1 (en) | Method and apparatus for detecting a point of change in moving images | |
| US5627765A (en) | Method and apparatus for compressing and analyzing video and for creating a reference video | |
| US5493345A (en) | Method for detecting a scene change and image editing apparatus | |
| US6310625B1 (en) | Clip display method and display device therefor | |
| JP3131560B2 (en) | Moving image information detecting device in moving image processing system | |
| US20040090453A1 (en) | Method of and system for detecting uniform color segments | |
| US7734144B2 (en) | Method and apparatus for editing source video to provide video image stabilization | |
| JP2002238027A (en) | Video and audio information processing | |
| JP2003061030A (en) | System and method for detecting border of recorded video data | |
| JPH06149902A (en) | Animation image recording medium, animation image recorder and animation image reproducing device | |
| JPH08251540A (en) | Video summarization method | |
| JP3258924B2 (en) | Scene management device, scene management method, and recording medium | |
| US20020141617A1 (en) | Image search apparatus | |
| EP1215677A1 (en) | Video editing apparatus selecting representative video images | |
| JPH04237284A (en) | Video content compression display processing method | |
| JPH06153146A (en) | Scene change detector for moving picture and edit device | |
| JP3558886B2 (en) | Video processing equipment | |
| JPH07111630A (en) | Video editing apparatus and cut integration method | |
| JPH0537853A (en) | Automatic cutting method for movies | |
| Dobashi et al. | Camera working parameter extraction for constructing video considering camera shake | |
| JPH06337898A (en) | Moving picture editor | |
| JP3926497B2 (en) | Index image display device | |
| JPH09223234A (en) | Moving image information detecting device for moving image processing system |