JP4414254B2 - Video content importance analysis system - Google Patents
Video content importance analysis systemDownload PDFInfo
- Publication number
- JP4414254B2 JP4414254B2JP2004062988AJP2004062988AJP4414254B2JP 4414254 B2JP4414254 B2JP 4414254B2JP 2004062988 AJP2004062988 AJP 2004062988AJP 2004062988 AJP2004062988 AJP 2004062988AJP 4414254 B2JP4414254 B2JP 4414254B2
- Authority
- JP
- Japan
- Prior art keywords
- scene
- importance
- score
- event
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
Translated fromJapanese本発明は、事象が発生する前の「場面としてのチャンスの度合い」である場面重要度をシーンの重要度に反映させることができる映像コンテンツ重要度解析システムに関するものである。 The present invention relates to a video content importance analysis system capable of reflecting the importance of a scene, which is a “degree of opportunity as a scene” before an event occurs, in the importance of the scene.
近年、携帯端末やＰＣ向けにマルチメディア情報を配信するサービスの普及がめざましい。特にスポーツ番組に対しては、映像シーンを始めとするマルチメディア情報配信サービスが人気となっている。 In recent years, services for distributing multimedia information for mobile terminals and PCs have become very popular. Particularly for sports programs, multimedia information distribution services including video scenes have become popular.
このようなサービスでは、利用者の嗜好を反映し、利用者が重要と考えるシーンをダイジェストとして効率的に配信する機能が重要となる。 In such a service, a function that efficiently reflects a user's preference and efficiently distributes a scene that the user considers important as a digest is important.
これまでに、本発明者は映像メタデータを利用したパーソナルなダイジェスト作成方式（Ｐｅｒｓｏｎａｌ Ｄｉｇｅｓｔ Ｍａｋｉｎｇ Ｍｅｔｈｏｄ， ＰＤＭＳ）を提案してきた（特許文献１、特許文献２、特許文献３参照。）。 So far, the present inventor has proposed a personal digest making method (PDMS) using video metadata (see
ここで、ＰＤＭＳは、スポーツ映像を対象とし、映像メタデータを利用して、試合で発生した事象の重要度を算出して、利用者ごとに重要なシーンを検索し、重要度の高いシーンを集めてダイジェストとして生成する方式である。 Here, PDMS targets sports videos, uses video metadata to calculate the importance of events that occur in the game, searches for important scenes for each user, It is a method of collecting and generating as a digest.
また、本発明者は、ＰＤＭＳに基づいて、携帯端末上で日本のプロ野球のダイジェスト情報を配信するシステムの発明も行った（特許文献４参照。）。 The inventor has also invented a system for distributing Japanese professional baseball digest information on a portable terminal based on PDMS (see Patent Document 4).
しかしながら、ＰＤＭＳは加点事象を中心に重要度を算出して重要シーンを抽出していたため、得点が多く入った試合の精度は高いが、得点がほとんど入らなかった試合の精度は低い、という課題があった。 However, since PDMS used to calculate the importance level based on the scoring events and extracted the important scenes, there was a problem that the accuracy of the game with many scores was high, but the accuracy of the game with few scores was low. there were.
例えば野球の場合、乱打戦（例えば両チームとも５点以上加点された試合）の場合、ＴＶのニュース番組が人手でニュースダイジェストとして選択したシーンとほぼ同等のシーンをＰＤＭＳは抽出できたが、投手戦（例えば両チームとも得点が２点以下）の場合、ニュース番組が選択したシーンと同じシーンを重要シーンとして抽出することができなかった。 For example, in the case of baseball, in the case of a battling game (for example, a game in which 5 points or more are added to both teams), PDMS was able to extract almost the same scene as the TV news program manually selected as a news digest. In the case of a battle (for example, both teams scored 2 or less), the same scene as the scene selected by the news program could not be extracted as an important scene.
本発明は上記問題点に鑑みてなされたもので、事象が発生する前の「場面としてのチャンスの度合い」である場面重要度をシーンの重要度に反映させることができる映像コンテンツ重要度解析システムを提供することを目的としている。 The present invention has been made in view of the above problems, and a video content importance analysis system capable of reflecting the importance of a scene, which is a “degree of chance as a scene”, before the occurrence of an event, in the importance of the scene. The purpose is to provide.
本発明では、事象が発生する前の「場面としてのチャンスの度合い」である場面重要度をシーンの重要度に反映させる方式を提案する。 The present invention proposes a method of reflecting the importance of a scene, which is the “degree of chance as a scene” before the occurrence of an event, in the importance of the scene.
ここで、場面とはシーンの最初の状況である。そのため、場面重要度はシーンの先頭で算出される値となる。具体的には、該当するシーン内で事象が発生する前に、どのような事象が発生しそうかを予測し、発生事象が試合の勝敗にどのような影響を与えるか、また、どの程度試合に勝つチャンスがありそうかを指標化する。場面重要度が高ければ高いほどチャンスの度合いが大きいことになり、事象発生前の「場面としてのおもしろさ」を表すことが可能となる。この場面重要度を考慮することにより、得点の低い試合に対しての精度の高い重要シーン抽出が実現できる。 Here, the scene is the first situation of the scene. Therefore, the scene importance is a value calculated at the beginning of the scene. Specifically, before an event occurs in the corresponding scene, predict what kind of event is likely to occur, how it will affect the outcome of the match, and how much Indicate if you have a chance to win. The higher the importance of the scene, the greater the degree of chance, and it is possible to represent “interesting as a scene” before the event occurs. By considering the importance of this scene, it is possible to extract an important scene with high accuracy for a game with a low score.
また、この場面重要度はリアルタイムに試合の状況を配信するアプリケーションにも利用できる。例えば、試合として面白い場面となったとき、直ちにその情報を利用者に通知し、利用者はその時点からリアルタイムに試合の進行を視聴する、といった機能が実現できる。 This scene importance level can also be used for applications that deliver the status of matches in real time. For example, when it becomes an interesting scene as a game, the user can be notified of the information immediately, and the user can view the progress of the game in real time from that point.
したがって、上述した課題を解決し、目的を達成するために、請求項１にかかる映像コンテンツ重要度解析システムは、ＣＰＵがメモリに格納されたプログラムを読み出し、入力されるスポーツ映像の映像メタデータに基づいて場面の重要度を解析処理する映像コンテンツ重要度解析システムであって、前記ＣＰＵが前記プログラムを用いて、入力される前記スポーツ映像の中から前記映像メタデータを抽出し、各シーンの内容を解析するメタデータ解析手段と、前記ＣＰＵが前記プログラムを用いて、前記メタデータ解析手段により解析された前記各シーンの中から特定のシーンを抽出するシーン抽出手段と、前記ＣＰＵが前記プログラムを用いて、前記シーン抽出手段により抽出された前記特定のシーンの重要度を表すシーン重要度の解析を行うシーン重要度解析手段と、を備え、前記シーン重要度解析手段は、シーンの先頭の状況に基づいて実際に事象が発生する前の場面としての重要度である場面重要度を算出する場面重要度算出手段を含み、前記場面重要度算出手段は、さらにシーンの先頭の状況に基づいて、当該シーンで発生する発生事象を予測する事象予測手段と、前記事象予測手段で予測された発生事象に基づいて、当該シーンにおける得点の期待値である予想得点値を算出する期待値算出手段と、前記期待値算出手段で予測された得点の期待値に基づいて、当該得点が加算されたことにより試合の経過にどの程度影響を与えるかを指標値として算出する指標値算出手段と、を備え、算出された指標値をホームチームの勝利確率の差、または、前記得点の前記期待値の加点後の勝利確率と前記シーンの先頭における勝利確率との差の絶対値とし、該絶対値を前記場面の重要度として求めることを特徴とする。Therefore, in order to solve the above-described problems and achieve the object, the video content importance analysis system according to
この請求項１にかかる発明によれば、メタデータ解析手段により入力されるスポーツ映像の中から映像メタデータを抽出して、各シーンの内容を解析し、解析された各シーンの中からシーン抽出手段により特定のシーンを抽出し、抽出された特定のシーンの重要度を表すシーン重要度の解析をシーン重要度解析手段により行う。シーン重要度解析手段は、シーンの先頭の状況に基づいて実際に事象が発生する前の場面としての重要度である場面重要度を算出する場面重要度算出手段を含み、その場面重要度算出手段は、事象予測手段と、期待値算出手段と、指標値算出手段とを備えている。事象予測手段は、シーンの先頭の状況に基づいてそのシーンで発生する発生事象を予測し、期待値算出手段は、事象予測手段で予測された発生事象に基づいてそのシーンにおける得点の期待値である予想得点値を算出し、指標値算出手段は、期待値算出手段で予測された得点の期待値に基づいてその得点が加算されることで試合の経過にどの程度の影響を与えるかを指標値として算出し、その算出された指標値をホームチームの勝利確率の差、または、得点の期待値の加点後の勝利確率とシーンの先頭における勝利確率との差の絶対値とし、その絶対値を場面の重要度として求めようにする。このため、該当するシーン内で事象が発生する前に、どのような事象が発生しそうかを予測し、発生事象が試合の勝敗にどのような影響を与えるか、また、どの程度試合に勝つチャンスがありそうかを指標化することができるので、事象発生前の「場面としてのおもしろさ」を表すことが可能となる。According to the first aspect of the present invention, thevideo metadata is extracted from the sports video input by the metadataanalysis means, the contents of each scene are analyzed, and the scene is extracted from each analyzed scene. The specific scene is extracted by the means, and the scene importance analysis means representing the importance of the extracted specific scene is performed by the scene importance analysis means. The scene importance level analysis means includes a scene importance level calculation means for calculating a scene importance level that is an importance level as a scene before an event actually occurs based on the situation at the beginning of the scene, and the scene importance level calculation means Comprises an event predicting means, an expected value calculating means, and an index value calculating means. The event prediction means predicts an occurrence event that occurs in the scene based on the situation at the beginning of the scene, and the expected value calculation means uses the expected value of the score in the scene based on the occurrence event predicted by the event prediction means. An expected score value is calculated, and the index value calculation means is an index indicating how much the score is affected by adding the score based on the expected value of the score predicted by the expected value calculation means. The calculated index value is the absolute value of the difference between the winning probability of the home team or the difference between the winning probability after adding the expected score and the winning probability at the beginning of the scene. As the importance of the scene. Therefore, before an event occurs in the corresponding scene, it is predicted what kind of event will occur, how it will affect the outcome of the game, and how much chance to win the game Therefore, it is possibleto represent “interesting as a scene” before the occurrence of an event .
また、請求項２にかかる発明は、請求項１に記載の映像コンテンツ重要度解析システムであって、前記シーン重要度解析手段は、前記シーンの先頭の状況として、当該シーンの登場人物、得点、場所、および時間のうち少なくとも一つに対応した状況を表現する値のセットをスポーツのジャンルに基づいて決定する値セット決定手段をさらに含んでいることを特徴とする。The invention according to
この請求項２にかかる発明によれば、シーンの先頭の状況は、シーンの登場人物、得点、場所、時間のうち少なくとも一つに対応した状況を表現する値のセットであり、その値のセットをスポーツのジャンルに依存して決定するため、各種スポーツに対応した場面重要度を算出することが可能になる。According to the second aspect to thisinvention, the head of the status of yoursceneischaracters in yourscene, scoring, whereaset of values representing the situationcorresponding to at least one oftime,to determine depending on the set of its value to the genre of sports, to calculatethe scene importance corresponding to the various sportsis possible.
本発明にかかる映像コンテンツ重要度解析システムは、該当するシーン内で事象が発生する前に、どのような事象が発生しそうかを予測し、発生事象が試合の勝敗にどのような影響を与えるか、また、どの程度試合に勝つチャンスがありそうかを指標化することができるので、事象発生前の「場面としてのおもしろさ」を表すことが可能になるという効果を奏する。Video content importance analysis system accordingto the present onsetMing,before the event occurs in the appropriate scene, what kind of events to predict how likely to occur, occurs event to determine its impact on the outcome of the game or, also, because how much the game has a chance to win the likely can be indexed, there is an effect thatis capable of ing to represent the "fun of as a scene" before the event occurs.
また、本発明にかかる映像コンテンツ重要度解析システムは、シーンの先頭の状況は、シーンの登場人物、得点、場所、時間のうち少なくとも一つに対応した状況を表現する値のセットであり、その値のセットをスポーツのジャンルに依存して決定するため、各種スポーツに対応した場面重要度を算出することが可能になるという効果を奏する。In addition, the video content importance analysis system accordingto the present onsetMing,head of the situation of the scene, the scene of the characters, score, location, is a set of values that represent a situation corresponding to the at least one of the time, to determined depending the set of values to the genre of sports, to calculatea scene importancecorresponding to varioussports an effect that becomespossible.
以下に、本発明にかかる映像コンテンツ重要度解析システムの最良な実施の形態について添付図面を参照し、詳細に説明する。なお、本発明はこの実施の形態により限定されるものではない。 The best mode of a video content importance analysis system according to the present invention will be described below in detail with reference to the accompanying drawings. The present invention is not limited to this embodiment.
［本発明の概要］
本発明では、事象が発生する前の「場面としてのチャンスの度合い」である場面重要度をシーンの重要度に反映させる方式を提案する。[Outline of the present invention]
The present invention proposes a method of reflecting the importance of a scene, which is the “degree of chance as a scene” before the occurrence of an event, in the importance of the scene.
例えば野球の場合、満塁でホームランをよく打つバッターが打席に入ったとする。ここで、相手チームとの得点差が−４点以下である場合、ホームラン（ＨＲ）が出れば同点（あるいは逆転）にできるため、チャンスの度合いは大きくなり、試合に勝つ可能性が高まる。しかし、相手チームとの差が−４点よりもはるかに大きかった場合、ＨＲが出たとしても点差はまだ大きく、試合に勝つ可能性が低いままであるため、チャンスの度合いは小さくなる。すなわち、このチャンスの度合いは、打者が打席に入ったときに求まる値であり、結果として該当打者が三振に終わりチャンスを逃したとしても影響を受けることはない。 For example, in the case of baseball, it is assumed that a batter who is full and often hits a home run enters the bat. Here, when the score difference with the opponent team is -4 points or less, if a home run (HR) is made, it can be made the same point (or reverse), so the degree of chance increases and the possibility of winning the game increases. However, if the difference with the opponent team is much larger than -4 points, even if HR is given, the point difference is still large, and the possibility of winning the game remains low, so the degree of chance becomes small. That is, the degree of the chance is a value obtained when the batter enters the bat, and as a result, even if the batter finishes in a strike and misses the chance, it is not affected.
そこで、本発明は、映像メタデータを利用して場面重要度を算出し、場面重要度をシーンの重要度に反映させるために、概略的に、以下の基本的特徴を有する。すなわち、本発明は、まず、メタデータを抽出して対応するシーンの内容を解析する。 Accordingly, the present invention has the following basic features in order to calculate the importance of a scene using video metadata and reflect the importance of the scene in the importance of the scene. That is, the present invention first extracts metadata and analyzes the contents of the corresponding scene.
ついで、解析された内容から特定のシーンを抽出する。 Next, a specific scene is extracted from the analyzed contents.
ついで、抽出されたシーンの重要度であるシーン重要度を解析する。 Next, the importance level of the extracted scene is analyzed.
ここで、シーン重要度の解析において、各シーンの先頭において、当該シーンの状況に基づいて、実際に事象が発生する前の場面としての重要度である場面重要度を算出する。具体的には、該当シーンの得点の期待値を求め、得点の期待値に基づいて場面重要度を算出する。なお、シーンの先頭の状況は、シーンの登場人物、得点、場所、時間のうち少なくとも一つに対応するステイタスを表現する値のセットでもよい。また、値のセットはスポーツのジャンルに依存して決定してもよい。 Here, in the analysis of the scene importance, the scene importance, which is the importance as the scene before the actual occurrence of the event, is calculated at the head of each scene based on the situation of the scene. Specifically, the expected value of the score of the corresponding scene is obtained, and the scene importance is calculated based on the expected value of the score. The situation at the head of the scene may be a set of values representing the status corresponding to at least one of the characters in the scene, the score, the place, and the time. The set of values may be determined depending on the genre of sports.
また、場面重要度の算出において、シーンの状況に基づいて、シーンで発生する事象である発生事象を予測してもよい。 In the calculation of the scene importance, an occurrence event that is an event occurring in the scene may be predicted based on the situation of the scene.
また、予測された発生事象に基づいて、シーンにおける得点の期待値である予想得点値を算出してもよい。 Further, an expected score value that is an expected value of the score in the scene may be calculated based on the predicted occurrence event.
また、予測された得点の期待値に基づいて、得点が加算されることで、試合の経過にどの程度影響を与えるかを指標値として算出してもよい。 Further, how much the score is added based on the predicted expected value of the score to affect the progress of the game may be calculated as an index value.
また、算出された指標値を、ホームチームの勝利確率の差、または、得点の期待値の加点後の勝利確率とシーンの先頭における勝利確率との差の絶対値とし、算出された指標値（絶対値）を場面重要度として求めてもよい。 The calculated index value is the absolute value of the difference between the victory probability of the home team or the victory probability after adding the expected score and the victory probability at the beginning of the scene. (Absolute value) may be obtained as the scene importance.
また、ホームチームの勝利確率の差が大きいシーンを場面重要度の高いシーンとして認識し、認識したシーンの場面重要度と、予め算出した事象を基にした重要度である事象重要度と、を組み合わせてシーン重要度を算出してもよい。 Also, a scene with a large difference in the victory probability of the home team is recognized as a scene with high scene importance, and the scene importance of the recognized scene and the event importance that is an importance based on the event calculated in advance are The scene importance may be calculated in combination.
［システム構成］
つぎに、本システムの構成について説明する。
図１は、本発明の実施の形態にかかる映像コンテンツ重要度解析システム１００のハードウェア構成を示すブロック図である。[System configuration]
Next, the configuration of this system will be described.
FIG. 1 is a block diagram showing a hardware configuration of a video content
図１に示すように、映像コンテンツ重要度解析システム１００は、概略的に、映像コンテンツ重要度解析システム１００の全体を統括的に制御し後述するソフトウェアに基づく処理を実行するＣＰＵ１０１と、プログラム等を記録したＲＯＭ１０２と、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ１０３と、各種の入力操作を行うためのキーボード１０５およびマウス１０６と、映像や各種情報を表示するモニタ１０４と、各種のアプリケーションプログラムやデータなどを記録したハードディスク（ＨＤ）１０７と、外部機器と接続するための各種ドライバー、ネットワークアダプタなどのインタフェース部１０８と、を少なくとも備えている。 As shown in FIG. 1, the video content
図１において、ＣＰＵ１０１は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、各種の処理手順等を規定したプログラム、および所要データを格納するための内部メモリを有し、これらのプログラム等により、種々の処理を実行するための情報処理を行う。ＣＰＵ１０１は、図２に示すように、機能概念的に、メタデータ解析部１０１ａ、シーン抽出部１０１ｂ、シーン重要度解析部１０１ｃを含んで構成される。 In FIG. 1, a
図２は、図１におけるＣＰＵ１０１のソフトウェア構成を示すブロック図である。
図２において、メタデータ解析部１０１ａは、メタデータを抽出して対応するシーンの内容を解析するメタデータ解析手段である。FIG. 2 is a block diagram showing a software configuration of the
In FIG. 2, a
また、シーン抽出部１０１ｂは、解析された内容から特定のシーンを抽出するシーン抽出手段である。 The scene extraction unit 101b is a scene extraction unit that extracts a specific scene from the analyzed content.
また、シーン重要度解析部１０１ｃは、抽出されたシーンの重要度であるシーン重要度を解析するシーン重要度解析手段である。ここで、シーン重要度解析部１０１ｃは、図３に示すように、値セット決定部１０１ｃ−１、場面重要度算出部１０１ｃ−２、シーン認識部１０１ｃ−３、シーン重要度算出部１０１ｃ−４を含んで構成される。 The scene
図３は、図２におけるシーン重要度解析部１０１ｃのソフトウェア構成を示すブロック図である。
図３において、値セット決定部１０１ｃ−１は、シーンの登場人物、得点、場所、時間のうち少なくとも一つに対応するステイタスを表現する値のセットをスポーツのジャンルに依存して決定する値セット決定手段である。FIG. 3 is a block diagram showing a software configuration of the scene
In FIG. 3, a value set
また、場面重要度算出部１０１ｃ−２は、各シーンの先頭において、当該シーンの状況に基づいて、実際に事象が発生する前の場面としての重要度である場面重要度を算出する場面重要度算出手段である。ここで、場面重要度算出部１０１ｃ−２は、事象予測部１０１ｃ−２−１、期待値算出部１０１ｃ−２−２、指標値算出部１０１ｃ−２−３を含んで構成される。 In addition, the scene importance
図３において、事象予測部１０１ｃ−２−１は、シーンの状況に基づいて、シーンで発生する事象である発生事象を予測する事象予測手段である。 In FIG. 3, an
また、期待値算出部１０１ｃ−２−２は、予測された発生事象に基づいて、シーンにおける得点の期待値である予想得点値を算出する期待値算出手段である。 The expected
また、指標値算出部１０１ｃ−２−３は、予測された得点の期待値に基づいて、得点が加算されることで、試合の経過にどの程度影響を与えるかを指標値（例えば、ホームチームの勝利確率の差、または、得点の期待値の加点後の勝利確率とシーンの先頭における勝利確率との差の絶対値）として算出する指標値算出手段である。 In addition, the index
また、シーン認識部１０１ｃ−３は、ホームチームの勝利確率の差が大きいシーンを場面重要度の高いシーンとして認識するシーン認識手段である。 The
また、シーン重要度算出部１０１ｃ−４は、認識したシーンの場面重要度と予め算出した事象を基にした重要度である事象重要度とを組み合わせてシーン重要度を算出するシーン重要度算出手段である。 In addition, the scene importance
なお、これら各部によって行われる処理の詳細については、後述する。 Details of processing performed by these units will be described later.
［システムの処理］
つぎに、このように構成された本実施の形態における本システムの処理の一例について、以下に、図４や図５などを参照して詳細に説明する。System processing
Next, an example of the processing of the system according to the present embodiment configured as described above will be described in detail with reference to FIG. 4 and FIG.
ここで、まず、場面重要度算出のための入力情報となる映像メタデータと、ダイジェストの構成単位となるシーンについて簡単に説明する。なお、詳細は、特開２００２−２３２８２８号公報、特開２００１−２７５０５８号公報、特開２００２−３２８９１７号公報を参照されたい。 Here, first, video metadata serving as input information for scene importance calculation and a scene serving as a constituent unit of a digest will be briefly described. For details, refer to JP 2002-232828 A, JP 2001-275058 A, and JP 2002-328917 A.
「映像メタデータ」は、メタデータの一例を示す図である図６に示すように、映像上で発生した事象情報を表現する記述子（Ｐｒｉｍｉｔｉｖｅ Ｄｅｓｃｒｉｐｔｏｒ）であり、以下のようなタプルで表現される。 As shown in FIG. 6, which is an example of metadata, “video metadata” is a descriptor (Primary Descriptor) that represents event information that has occurred on video, and is represented by the following tuples. The
例えば打席開始の場合は、投手や打者の名前、アウトカウント、出塁などの状況に関する情報が属性として指定されている。 For example, in the case of starting at bat, information about the situation such as the names of pitchers and batters, outcounts, and encounters is specified as attributes.
また、「シーン」は、２つのメタデータ間の区間であり、例えば、打席開始から次の打席開始までが打席シーン、投球開始から次の投球開始（あるいは次の打席開始）までが投球シーン、といったようにシーンの粒度が定義される。なお、ＰＤＭＳにより生成されるダイジェストはこのシーンの集合であり、どの粒度のシーンを配信するかは、あらかじめ決められている。 “Scene” is a section between two metadata, for example, a batting scene from the start of a batting to the start of the next batting, a pitching scene from the start of the pitching to the start of the next pitching (or the start of the next batting), The granularity of the scene is defined as follows. The digest generated by PDMS is a set of scenes, and the granularity of scenes to be distributed is determined in advance.
（メイン処理）
ここでは、映像コンテンツ重要度解析システム１００にて行われるメイン処理について、図４等を参照して詳細に説明する。
図４は、本実施形態における本システムのメイン処理の一例を示すフローチャートである。(Main process)
Here, the main process performed in the video content
FIG. 4 is a flowchart showing an example of main processing of the system according to the present embodiment.
まず、映像コンテンツ重要度解析システム１００は、メタデータ解析部１０１ａの処理により、メタデータを抽出して対応するシーンの内容を解析する（ステップＳＡ−１）。 First, the video content
ついで、映像コンテンツ重要度解析システム１００は、シーン抽出部１０１ｂの処理により、ステップＳＡ−１にて解析された内容から特定のシーンを抽出する（ステップＳＡ−２）。 Next, the video content
ついで、映像コンテンツ重要度解析システム１００は、シーン重要度解析部１０１ｃにて行われるシーン重要度解析処理により、ステップＳＡ−２にて抽出されたシーンの重要度であるシーン重要度を解析する（ステップＳＡ−３）。 Next, the video content
（シーン重要度解析処理）
ここで、シーン重要度解析部１０１ｃに含まれる各処理部にて行われるシーン重要度解析処理について、図５を参照して詳細に説明する。(Scene importance analysis processing)
Here, the scene importance analysis processing performed in each processing unit included in the scene
図５は、本実施形態における本システムのシーン重要度解析処理の一例を示すフローチャートである。 FIG. 5 is a flowchart showing an example of the scene importance analysis process of the system according to the present embodiment.
まず、シーン重要度解析部１０１ｃは、場面重要度算出部１０１ｃ−２にて行われる場面重要度算出処理により、ステップＳＡ−２にて抽出された各シーンの先頭において、当該シーンの状況に基づいて、実際に事象が発生する前の場面としての重要度である場面重要度を算出する（ステップＳＢ−１）。なお、シーンの先頭の状況は、シーンの登場人物、得点、場所、時間のうち少なくとも一つに対応するステイタスを表現する値のセットでもよい。また、シーン重要度解析部１０１ｃは、値セット決定部１０１ｃ−１の処理により、値のセットをスポーツのジャンルに依存して決定してもよい。 First, the scene
（場面重要度算出処理）
ここで、場面重要度算出部１０１ｃ−２に含まれる各処理部にて行われる場面重要度算出処理について、図５を参照して詳細に説明する。(Scene importance calculation processing)
Here, the scene importance calculation processing performed by each processing unit included in the scene
まず、場面重要度算出部１０１ｃ−２は、事象予測部１０１ｃ−２−１の処理により、ステップＳＡ−２にて抽出されたシーンの状況に基づいて、シーンで発生する事象である発生事象を予測する（ステップＳＣ−１）。 First, the scene
ついで、場面重要度算出部１０１ｃ−２は、期待値算出部１０１ｃ−２−２の処理により、ステップＳＣ−１にて予測された発生事象に基づいて、シーンにおける得点の期待値である予想得点値を算出する（ステップＳＣ−２）。 Next, the scene
ここで、ステップＳＣ−２にて行われる処理の具体例について、詳細に説明する。 Here, a specific example of the process performed in step SC-2 will be described in detail.
上述したように、場面重要度はチャンスの度合いを表現する。例えば、野球の試合の場合、ホームランバッターが打席に立ち、その時点での得点差が−４点以下ならば、ホームランが発生した場合、同点あるいは逆転とすることができ、試合に勝つ確率は大きくなり、このシーンはチャンスの場面であるということができる。 As described above, the scene importance level represents the degree of chance. For example, in the case of a baseball game, if the home run batter stands at bat and the score difference at that time is -4 points or less, if a home run occurs, it can be tied or reversed, and the probability of winning the game is large It can be said that this scene is a chance scene.
しかし、その時点での得点差が−４点よりはるかに大きければ、ホームランが発生しても同点に持ち込むことはできない。よって、この場合、試合に勝つ確率は小さいままであり、チャンスの場面であるということはできない。 However, if the score difference at that time is much larger than -4 points, even if a home run occurs, it cannot be brought to the same point. Therefore, in this case, the probability of winning the game remains small, and it cannot be a scene of a chance.
このように場面重要度は、シーンの先頭で算出される値であり、実際にホームランを打ったかどうかによって値は変化しない。 Thus, the scene importance is a value calculated at the beginning of the scene, and does not change depending on whether or not a home run is actually made.
そのため、場面重要度は、得点の期待値（Ｅｘｐｅｃｔｅｄ Ｓｃｏｒｅ（ＥＮ））と、得点差の期待値（得点の期待値が加算された後に予想される得点差）に依存する。 Therefore, the importance of the scene depends on the expected value of score (Expected Score (EN)) and the expected value of score difference (score difference expected after the expected value of score is added).
まず、ＥＮを算出するために、得点確率（Ｓｃｏｒｅ Ｐｒｏｂａｂｉｌｉｔｉｅｓ（ＳＰ））を算出する。ここで、「ＳＰn」は、ｎ点加算できる確率を示す。そして、あるシーンＳｉにおける「ＳＰn」は数式１により算出する。
該当するシーンＳｉのＥＮは、数式２により算出する。
ここで、関数「ＧｅｔＳＰ（ ）」および「ＧｅｔＥＮ（ ）」は、スポーツのタイプに依存する。以下では、野球を例として説明を行う。 Here, the functions “GetSP ()” and “GetEN ()” depend on the type of sport. Hereinafter, baseball will be described as an example.
野球の場合、「状況」は、例えば、（ｂａｓｅ−ｉｎｆｏ，ｐｉｔｃｈｅｒ，ｂａｔｔｅｒ）という３つ組のタプルとして表現される。 In the case of baseball, the “situation” is expressed as, for example, a triple tuple (base-info, pitcher, butter).
また、関数「ＧｅｔＳｉｔｕａｔｉｏｎ（Ｓｉ）」は、シーンＳｉの先頭におけるこの３つ組の値を返す。 The function “GetSituation (Si)” returns the triple value at the head of the scene Si.
また、野球の場合、満塁ホームランで追加される４点が、一つの事象で加点される得点の最大値であるので、数式２において、ｎは１〜４の範囲の数となる。 In addition, in the case of baseball, the four points added in the full home run are the maximum value of points that can be added in one event, so in
ここで、関数「ＧｅｔＳＰ（ ）」は、数式３に示すように、「ＧｅｔＳＥＰ（ ）」および「ＧｅｔＥａｃｈＳｉＳＰ（ ）」から構成される。
該当する状況において、事象ＰＤｊが発生した場合のｎ点加点する確率は、過去の１００試合における経験値を元に統計的に算出した。 In the corresponding situation, the probability of adding n points when the event PDj occurs was statistically calculated based on the experience value in the past 100 games.
具体的には、例えば、満塁で打者が２塁打を打った時に１点追加された場合と２点追加された場合の数を過去の試合から求め、満塁で２塁打が発生した時の１点追加、２点追加の確率を算出した。 Specifically, for example, the number of cases where 1 point is added when the batter hits 2 strokes and 2 points are added when the batter hits 2 strokes is obtained from past games. The probability of adding two points was calculated.
ここで、事象の発生確率の算出における発生確率の段階的抽象化について図１７を参照して説明する。図１７は、事象の発生確率の段階的抽象化の概念を模式的に示した図である。 Here, the stepwise abstraction of the occurrence probability in the calculation of the event occurrence probability will be described with reference to FIG. FIG. 17 is a diagram schematically showing the concept of stepwise abstraction of event occurrence probabilities.
上述のように、加点に関わる事象の発生確率は、打者と投手を特定した状況における事象ＰＤｊの発生確率から求める（図１７）。 As described above, the occurrence probability of the event related to the score is obtained from the occurrence probability of the event PDj in the situation where the batter and the pitcher are specified (FIG. 17).
図１７において、ＰＤ１は安打の発生確率、ＰＤ２は二塁打の発生確率、ＰＤ３は三塁打の発生確率、ＰＤ４は本塁打の発生確率を示す。野球の場合、出塁状況は塁上に走者なし、１塁に走者あり、２塁に走者あり、３塁に走者あり、１塁２塁に走者あり、１塁３塁に走者あり、２塁３塁に走者あり、満塁の８種類の出塁状況があり、それぞれｎｏｎｅ、１、２、３、１２、１３、２３、１２３と表現することとする。 In FIG. 17, PD1 indicates the hit probability, PD2 indicates the double hit probability, PD3 indicates the triple hit probability, and PD4 indicates the home hit probability. In the case of baseball, there are no runners on the top, runners on the first base, runners on the second base, runners on the third base, runners on the first base, second base, runners on the first base, third base, and 2
ある状況における加点事象の発生確率（ｐｒｏｂａｂｉｌｉｔｙ）は、８種類の出塁状況における確率値と、全体を平均した状況に依存しない確率値の９個の要素から構成されることになる。例えば、投手Ａ対打者１（ＰｉｔｃｈｅｒＡ ｖｓ． Ｂａｔｔｅｒ１）の事象の発生確率は、図１７の構造の最下層に記述されている。 The occurrence probability (probability) of a point-added event in a certain situation is composed of nine elements of probability values in eight kinds of output situations and probability values that do not depend on the situation averaged over the whole. For example, the event occurrence probability of pitcher A vs. batter 1 (Pitcher A vs. Batter 1) is described in the lowest layer of the structure of FIG.
しかし、ルーキーなどで試合に出場しておらずその選手に関する情報がない、あるいは確率を求めるためのサンプル数が少なく精度が低いなどの理由により、該当する投手および打者における状況を特定した事象発生確率（ｐｒｏｂａｂｉｌｉｔｙ）がない（Ｎｏ ｐｒｏｂａｂｉｌｉｔｙ）場合、発生確率の抽象化（Ａｂｓｔｒａｃｔｉｏｎ）を行う。 However, the probability of event occurrence that specified the situation in the corresponding pitcher and batter due to reasons such as rookie not participating in the game and no information about the player, or the small number of samples for determining the probability and the accuracy is low. When there is no (probability) (No probability), the occurrence probability is abstracted (Abstraction).
例えば、図１７において、投手Ｃ対打者２（ＰｉｔｃｈｅｒＣ ｖｓ． Ｂａｔｔｅｒ２）における発生確率がない（Ｎｏ ｐｒｏｂａｂｉｌｉｔｙ）。この場合は、階層が１つ上がり、該当する投手の発生確率と該当する打者の発生確率を求め、両者の値の精度に応じて加重平均により擬似的に発生確率を求めることにより行う。 For example, in FIG. 17, there is no occurrence probability in pitcher C vs. batter 2 (PitcherC vs. Batter2) (No probability). In this case, the level is increased by one, and the occurrence probability of the corresponding pitcher and the occurrence probability of the corresponding batter are obtained, and the occurrence probability is obtained by a weighted average according to the accuracy of both values.
該当する打者や投手の事象発生確率がない（Ｎｏ ｐｒｏｂａｂｉｌｉｔｙ）場合、投手全体における事象の平均発生確率（Ａｖｅｒａｇｅ ｐｒｏｂａｂｉｌｉｔｉｅｓ ｏｆ ａｌｌ ｐｉｔｃｈｅｒｓ）、打者全体における事象の平均発生確率（Ａｖｅｒａｇｅ ｐｒｏｂａｂｉｌｉｔｉｅｓ ｏｆ ａｌｌ ｂａｔｔｅｒｓ）、全ての打者対投手における事象の平均発生確率（Ａｖｅｒａｇｅ ｐｒｏｂａｂｉｌｉｔｉｅｓ ｏｆ ａｌｌ ｂａｔｔｅｒｓ ｖｓ． ａｌｌ ｐｉｔｃｈｅｒｓ）を利用する。 If there is no event occurrence probability of the corresponding batter or pitcher (No probabilities), the average occurrence probability of events in the entire pitcher (Average probabilities of all pitchers), the average occurrence probability of events in the entire batter (Average probabilities of all batters), all The average probability of occurrence of events in batters vs. pitchers (Availability of all butters vs. all pitchers) is used.
例えば、投手Ｃ対打者２（ＰｉｔｃｈｅｒＣ ｖｓ． Ｂａｔｔｅｒ２）の場合、打者２（Ｂａｔｔｅｒ２）の発生確率はあるが、投手Ｃ（ＰｉｔｈｅｒＣ）の発生確率はない。そのため、さらに１段階抽象化を行い、投手全体の発生確率（Ａｖｅｒａｇｅ ｐｒｏｂａｂｉｌｉｔｉｅｓ ｏｆ ａｌｌ ｐｉｔｃｈｅｒｓ）を利用し、打者２（Ｂａｔｔｅｒ２）の発生確率と組み合わせて擬似的に発生確率を求める。 For example, in the case of pitcher C vs. batter 2 (PitcherC vs. Batter2), there is a probability of occurrence of batter 2 (Batter2), but there is no probability of occurrence of pitcher C (PitterC). Therefore, one-stage abstraction is further performed, and the probability of occurrence is calculated in combination with the probability of occurrence of batter 2 (Batter 2) by using the probability of occurrence of the entire pitcher (Average preferences of all pitchers).
これにて、事象の発生確率の段階的抽象化についての説明が終了する。 This completes the explanation of the stepwise abstraction of the occurrence probability of the event.
これにて、ステップＳＣ−２にて行われる処理の具体例についての説明が終了する。 This completes the description of the specific example of the process performed in step SC-2.
ついで、場面重要度算出部１０１ｃ−２は、指標値算出部１０１ｃ−２−３の処理により、ステップＳＣ−２にて予測された得点の期待値に基づいて、得点が加算されることで、試合の経過にどの程度影響を与えるかを指標値として算出する（ステップＳＣ−３）。 Next, the scene
ここで、指標値は、ホームチームの勝利確率の差、または、得点の期待値の加点後の勝利確率とシーンの先頭における勝利確率との差の絶対値であってもよく、場面重要度算出部１０１ｃ−２は、指標値算出部１０１ｃ−２−３により算出された指標値を場面重要度として求めてもよい。 Here, the index value may be an absolute value of the difference between the victory probability of the home team or the difference between the victory probability after adding the expected score and the victory probability at the beginning of the scene. The
ここで、ステップＳＣ−３にて行われる処理の具体例について、詳細に説明する。 Here, a specific example of the process performed in step SC-3 will be described in detail.
本具体例では、シーンＳｉにおける場面重要度（ＳＩｉ）を、数式４で定義する。
ここで、関数「ＧｅｔＳＩ（ ）」は、勝利確率に基づいてＳＩを算出する。なお、勝利確率は、該当するイニングにおいて得点差が「ホームチームのスコア−アウェイチームのスコア」であったときに、ホームチームが勝利する確率である。 Here, the function “GetSI ()” calculates SI based on the victory probability. The victory probability is a probability that the home team will win when the score difference in the corresponding inning is “the score of the home team−the score of the away team”.
関数「ＧｅｔＩｎｎｉｎｇ（Ｓｉ）」は、シーンＳｉのイニング数を返す。また、関数「ＧｅｔＤｅｌｔａ（ ）」は、指定された得点が加点された場合の勝利確率を返す。 The function “GetInning (Si)” returns the number of innings in the scene Si. The function “GetDelta ()” returns the victory probability when the designated score is added.
図８から図１６は、各イニング（１イニング（１ｓｔ Ｉｎｎｉｎｇ）から９イニング（９ｔｈ Ｉｎｎｉｎｇ））の開始時点における各得点差（Ｓｃｏｒｅ Ｄｉｆｆｅｒｅｎｃｅ）の場合の勝利確率（Ｗｉｎｎｉｎｇ Ｐｒｏｂａｂｉｌｉｔｙ）のグラフを示す図である。なお、各グラフは、過去の１００試合から統計的に求めている。また、試合数が少なく、勝利確率（Ｗｉｎｎｉｎｇ Ｐｒｏｂａｂｉｌｉｔｙ）を求めるのに十分なサンプルがなかった場合は、値を近似した。例えば、終盤のイニングでは、勝利確率（Ｗｉｎｎｉｎｇ Ｐｒｏｂａｂｉｌｉｔｙ）はたとえ得点差（Ｓｃｏｒｅ Ｄｉｆｆｅｒｅｎｃｅ）が小さくても大きくなる傾向になる。具体的には、９イニング前半の場合、得点差が−１の時は、勝利確率は０．１と低いが、得点差が１になると勝利確率は０．７と高くなる。 FIGS. 8 to 16 are graphs showing win probabilities (Winning Probabilities) in the case of each score difference (Score Difference) at the start of each inning (1 inning to 9th inning). is there. Each graph is statistically obtained from the past 100 games. In addition, when the number of games was small and there were not enough samples to determine the winning probability, the values were approximated. For example, in the inning at the end, the winning probability tends to increase even if the score difference is small. Specifically, in the first half of 9 innings, when the score difference is -1, the victory probability is as low as 0.1, but when the score difference is 1, the victory probability is as high as 0.7.
場面重要度ＳＩは、この勝利確率の差の絶対値として算出される。なお、１イニングの開始時点では、得点差は０、勝利確率は０．５と固定されている。そのため、１イニングの勝利確率は、２イニングのものを利用することとする。 The scene importance SI is calculated as an absolute value of the difference in victory probability. At the start of one inning, the score difference is fixed to 0 and the victory probability is fixed to 0.5. Therefore, the winning probability of 1 inning is assumed to be 2 inning.
これにて、ステップＳＣ−３にて行われる処理の具体例についての説明が終了する。 This completes the description of the specific example of the process performed in step SC-3.
これにて、場面重要度算出処理が終了する。 This completes the scene importance calculation process.
ついで、シーン重要度解析部１０１ｃは、シーン認識部１０１ｃ−３の処理により、ステップＳＣ−３にて算出されたホームチームの勝利確率の差が大きいシーンを場面重要度の高いシーンとして認識する（ステップＳＢ−２）。 Next, the scene
ついで、シーン重要度解析部１０１ｃは、シーン重要度算出部１０１ｃ−４の処理により、ステップＳＢ−２にて認識したシーンの場面重要度と、予め算出した、事象を基にした重要度である事象重要度と、を組み合わせて、シーン重要度を算出する（ステップＳＢ−３）。 Next, the scene importance
ここで、ステップＳＢ−３にて行われる処理の具体例について、詳細に説明する。 Here, a specific example of the process performed in step SB-3 will be described in detail.
上述の場面重要度算出処理にて算出された場面重要度ＳＩと、予め算出されたＰＤＭＳによる重要度ＰｄｍｓＳｉｇとから、該当シーンの最終的な重要度ＦＳを算出する。 The final importance FS of the corresponding scene is calculated from the scene importance SI calculated in the above-described scene importance calculation processing and the importance PdmsSig calculated in advance by PDMS.
ここで、ＰＤＭＳによる重要度ＰｄｍｓＳｉｇの算出について、図７を参照して詳細に説明する。図７は、ＰＤＭＳによる重要度の算出について説明する図である。なお、詳細は、特開２００２−２３２８２８、特開２００１−２７５０５８、特開２００２−３２８９１７を参照されたい。 Here, calculation of importance PdmsSig by PDMS will be described in detail with reference to FIG. FIG. 7 is a diagram for explaining calculation of importance by PDMS. For details, refer to JP-A-2002-232828, JP-A-2001-275058, and JP-A-2002-328917.
ＰＤＭＳは映像上で発生した事象の重要度をステイタスパラメタの値として算出する。例えば野球の場合、攻撃的重要度（ａｇｇｒｅｓｓｉｖｅ ｉｍｐｏｒｔａｎｃｅ）を表現する攻撃レベル（Ａｇｇｒｅｓｓｉｏｎ Ｌｅｖｅｌ）、守備の重要度を表現する守備レベルなどがある。攻撃レベルは、ヒットやＨＲのような攻撃的事象の際に値が加算される。ステイタスパラメタの値の算出はルールに基づいている。例えば図７に示すように、ヒット（ｈｉｔ）が発生した場合、攻撃レベルは２ポイント加算される。そして、各シーンの重要度は、そのシーンのステイタスパラメタ値の和として算出される。なお、本発明において、このステイタスパラメタの和をＰｄｍｓＳｉｇとして参照する。 PDMS calculates the importance of an event that has occurred on the video as the value of the status parameter. For example, in the case of baseball, there are an attack level (aggressive level) expressing an aggressive importance, a defense level expressing a defense importance, and the like. The attack level is incremented in the case of an aggressive event such as a hit or HR. The calculation of the status parameter value is based on a rule. For example, as shown in FIG. 7, when a hit occurs, 2 points are added to the attack level. The importance of each scene is calculated as the sum of the status parameter values of that scene. In the present invention, the sum of the status parameters is referred to as PdmsSig.
ここで、ＦＳを算出するにあたり、まず、ＰｄｍｓＳｉｇの値を調整した値である、数式５で定義されるＰｄｍｓＳｉｇＬｉｎを求める。
そして、数式５に示すＰｄｍｓＳｉｇＬｉｎを正規化し、ＰｄｍｓＳｉｇＮｉを求める。 Then, PdmsSigLin shown in
そして、場面重要度ＳＩｉとＰｄｍｓＳｉｇＮｉを利用して、数式６で定義される最終重要度を算出する。
そして、算出した最終重要度でシーンをソートすることにより、重要シーンを得ることができる。 The important scenes can be obtained by sorting the scenes according to the calculated final importance.
これにて、ステップＳＢ−３にて行われる処理の具体例についての説明を終了する。 This completes the description of the specific example of the process performed in step SB-3.
これにて、シーン重要度解析処理が終了する。 This completes the scene importance analysis process.
以上、メイン処理が終了する。 Thus, the main process ends.
本実施例では、本発明による場面重要度を考慮した重要シーン抽出の評価を行った。ここで、本評価において、投手と打者を特定した状況における事象の発生確率は、日本プロ野球機構のデータベースのデータを利用した。ただし、ルーキーなどで発生確率がない場合は、打者全体の平均値を利用することとした。また、最終的重要度（ＦＳｉ）の算出にあたり、α、βを以下のように設定した。
α＝２、β＝１In this embodiment, evaluation of important scene extraction in consideration of scene importance according to the present invention was performed. Here, in this evaluation, the data of the database of the Japan Professional Baseball Organization was used for the occurrence probability of the event in the situation where the pitcher and the batter were specified. However, when there is no probability of occurrence due to rookie, etc., the average value of the entire batter was used. In calculating the final importance (FSi), α and β were set as follows.
α = 2, β = 1
図１８に、場面重要度を考慮した場合と、考慮しない場合（従来通りのＰｄｍｓＳｉｇによる重要度算出）の重要シーン抽出による平均適合率（平均正解率）を示す。ここで、重要シーン抽出の正解集合は、ＴＶのニュース番組のスポーツダイジェストとした。また、平均適合率算出における検索数は、各正解集合のシーン抽出数とした。 FIG. 18 shows the average relevance ratio (average correct answer ratio) obtained by extracting important scenes when the importance of the scene is taken into consideration and when the importance is not taken into consideration (importance calculation by the conventional PdmsSig). Here, the correct set of important scene extractions was a sports digest of a TV news program. The number of searches in calculating the average precision is the number of scene extractions of each correct set.
図１８に示すように、場面重要度を考慮した場合の平均適合率が高くなっており、場面重要度の有効性がわかる。 As shown in FIG. 18, the average precision when the scene importance is taken into consideration is high, and the effectiveness of the scene importance can be understood.
図１９は、２００３年の６月２６日における巨人対横浜戦のシーン抽出の具体例を示す図である。図１９において、正解集合として、ＴＶニュースがスポーツダイジェストとして選択したシーンを示した。また、ＰｄｍｓＳｉｇによるソート結果のランキングと、ＦＳによるソート結果のランキングを示し、それぞれ平均適合率を求めた。 FIG. 19 is a diagram illustrating a specific example of scene extraction of a giant versus Yokohama match on June 26, 2003. FIG. 19 shows a scene selected by TV news as a sports digest as a correct answer set. In addition, the ranking of the sorting result by PdmsSig and the ranking of the sorting result by FS are shown, and the average precision is obtained respectively.
ここで、ＦＳは場面重要度を考慮し、ＰｄｍｓＳｉｇは考慮していない。それゆえ、ＰｄｍｓＳｉｇとＦＳのランキングの値は異なっている。 Here, FS considers the importance of the scene, and PdmsSig is not considered. Therefore, the ranking values of PdmsSig and FS are different.
図１９に示すように、ＦＳの平均適合率のほうが高くなっていることから、ＦＳのほうがより正確に重要シーンを抽出できていることがわかる。 As shown in FIG. 19, since the average precision of FS is higher, it can be seen that FS can extract important scenes more accurately.
以上のように、本発明にかかる映像コンテンツ重要度解析システムは、事象が発生する前の「場面としてのチャンスの度合い」である場面重要度をシーンの重要度に反映させることができ、特にスポーツ映像において、携帯端末やＰＣ向けに映像シーンを始めとするマルチメディア情報を配信するサービスにおいて極めて有用である。 As described above, the video content importance analysis system according to the present invention can reflect the importance of the scene, which is the “degree of chance as a scene”, before the event occurs in the importance of the scene. In video, it is extremely useful in a service for distributing multimedia information including video scenes to mobile terminals and PCs.
また、本発明にかかる映像コンテンツ重要度解析システムは、産業上の多くの分野、特に情報通信サービスの分野で実施することができ、極めて有用である。 Also, the video content importance analysis system according to the present invention can be implemented in many industrial fields, particularly in the field of information communication services, and is extremely useful.
１００ 映像コンテンツ重要度解析システム
１０１ ＣＰＵ
１０１ａ メタデータ解析部
１０１ｂ シーン抽出部
１０１ｃ シーン重要度解析部
１０１ｃ−１ 値セット決定部
１０１ｃ−２ 場面重要度算出部
１０１ｃ−２−１ 事象予測部
１０１ｃ−２−２ 期待値算出部
１０１ｃ−２−３ 指標値算出部
１０１ｃ−３ シーン認識部
１０１ｃ−４ シーン重要度算出部
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ モニタ
１０５ キーボード
１０６ マウス
１０７ ハードディスク
１０８ インタフェース部100 Video content
101a Metadata analysis unit
101b Scene extraction unit
101c Scene importance analysis part
101c-1 value set determination unit
101c-2 Scene importance calculation unit
101c-2-1 event prediction unit
101c-2-2 Expected value calculation unit
101c-2-3 index value calculation unit
101c-3 scene recognition unit
101c-4 Scene
103 RAM
Claims (2)
Translated fromJapanese前記ＣＰＵが前記プログラムを用いて、入力される前記スポーツ映像の中から前記映像メタデータを抽出し、各シーンの内容を解析するメタデータ解析手段と、
前記ＣＰＵが前記プログラムを用いて、前記メタデータ解析手段により解析された前記各シーンの中から特定のシーンを抽出するシーン抽出手段と、
前記ＣＰＵが前記プログラムを用いて、前記シーン抽出手段により抽出された前記特定のシーンの重要度を表すシーン重要度の解析を行うシーン重要度解析手段と、
を備え、
前記シーン重要度解析手段は、シーンの先頭の状況に基づいて実際に事象が発生する前の場面としての重要度である場面重要度を算出する場面重要度算出手段を含み、
前記場面重要度算出手段は、さらに
シーンの先頭の状況に基づいて、当該シーンで発生する発生事象を予測する事象予測手段と、
前記事象予測手段で予測された発生事象に基づいて、当該シーンにおける得点の期待値である予想得点値を算出する期待値算出手段と、
前記期待値算出手段で予測された得点の期待値に基づいて、当該得点が加算されたことにより試合の経過にどの程度影響を与えるかを指標値として算出する指標値算出手段と、
を備え、算出された指標値をホームチームの勝利確率の差、または、前記得点の前記期待値の加点後の勝利確率と前記シーンの先頭における勝利確率との差の絶対値とし、該絶対値を前記場面の重要度として求めることを特徴とする映像コンテンツ重要度解析システム。CPU reads a program stored in the memory,a video content importance analysis system for analyzingprocesses the importanceof a scene based on the video metadata Sports Videoinput,
Metadata analysis means for extracting thevideo metadatafrom the sports video that is input by the CPU using the program and analyzing the contents ofeach scene;
Scene extraction means for extracting a specific scene from thescenes analyzed by the metadata analysis means by theCPU using the program ;
Whereinthe CPU using the program, a scene importance analyzing meansfor analyzing the scene importancethat represents the importance ofthe scene extracting meansthe specific scene extracted by,
Equipped witha,
The scene importance analysis means includes a scene importance calculation means for calculating a scene importance that is an importance as a scene before an event actually occurs based on the situation at the beginning of the scene,
The scene importance calculation means further includes
An event prediction means for predicting an occurrence event occurring in the scene based on the situation at the beginning of the scene;
Expected value calculating means for calculating an expected score value that is an expected value of the score in the scene based on the occurrence event predicted by the event predicting means;
Based on the expected value of the score predicted by the expected value calculating means, an index value calculating means for calculating, as an index value, how much the score has been added to affect the progress of the game;
The calculated index value is the absolute value of the difference between the winning probability of the home team, or the difference between the winning probability after adding the expected value of the score and the winning probability at the beginning of the scene, the absolute value Is calculatedas the importance of the scene, and a video content importance analysis system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004062988AJP4414254B2 (en) | 2004-03-05 | 2004-03-05 | Video content importance analysis system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004062988AJP4414254B2 (en) | 2004-03-05 | 2004-03-05 | Video content importance analysis system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005251018A JP2005251018A (en) | 2005-09-15 |
| JP4414254B2true JP4414254B2 (en) | 2010-02-10 |
Family
ID=35031422
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004062988AExpired - Fee RelatedJP4414254B2 (en) | 2004-03-05 | 2004-03-05 | Video content importance analysis system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4414254B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011217116A (en)* | 2010-03-31 | 2011-10-27 | Mitsui Sumitomo Insurance Co Ltd | Reproducing device, imaging reproducing system, imaging reproducing method, reproducing program and imaging program |
| US10873777B2 (en) | 2014-12-18 | 2020-12-22 | Sony Corporation | Information processing device and information processing method to calculate score for evaluation of action |
| JP6625809B2 (en)* | 2015-03-27 | 2019-12-25 | 東芝映像ソリューション株式会社 | Electronic device and control method thereof |
| KR102535031B1 (en) | 2017-07-19 | 2023-05-22 | 삼성전자주식회사 | Display apparatus, the control method thereof and the computer program product thereof |
| JP7564663B2 (en)* | 2020-09-03 | 2024-10-09 | 日本放送協会 | Important information extraction device, news manuscript generation device, manuscript generation support system and program |
- 2004
- 2004-03-05JPJP2004062988Apatent/JP4414254B2/ennot_activeExpired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005251018A (en) | 2005-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5550720B2 (en) | Method and apparatus for matching users in multi-user computer simulation | |
| CN112272581A (en) | Method and system for interactive, explainable, and improved game and player performance prediction in team sports | |
| JP5121669B2 (en) | GAME PROGRAM, GAME NETWORK SYSTEM, GAME DEVICE, AND GAME CONTROL METHOD | |
| US20140038716A1 (en) | Game apparatus, program, and game providing method | |
| CN108905095B (en) | Athlete competition state evaluation method and equipment | |
| CN114945915B (en) | Information push method, device, electronic device and computer readable medium | |
| JP4414254B2 (en) | Video content importance analysis system | |
| JP2004072540A (en) | Personal digest distribution system, personal digest creation method, and program for causing computer to execute the method | |
| JP6682753B2 (en) | Game system, game control device, and program | |
| KR101286759B1 (en) | Method for providing on-line sports game supplying rating and prediction information and system there of | |
| JP7420246B2 (en) | Video processing device, video processing method, and program | |
| KR20050096366A (en) | A method and system for providing online game | |
| KR101320090B1 (en) | Method for providing on-line sports game recommending squad and system there of | |
| JP4452418B2 (en) | How to create a soccer video digest | |
| JP2018108416A (en) | Information processing device, game program, and information processing method | |
| JP2023121027A (en) | Game program and game system | |
| JP5694258B2 (en) | GAME MANAGEMENT DEVICE, GAME SYSTEM, AND PROGRAM | |
| JP7185001B2 (en) | Game server, game program, information processing method | |
| JP7233105B2 (en) | GAME SYSTEM, GAME CONTROL DEVICE, AND PROGRAM | |
| JP4712339B2 (en) | Scene determination apparatus, scene determination method, program for causing computer to execute the method, information distribution apparatus, and information distribution system | |
| JP7494151B2 (en) | Game server, game program, and information processing method | |
| JP4044606B2 (en) | Personal digest distribution apparatus, personal digest distribution method and program | |
| CN120128768A (en) | Video generation method, device, equipment and storage medium | |
| KR101709006B1 (en) | Method of presenting message on game result window | |
| KR100746051B1 (en) | Hunsu system in competitive games |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20061129 | |
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20090529 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20090609 | |
| A521 | Written amendment | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20090810 | |
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20091117 | |
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20091119 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20121127 Year of fee payment:3 | |
| R150 | Certificate of patent or registration of utility model | Free format text:JAPANESE INTERMEDIATE CODE: R150 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20131127 Year of fee payment:4 | |
| LAPS | Cancellation because of no payment of annual fees |