JP2020068468A - Generation device, generation method, and generation program - Google Patents
Generation device, generation method, and generation programDownload PDFInfo
- Publication number
- JP2020068468A JP2020068468AJP2018200375AJP2018200375AJP2020068468AJP 2020068468 AJP2020068468 AJP 2020068468AJP 2018200375 AJP2018200375 AJP 2018200375AJP 2018200375 AJP2018200375 AJP 2018200375AJP 2020068468 AJP2020068468 AJP 2020068468A
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- weight
- scenes
- unit
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
Translated fromJapaneseDescription
Translated fromJapanese本発明は、生成装置、生成方法、生成プログラムに関する。 The present invention relates to a generation device, a generation method, and a generation program.
従来、動画情報を表示時間等に応じて編集する技術が提供されている。 Conventionally, techniques for editing moving image information according to display time and the like have been provided.
しかしながら、上記の従来技術では、適切に編集された動画をユーザに提供することができるとは限らない。例えば、上記の従来技術では、単純に動画情報の時間を短縮する編集をした場合、動画情報に含まれる重要箇所の内容をユーザに提供することが困難になる場合がある。そのため、上記の従来技術では、適切に編集された動画をユーザに提供することができるとは限らない。 However, in the above-described conventional technique, it is not always possible to provide the user with a properly edited moving image. For example, in the above-mentioned conventional technique, when the moving image information is simply edited to shorten the time, it may be difficult to provide the user with the contents of the important part included in the moving image information. Therefore, in the above-described conventional technique, it is not always possible to provide the user with a properly edited moving image.
本願は、上記に鑑みてなされたものであって、適切に編集された動画をユーザに提供することができる生成装置、生成方法、生成プログラムを提供することを目的とする。 The present application has been made in view of the above, and an object thereof is to provide a generation device, a generation method, and a generation program capable of providing an appropriately edited moving image to a user.
本願に係る生成装置は、動画に表示される対象物が所定の条件を満たす場合に、当該対象物に対応するシーンであって、動画を構成する複数のシーンの重要度を示す重みを加算する加算部と、前記加算部によって加算された重みに基づいて、前記複数のシーンのうち、所定数のシーンから構成される編集動画を生成する生成部と、を備えたことを特徴とする。 The generation device according to the present application adds, when an object displayed in a moving image satisfies a predetermined condition, a weight that indicates the importance of a plurality of scenes that are included in the moving image and that are scenes corresponding to the object. An addition unit and a generation unit that generates an edited moving image composed of a predetermined number of scenes among the plurality of scenes based on the weight added by the addition unit.
実施形態の一態様によれば、適切に編集された動画をユーザに提供することができるという効果を奏する。 According to the aspect of the embodiment, it is possible to provide an appropriately edited moving image to the user.
以下に、本願に係る生成装置、生成方法、生成プログラムの実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る生成装置、生成方法、生成プログラムが限定されるものではない。また、各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。 Hereinafter, modes (hereinafter, referred to as “embodiments”) for carrying out the generation device, the generation method, and the generation program according to the present application will be described in detail with reference to the drawings. Note that the generation device, the generation method, and the generation program according to the present application are not limited by this embodiment. Further, the respective embodiments can be appropriately combined within the range in which the processing content is not inconsistent. Also, in each of the following embodiments, the same parts are designated by the same reference numerals, and duplicated description will be omitted.
〔１．生成装置が示す生成処理の一例〕
図１を用いて、実施形態に係る生成装置が実行する生成処理の一例について説明する。図１は、実施形態に係る生成装置が実行する生成処理の一例を示す図である。具体的には、生成装置１００は、ユーザから受け付けた動画を編集し、編集された編集動画をユーザに提供する。なお、以下では、ユーザによって撮影された動画を編集する例を示す。[1. Example of generation process indicated by generation device]
An example of the generation process executed by the generation device according to the embodiment will be described with reference to FIG. 1. FIG. 1 is a diagram illustrating an example of a generation process executed by the generation device according to the embodiment. Specifically, the
図１に示すように、生成システム１は、端末装置１０と、生成装置１００とを含む。端末装置１０及び生成装置１００は、図示しない所定の通信網を介して、有線又は無線により通信可能に接続される。なお、図１に示す生成システム１には、複数台の端末装置１０や、複数台の生成装置１００が含まれてもよい。 As shown in FIG. 1, the
実施形態に係る端末装置１０は、ブラウザに表示されるウェブページやアプリケーション用のコンテンツ等のコンテンツにアクセスするユーザによって利用される情報処理装置である。例えば、端末装置１０は、デスクトップ型ＰＣ（Personal Computer）や、ノート型ＰＣや、タブレット端末や、携帯電話機や、ＰＤＡ（Personal Digital Assistant）等である。図１の例では、端末装置１０がユーザによって利用されるスマートフォンである場合を示す。なお、以下では、端末装置１０をユーザと表記する場合がある。すなわち、以下では、ユーザを端末装置１０と読み替えることもできる。 The
実施形態に係る生成装置１００は、例えば、サーバ装置等により実現される。具体的には、生成装置１００は、動画に表示される対象物が所定の条件を満たす場合に、対象物に対応するシーンであって、動画を構成する複数のシーンの重要度を示す重みを加算する。そして、生成装置１００は、かかる重みに基づいて、複数のシーンのうち、所定数のシーンから構成される編集動画を生成する。 The
以下、図１を用いて、生成装置１００による生成処理の一例を流れに沿って説明する。 Hereinafter, with reference to FIG. 1, an example of the generation process performed by the
まず、図１に示すように、生成装置１００は、ユーザＵ１によって利用される端末装置１０から動画ＭＯ１に関する情報を受け付ける（ステップＳ１）。例えば、生成装置１００は、ユーザＵ１に提供されるアプリケーション等を介して、ユーザＵ１から動画ＭＯ１に関する情報を受け付ける。 First, as illustrated in FIG. 1, the
続いて、生成装置１００は、ユーザＵ１から受け付けた動画ＭＯ１に表示される対象物を人と人以外の物体とに分類する（ステップＳ２）。具体的には、生成装置１００は、機械学習等の従来技術により、動画ＭＯ１に表示される対象物を人と人以外の物体とに分類する。なお、ここでいう人以外の物体とは、動物、生物、移動体、食べ物、玩具等を含む。 Then, the
例えば、人以外の物体が、食べ物であるとする。この場合、生成装置１００は、人と食べ物とを学習させた学習モデルに動画ＭＯ１を入力することにより、動画ＭＯ１に表示される対象物を人と食べ物とに分類した結果を出力する。 For example, suppose that an object other than a person is food. In this case, the
そして、生成装置１００は、辞書情報記憶部を参照して、動画ＭＯ１を構成するシーンの重みを加算する（ステップＳ３）。具体的には、生成装置１００は、人や人以外の物体等の対象物と重みとが対応付られた情報が記憶された辞書情報記憶部を参照して、動画ＭＯ１を構成するシーンに表示される対象物の重みを、動画ＭＯ１のフレーム毎に加算する。これにより、生成装置１００は、動画ＭＯ１のフレーム毎の重みを累積することで、動画ＭＯ１の時間に対応する累積された重みを算出する。 Then, the
例えば、動画ＭＯ１が、人及び食べ物が表示される動画であるものとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、人の重みが「＋７」であるとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、食べ物の重みが「＋５」であるとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、人が動画に表示されていない場合の重みが「−５」であるとする。この場合、生成装置１００は、はじめのシーンが、食べ物が表示されるシーンの場合に、重みとして「＋５」を加算する。これにより、累積された重みは、はじめの重みである「０」に「＋５」を加えることで「＋５」となる。 For example, it is assumed that the moving image MO1 is a moving image in which people and food are displayed. Further, it is assumed that the weight of a person is “+7” as the weight corresponding to the object stored in the dictionary information storage unit. Further, it is assumed that the weight of food is “+5” as the weight corresponding to the object stored in the dictionary information storage unit. Further, as the weight corresponding to the object stored in the dictionary information storage unit, the weight when the person is not displayed in the moving image is “−5”. In this case, the
そして、生成装置１００は、次のシーンが、人が表示されるシーンである場合に、重みとして「＋７」を加算する。これにより、累積された重みは、「＋５」に「＋７」を加えることで「＋１２」となる。そして、生成装置１００は、次のシーンが、人が表示されないシーンである場合に、重みとして「−５」を加算する。これにより、累積された重みは、「＋１２」に「−５」を加えることで「＋７」となる。そして、生成装置１００は、次のシーンが、人が表示されるシーンである場合に、重みとして「＋７」を加算する。これにより、累積された重みは、「＋７」に「＋７」を加えることで「＋１４」となる。そして、生成装置１００は、次のシーンが、人が表示されるシーンである場合に、重みとして「＋７」を加算する。これにより、累積された重みは、「＋１４」に「＋７」を加えることで「＋２１」となる。このように、生成装置１００は、動画ＭＯ１のフレーム毎の重みを累積することで、動画ＭＯ１の時間に対応する累積された重みを算出する。 Then, the
また、例えば、動画ＭＯ１が、複数の人が表示される動画であるものとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、人の重みが「＋７」であるとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、所定数の人の重みが「０」であるとする。この場合、生成装置１００は、はじめのシーンが、人が表示されるシーンの場合に、重みとして「＋７」を加算する。これにより、累積された重みは、はじめの重みである「０」に「＋７」を加えることで「＋７」となる。 Further, for example, it is assumed that the moving image MO1 is a moving image in which a plurality of people are displayed. Further, it is assumed that the weight of a person is “+7” as the weight corresponding to the object stored in the dictionary information storage unit. Further, it is assumed that the weight of a predetermined number of persons is “0” as the weight corresponding to the object stored in the dictionary information storage unit. In this case, the
そして、生成装置１００は、次のシーンが、所定数の人が表示されるシーンの場合に、重みとして「０」を加算する。これにより、累積された重みは、「＋７」に「０」を加えることで「＋７」となる。そして、生成装置１００は、次のシーンが、人が表示されるシーンである場合に、重みとして「＋７」を加算する。これにより、累積された重みは、「＋７」に「＋７」を加えることで「＋１４」となる。そして、生成装置１００は、次のシーンが、人が表示されるシーンである場合に、重みとして「＋７」を加算する。これにより、累積された重みは、「＋１４」に「＋７」を加えることで「＋２１」となる。このように、生成装置１００は、動画ＭＯ１のフレーム毎の重みを累積することで、動画ＭＯ１の時間に対応する累積された重みを算出する。 Then, the
また、例えば、動画ＭＯ１が、人が表示される動画であるものとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、人の重みが「＋７」であるとする。また、人の座標が変化しないシーンが３回連続で続く場合に、重みをさらに「＋１０」加算するとする。この場合、生成装置１００は、はじめのシーンが、人が表示されるシーンの場合に、重みとして「＋７」を加算する。これにより、累積された重みは、はじめの重みである「０」に「＋７」を加えることで「＋７」となる。 In addition, for example, it is assumed that the moving image MO1 is a moving image in which a person is displayed. Further, it is assumed that the weight of a person is “+7” as the weight corresponding to the object stored in the dictionary information storage unit. Further, when the scene in which the person's coordinates do not change continues three times in a row, the weight is further added by “+10”. In this case, the
そして、生成装置１００は、次のシーンが、人が表示されるシーンであって、前のシーンと人の座標が変化しないシーンの場合に、重みとして「＋７」を加算する。これにより、累積された重みは、「＋７」に「＋７」を加えることで「＋１４」となる。そして、生成装置１００は、次のシーンが、人が表示されるシーンであって、前のシーンと人の座標が変化しないシーンの場合に、重みとして「＋７」を加算する。これにより、累積された重みは、「＋１４」に「＋７」を加えることで「＋２１」となる。そして、生成装置１００は、次のシーンが、人が表示されるシーンであって、前のシーンと人の座標が変化しないシーンの場合に、重みとして「＋７」を加算する。これにより、累積された重みは、「＋２１」に「＋７」を加えることで「＋２８」となる。また、生成装置１００は、人の座標が変化しないシーンが３回連続で続いた場合に、さらに重み「＋１０」を加算する。これにより、累積された重みは、「＋２８」に「＋１０」を加えることで「＋３８」となる。このように、生成装置１００は、動画ＭＯ１のフレーム毎の重みを累積することで、動画ＭＯ１の時間に対応する累積された重みを算出する。 Then, the
なお、生成装置１００は、動画ＭＯ１のフレーム毎に重みを累積することで、動画ＭＯ１の時間に対応する累積された重みを算出する算出処理に限らず、動画内の時間毎に重みを累積することで、動画ＭＯ１の時間に対応する累積された重みを算出してもよい。例えば、生成装置１００は、１秒毎に重みを累積することで、動画ＭＯ１の時間に対応する累積された重みを算出してもよい。 Note that the
続いて、生成装置１００は、各シーンの重みに基づいて、シーンを選択し、編集動画ＥＭ１を生成する（ステップＳ４）。具体的には、生成装置１００は、重みが所定の閾値以上であるシーンを選択する。そして、生成装置１００は、選択されたシーンによって構成される編集動画ＥＭ１を生成する。 Then, the
ここで、図２を用いて編集動画ＥＭ１の生成方法について説明する。図２は、実施形態に係る生成装置１００が実行する編集動画の生成方法の処理の一例を示す図である。図２に示すように、図ＦＧ１は、動画ＭＯ１の時間に対応する重みの変化を示す。図ＦＧ１の縦軸は、加算された重みの値を示す。図ＦＧ１の横軸は、動画ＭＯ１の動画内の時間を示す。図ＦＧ１は、所定の重みの閾値の表示を含む。例えば、図ＦＧ１では、所定の範囲内の複数のシーンＳＥ１、ＳＥ２、ＳＥ３が所定の重みの閾値以上であるシーンである。 Here, a method of generating the edited moving image EM1 will be described with reference to FIG. FIG. 2 is a diagram illustrating an example of processing of an edited moving image generation method executed by the
また、図２に示すように、図ＦＧ２は、所定の重みの閾値以上である所定の範囲内の複数のシーンＳＥ１、ＳＥ２、ＳＥ３を合わせた動画を示す。すなわち、かかる動画は、編集動画ＥＭ１に対応する。 Further, as shown in FIG. 2, FIG. FG2 shows a moving image in which a plurality of scenes SE1, SE2, and SE3 within a predetermined range that is equal to or greater than a threshold of a predetermined weight are combined. That is, this moving image corresponds to the edited moving image EM1.
例えば、生成装置１００は、重みの閾値が「７０」であるとする。この場合、生成装置１００は、動画ＭＯ１から、重みの閾値以上である所定の範囲内の複数のシーンＳＥ１、ＳＥ２、ＳＥ３を選択する。そして、生成装置１００は、選択された複数のシーンに基づいて、編集動画ＥＭ１を生成する。 For example, it is assumed that the
図１に戻り、実施形態に係る生成処理の一例を説明する。生成装置１００は、ユーザＵ１に対して、動画ＭＯ１に対応する編集された動画として編集動画ＥＭ１に関する情報を提供する（ステップＳ５）。 Returning to FIG. 1, an example of the generation process according to the embodiment will be described. The
このように、実施形態に係る生成装置１００は、動画に表示される対象物が所定の条件を満たす場合に、動画を構成する複数のシーンの重要度を示す重みを加算する。そして、生成装置１００は、かかる重みに基づいて、複数のシーンのうち、所定数のシーンから構成される編集動画を生成する。これにより、実施形態に係る生成装置１００は、特定の対象物が表示されるシーンを選択することができるため、適切に編集された動画をユーザに提供することができる。この点について説明する。図１の例を用いて説明すると、生成装置１００は、ユーザＵ１から受け付けた動画ＭＯ１に含まれる特定の対象物に対して重みを大きくすることで、特定の対象物が表示されるシーンを選択する。そして、生成装置１００は、選択されたシーンによって構成される編集動画ＥＭ１を生成する。また、図２の例を用いて説明すると、生成装置１００は、動画ＭＯ１を構成する複数のシーンの重みを動画ＭＯ１のフレーム毎に累積するように加算する。これにより、生成装置１００は、所定の閾値以上である重みを示す複数のシーンを選択することで、編集動画内のシーンが飛び飛びになることを防ぎ、編集動画の質の低下を低減することができる。このことから、生成装置１００は、特定の対象物が表示されるシーンを高精度に選択することができる。したがって、実施形態に係る生成装置１００は、特定の対象物に対応する重みに着目して動画から適切なシーンを選択することができるため、適切に編集された動画をユーザに提供することができる。 As described above, the
〔２．生成装置の構成〕
次に、図３を用いて、実施形態に係る生成装置１００の構成について説明する。図３は、実施形態に係る生成装置１００の構成例を示す図である。図３に示すように、生成装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。[2. Configuration of generator]
Next, the configuration of the
（通信部１１０について）
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１０は、ネットワークと有線又は無線で接続され、端末装置１０との間で情報の送受信を行う。(About communication unit 110)
The communication unit 110 is realized by, for example, a NIC (Network Interface Card) or the like. The communication unit 110 is connected to the network by wire or wirelessly, and transmits / receives information to / from the
（記憶部１２０について）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１２０は、動画情報記憶部１２１と、辞書情報記憶部１２２と、重み情報記憶部１２３とを有する。(About storage unit 120)
The storage unit 120 is realized by, for example, a semiconductor memory device such as a RAM (Random Access Memory) or a flash memory (Flash Memory), or a storage device such as a hard disk or an optical disk. The storage unit 120 includes a moving image
（動画情報記憶部１２１について）
実施形態に係る動画情報記憶部１２１は、ユーザから受け付けられた動画に関する情報を記憶する。ここで、図４に、実施形態に係る動画情報記憶部１２１の一例を示す。図４に示した例では、動画情報記憶部１２１は、「動画ＩＤ」、「ユーザＩＤ」、「動画」といった項目を有する。(About the video information storage unit 121)
The moving image
「動画ＩＤ」は、動画を識別する識別子である。「ユーザＩＤ」は、ユーザを識別する識別子である。「動画」は、「ユーザＩＤ」と対応付けられたユーザから受け付けられた動画に関する情報である。例えば、図４では、動画ＩＤによって識別された「Ｍ１」は、ユーザＩＤによって識別される「Ｕ１」から受け付けられた動画が「ＭＯ１」である。なお、図４に示した例では、動画を「ＭＯ１」等の抽象的な符号で表現したが、動画は、具体的な動画のファイル形式を示す情報等であってもよい。 The “moving image ID” is an identifier for identifying a moving image. The "user ID" is an identifier that identifies a user. The “moving image” is information about the moving image received from the user associated with the “user ID”. For example, in FIG. 4, for “M1” identified by the moving image ID, the moving image received from “U1” identified by the user ID is “MO1”. In the example shown in FIG. 4, the moving image is represented by an abstract code such as “MO1”, but the moving image may be information indicating a specific file format of the moving image.
（辞書情報記憶部１２２について）
実施形態に係る辞書情報記憶部１２２は、対象物に対応する重みに関する情報を記憶する。ここで、図５に、実施形態に係る辞書情報記憶部１２２の一例を示す。図５に示した例では、辞書情報記憶部１２２は、「辞書ＩＤ」、「項目」、「重み」といった項目を有する。(About the dictionary information storage unit 122)
The dictionary
「辞書ＩＤ」は、辞書に記憶された対象物の項目を識別する識別子である。「項目」は、「辞書ＩＤ」と対応付けられた対象物の種類の項目に関する情報である。また、「項目」は、対象物が動画に表示される態様に関する情報を含む。「重み」は、「辞書ＩＤ」と対応付けられた対象物の項目に対応する重みに関する情報である。例えば、図５では、辞書ＩＤによって識別される「Ｄ１」は、項目が「食べ物」であり、重みが「＋５」である。 The “dictionary ID” is an identifier for identifying the item of the object stored in the dictionary. The “item” is information regarding the item of the type of the object associated with the “dictionary ID”. In addition, the “item” includes information regarding the manner in which the object is displayed in the moving image. The “weight” is information regarding the weight corresponding to the item of the object associated with the “dictionary ID”. For example, in FIG. 5, “D1” identified by the dictionary ID has an item “food” and a weight “+5”.
（重み情報記憶部１２３について）
実施形態に係る重み情報記憶部１２３は、ユーザから受け付けられた動画の加算された重みに関する情報を記憶する。ここで、図６に、実施形態に係る重み情報記憶部１２３の一例を示す。図６に示した例では、重み情報記憶部１２３は、「重みＩＤ」、「動画ＩＤ」、「時間」、「重み」といった項目を有する。(About the weight information storage unit 123)
The weight
「重みＩＤ」は、重みを識別する識別子である。「動画ＩＤ」は、ユーザから受け付けられた動画を識別する識別子である。「時間」は、動画内の時間に関する情報である。「重み」は、動画ＭＯ１のフレーム毎に累積するように加算された重みに関する情報である。例えば、図６では、重みＩＤによって識別される「Ｗ１」は、動画ＩＤによって識別される「Ｍ１」に対応する時間が「Ｔ１」であり、重みが「０」である。 The “weight ID” is an identifier for identifying the weight. The “moving image ID” is an identifier that identifies a moving image received from the user. “Time” is information about time in the moving image. The “weight” is information on the weight added so as to be accumulated for each frame of the moving image MO1. For example, in FIG. 6, “W1” identified by the weight ID is “T1” at the time corresponding to “M1” identified by the moving image ID, and the weight is “0”.
（制御部１３０について）
制御部１３０は、コントローラ（Controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、生成装置１００内部の記憶装置に記憶されている各種プログラム（生成プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。(Regarding the control unit 130)
The
図３に示すように、制御部１３０は、受付部１３１と、分類部１３２と、加算部１３３と、選択部１３４と、生成部１３５と、提供部１３６とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図３に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部１３０が有する各処理部の接続関係は、図３に示した接続関係に限られず、他の接続関係であってもよい。 As illustrated in FIG. 3, the
（受付部１３１について）
受付部１３１は、ユーザによって利用される端末装置１０から動画に関する情報を受け付ける。例えば、受付部１３１は、ユーザに提供されるアプリケーション等を介して、ユーザから動画に関する情報を受け付ける。そして、受付部１３１は、かかる動画に関する情報を動画情報記憶部１２１に格納する。(About the reception unit 131)
The
（分類部１３２について）
分類部１３２は、受付部１３１によって受け付けられた動画に表示される対象物を人と人以外の物体とに分類する。具体的には、分類部１３２は、機械学習等の従来技術により、動画に表示される対象物を人と人以外の物体とに分類する。例えば、人以外の物体が、食べ物であるとする。この場合、分類部１３２は、人と食べ物とを学習させた学習モデルに動画を入力することにより、動画に表示される対象物を人と食べ物とに分類した結果を出力する。(Regarding the classification unit 132)
The classifying unit 132 classifies the objects displayed in the moving image accepted by the accepting
（加算部１３３について）(About adder 133)
加算部１３３は、動画に表示される対象物が所定の条件を満たす場合に、対象物に対応するシーンであって、動画を構成する複数のシーンの重要度を示す重みを加算する。具体的には、加算部１３３は、動画に表示される対象物が所定の条件を満たす第１のシーンの重みに、動画に表示される対象物が所定の条件を満たす第２のシーンの重みを累積するように加算する。より具体的には、加算部１３３は、人や人以外の物体等の対象物と重みとが対応付られた情報が記憶された辞書情報記憶部１２２を参照して、動画を構成するシーンに表示される対象物の重みを算出することで、かかるシーンの重みを加算する。 When the target displayed in the moving image satisfies a predetermined condition, the adding
例えば、動画ＭＯ１が、人及び食べ物が表示される動画であるものとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、人の重みが「＋７」であるとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、食べ物の重みが「＋５」であるとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、人が動画に表示されていない場合の重みが「−５」であるとする。この場合、加算部１３３は、はじめのシーンが、食べ物が表示されるシーンの場合に、重みとして「＋５」を加算する。これにより、累積された重みは、はじめの重みである「０」に「＋５」を加えることで「＋５」となる。 For example, it is assumed that the moving image MO1 is a moving image in which people and food are displayed. Further, it is assumed that the weight of a person is “+7” as the weight corresponding to the object stored in the dictionary information storage unit. Further, it is assumed that the weight of food is “+5” as the weight corresponding to the object stored in the dictionary information storage unit. Further, as the weight corresponding to the object stored in the dictionary information storage unit, the weight when the person is not displayed in the moving image is “−5”. In this case, the
そして、加算部１３３は、次のシーンが、人が表示されるシーンである場合に、重みとして「＋７」を加算する。これにより、累積された重みは、「＋５」に「＋７」を加えることで「＋１２」となる。そして、加算部１３３は、次のシーンが、人が表示されないシーンである場合に、重みとして「−５」を加算する。これにより、累積された重みは、「＋１２」に「−５」を加えることで「＋７」となる。そして、加算部１３３は、次のシーンが、人が表示されるシーンである場合に、重みとして「＋７」を加算する。これにより、累積された重みは、「＋７」に「＋７」を加えることで「＋１４」となる。そして、加算部１３３は、次のシーンが、人が表示されるシーンである場合に、重みとして「＋７」を加算する。これにより、累積された重みは、「＋１４」に「＋７」を加えることで「＋２１」となる。このように、加算部１３３は、動画ＭＯ１のフレーム毎の重みを累積することで、動画ＭＯ１の時間に対応する累積された重みを算出する。そして、加算部１３３は、かかる動画の重みを動画の時間に対応する形式で重み情報記憶部１２３に格納する。 Then, the adding
また、例えば、動画ＭＯ１が、複数の人が表示される動画であるものとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、人の重みが「＋７」であるとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、所定数の人の重みが「０」であるとする。この場合、加算部１３３は、はじめのシーンが、人が表示されるシーンの場合に、重みとして「＋７」を加算する。これにより、累積された重みは、はじめの重みである「０」に「＋７」を加えることで「＋７」となる。 Further, for example, it is assumed that the moving image MO1 is a moving image in which a plurality of people are displayed. Further, it is assumed that the weight of a person is “+7” as the weight corresponding to the object stored in the dictionary information storage unit. Further, it is assumed that the weight of a predetermined number of persons is “0” as the weight corresponding to the object stored in the dictionary information storage unit. In this case, the
そして、加算部１３３は、次のシーンが、所定数の人が表示されるシーンの場合に、重みとして「０」を加算する。これにより、累積された重みは、「＋７」に「０」を加えることで「＋７」となる。そして、加算部１３３は、次のシーンが、人が表示されるシーンである場合に、重みとして「＋７」を加算する。これにより、累積された重みは、「＋７」に「＋７」を加えることで「＋１４」となる。そして、加算部１３３は、次のシーンが、人が表示されるシーンである場合に、重みとして「＋７」を加算する。これにより、累積された重みは、「＋１４」に「＋７」を加えることで「＋２１」となる。このように、加算部１３３は、動画ＭＯ１のフレーム毎の重みを累積することで、動画ＭＯ１の時間に対応する累積された重みを算出する。そして、加算部１３３は、かかる動画の重みを動画の時間に対応する形式で重み情報記憶部１２３に格納する。 Then, the adding
また、例えば、動画ＭＯ１が、人が表示される動画であるものとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、人の重みが「＋７」であるとする。また、人の座標が変化しないシーンが３回連続で続く場合に、重みをさらに「＋１０」加算するとする。この場合、加算部１３３は、はじめのシーンが、人が表示されるシーンの場合に、重みとして「＋７」を加算する。これにより、累積された重みは、はじめの重みである「０」に「＋７」を加えることで「＋７」となる。 In addition, for example, it is assumed that the moving image MO1 is a moving image in which a person is displayed. Further, it is assumed that the weight of a person is “+7” as the weight corresponding to the object stored in the dictionary information storage unit. Further, when the scene in which the person's coordinates do not change continues three times in a row, the weight is further added by “+10”. In this case, the
そして、加算部１３３は、次のシーンが、人が表示されるシーンであって、前のシーンと人の座標が変化しないシーンの場合に、重みとして「＋７」を加算する。これにより、累積された重みは、「＋７」に「＋７」を加えることで「＋１４」となる。そして、加算部１３３は、次のシーンが、人が表示されるシーンであって、前のシーンと人の座標が変化しないシーンの場合に、重みとして「＋７」を加算する。これにより、累積された重みは、「＋１４」に「＋７」を加えることで「＋２１」となる。そして、加算部１３３は、次のシーンが、人が表示されるシーンであって、前のシーンと人の座標が変化しないシーンの場合に、重みとして「＋７」を加算する。これにより、累積された重みは、「＋２１」に「＋７」を加えることで「＋２８」となる。また、加算部１３３は、人の座標が変化しないシーンが３回連続で続いた場合に、さらに重み「＋１０」を加算する。これにより、累積された重みは、「＋２８」に「＋１０」を加えることで「＋３８」となる。このように、加算部１３３は、動画ＭＯ１のフレーム毎の重みを累積することで、動画ＭＯ１の時間に対応する累積された重みを算出する。そして、加算部１３３は、かかる動画の重みを動画の時間に対応する形式で重み情報記憶部１２３に格納する。 Then, the adding
（選択部１３４について）
選択部１３４は、加算部１３３によって加算された重みに基づいて、所定数のシーンを複数のシーンから選択する。具体的には、選択部１３４は、加算部１３３によって加算された重みが所定の閾値以上である場合に、所定数のシーンを複数のシーンから選択する。例えば、選択部１３４は、重み情報記憶部１２３に記憶される重みが所定の閾値以上であるシーンを選択する。例えば、選択部１３４は、重みの閾値が「７０」であるとする。この場合、選択部１３４は、動画から、重みの閾値以上である複数のシーンを選択する。(About the selection unit 134)
The selection unit 134 selects a predetermined number of scenes from the plurality of scenes based on the weights added by the
（生成部１３５について）
生成部１３５は、選択部１３４によって選択された所定数のシーンから構成される編集動画を生成する。例えば、生成部１３５は、選択部１３４によって選択された複数のシーンに基づいて、編集動画を生成する。(Regarding the generation unit 135)
The generation unit 135 generates an edited moving image including a predetermined number of scenes selected by the selection unit 134. For example, the generation unit 135 generates an edited moving image based on the plurality of scenes selected by the selection unit 134.
（提供部１３６について）
提供部１３６は、ユーザに対して、動画に対応する編集された動画として編集動画に関する情報を提供する。例えば、提供部１３６は、重み情報記憶部１２３を参照して、動画に対応する編集された動画として編集動画に関する情報をユーザに提供する。(About providing unit 136)
The providing
〔３．生成処理のフローチャート〕
次に、図７を用いて、実施形態に係る生成装置１００が実行する生成処理の手順について説明する。図７は、実施形態に係る生成装置が実行する生成処理の流れの一例を示すフローチャートである。[3. Flowchart of generation processing]
Next, the procedure of the generation process executed by the
図７に示すように、受付部１３１は、ユーザＵ１から動画ＭＯ１に関する情報を受け付ける（ステップＳ１０１）。そして、分類部１３２は、受付部１３１がユーザＵ１から動画ＭＯ１を受け付けていない場合（ステップＳ１０１；Ｎｏ）、ユーザＵ１から動画ＭＯ１を受け付けるまで待機する。 As illustrated in FIG. 7, the
一方、分類部１３２は、受付部１３１がユーザＵ１から動画ＭＯ１を受け付けた場合（ステップＳ１０１；Ｙｅｓ）、動画ＭＯ１に表示される対象物を人と人以外の物体とに分類する（ステップＳ１０２）。例えば、人以外の物体が、食べ物であるとする。この場合、分類部１３２は、人と食べ物とを学習させた学習モデルに動画を入力することにより、動画に表示される対象物を人と食べ物とに分類した結果を出力する。 On the other hand, when the receiving
そして、加算部１３３は、辞書情報記憶部１２２を参照して、動画ＭＯ１を構成する各シーンの重みを加算する（ステップＳ１０３）。例えば、動画ＭＯ１が、人及び食べ物が表示される動画であるものとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、人の重みが「＋７」であるとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、食べ物の重みが「＋５」であるとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、人が動画に表示されていない場合の重みが「−５」であるとする。この場合、加算部１３３は、はじめのシーンが、食べ物が表示されるシーンの場合に、重みとして「＋５」を加算する。これにより、累積された重みは、はじめの重みである「０」に「＋５」を加えることで「＋５」となる。 Then, the adding
そして、加算部１３３は、次のシーンが、人が表示されるシーンである場合に、重みとして「＋７」を加算する。これにより、累積された重みは、「＋５」に「＋７」を加えることで「＋１２」となる。そして、加算部１３３は、次のシーンが、人が表示されないシーンである場合に、重みとして「−５」を加算する。これにより、累積された重みは、「＋１２」に「−５」を加えることで「＋７」となる。そして、加算部１３３は、次のシーンが、人が表示されるシーンである場合に、重みとして「＋７」を加算する。これにより、累積された重みは、「＋７」に「＋７」を加えることで「＋１４」となる。そして、加算部１３３は、次のシーンが、人が表示されるシーンである場合に、重みとして「＋７」を加算する。これにより、累積された重みは、「＋１４」に「＋７」を加えることで「＋２１」となる。このように、加算部１３３は、動画ＭＯ１のフレーム毎の重みを累積することで、動画ＭＯ１の時間に対応する累積された重みを算出する。そして、加算部１３３は、かかる動画の重みを動画の時間に対応する形式で重み情報記憶部１２３に格納する。 Then, the adding
また、例えば、動画ＭＯ１が、複数の人が表示される動画であるものとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、人の重みが「＋７」であるとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、所定数の人の重みが「０」であるとする。この場合、加算部１３３は、はじめのシーンが、人が表示されるシーンの場合に、重みとして「＋７」を加算する。これにより、累積された重みは、はじめの重みである「０」に「＋７」を加えることで「＋７」となる。 Further, for example, it is assumed that the moving image MO1 is a moving image in which a plurality of people are displayed. Further, it is assumed that the weight of a person is “+7” as the weight corresponding to the object stored in the dictionary information storage unit. Further, it is assumed that the weight of a predetermined number of persons is “0” as the weight corresponding to the object stored in the dictionary information storage unit. In this case, the
そして、加算部１３３は、次のシーンが、所定数の人が表示されるシーンの場合に、重みとして「０」を加算する。これにより、累積された重みは、「＋７」に「０」を加えることで「＋７」となる。そして、加算部１３３は、次のシーンが、人が表示されるシーンである場合に、重みとして「＋７」を加算する。これにより、累積された重みは、「＋７」に「＋７」を加えることで「＋１４」となる。そして、加算部１３３は、次のシーンが、人が表示されるシーンである場合に、重みとして「＋７」を加算する。これにより、累積された重みは、「＋１４」に「＋７」を加えることで「＋２１」となる。このように、加算部１３３は、動画ＭＯ１のフレーム毎の重みを累積することで、動画ＭＯ１の時間に対応する累積された重みを算出する。そして、加算部１３３は、かかる動画の重みを動画の時間に対応する形式で重み情報記憶部１２３に格納する。 Then, the adding
また、例えば、動画ＭＯ１が、人が表示される動画であるものとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、人の重みが「＋７」であるとする。また、人の座標が変化しないシーンが３回連続で続く場合に、重みをさらに「＋１０」加算するとする。この場合、加算部１３３は、はじめのシーンが、人が表示されるシーンの場合に、重みとして「＋７」を加算する。これにより、累積された重みは、はじめの重みである「０」に「＋７」を加えることで「＋７」となる。 In addition, for example, it is assumed that the moving image MO1 is a moving image in which a person is displayed. Further, it is assumed that the weight of a person is “+7” as the weight corresponding to the object stored in the dictionary information storage unit. Further, when the scene in which the person's coordinates do not change continues three times in a row, the weight is further added by “+10”. In this case, the
そして、加算部１３３は、次のシーンが、人が表示されるシーンであって、前のシーンと人の座標が変化しないシーンの場合に、重みとして「＋７」を加算する。これにより、累積された重みは、「＋７」に「＋７」を加えることで「＋１４」となる。そして、加算部１３３は、次のシーンが、人が表示されるシーンであって、前のシーンと人の座標が変化しないシーンの場合に、重みとして「＋７」を加算する。これにより、累積された重みは、「＋１４」に「＋７」を加えることで「＋２１」となる。そして、加算部１３３は、次のシーンが、人が表示されるシーンであって、前のシーンと人の座標が変化しないシーンの場合に、重みとして「＋７」を加算する。これにより、累積された重みは、「＋２１」に「＋７」を加えることで「＋２８」となる。また、加算部１３３は、人の座標が変化しないシーンが３回連続で続いた場合に、さらに重み「＋１０」を加算する。これにより、累積された重みは、「＋２８」に「＋１０」を加えることで「＋３８」となる。このように、加算部１３３は、動画ＭＯ１のフレーム毎の重みを累積することで、動画ＭＯ１の時間に対応する累積された重みを算出する。そして、加算部１３３は、かかる動画の重みを動画の時間に対応する形式で重み情報記憶部１２３に格納する。 Then, the adding
そして、選択部１３４は、加算部１３３によって加算された各シーンの重みに基づいて、シーンを選択する（ステップＳ１０４）。例えば、選択部１３４は、重み情報記憶部１２３に記憶される重みが所定の閾値以上であるシーンを選択する。例えば、選択部１３４は、重みの閾値が「７０」であるとする。この場合、選択部１３４は、動画から、重みの閾値以上である複数のシーンを選択する。そして、生成部１３５は、選択部１３４によって選択された複数のシーンから構成される編集動画ＥＭ１を生成する（ステップＳ１０５）。 Then, the selecting unit 134 selects a scene based on the weight of each scene added by the adding unit 133 (step S104). For example, the selection unit 134 selects a scene whose weight stored in the weight
〔４．変形例〕
上述した生成装置１００は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、生成装置１００の他の実施形態について説明する。[4. Modification example)
The above-described
〔４−１．対象物〕
上記実施形態では、生成装置１００の辞書情報記憶部１２２には、人や人以外の物体等の対象物と重みとが対応付られた情報が記憶される一例を説明したが、辞書情報記憶部１２２に記憶される重みは対象物のみに限定されなくてもよい。例えば、対象物ではない人の音声等に対応する重みに関する情報が辞書情報記憶部１２２に記憶されてもよい。[4-1. Object〕
In the above embodiment, an example in which the dictionary
〔４−２．加算処理 目的に応じて重みを変更〕
上記実施形態では、生成装置１００の加算部１３３が人や人以外の物体等の対象物と重みとが対応付られた情報が記憶された辞書情報記憶部１２２を参照して、動画を構成するシーンに表示される対象物の重みを算出することで、かかるシーンの重みを加算する加算処理の一例を説明したが、辞書情報記憶部１２２に記憶される重みであって、編集動画の提供先に応じて変動される重みを参照して、重みを加算してもよい。具体的には、加算部１３３は、編集動画の提供先に応じて変動される重みに基づいて、動画のフレーム毎の重みを累積するように加算してもよい。例えば、ユーザがＳＮＳ（Social Networking Service）に登録しているものとする。また、ユーザによって利用されるＳＮＳでは食べ物の動画が頻繁に投稿されているものとする。この場合、加算部１３３は、ＳＮＳに対応して食べ物の重みを一律に「＋５」大きくした重みが記憶された辞書情報記憶部１２２を参照して、動画のフレーム毎の重みを累積するように加算してもよい。[4-2. Addition process Change weight according to purpose)
In the above-described embodiment, the
これにより、実施形態に係る生成装置１００の加算部１３３は、ユーザによって投稿されるＳＮＳ毎に最適化された重みに基づいて動画のフレーム毎に重みを累積するように加算することができるため、ユーザによって編集動画が投稿される態様に適した重みを加算することができる。 Accordingly, the
〔４−３．選択処理（１）特定の物体のシーンが続く場合に倍速〕
上記実施形態では、生成装置１００の選択部１３４が加算部１３３によって加算された重みが所定の閾値以上である場合に、所定数のシーンを複数のシーンから選択する選択処理の一例を説明したが、加算部１３３によって加算された重みが動画のうち、前後のシーンで変化しない場合に、かかるシーンに対して動画の表示速度を早くしたシーンを含む所定数のシーンを複数のシーンから選択してもよい。例えば、選択部１３４は、重み情報記憶部１２３に記憶される重みが変化しないシーンに対して動画の表示速度を倍速にしたシーンを含む所定数のシーンを選択する。[4-3. Selection process (1) Double speed when scene of specific object continues]
In the above embodiment, an example of the selection process in which the selection unit 134 of the
これにより、実施形態に係る生成装置１００の選択部１３４は、前後のシーンで変化しない場合に、かかるシーンに対して動画の表示速度を倍速にしたシーンを含む所定数のシーンを複数のシーンから選択することができるため、冗長なシーンを編集動画から除くことができる。 Accordingly, when the selection unit 134 of the
〔４−４．選択処理（２）動画時間の選択〕
上記実施形態では、生成装置１００の選択部１３４が加算部１３３によって加算された重みが所定の閾値以上である場合に、所定数のシーンを複数のシーンから選択する選択処理の一例を説明したが、加算部１３３によって加算された重みに基づいて、動画の時間に対応する所定数のシーンを複数のシーンから選択してもよい。例えば、ユーザから受け付けられた動画の総時間が「５分」であるものとする。また、ユーザによって動画の総時間を「３分」と指定されたものとする。この場合、選択部１３４は、重み情報記憶部１２３に記憶される重みが変化しないシーンを除くことで、動画の総時間が「３分」の編集動画を生成できるように、所定数のシーンを選択する。[4-4. Selection process (2) Selection of video time]
In the above embodiment, an example of the selection process in which the selection unit 134 of the
これにより、実施形態に係る生成装置１００の選択部１３４は、動画の時間に対応する所定数のシーンを複数のシーンから選択することができるため、冗長なシーンを編集動画から除くことができる。 Accordingly, the selection unit 134 of the
〔４−５．選択処理（３）重みが加算された場合に選択〕
上記実施形態では、生成装置１００の選択部１３４が加算部１３３によって加算された重みが所定の閾値以上である場合に、所定数のシーンを複数のシーンから選択する選択処理の一例を説明したが、加算部１３３によって加算された重みに対応する所定数のシーンを複数のシーンから選択してもよい。[4-5. Selection processing (3) Selection when weights are added]
In the above embodiment, an example of the selection process in which the selection unit 134 of the
ここで、図８を用いて編集動画ＥＭ２１の生成方法について説明する。図８は、変形例に係る生成装置１００が実行する編集動画の生成方法の処理の一例を示す図である。図８に示すように、図ＦＧ２１は、動画ＭＯ１の時間に対応する重みの変化を示す。図ＦＧ２１の縦軸は、加算された重みの値を示す。図ＦＧ２１の横軸は、動画ＭＯ１の動画内の時間を示す。図ＦＧ２１は、所定の重みの閾値の表示を含む。例えば、図ＦＧ２１では、所定の範囲内の複数のシーンＳＥ１、ＳＥ２、ＳＥ３が所定の重みの閾値以上であるシーンである。 Here, a method of generating the edited moving image EM21 will be described with reference to FIG. FIG. 8 is a diagram illustrating an example of processing of an edited moving image generation method executed by the
また、図８に示すように、図ＦＧ２２は、所定の重みの閾値以上である所定の範囲内の複数のシーンＳＥ２１、ＳＥ２２、ＳＥ２３を合わせた動画を示す。すなわち、かかる動画は、編集動画ＥＭ１に対応する。 Further, as shown in FIG. 8, a diagram FG22 shows a moving image in which a plurality of scenes SE21, SE22, and SE23 within a predetermined range that is equal to or larger than a threshold of a predetermined weight are combined. That is, this moving image corresponds to the edited moving image EM1.
例えば、選択部１３４は、重みの閾値が「７０」であるとする。この場合、選択部１３４は、動画ＭＯ１から、重みの閾値以上である所定の範囲内の複数のシーンＳＥ２１、ＳＥ２２、ＳＥ２３を選択する。 For example, the selection unit 134 is assumed to have a weighting threshold value of “70”. In this case, the selection unit 134 selects, from the moving image MO1, a plurality of scenes SE21, SE22, SE23 within a predetermined range that is equal to or greater than the weight threshold.
これにより、実施形態に係る生成装置１００の選択部１３４は、所定の閾値以上である重みを示す複数のシーンであって、重みが増加する範囲内の複数のシーンを選択することができるため、編集動画内のシーンが飛び飛びになることを防ぐだけでなく、間延びする冗長なシーンをも除くことができる。 As a result, the selection unit 134 of the
〔４−６．重み〕
上記実施形態では、生成装置１００の辞書情報記憶部１２２には、人がいないシーンの場合に重みとして「−５」に関する情報が記憶される一例を説明したが、辞書情報記憶部１２２に記憶される重みは上記に限定されなくてもよい。例えば、人がいないシーンの場合に重みとして「０」に関する情報が辞書情報記憶部１２２に記憶されてもよい。[4-6. weight〕
In the above-described embodiment, an example in which the dictionary
〔４−７．動画〕
上記実施形態では、生成装置１００の受付部１３１が、ユーザによって端末装置１０で撮影された動画を受け付ける処理の一例を説明したが、受付部１３１によって受け付けられる動画は、ユーザによって撮影された動画に限定されず、如何なる動画であってもよい。[4-7. Video)
In the above embodiment, an example of the process in which the
〔５．ハードウェア構成〕
また、上述してきた実施形態に係る端末装置１０及び生成装置１００は、例えば図９に示すような構成のコンピュータ１０００によって実現される。以下、生成装置１００を例に挙げて説明する。図９は、生成装置１００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read Only Memory）１３００、ＨＤＤ（Hard Disk Drive）１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。[5. Hardware configuration]
In addition, the
ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。 The
ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、ネットワークＮを介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００がネットワークＮを介して生成したデータを他の機器へ送信する。 The
ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して生成したデータを出力装置へ出力する。 The
メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラム又はデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。 The
例えば、コンピュータ１０００が実施形態に係る生成装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。また、ＨＤＤ１４００には、記憶部１２０内のデータが格納される。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置からネットワークＮを介してこれらのプログラムを取得してもよい。 For example, when the
〔６．その他〕
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。[6. Other]
Further, of the processes described in the above-described embodiment and modified examples, all or part of the processes described as being automatically performed may be manually performed, or described as manually performed. It is also possible to automatically carry out all or part of the processing performed by a known method. In addition, the processing procedures, specific names, information including various data and parameters shown in the above-mentioned documents and drawings can be arbitrarily changed unless otherwise specified. For example, the various kinds of information shown in each drawing are not limited to the illustrated information.
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。 Further, each component of each device shown in the drawings is functionally conceptual, and does not necessarily have to be physically configured as shown. That is, the specific form of distribution / integration of each device is not limited to that shown in the figure, and all or a part of the device may be functionally or physically distributed / arranged in arbitrary units according to various loads and usage conditions. It can be integrated and configured.
また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。 Further, the above-described embodiments and modified examples can be appropriately combined within a range in which the processing content is not inconsistent.
また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、生成部は、生成手段や生成回路に読み替えることができる。 Also, the above-mentioned "section (module, unit)" can be read as "means" or "circuit". For example, the generation unit can be read as a generation unit or a generation circuit.
〔７．効果〕
上述してきたように、実施形態に係る生成装置１００は、加算部１３３と、生成部１３５とを有する。加算部１３３は、動画に表示される対象物が所定の条件を満たす場合に、動画を構成する複数のシーンの重要度を示す重みを加算する。生成部１３５は、加算部１３３によって加算された重みに基づいて、複数のシーンのうち、所定数のシーンから構成される編集動画を生成する。[7. effect〕
As described above, the
これにより、実施形態に係る生成装置１００は、特定の対象物に対応する重みに着目して動画から適切なシーンを選択することができるため、適切に編集された動画をユーザに提供することができる。 Accordingly, the
また、実施形態に係る生成装置１００において、加算部１３３は、動画に表示される対象物が所定の条件を満たす第１のシーンの重みに、動画に表示される対象物が所定の条件を満たす第２のシーンの重みを加算し、加算部１３３によって加算された重みに基づいて、所定数のシーンを複数のシーンから選択する選択部１３４をさらに備え、生成部１３５は、選択部１３４によって選択された所定数のシーンから構成される編集動画を生成する。 In addition, in the
これにより、実施形態に係る生成装置１００は、特定の対象物に対応する重みに着目して動画から適切なシーンを選択することができるため、適切に編集された動画をユーザに提供することができる。 Accordingly, the
また、実施形態に係る生成装置１００において、選択部１３４は、加算部１３３によって加算された重みが所定の閾値以上である場合に、所定数のシーンを複数のシーンから選択する。 Further, in the
これにより、実施形態に係る生成装置１００は、特定の対象物に対応する重みに着目して動画から適切なシーンを選択することができるため、適切に編集された動画をユーザに提供することができる。 Accordingly, the
また、実施形態に係る生成装置１００において、選択部１３４は、加算部１３３によって加算された重みに対応する所定数のシーンを複数のシーンから選択する。 Further, in the
これにより、実施形態に係る生成装置１００は、特定の対象物に対応する重みに着目して動画から適切なシーンを選択することができるため、適切に編集された動画をユーザに提供することができる。 Accordingly, the
また、実施形態に係る生成装置１００において、選択部１３４は、加算部１３３によって加算された重みが動画のうち、前後のシーンで変化しない場合に、当該シーンを含まない所定数のシーンを複数のシーンから選択する。 In addition, in the
これにより、実施形態に係る生成装置１００は、特定の対象物に対応する重みに着目して動画から適切なシーンを選択することができるため、適切に編集された動画をユーザに提供することができる。 Accordingly, the
また、実施形態に係る生成装置１００において、選択部１３４は、加算部１３３によって加算された重みに基づいて、動画の時間に対応する所定数のシーンを複数のシーンから選択する。 Further, in the
これにより、実施形態に係る生成装置１００は、特定の対象物に対応する重みに着目して動画から適切なシーンを選択することができるため、適切に編集された動画をユーザに提供することができる。 Accordingly, the
また、実施形態に係る生成装置１００において、加算部１３３は、動画に表示される対象物が所定の条件を満たす場合に、対象物と重みとが対応付られた情報が記憶される記憶部を参照して、重みを加算する。 In addition, in the
これにより、実施形態に係る生成装置１００は、特定の対象物に対応する重みに着目して動画から適切なシーンを選択することができるため、適切に編集された動画をユーザに提供することができる。 Accordingly, the
また、実施形態に係る生成装置１００において、加算部１３３は、動画に表示される対象物が所定の条件を満たす場合に、記憶部に記憶される重みであって、編集動画の提供先に応じて変動される重みを参照して、重みを加算する。 In addition, in the
これにより、実施形態に係る生成装置１００は、編集動画の提供先に応じた適切なシーンを動画から選択することができるため、適切に編集された動画をユーザに提供することができる。 With this, the
また、実施形態に係る生成装置１００において、加算部１３３は、所定の条件として、動画に表示される対象物が、人、人の音声、動物、生物、移動体、食べ物、玩具である場合に、重みを加算する。 In addition, in the
これにより、実施形態に係る生成装置１００は、様々な対象物に対応する重みに着目して動画から適切なシーンを選択することができるため、適切に編集された動画をユーザに提供することができる。 Accordingly, the
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。 As described above, some of the embodiments of the present application have been described in detail based on the drawings, but these are examples, and various modifications based on the knowledge of those skilled in the art, including the modes described in the section of the disclosure of the invention, It is possible to implement the present invention in other forms with improvements.
１ 生成システム
１０ 端末装置
１００ 生成装置
１１０ 通信部
１２０ 記憶部
１２１ 動画情報記憶部
１２２ 辞書情報記憶部
１２３ 重み情報記憶部
１３０ 制御部
１３１ 受付部
１３２ 分類部
１３３ 加算部
１３４ 選択部
１３５ 生成部
１３６ 提供部
1
Claims (11)
Translated fromJapanese前記加算部によって加算された重みに基づいて、前記複数のシーンのうち、所定数のシーンから構成される編集動画を生成する生成部と、
を備えたことを特徴とする生成装置。When the object displayed in the moving image satisfies a predetermined condition, it is a scene corresponding to the target object, and an addition unit that adds weights indicating the importance of a plurality of scenes forming the moving image,
A generation unit that generates an edited moving image composed of a predetermined number of scenes among the plurality of scenes based on the weights added by the addition unit;
A generating device comprising:
前記加算部によって加算された重みに基づいて、前記所定数のシーンを前記複数のシーンから選択する選択部をさらに備え、
前記生成部は、
前記選択部によって選択された所定数のシーンから構成される前記編集動画を生成する、
ことを特徴とする請求項１に記載の生成装置。The object displayed in the moving image is added to the weight of the first scene satisfying a predetermined condition so that the object displayed in the moving image accumulates the weight of the second scene satisfying the predetermined condition. Then
Further comprising a selection unit that selects the predetermined number of scenes from the plurality of scenes based on the weights added by the addition unit,
The generator is
Generating the edited video composed of a predetermined number of scenes selected by the selection unit,
The generation device according to claim 1, wherein
前記加算部によって加算された重みが所定の閾値以上である場合に、前記所定数のシーンを前記複数のシーンから選択する、
ことを特徴とする請求項２に記載の生成装置。The selection unit,
When the weight added by the adding unit is equal to or more than a predetermined threshold value, the predetermined number of scenes is selected from the plurality of scenes,
The generation device according to claim 2, wherein
前記加算部によって加算された重みに対応する前記所定数のシーンを前記複数のシーンから選択する、
ことを特徴とする請求項２又は３に記載の生成装置。The selection unit,
Selecting the predetermined number of scenes corresponding to the weights added by the adding unit from the plurality of scenes;
The generating device according to claim 2 or 3, characterized in that.
前記加算部によって加算された重みが前記動画のうち、前後のシーンで変化しない場合に、動画の表示速度を早くした当該シーンを含む前記所定数のシーンを前記複数のシーンから選択する、
ことを特徴とする請求項２〜４のいずれか１つに記載の生成装置。The selection unit,
When the weight added by the adding unit does not change in the preceding and succeeding scenes of the video, the predetermined number of scenes including the scene in which the display speed of the video is increased is selected from the plurality of scenes.
The generating apparatus according to claim 2, wherein the generating apparatus is a generating apparatus.
前記加算部によって加算された重みに基づいて、前記動画の時間に対応する前記所定数のシーンを前記複数のシーンから選択する、
ことを特徴とする請求項２〜５のいずれか１つに記載の生成装置。The selection unit,
Selecting the predetermined number of scenes corresponding to the time of the moving image from the plurality of scenes based on the weight added by the adding unit;
The generating device according to any one of claims 2 to 5, characterized in that.
前記動画に表示される対象物が所定の条件を満たす場合に、対象物と重みとが対応付られた情報が記憶される記憶部を参照して、前記重みを加算する、
ことを特徴とする請求項１〜６のいずれか１つに記載の生成装置。The adding unit is
When the object displayed in the moving image satisfies a predetermined condition, the weight is added with reference to a storage unit that stores information in which the object and the weight are associated with each other.
The generating device according to claim 1, wherein the generating device is a generating device.
前記動画に表示される対象物が所定の条件を満たす場合に、前記記憶部に記憶される重みであって、前記編集動画の提供先に応じて変動される重みを参照して、前記重みを加算する、
ことを特徴とする請求項７に記載の生成装置。The adding unit is
When the object displayed in the moving image satisfies a predetermined condition, the weight stored in the storage unit is changed with reference to the weight changed depending on the destination of the edited moving image. to add,
The generation device according to claim 7, wherein
前記所定の条件として、前記動画に表示される対象物が、人、人の音声、動物、生物、移動体、食べ物、玩具である場合に、前記重みを加算する、
ことを特徴とする請求項１〜８のいずれか１つに記載の生成装置。The adding unit is
As the predetermined condition, when the object displayed in the video is a person, a human voice, an animal, a living thing, a moving body, food, a toy, the weight is added,
The generating device according to claim 1, wherein the generating device is a generating device.
動画に表示される対象物が所定の条件を満たす場合に、動画を構成する複数のシーンの重要度を示す重みを加算する加算工程と、
前記加算工程によって加算された重みに基づいて、前記複数のシーンのうち、所定数のシーンから構成される編集動画を生成する生成工程と、
を含むことを特徴とする生成方法。A generation method executed by a computer,
An addition step of adding weights indicating the degrees of importance of a plurality of scenes forming a moving image when an object displayed in the moving image satisfies a predetermined condition,
A generation step of generating an edited moving image composed of a predetermined number of scenes of the plurality of scenes based on the weights added by the adding step;
A generation method comprising:
前記加算手順によって加算された重みに基づいて、前記複数のシーンのうち、所定数のシーンから構成される編集動画を生成する生成手順と、
をコンピュータに実行させることを特徴とする生成プログラム。
An addition procedure for adding weights indicating the degrees of importance of a plurality of scenes forming a video when the object displayed in the video satisfies a predetermined condition,
A generation procedure for generating an edited moving image composed of a predetermined number of scenes of the plurality of scenes based on the weights added by the addition procedure;
A generation program characterized by causing a computer to execute.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018200375AJP7133433B2 (en) | 2018-10-24 | 2018-10-24 | Generation device, generation method, generation program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018200375AJP7133433B2 (en) | 2018-10-24 | 2018-10-24 | Generation device, generation method, generation program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020068468Atrue JP2020068468A (en) | 2020-04-30 |
| JP7133433B2 JP7133433B2 (en) | 2022-09-08 |
Family
ID=70388698
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018200375AActiveJP7133433B2 (en) | 2018-10-24 | 2018-10-24 | Generation device, generation method, generation program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7133433B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114697700A (en)* | 2020-12-28 | 2022-07-01 | 北京小米移动软件有限公司 | Video editing method, video editing device and storage medium |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002125199A (en)* | 2000-06-30 | 2002-04-26 | Toshiba Corp | Frame information description method, frame information generation device and method, video reproduction device and method, and recording medium |
| JP2005277531A (en)* | 2004-03-23 | 2005-10-06 | Seiko Epson Corp | Moving image processing device |
| JP4449216B2 (en)* | 1998-12-28 | 2010-04-14 | ソニー株式会社 | Video information editing method and editing apparatus |
| JP2010187374A (en)* | 2009-01-15 | 2010-08-26 | Victor Co Of Japan Ltd | Summary video-generating apparatus and summary video generating method |
| JP2010258768A (en)* | 2009-04-24 | 2010-11-11 | Canon Inc | Image display apparatus, control method therefor, program, and storage medium |
| JP2015099958A (en)* | 2013-11-18 | 2015-05-28 | 日本電信電話株式会社 | Digest video generation device, digest video generation method, and digest video generation program |
- 2018
- 2018-10-24JPJP2018200375Apatent/JP7133433B2/enactiveActive
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4449216B2 (en)* | 1998-12-28 | 2010-04-14 | ソニー株式会社 | Video information editing method and editing apparatus |
| JP2002125199A (en)* | 2000-06-30 | 2002-04-26 | Toshiba Corp | Frame information description method, frame information generation device and method, video reproduction device and method, and recording medium |
| JP2005277531A (en)* | 2004-03-23 | 2005-10-06 | Seiko Epson Corp | Moving image processing device |
| JP2010187374A (en)* | 2009-01-15 | 2010-08-26 | Victor Co Of Japan Ltd | Summary video-generating apparatus and summary video generating method |
| JP2010258768A (en)* | 2009-04-24 | 2010-11-11 | Canon Inc | Image display apparatus, control method therefor, program, and storage medium |
| JP2015099958A (en)* | 2013-11-18 | 2015-05-28 | 日本電信電話株式会社 | Digest video generation device, digest video generation method, and digest video generation program |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114697700A (en)* | 2020-12-28 | 2022-07-01 | 北京小米移动软件有限公司 | Video editing method, video editing device and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7133433B2 (en) | 2022-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7357706B2 (en) | Avatar generator and computer program | |
| US10776754B2 (en) | Content creation, deployment collaboration, and subsequent marketing activities | |
| JP5993897B2 (en) | Specific apparatus, specific method, and specific program | |
| CN108875539B (en) | Expression matching method, device and system and storage medium | |
| JP7348230B2 (en) | Generation device, generation method, and generation program | |
| US20150331842A1 (en) | Systems and methods for selecting content items and generating multimedia content | |
| US12099547B2 (en) | Searching and ranking modifiable videos in multimedia messaging application | |
| US11604622B1 (en) | Selecting audio clips for inclusion in content items | |
| US11222208B2 (en) | Portrait image evaluation based on aesthetics | |
| CN117099158A (en) | Neural network for changing characteristics of sound | |
| JP7133433B2 (en) | Generation device, generation method, generation program | |
| US20220139251A1 (en) | Motivational Extended Reality | |
| JP2020115285A (en) | Calculation device, calculation method, and calculation program | |
| US11743396B2 (en) | Electronic album generating apparatus, electronic album generating method, and non-transitory computer-readable storage medium | |
| JP2019036087A (en) | Generation device, method for generation, generation program, learning data, and model | |
| CN113934843A (en) | Article classification method and device based on model fusion | |
| US11669951B1 (en) | System for selecting content for a personalized video reel | |
| US12143664B2 (en) | Dynamically creating and playing a scenario replication for an activity on visual and audio devices | |
| JP2019056979A (en) | Generation device, model, generation method and generation program | |
| US12443879B2 (en) | Modification and generation of conditional data | |
| KR102555967B1 (en) | Method for recommending a user character according to the other user's propensity based on artificial intelligence and a digital content providing server including the same | |
| US20250322206A1 (en) | Graph-based modeling of relational affect in group interactions | |
| JP2018018384A (en) | Estimation apparatus, estimation method, and estimation program | |
| JP2024134277A (en) | Information processing device, information processing method, and information processing program | |
| JP2024134278A (en) | Information processing device, information processing method, and information processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant | Free format text:JAPANESE INTERMEDIATE CODE: A712 Effective date:20191101 | |
| RD03 | Notification of appointment of power of attorney | Free format text:JAPANESE INTERMEDIATE CODE: A7423 Effective date:20191108 | |
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20200917 | |
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20210521 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20210608 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20210806 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20220104 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20220304 | |
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20220802 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20220829 | |
| R150 | Certificate of patent or registration of utility model | Ref document number:7133433 Country of ref document:JP Free format text:JAPANESE INTERMEDIATE CODE: R150 | |
| S111 | Request for change of ownership or part of ownership | Free format text:JAPANESE INTERMEDIATE CODE: R313111 | |
| R350 | Written notification of registration of transfer | Free format text:JAPANESE INTERMEDIATE CODE: R350 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 |