







本発明は、時系列データの再生制御のためのユーザインタフェースに関する。 The present invention relates to a user interface for playback control of time series data.
コンピュータ上での動画表示ソフトウエアのユーザインタフェースとして、例えばWindows(登録商標) Media(登録商標) Playerのように、動画表示領域の近傍に、動画の全体の表示時間を時間軸で示し、その時間軸上で現在の再生点を示すマークが再生の進行に応じて移動させるものが知られている。マウス等のポインティングデバイスでユーザがこの時間軸上のある点を指定すると、動画表示ソフトウエアが、再生点をその点へと移動させる。このようにしてユーザが再生するシーンを変更できる。音声データを再生するソフトウエアでも、同様のユーザインタフェースを持つものは多い。 As a user interface of moving image display software on a computer, for example, Windows (registered trademark) Media (registered trademark) Player, the entire display time of a moving image is shown on the time axis in the vicinity of the moving image display area. It is known that a mark indicating the current reproduction point on the axis is moved in accordance with the progress of reproduction. When the user designates a certain point on the time axis with a pointing device such as a mouse, the moving image display software moves the reproduction point to that point. In this way, the scene to be reproduced by the user can be changed. Many software that reproduces audio data has a similar user interface.
この種のユーザインタフェースでは、動画や音声のデータの全体の時間の長さが異なっていても、同じ長さの時間軸が表示される。このため、同一の時間幅に対応する時間軸表示上での幅がデータごとにまちまちになり、例えば、具体的な時間の長さだけ時間軸上で再生時間を調整することが困難になる。また、データ全体の時間が長くなるほど、時間軸上での単位時間の幅が小さくなるので、再生点を微調整する操作が困難になる。 In this type of user interface, even if the entire time length of moving image or audio data is different, a time axis having the same length is displayed. For this reason, the width on the time axis display corresponding to the same time width varies for each data, and for example, it becomes difficult to adjust the reproduction time on the time axis by a specific length of time. Further, as the time of the entire data becomes longer, the width of the unit time on the time axis becomes smaller, so that it becomes difficult to finely adjust the reproduction point.
また、動画表示における再生シーンの変更のための別のユーザインタフェースとして、特許文献1に示されるものが知られている。特許文献1に示される動画表示装置は、第1の遷移状態において、動画データを再生するとともに、動画データより得られる縮小画列を同期表示する。この状態で、縮小画を指定するためのカーソルが縮小画列の表示領域を含む所定域に入った場合は、第2の遷移状態に移行し縮小画列の同期表示が中断される。縮小画列より縮小画が指定された場合は対応するシーンへジャンプして動画再生を開始するとともに、縮小画列の同期表示を再開する。また、縮小画列に対して時間軸方向へのスクロール操作を行った場合は、第3の遷移状態へ移行し、縮小画列の同期表示が中断されるとともに、同期表示を再開するためのユーザインタフェースが提供される。この第3の遷移状態において、このユーザインタフェースが操作されると、縮小画列の同期表示が再開される。 Also, as another user interface for changing a playback scene in moving image display, one disclosed in Patent Document 1 is known. In the first transition state, the moving image display device disclosed in Patent Literature 1 reproduces moving image data and synchronously displays a reduced image sequence obtained from the moving image data. In this state, when the cursor for designating the reduced image enters a predetermined area including the display area of the reduced image row, the state shifts to the second transition state, and the synchronous display of the reduced image row is interrupted. When a reduced image is designated from the reduced image sequence, jumping to the corresponding scene is started to start moving image reproduction, and synchronous display of the reduced image sequence is resumed. In addition, when the scroll operation in the time axis direction is performed on the reduced image sequence, the user shifts to the third transition state, the synchronized display of the reduced image sequence is interrupted, and the user for resuming the synchronized display. An interface is provided. When this user interface is operated in the third transition state, the synchronized display of the reduced image sequence is resumed.
また、特許文献2に示されるグラフィカル・ユーザ・インタフェース表示装置は、ビデオ・データ・オブジェクト内の各ポイントの簡略画像の表現を表示する。ユーザが時間的に隣り合う2つのポイントの簡略画像間の間隔を選択すると、選択された間隔内に相当する新しいポイントの組が選ばれ、それらのポイントの簡略画像の表現が作成され表示される。これを繰り返すことにより、ユーザは容易にビデオ・データ・オブジェクトの中をブラウジングすることができ、速やかに所望する部分を見出せる。 Further, the graphical user interface display device disclosed in Patent Document 2 displays a simplified image representation of each point in a video data object. When the user selects an interval between simplified images of two points that are adjacent in time, a new set of points corresponding to the selected interval is selected and a representation of the simplified image of those points is created and displayed. . By repeating this, the user can easily browse through the video data object and quickly find the desired portion.
本発明は、時系列データの再生制御のためのユーザインタフェースにおいて、時系列データ全体の再生時間の長さによらず、統一した操作感をユーザに与えることを目的とする。 An object of the present invention is to provide a user with a unified operational feeling in a user interface for playback control of time-series data regardless of the length of playback time of the entire time-series data.
(1)本発明の1つの側面では、時系列データ再生部が再生している時系列データの現在の再生点と、前記再生点の近傍の、前記時系列データ全体の時間幅に依存しない所定の時間幅を示す第1時間軸と、を示す第1時間軸画像を生成し、前記第1時間軸画像が画面表示されている場合に、前記第1時間軸画像上で前記時系列データの再生点の変更先の指定を受け付け、前記第1時間軸画像上で指定された前記再生点の変更先から前記時系列データを再生するよう前記時系列データ再生部に指示する、処理をコンピュータに実行させるためのプログラム、を提供する。(1) In one aspect of the present invention, the current reproduction point of the time-series data reproduced by the time-series data reproduction unit and a predetermined value that does not depend on the time width of the entire time-series data in the vicinity of the reproduction point. When a first time axis image indicating a time width of the first time axis image is generated and the first time axis image is displayed on the screen, the time series data is displayed on the first time axis image. Processing for accepting designation of a reproduction point change destination and instructing the computer to reproduce the time-series data from the reproduction point change destination designated on the first time-axis image. A program for executing the program is provided.
(2)上記構成(1)において、前記時系列データ再生部が再生している時系列データの現在の再生点を、前記時系列データ全体の時間幅を示す第2時間軸上で示す第2時間軸画像を生成し、前記第1時間軸画像又は前記第2時間軸画像のうちの少なくとも一方を画面に表示させるための時間軸表示制御を行い、前記第2時間軸画像が画面表示されている場合に、前記第2時間軸画像上で前記時系列データの再生点の変更先の指定を受け付け、前記第2時間軸画像上で指定された前記再生点の変更先から前記時系列データを再生するよう前記時系列データ再生部に指示する、処理を更に前記コンピュータに実行させる。(2) In the configuration (1), a second reproduction point indicating a current reproduction point of the time-series data reproduced by the time-series data reproduction unit on a second time axis indicating a time width of the entire time-series data. A time axis image is generated, time axis display control is performed to display at least one of the first time axis image and the second time axis image on the screen, and the second time axis image is displayed on the screen. When the second time-axis image is received, designation of the change point of the reproduction point of the time-series data is received, and the time-series data is received from the reproduction point of the reproduction point designated on the second time-axis image. Instructing the time-series data reproducing unit to reproduce is further executed by the computer.
(3)上記構成(2)において、前記時間軸表示制御では、前記第2時間軸画像上に、前記第1時間軸画像を、前記現在の再生点を同じ位置に合わせた状態で表示するよう制御する。(3) In the configuration (2), in the time axis display control, the first time axis image is displayed on the second time axis image in a state where the current playback point is aligned with the same position. Control.
(4)上記構成(2)において、前記時間軸表示制御では、前記時系列データ再生部に対してユーザから再生の一時停止が指示された場合に、前記第1時間軸画像を画面に表示させる。(4) In the configuration (2), in the time axis display control, when the user instructs the time series data reproduction unit to pause reproduction, the first time axis image is displayed on the screen. .
(5)上記構成(1)において、前記第1時間軸画像は、現在の再生点を基準とする各点の相対的な時刻の目盛りの表示を含む。(5) In the configuration (1), the first time-axis image includes a display of a relative time scale of each point with the current reproduction point as a reference.
(6)上記構成(1)において、前記第1時間軸画像の時間幅の指定を受け付け、指定された時間幅に応じた前記第1時間軸画像を生成する、処理を更に前記コンピュータに実行させる。(6) In the configuration (1), the computer further receives a designation of a time width of the first time axis image and generates the first time axis image according to the designated time width. .
(7)上記構成(1)において、前記時系列データの各代表シーンについて、前記時系列データ全体の中での当該代表シーンの再生点と、その代表シーンを示す簡略化画像と、を記憶した代表シーン記憶部から、前記第1時間軸画像の時間幅内に含まれる代表シーンの再生点を読み出し、読み出した再生点を前記第1時間軸画像と関連づけて画面に表示させ、前記第1時間軸画像上でユーザが所定の指示操作により指し示した点に対応する代表シーンの簡略化画像を表示し、前記第1時間軸画像上でユーザが指し示した点に対して所定の確定操作を行った場合、その点から前記時系列データを再生するよう前記時系列データ再生部に指示する、処理を更に前記コンピュータに実行させる。(7) In the configuration (1), for each representative scene of the time-series data, a reproduction point of the representative scene in the entire time-series data and a simplified image indicating the representative scene are stored. A representative scene reproduction point included in the time width of the first time axis image is read from the representative scene storage unit, the read reproduction point is associated with the first time axis image and displayed on the screen, and the first time axis is displayed. A simplified image of a representative scene corresponding to a point indicated by the user by a predetermined instruction operation on the axis image is displayed, and a predetermined confirmation operation is performed on the point indicated by the user on the first time axis image In this case, the computer is further caused to execute processing for instructing the time-series data reproduction unit to reproduce the time-series data from that point.
(8)本発明の別の側面では、時系列データ再生部が再生している時系列データの現在の再生点と、前記再生点の近傍の、前記時系列データ全体の時間幅に依存しない所定の時間幅を示す第1時間軸と、を示す第1時間軸画像を生成する第1時間軸画像生成部と、前記第1時間軸画像が画面表示されている場合に、前記第1時間軸画像上で前記時系列データの再生点の変更先の指定を受け付ける受付部と、前記第1時間軸画像上で指定された前記再生点の変更先から前記時系列データを再生するよう前記時系列データ再生部に指示する指示部と、を備える時系列データ再生制御装置を提供する。(8) In another aspect of the present invention, the current playback point of the time-series data being played back by the time-series data playback unit and a predetermined value that does not depend on the time width of the entire time-series data in the vicinity of the playback point. A first time axis indicating a time width of the first time axis image generating unit for generating a first time axis image indicating the time width of the first time axis, and the first time axis when the first time axis image is displayed on the screen. A receiving unit that receives designation of a change destination of a reproduction point of the time series data on an image; and the time series so as to reproduce the time series data from the change point of the reproduction point designated on the first time axis image There is provided a time-series data reproduction control device including an instruction unit that instructs a data reproduction unit.
上述の構成(1)及び(8)によれば、時系列データ全体の再生時間の長さによらず、統一した操作感をユーザに与えることができる。 According to the above-described configurations (1) and (8), a unified operational feeling can be given to the user regardless of the length of the reproduction time of the entire time series data.
構成(2)によれば、ユーザは、操作目的に応じて、時系列データ全体の時間幅の第2時間軸画像と、時系列データ全体の時間幅に依存しない所定の時間幅の第1時間軸画像とを切り替え、再生点の変更先を指定することができる。 According to the configuration (2), the user can select a second time-axis image having a time width of the entire time-series data and a first time having a predetermined time width that does not depend on the time width of the entire time-series data, according to the operation purpose. The axis image can be switched and the playback point change destination can be specified.
構成(3)によれば、ユーザは、現在の再生点を時系列データ全体の再生時間の中で把握しつつも、その再生点の近傍における詳細な再生点の変更先の指定が容易に行える。 According to the configuration (3), the user can easily specify the detailed reproduction point change destination in the vicinity of the reproduction point while grasping the current reproduction point in the reproduction time of the entire time-series data. .
構成(4)によれば、一時停止という、ユーザが動画を詳しく調べたいとの意図を持つ想定される指示を出した場合に、その一時停止した点の近傍の第1時間軸画像を表示し、再生点の変更先の指定を受けることができる。 According to the configuration (4), when the user gives an assumed instruction that the user intends to examine the moving image in detail, the first time axis image in the vicinity of the paused point is displayed. , It is possible to receive designation of the change point of the playback point.
構成(5)によれば、第1時間軸画像上で現在の再生点から具体的な時間だけ異なる点に再生点を移動させる際の操作が容易になる。 According to the configuration (5), the operation for moving the playback point to a point that differs from the current playback point by a specific time on the first time-axis image is facilitated.
構成(6)によれば、ユーザが変更を想定している時間幅に応じた時間幅を持つ第1時間軸画像を提供することができる。 According to the configuration (6), it is possible to provide the first time-axis image having a time width corresponding to the time width assumed by the user to be changed.
構成(7)によれば、ユーザは、第1時間軸上で代表シーンの簡略化画像を参考にしながら、再生点の変更先を決めることができる。 According to the configuration (7), the user can determine the change destination of the reproduction point while referring to the simplified image of the representative scene on the first time axis.
以下、図面を参照して本技術の実施形態を説明する。図面において、互いに同一又は類似の要素には、同一の符号を付し、重複する説明は省略する。 Hereinafter, embodiments of the present technology will be described with reference to the drawings. In the drawings, the same or similar elements are denoted by the same reference numerals, and redundant description is omitted.
まず、図1を参照して、実施形態の動画再生制御装置の構成を説明する。この動画再生制御装置は、典型的には、以下に示す各部の機能を表した動画再生用のプログラムを汎用コンピュータに実行させることにより実現することができる。 First, with reference to FIG. 1, the structure of the moving image reproduction control device of the embodiment will be described. This moving image reproduction control device can typically be realized by causing a general-purpose computer to execute a moving image reproduction program that represents the function of each unit described below.
図1に示す動画再生制御装置において、全体制御部10は、映像表示処理部14,時間軸処理部16及び操作部18などの、動画再生制御装置を構成する各部を制御することで、動画再生制御装置全体としての機能を提供する。例えば、全体制御部10は、アイコンやボタンなどのグラフィカル・ユーザ・インタフェース(GUI)を取り扱うことのできるウインドウシステムの機能を用いることで、動画再生プログラムのユーザインタフェース(UI)のための機能を提供する。このようなウインドウシステムの一例としてはMicrosoft(登録商標)社のWindows(登録商標)オペレーティングシステム(OS)がある。全体制御部10は、例えば、動画データの再生指示を受けると、OSが管理する動画データ12を受け取り、これを映像表示処理部14に渡す。 In the moving image reproduction control device shown in FIG. 1, the
映像表示処理部14は、動画データを再生し、表示するための処理を行う。例えば映像表示処理部14は、再生した動画像を動画再生プログラムのUI画面の映像表示領域(例えばウインドウ)に表示する。 The video
時間軸処理部16は、動画再生のUIの1つである時間軸の表示と、その時間軸に対するユーザの操作の受付のための処理を行う。このような処理は、例えばウインドウシステムのGUI機能を用いることで実現できる。 The time
時間軸処理部16は、全体時間軸処理部16aと近傍時間軸処理部16bと時間軸表示制御部16cとを含む。 The time
全体時間軸処理部16aは、再生対象として指定された動画像データ全体の再生時間を、例えば所定の長さ、又は、動画再生プログラムのUI画面の寸法(例えば幅又は高さ)に応じた長さで示した時間軸(「全体時間軸」と呼ぶ)の表示のための処理を行う。時間軸には、再生時間を示す目盛りがあってもよいし、なくてもよい。また、時間軸上には、現在の再生点を示すマークが表示される。このマークは、例えばウインドウ表示におけるスライダ等のGUI部品として実現することができる。スライダ等のGUI部品は、再生の進行と共に時間軸上を移動する。また、全体時間軸において、再生済みの部分を未再生の部分とは異なる表示形態(例えば異なる色)で塗り分けして表示することで、現在の再生点を示してもよい。この場合、再生済み部分と未再生部分との表示の境界が、再生点を示すマークとして捉えられる。このような表示では、再生の進行にともなって、再生済み部分が延びていく。また、再生点を示すGUI部品と時間軸の塗り分けとを併用してもよい。 The entire time
また、全体時間軸処理部16aは、全体時間軸に対するユーザの操作を受け付け、その操作を全体制御部10に伝える機能を備えるGUIである。そのような操作には、例えば全体時間軸上での再生点の変更指示がある。再生点の変更指示は、例えば、時間軸上で現在の再生点を表示するマークを、マウス、タッチペン、タッチパッド等のポインティングデバイスの操作(例えば、いわゆるドラッグ・アンド・ドロップ操作)により選択して移動させることで、行うことができる。また、全体時間軸上で、再生点の変更先(移動先)を指定する操作により、その変更先に再生点を移動させるようにしてもよい。全体時間軸処理部16aから再生点の変更先の指示を受けた場合、それを全体制御部10に伝え、全体制御部10は、その指示に応じて、再生点をその変更先へと移動するように映像表示処理部14に指示する。 The overall time
このような全体時間軸処理部16aの時間軸表示及びその時間軸に対する操作(例えば再生点の変更操作)の受付のための機能としては、例えばWindows(登録商標) Media(登録商標) playerなど、既存の再生ソフトウエアと同様のものを用いてもよい。 As a function for receiving the time axis display of the entire time
近傍時間軸処理部16bは、現在の再生点の近傍の時間軸(「近傍時間軸」と呼ぶ)を表示するための処理を行うGUIである。近傍時間軸は、全体時間軸より拡大された時間軸であり、同じ長さの時間が全体時間軸よりも大きい幅で表示される。近傍時間軸の表す時間幅は固定であり、動画データ全体の再生時間には依存しない。例えば、現在の再生点の前後10秒(合計20秒)などといった所定の時間幅の時間軸を近傍時間軸として表すなどである。近傍時間軸の表す時間幅は、現在の再生点の前後で対称である必要はなく、例えば前20秒、後ろ10秒などといった具合に非対称であってもよい。また、近傍時間軸の示す時間幅は、想定するニーズによっても変わるが、例えば数秒から数分程度である。 The near time
なお、時間幅の異なる近傍時間軸を複数用意し、例えばユーザの選択に応じてそのいずれかを表示するように制御するようにしてもよい。この場合も、全体時間軸が表す時間幅は、動画データの長さによって変わるのに対し、近傍時間軸が表す時間幅は、動画データの長さには依存させない。 It should be noted that a plurality of adjacent time axes having different time widths may be prepared, and for example, one of them may be controlled to be displayed according to the user's selection. Also in this case, the time width represented by the entire time axis varies depending on the length of the moving image data, whereas the time width represented by the neighboring time axis does not depend on the length of the moving image data.
近傍時間軸上には、その基準として現在の再生点を示すマークを表示してもよい。画面表示上での近傍時間軸の時間進行方向についての表示幅は、固定的(例えば一定のピクセル数)であってもよいし、動画再生プログラムのUI画面のサイズに対して一定の割合であってもよい。 On the neighborhood time axis, a mark indicating the current playback point may be displayed as the reference. The display width of the time axis in the vicinity time axis on the screen display may be fixed (for example, a fixed number of pixels), or may be a fixed ratio with respect to the UI screen size of the video playback program. May be.
また、例えば現在の再生点の前後10秒、前後20秒、前10秒後5秒といった具合に、現在の再生点前後での時間幅が異なる複数種類の近傍時間軸を用意し、これらを例えばユーザの指示に従って切り替えて用いるようにしてもよい。この場合、それら異なる時間幅の近傍時間軸は、画面表示上で同じ幅で表示してもよいし、時間幅に比例した幅で表示してもよい。 In addition, for example, 10 seconds before and after the current playback point, 20 seconds before and after the previous playback point, 5 seconds after the previous playback point, and so on, a plurality of types of neighboring time axes having different time widths before and after the current playback point are prepared. You may make it switch and use according to a user's instruction | indication. In this case, the adjacent time axes of these different time widths may be displayed with the same width on the screen display, or may be displayed with a width proportional to the time width.
また、近傍時間軸には、時間の目盛りが設けられてもよい。時間の目盛りには、現在の再生点を時刻0とし、その前をマイナスの時刻、後ろをプラスの時刻として示す相対的な時刻表示を用いることができる。また、動画データ全体の開始点を0として、その再生点までの経過時間を目盛りに示す、絶対的な時刻表示を用いてもよい。 A time scale may be provided on the neighborhood time axis. For the time scale, a relative time display can be used in which the current reproduction point is
また近傍時間軸処理部16bは、画面に表示した近傍時間軸に対するユーザの操作を受け付け、その操作を全体制御部10に伝える機能を備える。近傍時間軸表示に対する操作としては、近傍時間軸上での再生点の変更先の指示がある。この再生点の変更は、全体時間軸処理部16aの場合と同様、例えば、近傍時間軸上で現在の再生点を表示するマークをポインティングデバイスの操作により移動させたり、近傍時間軸上で、再生点の変更先(移動先)をポインティングデバイスで指定したりすることにより、指示することができる。近傍時間軸処理部16bは、近傍時間軸上で指示された再生点の変更先を全体制御部10へ伝え、全体制御部10は再生点をその変更先に移動してそこから再生を行うよう映像表示処理部14に指示する。この指示に応じ、映像表示処理部14は、変更先から再生を行う。 The near time
時間軸表示制御部16cは、全体時間軸と近傍時間軸の表示を制御する。例えば、時間軸表示制御部16cは、動画再生プログラムのUI画面上に割り付けられた時間軸表示領域に、全体時間軸と近傍時間軸を排他的に表示するよう制御する。どちらを表示するかは、例えばユーザに指示に応じて切り換える。また、時間軸表示制御部16cは、全体時間軸上に近傍時間軸を重ねて表示するよう制御してもよい。この場合、近傍時間軸を全体時間軸上に表示するかを、ユーザの指示に応じて切り換えてもよい。また、全体時間軸と近傍時間軸とを別々に、例えば隣合わせに並べて、表示するよう制御してもよい。 The time axis
操作部18は、動画再生制御装置(又は動画再生プログラム)における全体時間軸及び近傍時間軸以外のUIを総称したものである。そのような操作部18には、例えば、再生、停止、一時停止(ポーズ)、早送り、巻き戻しなどといった動画再生における各操作を指示するためのGUIボタンが含まれる。動画データに対して1以上の代表シーンが設定されている場合には、次の代表シーンに進むことを指示するボタンや、1つ前の代表シーンに戻ることを指示するボタンが、操作部18の1つとして設けられていてもよい。また、全体時間軸と近傍時間軸のいずれを表示するのかを指示するためのGUI(例えばボタン)が設けられていてもよい。また、ユーザの指示に応じて全体時間軸上に近傍時間軸を重ねて表示するか否かを切り換える場合には、近傍時間軸を表示するか否かを指示するためのGUIが設けられていてもよい。このような操作部18を用いて行われたユーザの操作は全体制御部10を介して映像表示処理部14や時間軸処理部16に伝えられ、映像表示処理部14や時間軸処理部16はその操作に応じた処理を行う。 The
図2に、実施形態の動画再生プログラムのUI画面の一例を示す。この例では、UI画面100には、動画表示領域110と、時間軸表示領域120とが含まれる。動画表示領域110は、映像表示処理部14が再生した動画を表示する領域である。時間軸表示領域120は、時間軸処理部16が生成した時間軸を表示する領域である。 FIG. 2 shows an example of a UI screen of the moving image reproduction program of the embodiment. In this example, the
また、UI画面100には、再生している動画データの全体の時間と、動画データの最初を時刻0とした時の現在の再生点の絶対時刻を示す時刻表示112が示される。図示例では「(再生点の絶対時刻)/(全体の時間)」という形式で表示されているが、これに限定されるものではない。また、時刻や時間は、時分秒の単位で表示されているが、これも一例に過ぎない。 In addition, the
また、図2の例は時間軸表示領域120に全体時間軸と近傍時間軸とを排他的に切換表示する方式の例である。図2の例では全体時間軸122が表示されている。全体時間軸122上には、現在の再生点を示すスライダ124が表示され、このスライダ124が再生の進行に応じて、例えば図中で左から右へと移動していく。スライダ124は、ポインティングデバイスの操作により選択し、移動させることができる。この操作が全体制御部10を介して映像表示制御部14に伝わり、これに応じて動画の再生点が変更される。 The example of FIG. 2 is an example of a method for exclusively switching and displaying the entire time axis and the neighboring time axis in the time
また、UI画面100には、操作部18に含まれる各種のGUIボタン132〜144が表示される。例えば、再生ボタン132は、動画の再生開始を指示するためのボタンであり、一時停止(ポーズ)ボタン134は、動画再生の一時停止を指示するためのボタンである。一時停止ボタン134がポインティングデバイスの操作により押下されると、動画表示が一時的に停止され、その後再度一時停止ボタン134が押下されるか、再生ボタン132が押下されると、その一時停止点から動画再生が再開される。なお、この明細書中では、理解の便宜のため、GUIに対する操作を、「ボタンを押す」などと現実世界の動作のメタファで表現するが、当然ながらこのような操作は、電子的にはポインティングデバイスで指し示されたGUI部品と、ポインティングデバイスに対する実際の操作内容(機械的ボタンのクリックやダブルクリック、長押しなど)との組合せに応じて規定される処理を実行する操作を意味する。また、停止ボタン136は、動画再生の停止を指示するためのボタンである。この「停止」の場合は、前述の一時停止とは異なり、停止点の情報は保持されない。また、早送りボタン138は、動画の早送り再生を指示するためのボタンである。「全体」ボタン142は、時間軸表示領域120に全体時間軸を表示することを指示するためのボタンであり、「近傍」ボタン144は領域120に近傍時間軸を表示することを指示するためのボタンである。 In addition,
UI画面100に図示されるGUI部品は、例示したものに限定されるものではなく、他のもの(例えば巻き戻しボタンなど)が表示されてもよい。また、例示したGUI部品のうちの一部のみが表示されてもよい。また、各GUI部品のメタファの態様は、図示例に限らない。例えば、図示例では、全体ボタン142と近傍ボタン144の2つのボタンを設けたが、この代わりに、全体時間軸と近傍時間軸とを切り換える切換ボタンを1つだけ設けてもよい。またこのような切換の指示のためのGUIは、ボタンに限らず、ジョグダイヤルなどの他のメタファで表現してもよい。 The GUI parts illustrated on the
次に、時間軸表示領域120に表示される近傍時間軸表示150の例を、図3を参照して説明する。この近傍時間軸表示150は、例えば近傍ボタン144が押下されると、時間軸表示領域120に表示される。図示例の近傍時間軸表示150には、現在の再生点を中心として前後10秒の時間幅の近傍時間軸152が表示されている。また近傍時間軸152上には、現在の再生点(図示例では、動画の最初から14分50秒の点)を示すマーク154が表示される。また、近傍時間軸152には、単位時間(例えば1秒)ごとに目盛りが表示される。また、図示例では、例えば現在の再生点及び近傍時間軸の両端の点を示す位置に、それら各点の動画データの最初からの絶対時刻が表示されている。なお、この代わりに、現在の再生点に対して所定時間(例えば10秒)ごとに異なる点など、近傍時間軸における代表的な点の絶対時刻を表示するようにしてもよい。また、絶対時刻の代わりに、現在の再生点を時刻0とする相対時刻の値を表示してもよい。 Next, an example of the near
近傍時間軸152の画像表示上での長さは、UI画面100の横幅に応じた長さとしてもよいし(この場合、目盛りが示す単位時間分の表示上の長さは、UI画面100の横幅に応じて変わる)、その横幅によらず一定としてもよい。 The length on the image display of the
図示例の近傍時間軸表示150では、現在の再生点を示すマーク154が近傍時間軸152の中央に位置する。再生の進行するにつれて現在の再生点の時刻が進むと、これに応じて近傍時間軸152の示す時間幅の始点と終点の時刻も進む。 In the near
また図3の例では、近傍時間軸152が示す時間幅(スケール)を切り換えるためのボタン158a、158b、158cが示される。例えばボタン158aが押下された場合、近傍時間軸処理部16bは、現在の再生点の前後5秒の時間幅を示す近傍時間軸152の画像を生成し、時間軸表示領域120に表示する。同様に、ボタン158bが押下された場合は現在の再生点の前後10秒の時間幅が、ボタン158cが押下された場合は現在の再生点の前後30秒の時間幅の近傍時間軸152が、それぞれ時間軸表示領域120に表示される。近傍時間軸152の長さは、近傍時間軸152が示す時間幅の長さが変わっても変えないようにしてもよい。 In the example of FIG. 3,
なお、近傍時間軸152の時間幅の選択肢は、例示した前後5秒、前後10秒、前後30秒に限らない。また、近傍時間軸152は、例示したように現在の再生点に対して前後に対象である必要はなく、非対称であってもかまわない。 Note that the choice of the time width of the
また図3の例では、近傍時間軸152の時間幅の選択肢をボタン158a〜158cで示したが、この代わりに選択肢をいわゆるプルダウンメニューなどのようなリストの形でユーザに提示して、選択を求めてもよい。また、ボタンの代わりに、各目盛りに示した選択肢をレバーやダイヤル、スライダ等のようなメタファで選択するGUIを提供し、これをポインティングデバイスその他の入力機器からの操作でユーザが選択するようにしてもよい。 In the example of FIG. 3, the time width options of the
また、時間軸切換のためのGUI部品(例えば全体ボタン142、近傍ボタン144)を明示的に表示する代わりに、通常は時間軸表示領域120に全体時間軸122を表示し、ポインティングデバイスの指し示すカーソルの位置が時間軸表示領域120内(或いは全体時間軸122上)に入った時に、近傍時間軸表示150(後述)へと切り換えてもよい。この場合、カーソル位置が時間軸表示領域120(又は近傍時間軸152)から外れた時に、全体時間軸122の表示に切り替え、再生点をその全体時間軸122上に表示するようにしてもよい。 Further, instead of explicitly displaying the GUI parts for switching the time axis (for example, the
また、通常は時間軸表示領域120に全体時間軸122を表示し、一時停止ボタン134が押下された場合に、現在の再生点近傍での詳細な調査をユーザが意図している可能性が高いとの想定の下で、時間軸表示領域120内の表示を近傍時間軸表示150へと切り換えてもよい。この場合、近傍時間軸152上で再生点の変更先の指示や、再生ボタン132の押下による再生再開の指示、停止ボタン136の押下による再生停止の指示など、一時停止状態から外れる旨の指示が入力されると、近傍時間軸表示150から全体時間軸122の表示へと切り換えるようにしてもよい。以上、一時停止ボタン134押下の場合を説明したが、早送りボタン138や、巻き戻しボタンなどが押下された場合にも、同様に近傍時間軸表示150に切り換えるようにしてもよい。 Further, when the
次に、図4を参照して、時間軸表示領域120の別の表示方式について説明する。図4に例示する時間軸表示領域120では、全体時間軸122の上に、近傍時間軸表示160を重畳して表示する。ここで、全体時間軸122と近傍時間軸表示160とは、近傍時間軸表示160における現在の再生点のマーク164が、全体時間軸122の現在の再生点のスライダ124と同一時刻の位置に来るように位置合わせされる。近傍時間軸表示160上の近傍時間軸162は、現在の再生点のマーク164を基準とする固定幅(図示例では、現在点の前後10秒(合計20秒))である。したがって、動画データの再生に伴って現在の再生点のマーク164が移動するに連れて、近傍時間軸表示160全体が全体時間軸122上を移動する。 Next, another display method of the time
近傍時間軸表示160を全体時間軸122上に表示するか否かの切換は、上述した全体時間軸表示と近傍時間軸表示とを全体として切り換える例の処理と同様でよい。すなわち、例えば近傍時間軸表示160が行われていない状態での近傍ボタン144の押下や一時停止ボタン134の押下など、近傍時間軸表示の契機となる所定の操作をユーザが行うと、近傍時間軸表示160を全体時間軸122に重畳して表示すればよい。また、逆に、上述の例における近傍時間軸表示から全体時間軸表示に切り換える操作(例えば近傍時間軸表示160が行われている状態での全体ボタン142の押下や再生ボタン132等の押下など)と同様の操作が行われた場合に、図4の例では近傍時間軸表示160を取りやめ、全体時間軸122上での現在の再生点の表示(例えば図2のスライダ124)を行う。 The switching whether or not to display the near
以上のような近傍時間軸表示160の表示・非表示は、時間軸表示制御部16cが、ユーザからの操作に応じて切り換える。 The display / non-display of the near
ユーザが、近傍時間軸162上でマーク164を変更先に移動させたり、近傍時間軸162上で再生点の変更先を指し示したりした場合は、近傍時間軸162のスケールでその変更先が示す時刻に再生点が変更される。また、近傍時間軸表示160に隠されずに見えている全体時間軸122上のある点をユーザが再生点の変更先として指し示した場合に、全体時間軸122のスケールでその変更先が示す点に再生点を変更するようにしてもよい。この場合、全体時間軸122のうち、近傍時間軸表示160に隠されている部分に、再生点を移動させることはできないが、そのような必要性が出てきた場合は、近傍時間表示160を非表示にすればよい。 When the user moves the
なお、時間軸表示領域120の表示形態のデフォルト(ユーザから明示的な指定がない場合に選択する既定値)は、近傍時間軸表示160を非表示とする形態であってもよいし、近傍時間軸表示160を表示する形態であってもよい。 Note that the default of the display form of the time axis display area 120 (default value selected when there is no explicit designation from the user) may be a form in which the neighborhood
また、図4の例では、近傍時間軸162の時刻表示を、現在の再生点を時刻0とする相対時刻で表示したが、この代わりに、動画データの開始を時刻0とする絶対時刻で表示してもよい。 In the example of FIG. 4, the time display on the
次に、動画再生制御装置の更に別のUI表示の例について、図5〜図7を参照して説明する。この例では、動画データにおける各代表シーンのサムネイル画像(縮小又は簡略化した画像)を用意しておく。そして、時間軸表示上でユーザがポインティングデバイス等の操作で指し示した点に最も近い代表シーンのサムネイル画像をUI画面上に設けた所定の表示領域に表示することで、ユーザが再生点の変更先を指定する操作を支援する。ある点を「指し示す」操作は、ある点を「再生点の変更先として確定する」操作と区別できる操作であればよい。例えば、マウス操作やタッチパッドに対するタップ(軽くたたく)操作などで単にカーソル174をある位置に位置させる操作を「指し示す」操作とし、「指し示した」位置に対しマウスのクリックやタッチパッドに対する長押しなどのより強調的な操作を行った場合に、その操作を「変更先の確定」操作としてもよい。変更先の確定操作が行われると、その操作で変更先に指定された点から動画再生が行われる。 Next, still another UI display example of the moving image reproduction control apparatus will be described with reference to FIGS. In this example, thumbnail images (reduced or simplified images) of each representative scene in the moving image data are prepared. Then, the thumbnail image of the representative scene that is closest to the point pointed by the user with the pointing device or the like on the time axis display is displayed in a predetermined display area provided on the UI screen, so that the user can change the playback point. Support the operation to specify. The operation of “pointing” a certain point may be an operation that can be distinguished from the operation of “fixing a certain point as a reproduction point change destination”. For example, an operation of simply pointing the
代表シーンは、例えば動画を解析してシーン変化を検出する既存技術等を用いて、予め求めることができる。なお、代表シーンは、ここに例示した既存技術に限らず、どのような方法で求めてもよい。 The representative scene can be obtained in advance using, for example, an existing technique that detects a scene change by analyzing a moving image. The representative scene is not limited to the existing technology exemplified here, and may be obtained by any method.
図5は、代表シーンを管理する管理テーブルの一例を示している。この例に示すように、管理テーブルには、動画データ中の代表シーン毎に、動画データの所定の点(例えば開始点)を時刻0としたときのその代表シーンの絶対時刻と、その代表シーンのサムネイル画像のデータ(又はそのデータを取り出すために必要なアドレス等のアクセス情報)とが互いに対応づけて登録される。 FIG. 5 shows an example of a management table for managing representative scenes. As shown in this example, in the management table, for each representative scene in the video data, the absolute time of the representative scene when a predetermined point (for example, the start point) of the video data is set to
サムネイル画像を表示する表示領域170は、図6又は図7に例示するように、例えば時間軸表示領域120の隣に設ければよい。図6に示す全体時間軸122の表示でも、図7に示す近傍時間軸表示150でも、各々の時間軸122又は152上で、各代表シーンの時刻に対応する位置に代表シーンマーク172を表示してもよい。近傍時間軸152の方が、全体時間軸122よりもスケールが拡大されているので、近傍時間軸表示152上での代表シーンマーク172の間隔は、全体時間軸122における同じ代表シーンマークの間隔よりも広くなる。ユーザが、ポインティングデバイス等によりカーソル174を操作して時間軸表示領域120内に位置させると、例えば全体時間軸処理部16a又は近傍時間軸処理部16bが時間軸表示領域120内に表示された全体時間軸122又は近傍時間軸152においてそのカーソル174の位置が示す時刻を求め、時間軸処理部16が、その時刻に最も近い時刻の代表シーンのサムネイル画像を、管理テーブルを参照して取得し、表示領域170に表示する。このとき、表示した代表シーンに対応する代表シーンマーク172aを、それ以外の代表シーンマーク172とは異なる表示形態で表示し、目立たせてもよい。 The
なお、表示領域170に表示するサムネイル画像は、静止画であってもよいし、代表シーン近傍の時間帯の動画であってもよい。 Note that the thumbnail image displayed in the
以上では、全体時間軸122の表示がある場合を例に取ったが、この代わりに、近傍時間軸表示150を非表示とする状態で全体時間軸122を表示せず、ユーザから近傍時間軸表示150の表示に関連づけられた指示(例えば近傍ボタン144の押下、一時停止状態への移行操作)があった場合に近傍時間軸表示150を表示するように制御してもよい。この場合、近傍時間軸表示150を表示した状態で、近傍時間軸表示150の非表示に関連づけられた指示(例えば「非表示」指示のボタンの押下、一時停止状態の解除操作)
があった場合は、近傍時間軸表示150を非表示とすればよい。In the above, the case where the
If there is, the neighborhood
以上に説明した動画再生制御装置は、例えば、汎用のコンピュータにて上述の各部の機能又は処理内容を記述したプログラムを実行することにより実現される。コンピュータは、例えば、ハードウエアとして、図8に示すように、CPU(中央演算装置)20、メモリ(一次記憶)22、各種I/O(入出力)インタフェース24等がバス26を介して接続された回路構成を有する。また、そのバス26に対し、例えばI/Oインタフェース24経由で、ハードディスクドライブ28やCDやDVD、フラッシュメモリなどの各種規格の可搬型の不揮発性記録媒体を読み取るためのディスクドライブ30が接続される。このようなドライブ28又は30は、メモリに対する外部記憶装置として機能する。実施形態の処理内容が記述されたプログラムがCDやDVD等の記録媒体を経由して、又はネットワーク経由で、ハードディスクドライブ28等の固定記憶装置に保存され、コンピュータにインストールされる。固定記憶装置に記憶されたプログラムがメモリに読み出されCPUにより実行されることにより、実施形態の処理が実現される。 The moving image reproduction control apparatus described above is realized by, for example, executing a program describing functions or processing contents of the above-described units on a general-purpose computer. As shown in FIG. 8, for example, the computer includes a CPU (central processing unit) 20, a memory (primary storage) 22, various I / O (input / output) interfaces 24, and the like connected via a
以上では動画再生制御装置を例にとって説明したが、以上に説明した近傍時間軸表示のUIは、動画データに限らず、音声付き動画データや音声データなど、時系列的に変化する時系列データ一般の再生出力の制御に適用可能である。 In the above description, the video playback control apparatus has been described as an example. However, the UI of the near time axis display described above is not limited to video data, and time-series data that changes in time series such as video data with audio and audio data in general. It can be applied to the reproduction output control.
10 全体制御部、12 動画データ、14 映像表示処理部、16 時間軸処理部、16a 全体時間軸処理部、16b 近傍時間軸処理部、16c 時間軸表示制御部、18 操作部。 10 overall control unit, 12 moving image data, 14 video display processing unit, 16 time axis processing unit, 16a overall time axis processing unit, 16b neighboring time axis processing unit, 16c time axis display control unit, 18 operation unit.
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006208066AJP2008033743A (en) | 2006-07-31 | 2006-07-31 | Program and device for reproduction control of time-series data |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006208066AJP2008033743A (en) | 2006-07-31 | 2006-07-31 | Program and device for reproduction control of time-series data |
| Publication Number | Publication Date |
|---|---|
| JP2008033743Atrue JP2008033743A (en) | 2008-02-14 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006208066APendingJP2008033743A (en) | 2006-07-31 | 2006-07-31 | Program and device for reproduction control of time-series data |
| Country | Link |
|---|---|
| JP (1) | JP2008033743A (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011182118A (en)* | 2010-02-26 | 2011-09-15 | Canon Inc | Display controlling apparatus and control method for the same |
| JP2012044474A (en)* | 2010-08-19 | 2012-03-01 | Nec Personal Computers Ltd | Information processing device, information processing method and program |
| JP2012060223A (en)* | 2010-09-06 | 2012-03-22 | Hitachi Kokusai Electric Inc | Control terminal |
| JP2012175281A (en)* | 2011-02-18 | 2012-09-10 | Sharp Corp | Video recording apparatus and television receiver |
| JP2013171373A (en)* | 2012-02-20 | 2013-09-02 | Sony Corp | Information processor, system and information processing method |
| JP2014085705A (en)* | 2012-10-19 | 2014-05-12 | Ntt Communications Corp | Dialog control device, dialog control method, and dialog control program |
| JP2015038790A (en)* | 2011-06-30 | 2015-02-26 | 株式会社東芝 | Information processing apparatus and operation position control method |
| JP2015216647A (en)* | 2015-06-16 | 2015-12-03 | キヤノン株式会社 | Display control device and control method of display control device |
| CN105376511A (en)* | 2014-08-07 | 2016-03-02 | 株式会社理光 | Image processing device, image processing system, and image processing method |
| WO2017026862A1 (en)* | 2015-08-13 | 2017-02-16 | 주식회사 뷰웍스 | Graphical user interface providing method for time-series image analysis |
| US10152215B2 (en) | 2013-12-27 | 2018-12-11 | Rakuten, Inc. | Setting adjustment range of graphical user interface |
| CN114915850A (en)* | 2022-04-22 | 2022-08-16 | 网易(杭州)网络有限公司 | Video playing control method and device, electronic equipment and storage medium |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011182118A (en)* | 2010-02-26 | 2011-09-15 | Canon Inc | Display controlling apparatus and control method for the same |
| JP2012044474A (en)* | 2010-08-19 | 2012-03-01 | Nec Personal Computers Ltd | Information processing device, information processing method and program |
| JP2012060223A (en)* | 2010-09-06 | 2012-03-22 | Hitachi Kokusai Electric Inc | Control terminal |
| JP2012175281A (en)* | 2011-02-18 | 2012-09-10 | Sharp Corp | Video recording apparatus and television receiver |
| JP2015038790A (en)* | 2011-06-30 | 2015-02-26 | 株式会社東芝 | Information processing apparatus and operation position control method |
| JP2013171373A (en)* | 2012-02-20 | 2013-09-02 | Sony Corp | Information processor, system and information processing method |
| JP2014085705A (en)* | 2012-10-19 | 2014-05-12 | Ntt Communications Corp | Dialog control device, dialog control method, and dialog control program |
| US10152215B2 (en) | 2013-12-27 | 2018-12-11 | Rakuten, Inc. | Setting adjustment range of graphical user interface |
| CN105376511A (en)* | 2014-08-07 | 2016-03-02 | 株式会社理光 | Image processing device, image processing system, and image processing method |
| JP2016039496A (en)* | 2014-08-07 | 2016-03-22 | 株式会社リコー | Image processing apparatus, image processing system, image processing method and program |
| JP2015216647A (en)* | 2015-06-16 | 2015-12-03 | キヤノン株式会社 | Display control device and control method of display control device |
| WO2017026862A1 (en)* | 2015-08-13 | 2017-02-16 | 주식회사 뷰웍스 | Graphical user interface providing method for time-series image analysis |
| KR101737632B1 (en)* | 2015-08-13 | 2017-05-19 | 주식회사 뷰웍스 | Method of providing graphic user interface for time-series image analysis |
| CN114915850A (en)* | 2022-04-22 | 2022-08-16 | 网易(杭州)网络有限公司 | Video playing control method and device, electronic equipment and storage medium |
| CN114915850B (en)* | 2022-04-22 | 2023-09-12 | 网易(杭州)网络有限公司 | Video playing control method and device, electronic equipment and storage medium |
| Publication | Publication Date | Title |
|---|---|---|
| JP2008033743A (en) | Program and device for reproduction control of time-series data | |
| US11334217B2 (en) | Method for providing graphical user interface (GUI), and multimedia apparatus applying the same | |
| JP4385974B2 (en) | Image display method, image processing apparatus, program, and recording medium | |
| JP5361908B2 (en) | Editing apparatus and editing method | |
| US10462355B2 (en) | Image processing apparatus to generate combined images | |
| JP2009230468A (en) | Reproduction device, method of controlling reproduction device and control program | |
| JPH09297750A (en) | Source file editing device | |
| US8750685B2 (en) | Image processing apparatus | |
| JP2012138076A (en) | User interface for exploring media content | |
| US20090222764A1 (en) | Information processing device, information display method, and computer program | |
| JP2013012036A (en) | Image reproduction control device, image reproduction control method and image reproduction control program | |
| JP4595807B2 (en) | Imaging device | |
| JP6287320B2 (en) | Image processing apparatus and image processing program | |
| JP2017016275A (en) | Control method | |
| JP2018085150A (en) | Electronic equipment and programs | |
| JP2000066794A (en) | Information processing device, electronic album device, menu display method, information processing method, and storage medium | |
| JP2005210252A (en) | Time change method for scene reference in video, scene reference time change device in video, scene reference time change program in video, and computer-readable recording medium recording the program | |
| JP2009205508A (en) | Image display, method for controlling the same, and program |