JP2011040924A - Content converter, method and program - Google Patents
Content converter, method and programDownload PDFInfo
- Publication number
- JP2011040924A JP2011040924AJP2009185527AJP2009185527AJP2011040924AJP 2011040924 AJP2011040924 AJP 2011040924AJP 2009185527 AJP2009185527 AJP 2009185527AJP 2009185527 AJP2009185527 AJP 2009185527AJP 2011040924 AJP2011040924 AJP 2011040924A
- Authority
- JP
- Japan
- Prior art keywords
- conversion
- video
- definition data
- multistage
- content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Translated fromJapaneseDescription
Translated fromJapanese本発明は、映像コンテンツを変換するコンテンツ変換装置、方法およびプログラムに関するものである。 The present invention relates to a content conversion apparatus, method, and program for converting video content.
遠隔地間で同期的なコミュニケーションを行うようなビデオ共有面によるビデオコミュニケーションシステムが知られている（非特許文献１，２参照）。非特許文献１，２に開示されたシステムでは、図６のように、ユーザ１００−Ａを含む地点Ａの映像をビデオカメラ１０１−Ａで撮影する。このとき、ディスプレイ１０２−Ａに表示されているユーザ１００−Ｂの姿とディスプレイ１０２−Ａの前に立っているユーザ１００−Ａの姿とが撮影されるが、その撮影映像からディスプレイ１０２−Ａに表示されている表示映像（つまり、ユーザ１００−Ｂの映像）を除去し、表示映像を除去した地点Ａの映像を地点Ｂに送って、地点Ｂのディスプレイ１０２−Ｂに表示させる。同様に、ユーザ１００−Ｂを含む地点Ｂの映像をビデオカメラ１０１−Ｂで撮影し、撮影した映像からディスプレイ１０２−Ｂに表示されている表示映像を除去し、表示映像を除去した地点Ｂの映像を地点Ａに送って、地点Ａのディスプレイ１０２−Ａに表示させる。このときのディスプレイの面をビデオ共有面と呼ぶ。 A video communication system using a video sharing surface that performs synchronous communication between remote locations is known (see Non-Patent Documents 1 and 2). In the systems disclosed in Non-Patent Documents 1 and 2, as shown in FIG. 6, the video of the point A including the user 100-A is taken by the video camera 101-A. At this time, the appearance of the user 100-B displayed on the display 102-A and the appearance of the user 100-A standing in front of the display 102-A are photographed. From the photographed image, the display 102-A is photographed. The display video (that is, the video of the user 100-B) displayed on is removed, the video of the point A from which the display video is removed is sent to the point B, and is displayed on the display 102-B of the point B. Similarly, the video of the point B including the user 100-B is shot by the video camera 101-B, the display video displayed on the display 102-B is removed from the shot video, and the video of the point B where the display video is removed. The video is sent to the point A and displayed on the display 102-A at the point A. The display surface at this time is called a video sharing surface.
非特許文献１，２に開示されたシステムによれば、ビデオ共有面の表面付近では遠隔地間でオブジェクトの位置関係が共有されるため、ポインティングなどの身体的ジェスチャも、同じ地点で対面しているときと同じような感覚で利用することができる。
さらに、非特許文献１，２に開示されたシステムでは、上記のビデオ共有面を複数個横に並べ、複数地点の映像を共有することにより、各地点間で空間的な配置を共有することができる。According to the systems disclosed in Non-Patent Documents 1 and 2, since the positional relationship of objects is shared between remote locations near the surface of the video sharing surface, physical gestures such as pointing also face at the same point. It can be used with the same feeling as when you are.
Furthermore, in the systems disclosed in Non-Patent Documents 1 and 2, a plurality of the above-mentioned video sharing planes are arranged side by side, and images at a plurality of points can be shared to share a spatial arrangement between the points. it can.
非特許文献１，２に開示されたシステムでは、複数地点のユーザ同士が空間を共有するために各地点に等身大のディスプレイを複数個並べる構成となっているため、装置が大きくコストがかかり、個人でこのようなシステムを利用することが難しいという問題点があった。 In the systems disclosed in Non-Patent Documents 1 and 2, it is configured to arrange a plurality of life-size displays at each point in order for users at multiple points to share a space, so the device is greatly costly, There was a problem that it was difficult for individuals to use such a system.
そこで、複数の映像を１画面上の見やすい位置に表示して外部からモニタリングできるようにすれば、個人ユーザが非特許文献１，２に開示されたような規模の大きなシステムの様子を見ることを実現できるが、従来、複数の映像を１つの映像に変換する簡単な技術は提案されていなかった。 Therefore, if a plurality of videos are displayed at easy-to-view positions on one screen so that they can be monitored from the outside, an individual user can see a large-scale system as disclosed in Non-Patent Documents 1 and 2. Although it can be realized, a simple technique for converting a plurality of videos into one video has not been proposed.
本発明は、上記課題を解決するためになされたもので、複数の異なる映像を１つの画面上に配置して表示することを簡単な処理で実現できるコンテンツ変換装置、方法およびプログラムを提供することを目的とする。 The present invention has been made to solve the above-described problems, and provides a content conversion apparatus, method, and program capable of realizing a plurality of different videos arranged and displayed on one screen with a simple process. With the goal.
本発明のコンテンツ変換装置は、映像を表示可能な表示手段と、映像の変換を定義した多段変換定義データを予め記憶する記憶手段と、ユーザが指定した多段変換定義データを前記記憶手段から取得し、取得した多段変換定義データに従って、入力映像を変換した出力映像を前記表示手段に表示させる変換手段とを備え、前記多段変換定義データは、前記入力映像を変換する少なくとも１つの別の多段変換定義データを参照するよう記述され、前記別の多段変換定義データに従って変換される映像を変換前の映像として前記出力映像を得る多段変換の定義がなされていることを特徴とするものである。
また、本発明のコンテンツ変換装置の１構成例において、前記多段変換定義データは、変換前の映像を指定する情報と、この映像内のクリッピングを行う領域を指定する情報とを少なくとも含むことを特徴とするものである。
また、本発明のコンテンツ変換装置の１構成例において、前記多段変換定義データは、さらに、クリッピングした映像の出力先の領域を指定する情報を含むことを特徴とするものである。The content conversion apparatus of the present invention acquires display means capable of displaying video, storage means for preliminarily storing multistage conversion definition data defining video conversion, and multistage conversion definition data designated by a user from the storage means. Conversion means for causing the display means to display an output video obtained by converting the input video according to the acquired multi-stage conversion definition data, wherein the multi-stage conversion definition data includes at least one other multi-stage conversion definition for converting the input video. The multi-stage conversion is defined to obtain the output video by using the video converted according to the different multi-stage conversion definition data as the video before conversion.
In the configuration example of the content conversion apparatus of the present invention, the multistage conversion definition data includes at least information specifying a video before conversion and information specifying a region to be clipped in the video. It is what.
In the configuration example of the content conversion apparatus according to the present invention, the multistage conversion definition data further includes information specifying an output destination area of the clipped video.
また、本発明のコンテンツ変換方法は、映像の変換を予め定義した多段変換定義データを、ユーザの指定に従って記憶手段から取得する取得手順と、前記取得した多段変換定義データに従って、入力映像を変換した出力映像を表示手段に表示させる変換手順とを備え、前記多段変換定義データは、前記入力映像を変換する少なくとも１つの別の多段変換定義データを参照するよう記述され、前記別の多段変換定義データに従って変換される映像を変換前の映像として前記出力映像を得る多段変換の定義がなされていることを特徴とするものである。
また、本発明のコンテンツ変換プログラムは、コンテンツ変換方法の各ステップをコンピュータに実行させることを特徴とするものである。Further, the content conversion method of the present invention converts the input video according to the acquisition procedure for acquiring the multistage conversion definition data in which video conversion is defined in advance from the storage means according to the user's designation, and the acquired multistage conversion definition data. A conversion procedure for displaying output video on a display means, wherein the multi-stage conversion definition data is described to refer to at least one other multi-stage conversion definition data for converting the input video, and the other multi-stage conversion definition data The multistage conversion is defined in which the output video is obtained with the video converted according to the above as the video before conversion.
The content conversion program of the present invention is characterized by causing a computer to execute each step of the content conversion method.
本発明によれば、多段変換定義データは、入力映像を変換する少なくとも１つの別の多段変換定義データを参照するよう記述され、別の多段変換定義データに従って変換される映像を変換前の映像として出力映像を得る多段変換の定義がなされていることにより、複数の異なる映像を１つの画面上に配置して表示することを簡単な処理で実現することができる。本発明では、複雑な配置の映像であっても、簡単な処理で実現することができ、処理能力の低い小型多端末上での変換処理の負担を軽減することができる。また、本発明では、作成済みの別の多段変換定義データを参照して新たな変換を定義することができるので、様々な変換定義を簡単に作成することができる。本発明では、ビデオ共有面によるビデオコミュニケーションシステムの様子を個人ユーザが外部からモニタリングすることを可能にする。また、ビデオコミュニケーションシステムだけでなく、規模の大きなシステムの複数の映像コンテンツを、携帯端末やコンピュータの画面上の視聴しやすい位置に配置するためのコンテンツ変換技術として本発明を利用することも可能である。 According to the present invention, the multistage conversion definition data is described so as to refer to at least one other multistage conversion definition data for converting the input video, and a video converted according to the other multistage conversion definition data is used as a video before conversion. Since the definition of multi-stage conversion for obtaining an output video is made, a plurality of different videos can be arranged and displayed on one screen by a simple process. In the present invention, even a complicatedly arranged video can be realized by simple processing, and the burden of conversion processing on a small multi-terminal having low processing capability can be reduced. Further, in the present invention, a new conversion can be defined with reference to another created multistage conversion definition data, so that various conversion definitions can be easily created. In the present invention, it is possible for an individual user to monitor the state of the video communication system based on the video sharing surface from the outside. In addition, the present invention can be used as a content conversion technique for arranging a plurality of video contents of not only a video communication system but also a large-scale system at a position on a mobile terminal or computer screen that is easy to view. is there.
以下、本発明の実施の形態について図面を参照して説明する。図１は本発明の実施の形態に係るコンテンツ変換装置の構成を示すブロック図である。
コンテンツ変換装置は、表示端末１と、記憶部２と、多段変換モデル演算部３とから構成される。Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a configuration of a content conversion apparatus according to an embodiment of the present invention.
The content conversion apparatus includes a display terminal 1, a storage unit 2, and a multistage conversion
表示端末１は、携帯端末やノートＰＣなどの視聴用の端末であり、表示部（ディスプレイ）１０と、入力部１１と、座標変換部１２とを有する。多段変換モデル演算部３と座標変換部１２とは、変換手段を構成している。
コンテンツ変換装置は、外部から視聴対象のコンテンツを受信する。ここで、非特許文献１，２に開示されたようなシステムで撮影されたリアルタイムの映像を視聴する場合には、各地点のカメラ４で撮影され各地点の映像撮影部５から送り出された映像をネットワーク６を介して受信することになる。また、コンテンツを視聴する他の例としては、予め記憶部２に記憶されているコンテンツを視聴する場合が考えられる。The display terminal 1 is a terminal for viewing such as a portable terminal or a notebook PC, and includes a display unit (display) 10, an
The content conversion apparatus receives content to be viewed from outside. Here, when viewing a real-time video shot by a system as disclosed in Non-Patent Documents 1 and 2, the video shot by the camera 4 at each point and sent from the
以下では、非特許文献１，２に開示されたシステムで撮影された映像をコンテンツとして、表示端末１に表示する場合を例に説明する。つまり、複数地点に配置された各映像撮影部５から受信した映像コンテンツを、表示端末１の画面上の適切な位置に表示することにより、非特許文献１，２に開示されたシステムの全ディスプレイに表示される映像を１つのディスプレイ内で視聴できるようにする。
なお、本実施の形態のコンテンツ変換装置を予め蓄積されたコンテンツの視聴に利用する場合には、以下の説明における映像撮影部５から取得する映像コンテンツを、記憶部２に予め記憶された映像コンテンツに置き換えればよい。Below, the case where the video image | photographed with the system disclosed by the nonpatent literatures 1 and 2 is displayed on the display terminal 1 as a content is demonstrated to an example. That is, by displaying the video content received from each
When the content conversion apparatus according to the present embodiment is used for viewing content stored in advance, the video content acquired from the
記憶部２には、多段変換定義データが予め記憶されている。多段変換定義データは、各々の映像撮影部５から取得した映像コンテンツからどの領域を切り出して、表示端末１の表示部１０によって表示される画面のどの領域に表示するかを定義したデータであり、非終端記号を｛Ｓ，Ｉ，Ｏ｝、終端記号を｛Ｃ，Ｐ，Ｑ｝としたとき、以下の文法で表現される。
Ｓ→（Ｉ，Ｏ，Ｐ，Ｑ），Ｉ→（Ｉ，Ｏ，Ｐ，Ｑ），Ｉ→Ｃ，Ｏ→（Ｉ，Ｏ，Ｐ，Ｑ），Ｏ→ＣThe storage unit 2 stores multi-stage conversion definition data in advance. The multi-stage conversion definition data is data that defines which area is cut out from the video content acquired from each
S → (I, O, P, Q), I → (I, O, P, Q), I → C, O → (I, O, P, Q), O → C
この文法は、変換前の映像コンテンツＩと変換後の映像コンテンツＯは、（Ｉ，Ｏ，Ｐ，Ｑ）の４つ組みで与えられるか、もしくは、映像撮影部５から取得した生の映像コンテンツ（何も変換を行っていない映像コンテンツ）の集合の中の任意の要素Ｃ∈｛ｃ１，ｃ２，・・・，ｃｎ｝で与えることができることを意味する。
Ｐは映像コンテンツ内のクリッピング（切り抜き）を行う領域を指定する点座標の集合であり、Ｑは出力先の領域を指定する点座標の集合である。In this grammar, the pre-conversion video content I and the post-conversion video content O are given in four sets of (I, O, P, Q), or the raw video content acquired from the
P is a set of point coordinates that specify an area to be clipped in the video content, and Q is a set of point coordinates that specify an output destination area.
（Ｉ，Ｏ，Ｐ，Ｑ）は、変換前の映像コンテンツＩから点座標Ｐで指定された領域をクリッピングし、クリッピングした領域を変換後の映像コンテンツＯの点座標Ｑで指定された領域に座標変換して貼り付ける（表示する）ことを意味する。
つまり、上記の文法における規則「Ｉ→（Ｉ，Ｏ，Ｐ，Ｑ）」は、変換前の映像コンテンツＩが他の多段変換定義データによって既に変換された映像コンテンツであることを示し、規則「Ｉ→Ｃ」は、変換前の映像コンテンツＩが映像撮影部５から取得した生の映像コンテンツの集合の中の任意の要素Ｃであることを示している。実際の多段変換定義データでは、「Ｉ→（Ｉ，Ｏ，Ｐ，Ｑ）」と「Ｉ→Ｃ」の両方が併記されることはなく、どちらか一方の規則が記述される。(I, O, P, Q) clips the area specified by the point coordinate P from the video content I before conversion, and the clipped area is changed to the area specified by the point coordinate Q of the video content O after conversion. This means that the coordinates are converted and pasted (displayed).
That is, the rule “I → (I, O, P, Q)” in the above grammar indicates that the video content I before conversion is a video content that has already been converted by other multistage conversion definition data. “I → C” indicates that the video content I before conversion is an arbitrary element C in the set of raw video content acquired from the
同様に、上記の文法における規則「Ｏ→（Ｉ，Ｏ，Ｐ，Ｑ）」は、変換後の映像コンテンツＯが映像コンテンツＩの変換によって生成される映像コンテンツであることを示し、規則「Ｏ→Ｃ」は、変換後の映像コンテンツＯが映像撮影部５から取得した生の映像コンテンツの集合の中の任意の要素Ｃであること、すなわち映像撮影部５から取得した映像コンテンツのままであって画像変換は行われないことを示している。実際の多段変換定義データでは、「Ｏ→（Ｉ，Ｏ，Ｐ，Ｑ）」と「Ｏ→Ｃ」の両方が併記されることはなく、どちらか一方の規則が記述される。 Similarly, the rule “O → (I, O, P, Q)” in the above grammar indicates that the converted video content O is a video content generated by conversion of the video content I, and the rule “O “→ C” indicates that the converted video content O is an arbitrary element C in the set of raw video content acquired from the
なお、変換後の映像コンテンツの点座標Ｑの指定は省略しても良く、その場合は画像変換は行われず、変換前の映像コンテンツＩから点座標Ｐで指定された領域のクリッピングを行い、クリッピングした領域を変換後の映像コンテンツＯのＰと同じ座標の領域に貼り付けることになる。 The designation of the point coordinate Q of the converted video content may be omitted. In this case, the image conversion is not performed, and the region specified by the point coordinate P is clipped from the video content I before the conversion. This area is pasted to the area having the same coordinates as P of the converted video content O.
一回（一段）の変換の場合は、変換前の映像コンテンツは常に映像撮影部５から取得した生の映像コンテンツの集合の中の任意の要素Ｃとなるが、上記の文法では既に変換済みの４つの組み（Ｉ，Ｏ，Ｐ，Ｑ）を変換前の映像コンテンツとして指定する形式となっているため、多段変換と呼ぶ。 In the case of one-time (one-stage) conversion, the video content before conversion is always an arbitrary element C in the set of raw video content acquired from the
点座標ＰとＱは、予め設定される値である。点座標Ｐは３点以上の任意の数の点の座標の集合であり、点座標Ｑは点座標Ｐと同数の点の座標の集合である。例えば、図２に示すように、変換前の映像コンテンツＩの点ｐ１，ｐ２，ｐ３，ｐ４，ｐ５で指定される領域を、変換後の映像コンテンツＯの点ｔｐ１，ｔｐ２，ｔｐ３，ｔｐ４，ｔｐ５で指定される領域に座標変換して表示する場合、点座標Ｐ＝（ｐ１，ｐ２，ｐ３，ｐ４，ｐ５）となり、点座標Ｑ＝（ｔｐ１，ｔｐ２，ｔｐ３，ｔｐ４，ｔｐ５）となる。ここで、（ｐｉ），（ｔｐｉ）は、それぞれ直交座標系における点ｐｉ，ｔｐｉ（ｉ＝１，２，・・・，５）の座標を表すものとする。 The point coordinates P and Q are values set in advance. The point coordinate P is a set of coordinates of an arbitrary number of three or more points, and the point coordinate Q is a set of coordinates of the same number of points as the point coordinates P. For example, as shown in FIG. 2, the area specified by the points p1, p2, p3, p4, and p5 of the video content I before conversion is changed to the points tp1, tp2, tp3, tp4, and tp5 of the video content O after conversion. When the coordinates are converted into the area designated by (3), the point coordinates P = (p1, p2, p3, p4, p5) and the point coordinates Q = (tp1, tp2, tp3, tp4, tp5). Here, (pi) and (tpi) represent the coordinates of points pi and tpi (i = 1, 2,..., 5) in the orthogonal coordinate system, respectively.
また、出力先の領域を指定する点座標Ｑは、隣り合う点の並びを保持していれば、任意の座標に設定することができる。例えば、図２の例では、変換前の映像コンテンツＩの点ｐ１は点ｐ２およびｐ５と隣り合っているので、点ｐ１に対応する変換後の映像コンテンツＯの点ｔｐ１は点ｔｐ２およびｔｐ５と隣り合っている必要があるが、点ｐ１に対する点ｐ２およびｐ５の位置関係と点ｔｐ１に対する点ｔｐ２およびｔｐ５の位置関係は異なっていてもよい。例えば点ｐ１の右隣りに点ｐ２があって左隣りに点ｐ５がある場合に、点ｔｐ１の左隣りに点ｔｐ２があって右隣りに点ｔｐ５があってもよい。 Further, the point coordinate Q that designates the output destination region can be set to an arbitrary coordinate as long as the arrangement of adjacent points is maintained. For example, in the example of FIG. 2, since the point p1 of the video content I before conversion is adjacent to the points p2 and p5, the point tp1 of the converted video content O corresponding to the point p1 is adjacent to the points tp2 and tp5. Although it is necessary to match, the positional relationship between the points p2 and p5 with respect to the point p1 and the positional relationship between the points tp2 and tp5 with respect to the point tp1 may be different. For example, when there is a point p2 on the right side of the point p1 and a point p5 on the left side, the point tp2 may be on the left side of the point tp1 and the point tp5 may be on the right side.
また、点ｐ１とｐ２との距離と点ｔｐ１とｔｐ２との距離が異なっていてもよいし、点ｐ１とｐ５との距離と点ｔｐ１とｔｐ５との距離が異なっていてもよい。
以上のような点座標の任意の設定により、回転や反転、拡大、縮小などの画像変換が可能となる。Further, the distance between the points p1 and p2 and the distance between the points tp1 and tp2 may be different, or the distance between the points p1 and p5 and the distance between the points tp1 and tp5 may be different.
Image conversion such as rotation, inversion, enlargement, and reduction can be performed by arbitrarily setting the point coordinates as described above.
多段変換定義データは、上記の文法に従った多段変換の列を表すＸＭＬ（Extensible Markup Language）などのテキストファイルである。コンテンツ変換装置のユーザは、必要に応じて、パノラマ映像を生成するための多段変換定義データや、鳥瞰図を生成するための多段変換定義データなどを予め作成して、記憶部２に登録しておく。 The multistage conversion definition data is a text file such as XML (Extensible Markup Language) that represents a multistage conversion sequence according to the above grammar. The user of the content conversion apparatus creates in advance multistage conversion definition data for generating a panoramic video, multistage conversion definition data for generating a bird's-eye view, and the like, and registers them in the storage unit 2 as necessary. .
なお、多段変換定義データは、上記の文法の規則「Ｉ→（Ｉ，Ｏ，Ｐ，Ｑ）」から明らかなように、別の多段変換定義データを参照することができる。このような参照は、多段変換定義データのテキストファイルに、別の多段変換定義データを指定する情報（ＩＤやデータ名、テキストファイル名）を記述しておくことにより実現できる。これにより、別の多段変換定義データによって変換された映像コンテンツを変換前の映像コンテンツＩとして新たな変換を行うことができる。例えば入力映像からパノラマ映像を生成するための定義済みの多段変換定義データを参照し、この多段変換定義データによって生成されるパノラマ映像を変換前の映像コンテンツＩとしてさらに座標変換する多段変換定義データを記述すれば、円筒形の表示を行う新しい多段変換定義データを作成することができる。すなわち、新しい表示構成を実現する際に、最初から多段変換定義データを作成するよりも少ないコストで新しい多段変換定義データを作成することができる。 As is clear from the grammar rule “I → (I, O, P, Q)”, the multi-stage conversion definition data can refer to another multi-stage conversion definition data. Such a reference can be realized by describing information (ID, data name, text file name) for specifying another multistage conversion definition data in a text file of the multistage conversion definition data. As a result, the video content converted by the different multistage conversion definition data can be newly converted as the video content I before conversion. For example, with reference to predefined multistage conversion definition data for generating a panoramic video from an input video, multistage conversion definition data for further converting the coordinates of the panoramic video generated by the multistage conversion definition data as video content I before conversion is provided. If it describes, the new multistage conversion definition data which displays a cylindrical form can be created. That is, when realizing a new display configuration, new multistage conversion definition data can be created at a lower cost than creating multistage conversion definition data from the beginning.
次に、以上のような多段変換定義データを使って表示を行うときのコンテンツ変換装置の動作を説明する。図３はコンテンツ変換装置の動作を示すフローチャートである。
コンテンツ変換装置を使って表示をしたいユーザは、表示端末１の入力部１１を操作して、使用したい多段変換定義データを指定する（図３ステップＳ１）。このデータの指定は、各多段変換定義データに予め付与されたＩＤやデータ名を指定することで行ってもよいし、多段変換定義データのテキストファイル名を直接指定することで行ってもよい。また、ユーザが作成した多段変換定義データを入力するようにしてもよい。Next, the operation of the content conversion apparatus when performing display using the above-described multistage conversion definition data will be described. FIG. 3 is a flowchart showing the operation of the content conversion apparatus.
The user who wants to display using the content conversion apparatus operates the
多段変換モデル演算部３は、入力部１１から入力されたＩＤやデータ名、テキストファイル名に対応する多段変換定義データを記憶部２から読み込む（ステップＳ２）。あるいは、多段変換モデル演算部３は、ユーザが作成した多段変換定義データが入力された場合には、この多段変換定義データを入力部１１から受け取る（ステップＳ２）。
多段変換定義データは、上述のように、ある多段変換定義データの出力が別の多段変換定義データの入力になるといったような入れ子構造の定義がされている。The multistage conversion
As described above, the multistage conversion definition data is defined in a nested structure such that the output of one multistage conversion definition data becomes the input of another multistage conversion definition data.
多段変換モデル演算部３は、映像撮影部５が取得した生の映像コンテンツから最終的な変換後の映像コンテンツ（非終端記号Ｏに接続している映像コンテンツ）まで、ステップＳ２で取得した多段変換定義データに記述された変換定義を辿り、必要に応じて変換定義を合成していくことにより、入力映像コンテンツを指定する情報とこの映像コンテンツ内のクリッピングを行う領域を指定する座標とクリッピングした領域の出力先である最終的な変換後の映像コンテンツにおける表示位置の座標とを少なくとも含む変換情報を生成し、この変換情報を表示端末１に送信する（ステップＳ３）。 The multistage conversion
なお、変換情報に入力映像コンテンツを指定する情報が必要な理由は、例えば複数の映像撮影部５が存在する場合に、どの映像撮影部５から送り出された映像コンテンツを使用するかを指定する必要があるからである。この入力映像コンテンツは、多段変換定義データで説明した映像コンテンツＣに相当する。クリッピングを行う領域を指定する座標は、多段変換定義データで説明した点座標Ｐに相当する。表示位置の座標は、多段変換定義データで説明した点座標Ｑに相当する。 The reason why the information specifying the input video content is necessary for the conversion information is that, for example, when there are a plurality of
表示端末１の座標変換部１２は、映像撮影部５から取得した映像コンテンツを、多段変換モデル演算部３から出力された変換情報に基づいて変換し、変換後の映像コンテンツを表示部１０に表示させる（ステップＳ４）。 The coordinate
ここで、本実施の形態による多段変換の例として、円筒状に共有面を配置したビデオコミュニケーションシステムの様子をモニタするための映像をコンテンツ変換装置で生成する場合について説明する。このビデオコミュニケーションシステムは、非特許文献１，２に開示されたものであり、例えば２地点に設置された映像重畳装置をネットワークを介して接続したものである。 Here, as an example of multistage conversion according to the present embodiment, a case will be described in which a video for monitoring the state of a video communication system in which a shared surface is arranged in a cylindrical shape is generated by a content conversion apparatus. This video communication system is disclosed in Non-Patent Documents 1 and 2, for example, in which video superimposing devices installed at two points are connected via a network.
各地点の映像重畳装置は、それぞれカメラ４と、映像撮影部５と、表示部２０とを備えている。図４に示すように、表示部２０は、ユーザの周りを取り囲むように配置された複数台の大型のディスプレイから構成される。表示部２０の各ディスプレイの映像を取得できる位置にそれぞれカメラ４が設置されている。映像撮影部５は、撮影した映像をネットワークを介して他地点に送信する。そして、各地点の映像重畳装置は、ネットワークを介して他地点から取得した映像と自地点のカメラ４で撮影された映像とを合成した合成映像を表示部２０に表示させる。図４に示す映像重畳装置の表示部２０が設置された地点をＢとすると、ＵＢは地点Ｂにいるユーザ、ＶＡは別の地点Ａにいるユーザの映像である。つまり、図４の例では、地点Ｂの映像重畳装置は、地点Ａから送信された映像ＶＡが表示部２０の表示面のある位置に等身大で表示されるように映像を合成して、合成映像を表示部２０に表示させていることになる。 The video superimposing device at each point includes a camera 4, a
本実施の形態では、以上のようなビデオコミュニケーションシステムにおいて地点Ａで撮影された映像と地点Ｂで撮影された映像とを合成して、例えば表示部２０の画面（ビデオ共有面）に表示されている映像を表示端末１の表示部１０に表示させたり、表示部２０と表示部２０に取り囲まれたユーザとをある角度から見たときの映像を表示部１０に表示させたりする。 In the present embodiment, the video shot at the point A and the video shot at the point B in the video communication system as described above are combined and displayed on the screen (video sharing surface) of the
図５（Ａ）〜図５（Ｆ）はコンテンツ変換装置による映像の合成と表示の例を説明するための図である。
まず、コンテンツ変換装置の多段変換モデル演算部３は、多段変換定義データに従って、複数地点の複数のカメラ４で撮影された映像を重ね合わせて、一枚のパノラマ映像に変換するための変換情報をいったん生成する。この処理は、例えば地点Ａに設置されたカメラ４によって撮影された図５（Ａ）に示す映像Ａ１，Ａ２，・・・・，Ａ６と、地点Ｂに設置されたカメラ４によって撮影された図５（Ｂ）に示す映像Ｂ１，Ｂ２，・・・・，Ｂ６とから、それぞれ同じ大きさの長方形の領域を切り出して、映像Ａ１とＢ１、映像Ａ２とＢ２、映像Ａ３とＢ３、映像Ａ４とＢ４、映像Ａ５とＢ５、映像Ａ６とＢ６をそれぞれ重ね合わせ、重ね合わせた映像を横に繋げるようにして一枚のパノラマ映像（図５（Ｃ）に変換するための処理である。図５（Ｃ）において、ＶＡは地点Ａにいるユーザの映像、ＶＢは地点Ｂにいるユーザの映像である。FIG. 5A to FIG. 5F are diagrams for explaining examples of video composition and display by the content conversion apparatus.
First, the multi-stage conversion
さらに、多段変換モデル演算部３は、パノラマ映像を生成するための多段変換定義データを参照する別の多段変換定義データに従って、パノラマ映像を図５（Ｄ）〜図５（Ｆ）に示す映像に変換するための変換情報を生成する。
図５（Ｄ）の例は、図５（Ｃ）のパノラマ映像を、円筒状の表示部２０と表示部２０に取り囲まれたユーザとを真上から見たときの映像に変換した例である。上記のとおり、ＶＡは地点Ａにいるユーザの映像であるが、この映像ＶＡが表示される理由は、図４に示したとおり、地点Ｂの表示部２０に映像ＶＡが表示されているからである。こうして、地点Ｂの表示部２０と表示部２０に取り囲まれたユーザとを真上から見た様子を表示端末１の表示部１０上で再現することが可能になる。Furthermore, the multistage conversion
The example of FIG. 5D is an example in which the panoramic image of FIG. 5C is converted into an image when the
図５（Ｅ）の例は、図５（Ｃ）のパノラマ映像を、円筒状の表示部２０と表示部２０に取り囲まれたユーザとを斜め上から見たときの映像に変換した例である。こうして、円筒状の表示部２０を斜め上から見たときの様子を表示端末１の表示部１０上で再現することが可能になる。
図５（Ｆ）の例は、図５（Ｃ）のパノラマ映像を、円筒状の表示部２０内の特定地点にいるユーザから見たときの映像に変換した例である。こうして、表示部２０内にいるユーザから見たときの様子を表示端末１の表示部１０上で再現することが可能になる。The example of FIG. 5E is an example in which the panoramic image of FIG. 5C is converted into an image when the
The example of FIG. 5F is an example in which the panoramic image of FIG. 5C is converted into an image when viewed from a user at a specific point in the
表示端末１の座標変換部１２は、地点Ａ，Ｂの映像撮影部５から取得した映像コンテンツを、多段変換モデル演算部３が生成した変換情報に基づいて変換することにより、図５（Ｄ）〜図５（Ｆ）のような映像を表示部１０に表示させることが可能になる。これにより、コンテンツ変換装置のユーザは、非特許文献１，２に開示されたシステムの様子をモニタリングすることができる。 The coordinate
なお、多段変換モデル演算部３が生成する変換情報は、多段変換定義データと同様に、映像撮影部５から取得した映像を例えばパノラマ映像に変換するための変換情報の出力が別の変換情報の入力になるといったような入れ子構造の定義がされていてもよいし、映像撮影部５から取得した映像を図５（Ｄ）〜図５（Ｆ）の映像に直接変換するような定義がされていてもよい。 Note that the conversion information generated by the multistage conversion
なお、本実施の形態のコンテンツ変換装置は、ＣＰＵ、記憶装置および外部とのインタフェースを備えたコンピュータとこれらのハードウェア資源を制御するプログラムによって実現することができる。このようなコンピュータにおいて、本発明のコンテンツ変換方法を実現させるためのプログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、メモリカードなどの記録媒体に記録された状態で提供され、コンピュータの記憶装置に格納される。ＣＰＵは、記録媒体から読み込んだプログラムを記憶装置に書き込み、プログラムに従って本実施の形態で説明した処理を実行する。 The content conversion apparatus according to the present embodiment can be realized by a computer having a CPU, a storage device, and an external interface, and a program for controlling these hardware resources. In such a computer, the program for realizing the content conversion method of the present invention is provided in a state of being recorded on a recording medium such as a flexible disk, a CD-ROM, a DVD-ROM, a memory card, etc. Stored in The CPU writes the program read from the recording medium into the storage device, and executes the processing described in this embodiment according to the program.
本発明は、映像コンテンツを変換する技術に適用することができる。 The present invention can be applied to a technique for converting video content.
１…表示端末、２…記憶部、３…多段変換モデル演算部、４…カメラ、５…映像撮影部、６…ネットワーク、１０…表示部、１１…入力部、１２…座標変換部。 DESCRIPTION OF SYMBOLS 1 ... Display terminal, 2 ... Memory | storage part, 3 ... Multistage conversion model calculating part, 4 ... Camera, 5 ... Image | video imaging | photography part, 6 ... Network, 10 ... Display part, 11 ... Input part, 12 ... Coordinate conversion part.
Claims (7)
Translated fromJapanese映像の変換を定義した多段変換定義データを予め記憶する記憶手段と、
ユーザが指定した多段変換定義データを前記記憶手段から取得し、取得した多段変換定義データに従って、入力映像を変換した出力映像を前記表示手段に表示させる変換手段とを備え、
前記多段変換定義データは、前記入力映像を変換する少なくとも１つの別の多段変換定義データを参照するよう記述され、前記別の多段変換定義データに従って変換される映像を変換前の映像として前記出力映像を得る多段変換の定義がなされていることを特徴とするコンテンツ変換装置。Display means capable of displaying video;
Storage means for preliminarily storing multistage conversion definition data defining video conversion;
Conversion means for acquiring multi-stage conversion definition data designated by the user from the storage means, and causing the display means to display an output video obtained by converting an input video according to the acquired multi-stage conversion definition data;
The multistage conversion definition data is described so as to refer to at least one other multistage conversion definition data for converting the input video, and the output video is defined as a video before conversion according to the other multistage conversion definition data. A content conversion apparatus characterized by the definition of multi-stage conversion for obtaining
前記多段変換定義データは、変換前の映像を指定する情報と、この映像内のクリッピングを行う領域を指定する情報とを少なくとも含むことを特徴とするコンテンツ変換装置。The content conversion device according to claim 1,
The multi-stage conversion definition data includes at least information specifying a video before conversion and information specifying a region to be clipped in the video.
前記多段変換定義データは、さらに、クリッピングした映像の出力先の領域を指定する情報を含むことを特徴とするコンテンツ変換装置。The content conversion device according to claim 2, wherein
The multi-stage conversion definition data further includes information specifying an output destination area of a clipped video.
前記取得した多段変換定義データに従って、入力映像を変換した出力映像を表示手段に表示させる変換手順とを備え、
前記多段変換定義データは、前記入力映像を変換する少なくとも１つの別の多段変換定義データを参照するよう記述され、前記別の多段変換定義データに従って変換される映像を変換前の映像として前記出力映像を得る多段変換の定義がなされていることを特徴とするコンテンツ変換方法。An acquisition procedure for acquiring multi-stage conversion definition data that predefines video conversion from storage means according to a user's specification;
According to the acquired multi-stage conversion definition data, comprising a conversion procedure for displaying on the display means an output video converted from the input video,
The multistage conversion definition data is described so as to refer to at least one other multistage conversion definition data for converting the input video, and the output video is defined as a video before conversion according to the other multistage conversion definition data. A content conversion method characterized by the definition of multi-stage conversion for obtaining
前記多段変換定義データは、変換前の映像を指定する情報と、この映像内のクリッピングを行う領域を指定する情報とを少なくとも含むことを特徴とするコンテンツ変換方法。The content conversion method according to claim 4, wherein
The content conversion method characterized in that the multistage conversion definition data includes at least information for specifying a video before conversion and information for specifying an area for clipping in the video.
前記多段変換定義データは、さらに、クリッピングした映像の出力先の領域を指定する情報を含むことを特徴とするコンテンツ変換方法。The content conversion method according to claim 5, wherein
The content conversion method, wherein the multistage conversion definition data further includes information specifying an output destination area of the clipped video.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009185527AJP2011040924A (en) | 2009-08-10 | 2009-08-10 | Content converter, method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009185527AJP2011040924A (en) | 2009-08-10 | 2009-08-10 | Content converter, method and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011040924Atrue JP2011040924A (en) | 2011-02-24 |
Family
ID=43768256
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009185527APendingJP2011040924A (en) | 2009-08-10 | 2009-08-10 | Content converter, method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2011040924A (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0970030A (en)* | 1995-08-31 | 1997-03-11 | Mitsubishi Electric Corp | Image display method of virtual conference system and virtual conference terminal device |
| JP2001268597A (en)* | 2000-03-16 | 2001-09-28 | Telecommunication Advancement Organization Of Japan | Video processing method and video processor |
| JP2005094696A (en)* | 2003-09-19 | 2005-04-07 | Victor Co Of Japan Ltd | Video telephone set |
| JP2005191964A (en)* | 2003-12-25 | 2005-07-14 | Toshiba Corp | Image processing method |
- 2009
- 2009-08-10JPJP2009185527Apatent/JP2011040924A/enactivePending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0970030A (en)* | 1995-08-31 | 1997-03-11 | Mitsubishi Electric Corp | Image display method of virtual conference system and virtual conference terminal device |
| JP2001268597A (en)* | 2000-03-16 | 2001-09-28 | Telecommunication Advancement Organization Of Japan | Video processing method and video processor |
| JP2005094696A (en)* | 2003-09-19 | 2005-04-07 | Victor Co Of Japan Ltd | Video telephone set |
| JP2005191964A (en)* | 2003-12-25 | 2005-07-14 | Toshiba Corp | Image processing method |
Non-Patent Citations (2)
| Title |
|---|
| CSNG200701126001; 新吉高 他: '組込みシステム向けＨＭＩツールのモデルベース開発' 情報処理学会研究報告 Ｖｏｌ．２００７， Ｎｏ．６５, 20070702, ｐ．１-６, 社団法人情報処理学会* |
| JPN6012054459; 新吉高 他: '組込みシステム向けＨＭＩツールのモデルベース開発' 情報処理学会研究報告 Ｖｏｌ．２００７， Ｎｏ．６５, 20070702, ｐ．１-６, 社団法人情報処理学会* |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107590771B (en) | 2D video with options for projection viewing in modeled 3D space | |
| CN104011715B (en) | The many viewers of geographical space | |
| CN109168026B (en) | Instant video display method and device, terminal equipment and storage medium | |
| EP2962478B1 (en) | System and method for multi-user control and media streaming to a shared display | |
| JP4902765B2 (en) | Information processing system and information processing method | |
| EP2685393A2 (en) | Distributed object tracking for augmented reality application | |
| JP6787394B2 (en) | Information processing equipment, information processing methods, programs | |
| US20120284426A1 (en) | Method and system for playing a datapod that consists of synchronized, associated media and data | |
| US20160210788A1 (en) | Display control device, display control method, and program | |
| KR102234660B1 (en) | System and method for tagging additional information on 3d tour | |
| JP4829357B2 (en) | Image processing apparatus and image processing method | |
| CN111045770A (en) | Method, first terminal, device and readable storage medium for remote exhibition | |
| US20120290907A1 (en) | Method and system for associating synchronized media by creating a datapod | |
| JP2011040924A (en) | Content converter, method and program | |
| TWI514319B (en) | Methods and systems for editing data using virtual objects, and related computer program products | |
| CN112312110A (en) | Non-transitory computer readable medium, image processing apparatus and image processing method | |
| KR20170002921A (en) | Apparatus and method for creating digital building instruction | |
| JP2022171739A (en) | Generation device, generation method, and program | |
| JP2014225148A (en) | Image display system | |
| JP5172794B2 (en) | Video communication system, method and program | |
| JP2017084161A (en) | Image processing apparatus, display apparatus and control method thereof | |
| JP5888094B2 (en) | Video communication system, video communication method, and video communication program | |
| JP7026839B1 (en) | Real-time data processing device | |
| JP6108723B2 (en) | Information processing apparatus, information processing method, and program | |
| KR101476800B1 (en) | Apparatus and method for managing object based on panorama media |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20111012 | |
| RD02 | Notification of acceptance of power of attorney | Free format text:JAPANESE INTERMEDIATE CODE: A7422 Effective date:20111108 | |
| RD04 | Notification of resignation of power of attorney | Free format text:JAPANESE INTERMEDIATE CODE: A7424 Effective date:20111108 | |
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20121017 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20121030 | |
| A02 | Decision of refusal | Free format text:JAPANESE INTERMEDIATE CODE: A02 Effective date:20130312 |