












本発明は、音声、動画等を具備する拡大縮小が可能なベクタ図形、スケーラブルベクタグラフィックスのフォーマット方式に関する。 The present invention relates to a format system for scalable vector graphics and scalable vector graphics that includes audio, moving images, and the like.
従来、Web技術の発達により、様々なコンピュータ、携帯端末での情報の表示が行われるようになってきている。 2. Description of the Related Art Conventionally, information has been displayed on various computers and portable terminals with the development of Web technology.
各端末では、情報表示画面の大小、解像度のバリエーションがあるが、そこに表示される画像、とりわけ2次元図形表示について、表示領域の大小に依存せず拡大・縮小表示の可能な、ベクタ図形フォーマット、例えばW3Cが推進するスケーラブルベクタグラフィックス(SVG)がある(例えば、非特許文献1参照。)。 There are variations in the size and resolution of the information display screen on each terminal, but the vector graphic format that can be enlarged or reduced regardless of the size of the display area for images displayed there, especially 2D graphic display For example, there is scalable vector graphics (SVG) promoted by W3C (for example, see Non-Patent Document 1).
一方で表示端末装置の発達により従来の2次元図形表示だけでなく、2次元図形表示に関連付けて、音声、動画などのマルチメディアを具備する技術の提案、推進などが行われており、例えばW3Cが推進するシンクロナイズドマルチメディアインテグレーションランゲージ(SMIL)がある。 On the other hand, with the development of display terminal devices, not only conventional two-dimensional graphic display but also related to two-dimensional graphic display, proposals and promotion of technologies including multimedia such as audio and moving images have been made, for example, W3C Is a synchronized multimedia integration language (SMIL) promoted by
ハガキ、カード、ポスター、プレゼンテーション資料作成用に用いられるグラフィック編集アプリケーションでは、予めデザイナーにより作成された図形部品成果品(以降クリップアート)を組み合わせて、ユーザが所望のデザインを得ることができるアプリケーションがある。スケーラブルベクタグラフィックスを扱うグラフィック編集アプリケーションでは、ユーザは自由にクリップアートの品質を一定に拡大縮小貼り付けを行うことができる。 A graphic editing application used for creating postcards, cards, posters, and presentation materials includes an application that allows a user to obtain a desired design by combining graphic parts products (hereinafter referred to as clip art) created in advance by a designer. . In a graphic editing application that handles scalable vector graphics, the user can freely scale and paste the clip art quality at a constant level.
クリップアートには、音声・画像などのマルチメディアソースを関連付けることが可能である。
特定の音声が関連付けられたクリップアートファイルが2つある。その2つのクリップアートを組み合わせで構成された図形ファイルの表示レンダリングにおいて、例えば音声の再生順は、レンダリング順によって行うか、レンダリング順とは別にSMILなどで用いられる予めタイムラインに従った順を与える以外では、表示スケールと共に予め設定されたプライオリティ値によって順付けを行う技術は確立されていない。 There are two clip art files associated with specific audio. In the display rendering of a graphic file composed of a combination of the two clip arts, for example, the playback order of the audio is performed according to the rendering order, or in addition to the rendering order, the order according to the timeline used in advance by SMIL is given. Other than the above, no technique has been established for ordering using a priority value set in advance together with the display scale.
上記課題を解決するために、本発明は、以下の構成を備える。 In order to solve the above problems, the present invention has the following configuration.
スケーラブルベクタグラフィックスの全体表示のサイズを指定する指定手段と、
全体表示からの部分表示を行う部分表示領域の指定手段と、
特定のベクタグラフィックス図形表示を指定する指定手段と、
該図形に、特定の図形、音声、動画などのマルチメディアソースを関連付ける関連付け手段と、
該図形に、関連付けられたマルチメディアソースのプライオリティを数値化して設定するプライオリティ値設定手段と、
該マルチメディアソースの表示・再生を行う表示・再生手段と、
該表示・再生手段の動作を、スケーラブルベクタグラフィックス上での特定のベクタグラフィックスの表示スケールとプライオリティ値によってこれを制御する制御手段と、
該制御手段は、特定のベクタグラフィックス図形表示を行う指定をする指定手段に指定される制御限指定手段とを、具備する。A specifying means for specifying the size of the entire display of scalable vector graphics;
A means for specifying a partial display area for performing partial display from the entire display,
A designation means for designating a specific vector graphics figure display;
An association means for associating the graphic source with a multimedia source such as a specific graphic, audio, or video;
Priority value setting means for quantifying and setting the priority of the multimedia source associated with the figure;
Display / reproduction means for displaying / reproducing the multimedia source;
Control means for controlling the operation of the display / playback means by the display scale and priority value of specific vector graphics on the scalable vector graphics;
The control means includes control limit designation means designated as designation means for designating specific vector graphics graphic display.
ごく簡単かつ非常に効果的なフォーマット記述方法によって、スケーラブルベクタグラフィックスのファイル記述に、音声等のマルチメディアソースのファイル内での関連付けを行い、また図形へのプライオリティ値を指示し、これを図形表示スケールに依存した情報端末での図形の表示と音声再生を実現することができる。図形表示スケールとの連動により、感覚的にも、図形表示と適切に関連付けられた音声再生の制御が可能となる。 Using a very simple and very effective format description method, scalable vector graphics file descriptions are associated with multimedia source files such as audio, and the priority value to the figure is indicated and this is used as the figure. It is possible to realize graphic display and audio reproduction on an information terminal depending on the display scale. By interlocking with the graphic display scale, it is possible to control sound reproduction appropriately associated with the graphic display.
従来、Web技術の発達により、様々なコンピュータ、携帯端末での情報の表示が行われるようになってきている。 2. Description of the Related Art Conventionally, information has been displayed on various computers and portable terminals with the development of Web technology.
各端末では、情報表示画面の大小、解像度のバリエーションがあるが、そこに表示される画像、とりわけ2次元図形表示について、表示領域の大小に依存せず自由に拡大・縮小表示の可能な、ベクタ図形フォーマット、例えばW3Cが推進するスケーラブルベクタグラフィックス(SVG)がある。 There are variations in information display screen size and resolution on each terminal, but the images displayed there, especially 2D graphic display, can be enlarged and reduced freely without depending on the size of the display area. There are graphic formats such as Scalable Vector Graphics (SVG) promoted by W3C.
図1に、本発明実施例における、拡大・縮小表示が可能な(以下スケーラブルとする)ベクタグラフィックスフォーマットファイル記述の一実施例を示す。記述方法にはXML形式を用いる。例示されているXML形式によるファイル記述は、スケーラブルベクタグラッフィックスフォーマットで記述された、スケーラブルベクタ図形の図形表示例であり、順に説明を行う。 FIG. 1 shows an embodiment of a vector graphics format file description that can be enlarged / reduced (hereinafter, referred to as scalable) in the embodiment of the present invention. The XML format is used for the description method. The illustrated file description in the XML format is a graphic display example of scalable vector graphics described in the scalable vector graphics format, and will be described in order.
1−1はスケーラブルベクタグラッフィックスのデータが、データ表示サイズ(以下ビューポート)が論理単位幅400,高さ300にて表示されることを示す。通常は、論理単位は例えばディスプレイ表示の場合は表示デバイスのピクセル単位に置き換えられ、今回は400×300ピクセルの領域となるが、実際の適用はスケーラブルベクタグラフィックスのレンダリング機能を持つ処理系に依存する。実サイズ例えばミリメートル単位による指定でもよい。 1-1 indicates that scalable vector graphics data is displayed with a data display size (hereinafter referred to as a viewport) having a logical unit width of 400 and a height of 300. Normally, the logical unit is replaced with, for example, the pixel unit of the display device in the case of display, and this time it is an area of 400 × 300 pixels, but the actual application depends on the processing system having the rendering function of scalable vector graphics To do. The actual size may be specified in units of millimeters, for example.
1−2は、ユーザ定義座標系の表示領域(以下ビューボックス)の指定を表す。“0 0 200 150”の指定は、画像フォーマット上の原点(0,0)、幅200、高さ150の座標系(ビューボックス)を、1−1で指定されたビューポートの座標システムにマッピングすることを意味する。つまり、本実施例ではビューポート400:300、ビューボックス200:150の同一比率を持ち、丁度2倍となるマッピングを指定していることから、ビューポートには2倍の大きさで、本実施例の図形フォーマットファイルの内容が表示されることを意味する。また、ビューボックスの指定は省略可能である。省略時はビューポートとビューボックスは一致する。 1-2 represents designation of a display area (hereinafter referred to as a view box) of the user-defined coordinate system. “0 0 200 150” is specified by mapping the origin (0, 0),
なお、ビューポートの指定には論理単位を用いているが、実サイズ例えばミリメートル単位を用いても良い。 Although the logical unit is used for designating the viewport, an actual size such as a millimeter unit may be used.
なお、本説明ではビューポートおよびビューボックスが同一の比率を持つ事例を示すが、異なる比率でのマッピングも様々に可能である。しかし、本実施例では詳細に言及しない。 In this description, an example in which the viewport and the view box have the same ratio is shown, but various mappings with different ratios are possible. However, details are not mentioned in this embodiment.
1−3は、表示されるベクタ図形として、座標(x,y,width,height)が(50,50,100,100)となる矩形表示を意味する。なお、ベクタ図形座標の指定には論理単位を用いているが、実サイズ例えばミリメートル単位を用いても良い。 1-3 indicates a rectangular display in which coordinates (x, y, width, height) are (50, 50, 100, 100) as a vector graphic to be displayed. In addition, although the logical unit is used for designating the vector graphic coordinates, an actual size such as a millimeter unit may be used.
1−4〜1−8は、1−3の矩形表示に関連付けられた、マルチメディアオブジェクトをそれぞれ指す。1−4〜1−8に関連付けられた親オブジェクトである1−3が表示(以下レンダリング)された場合、それぞれの子オブジェクトであるマルチメディアオブジェクトが固有の機能を実現する。例えば1−3レンダリング領域を表示に用いたり、あるいは端末に接続された特定のデバイスで実現する。 1-4 to 1-8 indicate multimedia objects associated with the rectangular display 1-3. When 1-3, which is a parent object associated with 1-4 to 1-8, is displayed (hereinafter rendered), each multimedia object that is a child object realizes a unique function. For example, the 1-3 rendering area is used for display or realized by a specific device connected to the terminal.
例えば、1−4は音声再生デバイスの動作を指定する。1−3のレンダリングを前提とし、音声再生を行う。例えば1−4に示すsound.rmソースファイルに、「これは四角です」と読み上げる音声ファイルがデータとして関連付けられているならば、レンダリングの際に「これは四角です」と読み上げを行うことが可能である。もちろん、非常に複雑な図形ファイルで、例えば動物の絵に「これは鹿です」と読み上げる音声ファイルを関連付けることも可能であるし、例えば地図表示において、大田区の区域表示と共に「大田区です」と地名の読み上げを記録した音声ファイルを関連付けることも可能である。また、ユーザアクションによる、当該図形のマウスクリックやマウスオーバーにより、音声を再生する、などの技術も実現可能である。しかし、本実施例は、図形表示に関連付けられたマルチメディアソースの動作、再生に関して、特定の図形表示状態に依存させる発明であり、一例としてレンダリングの際の音声再生を事例として挙げるにとどめ、ユーザによるマウスクリック等による再生等に関して詳細は割愛する。 For example, 1-4 specifies the operation of the audio playback device. Audio playback is performed on the premise of 1-3 rendering. For example, sound. If an audio file that reads “This is a square” is associated with the rm source file as data, it can be read as “This is a square” at the time of rendering. Of course, it is possible to associate a very complex graphic file with an audio file that reads “This is a deer” to an animal picture, for example. It is also possible to associate an audio file that records the reading of a place name. In addition, it is possible to realize a technique such as reproducing a sound by mouse click or mouse over of the figure by a user action. However, the present embodiment is an invention that depends on a specific graphic display state with respect to the operation and playback of the multimedia source associated with the graphic display. As an example, audio playback at the time of rendering is given as an example, and the user Details regarding playback by mouse click etc. are omitted.
1−5は、動画ファイルの関連付けの事例である。1−3レンダリング領域を用いて、ファイルmovie.wmfに記録された動画の表示を行う。このように、1−4,1−5において複数のマルチメディアソース(ファイル)の動作指定を行うことができるが、1つの図形に複数関連付けられたマルチメディアソース同士のその同期(シンクロナイゼーション)、動作・再生順番、音量、再生スピード、単位時間あたりの再生画像フレーム数などの詳細は、説明を簡略化するために1ソースとし、ここでは割愛する。 1-5 is an example of association of moving image files. 1-3 Using the rendering area, the file movie. The moving image recorded in wmf is displayed. As described above, it is possible to specify the operation of a plurality of multimedia sources (files) in 1-4 and 1-5, but the synchronization (synchronization) of a plurality of multimedia sources associated with one figure is performed. Details of the operation / playback order, volume, playback speed, number of playback image frames per unit time, and the like are set as one source in order to simplify the description, and are omitted here.
1−6は、例えば弱視者支援の特殊な拡大デバイスへの何らかの出力を指す。1−7は例えば盲目者用の点字表示デバイスへの何らかの出力を指す。このように、様々なマルチメディアソースを、1−3に示す図形表示に関連付けることが可能である。しかし、本実施例は、図形表示に関連付けられたマルチメディアソースの動作、再生に関して、特定の図形表示状態に依存させる発明であり、本実施例では1−5〜1−8の指定に関して、複数のマルチメディアソース相互のその動作や同期、再生タイミングについては詳細には言及しない。1−8は、1−3図形オブジェクトにさらに同じスケーラブルベクタグラフィックス形式のファイル表示を関連付ける。1−8に指定されたsvgfile.svgは、1−3の矩形領域に内容をレンダリングされることを期待される。もちろん、指定を“src=”となるファイル形式でなく、本実施例にあるxmlタグ形式で書かれた例えば<rect>のようなスケーラブルベクタグラフィックスフォーマットによる図形表示でもよい。 1-6 indicates some output to, for example, a special magnification device that supports low vision. 1-7 indicates some output to a braille display device for the blind, for example. In this way, various multimedia sources can be associated with the graphical display shown in 1-3. However, the present embodiment is an invention in which the operation and playback of the multimedia source associated with the graphic display depend on a specific graphic display state. In the present embodiment, there are a plurality of specifications regarding 1-5 to 1-8. The details of the operation, synchronization, and playback timing of the multimedia sources will not be described. 1-8 associates a file display in the same scalable vector graphics format with the 1-3 graphic object. Svgfile. svg is expected to render content in a 1-3 rectangular area. Of course, the display may not be a file format in which “src =” is specified, but a graphic display in a scalable vector graphics format such as <rect> written in the xml tag format in this embodiment.
図2には、図1のベクタグラフィックスフォーマットの記述例より簡略化された記述例2を示す。2−1に示されるように、ビューポートを400×300、ビューボックス同サイズを400×300に指定してある。 FIG. 2 shows a description example 2 simplified from the description example of the vector graphics format of FIG. As shown in FIG. 2-1, the viewport is designated as 400 × 300, and the view box size is designated as 400 × 300.
図3は、図2のベクタグラフィックスフォーマットの表示例である。 FIG. 3 is a display example of the vector graphics format of FIG.
図4は、図2のベクタグラフィックスフォーマットの記述例より4−1に示されるように、ビューポートを200×150、ビューボックスを400×300に指定してある。つまり図2に比して縦横2分の1の領域に、図2と同一のビューボックス(ユーザ座標系)をマッピングしてある。つまり、縮尺(倍率)1/2となる表示が得られる。以下、縮尺と倍率は同じ意味を持つことから、スケールと呼ぶ。 In FIG. 4, the viewport is specified to be 200 × 150 and the view box is specified to be 400 × 300, as indicated by 4-1 in the description example of the vector graphics format of FIG. In other words, the same view box (user coordinate system) as that in FIG. 2 is mapped to a half vertical and horizontal area as compared with FIG. That is, a display with a scale (magnification) of 1/2 is obtained. Hereinafter, the scale and the magnification have the same meaning, and hence are referred to as a scale.
図5に図示するが、図3と同一論理単位で描かれた図は、表示領域ビューポートの変更により1/2の表示が得られることを示している。斯様に、本実施例の特徴とするところは、スケーラブルベクタグラフィックスで記述された図形は、その記述ファイルが表示される際に指定される、ビューポートとビューボックスの関係から、自由に拡大・縮小がなされて表示される。また本発明では、ユーザは、表示デバイスに表示された図形を、携帯電話のような小さなキーボードやテンキーによるビューボックスの数値設定(拡大や縮小・移動)、あるいはパーソナルコンピュータで一般的なマウスによる表示ウィンドウ(ビューポート)の拡大縮小、等の入力機器、あるいは他の方法により、自由に表示スケールや領域を変更できるような、情報端末環境を想定することができる。 As shown in FIG. 5, the diagram drawn in the same logical unit as FIG. 3 shows that a display of 1/2 is obtained by changing the display area viewport. As described above, the feature of this embodiment is that a figure described in scalable vector graphics can be freely expanded from the relationship between the viewport and the view box specified when the description file is displayed. -Reduced and displayed. Further, in the present invention, the user can display a figure displayed on the display device by setting a numerical value (enlargement, reduction, movement) of a view box using a small keyboard or numeric keypad such as a mobile phone, or a mouse generally used in a personal computer. An information terminal environment in which the display scale and area can be freely changed by an input device such as a window (viewport) enlargement / reduction, or other method can be assumed.
次に、図2の記述ファイルを元に、音声再生について説明を行う。 Next, sound reproduction will be described based on the description file of FIG.
図6は、通常の描画および音声再生フローチャートを示す。 FIG. 6 shows a normal drawing and audio reproduction flowchart.
6−1は、スケーラブルベクタグラフィックスの記述について、2−1に示されたようなビューポート、ビューボックスの指定を得る。 6-1 obtains the designation of the viewport and the view box as shown in 2-1, for the description of the scalable vector graphics.
6−2は表示を行う情報端末やコンピュータの表示ディスプレイデバイスの情報を得る。 6-2 obtains information on the display terminal device of the information terminal or computer that performs the display.
6−3において、6−2の情報に基づきビューポートを作成し、6−4でビューボックスをマッピングすることにより、スケールが確定する。 In 6-3, a viewport is created based on the information in 6-2, and the scale is fixed by mapping the view box in 6-4.
6−5では、図2で示された図形ファイルがパージングされ、2−2に示されたベクタ図形タグが順に取り出される。取り出してレンダリングされる図形は、指定されたビューボックス内での表示部分がある図形のみに限られる。図形タグのレンダリングがすべて終了すれば、この系は終了である。 In 6-5, the graphic file shown in FIG. 2 is parsed, and the vector graphic tags shown in 2-2 are sequentially extracted. The figure that is extracted and rendered is limited to a figure that has a display portion in the specified view box. This system is finished when all the rendering of the graphic tags is finished.
6−6では、図形2−2が表示され、続いて6−7にて2−3に関連付けられた音声ファイルが再生される。Src=“sound.rm”に記録された音声が、「正方形です」という音声ならば、正方形の表示と共に「正方形です」と再生がなされる。先に述べたように、2−2に関連付けられたマルチメディアソースは音声に限らず、動画、様々なデバイスへの出力、あるいは同様にベクタグラフィックスファイルの表示なども実施可能であるが、本実施例では説明を簡略化するために音声の再生のみを行う。 In 6-6, the figure 2-2 is displayed, and then in 6-7, the audio file associated with 2-3 is reproduced. If the sound recorded in Src = “sound.rm” is a sound “square”, reproduction is made as “square” along with the display of the square. As described above, the multimedia source associated with 2-2 is not limited to audio, but can also be used for moving images, output to various devices, or display of vector graphics files. In the embodiment, only the reproduction of sound is performed to simplify the explanation.
このように、ごく簡単な方法によって、スケーラブルベクタグラフィックスのファイル記述に、音声等のマルチメディアソースのファイル内での関連付けを行い、これを情報端末での図形の表示と音声再生が実現される。ここまでが基本的な動作となる。 In this way, the description of scalable vector graphics is associated with the file description of scalable vector graphics in the file of the multimedia source such as audio, and the display of the graphic and the audio reproduction are realized on the information terminal. . This is the basic operation.
次に、図7に示されるようなスケーラブルベクタグラフィックスのファイル記述の表示を例に説明する。図7に記述されたファイルでは、2つの同じ大きさを持つ正方形A,Bがベクタ図形として記述されており、それぞれsoundA.rm,sound.B.rmが関連付けられている。 Next, display of a file description of scalable vector graphics as shown in FIG. 7 will be described as an example. In the file described in FIG. 7, two squares A and B having the same size are described as vector graphics. rm, sound. B. rm is associated.
それぞれ正方形Aの記述はグルーピングを行う<g>グループタグ7−1〜7−3で定義され、正方形Bの記述はグループタグ7−4から7−6までの記述で実現されている。 Each description of the square A is defined by <g> group tags 7-1 to 7-3 that perform grouping, and the description of the square B is realized by descriptions of group tags 7-4 to 7-6.
これは、予めデザイナーによって作成されたクリップアート正方形Aと正方形Bによる組み合わせによる図形表示を示している。このように、スケーラブルベクタグラフィックスを扱うことのできる図形編集アプリケーションでは、ユーザは既存クリップアートの組み合わせて所望のデザイン結果を得るが、これは最も簡略化された事例である。また、この編集アプリケーションによるファイル作成方法の詳細は、本発明では特に触れない。 This shows a graphic display by a combination of clip art squares A and B created in advance by a designer. As described above, in a graphic editing application capable of handling scalable vector graphics, a user obtains a desired design result by combining existing clip arts, which is the simplest case. The details of the file creation method by this editing application are not particularly mentioned in the present invention.
表示例は図8となるが、図8は、ビューポートとビューボックスの関係から、スケール0.5での表示が行われている。図8の実例では図6のフローチャートに従えば、それぞれ正方形A,Bが表示され、音声に例えば、「正方形Aです」「正方形Bです」という音声記録が再生される。 A display example is shown in FIG. 8. In FIG. 8, the display is performed at a scale of 0.5 because of the relationship between the viewport and the view box. In the example of FIG. 8, according to the flowchart of FIG. 6, squares A and B are displayed, respectively, and voice recordings such as “Square A” and “Square B” are reproduced.
しかしながら、図形表示においては、正方形A、正方形Bの図形表示では、正方形Bが図形前面にあり、むしろレンダリングとは逆順の再生「正方形Bです」「正方形Aです」となる場合が望ましい場合もある。ゆえに以降に示される、再生プライオリティ値と、表示スケールの組み合わせによる、再生順の決定方法を記す。 However, in the graphic display, in the case of the graphic display of the square A and the square B, it may be desirable that the square B is in front of the graphic, and the reproduction is “square B” or “square A” in reverse order of rendering. . Therefore, a method for determining the playback order based on the combination of the playback priority value and the display scale shown below will be described.
図7の記述例において、再生プライオリティを付加した場合の記述例を図9に、図9を図形レンダリングと、マルチメディアソースの再生順についての処理のフローチャートを図11に示す。 In the description example of FIG. 7, FIG. 9 shows a description example when a playback priority is added, FIG. 9 shows a flowchart of processing for graphic rendering and the playback order of multimedia sources.
図6と同様に、まず11−1は、スケーラブルベクタグラフィックスの記述について、9−1に示されたようなビューポート、ビューボックスの指定を得る。 Similar to FIG. 6, first, 11-1 obtains the designation of the viewport and view box as shown in 9-1 for the description of scalable vector graphics.
11−2は表示を行う情報端末やコンピュータの表示ディスプレイデバイスの情報を得る。 11-2 obtains information on the display terminal device of the information terminal or computer that performs display.
11−3において、11−2の情報に基づきビューポートを作成し、11−4でビューボックスをマッピングする。11−5では、ビューポート、ビューボックスの関係から、図9で示された記述がどれだけのスケールで表示されるかを計算する。本例では、ビューボックスが0.5倍の大きさのビューポートへマッピングされるためスケールは0.5となる。 In 11-3, a viewport is created based on the information in 11-2, and the view box is mapped in 11-4. In 11-5, the scale at which the description shown in FIG. 9 is displayed is calculated from the relationship between the viewport and the view box. In this example, the scale is 0.5 because the view box is mapped to a viewport that is 0.5 times larger.
11−6では、図9に記述されている図形ファイルが順にパージングされ、表示対象のベクタ図形タグが順に取り出される。取り出してレンダリングされる図形は、指定されたビューボックス内での表示部分がある図形のみに限られる。まず9−3が次のループで取り出される図形タグは9−6となる。図形タグのレンダリング(パーザーによる取り出し)がすべて終了すれば、この系は終了である。 In 11-6, the graphic files described in FIG. 9 are sequentially parsed, and the vector graphic tags to be displayed are extracted in order. The figure that is extracted and rendered is limited to a figure that has a display portion in the specified view box. First, the graphic tag 9-3 is extracted in the next loop is 9-6. This system is complete when all the rendering (extraction by the parser) of graphic tags is complete.
11−7では、図形9−3がレンダリングされ、続いて11−8にて9−4に指定された音声ファイルを取得する。11−9では、図形がビューポートとは別に持つローカルスケール指定を取得し(ここでは指定がないため1)、次に表示プライオリティ値として、9−2からplayWeight=“40”を得る。ちなみに、図10で示す記述例6においては、図形が持つローカルスケールscale=“1.5”、つまり1.5倍表示の記述例を示すが、説明については後述を行う。 In 11-7, the graphic 9-3 is rendered, and then the audio file designated in 9-4 is acquired in 11-8. In 11-9, the local scale designation that the figure has separately from the viewport is acquired (because there is no designation here), and next, playWeight = “40” is obtained from 9-2 as the display priority value. Incidentally, the description example 6 shown in FIG. 10 shows a description example of local scale scale = “1.5”, that is, a 1.5 times display, which will be described later.
11−10は、表示スケールに依存した表示プライオリティの計算を行う。正方形Aについては、playWeightに表示スケールを掛け合わせたもの、つまり40×0.5で20を得る。 11-10 calculates the display priority depending on the display scale. For square A, 20 is obtained by multiplying playWeight by the display scale, that is, 40 × 0.5.
続いて11−11では、音声ファイルであるsoundA.rmと、11−10で得られたプライオリティ20を対にして、再生リスト領域にプライオリティにしたがって再生順リストに順番に積まれる。図12に再生リスト領域の概念図を示す。 Subsequently, in 11-11, soundA. rm and the
同様に、正方形BにおいてsoundB.rmとプライオリティ25を得る。図12に示された再生順リストにおいては、最初はsoundA.rmが再生順1で設定されるが、次の正方形Bの処理で、プライオリティが高いsounrdB.rmが先に挿入されて、図12のような再生順リストを得る。斯様に、逐次プライオリティ順にリストを作成する。 Similarly, in the square B, soundB. Obtain rm and
全ての図形レンダリングが終了すれば、11−6に続いて11−12では、再生順リストによる音声再生が行われる。本実施例は音声ファイルを対象として簡略化を行っているが、無論、様々なマルチメディアソースでよい。この場合、表示レンダリング順とは異なり、「正方形Bです」「正方形Aです」の順にて再生が行われる。 When all the graphics rendering is completed, in 11-12 following 11-6, sound reproduction based on the reproduction order list is performed. In the present embodiment, simplification is performed for an audio file, but it is needless to say that various multimedia sources may be used. In this case, unlike the display rendering order, playback is performed in the order of “square B” and “square A”.
また、図10には、正方形Aに図形ローカルのスケールが設定されている場合の記述例を示す。ローカルスケールとしてscale=“1.5”が指定されている。例えばユーザが編集によって、正方形Aのクリップアートを1.5倍拡大して編集した場合に相当する。図10の記述例における表示例を図13に示す。 FIG. 10 shows a description example in the case where a graphic local scale is set for the square A. Scale = “1.5” is designated as the local scale. For example, this corresponds to the case where the user edits the clip art of the square A by enlarging it by 1.5 times. A display example in the description example of FIG. 10 is shown in FIG.
この場合、正方形Aのプライオリティ指定値50に対し、50×0.5に図形ローカルスケール1.5を掛け合わせ、soundA.rmのプライオリティは37.5となり、再生順リストについては、
soundA.rm 37.5
soundB.rm 25
となって、図13の表示例の場合は、「正方形Aです」「正方形Bです」の順にて再生が行われる。In this case, the
soundA. rm 37.5
soundB.
Thus, in the case of the display example of FIG.
このように、図形に指定されたプライオリティ値playWeightと、その図形に関連付けられたマルチメディアソースの再生を、図形の表示スケールによって再生順のプライオリティ付けを行うことが可能となる。 In this way, it is possible to prioritize the playback order of the priority value playweight specified for a graphic and the multimedia source associated with that graphic by the graphic display scale.
〔実施例2〕
本発明において、playWeightは、予め自動的に全てのクリップアートデザイン時の図形面積にて与えることとする。[Example 2]
In the present invention, playWeight is automatically given in advance as a graphic area for all clip art designs.
その場合、クリップアート貼り付けによって構成された図形ファイルは、各図形の再生プライオリティは、元のデザイン面積×個々の図形表示スケールによって計算されるため、各図形のビューポートの実表示面積順となる。 In this case, in the graphic file configured by pasting the clip art, the reproduction priority of each graphic is calculated by the original design area × individual graphic display scale. .
このように、あらゆる表示図形と、それに関連付けられたマルチメディアソースの再生順は、表示レンダリング順ではなく、表示の大きさ(表示面積)順に再生を行うことが実現可能である。また本実施例はスケーラブルベクタグラフィックスフォーマットを基礎にしているため、表示の実表示が再生順に関わるのであり、デザイン時のクリップアートの大きさは再生順に影響しないため、表示面積順のプライオリティ付けを目的とする場合は、同じスケーラブルベクタグラフィックスフォーマットを利用する限り、あらゆるオーサリングツールでのデザイン、マルチメディアソースの埋め込みを実現できる。 As described above, the reproduction order of all display figures and the multimedia sources associated therewith can be realized in the order of display size (display area), not the display rendering order. In addition, since the present embodiment is based on the scalable vector graphics format, the actual display display is related to the playback order, and the size of the clip art at the time of design does not affect the playback order. If you want to, you can design with any authoring tool and embed multimedia sources as long as you use the same scalable vector graphics format.
〔実施例3〕
本実施例1または2は、プライオリティ付けによる再生順を指定したが、例えば選択的に1つの図形ファイルに関連付けられたマルチメディアソースの再生を行いたい場合には、再生リストのトッププライオリティを持つソースだけの再生を行うようにすればよい。Example 3
In the first or second embodiment, the playback order by prioritization is specified. For example, when the multimedia source associated with one graphic file is selectively played back, the source having the top priority of the playlist is used. It is sufficient to perform only the reproduction.
また、ある一定の再生プライオリティ閾値を設けて、指定閾値を上回る図形に関連付けられたマルチメディアソースの再生だけを行うことも非常にたやすい。 It is also very easy to set a certain playback priority threshold value and only play multimedia sources associated with graphics that exceed the specified threshold value.
〔実施例4〕
実施例1〜3までに述べられた本発明を実現するための様々なアトリビュートや属性値などの用語は一事例であり、同様な効果を得られることを目的とした他の用語による定義でももちろん構わない。Example 4
The terms such as various attributes and attribute values for realizing the present invention described in the first to third embodiments are just examples, and of course, definitions using other terms intended to obtain the same effect are also possible. I do not care.
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003324577AJP2005092495A (en) | 2003-09-17 | 2003-09-17 | Vector graphics format with audio, video, etc. |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003324577AJP2005092495A (en) | 2003-09-17 | 2003-09-17 | Vector graphics format with audio, video, etc. |
| Publication Number | Publication Date |
|---|---|
| JP2005092495Atrue JP2005092495A (en) | 2005-04-07 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003324577AWithdrawnJP2005092495A (en) | 2003-09-17 | 2003-09-17 | Vector graphics format with audio, video, etc. |
| Country | Link |
|---|---|
| JP (1) | JP2005092495A (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100803947B1 (en) | 2006-12-01 | 2008-02-15 | 주식회사 코아로직 | Apparatus and method for converting an open vector graphics application program interface, a mobile terminal, and a recording medium recording the method |
| JP2008181445A (en)* | 2007-01-26 | 2008-08-07 | Just Syst Corp | Document information providing method, document information providing program, document information providing apparatus, and WEB terminal apparatus |
| JP2009159607A (en)* | 2007-12-27 | 2009-07-16 | Nhn Corp | Method, system and computer-readable recording medium for providing controller of multimedia based on display condition of contents |
| JP2009539147A (en)* | 2006-06-01 | 2009-11-12 | クゥアルコム・インコーポレイテッド | Apparatus and method for selectively double buffering part of displayable content |
| KR100949824B1 (en) | 2007-10-12 | 2010-03-29 | 한국전자통신연구원 | Apparatus and method for converting graphic source code of an application program into variable vector graphic code |
| JP2010165258A (en)* | 2009-01-16 | 2010-07-29 | Sharp Corp | Website display device, website display method, and computer program therefor |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009539147A (en)* | 2006-06-01 | 2009-11-12 | クゥアルコム・インコーポレイテッド | Apparatus and method for selectively double buffering part of displayable content |
| KR100803947B1 (en) | 2006-12-01 | 2008-02-15 | 주식회사 코아로직 | Apparatus and method for converting an open vector graphics application program interface, a mobile terminal, and a recording medium recording the method |
| JP2008181445A (en)* | 2007-01-26 | 2008-08-07 | Just Syst Corp | Document information providing method, document information providing program, document information providing apparatus, and WEB terminal apparatus |
| KR100949824B1 (en) | 2007-10-12 | 2010-03-29 | 한국전자통신연구원 | Apparatus and method for converting graphic source code of an application program into variable vector graphic code |
| JP2009159607A (en)* | 2007-12-27 | 2009-07-16 | Nhn Corp | Method, system and computer-readable recording medium for providing controller of multimedia based on display condition of contents |
| US8990180B2 (en) | 2007-12-27 | 2015-03-24 | Nhn Corporation | Method, system and computer-readable recording medium for controlling multimedia based on display condition of contents |
| JP2010165258A (en)* | 2009-01-16 | 2010-07-29 | Sharp Corp | Website display device, website display method, and computer program therefor |
| Publication | Publication Date | Title |
|---|---|---|
| US8683341B2 (en) | Multimedia presentation editor for a small-display communication terminal or computing device | |
| JP4430882B2 (en) | COMPOSITE MEDIA CONTENT CONVERSION DEVICE, CONVERSION METHOD, AND COMPOSITE MEDIA CONTENT CONVERSION PROGRAM | |
| US8719029B2 (en) | File format, server, viewer device for digital comic, digital comic generation device | |
| JP5634853B2 (en) | Electronic comic viewer device, electronic comic browsing system, viewer program, and electronic comic display method | |
| JP2008234664A (en) | Electronic content description conversion method | |
| CN101896880A (en) | Method for providing graphical user interface (GUI) using divided screen and multimedia device using the same | |
| JP2007104627A (en) | Template-based multimedia interactive editor and editing method thereof | |
| JP2005506785A (en) | Information storage medium on which markup document and AV data are recorded, recording method, reproducing method, and reproducing apparatus | |
| CN104281362A (en) | Information processing apparatus and information processing method | |
| CN103530320A (en) | Multimedia file processing method and device and terminal | |
| JP2005092495A (en) | Vector graphics format with audio, video, etc. | |
| TWI234120B (en) | Control Information-forming device for image display, image display method, and image display device | |
| JP2000267639A (en) | Information processor | |
| JP2006157197A (en) | Photo movie generating apparatus and program | |
| JP2007243411A (en) | Image processing apparatus, method, and program | |
| JP4514671B2 (en) | CONTENT EDITING DEVICE, COMPUTER-READABLE PROGRAM, AND RECORDING MEDIUM CONTAINING THE SAME | |
| JP2005091719A (en) | Scalable vector graphics format with audio, video, etc. | |
| US7610554B2 (en) | Template-based multimedia capturing | |
| JP2004056469A (en) | Electronic device and media reproducing method therefor | |
| JP3507767B2 (en) | Multimedia content reproduction system and multimedia content reproduction method | |
| KR102249865B1 (en) | A system for Electronic Album | |
| WO2002023350A1 (en) | Technique for superimposingly display additional information on display screen | |
| JP4250983B2 (en) | Device for associating user data with continuous data | |
| JP2005141424A (en) | Information processing method and information processing apparatus | |
| JP2000235652A (en) | Data processing device, data processing method and medium |
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed | Free format text:JAPANESE INTERMEDIATE CODE: A300 Effective date:20061205 |