JP2008090526A - Conference information storage device, system, conference information display device, and program - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To provide a conference information storage device for reproducing and distributing conference materials in a state that the effects of explanation using a plurality of screens are utilized. <P>SOLUTION: This conference information storage device is provided with video fetching parts 2A, 2B and 2C for time-sequentially fetching image information to be displayed on a plurality of screens, and for generating the image information of a static image from the fetched image information; and an image update managing part 5 for imparting attribute information including generation time information of the image information, identification information for identifying a screen on which the image information is displayed and the identifier of the image information set in screen units to the generated image information. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

Translated fromJapanese

本発明は、会議情報保存装置、システム、会議情報表示装置及びプログラムに関する。  The present invention relates to a conference information storage device, system, conference information display device, and program.

コンピュータ上で、プレゼンテーション・ソフトウェアや各種のアプリケーション・ソフトウェアを使ったプレゼンテーションが現代のビジネス環境において広く行われている。また、プレゼンテーション資料の記録方法についても、さまざまな提案がなされている。たとえば、特許文献１では、プロジェクタにおいて、投射される画像データとプレゼンテーションの音声データを取得し、その画像データと音声データを関連付けて記憶しておく。そして、再生指示に対応して、記憶された画像データとそれに関連した音声データとを再生する、あるいは、利用者からの要求に基づいて記憶された画像データとそれに関連した音声データとをまとめた配信データを生成し、配信する技術を提案している。  Presentations using presentation software and various application software are widely performed on computers in a modern business environment. Various proposals have also been made regarding the method of recording presentation materials. For example, inPatent Document 1, in a projector, image data to be projected and audio data of a presentation are acquired, and the image data and audio data are stored in association with each other. Then, in response to the reproduction instruction, the stored image data and the related audio data are reproduced, or the stored image data and the related audio data are collected based on a request from the user. A technology to generate and distribute distribution data is proposed.

ところで、最近、上述したような画像を使ったプレゼンテーションにおいて、複数の画面を使うことによって、より効果的なプレゼンテーションを行うことが試みられている。一つの画面よりも複数の画面を使うことによって、
１．時間的に連続して表示されるスライドを並べて表示し、前後のつながりをわかりやすくできる。
２．一つの画面にアウトライン、別の画面に詳細を示すことによって、全体の構成と各論の位置づけをわかりやすくできる。
３．一つの画面に主となる説明資料、他の画面に補助となる資料を表示することにより、より詳細に説明することができる。
４．連続して横長に表示することにより、より大画面で訴求力のある表示ができる。
等の効果が期待できる。Recently, attempts have been made to make more effective presentations by using a plurality of screens in presentations using images as described above. By using multiple screens rather than a single screen,
1. Slides that are displayed continuously in time are displayed side by side, making it easy to understand the connection before and after.
2. By showing the outline on one screen and the details on another screen, the overall structure and the position of each argument can be easily understood.
3. By displaying the main explanatory material on one screen and the auxiliary material on the other screen, it is possible to explain in more detail.
4). By continuously displaying horizontally, it is possible to display more appealing on a larger screen.
Such effects can be expected.

特開２００５−２８４１９６号公報JP 2005-284196 A

本発明は、複数の画面を使用した説明の効果を生かした状態で、会議資料の再生、配信が可能となる会議情報保存装置、システム、会議情報表示装置及びプログラムを提供することを目的とする。  An object of the present invention is to provide a conference information storage device, system, conference information display device, and program capable of reproducing and distributing conference materials while taking advantage of the description using a plurality of screens. .

かかる目的を達成するために請求項１記載の会議情報保存装置の発明は、複数の画面に表示される画像情報を取り込む取込手段と、前記取込手段で取り込んだ画像情報から静止画像の画像情報を生成する生成手段と、生成された画像情報に、該画像情報の生成時刻情報と、前記画像情報が表示された画面を識別する識別情報と、画面単位に設定される前記画像情報の識別子とを含む属性情報を付与する付与手段と、を有する構成としている。  In order to achieve such an object, the invention of the conference information storage apparatus according toclaim 1 includes a capturing unit that captures image information displayed on a plurality of screens, and an image of a still image from the image information captured by the capturing unit. Generation means for generating information; generation time information of the image information; identification information for identifying a screen on which the image information is displayed; and an identifier of the image information set for each screen. And a granting means for granting attribute information including:

請求項２記載の会議情報保存装置の発明は、請求項１記載の発明において、音声を音声データとして入力する音声入力手段と、前記音声データを、画像情報が画面に表示されている期間ごとに分割する分割手段と、前記画像情報と、前記音声データとを関連付けて記憶する記憶手段と、選択された画像情報を表示させる際に、該画像情報に関連付けられた音声データの再生を行う表示再生手段とを有することを特徴としている。  According to a second aspect of the present invention, there is provided the conference information storage device according to the first aspect, wherein the voice input means for inputting voice as voice data, and the voice data for each period during which image information is displayed on the screen. Dividing means for dividing, storage means for storing the image information and the audio data in association with each other, and display reproduction for reproducing the audio data associated with the image information when displaying the selected image information Means.

請求項３記載の会議情報保存装置の発明は、請求項１又は２記載の発明において、会議の終了までに取得した画像情報の縮小画像を表示した第１の表示領域と、選択された縮小画像の表示内容を前記複数の画面ごとに表示した第２の表示領域とを含む画像を表示させる表示制御手段を有することを特徴としている。  The invention of the conference information storage device according toclaim 3 is the invention according toclaim 1 or 2, wherein the first display area displaying the reduced image of the image information acquired before the end of the conference, and the selected reduced image Display control means for displaying an image including the second display area in which the display content is displayed for each of the plurality of screens.

請求項４記載の会議情報保存装置の発明は、請求項３記載の発明において、前記第１の表示領域は、前記画像情報の縮小画像を、前記複数の画面ごとに、前記生成手段の生成順に並べて表示した領域であることを特徴としている。  According to a fourth aspect of the present invention, there is provided the conference information storage device according to the third aspect, wherein the first display area includes a reduced image of the image information in the order of generation by the generation unit for each of the plurality of screens. It is characterized by the area displayed side by side.

請求項５記載の会議情報保存装置の発明は、請求項３又は４記載の発明において、前記第２の表示領域は、前記選択された縮小画像の縮尺を変更して、拡大表示した領域であるとよい。  According to a fifth aspect of the present invention, there is provided the conference information storage device according to the third or fourth aspect, wherein the second display area is an enlarged display area by changing a scale of the selected reduced image. Good.

請求項６記載の会議情報保存装置の発明は、請求項３記載の発明において、前記表示制御手段は、会議の終了までの間に取得される画像情報の全体的な取得期間を示す期間表示と、該期間表示内を移動する移動表示とを前記第１の表示領域に合わせて表示し、前記第１の表示領域に表示された縮小画像のうち、前記移動表示位置の縮小画像の縮尺を変換した画像を、前記第２の表示領域に表示させることを特徴としている。  According to a sixth aspect of the present invention, there is provided the conference information storage device according to the third aspect, wherein the display control means includes a period display indicating an overall acquisition period of image information acquired until the end of the conference. The moving display moving within the period display is displayed in accordance with the first display area, and the scale of the reduced image at the moving display position among the reduced images displayed in the first display area is converted. The obtained image is displayed in the second display area.

請求項７記載の会議情報保存装置の発明は、請求項１から６のいずれか一項記載の発明において、前記取得手段は、取得した画像を前回の取得画像と比較し、同一の画像であると判定すると、画像の取り込みを中止することを特徴としている。  According to a seventh aspect of the present invention, there is provided the conference information storage device according to any one of the first to sixth aspects, wherein the acquisition means compares the acquired image with the previous acquired image and is the same image. If it is determined, the image capturing is stopped.

請求項８記載の会議情報保存装置の発明は、請求項１から７のいずれか一項記載の発明において、前記属性情報として、各画面に表示される画像情報の内容の種別を表す情報を含み、前記表示制御手段は、前記内容の種別を表す情報をもとに、画像情報を選択的に表示することを特徴としている。  The invention of the conference information storage device according toclaim 8 is the invention according to any one ofclaims 1 to 7, wherein the attribute information includes information indicating a type of content of image information displayed on each screen. The display control means selectively displays image information based on information indicating the type of content.

請求項９記載の会議情報保存装置の発明は、請求項８記載の発明において、前記種別を表す情報には、主となる会議資料であるのか、該会議資料の補助資料であるのかを示す情報と、会議資料が会議の全体構成を示す資料であるのか、各論部分を示す資料であるのかを示す情報との少なくとも１つを含むことを特徴としている。  The invention of the conference information storage device according toclaim 9 is the invention according toclaim 8, wherein the information indicating the type is information indicating whether the information is a main conference material or an auxiliary material of the conference material. And at least one of information indicating whether the conference material is a material indicating the entire structure of the conference or a material indicating each argument part.

請求項１０記載のシステムの発明は、複数の画面に表示される画像情報を取り込む取込手段と、前記取得手段で取り込んだ画像情報から静止画像の画像情報を生成する生成手段と、前記生成された画像情報に、該画像情報の生成時刻情報と、前記画像情報が表示された画面の識別情報と、画面単位に設定される前記画像情報の識別子とを含む属性情報を付与する付与手段と、前記画像情報と前記属性情報とを関連付けて記憶する記憶手段と、を有する会議情報保存装置と、前記記憶手段に記憶した複数の画面の画像情報と、該画像情報に関連付けられた音声データとを取得要求のあった端末に配信する配信装置と、を有する構成を備えている。  According to a tenth aspect of the present invention, there is provided a capturing unit that captures image information displayed on a plurality of screens, a generating unit that generates image information of a still image from the image information captured by the acquiring unit, and the generated Granting means for giving attribute information including generation time information of the image information, identification information of a screen on which the image information is displayed, and an identifier of the image information set for each screen to the image information; A conference information storage device having storage means for associating and storing the image information and the attribute information; image information of a plurality of screens stored in the storage means; and audio data associated with the image information. And a distribution device that distributes to a terminal that has made an acquisition request.

請求項１１記載のシステムの発明は、請求項１０記載の発明において、前記配信装置は、会議の終了までに取得される画像情報の縮小画像を表示した第１の表示領域と、選択された縮小画像の表示内容を前記複数の画面ごとに表示した第２の表示領域とを含む画像を前記取得要求のあった端末に配信することを特徴としている。  The system according to an eleventh aspect of the present invention is the system according to the tenth aspect, wherein the distribution device includes a first display area that displays a reduced image of image information acquired before the end of the conference, and a selected reduction. An image including a second display area in which display content of an image is displayed for each of the plurality of screens is distributed to the terminal that has made the acquisition request.

請求項１２記載の会議情報表示装置の発明は、複数の画面に表示された画像情報を静止画像として取り込み、該画像情報の生成時刻情報と、前記画像情報が表示された画面を識別する識別情報と、画面単位に設定される前記画像情報の識別子とを含む属性情報と共に記憶した記憶手段と、情報の取得要求を受け付けると、会議の終了までに取得される画像情報の縮小画像を表示した第１の表示領域と、選択された縮小画像の表示内容を前記複数の画面ごとに表示した第２の表示領域とを含む画像を表示することを特徴としている。  The conference information display device according toclaim 12 captures image information displayed on a plurality of screens as a still image, and identification information for identifying the generation time information of the image information and the screen on which the image information is displayed. Storage means stored together with attribute information including the identifier of the image information set in units of screens, and when receiving an information acquisition request, a reduced image of image information acquired before the end of the conference is displayed. An image including one display area and a second display area in which the display content of the selected reduced image is displayed for each of the plurality of screens is displayed.

請求項１３記載のプログラムの発明は、コンピュータを、複数の画面に表示される画像情報を時系列に取り込む取込手段と、前記取込手段で取り込んだ画像情報から静止画像の画像情報を生成する生成手段と、生成された画像情報に、該画像情報の生成時刻情報と、前記画像情報が表示された画面を識別する識別情報と、画面単位に設定される前記画像情報の識別子とを含む属性情報を付与する付与手段として機能させることを特徴としている。  According to a thirteenth aspect of the present invention, a computer generates time-series image information displayed on a plurality of screens, and generates image information of a still image from the image information captured by the image capturing means. An attribute including generation means, generation time information of the image information, identification information for identifying a screen on which the image information is displayed, and an identifier of the image information set for each screen; It is characterized by functioning as a granting means for giving information.

請求項１４記載のプログラムの発明は、請求項１３記載の発明において、コンピュータを、会議の終了までに取得される画像情報の縮小画像を表示した第１の表示領域と、選択された縮小画像の表示内容を前記複数の画面ごとに表示した第２の表示領域とを含む画像を表示させる表示制御手段として機能させることを特徴としている。  According to a fourteenth aspect of the present invention, there is provided a program according to the thirteenth aspect, wherein the computer displays a first display area in which a reduced image of image information acquired before the end of the conference is displayed and the selected reduced image. It is characterized by functioning as display control means for displaying an image including a second display area in which display content is displayed for each of the plurality of screens.

請求項１記載の発明によれば、複数の画面に表示された画像情報を時系列に取り込むことができ、複数の画面を使用した説明の効果を生かした状態で、会議資料の再生、配信が可能となる。  According to the first aspect of the present invention, the image information displayed on the plurality of screens can be taken in time series, and the reproduction and distribution of the conference material can be performed while taking advantage of the explanation using the plurality of screens. It becomes possible.

請求項２記載の発明によれば、画像と、この画像が表示されている期間に入力した音声とを関連付けて記憶し、画像の再生のときに関連付けられた音声データも同時に再生することができる。従って、会議の内容理解が容易となる。  According to the second aspect of the present invention, the image and the voice input during the period in which the image is displayed are stored in association with each other, and the voice data associated with the playback of the image can be played back at the same time. . Therefore, it becomes easy to understand the contents of the conference.

請求項３記載の発明によれば、縮小画像で選択した画像情報の表示内容を第２の表示領域で確認することができるので、所望の画像情報の検出が簡単になる。  According to the third aspect of the present invention, the display content of the image information selected in the reduced image can be confirmed in the second display area, so that detection of desired image information is simplified.

請求項４記載の発明によれば、縮小画像が会議の流れに沿って複数の画面ごとに表示されているので、所望の画像情報がさらに見つけやすくなる。  According to the fourth aspect of the present invention, since the reduced image is displayed for each of the plurality of screens along the conference flow, it becomes easier to find desired image information.

請求項５記載の発明によれば、選択した縮小画像の表す内容の確認が容易になる。  According to the fifth aspect of the present invention, it is easy to confirm the content represented by the selected reduced image.

請求項６記載の発明によれば、期間表示内に表示された移動表示を移動させることで、第２の表示領域に表示させる画像を簡単に選択することができる。  According to the sixth aspect of the present invention, it is possible to easily select an image to be displayed in the second display area by moving the moving display displayed in the period display.

請求項７記載の発明によれば、画面に表示した画像に変化が生じた時に画像を取得することができる。  According to the seventh aspect of the present invention, an image can be acquired when a change occurs in the image displayed on the screen.

請求項８記載の発明によれば、画像情報の表示内容の種別に応じて、表示する画像情報を選択することができる。  According to the invention described inclaim 8, it is possible to select the image information to be displayed according to the type of display content of the image information.

請求項９記載の発明によれば、主となる会議資料とその補助資料、又は全体構成を示す資料と各論部分を示す資料とを区別して表示することができる。  According to the ninth aspect of the present invention, it is possible to distinguish and display the main meeting material and its auxiliary material, or the material indicating the entire configuration and the material indicating each argument part.

請求項１０記載の発明によれば、複数の画面に表示された画像情報を時系列に取り込むことができ、複数の画面を使用した説明の効果を生かした状態で、会議資料を要求のあった端末に配信することができる。  According to the invention ofclaim 10, image information displayed on a plurality of screens can be taken in time series, and there is a request for meeting materials in a state where the effect of explanation using a plurality of screens is utilized. Can be distributed to terminals.

請求項１１記載の発明によれば、縮小画像で選択した画像情報の表示内容を第２の表示領域で確認することができるので、所望の画像情報の検出が簡単になる。  According to the eleventh aspect of the present invention, the display content of the image information selected in the reduced image can be confirmed in the second display area, so that detection of desired image information is simplified.

請求項１２記載の発明によれば、時系列に取り込まれた複数画面の画像を選択するときに、所望の画像を容易に選択することができる。  According to the twelfth aspect of the present invention, it is possible to easily select a desired image when selecting a plurality of images captured in time series.

請求項１３記載の発明によれば、複数の画面に表示された画像情報を時系列に取り込むことができ、複数の画面を使用した説明の効果を生かした状態で、会議資料の再生、配信が可能となる。  According to the thirteenth aspect of the present invention, image information displayed on a plurality of screens can be taken in time series, and conference materials can be reproduced and distributed in a state where the effects of explanation using the plurality of screens are utilized. It becomes possible.

請求項１４記載の発明によれば、縮小画像で選択した画像情報の表示内容を第２の表示領域で確認することができるので、所望の画像情報の検出が簡単になる。  According to the fourteenth aspect of the invention, the display content of the image information selected in the reduced image can be confirmed in the second display area, so that detection of desired image information is simplified.

添付図面を参照しながら本発明の好適な実施例を説明する。  Preferred embodiments of the present invention will be described with reference to the accompanying drawings.

本実施例は、複数の画面に表示された画像や、表示された画像に対する発言者の音声を取り込んで、実際に行われたプレゼンテーションの効果を維持しながら、資料を表示、再生するものである。図１に、複数の画面Ａ，Ｂ，Ｃを用いたプレゼンテーション資料の取得、保存、表示、配信を実現した会議情報保存装置１の構成図を示す。  In this embodiment, images displayed on a plurality of screens and voices of speakers on the displayed images are captured, and materials are displayed and reproduced while maintaining the effect of an actual presentation. . FIG. 1 shows a configuration diagram of a conferenceinformation storage device 1 that realizes acquisition, storage, display, and distribution of presentation materials using a plurality of screens A, B, and C.

会議情報保存装置１は、各ビデオカード２１Ａ，２１Ｂ，２１Ｃから画面に出力されるビデオ信号を取り込むビデオ取り込み部２Ａ，２Ｂ，２Ｃと、ビデオ信号から画像用のビットマップを生成する画像サンプリング部（生成手段）３と、画像のサイズを変換する画像コンバータ４と、画像に属性情報を付加する画像更新管理部５（付与手段）と、画像データからテキストを抽出するテキスト抽出部６と、マイク１１から入力した音声を音声データとして取り込む音声入力部７と、画像データや音声データを保存するデータベース８とがシステムバス１２上に接続されている。また、システムバス１２上には、ネットワークとのインターフェースとなる入出力部９、プレゼンテーション資料を配信する配信サーバ１０も接続されている。  The conferenceinformation storage device 1 includesvideo capturing units 2A, 2B, and 2C that capture video signals output from thevideo cards 21A, 21B, and 21C to a screen, and an image sampling unit that generates a bitmap for an image from the video signals ( Generating means) 3, animage converter 4 for converting the size of the image, an image update management unit 5 (applying means) for adding attribute information to the image, atext extracting unit 6 for extracting text from the image data, and a microphone 11 Avoice input unit 7 for fetching voices input from as a voice data and adatabase 8 for storing image data and voice data are connected to asystem bus 12. On thesystem bus 12, an input /output unit 9 serving as an interface with the network and adistribution server 10 for distributing presentation materials are also connected.

プレゼンテーションの資料を表示する画面にはＡ、Ｂ、Ｃの３つの画面が用意されている。プレゼンテーション用コンピュータ（以下、プレゼンテーション用ＰＣと略記する）２０において、複数の画面に表示される画像がそれぞれ生成され、ビデオカード２１Ａ，２１Ｂ，２１Ｃを通して、３台の大型画面Ａ，Ｂ，Ｃに表示される。
なお、プレゼンテーション用ＰＣ２０で生成した資料をビデオカード２１Ａ，２１Ｂ，２１Ｃで画面Ａ，Ｂ，Ｃに表示する以外に、プロジェクタを使ってディスプイレに投射するといった形態をとることもできる。Three screens A, B, and C are prepared for displaying presentation materials. In a presentation computer (hereinafter abbreviated as a presentation PC) 20, images to be displayed on a plurality of screens are respectively generated and displayed on three large screens A, B, and C throughvideo cards 21A, 21B, and 21C. Is done.
In addition to displaying the material generated by thepresentation PC 20 on the screens A, B, and C with thevideo cards 21A, 21B, and 21C, it is possible to take a form of projecting to a display using a projector.

ビデオカード２１Ａ，２１Ｂ，２１Ｃから画面Ａ，Ｂ，Ｃに送られる画像信号は、ビデオ取り込み部２Ａ，２Ｂ，２Ｃ（取込手段）に入力され、ビデオ信号として取り込まれる。ビデオ取り込み部２Ａ，２Ｂ，２Ｃで取り込まれたビデオ信号は、画像サンプリング部３に送られる。画像サンプリング部３は、各ビデオ取り込み部２Ａ，２Ｂ，２Ｃで取り込んだビデオ信号を順に走査し、ビデオ信号から画像用のビットマップを生成する。本実施例においては、ある瞬間にサンプリングされた静止画像と、その前にサンプリングされた静止画像とが同一であるか、これらの静止画像の差分がある割合以下である場合に、表示された画像は変化していないと判定し、サンプリングを中止する。この処理により、画面に表示された画像に変化が生じたときに、画像を保存して記録することができる。例えば、画像中に表示されるポインタの位置のみが異なる画像の場合などでは、こうした処理により画像に変化がないと判断され、新たにサンプリングしない、ということが可能となる。  Image signals sent from thevideo cards 21A, 21B, and 21C to the screens A, B, and C are input to thevideo capturing units 2A, 2B, and 2C (capturing means) and captured as video signals. The video signals captured by thevideo capturing units 2A, 2B, and 2C are sent to theimage sampling unit 3. Theimage sampling unit 3 sequentially scans the video signals captured by thevideo capturing units 2A, 2B, and 2C, and generates an image bitmap from the video signals. In this embodiment, the displayed image is displayed when the still image sampled at a certain moment is the same as the still image sampled before that or the difference between these still images is less than a certain ratio. Is determined not to have changed, and sampling is stopped. With this process, when a change occurs in the image displayed on the screen, the image can be stored and recorded. For example, in the case of an image in which only the position of the pointer displayed in the image is different, it is determined that there is no change in the image by such processing, and new sampling is not possible.

図２には、上述した３画面Ａ，Ｂ，Ｃに表示されるプレゼンテーション用の画像を、時間の流れに沿って時系列で表示した例を示す。時刻ｔ０においては、中央の画面Ｂに1枚目の画像が表示され、左の画面Ａおよび右の画面Ｃには何も表示されていない。サンプリング時刻ｔ１においては、３画面が一斉に変化しており、画面Ａに１枚目の画像、画面Ｂに２枚目の画像、画面Ｃに１枚目の画像が表示されている。その後サンプリング時刻ｔ２においては、中央の画面Ｂのみが変化しており３枚目の画像が表示されている様子、続いて、サンプリング時刻ｔ３においては、左の画面Ａのみが変化しており、２枚目の画像が表示される様子が示されている。  FIG. 2 shows an example in which presentation images displayed on the above-described three screens A, B, and C are displayed in time series along the time flow. At time t0, the first image is displayed on the central screen B, and nothing is displayed on the left screen A and the right screen C. At the sampling time t1, the three screens are changing all at once, and the first image is displayed on the screen A, the second image on the screen B, and the first image on the screen C. Thereafter, at the sampling time t2, only the central screen B is changed and the third image is displayed. Subsequently, at the sampling time t3, only the left screen A is changed and 2 A state in which the first image is displayed is shown.

プレゼンテーション実行者によって、上述のように画像が切り替えられると、ビデオ取り込み部２Ａ，２Ｂ，２Ｃを通して画像サンプリング部３で画面Ａ，Ｂ，Ｃに表示されている画像信号を取り込み、それぞれの画面に表示される画像に変化があった場合にサンプリングしてビットマップを生成する。従って、図２で示したような画像の切り替えに対しては、図３で示したような画像列が取られることになる。なお、この例では、画面Ａの画像信号、画面Ｂの画像信号、画面Ｃの画像信号の順にサンプリングを行っているが、サンプリングの順番は特に限定しない。また、属性情報を表す（Ｂ，１，ｔ０）というのは、時刻ｔ０において画面Ｂに表示されている１枚目の画像、同様に（Ａ，１，ｔ１）は、時刻ｔ１において画面Ａに表示されている１枚目の画像、（Ｃ，１，ｔ１）は、時刻ｔ１において画面Ｃに表示されている１枚目の画像である。こうしてサンプリングされた画像は、画像コンバータ４に送られ、画像をサイズ的に効率のよいフォーマットに変更し、データベース８に保存される。画像コンバータ４は、画像サンプリング部３で取得した画像のサムネイル画像（縮小画像）を生成する。生成したサムネイル画像は、画像更新管理部５に送られ、画像更新管理部５の制御によってデータベース８に保存される 。  When the image is switched as described above by the presentation performer, the image signals displayed on the screens A, B, and C are captured by theimage sampling unit 3 through thevideo capturing units 2A, 2B, and 2C and displayed on the respective screens. A bitmap is generated by sampling when there is a change in the image to be processed. Therefore, for the image switching as shown in FIG. 2, the image sequence as shown in FIG. 3 is taken. In this example, sampling is performed in the order of the image signal of the screen A, the image signal of the screen B, and the image signal of the screen C, but the sampling order is not particularly limited. The attribute information (B, 1, t0) is the first image displayed on the screen B at time t0. Similarly, (A, 1, t1) is displayed on the screen A at time t1. The displayed first image (C, 1, t1) is the first image displayed on the screen C at time t1. The image thus sampled is sent to theimage converter 4 to change the image into a size efficient format and stored in thedatabase 8. Theimage converter 4 generates a thumbnail image (reduced image) of the image acquired by theimage sampling unit 3. The generated thumbnail image is sent to the imageupdate management unit 5 and stored in thedatabase 8 under the control of the imageupdate management unit 5.

画像更新管理部５は、サンプリングされた画像に属性情報を付加して、データベース８に保存する。図４に、データベース８に登録される属性情報の一例を示す。属性情報としては、画像を表示した画面を識別する画面識別情報（ビデオ信号を取り込んだビデオカード２１Ａ，２１Ｂ，２１Ｃを識別する情報や、ビデオ信号自体を識別する情報であってもよい）、同一画面に表示された画像列のうち、何枚目の画像であるのかを示す画像識別情報、画像の取得時間情報（画像が画面に表示された時刻）、音声データの識別情報、サムネイル画像の識別情報、画像内に含まれているテキスト情報などを付加することができる。画像内のテキスト情報は、テキスト抽出部６で検出されるものであり、ＯＣＲ技術を用いて実現される。また、音声データの識別情報、サムネイル画像の識別情報は、画像に関連付けられた音声データ、サムネイル画像を識別する識別情報である。
この他に、画面ごとに、画面に表示された画像の表示内容を属性情報としてデータベース８に保存しておくこともできる。例えば、画面Ｂに表示された画像が主となる会議資料であり、画面Ａ，Ｃに表示された画像がこの会議資料の補助資料であった場合には、画面Ａの表示画像が補助資料、画面Ｂの表示画像が主資料、画面Ｃの表示画像が補助資料であること示す情報を記録する。この他に、会議資料が会議の全体構成を示す資料であるのか、各論部分を示す資料であるのかを示す情報などを属性情報として記録しておくこともできる。このように画面ごとに、画像の内容を属性情報として保存しておくことにより、後で再生する時に画像の選択を簡単に行うことができる。例えば、主となる会議資料だけを取り出して表示したり、各論部分の資料だけを取り出して表示することも可能となる。The imageupdate management unit 5 adds attribute information to the sampled image and stores it in thedatabase 8. FIG. 4 shows an example of attribute information registered in thedatabase 8. As attribute information, screen identification information for identifying a screen on which an image is displayed (information for identifyingvideo cards 21A, 21B, and 21C in which a video signal is captured, or information for identifying a video signal itself) may be the same. Image identification information indicating the number of images in the image sequence displayed on the screen, image acquisition time information (time when the image was displayed on the screen), audio data identification information, and thumbnail image identification Information, text information included in the image, and the like can be added. The text information in the image is detected by thetext extraction unit 6 and is realized using the OCR technique. The identification information of the audio data and the identification information of the thumbnail image are identification information for identifying the audio data and the thumbnail image associated with the image.
In addition, the display content of the image displayed on the screen can be stored in thedatabase 8 as attribute information for each screen. For example, if the image displayed on the screen B is the main meeting material and the images displayed on the screens A and C are auxiliary materials for the meeting material, the display image on the screen A is the auxiliary material, Information indicating that the display image on screen B is the main material and the display image on screen C is the auxiliary material is recorded. In addition to this, information indicating whether the conference material is a material indicating the entire configuration of the conference or a material indicating each argument part can be recorded as attribute information. Thus, by saving the contents of an image as attribute information for each screen, it is possible to easily select an image for later playback. For example, it is possible to extract and display only the main meeting material, or to extract and display only the material of each argument part.

本実施例は、さらにプレゼンテーションの際の音声を同時に取り込み、その音声が発声されたときに表示されていた画像と関連付けて保存するようになっている。音声はマイク１１で入力して音声入力部７で取り込むようになっているが、ある画像が表示されたときの音声データはその画像データに関連付けて保存される。つまり、図３に示すような画像の系列が保存されるとき、画像の切り替わりのタイミングに合わせて、音声データが区切られ、画像に関連付けて保存される。  In the present embodiment, sound at the time of presentation is further captured at the same time, and stored in association with the image displayed when the sound is spoken. The sound is input by themicrophone 11 and captured by thesound input unit 7. The sound data when a certain image is displayed is stored in association with the image data. That is, when a series of images as shown in FIG. 3 is stored, the audio data is divided in accordance with the timing of image switching and stored in association with the images.

図５を参照しながら画像と音声の関連付けについて説明する。時刻ｔ０において、画像が表示されたときに音声の録音を開始し、時刻ｔ１において画像が切り替えられたと判定されたときまでに発生された音声は、時刻ｔ０から時刻ｔ１までの音声信号として取り込まれ、音声ファイルＶ（ｔ０，ｔ１）としてまとめられる。そして、時刻ｔ０に表示された画像（Ｂ，１，ｔ０）と関連付けられる。
同様に、時刻ｔ１において、画像が切り替えられたと判定されたとき、次の期間の音声の取り込みを開始し、次に画像が切り替えられたと判定される時刻ｔ２までの音声が取り込まれ、音声ファイルＶ（ｔ１，ｔ２）としてまとめられ、時刻ｔ１から時刻ｔ２の期間に表示された画像（Ａ，１，ｔ１），（Ｂ，２，ｔ１），（Ｃ，１，ｔ１）と関連付けてデータベース８に保存される。このように画像が変化した際にその画像を取り込み、次に画像が変化して新しい画像が取り込まれるまでの期間の音声をその画像に関連付けてデータベース８に保存する。The association between an image and sound will be described with reference to FIG. Audio recording starts when an image is displayed at time t0, and audio generated until it is determined that the image is switched at time t1 is captured as an audio signal from time t0 to time t1. , And are collected as an audio file V (t0, t1). Then, it is associated with the image (B, 1, t0) displayed at time t0.
Similarly, when it is determined that the image has been switched at time t1, the capturing of the sound for the next period is started, and the sound until time t2 when it is determined that the image has been switched next is captured, and the sound file V (T1, t2) is stored in thedatabase 8 in association with images (A, 1, t1), (B, 2, t1), (C, 1, t1) displayed during the period from time t1 to time t2. Saved. In this way, when the image changes, the image is captured, and the sound during the period from when the image changes to when the new image is captured is stored in thedatabase 8 in association with the image.

図６に示すフローチャートを参照しながら複数画面に表示された画像データと、音声データとを取得して、データベース８に保存する処理手順を説明する。
画面Ａ，Ｂ，Ｃへの画像の表示が開始されると（ステップＳ１）、ビデオ取り込み部２Ａ，２Ｂ，２Ｃは、対応するビデオカード２１Ａ，２１Ｂ，２１Ｃからビデオ信号を取り込んで、システムバス１２上の画像サンプリング部３に出力する。画像サンプリング部３は、各ビデオ取り込み部２Ａ，２Ｂ，２Ｃから送られたビデオ信号を順に走査し、ビデオ信号から画像用のビットマップを生成する。また、マイク１１で発言者の音声を入力する（ステップＳ２）。
画像サンプリング部３は、所定周期で画像のサンプリングを行っており、前回のサンプリングから所定時間を経過すると（ステップＳ３／ＹＥＳ）、次の画像のサンプリングを行う。画像サンプリング部３は、ビデオ取り込み部２Ａ，２Ｂ，２Ｃからビデオ信号の入力がある場合には（ステップＳ４／ＹＥＳ）、ビデオ信号のサンプリングを行って静止画像を取り込む（ステップＳ６）。また、画像サンプリング部３は、今回取り込んだ静止画像と前回サンプリングした静止画像の差分を求める。今回の静止画像と前回のサンプリング画像との差分が所定割合以下であった場合には、画像サンプリング部３は、画像に変化がないと判定し（ステップＳ７／ＮＯ）、静止画像の取り込みを中止する。また、今回の静止画像と前回のサンプリング画像との差分が所定割合以下ではなかった場合には、画像サンプリング部３は、画像に変化ありと判定し（ステップＳ７／ＹＥＳ）、今回の静止画像を取り込む。音声入力部７は、マイク１１から入力している音声データを静止画像の取り込みタイミングに合わせて区切る。画像コンバータ４は、取り込んだ画像のサイズを縮小してサムネイル画像を生成する。また、画像更新管理部５は、前回取得した静止画像の属性情報を生成し、この属性情報に、前回取得した画像とそのサムネイル画像と区切った音声データとを関連付けてデータベース８に格納する（ステップＳ９）。A processing procedure for acquiring image data and audio data displayed on a plurality of screens and storing them in thedatabase 8 will be described with reference to the flowchart shown in FIG.
When display of images on the screens A, B, and C is started (step S1), thevideo capturing units 2A, 2B, and 2C capture video signals from the correspondingvideo cards 21A, 21B, and 21C, and thesystem bus 12 The image is output to the upperimage sampling unit 3. Theimage sampling unit 3 sequentially scans the video signals sent from thevideo capturing units 2A, 2B, and 2C, and generates an image bitmap from the video signals. Further, the voice of the speaker is input with the microphone 11 (step S2).
Theimage sampling unit 3 samples an image at a predetermined cycle. When a predetermined time has elapsed since the previous sampling (step S3 / YES), theimage sampling unit 3 samples the next image. When there is an input of a video signal from thevideo capturing units 2A, 2B, 2C (step S4 / YES), theimage sampling unit 3 samples the video signal and captures a still image (step S6). Theimage sampling unit 3 obtains a difference between the still image captured this time and the still image sampled last time. If the difference between the current still image and the previous sampled image is less than or equal to the predetermined ratio, theimage sampling unit 3 determines that there is no change in the image (step S7 / NO), and stops capturing the still image To do. If the difference between the current still image and the previous sampled image is not less than or equal to the predetermined ratio, theimage sampling unit 3 determines that the image has changed (step S7 / YES), and the current still image is selected. take in. Theaudio input unit 7 divides the audio data input from themicrophone 11 in accordance with the still image capture timing. Theimage converter 4 reduces the size of the captured image and generates a thumbnail image. Further, the imageupdate management unit 5 generates attribute information of the still image acquired last time, and associates the previously acquired image with the audio data separated from the thumbnail image in this attribute information and stores them in the database 8 (step S9).

また、ステップＳ４において、ビデオ信号の入力がなかった場合には（ステップＳ４／ＮＯ）、画像の取り込みを終了する（ステップＳ５）。  If no video signal is input in step S4 (step S4 / NO), image capture is terminated (step S5).

次に、データベース８にプレゼンテーション単位で記録された画像と音声をネットワーク接続されたクライアント端末３０に配信する構成について説明する。
会議情報保存装置１は、図７に示すようにネットワーク上に接続されたクライアント端末３０にプレゼンテーション資料（画像データと音声データ）を配信可能に構成されている。プレゼンテーション資料の配信は、配信装置１０によって行われる。Next, a configuration for distributing images and audio recorded in thedatabase 8 in presentation units to theclient terminals 30 connected to the network will be described.
As shown in FIG. 7, the conferenceinformation storage device 1 is configured to be able to distribute presentation materials (image data and audio data) to aclient terminal 30 connected on a network. Distribution of the presentation material is performed by thedistribution device 10.

図８に配信装置１０の構成を示す。配信装置１０は、ソフトウェア制御によってデータの配信を行うように構成されており、ＲＯＭ３２に格納したプログラムをＣＰＵ３１が読み込んで、このプログラムに従った演算をＣＰＵ３１で行うことにより、各装置の機能が実現される。また、ＣＰＵ３１による演算の手順については、後述する。また、ＲＡＭ３３には、演算結果のデータが書き込まれ、ＮＶＲＡＭ（Non Volatile RAM）３４には、電源オフ時に、バックアップの必要なデータが保存される。
なお、ＲＯＭ３２に格納されているプログラムは、ＣＤ−ＲＯＭ等の記録媒体に格納されたものを読み込んでＮＶＲＡＭ３４に格納してもよいし、ネットワークを介して送信されたプログラムを入出力部９で受信してＮＶＲＡＭ３４に格納してもよい 。FIG. 8 shows the configuration of thedistribution apparatus 10. Thedistribution device 10 is configured to distribute data by software control. TheCPU 31 reads a program stored in theROM 32, and performs operations according to the program by theCPU 31, thereby realizing the function of each device. Is done. The calculation procedure by theCPU 31 will be described later. Further, the data of the calculation result is written in theRAM 33, and data that needs to be backed up is stored in the NVRAM (Non Volatile RAM) 34 when the power is turned off.
Note that the program stored in theROM 32 may be read from a recording medium such as a CD-ROM and stored in theNVRAM 34, or the program transmitted via the network is received by the input /output unit 9. Then, it may be stored in theNVRAM 34.

配信装置１０は、クライアント端末３０と接続し、このクライアント端末３０のユーザによって選択されたプレゼンテーション資料をダウンロードする。配信装置１０は、クライアント端末３０に、プレゼンテーションの行われた日時、プレゼンテーション資料中に含まれるキーワードなどを入力させる画面を表示させる。これらの日時やキーワードを手がかりにして、配信装置１０はデータベース８を検索し、大量に保存されたプレゼンテーション資料の中から、候補の資料を探し、選択する。  Thedistribution apparatus 10 is connected to theclient terminal 30 and downloads the presentation material selected by the user of theclient terminal 30. Thedistribution apparatus 10 causes theclient terminal 30 to display a screen for inputting the date and time when the presentation was performed, keywords included in the presentation material, and the like. Using these dates and keywords as a clue, thedistribution apparatus 10 searches thedatabase 8 to search for and select candidate materials from a large amount of stored presentation materials.

図９に、ＣＰＵ３１の制御によって実現されるソフトウェア機能ブロックの構成を示す。ＣＰＵ３１がＲＯＭ３２に格納されたプログラムに従った処理を実行することにより、図９に示す通信制御モジュール４１、表示制御モジュール４２、設定管理モジュール４３、プレゼン資料検索モジュール４４、プレゼン資料配信モジュール４５が構成される。  FIG. 9 shows a configuration of software function blocks realized by the control of theCPU 31. TheCPU 31 executes processing according to the program stored in theROM 32, whereby thecommunication control module 41, thedisplay control module 42, thesetting management module 43, the presentationmaterial search module 44, and the presentationmaterial distribution module 45 shown in FIG. Is done.

通信制御モジュール４１は、ネットワークに接続したクライアント端末３０との通信を制御する機能を有している。入出力部９に備えられた物理的な通信装置を制御して、クライアント端末３０との通信を実現する。
表示制御モジュール４２は、クライアント端末３０に表示する画面表示を制御する機能を有している。設定管理モジュール４３は、ユーザによって入力された設定を通信制御モジュール４１を介して取得し、表示制御モジュール４２やプレゼン資料検索モジュール４４に通知する。表示制御モジュール４２は、設定管理モジュール４３から通知された設定で、クライアント端末３０に表示する画面表示を切り替える。また、プレゼン資料検索モジュール４４は、設定管理モジュール４３から通知された設定で、データベース８を検索する。
プレゼン資料配信モジュール４５は、プレゼン資料検索モジュール４４がデータベース８から取得した画像データや音声データを、要求のあったクラアント端末３０に配信する。Thecommunication control module 41 has a function of controlling communication with theclient terminal 30 connected to the network. Communication with theclient terminal 30 is realized by controlling a physical communication device provided in the input /output unit 9.
Thedisplay control module 42 has a function of controlling screen display displayed on theclient terminal 30. Thesetting management module 43 acquires the settings input by the user via thecommunication control module 41 and notifies thedisplay control module 42 and the presentationmaterial search module 44. Thedisplay control module 42 switches the screen display to be displayed on theclient terminal 30 with the setting notified from thesetting management module 43. Also, the presentationmaterial search module 44 searches thedatabase 8 with the settings notified from thesetting management module 43.
The presentationmaterial distribution module 45 distributes the image data and audio data acquired from thedatabase 8 by the presentationmaterial search module 44 to the requestedclient terminal 30.

次に、配信装置１０の制御によって、クライアント端末３０に表示される表示画面の例を説明する。
配信装置１０は、接続したクライアント端末３０に、まず、図１０に示す表示を表示させる。図１０に示す表示例では、プレゼンテーション資料を取得した日付と、プレゼンテーションで記録した画像の番号とが表示されている。
この表示画面からユーザが日時を指定すると、データベース８中に記録されたプレゼンテーション資料（画像と音声のデータ）から、取得時間情報がその日時前後であるプレゼンテーション資料を検索し、図１１のように画面の一覧をサムネイルの形で表示する。
また、図１０に示す表示画面には、キーワードの入力欄も設けられており、この欄にキーワードを入力すると、キーワードを含む画面の一覧を同様にサムネイルの形で表示する。Next, an example of a display screen displayed on theclient terminal 30 under the control of thedistribution apparatus 10 will be described.
Thedistribution apparatus 10 first displays the display shown in FIG. 10 on the connectedclient terminal 30. In the display example shown in FIG. 10, the date when the presentation material was acquired and the number of the image recorded in the presentation are displayed.
When the user designates the date and time from this display screen, the presentation material whose acquisition time information is around the date and time is searched from the presentation material (image and audio data) recorded in thedatabase 8, and the screen as shown in FIG. Display a list of as thumbnails.
In addition, the display screen shown in FIG. 10 is also provided with a keyword input field. When a keyword is input in this field, a list of screens including the keyword is similarly displayed in the form of thumbnails.

ユーザがサムネイルで表示された候補の画像の中から、所望のサムネイルを選択し、マウスをクリックするというような操作でその画面を指示すると、新規のユーザインターフェイスにより、複数画面を使ったプレゼンテーションを効果的に再生し、ユーザが希望するシーンを再生する。  When a user selects a desired thumbnail from among the candidate images displayed as thumbnails and instructs that screen by clicking the mouse, a new user interface can be used to effect the presentation using multiple screens. The scene desired by the user is reproduced.

図１２はその第１の例で、画面上部に表示されているのは、時間の経過とともに切り替えられた画面Ａ，Ｂ，Ｃそれぞれの様子を示すサムネイル画像を表示した第１の表示領域５０を表している。これらのサムネイル画像の列は、画面が切り替えられた時間間隔とは関係なく、切り替えられた画面の組み合わせの順に等間隔に並べられている。このサムネイル画像として利用される小さな画像は、画像サンプリング部３でサンプリングして取得した画面を画像コンバータ４でサイズ変換して生成する。  FIG. 12 shows the first example. The upper part of the screen displays afirst display area 50 displaying thumbnail images showing the states of the screens A, B, and C that are switched over time. Represents. These columns of thumbnail images are arranged at equal intervals in the order of the combination of the switched screens regardless of the time interval at which the screens are switched. The small image used as the thumbnail image is generated by converting the size of the screen sampled and acquired by theimage sampling unit 3 with theimage converter 4.

図１２は、図２のようなシーケンスで切り替えられながら画像が表示されたときに、それらが記録・保存され、ユーザからの閲覧の要求があったときにどのようにクライアント端末３０の画面上で表示されるのかを示したものである。この例では、ユーザが所望する画像として、Ｂ３の画像を選択した場合の例である。Ｂ３の画像がハイライトされるとともに、タイムスライダ５１上のマーカ５２が、Ｂ３の画像に切り替えられた時刻に対応する場所に移動する。さらにこのユーザインターフェイスでは、下部に３面Ａ，Ｂ，Ｃに対応した画面が表示される第２の表示領域５５が設けられており、タイムスライダ５３上のマーカ５２の位置に相当する時刻に３面Ａ，Ｂ，Ｃを使って表示されたプレゼンテーション画像を再現して見ることができるようになっている。  FIG. 12 shows how the images are recorded and stored when the images are displayed while being switched in the sequence as shown in FIG. 2 and how theclient terminal 30 requests to view the images. It shows what is displayed. In this example, a B3 image is selected as an image desired by the user. The B3 image is highlighted, and the marker 52 on the time slider 51 moves to a location corresponding to the time when the image is switched to the B3 image. Further, in this user interface, asecond display area 55 on which screens corresponding to the three surfaces A, B, and C are displayed is provided at the lower portion, and 3 at a time corresponding to the position of the marker 52 on thetime slider 53. The presentation image displayed using the planes A, B, and C can be reproduced and viewed.

このユーザインターフェイスでは、ユーザがマーカ５２をマウスなどのポインティングデバイスを使って選択し、水平方向に移動させることによって、時間軸に沿って、表示された画像を送ることができる。例えば、図１２の状態から、マーカ５２を右方向に動かし、図１３に示すような状態になったときは、左の画面Ａに４枚目の画像、中央の画面Ｂに５枚目の画像、右の画面Ｃに３枚目の画像が表示されていた状態に対応し、下部の３画面には、Ａ４，Ｂ５，Ｃ３の画像が実際に表示された状態と同じ形で並べて表示される。ここで、中央の画面Ｂに注目したい場合は、ポインタ５６を図１４で示すように、中央の画面Ｂに移動させると、図１５のように画面Ｂの領域が拡大される。この状態で、今度は左側の画面Ａに注目したいときには、図１６のようにポインタ５６を小さく表示された画面Ａに移動させると、今度は図１６で示したように、左側の画面Ａが大きく表示され、興味のある箇所が見やすくなる。このようにＡ，Ｂ，Ｃのいずれかの画面にポインタを動かすと、その画面が大きく拡大され、細部を見ることができる。ポインタ５６を、図１７に示すように、Ａ，Ｂ，Ｃ以外の領域に移動すると、Ａ，Ｂ，Ｃの画面は同一の大きさで表示される。  In this user interface, the user can send the displayed image along the time axis by selecting the marker 52 using a pointing device such as a mouse and moving the marker 52 in the horizontal direction. For example, when the marker 52 is moved rightward from the state shown in FIG. 12 and the state shown in FIG. 13 is reached, the fourth image is displayed on the left screen A and the fifth image is displayed on the central screen B. Corresponding to the state in which the third image is displayed on the right screen C, the images of A4, B5, and C3 are displayed side by side in the same manner as in the state in which the images of A4, B5, and C3 are actually displayed. . Here, when it is desired to pay attention to the central screen B, when the pointer 56 is moved to the central screen B as shown in FIG. 14, the area of the screen B is enlarged as shown in FIG. In this state, when it is desired to pay attention to the left screen A, if the pointer 56 is moved to the small screen A as shown in FIG. 16, the left screen A is enlarged as shown in FIG. It is displayed and it becomes easy to see the part of interest. When the pointer is moved to any one of the screens A, B, and C in this way, the screen is greatly enlarged and details can be seen. When the pointer 56 is moved to an area other than A, B, and C as shown in FIG. 17, the A, B, and C screens are displayed in the same size.

さらに、例えば中央の画面Ｂ上にポインタを合わせて、ダブル・クリックすると図１８に示すようなユーザインターフェイスを持った拡大画面が表示される。この表示画面では、画像が表示された時間に記録された音声が、再生、停止、早送り、巻き戻しの制御ボタン５３によってコントロールできるようになっている。再生ボタンが押されて再生が始まった後は、図１９で示すように、その再生ボタンは一時停止ボタンに変更され、そのボタンを押すことにより、任意の場所で一時停止できる。一時停止後は、そのボタンは図１８のように再生ボタンに変更され、そのボタンを押すことにより、一時停止された場所からの再生の再開が可能である。また、再生音声の音量も音量調整スライダ５４によって調整できるようになっている。さらに、この拡大画面の上部に表示されるメニューバーには、画面全体を表示領域とする全画面表示モードに変更するメニューも用意されており、それを選択すると、この例ではＢ５の画面が全体を使って表示されることになる。これは、小さなフォントを使って行われたプレゼンテーション資料を見る場合、特に有効である。この全画面表示のモードからは、エスケープキーあるいは、マウスの右クリックといった方法で抜けることができ、図１７のような表示モードに戻すことができる。  Further, for example, when the pointer is placed on the central screen B and double-clicked, an enlarged screen having a user interface as shown in FIG. 18 is displayed. On this display screen, the sound recorded at the time when the image was displayed can be controlled by the playback, stop, fast forward, andrewind control buttons 53. After the playback button is pressed and playback starts, as shown in FIG. 19, the playback button is changed to a pause button, and can be paused at any place by pressing the button. After the pause, the button is changed to a play button as shown in FIG. 18, and the play can be resumed from the paused position by pressing the button. In addition, the volume of the reproduced sound can be adjusted by thevolume adjustment slider 54. In addition, the menu bar displayed at the top of the enlarged screen also has a menu for changing to the full screen display mode in which the entire screen is the display area. When this is selected, the screen of B5 is entirely displayed in this example. Will be displayed using. This is especially effective when viewing presentation materials made using small fonts. From this full screen display mode, it is possible to exit by a method such as an escape key or a right click of the mouse, and it is possible to return to the display mode as shown in FIG.

次に、図２０に示すフローチャートを参照しながら配信装置１０の処理手順を説明する。
プレゼンテーション資料の取得要求をクライアント端末３０より受け付けると、表示制御モジュール４２の制御によってクライアント端末３０の画面に図１０に示す日時選択画面を表示させる（ステップＳ１１）。クライアント端末３０のユーザによって日付や、画像番号が選択されると（ステップＳ１２／ＹＥＳ）、プレゼン資料検索モジュール４４は、選択された日付や画像識別情報を含むプレゼンテーション資料と、その前後に登録したプレゼンテーション資料とをデータベース８から取り出し、これらのサムネイル画像をクライアント端末３０に表示させる（ステップＳ１３）。その後、クライアント端末３０のポインティングデバイスの操作に応じて、表示制御モジュール４２は、クライアント端末３０に表示する表示画面を切り替える（ステップＳ１４）。クライアント端末３０のユーザによって画像が選択されると（ステップＳ１５／ＹＥＳ）、プレゼン資料配信モジュール４５の制御によって、選択された画像とこれに関連付けられた音声とがクライアント端末３０に配信される（ステップＳ１６）。Next, the processing procedure of thedistribution apparatus 10 will be described with reference to the flowchart shown in FIG.
When the presentation material acquisition request is received from theclient terminal 30, the date control screen shown in FIG. 10 is displayed on the screen of theclient terminal 30 under the control of the display control module 42 (step S11). When the date or image number is selected by the user of the client terminal 30 (step S12 / YES), the presentationmaterial search module 44 presents the presentation material including the selected date and image identification information and the presentations registered before and after the presentation material. The material is taken out from thedatabase 8 and these thumbnail images are displayed on the client terminal 30 (step S13). Thereafter, thedisplay control module 42 switches the display screen displayed on theclient terminal 30 in accordance with the operation of the pointing device of the client terminal 30 (step S14). When an image is selected by the user of the client terminal 30 (step S15 / YES), the selected image and the sound associated therewith are distributed to theclient terminal 30 under the control of the presentation material distribution module 45 (step S15). S16).

上述した実施例１では、複数の画面Ａ，Ｂ，Ｃに表示された画像を、表示された時間に関係なく、等間隔で順に並べて表示しているが、図２１に示す本実施例では、実際のプレゼンテーションでの画像の表示時間に合わせてサムネイル画像を表示している。このため、例えば、Ｂ２の画像は短時間で切り替わっているので、重なっており、Ｂ２のサムネイル画像を完全に表示させることができない。  In the first embodiment described above, the images displayed on the plurality of screens A, B, and C are displayed side by side at regular intervals regardless of the displayed time. In this embodiment shown in FIG. Thumbnail images are displayed according to the display time of images in actual presentations. For this reason, for example, since the B2 images are switched in a short time, they overlap, and the thumbnail images of B2 cannot be displayed completely.

この例でも上述した実施例１と同様に、マーカ５２をポインティングデバイスで選択して、横方向に動かすことにより、時間軸に沿って、表示画像の列を切り替えている。図２２は、その様子を示したもので、マーカ５２を右に動かして、左に画面Ａの４枚目のスライドであるＡ４、中央に画面Ｂの５枚目のスライドであるＢ５、右に画面Ｃの３枚目のスライドであるＣ３の各スライドが表示される様子を示している。  In this example as well, as in the first embodiment described above, the marker 52 is selected by the pointing device and moved in the horizontal direction, thereby switching the display image sequence along the time axis. FIG. 22 shows this state. The marker 52 is moved to the right, the left slide is A4 which is the fourth slide of the screen A, the fifth slide of the screen B is B5 at the center, and the right side. It shows how each slide of C3, which is the third slide of screen C, is displayed.

変形例として、図２３のように、サムネイルを表示せずに、複数の画面Ａ，Ｂ，Ｃの画像だけを表示してもよい。また、このとき、タイムスライダ５１を垂直に配置してもよい。このとき、図１２から図１７で示したように、ポインタ５６を画面上に移動させることによって、その画面を拡大表示する。また、図１８、図１９で示したように、画像をクリックすることにより、さらに拡大表示するような機能を組み合わせてユーザインターフェースを構成している。  As a modified example, as shown in FIG. 23, only the images of a plurality of screens A, B, and C may be displayed without displaying thumbnails. At this time, the time slider 51 may be arranged vertically. At this time, as shown in FIGS. 12 to 17, the screen is enlarged and displayed by moving the pointer 56 on the screen. Further, as shown in FIGS. 18 and 19, the user interface is configured by combining functions for further enlargement display by clicking an image.

本実施例では、ビデオ取り込み部を画面数に応じて複数設けるのではなく、図２４に示すように１つのビデオ取り込み部２を設けて、複数の画面のそれぞれに対応する複数チャンネルのビデオ信号を入力するように構成する。ビデオ取り込み部２は、各チャンネルを順次走査しながら、各チャンネルを識別するチャンネル識別信号とそのチャンネルのビデオ信号を出力する。
また、図２５に示すようにプレゼンテーションの画面それぞれにプレゼンテーション用のＰＣが接続される構成でもかまわない。In this embodiment, a plurality of video capturing units are not provided according to the number of screens, but a singlevideo capturing unit 2 is provided as shown in FIG. 24, and video signals of a plurality of channels corresponding to the plurality of screens are provided. Configure to enter. Thevideo capturing unit 2 outputs a channel identification signal for identifying each channel and a video signal of the channel while sequentially scanning each channel.
In addition, as shown in FIG. 25, a presentation PC may be connected to each presentation screen.

上述した実施例は本発明の好適な実施例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。例えば、図１に示す実施例１では、画像サンプリング部３、画像コンバータ４、画像更新管理部５、テキスト抽出部６、音声入力部７をそれぞれハードウェアで構成していたが、これらの装置を図８に示す配信装置１０のようにＣＰＵ３１，ＲＯＭ３２，ＲＡＭ３３，ＮＶＲＡＭ３４，Ｉ／Ｏポート３５等から構成し、ＣＰＵ３１によるソフトウェア制御によって実現することもできる。  The embodiment described above is a preferred embodiment of the present invention. However, the present invention is not limited to this, and various modifications can be made without departing from the scope of the present invention. For example, in the first embodiment shown in FIG. 1, theimage sampling unit 3, theimage converter 4, the imageupdate management unit 5, thetext extraction unit 6, and thevoice input unit 7 are each configured by hardware. Like thedistribution apparatus 10 shown in FIG. 8, thedistribution apparatus 10 includes aCPU 31, aROM 32, aRAM 33, anNVRAM 34, an I /O port 35, and the like, and can be realized by software control by theCPU 31.

また、図４に示す画像データ、そのサムネイル画像、音声データを保存したデータベース８と配信装置１０とから会議情報表示装置４０を構成し（図２６参照）、ネットワーク上に配置されたクライアント端末３０にプレンゼンテーション資料を配信する構成であってもよい。
さらに、図２７に示すように配信装置１０をネットワーク上に別途配置し、このネットワーク上の配信装置１０によってプレンゼンテーション資料をクライアント端末３０に配布する構成であってもよい。Further, the conferenceinformation display device 40 is configured by thedatabase 8 storing the image data, the thumbnail image, and the audio data shown in FIG. 4 and the distribution device 10 (see FIG. 26), and theclient terminal 30 arranged on the network It may be configured to distribute presentation materials.
Furthermore, as shown in FIG. 27, thedistribution device 10 may be separately arranged on the network, and the presentation material may be distributed to theclient terminal 30 by thedistribution device 10 on the network.

また、上述した実施例では、第１の表示領域５０にサムネイル画像を複数の画面Ａ，Ｂ，Ｃごとに、画像の生成順に並べているが、サムネイル画像は、画像の生成順でなくてもよく、また複数の画面のうちの代表画面だけを表示してもよい。
また、第２の表示領域５５には、３面Ａ，Ｂ，Ｃを使って表示されたプレゼンテーション画像を表示しているが、プレゼンテーション画像の表示内容を表す表示であればよい。In the above-described embodiment, the thumbnail images are arranged in thefirst display area 50 in the image generation order for each of the plurality of screens A, B, and C. However, the thumbnail images may not be in the image generation order. In addition, only a representative screen of a plurality of screens may be displayed.
In addition, although the presentation image displayed using the three surfaces A, B, and C is displayed in thesecond display area 55, it may be a display representing the display content of the presentation image.

会議情報保存装置の構成を示すブロック図である。It is a block diagram which shows the structure of a meeting information storage apparatus.３画面Ａ，Ｂ，Ｃに表示される画像を、時間の流れに沿って時系列で表示した例である。This is an example in which images displayed on the three screens A, B, and C are displayed in time series along the flow of time.画像サンプリング部でサンプリングされる画像列を示す図である。It is a figure which shows the image sequence sampled by the image sampling part.データベースに保存される属性データの構成を示す図である。It is a figure which shows the structure of the attribute data preserve | saved at a database.画像サンプリング部でサンプリングされる画像列と、音声入力部で入力される音声データとの関連付けを説明するための図である。It is a figure for demonstrating the correlation with the image sequence sampled by the image sampling part, and the audio | voice data input by an audio | voice input part.画像データと音声データの取得時の手順を示すフローチャートである。It is a flowchart which shows the procedure at the time of acquisition of image data and audio | voice data.ネットワークに接続されたプレゼンテーション資料再生支援装置とクライアント端末とを示す図である。It is a figure which shows the presentation material reproduction | regeneration assistance apparatus and client terminal which were connected to the network.配信装置の構成を示すブロック図である。It is a block diagram which shows the structure of a delivery apparatus.ソフトウェア制御によって実現されるソフトウェア機能ブロック図である。It is a software functional block diagram implement | achieved by software control.日付選択画面の一例を示す図である。It is a figure which shows an example of a date selection screen.サムネイル画像の一例を示す図である。It is a figure which shows an example of a thumbnail image.所望の画像を選択するための表示画面の一例を示す図である。It is a figure which shows an example of the display screen for selecting a desired image.所望の画像を選択するための表示画面の一例であり、マーカを移動させることによって、プレゼンテーション画像の表示を切り替える方法を説明する図である。It is an example of a display screen for selecting a desired image, and is a diagram illustrating a method for switching the display of a presentation image by moving a marker.所望の画像を選択するための表示画面の一例であり、ポインタの使用方法を説明するための図である。It is an example of a display screen for selecting a desired image, and is a diagram for explaining how to use a pointer.所望の画像を選択するための表示画面の一例であり、ポインタによってプレゼンテーション画像を拡大表示する方法を説明するための図である。It is an example of a display screen for selecting a desired image, and is a diagram for explaining a method for enlarging and displaying a presentation image with a pointer.所望の画像を選択するための表示画面の一例であり、拡大表示したプレゼンテーション画像を通常のサイズに戻す方法を説明するための図である。It is an example of a display screen for selecting a desired image, and is a diagram for explaining a method for returning an enlarged presentation image to a normal size.所望の画像を選択するための表示画面の一例であり、拡大表示したプレゼンテーション画像を通常のサイズに戻す方法を説明するための図である。It is an example of a display screen for selecting a desired image, and is a diagram for explaining a method for returning an enlarged presentation image to a normal size.所望の画像を選択するための表示画面の一例であり、プレゼンテーション画像の表示方法の一例を示す図である。It is an example of a display screen for selecting a desired image, and is a diagram illustrating an example of a method for displaying a presentation image.所望の画像を選択するための表示画面の一例であり、プレゼンテーション画像の表示方法の一例を示す図である。It is an example of a display screen for selecting a desired image, and is a diagram illustrating an example of a method for displaying a presentation image.配信装置の処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of a delivery apparatus.所望の画像を選択するための表示画面の他の例を示す図である。It is a figure which shows the other example of the display screen for selecting a desired image.所望の画像を選択するための表示画面の他の例を示す図である。It is a figure which shows the other example of the display screen for selecting a desired image.所望の画像を選択するための表示画面の他の例を示す図である。It is a figure which shows the other example of the display screen for selecting a desired image.会議情報保存装置の他の構成を示す図である。It is a figure which shows the other structure of a meeting information storage apparatus.会議情報保存装置の他の構成を示す図である。It is a figure which shows the other structure of a meeting information storage apparatus.データベースと配信装置とからなる会議情報保存装置の構成を示す図である。It is a figure which shows the structure of the meeting information storage apparatus which consists of a database and a delivery apparatus.配信装置をネットワーク上に配置し、このネットワーク上の配信装置によってプレンゼンテーション資料を配布する構成を示す図である。It is a figure which shows the structure which arrange | positions a delivery apparatus on a network and distributes presentation material by the delivery apparatus on this network.

符号の説明Explanation of symbols

Ａ，Ｂ，Ｃ 画面
１ 会議資料保存装置
２Ａ，２Ｂ，２Ｃ ビデオ取り込み部
３ 画像サンプリング部
４ 画像コンバータ
５ 画像更新管理部
６ テキスト抽出部
７ 音声入力部
８ データベース
９ 入出力部
１０ 配信装置
１１ マイク
１２ システムバス
２０ プレゼンテーション用ＰＣ
２１Ａ，２１Ｂ，２１Ｃ ビデオカード
３０ クライアント端末A, B,C screen 1 Meetingmaterial storage device 2A, 2B, 2CVideo capture unit 3Image sampling unit 4Image converter 5 Imageupdate management unit 6Text extraction unit 7Audio input unit 8Database 9 Input /output unit 10Distribution device 11Microphone 12System bus 20 PC for presentation
21A, 21B,21C Video card 30 Client terminal

Claims (14)

Translated fromJapanese

複数の画面に表示される画像情報を取り込む取込手段と、
前記取込手段で取り込んだ画像情報から静止画像の画像情報を生成する生成手段と、
生成された画像情報に、該画像情報の生成時刻情報と、前記画像情報が表示された画面を識別する識別情報と、画面単位に設定される前記画像情報の識別子とを含む属性情報を付与する付与手段と、
を有することを特徴とする会議情報保存装置。Capture means for capturing image information displayed on a plurality of screens;
Generating means for generating image information of a still image from the image information captured by the capturing means;
Attribute information including generation time information of the image information, identification information for identifying a screen on which the image information is displayed, and an identifier of the image information set for each screen is added to the generated image information. Granting means;
A conference information storage device characterized by comprising: 音声を音声データとして入力する音声入力手段と、
前記音声データを、画像情報が画面に表示されている期間ごとに分割する分割手段と、
前記画像情報と、前記音声データとを関連付けて記憶する記憶手段と、
選択された画像情報を表示させる際に、該画像情報に関連付けられた音声データの再生を行う表示再生手段とを有することを特徴とする請求項１記載の会議情報保存装置。Voice input means for inputting voice as voice data;
Dividing means for dividing the audio data for each period in which image information is displayed on the screen;
Storage means for storing the image information and the audio data in association with each other;
2. The conference information storage device according to claim 1, further comprising display reproduction means for reproducing audio data associated with the image information when displaying the selected image information. 会議の終了までに取得した画像情報の縮小画像を表示した第１の表示領域と、選択された縮小画像の表示内容を前記複数の画面ごとに表示した第２の表示領域とを含む画像を表示させる表示制御手段を有することを特徴とする請求項１又は２記載の会議情報保存装置。  An image including a first display area that displays a reduced image of the image information acquired before the end of the meeting and a second display area that displays the display content of the selected reduced image for each of the plurality of screens is displayed. 3. The conference information storage device according to claim 1, further comprising display control means for causing the display information to be displayed. 前記第１の表示領域は、前記画像情報の縮小画像を、前記複数の画面ごとに、前記生成手段の生成順に並べて表示した領域であることを特徴とする請求項３記載の会議情報保存装置。  4. The conference information storage device according to claim 3, wherein the first display area is an area in which reduced images of the image information are arranged and displayed for each of the plurality of screens in the generation order of the generation unit. 前記第２の表示領域は、前記選択された縮小画像の縮尺を変更して、拡大表示した領域であることを特徴とする請求項３又は４記載の会議情報保存装置。  5. The conference information storage device according to claim 3, wherein the second display area is an area that is enlarged and displayed by changing the scale of the selected reduced image. 前記表示制御手段は、会議の終了までの間に取得した画像情報の全体的な取得期間を示す期間表示と、該期間表示内を移動する移動表示とを前記第１の表示領域に合わせて表示し、
前記第１の表示領域に表示された縮小画像のうち、前記移動表示位置の縮小画像の縮尺を変換した画像を、前記第２の表示領域に表示させることを特徴とする請求項３記載の会議情報保存装置。The display control means displays a period display indicating an overall acquisition period of image information acquired until the end of the meeting and a moving display moving within the period display in accordance with the first display area. And
4. The conference according to claim 3, wherein among the reduced images displayed in the first display area, an image obtained by converting the scale of the reduced image at the moving display position is displayed in the second display area. Information storage device. 前記取得手段は、取得した画像を前回の取得画像と比較し、同一の画像であると判定すると、画像の取り込みを中止することを特徴とする請求項１から６のいずれか一項記載の会議情報保存装置。  The meeting according to claim 1, wherein the acquisition unit compares the acquired image with the previous acquired image and determines that the acquired image is the same image, and stops capturing the image. Information storage device. 前記属性情報として、各画面に表示される画像情報の内容の種別を表す情報を含み、
前記表示制御手段は、前記内容の種別を表す情報をもとに、画像情報を選択的に表示することを特徴とする請求項１から７のいずれか一項記載の会議情報保存装置。As the attribute information, including information indicating the type of content of image information displayed on each screen,
The conference information storage device according to claim 1, wherein the display control unit selectively displays image information based on information indicating the type of the content. 前記種別を表す情報には、主となる会議資料であるのか、該会議資料の補助資料であるのかを示す情報と、会議資料が会議の全体構成を示す資料であるのか、各論部分を示す資料であるのかを示す情報との少なくとも１つを含むことを特徴とする請求項８記載の会議情報保存装置。  The information indicating the type includes information indicating whether it is a main meeting material or auxiliary material of the meeting material, and whether the meeting material is a material indicating the entire structure of the meeting, or a material indicating each argument part. 9. The conference information storage device according to claim 8, wherein the conference information storage device includes at least one of information indicating whether or not. 複数の画面に表示される画像情報を取り込む取込手段と、前記取得手段で取り込んだ画像情報から静止画像の画像情報を生成する生成手段と、前記生成された画像情報に、該画像情報の生成時刻情報と、前記画像情報が表示された画面の識別情報と、画面単位に設定される前記画像情報の識別子とを含む属性情報を付与する付与手段と、前記画像情報と前記属性情報とを関連付けて記憶する記憶手段と、を有する会議情報保存装置と、
前記記憶手段に記憶した複数の画面の画像情報と、該画像情報に関連付けられた音声データとを取得要求のあった端末に配信する配信装置と、を有することを特徴とするシステム。Capture means for capturing image information displayed on a plurality of screens, generation means for generating image information of a still image from the image information captured by the acquisition means, and generation of the image information in the generated image information An assigning unit for assigning attribute information including time information, identification information of a screen on which the image information is displayed, and an identifier of the image information set in units of screens, and associating the image information with the attribute information A meeting information storage device having storage means for storing
A system comprising: a distribution device that distributes image information of a plurality of screens stored in the storage means and audio data associated with the image information to a terminal that has requested acquisition. 前記配信装置は、会議の終了までに取得される画像情報の縮小画像を表示した第１の表示領域と、選択された縮小画像の表示内容を前記複数の画面ごとに表示した第２の表示領域とを含む画像を前記取得要求のあった端末に配信することを特徴とする請求項１０記載のシステム。  The distribution apparatus includes a first display area that displays a reduced image of image information acquired before the end of the conference, and a second display area that displays the display content of the selected reduced image for each of the plurality of screens. The system according to claim 10, wherein an image including: is distributed to the terminal that requested the acquisition. 複数の画面に表示された画像情報を静止画像として取り込み、該画像情報の生成時刻情報と、前記画像情報が表示された画面を識別する識別情報と、画面単位に設定される前記画像情報の識別子とを含む属性情報と共に記憶した記憶手段と、
情報の取得要求を受け付けると、会議の終了までに取得される画像情報の縮小画像を表示した第１の表示領域と、選択された縮小画像の表示内容を前記複数の画面ごとに表示した第２の表示領域とを含む画像を表示することを特徴とする会議情報表示装置。Image information displayed on a plurality of screens is captured as a still image, generation time information of the image information, identification information for identifying the screen on which the image information is displayed, and an identifier of the image information set for each screen Storage means stored together with attribute information including:
When the information acquisition request is received, the first display area displaying the reduced image of the image information acquired before the end of the conference, and the second display displaying the display content of the selected reduced image for each of the plurality of screens. An image including a display area of the conference information is displayed. コンピュータを、
複数の画面に表示される画像情報を取り込む取込手段と、
前記取込手段で取り込んだ画像情報から静止画像の画像情報を生成する生成手段と、
生成された画像情報に、該画像情報の生成時刻情報と、前記画像情報が表示された画面を識別する識別情報と、画面単位に設定される前記画像情報の識別子とを含む属性情報を付与する付与手段として機能させることを特徴とするプログラム。Computer
Capture means for capturing image information displayed on a plurality of screens;
Generating means for generating image information of a still image from the image information captured by the capturing means;
Attribute information including generation time information of the image information, identification information for identifying a screen on which the image information is displayed, and an identifier of the image information set for each screen is added to the generated image information. A program characterized by functioning as a granting means. コンピュータを、
会議の終了までに取得される画像情報の縮小画像を表示した第１の表示領域と、選択された縮小画像の表示内容を前記複数の画面ごとに表示した第２の表示領域とを含む画像を表示させる表示制御手段として機能させることを特徴とする請求項１３記載のプログラム。Computer
An image including a first display area that displays a reduced image of image information acquired by the end of the conference, and a second display area that displays the display content of the selected reduced image for each of the plurality of screens. 14. The program according to claim 13, wherein the program functions as display control means for displaying.

Images