WO2024018601A1 - Display screen creation system, display screen creation method, and image relay program - Google Patents

Abstract

A display screen creation system according to one aspect of this invention includes: a plurality of low-order processing servers each of which is accessed from a plurality of user terminals; and a high-order processing server that communicates with the plurality of low-order processing servers. Each of the plurality of low-order processing servers, in accordance with a first refinement algorithm, narrows down the images received from each of the plurality of user terminals to a plurality of images less than the total number of received images, and transmits, to the high-order processing server, the narrowed-down plurality of images or images obtained by reducing the number of pixels vertically and horizontally in the narrowed-down plurality of images. The high-order processing server, in accordance with a second refinement algorithm, narrows down the images received from each of the plurality of low-order processing servers to a plurality of images less than the total number of received images, and creates a display screen on which are laid out the narrowed-down plurality of images or images obtained by reducing the number of pixels vertically and horizontally in the narrowed-down plurality of images.

Description

Translated fromJapanese

表示画面作成システム、表示画面作成方法及び画像中継プログラムDisplay screen creation system, display screen creation method, and image relay program

　この発明の一態様は、表示画面作成システム、表示画面作成方法及び画像中継プログラムに関する。One aspect of the present invention relates to a display screen creation system, a display screen creation method, and an image relay program.

　イベントを開催している会場に集まっている人と自宅などから個々にそのイベントにリモートで参加する人との間での一体感を持たせるために、自宅から個々にリモートで参加する人の画像を合成した表示画面を作成し、会場内に設置されたスクリーンに表示させることが有る。そのような表示画面を作成するための技術が種々提案されている。Images of people participating remotely from their homes to create a sense of unity between people gathered at the venue where the event is being held and people participating remotely from their homes. A composite display screen may be created and displayed on a screen installed in the venue. Various techniques have been proposed for creating such display screens.

　例えば、特許文献１は、多地点に位置する複数の通信端末を用いて会議を行うための多地点会議において、複数の通信端末と接続された多地点会議接続装置にて、複数の通信端末から送信されてきた映像をリサイズしてから合成映像とすることで、合成処理の負荷を軽減することを提案している。For example, Patent Document 1 discloses that in a multipoint conference for holding a conference using a plurality of communication terminals located at multiple points, a multipoint conference connection device connected to the plurality of communication terminals connects the plurality of communication terminals. It is proposed to reduce the load on compositing processing by resizing the transmitted video and then creating a composite video.

　また、特許文献２は、複数の通信端末から送信される映像のビットレートやフレームレート等の符号化パラメータを、送信側端末とは別の値を選択して合成映像を符号化することで、ネットワーク上の無駄なトラフィックを軽減することを提案している。In addition, Patent Document 2 discloses that by encoding a composite video by selecting values different from those of the transmitting terminal for encoding parameters such as bit rate and frame rate of video transmitted from a plurality of communication terminals, It is proposed to reduce unnecessary traffic on the network.

　また、特許文献３は、入力映像の各々を複数の倍率によって変倍して、入力映像毎に複数の変倍された入力映像を作成し、映像配置情報に基づいて合成映像を作成することを提案している。Further, Patent Document 3 discloses that each input video is scaled by a plurality of magnification factors, a plurality of scaled input videos are created for each input video, and a composite video is created based on video arrangement information. is suggesting.

日本国特開２０１２－０７４９８１号公報Japanese Patent Application Publication No. 2012-074981日本国特開２００９－１１７８９６号公報Japanese Patent Application Publication No. 2009-117896日本国特開２００６－２２２９４２号公報Japanese Patent Application Publication No. 2006-222942

　従来提案されている技術では、多地点会議で想定されている端末数はせいぜい５０個以下であり、これ以上の多くのユーザのアクセスが有るイベントにおいては、数が多すぎて適用することができない。In the conventionally proposed technology, the number of terminals expected in a multipoint conference is at most 50 or less, and the number is too large to be applied in an event with access from many more users. .

　これに対して、ユーザ数が少ないイベントにおいては、特許文献１乃至３に提案されているような技術が適用でき、全員分の画像を合成して同一画面内で表示することができる。しかしながら、リモートで参加するユーザの状態とは無関係にユーザの画像が表示されるので、１ユーザ当たりの表示面積も小さくなってしまう。そのため、イベント参加者間の一体感の向上には必ずしもつながらない。On the other hand, in an event where the number of users is small, techniques such as those proposed in Patent Documents 1 to 3 can be applied, and images for all users can be combined and displayed on the same screen. However, since the user's image is displayed regardless of the status of the user who participates remotely, the display area per user also becomes small. Therefore, this does not necessarily lead to an improvement in the sense of unity among event participants.

　一体感向上のためには、リモートで参加するユーザの盛り上がり等の度合いに応じてユーザを選別し、選択したユーザを優先して表示させることが有効である。しかしながら、それを実現するためには、リモートで参加している全員分の画像を受信すると共に、各ユーザの盛り上がり等の度合いを測り得る何らかの入力情報に基づいて、表示させるユーザを選択する必要が有る。そのため、画像や入力情報のデータ量が大量になり、必然的に、ユーザを選別する処理も重くなるため、表示画面の作成に時間が掛かり、表示遅延が多くなってしまう。In order to improve the sense of unity, it is effective to select users according to the level of enthusiasm of the users who participate remotely, and to display the selected users with priority. However, in order to achieve this, it is necessary to receive images for all participants remotely and to select users to display based on some input information that can measure the degree of excitement of each user. Yes. As a result, the amount of data of images and input information becomes large, and the process of selecting users becomes heavy, so it takes time to create a display screen, and display delays increase.

　この発明は、上記事情に着目してなされたもので、その目的とするところは、リモートで参加する多数のユーザの中から選別したユーザの画像を含む表示画面を遅延少なく作成することを可能とする技術を提供することにある。This invention was made in view of the above circumstances, and its purpose is to make it possible to create a display screen containing an image of a user selected from among a large number of users participating remotely with less delay. The goal is to provide technology that will

　上記課題を解決するために、この発明の一態様の表示画面作成システムは、それぞれ複数のユーザ端末からアクセスされる複数の下位処理サーバと、それら複数の下位処理サーバと通信する上位処理サーバと、を含む。複数の下位処理サーバはそれぞれ、第１の絞り込みアルゴリズムに従って、複数のユーザ端末それぞれから受信した画像を、受信した画像の総数よりも少ない複数の画像に絞り込み、それら絞り込んだ複数の画像又はそれら絞り込んだ複数の画像の縦及び横の画素数を縮小した画像を上位処理サーバに送信する。上位処理サーバは、第２の絞り込みアルゴリズムに従って、複数の下位処理サーバそれぞれから受信した画像を、受信した画像の総数よりも少ない複数の画像に絞り込み、それら絞り込んだ複数の画像又はそれら絞り込んだ複数の画像の縦及び横の画素数を縮小した画像を配置した表示画面を作成する。In order to solve the above problems, a display screen creation system according to one aspect of the present invention includes a plurality of lower processing servers each accessed from a plurality of user terminals, an upper processing server communicating with the plurality of lower processing servers, including. Each of the plurality of lower processing servers narrows down the images received from each of the plurality of user terminals to a plurality of images smaller than the total number of received images according to the first narrowing down algorithm, and narrows down the narrowed down images or the narrowed down images. Images obtained by reducing the number of vertical and horizontal pixels of the plurality of images are transmitted to the higher-level processing server. The upper processing server narrows down the images received from each of the plurality of lower processing servers to a plurality of images smaller than the total number of received images according to the second narrowing down algorithm, and narrows down the narrowed down images or the narrowed down plurality of images. A display screen is created on which an image with the number of vertical and horizontal pixels of the image reduced is arranged.

　この発明の一態様によれば、リモートで参加する多数のユーザの中から選別したユーザの画像を含む表示画面を遅延少なく作成することを可能とする技術を提供することができる。According to one aspect of the present invention, it is possible to provide a technique that allows creating a display screen containing an image of a user selected from among a large number of users participating remotely with little delay.

図１は、この発明の第１実施形態に係る表示画面作成システムの構成の一例を示すブロック図である。FIG. 1 is a block diagram showing an example of the configuration of a display screen creation system according to a first embodiment of the present invention.図２は、第１実施形態に係る表示画面作成システムにおける下位処理サーバのハードウェア構成の一例を示すブロック図である。FIG. 2 is a block diagram showing an example of the hardware configuration of the lower processing server in the display screen creation system according to the first embodiment.図３は、下位処理サーバのソフトウェア構成を示すブロック図である。FIG. 3 is a block diagram showing the software configuration of the lower processing server.図４は、第１実施形態に係る表示画面作成システムにおける上位処理サーバのハードウェア構成の一例を示すブロック図である。FIG. 4 is a block diagram showing an example of the hardware configuration of the higher-level processing server in the display screen creation system according to the first embodiment.図５は、上位処理サーバのソフトウェア構成を示すブロック図である。FIG. 5 is a block diagram showing the software configuration of the higher-level processing server.図６は、下位処理サーバの動作の一例を示すフローチャートである。FIG. 6 is a flowchart illustrating an example of the operation of the lower-level processing server.図７は、上位処理サーバの動作の一例を示すフローチャートである。FIG. 7 is a flowchart showing an example of the operation of the higher-level processing server.図８は、表示画面として作成される合成画像の一例を示す図である。FIG. 8 is a diagram showing an example of a composite image created as a display screen.図９は、第１実施形態の第２変形例における上位処理サーバのソフトウェア構成を示すブロック図である。FIG. 9 is a block diagram showing the software configuration of the higher-level processing server in the second modification of the first embodiment.図１０は、第１実施形態の第２変形例における上位処理サーバの動作の一例を示すフローチャートである。FIG. 10 is a flowchart illustrating an example of the operation of the higher-level processing server in the second modification of the first embodiment.図１１は、第１実施形態の第３変形例における下位処理サーバのソフトウェア構成を示すブロック図である。FIG. 11 is a block diagram showing the software configuration of the lower processing server in the third modification of the first embodiment.図１２は、第１実施形態の第３変形例における下位処理サーバの動作の一例を示すフローチャートである。FIG. 12 is a flowchart illustrating an example of the operation of the lower-level processing server in the third modification of the first embodiment.図１３は、第１実施形態の第４変形例における合成画像の一例を示す図である。FIG. 13 is a diagram illustrating an example of a composite image in the fourth modification of the first embodiment.図１４は、この発明の第２実施形態に係る表示画面作成システムにおける下位処理サーバのソフトウェア構成を示すブロック図である。FIG. 14 is a block diagram showing the software configuration of the lower processing server in the display screen creation system according to the second embodiment of the present invention.図１５は、第２実施形態に係る表示画面作成システムにおける上位処理サーバのソフトウェア構成を示すブロック図である。FIG. 15 is a block diagram showing the software configuration of the higher-level processing server in the display screen creation system according to the second embodiment.図１６は、第２実施形態における下位処理サーバの動作の一例を示すフローチャートである。FIG. 16 is a flowchart illustrating an example of the operation of the lower-level processing server in the second embodiment.図１７は、第２実施形態における上位処理サーバの動作の一例を示すフローチャートである。FIG. 17 is a flowchart illustrating an example of the operation of the higher-level processing server in the second embodiment.図１８は、第２実施形態の第２変形例における下位処理サーバのソフトウェア構成を示すブロック図である。FIG. 18 is a block diagram showing the software configuration of the lower processing server in the second modification of the second embodiment.図１９は、第２実施形態の第４変形例に係る表示画面作成システムの構成の一例を示すブロック図である。FIG. 19 is a block diagram illustrating an example of the configuration of a display screen creation system according to a fourth modification of the second embodiment.図２０は、第２実施形態の第４変形例における下位処理サーバのソフトウェア構成を示すブロック図である。FIG. 20 is a block diagram showing the software configuration of the lower processing server in the fourth modification of the second embodiment.図２１は、第２実施形態の第４変形例における下位処理サーバの配信処理に係わる動作の一例を示すフローチャートである。FIG. 21 is a flowchart illustrating an example of the operation of the lower-level processing server regarding distribution processing in the fourth modification of the second embodiment.図２２は、この発明の第３実施形態に係る表示画面作成システムにおける下位処理サーバのソフトウェア構成を示すブロック図である。FIG. 22 is a block diagram showing the software configuration of the lower processing server in the display screen creation system according to the third embodiment of the present invention.図２３は、第３実施形態における下位処理サーバの動作の一例を示すフローチャートである。FIG. 23 is a flowchart illustrating an example of the operation of the lower-level processing server in the third embodiment.図２４は、第３実施形態における上位処理サーバの動作の一例を示すフローチャートである。FIG. 24 is a flowchart illustrating an example of the operation of the higher-level processing server in the third embodiment.図２５は、第３実施形態の第２変形例における下位処理サーバの動作の一例を示すフローチャートである。FIG. 25 is a flowchart illustrating an example of the operation of the lower-level processing server in the second modification of the third embodiment.図２６は、第３実施形態の第２変形例における上位処理サーバの動作の一例を示すフローチャートである。FIG. 26 is a flowchart illustrating an example of the operation of the higher-level processing server in the second modification of the third embodiment.図２７は、この発明の第４実施形態に係る表示画面作成システムの構成の一例を示すブロック図である。FIG. 27 is a block diagram showing an example of the configuration of a display screen creation system according to the fourth embodiment of the present invention.

　以下、図面を参照してこの発明に係わる実施形態を説明する。Hereinafter, embodiments of the present invention will be described with reference to the drawings.

　［第１実施形態］
　（全体構成）
　図１は、この発明の第１実施形態に係る表示画面作成システムの構成の一例を示すブロック図である。表示画面作成システムは、複数、ここでは２台の第１下位処理サーバ１０－１及び第２下位処理サーバ１０－２と、１台の上位処理サーバ２０と、を含む。また、表示画面作成システムは、管理サーバ３０を含んでも良い。[First embodiment]
(overall structure)
FIG. 1 is a block diagram showing an example of the configuration of a display screen creation system according to a first embodiment of the present invention. The display screen creation system includes a plurality of, here two, a first lower-level processing server 10-1 and a second lower-level processing server 10-2, and one higher-level processing server 20. Further, the display screen creation system may include amanagement server 30.

　第１下位処理サーバ１０－１は、インターネット等のネットワークを介して、複数、例えば最大５０台のユーザ端末ＵＴ１～ＵＴ５０からアクセスが行われる。例えば、１台のユーザ端末は一人のユーザが利用する。ユーザ端末ＵＴ１～ＵＴ５０は、基本的には地理的に別々の場所に存在する。第１下位処理サーバ１０－１は、ユーザ端末ＵＴ１～ＵＴ５０それぞれが存在する場所からネットワークを介して送信されてくるユーザの動画像を受信する。第１下位処理サーバ１０－１は、それら５０人分の動画像の中から、それよりも少ない人数分、例えば２０人分の動画像を選択し、ＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、それら選択した動画像を上位処理サーバ２０に送信する。動画像の選択手法については後述する。The first lower-level processing server 10-1 is accessed from a plurality of user terminals, for example, up to 50 user terminals UT1 to UT50, via a network such as the Internet. For example, one user terminal is used by one user. User terminals UT1 to UT50 basically exist in geographically separate locations. The first lower-level processing server 10-1 receives the user's moving images transmitted via the network from the locations where the user terminals UT1 to UT50 are located. The first lower processing server 10-1 selects video images for a smaller number of people, for example, 20 people, from among the video images for 50 people, and connects them to a network such as a LAN (Local Area Network) or the Internet. The selected moving images are transmitted to the higher-level processing server 20 via. The method for selecting moving images will be described later.

　同様に、第２下位処理サーバ１０－２は、ネットワークを介して、複数、例えば最大５０台のユーザ端末ＵＴ５１～ＵＴ１００からアクセスが行われる。ユーザ端末ＵＴ５１～ＵＴ１００は、基本的には地理的に別々の場所に存在する。また、ユーザ端末ＵＴ５１～ＵＴ１００それぞれとユーザ端末ＵＴ１～ＵＴ５０それぞれとは、基本的には地理的に別々の場所に存在する。第２下位処理サーバ１０－２は、ユーザ端末ＵＴ５１～ＵＴ１００それぞれが存在する場所からネットワークを介して送信されてくるユーザの動画像を受信する。第２下位処理サーバ１０－２は、それら５０人分の動画像の中から、それよりも少ない人数分、例えば２０人分の動画像を選択し、ネットワークを介して、それら選択した動画像を上位処理サーバ２０に送信する。動画像の選択手法については後述する。Similarly, the second lower-level processing server 10-2 is accessed from a plurality of user terminals, for example, up to 50 user terminals UT51 to UT100, via the network. User terminals UT51 to UT100 basically exist in geographically separate locations. Furthermore, each of the user terminals UT51 to UT100 and each of the user terminals UT1 to UT50 are basically located at geographically different locations. The second lower-level processing server 10-2 receives the user's moving images transmitted via the network from the locations where the user terminals UT51 to UT100 are located. The second lower-level processing server 10-2 selects the video images for a smaller number of people, for example, 20 people, from among the video images for the 50 people, and transmits the selected video images via the network. It is transmitted to theupper processing server 20. The method for selecting moving images will be described later.

　なお、本実施形態では、第１下位処理サーバ１０－１と第２下位処理サーバ１０－２は同数のユーザ端末からアクセスされるものとして説明するが、同数である必要は無いことは勿論である。また、イベントに参加しようとするユーザ端末は、ログイン時に自動的に、そのアクセス先が第１下位処理サーバ１０－１及び第２下位処理サーバ１０－２の何れかに割り当てられるようになっている。In this embodiment, the first lower-level processing server 10-1 and the second lower-level processing server 10-2 will be described as being accessed from the same number of user terminals, but it goes without saying that this need not be the same number. . Furthermore, when a user terminal attempts to participate in an event, its access destination is automatically assigned to either the first lower-level processing server 10-1 or the second lower-level processing server 10-2 when logging in. .

　上位処理サーバ２０は、第１下位処理サーバ１０－１及び第２下位処理サーバ１０－２から送信されてきた合計４０人分の動画像の中から、それよりも少ない人数分、例えば１６人分の動画像を選択する。動画像の選択手法については後述する。そして、上位処理サーバ２０は、それら選択した１６人の動画像を合成した表示画面の動画像を作成し、ネットワークを介して第１下位処理サーバ１０－１及び第２下位処理サーバ１０－２に、その作成した表示画面の動画像を送信する。The upper-level processing server 20 selects video images for a smaller number of people, for example, 16 people, from among the video images for a total of 40 people sent from the first lower-level processing server 10-1 and the second lower-level processing server 10-2. Select the video image. The method for selecting moving images will be described later. Then, the higher-level processing server 20 creates a moving image of the display screen by combining the moving images of the 16 selected people, and sends it to the first lower-level processing server 10-1 and the second lower-level processing server 10-2 via the network. , and send the video of the created display screen.

　第１下位処理サーバ１０－１は、上位処理サーバ２０から送信されてきた表示画面の動画像を、ネットワークを介してユーザ端末ＵＴ１～ＵＴ５０に送信する。同様に、第２下位処理サーバ１０－２は、上位処理サーバ２０から送信されてきた表示画面の動画像を、ネットワークを介してユーザ端末ＵＴ５１～ＵＴ１００に送信する。The first lower-level processing server 10-1 transmits the moving image of the display screen transmitted from the higher-level processing server 20 to the user terminals UT1 to UT50 via the network. Similarly, the second lower-level processing server 10-2 transmits the moving image of the display screen transmitted from the higher-level processing server 20 to the user terminals UT51 to UT100 via the network.

　管理サーバ３０は、ネットワークを介して、第１下位処理サーバ１０－１、第２下位処理サーバ１０－２及び上位処理サーバ２０の動作を制御する。例えば、管理サーバ３０は、それらサーバ１０－１，１０－２，２０での動画像の選択に係わる動作を制御することができる。Themanagement server 30 controls the operations of the first lower-level processing server 10-1, the second lower-level processing server 10-2, and the higher-level processing server 20 via the network. For example, themanagement server 30 can control operations related to video image selection in the servers 10-1, 10-2, and 20.

　（下位処理サーバ）
　ここで、第１下位処理サーバ１０－１及び第２下位処理サーバ１０－２について説明する。なお、第１下位処理サーバ１０－１と第２下位処理サーバ１０－２とを特に区別しない場合には、単に下位処理サーバ１０と記す。(lower processing server)
Here, the first lower-level processing server 10-1 and the second lower-level processing server 10-2 will be explained. Note that if the first lower-level processing server 10-1 and the second lower-level processing server 10-2 are not particularly distinguished, they will simply be referred to as the lower-level processing server 10.

　図２は、第１実施形態に係る表示画面作成システムにおける下位処理サーバ１０のハードウェア構成の一例を示すブロック図である。FIG. 2 is a block diagram showing an example of the hardware configuration of thelower processing server 10 in the display screen creation system according to the first embodiment.

　下位処理サーバ１０は、ＰＣ（Personal Computer）やサーバコンピュータ等のコンピュータである。下位処理サーバ１０は、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサ１１Ａを有する。プロセッサ１１Ａは、マルチコア／マルチスレッドのものであって良く、複数の処理を並行して実行することができる。そして、下位処理サーバ１０は、このプロセッサ１１Ａに対し、プログラムメモリ１１Ｂ、データメモリ１２、入出力インタフェース１３及び通信インタフェース１４を、バス１５を介して接続したものとなっている。Thelower processing server 10 is a computer such as a PC (Personal Computer) or a server computer. Thelower processing server 10 includes, for example, a processor 11A such as a CPU (Central Processing Unit). The processor 11A may be multi-core/multi-threaded and can execute multiple processes in parallel. Thelower processing server 10 has aprogram memory 11B, adata memory 12, an input/output interface 13, and acommunication interface 14 connected to the processor 11A via abus 15.

　プログラムメモリ１１Ｂは、記憶媒体として、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の随時書込み及び読出しが可能な不揮発性メモリと、ＲＯＭ（Read Only Memory）等の不揮発性メモリとを組み合わせて使用したものである。プログラムメモリ１１Ｂは、プロセッサ１１Ａが各種処理を実行するために必要なプログラムを格納する。プログラムは、ＯＳ（Operating System）やアプリケーションプログラムに加えて、一実施形態に係る画像中継プログラムを含む。Theprogram memory 11B can be used as a storage medium, for example, non-volatile memory such as HDD (Hard Disk Drive) or SSD (Solid State Drive) that can be written to and read from at any time, and non-volatile memory such as ROM (Read Only Memory). It is used in combination. Theprogram memory 11B stores programs necessary for the processor 11A to execute various processes. In addition to the OS (Operating System) and application programs, the programs include an image relay program according to one embodiment.

　データメモリ１２は、記憶媒体として、例えば、ＨＤＤ又はＳＳＤ等の随時書込み及び読出しが可能な不揮発性メモリと、ＲＡＭ（Random Access Memory）等の揮発性メモリとを組み合わせて使用したストレージである。データメモリ１２は、各種処理を行う過程で取得及び作成されたデータを記憶するために用いられる。Thedata memory 12 is a storage that uses a combination of a nonvolatile memory such as an HDD or SSD that can be written to and read from at any time, and a volatile memory such as a RAM (Random Access Memory) as a storage medium. Thedata memory 12 is used to store data acquired and created in the process of performing various processes.

　入出力インタフェース１３は、入力装置１６とのインタフェースである。入力装置１６は、この下位処理サーバ１０を管理するサーバ管理者がプロセッサ１１Ａに対して指示を入力するためのキーボードやポインティングデバイス等を含む。さらに、入力装置１６は、データメモリ１２に格納するべきファイルやデータを、ＵＳＢメモリ等のメモリ媒体から読み出すためのリーダ、又は、そのようなファイルやデータをディスク媒体から読み出すためのディスク装置を含み得る。The input/output interface 13 is an interface with theinput device 16. Theinput device 16 includes a keyboard, a pointing device, etc. used by a server administrator who manages thelower processing server 10 to input instructions to the processor 11A. Furthermore, theinput device 16 includes a reader for reading files and data to be stored in thedata memory 12 from a memory medium such as a USB memory, or a disk device for reading such files and data from a disk medium. obtain.

　通信インタフェース１４は、ネットワークと接続するための有線及び／又は無線通信部である。この通信インタフェース１４は、ネットワークを介して複数のユーザ端末及び上位処理サーバ２０との間で、ユーザの動画像のやり取りをすることができる。さらに、通信インタフェース１４は、ネットワークを介して外部の管理装置、例えば管理サーバ３０との間で、プロセッサ１１Ａに対する指示入力及びプロセッサ１１Ａからの出力データをやり取りすることができる。よって、下位処理サーバ１０は、必ずしも入力装置１６を備えていなくても良い。Thecommunication interface 14 is a wired and/or wireless communication unit for connecting to a network. Thiscommunication interface 14 can exchange user moving images with a plurality of user terminals and the higher-level processing server 20 via the network. Furthermore, thecommunication interface 14 can exchange instructions input to the processor 11A and output data from the processor 11A with an external management device such as themanagement server 30 via the network. Therefore, thelower processing server 10 does not necessarily have to include theinput device 16.

　図３は、下位処理サーバ１０のソフトウェア構成を、図２に示したハードウェア構成と関連付けて示すブロック図である。FIG. 3 is a block diagram showing the software configuration of thelower processing server 10 in association with the hardware configuration shown in FIG. 2.

　処理部１１は、上記プロセッサ１１Ａと上記プログラムメモリ１１Ｂとから構成され、ソフトウェアによる処理機能部として、ユーザ画像受信部１１１と、画像選択部１１２と、選択画像送信部１１３と、を備える。これらの処理機能部は、何れもプログラムメモリ１１Ｂに格納されたプログラムを、上記プロセッサ１１Ａに実行させることにより実現される。処理部１１は、また、ＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（field-programmable gate array）、ＧＰＵ（Graphics Processing Unit）、等の集積回路を含む、他の多様な形式で実現されても良い。Theprocessing unit 11 is composed of the processor 11A and theprogram memory 11B, and includes a userimage receiving unit 111, animage selecting unit 112, and a selectedimage transmitting unit 113 as software processing function units. These processing functional units are realized by causing the processor 11A to execute programs stored in theprogram memory 11B. Theprocessing unit 11 may also be implemented in various other forms including integrated circuits such as ASIC (Application Specific Integrated Circuit), DSP (Digital Signal Processor), FPGA (field-programmable gate array), GPU (Graphics Processing Unit), etc. It may be realized by

　また、データメモリ１２の記憶領域は、ユーザ画像記憶部１２１と、学習データ記憶部１２２と、を備える。Furthermore, the storage area of thedata memory 12 includes a userimage storage section 121 and a learningdata storage section 122.

　処理部１１のユーザ画像受信部１１１は、通信インタフェース１４によりネットワークを介して複数のユーザ端末からユーザの動画像を取得する機能を有している。すなわち、第１下位処理サーバ１０－１のユーザ画像受信部１１１は、例えば５０台のユーザ端末ＵＴ１～ＵＴ５０それぞれからユーザの動画像を取得し、第２下位処理サーバ１０－２のユーザ画像受信部１１１は、例えば５０台のユーザ端末ＵＴ５１～ＵＴ１００それぞれからユーザの動画像を取得する。ユーザ画像受信部１１１は、取得した５０人分のユーザの動画像をデータメモリ１２のユーザ画像記憶部１２１に記憶させる。この際、ユーザ画像受信部１１１は、それら取得した５０人分のユーザの動画像の縦及び横の画素数を縮小してから、ユーザ画像記憶部１２１に記憶させるようにしても良い。なお、以下の説明において、ユーザ端末ＵＴ１～ＵＴ１００を特に区別しない場合には、単にユーザ端末ＵＴと記す。The userimage receiving unit 111 of theprocessing unit 11 has a function of acquiring user moving images from a plurality of user terminals via the network via thecommunication interface 14. That is, the userimage receiving unit 111 of the first lower-level processing server 10-1 acquires the user's moving image from each of the 50 user terminals UT1 to UT50, for example, and transmits the user image receiving unit of the second lower-level processing server 10-2 to the userimage receiving unit 111 of the first lower-level processing server 10-1. 111 acquires a user's moving image from each of the 50 user terminals UT51 to UT100, for example. The userimage receiving unit 111 stores the acquired moving images of 50 users in the userimage storage unit 121 of thedata memory 12. At this time, the userimage receiving section 111 may reduce the number of vertical and horizontal pixels of the acquired moving images of the 50 users before storing them in the userimage storage section 121. In the following description, if the user terminals UT1 to UT100 are not particularly distinguished, they will simply be referred to as user terminals UT.

　データメモリ１２の学習データ記憶部１２２は、ユーザの動画像を選択するのに使用する学習データを記憶している。例えば、学習データ記憶部１２２は、人が特定の色を発光するケミカルライトを振っている動画像を、人やケミカルライトの振り方や背景を変えて多数通り学習した学習データを記憶している。The learningdata storage unit 122 of thedata memory 12 stores learning data used to select a user's moving image. For example, the learningdata storage unit 122 stores learning data obtained by learning multiple video images of a person waving a chemical light that emits a specific color by changing the way the person and the chemical light are waving and the background. .

　処理部１１の画像選択部１１２は、規定のユーザ選択アルゴリズムに基づいて、データメモリ１２のユーザ画像記憶部１２１に記憶された、各ユーザから送信された動画像の中から、上位処理サーバ２０に送信するべき動画像を選択する機能を有している。規定のユーザ選択アルゴリズムは、例えば、ユーザ画像記憶部１２１に記憶された５０人分の動画像の中から、学習データ記憶部１２２に学習データとして記憶されている学習済みの動画像との合致度が高い上位２０人の動画像を選択する、というアルゴリズムとすることができる。このようにして、画像選択部１１２は、取得したユーザの動画像数よりも少ない数のユーザの動画像を選択する。画像選択部１１２は、その選択結果を、処理部１１の選択画像送信部１１３に伝達する。Theimage selection unit 112 of theprocessing unit 11 selects the moving images sent from each user, which are stored in the userimage storage unit 121 of thedata memory 12, to the higher-level processing server 20 based on a prescribed user selection algorithm. It has a function to select moving images to be sent. The prescribed user selection algorithm is, for example, based on the degree of matching with a learned moving image stored as learning data in the learningdata storage unit 122 from among the moving images of 50 people stored in the userimage storage unit 121. An algorithm may be used to select the top 20 video images with the highest values. In this way, theimage selection unit 112 selects a smaller number of user moving images than the number of acquired user moving images. Theimage selection unit 112 transmits the selection result to the selectedimage transmission unit 113 of theprocessing unit 11.

　処理部１１の選択画像送信部１１３は、画像選択部１１２での選択結果に従って、データメモリ１２のユーザ画像記憶部１２１に記憶されている５０人分の動画像の中から２０人分の動画像を読み出し、それら読み出した動画像を通信インタフェース１４により上位処理サーバ２０に送信する機能を有している。なお、ユーザ画像記憶部１２１に記憶されている動画像が、画素数を縮小された動画像ではない場合、選択画像送信部１１３は、読み出した５０人分の動画像の縦及び横の画素数を縮小してから、上位処理サーバ２０に送信するようにしても良い。勿論、選択画像送信部１１３は、画素数を縮小していない動画像をそのまま送信するものであっても構わない。The selectedimage transmission unit 113 of theprocessing unit 11 selects video images of 20 people from among the video images of 50 people stored in the userimage storage unit 121 of thedata memory 12 according to the selection result of theimage selection unit 112. It has a function of reading out the moving images and transmitting the read moving images to thehost processing server 20 via thecommunication interface 14. Note that if the moving image stored in the userimage storage unit 121 is not a moving image with a reduced number of pixels, the selectedimage transmitting unit 113 uses the number of vertical and horizontal pixels of the read moving images of 50 people. The data may be transmitted to the higher-level processing server 20 after being reduced in size. Of course, the selectedimage transmitter 113 may transmit the moving image without reducing the number of pixels as it is.

　（上位処理サーバ）
　次に、上位処理サーバ２０について説明する。図４は、第１実施形態に係る上位処理サーバ２０のハードウェア構成の一例を示すブロック図である。(Upper processing server)
Next, the higher-level processing server 20 will be explained. FIG. 4 is a block diagram showing an example of the hardware configuration of the higher-level processing server 20 according to the first embodiment.

　上位処理サーバ２０は、ＰＣやサーバコンピュータ等のコンピュータであり、下位処理サーバ１０と同様に、プロセッサ２１Ａを有する。プロセッサ１１Ａは、マルチコア／マルチスレッドのものであって良く、複数の処理を並行して実行することができる。そして、下位処理サーバ１０と同様に、上位処理サーバ２０は、このプロセッサ２１Ａに対し、プログラムメモリ２１Ｂ、データメモリ２２、入出力インタフェース２３及び通信インタフェース２４を、バス２５を介して接続したものとなっている。入出力インタフェース２３には、入力装置２６及び／又は出力装置２７が接続されも良い。なお、出力装置２７は、例えば、プロセッサ２１Ａからの出力データを表示する、イベント会場に設置された大型ディスプレイ、イベント会場に設置されたスクリーンに出力データを投影するプロジェクタ、等を含む。さらに、出力装置２７は、音声データや音楽データを出力するスピーカを含むことができる。Theupper processing server 20 is a computer such as a PC or a server computer, and like thelower processing server 10, has aprocessor 21A. The processor 11A may be multi-core/multi-threaded and can execute multiple processes in parallel. Similarly to thelower processing server 10, theupper processing server 20 has aprogram memory 21B, adata memory 22, an input/output interface 23, and acommunication interface 24 connected to theprocessor 21A via abus 25. ing. Aninput device 26 and/or anoutput device 27 may be connected to the input/output interface 23. Note that theoutput device 27 includes, for example, a large display installed at the event venue that displays output data from theprocessor 21A, a projector that projects the output data onto a screen installed at the event venue, and the like. Furthermore, theoutput device 27 can include a speaker that outputs audio data and music data.

　図５は、上位処理サーバ２０のソフトウェア構成を、図４に示したハードウェア構成と関連付けて示すブロック図である。処理部２１は、上記プロセッサ２１Ａと上記プログラムメモリ２１Ｂとから構成され、ソフトウェアによる処理機能部として、選択画像受信部２１１と、画像選択部２１２と、表示画面作成部２１３と、表示画面出力部２１４と、を備える。これらの処理機能部は、何れもプログラムメモリ２１Ｂに格納されたプログラムを、上記プロセッサ２１Ａに実行させることにより実現される。処理部２１は、また、ＡＳＩＣ、ＤＳＰ、ＦＰＧＡ、ＧＰＵ、等の集積回路を含む、他の多様な形式で実現されても良い。また、データメモリ２２の記憶領域は、画像記憶部２２１と、学習データ記憶部２２２と、を備える。FIG. 5 is a block diagram showing the software configuration of the higher-level processing server 20 in association with the hardware configuration shown in FIG. 4. Theprocessing unit 21 is composed of theprocessor 21A and theprogram memory 21B, and includes a selectedimage receiving unit 211, animage selecting unit 212, a displayscreen creating unit 213, and a displayscreen output unit 214 as processing function units using software. and. These processing functional units are realized by causing theprocessor 21A to execute programs stored in theprogram memory 21B. Processingunit 21 may also be implemented in a variety of other formats, including integrated circuits such as ASICs, DSPs, FPGAs, GPUs, and the like. Further, the storage area of thedata memory 22 includes animage storage section 221 and a learningdata storage section 222.

　処理部２１の選択画像受信部２１１は、通信インタフェース２４によりネットワークを介して下位処理サーバ１０から送信されてきたユーザの動画像を受信し、データメモリ２２の画像記憶部２２１に記憶させる機能を有している。すなわち、選択画像受信部２１１は、第１下位処理サーバ１０－１が送信した２０人分の動画像と第２下位処理サーバ１０－２が送信した２０人分の動画像を受信する。よって、画像記憶部２２１は、合計４０人分の動画像を記憶することとなる。なお、選択画像受信部２１１は、下位処理サーバ１０のユーザ画像受信部１１１と同様に、下位処理サーバ１０から受信した動画像それぞれの縦及び横の画素数を縮小してから、画像記憶部２２１に記憶させるようにしても良い。The selectedimage receiving unit 211 of theprocessing unit 21 has a function of receiving a user's moving image transmitted from thelower processing server 10 via the network via thecommunication interface 24 and storing it in theimage storage unit 221 of thedata memory 22. are doing. That is, the selectedimage receiving unit 211 receives the moving images of 20 people transmitted by the first lower-level processing server 10-1 and the moving images of 20 people transmitted by the second lower-level processing server 10-2. Therefore, theimage storage unit 221 stores moving images of a total of 40 people. Note that, similarly to the userimage receiving unit 111 of the lower-level processing server 10, the selectedimage receiving unit 211 reduces the number of vertical and horizontal pixels of each moving image received from the lower-level processing server 10, and then transfers the selected image to theimage storage unit 221. It is also possible to have it memorized.

　データメモリ２２の学習データ記憶部２２２は、例えば、下位処理サーバ１０の学習データ記憶部１２２と同様の学習データを記憶している。The learningdata storage unit 222 of thedata memory 22 stores, for example, the same learning data as the learningdata storage unit 122 of thelower processing server 10.

　処理部２１の画像選択部２１２は、例えば、下位処理サーバ１０の画像選択部１１２と同様の規定のユーザ選択アルゴリズムに従って、データメモリ２２の画像記憶部２２１に記憶された動画像の中から表示画面に使用するべき動画像を選択する機能を有している。すなわち、画像選択部２１２は、画像記憶部２２１に記憶された合計４０人分の動画像の中から、データメモリ２２の学習データ記憶部２２２に学習データとして記憶されている学習済みの動画像との合致度が高い例えば上位１６人分の動画像を選択する。画像選択部２１２は、その選択結果を、処理部２１の表示画面作成部２１３に伝達する。Theimage selection unit 212 of theprocessing unit 21 selects a display screen from among the moving images stored in theimage storage unit 221 of thedata memory 22, for example, according to the same prescribed user selection algorithm as theimage selection unit 112 of thelower processing server 10. It has a function to select the moving image to be used. That is, theimage selection unit 212 selects learned moving images stored as learning data in the learningdata storage unit 222 of thedata memory 22 from among the moving images of 40 people in total stored in theimage storage unit 221. For example, the video images of the top 16 people with a high matching degree are selected. Theimage selection unit 212 transmits the selection result to the displayscreen creation unit 213 of theprocessing unit 21.

　処理部２１の表示画面作成部２１３は、画像選択部２１２での選択結果に従って、データメモリ２２の画像記憶部２２１に記憶されている４０人分の動画像の中から１６人分の動画像を読み出し、それら読み出した１６人の動画像を合成した表示画面を作成する機能を有している。例えば、表示画面作成部２１３は、読み出した動画像をタイル状に並べた合成画像を表示画面として作成する。なお、画像記憶部２２１に記憶されている動画像が、画素数を縮小された動画像ではない場合、表示画面作成部２１３は、読み出した１６人分の動画像の縦及び横の画素数を縮小してから合成するようにしても良い。勿論、表示画面作成部２１３は、画素数を縮小していない動画像をそのまま合成するものであっても構わない。The displayscreen creation unit 213 of theprocessing unit 21 selects video images of 16 people from among the video images of 40 people stored in theimage storage unit 221 of thedata memory 22 according to the selection result of theimage selection unit 212. It has a function to read out and create a display screen that combines the read out moving images of 16 people. For example, the displayscreen creation unit 213 creates a composite image in which the read moving images are arranged in a tile shape as a display screen. Note that if the moving image stored in theimage storage unit 221 is not a moving image with a reduced number of pixels, the displayscreen creation unit 213 calculates the number of vertical and horizontal pixels of the read moving image of 16 people. It is also possible to reduce the size and then combine the images. Of course, the displayscreen creation unit 213 may synthesize moving images without reducing the number of pixels as they are.

　処理部１１の表示画面出力部２１４は、表示画面作成部２１３が作成した表示画面を出力する機能を有している。具体的には、表示画面出力部２１４は、入出力インタフェース２３を介して出力装置２７により表示画面を表示出力する。或いは、表示画面出力部２１４は、通信インタフェース２４により、ネットワークを介してイベント会場に設置された表示装置のコントローラに送信し、その表示装置のスクリーンに表示画面を表示出力させるようにしても良い。The displayscreen output unit 214 of theprocessing unit 11 has a function of outputting the display screen created by the displayscreen creation unit 213. Specifically, the displayscreen output unit 214 displays and outputs the display screen using theoutput device 27 via the input/output interface 23. Alternatively, the displayscreen output unit 214 may transmit the information via thecommunication interface 24 to a controller of a display device installed at the event venue, and output the display screen on the screen of the display device.

　（管理サーバ）
　管理サーバ３０も、下位処理サーバ１０及び上位処理サーバ２０と同様に、ＰＣやサーバコンピュータ等のコンピュータであり、図４に示した上位処理サーバ２０と同様のハードウェア構成を有している。管理サーバ３０のプロセッサは、管理者によって入力装置から入力された下位処理サーバ１０及び／又は上位処理サーバ２０の制御指令を示す制御信号を、通信インタフェースにより下位処理サーバ１０及び／又は上位処理サーバ２０へ送信する。(Management server)
Like thelower processing server 10 and theupper processing server 20, themanagement server 30 is also a computer such as a PC or a server computer, and has the same hardware configuration as theupper processing server 20 shown in FIG. The processor of themanagement server 30 transmits a control signal indicating a control command for the lower-level processing server 10 and/or the higher-level processing server 20 input by the administrator from the input device to the lower-level processing server 10 and/or the higher-level processing server 20 via the communication interface. Send to.

　（動作例）
　次に、以上のように構成された表示画面作成システムの動作を説明する。(Operation example)
Next, the operation of the display screen creation system configured as above will be explained.

　図６は、下位処理サーバ１０の動作の一例を示すフローチャートである。下位処理サーバ１０のプロセッサ１１Ａは、例えばプログラムメモリ１１Ｂに予め記憶された画像中継プログラムを実行することで、このフローチャートに示す処理を行うことができる。例えば、プロセッサ１１Ａは、入力装置１６から開始指示が入力されたり、上位処理サーバ２０や管理サーバ３０から開始を指示する制御信号を受信したりした場合に、このフローチャートに示す動作を開始することができる。なお、ユーザ端末ＵＴからのログイン等の基礎的な動作については、その説明を省略する。FIG. 6 is a flowchart illustrating an example of the operation of thelower processing server 10. The processor 11A of thelower processing server 10 can perform the processing shown in this flowchart, for example, by executing an image relay program stored in advance in theprogram memory 11B. For example, the processor 11A may start the operations shown in this flowchart when a start instruction is input from theinput device 16 or when a control signal instructing the start is received from the higher-level processing server 20 or themanagement server 30. can. Note that a description of basic operations such as logging in from the user terminal UT will be omitted.

　プロセッサ１１Ａは、まず、ユーザ画像受信部１１１として動作して、ログイン済みの各ユーザ端末ＵＴからユーザの動画像を取得する（ステップＳ１０１）。プロセッサ１１Ａは、取得した５０人分のユーザの動画像又はそれら取得した５０人分の動画像の縦及び横の画素数を縮小した動画像を、ユーザ画像記憶部１２１に記憶させる。The processor 11A first operates as the userimage receiving unit 111 and acquires a user's moving image from each logged-in user terminal UT (step S101). The processor 11A causes the userimage storage unit 121 to store the obtained moving images of the 50 users or the moving images obtained by reducing the number of vertical and horizontal pixels of the obtained moving images of the 50 users.

　その後、プロセッサ１１Ａは、画像選択部１１２として動作して、規定のユーザ選択アルゴリズムに基づいて、ユーザ画像記憶部１２１に記憶された５０人分の動画像の中から、学習データ記憶部１２２に学習データとして記憶されている学習済みの動画像との合致度が高い例えば上位２０人分の動画像を選択する（ステップＳ１０２）。Thereafter, the processor 11A operates as theimage selection section 112, and selects the learning data from among the moving images of 50 people stored in the userimage storage section 121 based on a prescribed user selection algorithm. For example, the moving images of the top 20 people with a high degree of matching with the learned moving images stored as data are selected (step S102).

　そして、プロセッサ１１Ａは、選択画像送信部１１３として動作して、選択した２０人分の動画像又はそれら選択した２０人分の動画像の縦及び横の画素数を縮小した動画像を上位処理サーバ２０へ送信する（ステップＳ１０３）。Then, the processor 11A operates as the selectedimage transmitting unit 113 and transmits the video images of the selected 20 people or the video images obtained by reducing the number of vertical and horizontal pixels of the video images of the selected 20 people to the higher-level processing server. 20 (step S103).

　その後、プロセッサ１１Ａは、このフローチャートに示す動作を終了するか否か判断する（ステップＳ１０４）。例えば、プロセッサ１１Ａは、入力装置１６から終了指示が入力されたり、上位処理サーバ２０や管理サーバ３０から終了を指示する制御信号を受信したりした場合に、終了すると判断する。未だ終了しないと判断した場合、プロセッサ１１Ａは、上記ステップＳ１０１の処理に移行する。また、終了すると判断した場合には、プロセッサ１１Ａは、このフローチャートに示す動作を終了する。After that, the processor 11A determines whether to end the operation shown in this flowchart (step S104). For example, when the processor 11A receives a termination instruction from theinput device 16 or receives a control signal instructing termination from the higher-level processing server 20 or themanagement server 30, the processor 11A determines to terminate. If the processor 11A determines that the process has not finished yet, the process proceeds to step S101. Furthermore, if it is determined that the process is to end, the processor 11A ends the operation shown in this flowchart.

　図７は、上位処理サーバ２０の動作の一例を示すフローチャートである。上位処理サーバ２０のプロセッサ２１Ａは、例えばプログラムメモリ２１Ｂに予め記憶されたプログラムを実行することで、このフローチャートに示す処理を行うことができる。例えば、プロセッサ２１Ａは、入力装置２６から開始指示が入力されたり、管理サーバ３０から開始を指示する制御信号を受信したりした場合に、このフローチャートに示す動作を開始することができる。なお、このフローチャートに示す動作を開始した際、下位処理サーバ１０に動作開始を指示するようにしても良い。FIG. 7 is a flowchart illustrating an example of the operation of the higher-level processing server 20. Theprocessor 21A of the higher-level processing server 20 can perform the processing shown in this flowchart, for example, by executing a program stored in advance in theprogram memory 21B. For example, theprocessor 21A can start the operations shown in this flowchart when a start instruction is input from theinput device 26 or when a control signal instructing the start is received from themanagement server 30. Note that when starting the operation shown in this flowchart, thelower processing server 10 may be instructed to start the operation.

　プロセッサ２１Ａは、まず、選択画像受信部２１１として動作して、第１及び第２下位処理サーバ１０－１，１０－２からそれぞれ２０人分の動画像を取得する（ステップＳ２０１）。プロセッサ２１Ａは、取得した合計４０人分の動画像又はそれらの縦及び横の画素数を縮小した動画像を画像記憶部２２１に記憶させる。Theprocessor 21A first operates as the selectedimage receiving unit 211 and obtains moving images of 20 people from the first and second lower processing servers 10-1 and 10-2, respectively (step S201). Theprocessor 21A causes theimage storage unit 221 to store the acquired moving images of 40 people in total or the moving images obtained by reducing the number of vertical and horizontal pixels.

　次に、プロセッサ２１Ａは、画像選択部２１２として動作して、規定のユーザ選択アルゴリズムに基づいて、画像記憶部２２１に記憶された合計４０人分の動画像の中から、学習データ記憶部２２２に学習データとして記憶されている学習済みの動画像との合致度が高い例えば上位１６人分の動画像を選択する（ステップＳ２０２）。Next, theprocessor 21A operates as theimage selection unit 212 and selects the learningdata storage unit 222 from among the moving images of 40 people in total stored in theimage storage unit 221 based on a prescribed user selection algorithm. For example, moving images of the top 16 people with a high degree of matching with learned moving images stored as learning data are selected (step S202).

　そして、プロセッサ２１Ａは、表示画面作成部２１３として動作して、選択した１６人分の動画像又はそれら選択した１６人分の動画像の縦及び横の画素数を縮小した動画像を合成した表示画面を作成する（ステップＳ２０３）。図８は、表示画面として作成される合成画像の一例を示す図である。プロセッサ２１Ａは、例えば、図８に示すように、動画像Ｉｐ，Ｉｑ等の選択された１６人分の動画像をタイル状に並べた合成画像ＭＩを表示画面として作成する。Theprocessor 21A then operates as the displayscreen creation unit 213 to display a composite of the video images of the selected 16 people or the video images obtained by reducing the number of vertical and horizontal pixels of the video images of the selected 16 people. A screen is created (step S203). FIG. 8 is a diagram showing an example of a composite image created as a display screen. For example, as shown in FIG. 8, theprocessor 21A creates a composite image MI in which moving images of 16 selected people, such as moving images Ip and Iq, are arranged in a tile shape as a display screen.

　こうして表示画面を作成したならば、プロセッサ２１Ａは、表示画面出力部２１４として動作して、作成した表示画面を出力する（ステップＳ２０４）。Once the display screen is created in this way, theprocessor 21A operates as the displayscreen output unit 214 and outputs the created display screen (step S204).

　その後、プロセッサ２１Ａは、このフローチャートに示す動作を終了するか否か判断する（ステップＳ２０５）。例えば、プロセッサ２１Ａは、入力装置２６から終了指示が入力されたり、管理サーバ３０から終了を指示する制御信号を受信したりした場合に、終了すると判断する。未だ終了しないと判断した場合、プロセッサ２１Ａは、上記ステップＳ２０１の処理に移行する。また、終了すると判断した場合には、プロセッサ２１Ａは、このフローチャートに示す動作を終了する。なお、この動作を終了する際、下位処理サーバ１０に動作終了を指示するようにしても良い。After that, theprocessor 21A determines whether to end the operation shown in this flowchart (step S205). For example, theprocessor 21A determines to end when an end instruction is input from theinput device 26 or a control signal instructing to end is received from themanagement server 30. If it is determined that the process has not ended yet, theprocessor 21A moves to the process of step S201 described above. Furthermore, if it is determined that the process is to end, theprocessor 21A ends the operation shown in this flowchart. Note that, when terminating this operation, the lower-level processing server 10 may be instructed to terminate the operation.

　以上詳述したように、この発明の第１実施形態に係る表示画面作成システムでは、それぞれ複数、例えば５０台のユーザ端末ＵＴからアクセスされる複数、例えば２つの下位処理サーバ１０と、それら複数の下位処理サーバ１０と通信する上位処理サーバ２０と、を含む表示画面作成システムである。そして、複数の下位処理サーバ１０はそれぞれ、第１の絞り込みアルゴリズムに従って、複数のユーザ端末ＵＴそれぞれから受信した動画像を、受信した動画像の総数である５０よりも少ない複数、例えば２０の動画像に絞り込み、それら絞り込んだ複数の動画像又はそれらの縦及び横の画素数を縮小した動画像を上位処理サーバ２０に送信する。そして、上位処理サーバ２０は、第２の絞り込みアルゴリズムに従って、複数の下位処理サーバそれぞれから受信した動画像を、受信した動画像の総数、例えば２０＋２０＝４０よりも少ない複数、例えば１６の動画像に絞り込み、それら絞り込んだ複数の動画像又はそれらの縦及び横の画素数を縮小した動画像を配置した表示画面を作成する。As described in detail above, in the display screen creation system according to the first embodiment of the present invention, a plurality of, for example, two, lower-level processing servers 10 each accessed from a plurality of, for example, 50 user terminals UT, This is a display screen creation system that includes a higher-level processing server 20 that communicates with a lower-level processing server 10. Then, each of the plurality oflower processing servers 10 divides the moving images received from each of the plurality of user terminals UT into a plurality of moving images, for example, 20 moving images, which is less than the total number of received moving images, 50, according to the first narrowing down algorithm. The selected moving images or the moving images with the vertical and horizontal pixel numbers reduced are transmitted to the higher-level processing server 20. Then, according to the second narrowing down algorithm, theupper processing server 20 divides the moving images received from each of the plurality of lower processing servers into a plurality of moving images, for example, 16, which is less than the total number of received moving images, for example, 20+20=40. A display screen is created on which a plurality of narrowed-down moving images or moving images with reduced vertical and horizontal pixel counts are arranged.

　このように、第１実施形態では、ユーザ端末ＵＴからの動画像や入力情報から最終的に表示されるユーザを選択するために、単一のサーバではなく、複数の処理サーバすなわち、第１下位処理サーバ１０－１、第２下位処理サーバ１０－２及び上位処理サーバ２０を用いる。これにより、イベントで自宅などから個々にリモートで参加する人が数多くいる場合でも、全員分の動画像を送信しつつ、どのユーザの動画像を表示するかの候補を下位処理サーバ１０にて決定して、候補となるユーザの動画像のみを、必要に応じて縦及び横の画素数を縮小して、上位処理サーバ２０に送信することで、データ転送量や上位処理サーバ２０での受信負荷を低減することができる。さらに、上位処理サーバ２０では、受信されたユーザの動画像のみを用いて、最終的に表示するユーザの動画像を決定し、決定した動画像により又は必要に応じてその縦及び横の画素数を縮小した動画像により表示画面を作成することができる。また、ユーザを選択するための処理も、第１下位処理サーバ１０－１、第２下位処理サーバ１０－２及び上位処理サーバ２０に分散されるため、各サーバにおける処理負荷を低減する効果や、ユーザを選択する処理が高速化されて、全体としての遅延が低減する効果も有る。In this way, in the first embodiment, in order to select the user to be finally displayed from the moving images and input information from the user terminal UT, a plurality of processing servers, that is, a first subordinate server, instead of a single server, are used. A processing server 10-1, a second lower-level processing server 10-2, and a higher-level processing server 20 are used. As a result, even if there are many people participating remotely from their homes at an event, the lower-level processing server 10 can send video images for everyone and decide which users' video images to display. By reducing the number of vertical and horizontal pixels of only the candidate user's video images and transmitting them to the higher-level processing server 20, the amount of data transferred and the reception load on the higher-level processing server 20 can be reduced. can be reduced. Furthermore, the upper-level processing server 20 uses only the received user's moving image to determine the user's moving image to be finally displayed, and determines the number of vertical and horizontal pixels of the user's moving image based on the determined moving image or as necessary. A display screen can be created using a moving image that is reduced in size. In addition, since the processing for selecting users is also distributed to the first lower-level processing server 10-1, the second lower-level processing server 10-2, and the higher-level processing server 20, the processing load on each server can be reduced. This also has the effect of speeding up the process of selecting a user and reducing overall delay.

　よって、この発明の第１実施形態によれば、リモートで参加する多数のユーザの中から選別したユーザの画像を含む表示画面を遅延少なく作成することが可能となる。Therefore, according to the first embodiment of the present invention, it is possible to create a display screen containing an image of a user selected from among a large number of users participating remotely with little delay.

　なお、第１実施形態では、第１の絞り込みアルゴリズムと第２の絞り込みアルゴリズムとは、同一のユーザ選択アルゴリズムとしている。Note that in the first embodiment, the first narrowing down algorithm and the second narrowing down algorithm are the same user selection algorithm.

　すなわち、この発明の第１実施形態に係る表示画面作成システムでは、複数の下位処理サーバ１０及び上位処理サーバ２０はそれぞれ、ユーザ選択アルゴリズムに従って複数の画像を選択する画像選択部１１２，２１２と、特定の画像に関する学習データを記憶する学習データ記憶部１２２，２２２と、を備え、画像選択部１１２，２１２は、学習データとの合致度が上位の複数の画像を選択する。That is, in the display screen creation system according to the first embodiment of the present invention, each of the plurality oflower processing servers 10 and theupper processing server 20 has animage selection section 112, 212 that selects a plurality of images according to a user selection algorithm, and a specific Theimage selection unit 112, 212 selects a plurality of images having a high degree of matching with the learning data.

　よって、第１下位処理サーバ１０－１、第２下位処理サーバ１０－２及び上位処理サーバ２０において、同一のユーザ選択アルゴリズムを使用して、容易に画像を絞り込むことができる。Therefore, images can be easily narrowed down using the same user selection algorithm in the first lower processing server 10-1, the second lower processing server 10-2, and theupper processing server 20.

　［第１実施形態の第１変形例］
　規定のユーザ選択アルゴリズムは、第１実施形態で説明したような、人が特定の色を発光するケミカルライトを振っている動画像との類似度を算出してその上位のユーザの動画像を選択する例に限定するものではない。例えば簡便な方法として、規定のユーザ選択アルゴリズムは、ユーザが送信する画像の画素数全体に占める、特定の色に対応する輝度又は色差の範囲の画素数の割合を算出してその上位の２０人又は１６人のユーザの動画像を選択するというアルゴリズムとしても良い。この場合、単に上位というだけでなく、割合が特定の範囲に収まっていること等の条件を追加しても良い。何れにしても、この第１変形例では、学習データ記憶部１２２，２２２が不要となる。[First modification of the first embodiment]
The prescribed user selection algorithm calculates the degree of similarity to a video image of a person waving a chemical light that emits a specific color, as described in the first embodiment, and selects the video image of the user with the highest ranking. It is not limited to the example. For example, as a simple method, the prescribed user selection algorithm calculates the ratio of the number of pixels in the luminance or color difference range corresponding to a specific color to the total number of pixels of the image sent by the user, and selects the top 20 users. Alternatively, an algorithm may be used to select moving images of 16 users. In this case, you may add conditions such as not only being in the top but also that the ratio is within a specific range. In any case, in this first modification, the learningdata storage units 122 and 222 are not required.

　［第１実施形態の第２変形例］
　また、下位処理サーバ１０におけるユーザ選択アルゴリズムと上位処理サーバ２０におけるユーザ選択アルゴリズムとが同一のアルゴリズムである必要も無い。[Second modification of the first embodiment]
Furthermore, the user selection algorithm in the lower-level processing server 10 and the user selection algorithm in the higher-level processing server 20 do not need to be the same algorithm.

　さらに、上位処理サーバ２０の学習データ記憶部２２２は、複数のユーザ選択アルゴリズム用の学習データを記憶しておき、画像選択部２１２は、複数のユーザ選択アルゴリズムの中から使用するアルゴリズムを選択できるようにしても良い。また、ユーザ選択アルゴリズムは一つであっても、画像選択部２１２は、パラメータを変更できるようにしても良い。Further, the learningdata storage unit 222 of theupper processing server 20 stores learning data for a plurality of user selection algorithms, and theimage selection unit 212 is configured to select an algorithm to be used from among the plurality of user selection algorithms. You can also do it. Further, even if there is only one user selection algorithm, theimage selection unit 212 may be configured to be able to change parameters.

　図９は、第１実施形態の第２変形例における上位処理サーバ２０のソフトウェア構成を示すブロック図である。この変形における上位処理サーバ２０は、図５に示した構成に加えて、処理部２１が制御信号取得部２１５を備える。制御信号取得部２１５は、入力装置２６から入力された又は管理サーバ３０から送信されてきた制御信号を取得し、取得した制御信号を画像選択部２１２に伝達する機能を有する。制御信号は、例えば、画像選択部２１２が使用するユーザ選択アルゴリズム及び／又はパラメータの指定指令等を含む。FIG. 9 is a block diagram showing the software configuration of the higher-level processing server 20 in the second modification of the first embodiment. In theupper processing server 20 in this modification, in addition to the configuration shown in FIG. 5, theprocessing section 21 includes a controlsignal acquisition section 215. The controlsignal acquisition unit 215 has a function of acquiring a control signal input from theinput device 26 or transmitted from themanagement server 30 and transmitting the acquired control signal to theimage selection unit 212. The control signal includes, for example, a user selection algorithm used by theimage selection unit 212 and/or a parameter designation command.

　本変形例における画像選択部２１２は、制御信号取得部２１５から伝達された制御信号に基づいて、複数のユーザ選択アルゴリズムの中から使用するアルゴリズを決定したり、使用するアルゴリズムにおけるパラメータを変更したりする。Theimage selection unit 212 in this modification determines an algorithm to be used from among a plurality of user-selected algorithms, or changes parameters in the algorithm to be used, based on the control signal transmitted from the controlsignal acquisition unit 215. do.

　また、本変形例における学習データ記憶部２２２は、複数のユーザ選択アルゴリズム用の学習データを記憶する。Furthermore, the learningdata storage unit 222 in this modification stores learning data for a plurality of user selection algorithms.

　なお、パラメータは、選択する画像の数、選択タイミング、等を含むことができる。例えば、上位処理サーバ２０においては、或るタイミングでは第１下位処理サーバ１０－１から受信した２０人分の動画像の中から上位１６人を選択し、別のタイミングでは第２下位処理サーバ１０－２から受信した２０人分の動画像の中から上位１６人を選択することができる。このようにすることで、表示画面作成部２１３で作成する表示画面を、一方の下位処理サーバ１０にアクセスするユーザの動画像だけに調整することが可能となる。Note that the parameters can include the number of images to select, selection timing, etc. For example, the higher-level processing server 20 selects the top 16 people from among the 20 video images received from the first lower-level processing server 10-1 at a certain timing, and selects the top 16 people from the video images of 20 people received from the first lower-level processing server 10-1 at another timing. The top 16 people can be selected from the video images of 20 people received from -2. By doing so, it becomes possible to adjust the display screen created by the displayscreen creation unit 213 to only the moving image of the user accessing one of thelower processing servers 10.

　図１０は、第２変形例における上位処理サーバ２０の動作の一例を示すフローチャートである。本変形例においては、プロセッサ２１Ａは、ステップＳ２０１において各下位処理サーバ１０からそれぞれ２０人分の動画像を取得した後、制御信号取得部２１５として動作して、制御信号が有ったか否か判断する（ステップＳ２０６）。プロセッサ２１Ａは、入力装置２６又は管理サーバ３０からの制御信号を取得した場合には、制御信号有りと判断する。FIG. 10 is a flowchart illustrating an example of the operation of the higher-level processing server 20 in the second modification. In this modification, theprocessor 21A operates as the controlsignal acquisition unit 215 after acquiring video images of 20 people from eachlower processing server 10 in step S201, and determines whether or not there is a control signal. (Step S206). When theprocessor 21A receives a control signal from theinput device 26 or themanagement server 30, it determines that the control signal is present.

　ここで、制御信号が無いと判断した場合には、プロセッサ２１Ａは、ステップＳ２０２の処理に移行し、画像選択部２１２として動作して、学習データ記憶部２２２に記憶されている規定のユーザ選択アルゴリズムに基づいて、規定のパラメータにより、画像記憶部２２１に記憶された４０人分の動画像の中から１６人分の動画像を選択する。Here, if it is determined that there is no control signal, theprocessor 21A moves to the process of step S202, operates as theimage selection section 212, and selects the prescribed user selection algorithm stored in the learningdata storage section 222. Based on this, video images of 16 people are selected from the video images of 40 people stored in theimage storage unit 221 according to prescribed parameters.

　これに対して、制御信号が有ったと判断した場合には、プロセッサ２１Ａは、画像選択部２１２として動作して、その制御信号に基づいて、使用するユーザ選択アルゴリズム及び／又はパラメータを決定する（ステップＳ２０７）。On the other hand, if it is determined that there is a control signal, theprocessor 21A operates as theimage selection unit 212 and determines the user selection algorithm and/or parameters to be used based on the control signal ( Step S207).

　そして、プロセッサ２１Ａは、その決定したユーザ選択アルゴリズム及び／又はパラメータに基づいて、画像記憶部２２１に記憶された４０人分の動画像の中から１６人分の動画像を選択する（ステップＳ２０８）。すなわち、プロセッサ２１Ａは、学習データ記憶部２２２に記憶されている複数の学習データの中から、決定したユーザ選択アルゴリズムに該当する学習データを、選択に用いる学習データとして選択することができる。或いは、又はそれに加えて、プロセッサ２１Ａは、決定した又は規定のユーザ選択アルゴリズムにおけるパラメータを、決定したパラメータに変更することができる。プロセッサ２１Ａは、こうして選択した学習データ及び／又は変更したパラメータにより、決定した又は規定のユーザ選択アルゴリズムに基づいて、動画像の選択を行う。その後、プロセッサ２１Ａは、ステップＳ２０３の処理に移行する。Then, theprocessor 21A selects 16 video images from the 40 video images stored in theimage storage unit 221 based on the determined user selection algorithm and/or parameters (step S208). . That is, theprocessor 21A can select the learning data corresponding to the determined user selection algorithm from among the plurality of learning data stored in the learningdata storage unit 222 as the learning data to be used for selection. Alternatively, or in addition,processor 21A may change the parameters in the determined or predefined user selection algorithm to the determined parameters. Theprocessor 21A selects a moving image based on the determined or predetermined user selection algorithm using the thus selected learning data and/or changed parameters. After that, theprocessor 21A moves to the process of step S203.

　以上のように、下位処理サーバ１０における第１の絞り込みアルゴリズムと、上位処理サーバ２０における第２の絞り込みアルゴリズムとを、異なるユーザ選択アルゴリズムとしても、第１実施形態と同様の効果を奏すると共に、表示画面に含めるユーザの動画像のさらなる絞り込みが可能となる。As described above, even if the first narrowing down algorithm in thelower processing server 10 and the second narrowing down algorithm in theupper processing server 20 are different user selection algorithms, the same effects as in the first embodiment can be achieved, and the display It becomes possible to further narrow down the user's moving images to be included in the screen.

　［第１実施形態の第３変形例］
　さらに、上位処理サーバ２０だけでなく、下位処理サーバ１０においても、複数のアルゴリズムの中から使用するアルゴリズム及び／又はパラメータを選択できるようにしても良い。[Third modification of first embodiment]
Furthermore, not only theupper processing server 20 but also thelower processing server 10 may be able to select an algorithm and/or parameters to be used from among a plurality of algorithms.

　図１１は、第１実施形態の第３変形例における下位処理サーバ１０のソフトウェア構成を示すブロック図である。この変形における下位処理サーバ１０は、図３に示した構成に加えて、処理部１１が制御信号取得部１１４を備える。制御信号取得部１１４は、入力装置１６から入力された又は管理サーバ３０から送信されてきた制御信号を取得し、取得した制御信号を画像選択部１１２に伝達する機能を有する。制御信号は、例えば、画像選択部１１２が使用するユーザ選択アルゴリズム及び／又はパラメータの指定指令等を含む。FIG. 11 is a block diagram showing the software configuration of thelower processing server 10 in the third modification of the first embodiment. In thelower processing server 10 in this modification, in addition to the configuration shown in FIG. 3, theprocessing section 11 includes a controlsignal acquisition section 114. The controlsignal acquisition unit 114 has a function of acquiring a control signal input from theinput device 16 or transmitted from themanagement server 30 and transmitting the acquired control signal to theimage selection unit 112. The control signal includes, for example, a user selection algorithm and/or a parameter designation command used by theimage selection unit 112.

　本変形例における画像選択部１１２は、制御信号取得部１１４から伝達された制御信号に基づいて、複数のユーザ選択アルゴリズムの中から使用するアルゴリズを決定したり、使用するアルゴリズムにおけるパラメータを変更したりする。Theimage selection unit 112 in this modification determines an algorithm to be used from among a plurality of user-selected algorithms, or changes parameters in the algorithm to be used, based on the control signal transmitted from the controlsignal acquisition unit 114. do.

　また、本変形例における学習データ記憶部１２２は、複数のユーザ選択アルゴリズム用の学習データを記憶する。Furthermore, the learningdata storage unit 122 in this modification stores learning data for a plurality of user selection algorithms.

　なお、パラメータは、選択する画像の数、選択タイミング、等を含むことができる。例えば、下位処理サーバ１０の置かれた場所や通信状況、処理負荷状況等を別途取得し、それらの状況に応じたパラメータを入力装置１６から入力するようにしたり、管理サーバ３０から送信したりできるようにしておく。これにより、下位処理サーバ１０においては、例えば或るタイミングでは５０人の動画像から３０人分の動画像を選択し、別のタイミングでは１０人分の動画像を選択する、ということができる。このようにすることで、下位処理サーバにおける処理負荷を調整したり、上位処理サーバ２０との間の通信負荷を調整したりすることが可能となる。Note that the parameters can include the number of images to select, selection timing, etc. For example, the location, communication status, processing load status, etc. of the lower-level processing server 10 can be obtained separately, and parameters corresponding to these conditions can be input from theinput device 16 or transmitted from themanagement server 30. Let's do it like this. As a result, thelower processing server 10 can select, for example, moving images of 30 people from among the moving images of 50 people at one timing, and select moving images of 10 people at another timing. By doing so, it becomes possible to adjust the processing load on the lower-level processing server and the communication load with the higher-level processing server 20.

　図１２は、第３変形例における下位処理サーバ１０の動作の一例を示すフローチャートである。本変形例においては、プロセッサ１１Ａは、ステップＳ１０１において各ユーザ端末ＵＴからユーザの動画像を取得した後、制御信号取得部１１４として動作して、制御信号が有ったか否か判断する（ステップＳ１０５）。プロセッサ１１Ａは、入力装置１６又は管理サーバ３０からの制御信号を取得した場合には、制御信号有りと判断する。FIG. 12 is a flowchart illustrating an example of the operation of the lower-level processing server 10 in the third modification. In this modification, the processor 11A operates as the controlsignal acquisition unit 114 after acquiring a user's moving image from each user terminal UT in step S101, and determines whether there is a control signal (step S105). ). When the processor 11A receives a control signal from theinput device 16 or themanagement server 30, it determines that the control signal is present.

　ここで、制御信号が無いと判断した場合には、プロセッサ１１Ａは、ステップＳ１０２の処理に移行し、画像選択部１１２として動作して、学習データ記憶部１２２に記憶されている規定のユーザ選択アルゴリズムに基づいて、規定のパラメータにより、ユーザ画像記憶部１２１に記憶された５０人分の動画像の中から２０人分の動画像を選択する。Here, if it is determined that there is no control signal, the processor 11A moves to the process of step S102, operates as theimage selection section 112, and selects the prescribed user selection algorithm stored in the learningdata storage section 122. Based on this, video images of 20 people are selected from the video images of 50 people stored in the userimage storage unit 121 using prescribed parameters.

　そして、プロセッサ１１Ａは、選択画像送信部１１３として動作して、選択した人数分の動画像又はそれらの縦及び横の画素数を縮小した動画像を上位処理サーバ２０へ送信する（ステップＳ１０６）。Then, the processor 11A operates as the selectedimage transmitting unit 113 and transmits the video images for the selected number of people or the video images with the vertical and horizontal pixel numbers reduced to the higher-level processing server 20 (step S106).

　これに対して、上記ステップＳ１０５において制御信号が有ったと判断した場合には、プロセッサ１１Ａは、画像選択部１１２として動作して、その制御信号に基づいて、使用するユーザ選択アルゴリズム及び／又はパラメータを決定する（ステップＳ１０７）。On the other hand, if it is determined in step S105 that there is a control signal, the processor 11A operates as theimage selection unit 112, and based on the control signal, the processor 11A selects the user selection algorithm and/or parameters to be used. is determined (step S107).

　そして、プロセッサ１１Ａは、その決定したユーザ選択アルゴリズム及び／又はパラメータに基づいて、ユーザ画像記憶部１２１に記憶された５０人分の動画像の中から、規定の２０人分、又はパラメータで示される人数分の動画像を選択する（ステップＳ１０８）。すなわち、プロセッサ１１Ａは、学習データ記憶部１２２に記憶されている複数の学習データの中から、決定したユーザ選択アルゴリズムに該当する学習データを、選択に用いる学習データとして選択することができる。或いは、又はそれに加えて、プロセッサ１１Ａは、決定した又は規定のユーザ選択アルゴリズムにおけるパラメータを、決定したパラメータに変更することができる。プロセッサ１１Ａは、こうして選択した学習データ及び／又は変更したパラメータにより、決定した又は規定のユーザ選択アルゴリズムに基づいて、動画像の選択を行う。その後、プロセッサ１１Ａは、ステップＳ１０６の処理に移行する。Then, based on the determined user selection algorithm and/or parameters, the processor 11A selects the predetermined 20 video images from among the 50 video images stored in the userimage storage unit 121 or the parameters. Video images for the number of people are selected (step S108). That is, the processor 11A can select the learning data corresponding to the determined user selection algorithm from among the plurality of learning data stored in the learningdata storage unit 122 as the learning data to be used for selection. Alternatively, or in addition, processor 11A may change the parameters in the determined or predefined user selection algorithm to the determined parameters. The processor 11A selects a moving image based on the determined or predetermined user selection algorithm using the learning data and/or changed parameters thus selected. After that, the processor 11A moves to the process of step S106.

　［第１実施形態の第４変形例］
　また、上位処理サーバ２０の表示画面作成部２１３が作成する表示画面については、図８に示したように１６個の動画像（又は縮小した動画像）を全て同一のサイズにして配置する必要も無い。[Fourth modification of the first embodiment]
Furthermore, regarding the display screen created by the displayscreen creation unit 213 of thehost processing server 20, it is necessary to arrange all 16 moving images (or reduced moving images) in the same size as shown in FIG. None.

　図１３は、第１実施形態の第４変形例における合成画像の一例を示す図である。表示画面作成部２１３は、例えば図１３に示すように、画像選択部２１２において最上位として選択されたユーザｐの動画像Ｉｐを中央に配置すると共に他のユーザの動画像Ｉｑ等よりも大きい面積とした合成画像ＭＩを表示画面として作成する。勿論、最上位のユーザｐの動画像Ｉｐを中央に配置することなく、単に他のユーザの動画像よりも大きい面積になるように合成するだけでも良い。FIG. 13 is a diagram showing an example of a composite image in the fourth modification of the first embodiment. For example, as shown in FIG. 13, the displayscreen creation unit 213 arranges the video image Ip of the user p selected as the topmost one in theimage selection unit 212 in the center, and arranges the video image Ip in a larger area than the video images Iq, etc. of other users. Create a composite image MI as a display screen. Of course, the moving image Ip of the highest ranking user p may not be placed in the center, but may simply be combined so that it has a larger area than the moving images of other users.

　［第１実施形態の第５変形例］
　なお、上位処理サーバ２０の画像選択部２１２が選択したユーザの動画像の数が表示画面に表示可能な数よりも少ない場合があり得る。このような場合には、表示画面作成部２１３は、表示画面の左上からラスタスキャン順で合致度の高い順にユーザの動画像（又は縮小した動画像）を表示していき、右下の領域には同じユーザの動画像が複数回表示されることを許容したり、１ユーザ当たりの表示面積を増やしたり、余った領域についてはユーザの動画像ではない別画像を表示したりするようにしても良い。[Fifth modification of the first embodiment]
Note that the number of user moving images selected by theimage selection unit 212 of the higher-level processing server 20 may be smaller than the number that can be displayed on the display screen. In such a case, the displayscreen creation unit 213 displays the user's moving images (or reduced moving images) in order of high matching degree in raster scan order starting from the upper left of the display screen, and displays the moving images (or reduced moving images) in the lower right area. Even if you allow the same user's video to be displayed multiple times, increase the display area per user, or display a different image other than the user's video in the remaining area. good.

　［第１実施形態の第６変形例］
　また、上位処理サーバ２０の表示画面作成部２１３において、複数のユーザからの動画像（又は縮小した動画像）を合成して表示画面を作成する際、各ユーザからの動画像（又は縮小した動画像）を時刻同期して合成する必要は無い。[Sixth modification of the first embodiment]
In addition, when the displayscreen creation unit 213 of theupper processing server 20 creates a display screen by combining video images (or reduced video images) from multiple users, the video images (or reduced video images) from each user are combined. There is no need to synthesize images) in time synchronization.

　また、下位処理サーバ１０に対して安定して動画像が入力されているユーザの動画像（又は縮小した動画像）については、そのまま合成してもフレームレートの乱れがないように表示させることができる。しかしながら、通信環境等の事情により下位処理サーバ１０に安定して動画像が入力されないユーザの動画像（又は縮小した動画像）に対しては、表示画面作成部２１３は、フレームレートを落とした表示画面に合成するようにしても良い。In addition, for video images (or reduced video images) of users whose video images are stably input to the lower-level processing server 10, it is possible to display them without any disturbance in frame rate even if they are combined as they are. can. However, for a user's moving image (or reduced moving image) whose moving image is not stably input to the lower-level processing server 10 due to circumstances such as the communication environment, the displayscreen creation unit 213 displays a reduced frame rate. It is also possible to combine the images on the screen.

　［第２実施形態］
　次に、この発明の第２実施形態を説明する。ここでは、第１実施形態と同様の部分についてはその説明を省略し、異なる部分のみを説明する。[Second embodiment]
Next, a second embodiment of the invention will be described. Here, descriptions of parts similar to those in the first embodiment will be omitted, and only parts that are different will be described.

　（下位処理サーバ）
　図１４は、この発明の第２実施形態における下位処理サーバ１０のソフトウェア構成を示すブロック図である。本実施形態においては、処理部１１は、第１実施形態の構成に加えて、制御信号取得部１１４と、属性情報取得部１１５と、を備える。また、データメモリ１２は、第１実施形態における学習データ記憶部１２２に代えて、属性情報記憶部１２３及び選択条件記憶部１２４を備える。(lower processing server)
FIG. 14 is a block diagram showing the software configuration of thelower processing server 10 in the second embodiment of the invention. In this embodiment, theprocessing unit 11 includes a controlsignal acquisition unit 114 and an attributeinformation acquisition unit 115 in addition to the configuration of the first embodiment. Furthermore, thedata memory 12 includes an attributeinformation storage section 123 and a selectioncondition storage section 124 instead of the learningdata storage section 122 in the first embodiment.

　処理部１１の属性情報取得部１１５は、イベント開催前に各ユーザ端末ＵＴからユーザ自身の属性に関する属性情報を取得し、取得した属性情報をデータメモリ１２の属性情報記憶部１２３に記憶させる機能を有する。属性情報取得部１１５は、例えば、各ユーザ端末ＵＴに質問事項を送信し、その回答を取得することができる。或いは、各ユーザの属性情報は管理サーバ３０が予め収集しておくものとし、属性情報取得部１１５は、管理サーバ３０から各ユーザの属性情報を取得するものであっても構わない。属性情報は、例えば、ユーザの国籍、出身地、年齢、性別、嗜好、思想、宗教、等の、当該ユーザを他のユーザと区別するのに使用可能な情報である。The attributeinformation acquisition unit 115 of theprocessing unit 11 has a function of acquiring attribute information regarding the user's own attributes from each user terminal UT before an event is held, and storing the acquired attribute information in the attributeinformation storage unit 123 of thedata memory 12. have The attributeinformation acquisition unit 115 can, for example, transmit questions to each user terminal UT and acquire the answers. Alternatively, themanagement server 30 may collect the attribute information of each user in advance, and the attributeinformation acquisition unit 115 may acquire the attribute information of each user from themanagement server 30. The attribute information is information that can be used to distinguish the user from other users, such as the user's nationality, place of birth, age, gender, preference, ideology, religion, and the like.

　処理部１１の制御信号取得部１１４は、入力装置１６から入力された又は管理サーバ３０から送信されてきた制御信号を取得し、取得した制御信号で示される選択条件をデータメモリ１２の選択条件記憶部１２４に記憶させる機能を有する。選択条件は、優先して選択するべき属性情報を指定するものである。すなわち、選択条件は、特定の属性情報を含むことである。例えば、選択条件は、嗜好に関して、「好きなスポーツ選手が、野球のイチローである」等とすることができる。或るいは逆に、選択条件は、特定の属性情報を含まないこと、としても良い。また、選択条件は、一つの属性情報に限らず、複数の属性情報に関する条件を含んでも良い。The controlsignal acquisition unit 114 of theprocessing unit 11 acquires the control signal input from theinput device 16 or transmitted from themanagement server 30, and stores the selection condition indicated by the acquired control signal in thedata memory 12. It has a function of storing data in theunit 124. The selection condition specifies attribute information that should be selected with priority. That is, the selection condition is that specific attribute information is included. For example, the selection condition may be "My favorite athlete is baseball player Ichiro" regarding preferences. Or conversely, the selection condition may be that specific attribute information is not included. Furthermore, the selection conditions are not limited to one piece of attribute information, and may include conditions regarding a plurality of pieces of attribute information.

　本実施形態における処理部１１の画像選択部１１２は、データメモリ１２の属性情報記憶部１２３に記憶された属性情報と選択条件記憶部１２４に記憶された選択条件とから、規定のユーザ選択アルゴリズムに基づいて、上位処理サーバ２０に送信するべきユーザの動画像を選択する。この場合の規定のユーザ選択アルゴリズムは、選択条件の属性の合致の高いユーザの例えば上位２０人のユーザの動画像を選択するというものである。画像選択部１１２は、その選択結果を処理部１１の選択画像送信部１１３に伝達するが、本実施形態では、選択結果は、選択した動画像のユーザの属性情報も含む。Theimage selection unit 112 of theprocessing unit 11 in this embodiment uses a prescribed user selection algorithm from the attribute information stored in the attributeinformation storage unit 123 of thedata memory 12 and the selection conditions stored in the selectioncondition storage unit 124. Based on this, the user's moving image to be transmitted to the higher-level processing server 20 is selected. In this case, the prescribed user selection algorithm is to select the video images of, for example, the top 20 users who highly match the attributes of the selection conditions. Theimage selection unit 112 transmits the selection result to the selectedimage transmission unit 113 of theprocessing unit 11, but in this embodiment, the selection result also includes attribute information of the user of the selected moving image.

　なお、画像選択部１１２における規定のユーザ選択アルゴリズムは、合致度が高いユーザが複数存在する場合、それらユーザの動画像をランダムに選択するというものであっても良い。Note that the prescribed user selection algorithm in theimage selection unit 112 may be such that, when there are multiple users with a high matching degree, moving images of those users are randomly selected.

　本実施形態における処理部１１の選択画像送信部１１３は、第１実施形態と同様に、画像選択部１１２での選択結果に従って、データメモリ１２のユーザ画像記憶部１２１に記憶されている５０人分の動画像の中から２０人分の動画像を読み出す。そして、本実施形態における選択画像送信部１１３は、それら読み出した動画像又はそれらを縮小した動画像を、それぞれのユーザの属性情報と共に、通信インタフェース１４により上位処理サーバ２０に送信する機能を有している。The selectedimage transmitting unit 113 of theprocessing unit 11 in this embodiment transmits images of 50 people stored in the userimage storage unit 121 of thedata memory 12 according to the selection result of theimage selection unit 112, as in the first embodiment. The video images of 20 people are read out from the video images of . The selectedimage transmitting unit 113 in this embodiment has a function of transmitting the read moving images or reduced-sized moving images together with the attribute information of each user to the higher-level processing server 20 via thecommunication interface 14. ing.

　（上位処理サーバ）
　図１５は、この発明の第２実施形態に係る上位処理サーバ２０のソフトウェア構成の一例を示すブロック図である。本実施形態においては、処理部２１は、第１実施形態の構成に加えて、制御信号取得部２１５を備える。また、データメモリ２２は、第１実施形態における学習データ記憶部２２２に代えて、選択条件記憶部２２３を備える。(Upper processing server)
FIG. 15 is a block diagram showing an example of the software configuration of the higher-level processing server 20 according to the second embodiment of the present invention. In this embodiment, theprocessing section 21 includes a controlsignal acquisition section 215 in addition to the configuration of the first embodiment. Furthermore, thedata memory 22 includes a selectioncondition storage section 223 instead of the learningdata storage section 222 in the first embodiment.

　処理部２１の制御信号取得部２１５は、入力装置２６から入力された又は管理サーバ３０から送信されてきた制御信号を取得し、取得した制御信号で示される選択条件をデータメモリ２２の選択条件記憶部２２３に記憶させる機能を有する。選択条件は、下位処理サーバ１０について説明した通りである。The controlsignal acquisition unit 215 of theprocessing unit 21 acquires the control signal input from theinput device 26 or transmitted from themanagement server 30, and stores the selection condition indicated by the acquired control signal in thedata memory 22. It has a function of storing data in thesection 223. The selection conditions are as described for thelower processing server 10.

　本実施形態における処理部２１の選択画像受信部２１１は、下位処理サーバ１０から送信されてきたユーザの動画像及びその属性情報を受信し、データメモリ２２の画像記憶部２２１に記憶させる機能を有している。すなわち、本実施形態におけるデータメモリ２２の画像記憶部２２１は、合計４０人分の動画像（又はそれらを縮小した動画像）と各動画像の属性情報とを記憶することとなる。The selectedimage receiving unit 211 of theprocessing unit 21 in this embodiment has a function of receiving a user's moving image and its attribute information transmitted from thelower processing server 10 and storing it in theimage storage unit 221 of thedata memory 22. are doing. That is, theimage storage unit 221 of thedata memory 22 in this embodiment stores moving images for a total of 40 people (or moving images reduced in size) and attribute information of each moving image.

　本実施形態における処理部２１の画像選択部２１２は、データメモリ１２の画像記憶部２２１に記憶された属性情報と選択条件記憶部２２３に記憶された選択条件とから、規定のユーザ選択アルゴリズムに基づいて、データメモリ２２の画像記憶部２２１に記憶された動画像の中から表示画面に使用するべき動画像を選択する機能を有している。すなわち、画像選択部２１２は、画像記憶部２２１に記憶された合計４０人分の動画像の中から、選択条件の属性の合致度が高い例えば上位１６人分のユーザの動画像を選択する。画像選択部２１２は、その選択結果を、処理部２１の表示画面作成部２１３に伝達することは、第１実施形態と同様である。Theimage selection unit 212 of theprocessing unit 21 in this embodiment selects the attribute information stored in theimage storage unit 221 of thedata memory 12 and the selection conditions stored in the selectioncondition storage unit 223 based on a prescribed user selection algorithm. It has a function of selecting a moving image to be used on the display screen from among the moving images stored in theimage storage section 221 of thedata memory 22. That is, theimage selection unit 212 selects, from among the video images of a total of 40 users stored in theimage storage unit 221, the video images of, for example, the top 16 users with a high degree of matching of the attributes of the selection condition. As in the first embodiment, theimage selection section 212 transmits the selection result to the displayscreen creation section 213 of theprocessing section 21.

　なお、画像選択部２１２における規定のユーザ選択アルゴリズムは、合致度が高いユーザが複数存在する場合、それらユーザの動画像をランダムに選択するというものであっても良い。Note that the prescribed user selection algorithm in theimage selection unit 212 may be such that when there are multiple users with a high matching degree, the video images of those users are randomly selected.

　（動作例）
　次に、以上のように構成された表示画面作成システムの動作を説明する。(Operation example)
Next, the operation of the display screen creation system configured as above will be explained.

　図１６は、第２実施形態における下位処理サーバ１０の動作の一例を示すフローチャートである。本実施形態においては、プロセッサ１１Ａは、まず、属性情報取得部１１５として動作して、ログイン済みの各ユーザ端末ＵＴのユーザの属性情報を取得するか否か判断する（ステップＳ１１１）。ログイン済みのユーザ端末ＵＴのユーザの内で、未だ属性情報を取得していないユーザが存在する場合には、プロセッサ１１Ａは、そのユーザの属性情報を取得して、データメモリ１２の属性情報記憶部１２３に記憶させる（ステップＳ１１２）。その後、プロセッサ１１Ａは、上記ステップＳ１１１の処理に移行する。FIG. 16 is a flowchart illustrating an example of the operation of the lower-level processing server 10 in the second embodiment. In this embodiment, the processor 11A first operates as the attributeinformation acquisition unit 115 and determines whether to acquire the attribute information of the user of each logged-in user terminal UT (step S111). If there is a user who has not yet acquired attribute information among the logged-in users of the user terminal UT, the processor 11A acquires the attribute information of that user and stores it in the attribute information storage section of thedata memory 12. 123 (step S112). After that, the processor 11A moves to the process of step S111 described above.

　上記ステップＳ１１１において属性情報を取得しないと判断した場合には、プロセッサ１１Ａは、制御信号取得部１１４として動作して、入力装置１６又は管理サーバ３０からの制御信号が有ったか否か判断する（ステップＳ１１３）。制御信号が有った場合には、プロセッサ１１Ａは、その制御信号で示される、優先して選択するべき属性情報を指定する選択条件を、データメモリ１２の選択条件記憶部１２４に記憶させる（ステップＳ１１４）。その後、プロセッサ１１Ａは、上記ステップＳ１１１の処理に移行する。If it is determined in step S111 that the attribute information is not acquired, the processor 11A operates as the controlsignal acquisition unit 114 and determines whether there is a control signal from theinput device 16 or the management server 30 ( Step S113). If there is a control signal, the processor 11A causes the selectioncondition storage unit 124 of thedata memory 12 to store the selection condition indicating the attribute information to be selected with priority, which is indicated by the control signal (step S114). After that, the processor 11A moves to the process of step S111 described above.

　上記ステップＳ１１３において制御信号は無いと判断した場合には、プロセッサ１１Ａは、ステップＳ１０１の処理に移行する。すなわち、プロセッサ１１Ａは、ユーザ画像受信部１１１として動作して、ログイン済みの各ユーザ端末ＵＴからユーザの動画像を取得し、取得したユーザの動画像又はそれらの縦及び横の画素数を縮小した動画像をデータメモリ１２のユーザ画像記憶部１２１に記憶させる。If it is determined in step S113 that there is no control signal, the processor 11A moves to step S101. That is, the processor 11A operates as the userimage receiving unit 111, acquires the user's video images from each logged-in user terminal UT, and reduces the number of vertical and horizontal pixels of the acquired user's video images or their vertical and horizontal pixels. The moving image is stored in the userimage storage section 121 of thedata memory 12.

　その後、プロセッサ１１Ａは、画像選択部１１２として動作して、データメモリ１２の属性情報記憶部１２３に記憶された属性情報及び選択条件記憶部１２４に記憶された選択条件から、規定のユーザ選択アルゴリズムに基づいて、ユーザ画像記憶部１２１に記憶された５０人分の動画像の中から例えば２０人分の動画像を選択する（ステップＳ１１５）。Thereafter, the processor 11A operates as theimage selection section 112 and uses a prescribed user selection algorithm from the attribute information stored in the attributeinformation storage section 123 of thedata memory 12 and the selection conditions stored in the selectioncondition storage section 124. Based on this, for example, moving images of 20 people are selected from among the moving images of 50 people stored in the user image storage unit 121 (step S115).

　そして、プロセッサ１１Ａは、選択画像送信部１１３として動作して、選択した２０人分の動画像（又はそれらを縮小した動画像）及びそれらのユーザの属性情報を、上位処理サーバ２０へ送信する（ステップＳ１１６）。The processor 11A then operates as the selectedimage transmitting unit 113 and transmits the video images of the selected 20 people (or the video images obtained by reducing them) and the attribute information of those users to the higher-level processing server 20 ( Step S116).

　その後、プロセッサ１１Ａは、ステップＳ１０４の処理に移行して、このフローチャートに示す動作を終了するか否か判断することとなる。After that, the processor 11A moves to the process of step S104, and determines whether or not to end the operation shown in this flowchart.

　図１７は、第２実施形態における上位処理サーバ２０の動作の一例を示すフローチャートである。本実施形態においては、プロセッサ２１Ａは、まず、制御信号取得部２１５として動作して、入力装置２６又は管理サーバ３０からの制御信号が有ったか否か判断する（ステップＳ２１１）。制御信号が有った場合には、プロセッサ２１Ａは、その制御信号で示される、優先して選択するべき属性情報を指定する選択条件をデータメモリ２２の選択条件記憶部２２３に記憶させる（ステップＳ２１２）。その後、プロセッサ１１Ａは、上記ステップＳ２１１の処理に移行する。FIG. 17 is a flowchart illustrating an example of the operation of the higher-level processing server 20 in the second embodiment. In this embodiment, theprocessor 21A first operates as the controlsignal acquisition unit 215 and determines whether there is a control signal from theinput device 26 or the management server 30 (step S211). If there is a control signal, theprocessor 21A causes the selectioncondition storage unit 223 of thedata memory 22 to store the selection condition indicating the attribute information to be selected with priority, which is indicated by the control signal (step S212). ). Thereafter, the processor 11A proceeds to the process of step S211.

　上記ステップＳ２１１において制御信号は無いと判断した場合には、プロセッサ２１Ａは、選択画像受信部２１１として動作して、第１及び第２下位処理サーバ１０－１，１０－２からそれぞれ２０人分の動画像及び属性情報を取得し、取得した合計４０人分の動画像又はそれらの縦及び横の画素数を縮小した動画像と属性情報とを画像記憶部２２１に記憶させる（ステップＳ２１３）。If it is determined in step S211 that there is no control signal, theprocessor 21A operates as the selectedimage receiving unit 211, and receives data from each of the 20 people from the first and second lower processing servers 10-1 and 10-2. The moving images and attribute information are acquired, and the acquired moving images for a total of 40 people or their reduced vertical and horizontal pixel numbers and attribute information are stored in the image storage unit 221 (step S213).

　次に、プロセッサ２１Ａは、画像選択部２１２として動作して、データメモリ１２の画像記憶部２２１に記憶された属性情報と選択条件記憶部２２３に記憶された選択条件とから、規定のユーザ選択アルゴリズムに基づいて、データメモリ２２の画像記憶部２２１に記憶された合計４０人分の動画像の中から例えば１６人分の動画像を選択する（ステップＳ２１４）
　その後は、プロセッサ２１Ａは、ステップＳ２０３の処理に移行して、表示画面作成部２１３として動作して、選択した１６人分の動画像又はそれらを縮小した動画像を合成した表示画面を作成していくこととなる。Next, theprocessor 21A operates as theimage selection section 212 and selects a prescribed user selection algorithm from the attribute information stored in theimage storage section 221 of thedata memory 12 and the selection conditions stored in the selectioncondition storage section 223. Based on this, for example, moving images of 16 people are selected from among the moving images of a total of 40 people stored in theimage storage section 221 of the data memory 22 (step S214).
Thereafter, theprocessor 21A moves to the process of step S203, operates as the displayscreen creation unit 213, and creates a display screen that combines the moving images of the selected 16 people or the reduced moving images thereof. I have to go.

　以上詳述したように、この発明の第２実施形態に係る表示画面作成システムでは、ユーザ選択アルゴリズムは、特定の属性情報に合致するユーザの動画像を選択することであって、複数の下位処理サーバ１０はそれぞれ、複数のユーザ端末ＵＴのユーザそれぞれの属性に関する属性情報を記憶する属性情報記憶部１２３と、複数のユーザ端末ＵＴそれぞれから受信した動画像の中から、ユーザ選択アルゴリズムに従って、属性情報記憶部１２３に記憶された属性情報の内で特定の属性情報との合致度が上位のユーザの複数の動画像を選択する画像選択部１１２と、選択した複数の動画像又はそれらの縦及び横の画素数を縮小した動画像と、複数の動画像それぞれについての属性情報とを、上位処理サーバ２０に送信する選択画像送信部１１３とを備える。また、上位処理サーバ２０は、複数の下位処理サーバ１０それぞれから受信した動画像の中から、ユーザ選択アルゴリズムに従って、複数の下位処理サーバ１０から送信されてきた属性情報の内で特定の属性情報との合致度が上位のユーザの複数の動画像を選択する画像選択部２１２と、選択した複数の動画像又はそれらの縦及び横の画素数を縮小した動画像を配置した表示画面を作成する表示画面作成部２１３と、を備える。As described in detail above, in the display screen creation system according to the second embodiment of the present invention, the user selection algorithm is to select a moving image of a user that matches specific attribute information, and to Eachserver 10 has an attributeinformation storage unit 123 that stores attribute information regarding the attributes of each of the users of the plurality of user terminals UT, and selects attribute information from among the moving images received from each of the plurality of user terminals UT according to a user selection algorithm. Animage selection section 112 that selects a plurality of moving images of users having a high degree of matching with specific attribute information among the attribute information stored in thestorage section 123, and a plurality of selected moving images or their vertical and horizontal directions. The selectedimage transmitting unit 113 transmits a moving image with a reduced number of pixels and attribute information for each of the plurality of moving images to the higher-level processing server 20. Further, the higher-level processing server 20 selects specific attribute information among the attribute information transmitted from the multiple lower-level processing servers 10 according to the user selection algorithm from among the moving images received from each of the multiple lower-level processing servers 10. animage selection unit 212 that selects a plurality of moving images of users with a high degree of matching; and a display that creates a display screen on which the selected plurality of moving images or moving images obtained by reducing the number of vertical and horizontal pixels of the selected moving images are arranged. Ascreen creation unit 213 is provided.

　よって、この第２実施形態にわれば、イベントで自宅などから個々にリモートで参加する人が数多くいる場合でも、下位処理サーバ１０にて、全員分の動画像と属性情報を受信しつつ、どのユーザの動画像を表示するかの候補を決定して、候補となるユーザの動画像又はそれらを縮小した動画像と属性情報のみを上位処理サーバ２０に送信することで、データ転送量や上位処理サーバ２０での受信負荷を低減することができる。さらに、上位処理サーバ２０では、受信されたユーザの動画像と属性情報のみを用いて、最終的に表示するユーザの動画像を決定し、表示画面を作成することができる。また、ユーザを選択するための処理も、第１下位処理サーバ１０－１、第２下位処理サーバ１０－２及び上位処理サーバ２０に分散されるため、各サーバにおける処理負荷を低減する効果や、ユーザを選択する処理が高速化されて、全体としての遅延が低減する効果も有る。Therefore, according to the second embodiment, even if there are many people participating remotely from their homes or the like at an event, thelower processing server 10 can receive video images and attribute information for everyone, and By determining candidates for displaying user video images and sending only candidate user video images or reduced video images and attribute information to the higher-level processing server 20, data transfer amount and higher-level processing can be reduced. The reception load on theserver 20 can be reduced. Furthermore, the higher-level processing server 20 can determine the user's moving image to be finally displayed and create a display screen using only the received user's moving image and attribute information. In addition, since the processing for selecting users is also distributed to the first lower-level processing server 10-1, the second lower-level processing server 10-2, and the higher-level processing server 20, the processing load on each server can be reduced. This also has the effect of speeding up the process of selecting a user and reducing overall delay.

　［第２実施形態の第１変形例］
　本実施例においては、下位処理サーバ１０の属性情報取得部１１５は、各ユーザが事前に回答した属性情報を取得するものとしているが、属性情報は事前に収集することに限定されない。例えば、属性情報取得部１１５は、動画像を送信している各ユーザ端末ＵＴに対して、質問を送信して回答してもらい、その回答を取得するようにしても良い。すなわち、ユーザ画像受信部１１１によるユーザの動画像の受信と、属性情報取得部１１５によるユーザの属性情報の取得とは、同時に又は略同時の近接した時間に行っても良い。[First modification of second embodiment]
In this embodiment, the attributeinformation acquisition unit 115 of thelower processing server 10 acquires the attribute information answered in advance by each user, but the attribute information is not limited to being collected in advance. For example, the attributeinformation acquisition unit 115 may transmit a question to each user terminal UT that is transmitting a moving image, ask for an answer, and acquire the answer. That is, the reception of the user's moving image by the userimage reception unit 111 and the acquisition of the user's attribute information by the attributeinformation acquisition unit 115 may be performed at the same time or at approximately the same time and at close times.

　この場合、図１６のフローチャートに示したステップＳ１１１においては、プロセッサ１１Ａは、未だ属性情報を取得していないユーザが存在するかどうかではなく、何れかのユーザから属性情報を取得するかどうかを判断することとなる。ログイン済みのユーザ端末ＵＴのユーザの内で、属性情報を取得するべきユーザが存在する場合には、プロセッサ１１Ａは、ステップＳ１１２に移行して、当該ユーザのユーザ端末ＵＴから属性情報を取得して、データメモリ１２の属性情報記憶部１２３に記憶させることとなる。In this case, in step S111 shown in the flowchart of FIG. 16, the processor 11A does not determine whether there is a user who has not yet acquired attribute information, but rather determines whether to acquire attribute information from any user. I will do it. If there is a user whose attribute information should be acquired among the users of the user terminal UT who have already logged in, the processor 11A moves to step S112 and acquires the attribute information from the user terminal UT of the user. , will be stored in the attributeinformation storage section 123 of thedata memory 12.

　［第２実施形態の第２変形例］
　また、属性情報は、ユーザが陽に下位処理サーバ１０又は管理サーバ３０に送信しなくても良く、例えば、下位処理サーバ１０において自動的に生成されるものであっても良い。[Second modification of second embodiment]
Further, the attribute information does not need to be explicitly transmitted by the user to the lower-level processing server 10 or themanagement server 30, and may be automatically generated by the lower-level processing server 10, for example.

　図１８は、この発明の第２変形例における下位処理サーバ１０のソフトウェア構成を示すブロック図である。本変形例における下位処理サーバ１０の処理部１１は、属性情報取得部１１５に代えて、属性情報生成部１１６を備える。属性情報生成部１１６は、例えば、ユーザ画像記憶部１２１に記憶した各ユーザの動画像から特徴量を抽出したり、各ユーザ端末ＵＴとの間の通信環境を計測又は管理サーバ３０から取得したりして、それらの情報に基づいて各ユーザの属性情報を自動的に生成する。そして、属性情報生成部１１６は、それら自動的に生成した各ユーザの属性情報を、属性情報記憶部１２３に記憶させる。FIG. 18 is a block diagram showing the software configuration of thelower processing server 10 in a second modification of the present invention. Theprocessing unit 11 of thelower processing server 10 in this modification includes an attributeinformation generation unit 116 instead of the attributeinformation acquisition unit 115. For example, the attributeinformation generation unit 116 extracts feature amounts from the video images of each user stored in the userimage storage unit 121, measures the communication environment with each user terminal UT, or acquires it from themanagement server 30. Then, attribute information for each user is automatically generated based on that information. Then, the attributeinformation generation unit 116 stores the automatically generated attribute information of each user in the attributeinformation storage unit 123.

　［第２実施形態の第３変形例］
　また、下位処理サーバ１０における選択条件と上位処理サーバ２０における選択条件とが同一である必要も無い。例えば、イベント実施者が入力装置２６又は管理サーバ３０から上位処理サーバ２０へ、下位処理サーバ１０とは異なる選択条件を入力することができる。これにより、上位処理サーバ２０は、下位処理サーバ１０によって或る選択条件によって絞り込まれたユーザの動画像の中から、イベント実施者が希望する属性に合致するユーザの動画像を含む表示画面を作成する。よって、イベント実施者が指定した呼びかけに合致する属性を持ったユーザの動画像を含む表示画面を各ユーザのユーザ端末ＵＴに表示させることが可能になり、リモートで参加するユーザ同士の協調アクションがより期待できるようになる。[Third modification of second embodiment]
Further, the selection conditions in the lower-level processing server 10 and the selection conditions in the higher-level processing server 20 do not need to be the same. For example, an event implementer can input selection conditions different from those used in thelower processing server 10 to theupper processing server 20 from theinput device 26 or themanagement server 30. Thereby, the higher-level processing server 20 creates a display screen that includes video images of users that match the attributes desired by the event organizer, from among the video images of users narrowed down by the lower-level processing server 10 according to a certain selection condition. do. Therefore, it becomes possible to display on each user's user terminal UT a display screen containing video images of users with attributes that match the call specified by the event organizer, and collaborative actions between users participating remotely are possible. You can expect more.

　［第２実施形態の第４変形例］
　さらに、表示画面作成システムは、上位処理サーバ２０を複数備えても良い。図１９は、第２実施形態の第４変形例に係る表示画面作成システムの構成の一例を示すブロック図である。図１９は、２つの上位処理サーバ２０、すなわち、第１上位処理サーバ２０－１と第２上位処理サーバ２０とを備えるシステムを示している。第１上位処理サーバ２０－１は、第１下位処理サーバ１０－１及び第２下位処理サーバ１０－２の両方から選択画像及び属性情報を受信して表示画面を作成する。同様に、第２上位処理サーバ２０－２は、第１下位処理サーバ１０－１及び第２下位処理サーバ１０－２の両方から選択画像及び属性情報を受信して表示画面を作成する。[Fourth modification of second embodiment]
Furthermore, the display screen creation system may include a plurality of higher-level processing servers 20. FIG. 19 is a block diagram illustrating an example of the configuration of a display screen creation system according to a fourth modification of the second embodiment. FIG. 19 shows a system including two higher-level processing servers 20, ie, a first higher-level processing server 20-1 and a second higher-level processing server 20. The first higher-level processing server 20-1 receives the selected image and attribute information from both the first lower-level processing server 10-1 and the second lower-level processing server 10-2, and creates a display screen. Similarly, the second higher-level processing server 20-2 receives the selected image and attribute information from both the first lower-level processing server 10-1 and the second lower-level processing server 10-2 and creates a display screen.

　ここで、第１上位処理サーバ２０－１と第２上位処理サーバ２０－２とで、異なる選択条件を指定することができる。例えば、第１上位処理サーバ２０－１では「好きなスポーツ選手：野球のイチロー」の属性の合致度が高いユーザの動画像でなる表示画面を作成し、第２上位処理サーバ２０では「好きなスポーツ選手：サッカーのイニエスタ」の属性の合致度が高いユーザの動画像でなる表示画面を作成することができる。Here, different selection conditions can be specified for the first higher-level processing server 20-1 and the second higher-level processing server 20-2. For example, the first higher-level processing server 20-1 creates a display screen consisting of a video image of a user who has a high degree of match with the attribute of "favorite sports player: Ichiro baseball player," and the second higher-level processing server 20 creates a display screen consisting of a video image of a user who has a high degree of matching with the attribute "favorite sports player: Ichiro baseball player." It is possible to create a display screen consisting of a video image of a user that has a high degree of matching with the attributes of "athlete: soccer player Iniesta."

　イベント会場のスクリーン等に何れの表示画面を表示させるかは、イベント管理者が管理サーバ３０から適宜切り替えることができる。The event manager can switch as appropriate from themanagement server 30 which display screen to display on the screen or the like at the event venue.

　また、第１及び第２上位処理サーバ２０－１，２０－２で作成した表味画面を、第１下位処理サーバ１０－１及び第２下位処理サーバ１０－２を介してユーザ端末ＵＴに送信するようにしても良い。この場合、第１上位処理サーバ２０－１は、作成した表示画面と共に選択に使用した属性情報を第１下位処理サーバ１０－１及び第２下位処理サーバ１０－２の両方に送信する。同様に、第２上位処理サーバ２０－２は、作成した表示画面と共に選択に使用した属性情報を第１下位処理サーバ１０－１及び第２下位処理サーバ１０－２の両方に送信する。第１及び第２上位処理サーバ２０－１，２０－２から２つの表示画面を受信した下位処理サーバ１０は、ユーザの属性情報に併せて、それら２つの表示画面を分配配信する。In addition, the taste screens created by the first and second upper processing servers 20-1 and 20-2 are sent to the user terminal UT via the first lower processing server 10-1 and the second lower processing server 10-2. You may also do so. In this case, the first higher-level processing server 20-1 transmits the created display screen and the attribute information used for selection to both the first lower-level processing server 10-1 and the second lower-level processing server 10-2. Similarly, the second higher-level processing server 20-2 transmits the created display screen and the attribute information used for selection to both the first lower-level processing server 10-1 and the second lower-level processing server 10-2. Thelower processing server 10, which has received the two display screens from the first and second upper processing servers 20-1 and 20-2, distributes the two display screens in accordance with the user's attribute information.

　図２０は、第２実施形態の第４変形例における下位処理サーバ１０のソフトウェア構成を示すブロック図である。本変形例では、処理部１１は、第２実施形態の構成に加えて、表示画面受信部１１７と、配信部１１８と、を有する。また、データメモリ１２は、第２実施形態の構成に加えて、表示画面記憶部１２５を有する。FIG. 20 is a block diagram showing the software configuration of thelower processing server 10 in the fourth modification of the second embodiment. In this modification, theprocessing unit 11 includes a displayscreen receiving unit 117 and adistribution unit 118 in addition to the configuration of the second embodiment. Further, thedata memory 12 includes a displayscreen storage section 125 in addition to the configuration of the second embodiment.

　処理部１１の表示画面受信部１１７は、通信インタフェース１４により、第１及び第２上位処理サーバ２０－１，２０－２それぞれから送信されてきた表示画面と属性情報を受信する機能を備える。表示画面受信部１１７は、受信した表示画面と属性情報をデータメモリ１２の表示画面記憶部１２５に記憶させる。The displayscreen receiving unit 117 of theprocessing unit 11 has a function of receiving the display screen and attribute information transmitted from the first and second upper processing servers 20-1 and 20-2, respectively, through thecommunication interface 14. The displayscreen receiving unit 117 stores the received display screen and attribute information in the displayscreen storage unit 125 of thedata memory 12.

　処理部１１の配信部１１８は、配信先のユーザ端末ＵＴに表示画面を送信する際、当該ユーザ端末ＵＴのユーザの属性情報を、データメモリ１２の属性情報記憶部１２３の記憶内容から確認する。そして、配信部１１８は、表示画面記憶部１２５に記憶された表示画面の内で、その確認した属性情報に合致する属性情報を有する方の表示画面を選択し、その選択した表示画面を、通信インタフェース１４により配信先のユーザ端末ＵＴに送信する。When thedistribution unit 118 of theprocessing unit 11 transmits the display screen to the destination user terminal UT, it checks the attribute information of the user of the user terminal UT from the stored contents of the attributeinformation storage unit 123 of thedata memory 12. Then, thedistribution unit 118 selects a display screen having attribute information that matches the confirmed attribute information from among the display screens stored in the displayscreen storage unit 125, and transmits the selected display screen to the communication It is transmitted to the destination user terminal UT via theinterface 14.

　図２１は、第２実施形態の第４変形例における下位処理サーバ１０の配信処理に係わる動作の一例を示すフローチャートである。下位処理サーバ１０のプロセッサ１１Ａは、例えばプログラムメモリ１１Ｂに予め記憶された画像中継プログラムを実行することで、このフローチャートに示す処理を行うことができる。画像中継プログラムは、ユーザ端末ＵＴからの動画像を上位処理サーバ２０へ中継するためのプログラム部分に加えて、上位処理サーバ２０からの表示画面をユーザ端末ＵＴへ中継するためのプログラム部分を含み、図２１に示す配信処理は、その内の後者のプログラム部分に係わる処理である。FIG. 21 is a flowchart illustrating an example of the operation of the lower-level processing server 10 related to distribution processing in the fourth modification of the second embodiment. The processor 11A of thelower processing server 10 can perform the processing shown in this flowchart, for example, by executing an image relay program stored in advance in theprogram memory 11B. The image relay program includes, in addition to a program part for relaying moving images from the user terminal UT to the higher-level processing server 20, a program part for relaying the display screen from the higher-level processing server 20 to the user terminal UT, The distribution process shown in FIG. 21 is a process related to the latter program part.

　プロセッサ１１Ａは、表示画面受信部１１７として動作して、第１及び第２上位処理サーバ２０－１，２０－２それぞれから表示画面及び属性情報を取得する（ステップＳ１２１）。すなわち、プロセッサ１１Ａは、両下位処理サーバ１０から表示画面及び属性情報を受信し、受信した表示画面と属性情報を表示画面記憶部１２５に記憶させる。The processor 11A operates as the displayscreen receiving unit 117 and acquires the display screen and attribute information from each of the first and second upper processing servers 20-1 and 20-2 (step S121). That is, the processor 11A receives the display screen and attribute information from both lower-level processing servers 10, and stores the received display screen and attribute information in the displayscreen storage unit 125.

　そして、プロセッサ１１Ａは、各表示画面の属性情報と各ユーザの属性情報とに基づいて、各ユーザ端末ＵＴへ表示画面を送信する（ステップＳ１２２）。例えば、「好きなスポーツ選手：野球のイチロー」という属性情報の合致度が高いユーザのユーザ端末ＵＴには、第１上位処理サーバ２０－１からの表示画面を送信し、「好きなスポーツ選手：サッカーのイニエスタ」の属性情報の合致度が高いユーザのユーザ端末ＵＴには、第２上位処理サーバ２０－２からの表示画像を送信する。このように、各ユーザのユーザ端末ＵＴには、自身の属性に近いユーザの動画像を含む表示画面が表示されることになり、リモートで参加するユーザ同士の仮想的な出会いの場が実現する。Then, the processor 11A transmits the display screen to each user terminal UT based on the attribute information of each display screen and the attribute information of each user (step S122). For example, a display screen from the first higher-level processing server 20-1 is sent to the user terminal UT of a user who has a high degree of matching of the attribute information "Favorite sports player: Baseball player Ichiro", and the display screen "Favorite sports player: Ichiro baseball player" is sent to the user terminal UT. The display image from the second higher-level processing server 20-2 is transmitted to the user terminal UT of the user with a high degree of matching with the attribute information of the soccer player "Iniesta." In this way, each user's user terminal UT will display a display screen that includes video images of users similar to his or her own attributes, creating a virtual meeting place for users who participate remotely. .

　その後、プロセッサ１１Ａは、このフローチャートに示す動作を終了するか否か判断する（ステップＳ１２３）。例えば、プロセッサ１１Ａは、入力装置１６から終了指示が入力されたり、上位処理サーバ２０や管理サーバ３０から終了を指示する制御信号を受信したりした場合に、終了すると判断する。未だ終了しないと判断した場合、プロセッサ１１Ａは、上記ステップＳ１２１の処理に移行する。また、終了すると判断した場合には、プロセッサ１１Ａは、このフローチャートに示す動作を終了する。After that, the processor 11A determines whether to end the operation shown in this flowchart (step S123). For example, when the processor 11A receives a termination instruction from theinput device 16 or receives a control signal instructing termination from the higher-level processing server 20 or themanagement server 30, the processor 11A determines to terminate. If it is determined that the process has not ended yet, the processor 11A moves to the process of step S121 described above. Furthermore, if it is determined that the process is to end, the processor 11A ends the operation shown in this flowchart.

　［第２実施形態の第５変形例］
　なお、第１実施形態の第２及び第３変形例と同様に、制御信号がパラメータの指定指令を含み、選択するユーザの動画像の個数を変更できるようにしても良い。[Fifth modification of the second embodiment]
Note that, similarly to the second and third modified examples of the first embodiment, the control signal may include a parameter designation command so that the number of user-selected moving images can be changed.

　［第２実施形態の第６変形例］
　また、上位処理サーバ２０の表示画面作成部２１３が作成する表示画面については、本第２実施形態においても、第１実施形態の第４変形例乃至第６変形例で説明したような変形が可能なことは言うまでもない。[Sixth modification of second embodiment]
Also, in the second embodiment, the display screen created by the displayscreen creation unit 213 of theupper processing server 20 can be modified as described in the fourth modification to the sixth modification of the first embodiment. Needless to say.

　［第３実施形態］
　次に、この発明の第３実施形態を説明する。ここでは、第２実施形態と同様の部分についてはその説明を省略し、異なる部分のみを説明する。[Third embodiment]
Next, a third embodiment of the invention will be described. Here, descriptions of parts similar to those in the second embodiment will be omitted, and only different parts will be described.

　（下位処理サーバ）
　図２２は、この発明の第３実施形態における下位処理サーバ１０のソフトウェア構成を示すブロック図である。本実施形態においては、処理部１１は、第２実施形態の構成における属性情報取得部１１５に代えて、入力情報取得部１１９を備える。また、データメモリ１２は、第１実施形態における属性情報記憶部１２３に代えて、入力情報記憶部１２６を備える。(lower processing server)
FIG. 22 is a block diagram showing the software configuration of thelower processing server 10 in the third embodiment of the present invention. In this embodiment, theprocessing unit 11 includes an inputinformation acquisition unit 119 instead of the attributeinformation acquisition unit 115 in the configuration of the second embodiment. Furthermore, thedata memory 12 includes an inputinformation storage section 126 instead of the attributeinformation storage section 123 in the first embodiment.

　処理部１１の入力情報取得部１１９は、各ユーザ端末ＵＴが備える入力装置から送信されてくる入力情報を取得し、取得した入力情報をデータメモリ１２の入力情報記憶部１２６に記憶させる機能を有する。入力情報取得部１１９は、入力情報として、例えば、ユーザ端末ＵＴが備えるマイクを通じた入力音声情報を取得することができる。The inputinformation acquisition unit 119 of theprocessing unit 11 has a function of acquiring input information transmitted from an input device included in each user terminal UT, and storing the acquired input information in the inputinformation storage unit 126 of thedata memory 12. . The inputinformation acquisition unit 119 can acquire, as input information, for example, audio information input through a microphone included in the user terminal UT.

　本実施形態における処理部１１の制御信号取得部１１４は、入力装置１６から入力された又は管理サーバ３０から送信されてきた制御信号を取得し、取得した制御信号で示される選択条件をデータメモリ１２の選択条件記憶部１２４に記憶させる。本実施形態における選択条件は、優先して選択するべき入力情報を指定するものである。例えば、選択条件は、特定の文字列とすることができる。The controlsignal acquisition unit 114 of theprocessing unit 11 in this embodiment acquires the control signal input from theinput device 16 or transmitted from themanagement server 30, and applies the selection condition indicated by the acquired control signal to thedata memory 12. is stored in the selectioncondition storage unit 124 of. The selection condition in this embodiment specifies input information that should be selected with priority. For example, the selection condition can be a specific string of characters.

　本実施形態における処理部１１の画像選択部１１２は、データメモリ１２の入力情報記憶部１２６に記憶された入力情報である入力音声情報を既存のSpeech to Text技術によりテキストに変換する機能を備える。そして、画像選択部１１２は、このテキストに変換した文字列と、選択条件記憶部１２４に記憶された選択条件とから、規定のユーザ選択アルゴリズムに基づいて、合致度が高い上位処理サーバ２０に送信するべきユーザの動画像を選択する。この場合の規定のユーザ選択アルゴリズムは、選択条件の入力情報の合致の高いユーザの例えば上位２０人のユーザの動画像を選択するというものである。画像選択部１１２は、その選択結果を処理部１１の選択画像送信部１１３に伝達するが、本実施形態では、選択結果は、選択した動画像における入力情報も含む。この選択結果における入力情報は、入力情報記憶部１２６に記憶された入力音声情報そのものであっても良いが、通信負荷軽減のために変換したテキストとすることが望ましい。Theimage selection unit 112 of theprocessing unit 11 in this embodiment has a function of converting input voice information, which is input information stored in the inputinformation storage unit 126 of thedata memory 12, into text using the existing Speech to Text technology. Then, theimage selection unit 112 transmits the character string converted to text and the selection conditions stored in the selectioncondition storage unit 124 to the higher-level processing server 20 with a high matching degree based on a prescribed user selection algorithm. Select the video of the user you want to use. In this case, the prescribed user selection algorithm is to select the video images of, for example, the top 20 users who highly match the input information of the selection conditions. Theimage selection unit 112 transmits the selection result to the selectedimage transmission unit 113 of theprocessing unit 11, but in this embodiment, the selection result also includes input information on the selected moving image. The input information in this selection result may be the input voice information itself stored in the inputinformation storage section 126, but is preferably converted text in order to reduce the communication load.

　なお、画像選択部１１２における規定のユーザ選択アルゴリズムは、合致度が高いユーザが複数存在する場合、それらユーザの動画像をランダムに選択するというものであっても良い。Note that the prescribed user selection algorithm in theimage selection unit 112 may be such that, when there are multiple users with a high matching degree, moving images of those users are randomly selected.

　本実施形態における処理部１１の選択画像送信部１１３は、第２実施形態と同様に、画像選択部１１２での選択結果に従って、データメモリ１２のユーザ画像記憶部１２１に記憶されている５０人分の動画像の中から２０人分の動画像を読み出す。そして、本実施形態における選択画像送信部１１３は、それら読み出した動画像又はそれらの縦及び横の画素数を縮小した動画像を、それぞれの入力情報と共に、通信インタフェース１４により上位処理サーバ２０に送信する機能を有している。The selectedimage transmitting unit 113 of theprocessing unit 11 in this embodiment transmits images of 50 people stored in the userimage storage unit 121 of thedata memory 12 according to the selection result of theimage selection unit 112, as in the second embodiment. The video images of 20 people are read out from the video images of . Then, the selectedimage transmitting unit 113 in this embodiment transmits the read moving images or the moving images obtained by reducing the number of vertical and horizontal pixels to the higher-level processing server 20 through thecommunication interface 14 along with the respective input information. It has the function of

　（上位処理サーバ）
　この発明の第３実施形態に係る上位処理サーバ２０のソフトウェア構成は、図１５に示した第２実施形態と同様である。但し、本実施形態においては、処理部２１の選択画像受信部２１１は、下位処理サーバ１０から送信されてきたユーザの動画像及びその入力情報を受信し、データメモリ２２の画像記憶部２２１に記憶させる機能を有している。すなわち、本実施形態におけるデータメモリ２２の画像記憶部２２１は、合計４０人分の動画像（又はそれらを縮小した動画像）と各動画像の入力情報とを記憶する。(Upper processing server)
The software configuration of thehost processing server 20 according to the third embodiment of this invention is the same as that of the second embodiment shown in FIG. 15. However, in this embodiment, the selectedimage receiving unit 211 of theprocessing unit 21 receives the user's moving image and its input information transmitted from thelower processing server 10, and stores it in theimage storage unit 221 of thedata memory 22. It has the function of That is, theimage storage unit 221 of thedata memory 22 in this embodiment stores moving images for a total of 40 people (or moving images obtained by reducing the moving images) and input information for each moving image.

　また、本実施形態における処理部２１の画像選択部２１２は、データメモリ１２の画像記憶部２２１に記憶された入力情報と選択条件記憶部２２３に記憶された選択条件とから、規定のユーザ選択アルゴリズムに基づいて、データメモリ２２の画像記憶部２２１に記憶された動画像の中から表示画面に使用するべき動画像を選択する機能を有している。すなわち、画像選択部２１２は、画像記憶部２２１に記憶された合計４０人分の動画像の中から、選択条件の入力情報の合致度が高い例えば上位１６人分のユーザの動画像を選択する。画像選択部２１２は、その選択結果を、処理部２１の表示画面作成部２１３に伝達することは、第２実施形態と同様である。Further, theimage selection unit 212 of theprocessing unit 21 in this embodiment uses a prescribed user selection algorithm from the input information stored in theimage storage unit 221 of thedata memory 12 and the selection conditions stored in the selectioncondition storage unit 223. It has a function of selecting a moving image to be used for the display screen from among the moving images stored in theimage storage section 221 of thedata memory 22 based on the above. That is, theimage selection unit 212 selects, for example, the video images of the top 16 users who have a high degree of agreement with the input information of the selection condition from among the video images of a total of 40 users stored in theimage storage unit 221. . Similar to the second embodiment, theimage selection unit 212 transmits the selection result to the displayscreen creation unit 213 of theprocessing unit 21.

　なお、画像選択部２１２における規定のユーザ選択アルゴリズムは、入力情報の合致度が高いユーザが複数存在する場合、それらユーザの動画像をランダムに選択するというものであっても良い。Note that the prescribed user selection algorithm in theimage selection unit 212 may be such that, when there are multiple users whose input information matches highly, the video images of those users are randomly selected.

　（動作例）
　次に、以上のように構成された表示画面作成システムの動作を説明する。(Operation example)
Next, the operation of the display screen creation system configured as above will be explained.

　図２３は、第３実施形態における下位処理サーバ１０の動作の一例を示すフローチャートである。本実施形態においては、プロセッサ１１Ａは、まず、ステップＳ１１３の処理を実行する。すなわち、プロセッサ１１Ａは、制御信号取得部１１４として動作して、入力装置１６又は管理サーバ３０からの制御信号が有ったか否か判断する。制御信号が有った場合には、プロセッサ１１Ａは、ステップＳ１１４の処理に移行して、その制御信号で示される、優先して選択するべき入力情報を指定する選択条件、例えば特定の文字列を、データメモリ１２の選択条件記憶部１２４に記憶させることとなる。FIG. 23 is a flowchart illustrating an example of the operation of the lower-level processing server 10 in the third embodiment. In this embodiment, the processor 11A first executes the process of step S113. That is, the processor 11A operates as the controlsignal acquisition unit 114 and determines whether there is a control signal from theinput device 16 or themanagement server 30. If there is a control signal, the processor 11A moves to step S114 and sets selection conditions indicating input information to be selected with priority, such as a specific character string, indicated by the control signal. , will be stored in the selectioncondition storage section 124 of thedata memory 12.

　これに対して、上記ステップＳ１１３において制御信号は無いと判断した場合には、プロセッサ１１Ａは、ステップＳ１０１の処理に移行する。すなわち、プロセッサ１１Ａは、ユーザ画像受信部１１１として動作して、ログイン済みの各ユーザ端末ＵＴからユーザの動画像を取得し、取得したユーザの動画像又はそれらを縮小した動画像をデータメモリ１２のユーザ画像記憶部１２１に記憶させる。On the other hand, if it is determined in step S113 that there is no control signal, the processor 11A moves to step S101. That is, the processor 11A operates as the userimage receiving unit 111, acquires the user's moving image from each logged-in user terminal UT, and stores the acquired user's moving image or a reduced version of the user's moving image in thedata memory 12. The image is stored in the userimage storage unit 121.

　本実施形態では、プロセッサ１１Ａは、さらに、入力情報取得部１１９として動作して、各ユーザ端末ＵＴが備える入力装置から送信されてくる入力情報取得し、取得した入力情報をデータメモリ１２の入力情報記憶部１２６に記憶させる（ステップＳ１３１）。In this embodiment, the processor 11A further operates as an inputinformation acquisition unit 119 to acquire input information transmitted from an input device included in each user terminal UT, and converts the acquired input information into input information in thedata memory 12. The information is stored in the storage unit 126 (step S131).

　その後、本実施形態では、プロセッサ１１Ａは、画像選択部１１２として動作して、データメモリ１２の入力情報記憶部１２６に記憶された入力情報及び選択条件記憶部１２４に記憶された選択条件から、規定のユーザ選択アルゴリズムに基づいて、ユーザ画像記憶部１２１に記憶された５０人分の動画像の中から例えば２０人分の動画像を選択する（ステップＳ１３２）。Thereafter, in the present embodiment, the processor 11A operates as theimage selection section 112 and selects the prescribed selection conditions from the input information stored in the inputinformation storage section 126 of thedata memory 12 and the selection conditions stored in the selectioncondition storage section 124. Based on the user selection algorithm, for example, moving images of 20 people are selected from among the moving images of 50 people stored in the user image storage unit 121 (step S132).

　そして、プロセッサ１１Ａは、選択画像送信部１１３として動作して、選択した２０人分の動画像又はそれらを縮小した動画像及びそれらの入力情報を、上位処理サーバ２０へ送信する（ステップＳ１３３）。Then, the processor 11A operates as the selectedimage transmitting unit 113 and transmits the video images of the selected 20 people or their reduced video images and their input information to the higher-level processing server 20 (step S133).

　その後、プロセッサ１１Ａは、ステップＳ１０４の処理に移行して、このフローチャートに示す動作を終了するか否か判断することとなる。After that, the processor 11A moves to the process of step S104, and determines whether or not to end the operation shown in this flowchart.

　図２４は、第３実施形態における上位処理サーバ２０の動作の一例を示すフローチャートである。本実施形態においても、プロセッサ２１Ａは、まず、ステップＳ２１１において制御信号取得部２１５として動作して、入力装置２６又は管理サーバ３０からの制御信号が有るか否か判断する。そして、制御信号が有ったと判断した場合、プロセッサ２１Ａは、ステップＳ２１２に移行して、その制御信号で示される、優先して選択するべき入力情報を指定する選択条件、例えば特定の文字列を、データメモリ２２の選択条件記憶部２２３に記憶させることとなる。FIG. 24 is a flowchart illustrating an example of the operation of the higher-level processing server 20 in the third embodiment. Also in this embodiment, theprocessor 21A first operates as the controlsignal acquisition unit 215 in step S211, and determines whether there is a control signal from theinput device 26 or themanagement server 30. If it is determined that there is a control signal, theprocessor 21A moves to step S212 and selects a selection condition that specifies input information to be selected with priority, for example, a specific character string, which is indicated by the control signal. , will be stored in the selectioncondition storage section 223 of thedata memory 22.

　これに対して、ステップＳ２１１において制御信号は無いと判断した場合には、本実施形態においては、プロセッサ２１Ａは、選択画像受信部２１１として動作して、第１及び第２下位処理サーバ１０－１，１０－２からそれぞれ２０人分の動画像及び入力情報を取得し、取得した合計４０人分の動画像（又はそれらを縮小した動画像）と入力情報を画像記憶部２２１に記憶させる（ステップＳ２２１）。On the other hand, if it is determined in step S211 that there is no control signal, in this embodiment, theprocessor 21A operates as the selectedimage receiving section 211, and the first and second lower processing servers 10-1 , 10-2, respectively, and store the obtained moving images (or reduced video images) and input information for a total of 40 people in the image storage unit 221 (step S221).

　次に、プロセッサ２１Ａは、画像選択部２１２として動作して、データメモリ１２の画像記憶部２２１に記憶された入力情報と選択条件記憶部２２３に記憶された選択条件とから、規定のユーザ選択アルゴリズムに基づいて、データメモリ２２の画像記憶部２２１に記憶された合計４０人分の動画像の中から例えば１６人分の動画像を選択する（ステップＳ２２２）
　その後は、プロセッサ２１Ａは、ステップＳ２０３の処理に移行して、表示画面作成部２１３として動作して、選択した１６人分の動画像（又はそれらを縮小した動画像）を合成した表示画面を作成していくこととなる。Next, theprocessor 21A operates as theimage selection section 212 and selects a prescribed user selection algorithm from the input information stored in theimage storage section 221 of thedata memory 12 and the selection conditions stored in the selectioncondition storage section 223. Based on this, for example, moving images of 16 people are selected from among the moving images of a total of 40 people stored in theimage storage section 221 of the data memory 22 (step S222).
After that, theprocessor 21A moves to the process of step S203, operates as the displayscreen creation unit 213, and creates a display screen that combines the video images of the selected 16 people (or the video images that are reduced). I will continue to do so.

　以上詳述したように、この発明の第３実施形態に係る表示画面作成システムでは、ユーザ選択アルゴリズムは、特定の入力情報に合致するユーザの動画像を選択することであって、複数の下位処理サーバ１０はそれぞれ、複数のユーザ端末ＵＴが備える入力装置による入力情報を、複数のユーザ端末ＵＴそれぞれから取得する入力情報取得部１１９と、複数のユーザ端末ＵＴそれぞれから受信した動画像の中から、ユーザ選択アルゴリズムに従って、入力情報取得部１１９が取得した入力情報の内で特定の入力情報との合致度が上位のユーザの複数の動画像を選択する画像選択部１１２と、選択した複数の動画像又はそれらの縦及び横の画素数を縮小した動画像と、複数の動画像それぞれについての入力情報とを、上位処理サーバ２０に送信する選択画像送信部１１３と、を備える。そして、上位処理サーバ２０は、複数の下位処理サーバ１０それぞれから受信した動画像の中から、ユーザ選択アルゴリズムに従って、複数の下位処理サーバ１０から送信されてきた入力情報の内で特定の入力情報との合致度が上位のユーザの複数の動画像を選択する画像選択部２１２と、選択した複数の動画像又はそれらの縦及び横の画素数を縮小した動画像を配置した表示画面を作成する表示画面作成部２１３と、を備える。As described in detail above, in the display screen creation system according to the third embodiment of the present invention, the user selection algorithm is to select a user's moving image that matches specific input information, and to Eachserver 10 has an inputinformation acquisition unit 119 that acquires input information from an input device provided in a plurality of user terminals UT from each of the plurality of user terminals UT, and a video image received from each of the plurality of user terminals UT. Animage selection unit 112 that selects a plurality of moving images of users whose degree of match with specific input information is high among the input information acquired by the inputinformation acquisition unit 119 according to a user selection algorithm, and the selected plurality of moving images. Alternatively, the selectedimage transmitting unit 113 transmits a moving image whose vertical and horizontal pixel numbers are reduced and input information for each of the plurality of moving images to the higher-level processing server 20. Then, theupper processing server 20 selects specific input information from among the input information transmitted from the plurality oflower processing servers 10 according to the user selection algorithm from among the moving images received from each of the plurality oflower processing servers 10. animage selection unit 212 that selects a plurality of moving images of users with a high degree of matching; and a display that creates a display screen on which the selected plurality of moving images or moving images obtained by reducing the number of vertical and horizontal pixels of the selected moving images are arranged. Ascreen creation unit 213 is provided.

　よって、この発明の第３実施形態によれば、イベントで自宅などから個々にリモートで参加する人が数多くいる場合でも、下位処理サーバ１０にて、全員分の動画像と入力情報を受信しつつ、どのユーザの動画像を表示するかの候補を決定して、候補となるユーザの動画像又はそれらを縮小した動画像と入力情報のみを上位処理サーバ２０に送信することで、データ転送量や上位処理サーバ２０での受信負荷を低減することができる。さらに、上位処理サーバ２０では、受信されたユーザの動画像と入力情報のみを用いて、最終的に表示するユーザの動画像を決定し、表示画面を作成することができる。また、ユーザを選択するための処理も、第１下位処理サーバ１０－１、第２下位処理サーバ１０－２及び上位処理サーバ２０に分散されるため、各サーバにおける処理負荷を低減する効果や、ユーザを選択する処理が高速化されて、全体としての遅延が低減する効果も有る。Therefore, according to the third embodiment of the present invention, even if there are many people who participate remotely from their homes etc. at an event, thelower processing server 10 can receive video images and input information for all participants while simultaneously receiving video images and input information for all participants. , by determining candidates for which user's video images should be displayed and sending only the candidate user's video images or reduced video images and input information to the higher-level processing server 20, the amount of data transferred and The reception load on theupper processing server 20 can be reduced. Furthermore, the higher-level processing server 20 can determine the user's moving image to be finally displayed and create a display screen using only the received user's moving image and input information. In addition, since the processing for selecting users is also distributed to the first lower-level processing server 10-1, the second lower-level processing server 10-2, and the higher-level processing server 20, the processing load on each server can be reduced. This also has the effect of speeding up the process of selecting a user and reducing overall delay.

　［第３実施形態の第１変形例］
　第３実施形態は、ユーザによる入力情報が入力音声情報であり、各ユーザから送信される入力音声情報をテキストに変換し、制御信号により選択条件として入力された特定の文字列との合致度の高いユーザの動画像を選択するものとした。しかしながら、例えば、制御信号により示される選択条件を特定の音量とし、歓声の大きいユーザの動画像を選択する等、入力音声情報を必ずしもテキスト変換しなくても良い。[First modification of third embodiment]
In the third embodiment, the input information by the user is input voice information, the input voice information sent from each user is converted into text, and the degree of match with a specific character string input as a selection condition is determined by a control signal. The video images of high users were selected. However, the input audio information does not necessarily need to be converted into text, for example, when the selection condition indicated by the control signal is set to a specific volume and a moving image of a user who cheers loudly is selected.

　また、入力情報は、ユーザによる入力音声情報に限定されない。　
　例えば、入力情報は、ユーザ端末ＵＴが備えるマウスやジョイスティック等の入力デバイスの操作情報とすることができる。この場合、制御信号により示される選択条件は、入力デバイスの特定の操作情報、例えば、マウスの特定のクリック操作位置、ジョイスティックの特定の操作方向、等である。そして、規定のユーザ選択アルゴリズムは、入力デバイスの特定の操作情報との合致度の高いユーザを選択する、というアルゴリズムとなる。Furthermore, the input information is not limited to voice information input by the user.
For example, the input information may be operation information of an input device such as a mouse or a joystick included in the user terminal UT. In this case, the selection condition indicated by the control signal is specific operation information of the input device, such as a specific click operation position of the mouse, a specific operation direction of the joystick, and the like. The prescribed user selection algorithm is an algorithm that selects a user who has a high degree of matching with specific operation information of the input device.

　或いは、入力情報は、ユーザ端末ＵＴがＰＣであればマウスの特定の動き、またユーザ端末ＵＴがスマートフォンであれば画面上のユーザの指の特定の動き、等を示す動き情報としても良い。例えばユーザ端末ＵＴの画面上にバーチャルケミカルライトを表示させて、ユーザがそのバーチャルケミカルライトを動かためにマウス又は指を動かしたとき、そのマウス又は指の動き情報が入力情報として取得されることができる。この場合、制御信号により示される選択条件は、ユーザによるマウス又は指の特定の動き情報であり、規定のユーザ選択アルゴリズムは、その特定の動き情報との合致度の高いユーザを選択する、というアルゴリズムとなる。Alternatively, the input information may be movement information indicating a specific movement of the mouse if the user terminal UT is a PC, a specific movement of the user's finger on the screen if the user terminal UT is a smartphone, or the like. For example, when a virtual chemical light is displayed on the screen of the user terminal UT and the user moves the mouse or finger to move the virtual chemical light, information on the movement of the mouse or finger can be obtained as input information. can. In this case, the selection condition indicated by the control signal is specific movement information of the mouse or finger by the user, and the prescribed user selection algorithm is an algorithm that selects a user that has a high degree of agreement with the specific movement information. becomes.

　［第３実施形態の第２変形例］
　また、第２実施形態の第３変形例と同様に、下位処理サーバ１０における選択条件と上位処理サーバ２０における選択条件とが同一である必要も無い。[Second modification of third embodiment]
Furthermore, similarly to the third modification of the second embodiment, the selection conditions in the lower-level processing server 10 and the selection conditions in the higher-level processing server 20 do not need to be the same.

　例えば、下位処理サーバ１０における選択条件は特定の文字列とし、上位処理サーバ２０における選択条件は合致度の特定のスコアとすることができる。この場合、下位処理サーバ１０及び上位処理サーバ２０は、以下のように構成される。For example, the selection condition in thelower processing server 10 can be a specific character string, and the selection condition in thehigher processing server 20 can be a specific score of the degree of matching. In this case, thelower processing server 10 and theupper processing server 20 are configured as follows.

　下位処理サーバ１０の画像選択部１１２は、選択した上位２０人分の動画像における合致度のスコアを含む選択結果を選択画像送信部１１３に伝達する機能を有する。また、選択画像送信部１１３は、選択した上位２０人分の動画像又はそれらを縮小した動画像と合致度のスコアとを上位処理サーバ２０へ送信する機能を有する。Theimage selection unit 112 of the lower-level processing server 10 has a function of transmitting the selection results including the match score for the video images of the top 20 selected people to the selectedimage transmission unit 113. Further, the selectedimage transmitting unit 113 has a function of transmitting the video images of the top 20 selected people or their reduced video images and matching degree scores to the higher-level processing server 20.

　上位処理サーバ２０の選択画像受信部２１１は、受信した動画像（又はそれらを縮小した動画像）とスコアとを画像記憶部２２１に記憶させる機能を有する。制御信号取得部２１５は、入力装置２６から入力された又は管理サーバ３０から送信されてきた制御信号を取得し、取得した制御信号で示される選択条件である特定のスコアをデータメモリ２２の選択条件記憶部２２３に記憶させる機能を有する。画像選択部２１２は、画像記憶部２２１に記憶された合計４０人分の動画像の中から、選択条件である特定のスコアとの合致度が高い例えば上位１６人分のユーザの動画像を選択する。ここで、合致度が高い上位１６人とは、特定のスコア以上であるスコアの動画像の中から、スコアが高い順に１６個の動画像のユーザのことである。The selectedimage receiving unit 211 of the higher-level processing server 20 has a function of storing received moving images (or reduced moving images thereof) and scores in theimage storage unit 221. The controlsignal acquisition unit 215 acquires a control signal input from theinput device 26 or transmitted from themanagement server 30, and sets a specific score, which is a selection condition indicated by the acquired control signal, as a selection condition in thedata memory 22. It has a function of storing data in thestorage unit 223. Theimage selection unit 212 selects, from among the video images of a total of 40 users stored in theimage storage unit 221, the video images of, for example, the top 16 users that have a high degree of agreement with a specific score that is the selection condition. do. Here, the top 16 users with the highest degree of matching are the users of the 16 video images with the highest scores from among the video images with scores equal to or higher than a specific score.

　図２５は、第３実施形態の第２変形例における下位処理サーバ１０の動作の一例を示すフローチャートである。プロセッサ１１Ａは、まず、ステップＳ１１３の処理を実行する。すなわち、プロセッサ１１Ａは、制御信号取得部１１４として動作して、入力装置１６又は管理サーバ３０からの制御信号が有ったか否か判断する。制御信号が有った場合には、プロセッサ１１Ａは、ステップＳ１１４の処理に移行して、その制御信号で示される、優先して選択するべき入力情報を指定する選択条件、例えば特定の文字列を、データメモリ１２の選択条件記憶部１２４に記憶させることとなる。FIG. 25 is a flowchart illustrating an example of the operation of thelower processing server 10 in the second modification of the third embodiment. The processor 11A first executes the process of step S113. That is, the processor 11A operates as the controlsignal acquisition unit 114 and determines whether there is a control signal from theinput device 16 or themanagement server 30. If there is a control signal, the processor 11A moves to step S114 and sets selection conditions indicating input information to be selected with priority, such as a specific character string, indicated by the control signal. , will be stored in the selectioncondition storage section 124 of thedata memory 12.

　これに対して、上記ステップＳ１１３において制御信号は無いと判断した場合には、プロセッサ１１Ａは、ステップＳ１０１の処理において、ユーザ画像受信部１１１として動作して、ログイン済みの各ユーザ端末ＵＴからユーザの動画像を取得し、取得したユーザの動画像又はそれらを縮小した動画像をデータメモリ１２のユーザ画像記憶部１２１に記憶させる。そしてさらに、プロセッサ１１Ａは、ステップＳ１３１において、入力情報取得部１１９として動作して、各ユーザ端末ＵＴが備える入力装置から送信されてくる入力情報取得し、取得した入力情報をデータメモリ１２の入力情報記憶部１２６に記憶させる。その後、プロセッサ１１Ａは、ステップＳ１３２において、画像選択部１１２として動作して、入力情報及び選択条件から、規定のユーザ選択アルゴリズムに基づいて、ユーザ画像記憶部１２１に記憶された５０人分の動画像の中から例えば２０人分の動画像を選択する。On the other hand, if it is determined in step S113 that there is no control signal, the processor 11A operates as the userimage receiving unit 111 in the process of step S101, and receives the user image from each logged-in user terminal UT. A moving image is acquired, and the acquired moving image of the user or a reduced version thereof is stored in the userimage storage unit 121 of thedata memory 12. Furthermore, in step S131, the processor 11A operates as the inputinformation acquisition unit 119, acquires input information transmitted from the input device included in each user terminal UT, and converts the acquired input information into the input information of thedata memory 12. The information is stored in thestorage unit 126. Thereafter, in step S132, the processor 11A operates as theimage selection unit 112 and selects the video images of 50 people stored in the userimage storage unit 121 based on the input information and selection conditions based on a prescribed user selection algorithm. For example, video images of 20 people are selected from among them.

　そして、プロセッサ１１Ａは、選択画像送信部１１３として動作して、本変形例では、選択した２０人分の動画像又はそれらを縮小した動画像及びスコアを、上位処理サーバ２０へ送信する（ステップＳ１４１）。Then, the processor 11A operates as the selectedimage transmitting unit 113, and in this modification, transmits the video images of the selected 20 people or the video images and scores obtained by reducing them to the higher-level processing server 20 (step S141 ).

　その後、プロセッサ１１Ａは、ステップＳ１０４の処理に移行して、このフローチャートに示す動作を終了するか否か判断することとなる。After that, the processor 11A moves to the process of step S104, and determines whether or not to end the operation shown in this flowchart.

　図２６は、第３実施形態の第２変形例における上位処理サーバ２０の動作の一例を示すフローチャートである。本変形例においても、プロセッサ２１Ａは、まず、ステップＳ２１１において制御信号取得部２１５として動作して、入力装置２６又は管理サーバ３０からの制御信号が有るか否か判断する。そして、制御信号が有ったと判断した場合、プロセッサ２１Ａは、ステップＳ２１２に移行して、その制御信号で示される選択条件をデータメモリ２２の選択条件記憶部２２３に記憶させることとなる。但し、本変形例では、制御信号で示される選択条件は、特定のスコアである。FIG. 26 is a flowchart illustrating an example of the operation of the higher-level processing server 20 in the second modification of the third embodiment. Also in this modification, theprocessor 21A first operates as the controlsignal acquisition unit 215 in step S211, and determines whether there is a control signal from theinput device 26 or themanagement server 30. If it is determined that there is a control signal, theprocessor 21A moves to step S212 and stores the selection condition indicated by the control signal in the selectioncondition storage section 223 of thedata memory 22. However, in this modification, the selection condition indicated by the control signal is a specific score.

　これに対して、ステップＳ２１１において制御信号は無いと判断した場合には、本変形例においては、プロセッサ２１Ａは、選択画像受信部２１１として動作して、第１及び第２下位処理サーバ１０－１，１０－２からそれぞれ２０人分の動画像及びスコアを取得し、取得した合計４０人分の動画像又はそれらを縮小した動画像とスコアを画像記憶部２２１に記憶させる（ステップＳ２３１）。On the other hand, if it is determined in step S211 that there is no control signal, in this modification, theprocessor 21A operates as the selectedimage receiving unit 211, and the first and second lower-level processing servers 10-1 , 10-2, and store the obtained moving images for a total of 40 people or their reduced versions and scores in the image storage unit 221 (step S231).

　次に、プロセッサ２１Ａは、画像選択部２１２として動作して、データメモリ１２の画像記憶部２２１に記憶されたスコアと選択条件記憶部２２３に記憶された選択条件である特定スコアとから、規定のユーザ選択アルゴリズムに基づいて、データメモリ２２の画像記憶部２２１に記憶された合計４０人分の動画像の中から例えば１６人分の動画像を選択する（ステップＳ２３２）
　その後は、プロセッサ２１Ａは、ステップＳ２０３の処理に移行して、表示画面作成部２１３として動作して、選択した１６人分の動画像又はそれらを縮小した動画像を合成した表示画面を作成していくこととなる。Next, theprocessor 21A operates as theimage selection unit 212 and selects a prescribed score from the score stored in theimage storage unit 221 of thedata memory 12 and the specific score that is the selection condition stored in the selectioncondition storage unit 223. Based on the user selection algorithm, for example, moving images of 16 people are selected from among the moving images of a total of 40 people stored in theimage storage section 221 of the data memory 22 (step S232).
Thereafter, theprocessor 21A moves to the process of step S203, operates as the displayscreen creation unit 213, and creates a display screen that combines the moving images of the selected 16 people or the reduced moving images thereof. I have to go.

　［第３実施形態の第３変形例］
　また、第２実施形態の第４変形例と同様に、表示画面作成システムは、上位処理サーバ２０を複数備えても良い。[Third modification of third embodiment]
Further, similarly to the fourth modification of the second embodiment, the display screen creation system may include a plurality of higher-level processing servers 20.

　［第３実施形態の第４変形例］
　なお、第１実施形態の第２及び第３変形例と同様に、制御信号がパラメータの指定指令を含み、選択するユーザの動画像の個数を変更できるようにしても良い。[Fourth modification of third embodiment]
Note that, similarly to the second and third modified examples of the first embodiment, the control signal may include a parameter designation command so that the number of user-selected moving images can be changed.

　［第３実施形態の第５変形例］
　また、上位処理サーバ２０の表示画面作成部２１３が作成する表示画面については、本第３実施形態においても、第１実施形態の第４変形例乃至第６変形例で説明したような変形が可能なことは言うまでもない。[Fifth modification of third embodiment]
Furthermore, regarding the display screen created by the displayscreen creation unit 213 of thehost processing server 20, the modifications described in the fourth to sixth modifications of the first embodiment are also possible in the third embodiment. Needless to say.

　［第４実施形態］
　図２７は、この発明の第４実施形態に係る表示画面作成システムの構成の一例を示すブロック図である。前述した第１乃至第３実施形態では、それぞれ最大５０台のユーザ端末ＵＴがアクセスされる下位処理サーバ１０の台数を２台とした例を示したが、図２７に第１下位処理サーバ１０－１～第ｎ下位処理サーバ１０－ｎとして示すように、表示画面作成システムは、イベントにリモートで参加するユーザ端末ＵＴの数に応じて、下位処理サーバ１０の台数を増加させて良い。[Fourth embodiment]
FIG. 27 is a block diagram showing an example of the configuration of a display screen creation system according to the fourth embodiment of the present invention. In the first to third embodiments described above, an example was shown in which the number of lower-level processing servers 10 accessed by a maximum of 50 user terminals UT was two, but FIG. As shown as the first to n-th lower-level processing servers 10-n, the display screen creation system may increase the number of lower-level processing servers 10 according to the number of user terminals UT that remotely participate in the event.

　また、上位処理サーバ２０についても最大５０の動画像を処理するとすれば、下位処理サーバ１０－１～１０－ｎと上位処理サーバ２０との間に、ｍ台の中間処理サーバ４０－１～４０－ｍを設けることが必要となる。Furthermore, if theupper processing server 20 also processes a maximum of 50 moving images, there are m intermediate processing servers 40-1 to 40 between the lower processing servers 10-1 to 10-n and theupper processing server 20. -m must be provided.

　さらに、イベントにリモートで参加するユーザ端末ＵＴの数によっては、つまり下位処理サーバ１０の台数によっては、中間処理サーバ４０もｐ層分とする、つまり中間処理サーバ４０を多階層構成とすることとなる。Furthermore, depending on the number of user terminals UT that remotely participate in the event, that is, depending on the number of lower-level processing servers 10, theintermediate processing servers 40 may also be configured as p layers, that is, theintermediate processing servers 40 may have a multi-layer configuration. Become.

　［他の実施形態］
　なお、この発明は上記実施形態に限定されるものではない。[Other embodiments]
Note that this invention is not limited to the above embodiments.

　例えば、下位処理サーバ１０の画像選択部１１２は、選択画像送信部１１３へ、選択結果ではなくて、選択した動画像を伝達するようにしても良い。この場合、選択画像送信部１１３は、ユーザ画像記憶部１２１から選択画像を読み出すことなく、上位処理サーバ２０へ選択画像又はそれらを縮小した動画像を送信することができる。上位処理サーバ２０においても同様に、画像選択部１１２から表示画面作成部２１３へは、選択結果ではなくて、選択した動画像を伝達しても良い。この場合、表示画面作成部２１３は、画像記憶部２２１から選択画像を読み出すことなく、表示画面を作成することができる。For example, theimage selection unit 112 of thelower processing server 10 may transmit the selected moving image to the selectedimage transmission unit 113 instead of the selection result. In this case, the selectedimage transmitting unit 113 can transmit the selected image or a reduced-sized moving image thereof to the higher-level processing server 20 without reading the selected image from the userimage storage unit 121. Similarly, in the higher-level processing server 20, the selected moving image may be transmitted from theimage selection unit 112 to the displayscreen creation unit 213 instead of the selection result. In this case, the displayscreen creation section 213 can create the display screen without reading the selected image from theimage storage section 221.

　また、上位処理サーバ２０の表示画面出力部２１４は、下位処理サーバ１０を介さずに、ネットワークを経由してユーザ端末ＵＴに表示画面を送信するようにしても良い。Furthermore, the displayscreen output unit 214 of the higher-level processing server 20 may transmit the display screen to the user terminal UT via the network without going through the lower-level processing server 10.

　また、フローチャートを参照して説明した各処理の流れは、説明した手順に限定されるものではない。例えば、図１６に示したフローチャートにおいて、ステップＳ１１１，Ｓ１１２の処理と、ステップＳ１１３，Ｓ１１４の処理とは、その順序を入れ替えても良いし、併行して同時に行っても良い。すなわち、各処理の流れは、いくつかのステップの順序が入れ替えられても良いし、いくつかのステップが同時併行で実施されても良いし、いくつかのステップの処理内容が修正されても良い。Furthermore, the flow of each process described with reference to the flowchart is not limited to the described procedure. For example, in the flowchart shown in FIG. 16, the processing in steps S111 and S112 and the processing in steps S113 and S114 may be reversed in order, or may be performed in parallel. That is, in each process flow, the order of some steps may be changed, some steps may be executed simultaneously, or the processing contents of some steps may be modified. .

　また、各実施形態に記載した手法は、計算機（コンピュータ）に実行させることができる処理プログラム（ソフトウェア手段）として、例えば磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ、ＭＯ等）、半導体メモリ（ＲＯＭ、ＲＡＭ、フラッシュメモリ等）等の記録媒体に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、計算機に実行させるソフトウェア手段（実行プログラムのみならずテーブル、データ構造も含む）を計算機内に構成させる設定プログラムをも含む。本装置を実現する計算機は、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウェア手段を構築し、このソフトウェア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書で言う記録媒体は、頒布用に限らず、計算機内部或いはネットワークを介して接続される機器に設けられた磁気ディスク、半導体メモリ等の記憶媒体を含むものである。Furthermore, the method described in each embodiment is applied to a processing program (software means) that can be executed by a computer, such as a magnetic disk (floppy (registered trademark) disk, hard disk, etc.), an optical disk (CD-ROM, It can also be stored in a recording medium such as a DVD, MO, etc.) or a semiconductor memory (ROM, RAM, flash memory, etc.), or transmitted and distributed via a communication medium. Note that the programs stored on the medium side also include a setting program for configuring software means (including not only execution programs but also tables and data structures) in the computer to be executed by the computer. The computer that realizes this device reads a program recorded on a recording medium, and if necessary, constructs software means using a setting program, and executes the above-described processing by controlling the operation of the software means. Note that the recording medium referred to in this specification includes not only storage media for distribution but also storage media such as magnetic disks and semiconductor memories provided inside computers or devices connected via a network.

　要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態に亘る構成要素を適宜組み合わせても良い。In short, the present invention is not limited to the above-described embodiments as they are, but can be embodied by modifying the constituent elements at the implementation stage without departing from the spirit of the invention. Moreover, various inventions can be formed by appropriately combining the plurality of components disclosed in the above embodiments. For example, some components may be deleted from all the components shown in the embodiments. Furthermore, components from different embodiments may be combined as appropriate.

　１０…下位処理サーバ
　１０－１…第１下位処理サーバ
　１０－２…第２下位処理サーバ
　１０－ｎ…第ｎ下位処理サーバ
　１１，２１…処理部
　１１Ａ，２１Ａ…プロセッサ
　１１Ｂ，２１Ｂ…プログラムメモリ
　１２，２２…データメモリ
　１３，２３…入出力インタフェース
　１４，２４…通信インタフェース
　１５，２５…バス
　１６，２６…入力装置
　２０…上位処理サーバ
　２０－１…第１上位処理サーバ
　２０－２…第２上位処理サーバ
　２７…出力装置
　３０…管理サーバ
　４０－１，４０－ｍ…中間処理サーバ
　１１１…ユーザ画像受信部
　１１２，２１２…画像選択部
　１１３…選択画像送信部
　１１４，２１５…制御信号取得部
　１１５…属性情報取得部
　１１６…属性情報生成部
　１１７…表示画面受信部
　１１８…配信部
　１１９…入力情報取得部
　１２１…ユーザ画像記憶部
　１２２，２２２…学習データ記憶部
　１２３…属性情報記憶部
　１２４，２２３…選択条件記憶部
　１２５…表示画面記憶部
　１２６…入力情報記憶部
　２１１…選択画像受信部
　２１３…表示画面作成部
　２１４…表示画面出力部
　２２１…画像記憶部
　Ｉｐ，Ｉｑ…動画像
　ＭＩ…合成画像
　ＵＴ，ＵＴ１～ＵＴ１００…ユーザ端末

 10... Lower-level processing server 10-1... First lower-level processing server 10-2... Second lower-level processing server 10-n... Nth lower-level processing server 11, 21...Processing unit 11A, 21A...Processor 11B, 21B...Program memory 12 , 22...Data memory 13, 23... Input/output interface 14, 24...Communication interface 15, 25...Bus 16, 26...Input device 20... Higher-level processing server 20-1... First higher-level processing server 20-2... Second higher-level processingserver Processing server 27...Output device 30... Management server 40-1, 40-m...Intermediate processing server 111... Userimage receiving section 112, 212...Image selection section 113... Selectedimage transmitting section 114, 215... Controlsignal acquisition section 115... Attributeinformation acquisition section 116...Attributeinformation generation section 117...Displayscreen reception section 118...Distribution section 119...Inputinformation acquisition section 121...Userimage storage section 122, 222...Learningdata storage section 123...Attributeinformation storage section 124, 223... Selectioncondition storage section 125... Displayscreen storage section 126... Inputinformation storage section 211... Selectedimage receiving section 213... Displayscreen creation section 214... Displayscreen output section 221... Image storage section Ip, Iq... Moving image MI... Composite image UT , UT1 to UT100...user terminals

Claims (8)

Translated fromJapanese

　それぞれ複数のユーザ端末からアクセスされる複数の下位処理サーバと、前記複数の下位処理サーバと通信する上位処理サーバと、を含む表示画面作成システムであって、
　前記複数の下位処理サーバはそれぞれ、第１の絞り込みアルゴリズムに従って、前記複数のユーザ端末それぞれから受信した画像を、受信した前記画像の総数よりも少ない複数の画像に絞り込み、前記絞り込んだ前記複数の画像又は前記絞り込んだ前記複数の画像の縦及び横の画素数を縮小した画像を前記上位処理サーバに送信し、
　前記上位処理サーバは、第２の絞り込みアルゴリズムに従って、前記複数の下位処理サーバそれぞれから受信した画像を、受信した前記画像の総数よりも少ない複数の画像に絞り込み、前記絞り込んだ前記複数の画像又は前記絞り込んだ前記複数の画像の縦及び横の画素数を縮小した画像を配置した表示画面を作成する、表示画面作成システム。A display screen creation system including a plurality of lower processing servers each accessed from a plurality of user terminals, and an upper processing server communicating with the plurality of lower processing servers,
Each of the plurality of lower processing servers narrows down the images received from each of the plurality of user terminals to a plurality of images smaller than the total number of the received images according to a first narrowing down algorithm, and narrows down the plurality of images that have been narrowed down. or transmitting an image obtained by reducing the number of vertical and horizontal pixels of the narrowed-down plurality of images to the higher-level processing server;
The upper processing server narrows down the images received from each of the plurality of lower processing servers to a plurality of images smaller than the total number of the received images according to a second narrowing down algorithm, and narrows down the images received from each of the plurality of lower processing servers to a plurality of images that are smaller than the total number of the received images, and A display screen creation system that creates a display screen on which images with reduced vertical and horizontal pixel counts of the narrowed-down plurality of images are arranged.　前記第１の絞り込みアルゴリズムと前記第２の絞り込みアルゴリズムとは、同一の選択アルゴリズムである、請求項１に記載の表示画面作成システム。The display screen creation system according to claim 1, wherein the first narrowing down algorithm and the second narrowing down algorithm are the same selection algorithm.　前記第１の絞り込みアルゴリズムと前記第２の絞り込みアルゴリズムとは、異なる選択アルゴリズムである、請求項１に記載の表示画面作成システム。The display screen creation system according to claim 1, wherein the first narrowing down algorithm and the second narrowing down algorithm are different selection algorithms.　前記複数の下位処理サーバ及び前記上位処理サーバはそれぞれ、
　　前記選択アルゴリズムに従って前記複数の画像を選択する画像選択部と、
　　特定の画像に関する学習データを記憶する学習データ記憶部と、
を具備し、
　前記画像選択部は、前記学習データとの合致度が上位の前記複数の画像を選択する、請求項２又は３に記載の表示画面作成システム。Each of the plurality of lower processing servers and the upper processing server,
an image selection unit that selects the plurality of images according to the selection algorithm;
a learning data storage unit that stores learning data regarding a specific image;
Equipped with
The display screen creation system according to claim 2 or 3, wherein the image selection unit selects the plurality of images having a high degree of matching with the learning data.　前記選択アルゴリズムは、特定の属性情報に合致するユーザの画像を選択することであって、
　前記複数の下位処理サーバはそれぞれ、
　　前記複数のユーザ端末のユーザそれぞれの属性に関する属性情報を記憶する属性情報記憶部と、
　　前記複数のユーザ端末それぞれから受信した前記画像の中から、前記選択アルゴリズムに従って、前記属性情報記憶部に記憶された前記属性情報の内で前記特定の属性情報との合致度が上位のユーザの前記複数の画像を選択する画像選択部と、
　　前記選択した前記複数の画像又は前記選択した前記複数の画像の縦及び横の画素数を縮小した前記画像と、前記複数の画像それぞれについての前記属性情報とを、前記上位処理サーバに送信する選択画像送信部と、
を具備し、
　前記上位処理サーバは、
　　前記複数の下位処理サーバそれぞれから受信した前記画像の中から、前記選択アルゴリズムに従って、前記複数の下位処理サーバから送信されてきた前記属性情報の内で前記特定の属性情報との合致度が上位のユーザの前記複数の画像を選択する画像選択部と、
　　前記選択した前記複数の画像又は前記選択した前記複数の画像の縦及び横の画素数を縮小した前記画像を配置した前記表示画面を作成する表示画面作成部と、を具備する、請求項２又は３に記載の表示画面作成システム。The selection algorithm is to select images of users that match specific attribute information,
Each of the plurality of lower processing servers is
an attribute information storage unit that stores attribute information regarding attributes of each of the users of the plurality of user terminals;
Among the images received from each of the plurality of user terminals, according to the selection algorithm, the image of the user with the highest matching degree with the specific attribute information among the attribute information stored in the attribute information storage unit is selected. an image selection section for selecting multiple images;
Selection of transmitting the selected plurality of images or the image obtained by reducing the number of vertical and horizontal pixels of the selected plurality of images, and the attribute information for each of the plurality of images to the higher-level processing server. an image transmitter,
Equipped with
The upper processing server is
Among the images received from each of the plurality of lower processing servers, according to the selection algorithm, one of the images having a higher degree of match with the specific attribute information among the attribute information transmitted from the plurality of lower processing servers is selected. an image selection unit that selects the plurality of images of the user;
3. A display screen creation unit that creates the display screen on which the plurality of selected images or the image obtained by reducing the number of vertical and horizontal pixels of the plurality of selected images are arranged. 3. The display screen creation system described in 3.　前記選択アルゴリズムは、特定の入力情報に合致するユーザの画像を選択することであって、
　前記複数の下位処理サーバはそれぞれ、
　　前記複数のユーザ端末が備える入力装置による入力情報を、前記複数のユーザ端末それぞれから取得する入力情報取得部と、
　　前記複数のユーザ端末それぞれから受信した画像の中から、前記選択アルゴリズムに従って、前記入力情報取得部が取得した前記入力情報の内で前記特定の入力情報との合致度が上位のユーザの前記複数の画像を選択する画像選択部と、
　　前記選択した前記複数の画像又は前記選択した前記複数の画像の縦及び横の画素数を縮小した前記画像と、前記複数の画像それぞれについての前記入力情報とを、前記上位処理サーバに送信する選択画像送信部と、
を具備し、
　前記上位処理サーバは、
　　前記複数の下位処理サーバそれぞれから受信した前記画像の中から、前記選択アルゴリズムに従って、前記複数の下位処理サーバから送信されてきた前記入力情報の内で前記特定の入力情報との合致度が上位のユーザの前記複数の画像を選択する画像選択部と、
　　前記選択した前記複数の画像又は前記選択した前記複数の画像の縦及び横の画素数を縮小した前記画像を配置した前記表示画面を作成する表示画面作成部と、を具備する、請求項２又は３に記載の表示画面作成システム。The selection algorithm is to select images of the user that match specific input information,
Each of the plurality of lower processing servers is
an input information acquisition unit that acquires input information from an input device included in the plurality of user terminals from each of the plurality of user terminals;
Among the images received from each of the plurality of user terminals, according to the selection algorithm, the plurality of users having a higher degree of matching with the specific input information among the input information obtained by the input information obtaining section are selected. an image selection section for selecting an image;
Selection of transmitting the selected plurality of images or the image obtained by reducing the number of vertical and horizontal pixels of the selected plurality of images, and the input information for each of the plurality of images to the higher-level processing server. an image transmitter,
Equipped with
The upper processing server is
Among the images received from each of the plurality of lower-level processing servers, according to the selection algorithm, among the input information transmitted from the plurality of lower-level processing servers, the one with the highest degree of matching with the specific input information is selected. an image selection unit that selects the plurality of images of the user;
3. A display screen creation unit that creates the display screen on which the plurality of selected images or the image obtained by reducing the number of vertical and horizontal pixels of the selected plurality of images are arranged. 3. The display screen creation system described in 3.　それぞれプロセッサとメモリを備え、複数のユーザ端末からアクセスされる複数の下位処理サーバと、プロセッサとメモリを備え、前記複数の下位処理サーバと通信する上位処理サーバと、を含む表示画面作成システムが実行する表示画面作成方法であって、
　前記複数の下位処理サーバそれぞれの前記プロセッサが、前記複数のユーザ端末それぞれから画像を受信して、受信した前記画像又は前記受信した前記画像の縦及び横の画素数を縮小した画像を前記メモリに記憶させることと、
　前記複数の下位処理サーバそれぞれの前記プロセッサが、前記メモリに記憶させた前記画像から、第１の絞り込みアルゴリズムに従って、前記メモリに記憶させた前記画像の総数よりも少ない複数の画像に絞り込むことと、
　前記複数の下位処理サーバそれぞれの前記プロセッサが、前記絞り込んだ前記複数の画像又は前記絞り込んだ前記複数の画像の縦及び横の画素数を縮小した画像を前記上位処理サーバに送信することと、
　前記上位処理サーバの前記プロセッサが、前記複数の下位処理サーバそれぞれから画像を受信して、前記受信した画像又は前記受信した前記画像の縦及び横の画素数を縮小した画像を前記メモリに記憶させることと、
　前記上位処理サーバの前記プロセッサが、前記メモリに記憶させた前記画像から、第２の絞り込みアルゴリズムに従って、前記メモリに記憶させた前記画像の総数よりも少ない複数の画像に絞り込むことと、
　前記上位処理サーバの前記プロセッサが、前記絞り込んだ前記複数の画像又は前記絞り込んだ前記複数の画像の縦及び横の画素数を縮小した画像を配置した表示画面を作成することと、
　を含む表示画面作成方法。A display screen creation system is executed that includes a plurality of lower processing servers each having a processor and memory and accessed by a plurality of user terminals, and an upper processing server having a processor and memory and communicating with the plurality of lower processing servers. A display screen creation method comprising:
The processor of each of the plurality of lower processing servers receives an image from each of the plurality of user terminals, and stores the received image or an image obtained by reducing the number of vertical and horizontal pixels of the received image into the memory. to remember and
The processor of each of the plurality of lower processing servers narrows down the images stored in the memory to a plurality of images smaller than the total number of images stored in the memory according to a first narrowing down algorithm;
The processor of each of the plurality of lower processing servers transmits the narrowed down images or an image obtained by reducing the number of vertical and horizontal pixels of the narrowed down images to the upper processing server;
The processor of the higher-level processing server receives an image from each of the plurality of lower-level processing servers, and stores the received image or an image obtained by reducing the number of vertical and horizontal pixels of the received image in the memory. And,
The processor of the higher-level processing server narrows down the images stored in the memory to a plurality of images smaller than the total number of images stored in the memory according to a second narrowing down algorithm;
The processor of the higher-level processing server creates a display screen on which the plurality of narrowed down images or images obtained by reducing the number of vertical and horizontal pixels of the narrowed down plurality of images are arranged;
Display screen creation method including.　それぞれ複数のユーザ端末からアクセスされる複数の下位処理サーバと、前記複数の下位処理サーバと通信する上位処理サーバと、を含む表示画面作成システムにおける前記複数の下位処理サーバのそれぞれが備えるプロセッサに、
　前記複数のユーザ端末それぞれから画像を受信して、受信した前記画像又は前記受信した前記画像の縦及び横の画素数を縮小した画像を前記複数の下位処理サーバのそれぞれが備えるメモリに記憶させる処理と、
　前記メモリに記憶させた前記画像から、第１の絞り込みアルゴリズムに従って、前記メモリに記憶させた前記画像の総数よりも少ない複数の画像に絞り込む処理と、
　前記絞り込んだ前記複数の画像又は前記絞り込んだ前記複数の画像の縦及び横の画素数を縮小した画像を前記上位処理サーバに送信する処理と、
を実行させる画像中継プログラム。

 A processor provided in each of the plurality of lower processing servers in a display screen creation system including a plurality of lower processing servers each accessed from a plurality of user terminals, and an upper processing server communicating with the plurality of lower processing servers,
A process of receiving an image from each of the plurality of user terminals and storing the received image or an image obtained by reducing the number of vertical and horizontal pixels of the received image in a memory provided in each of the plurality of lower processing servers. and,
A process of narrowing down the images stored in the memory to a plurality of images smaller than the total number of images stored in the memory according to a first narrowing down algorithm;
a process of transmitting the narrowed-down plurality of images or an image obtained by reducing the number of vertical and horizontal pixels of the narrowed-down plurality of images to the higher-level processing server;
An image relay program that runs

Images