JP7304747B2 - Image processing device, control method and control program - Google Patents

Description

Translated fromJapanese

本発明は、画像処理装置、制御方法及び制御プログラムに関する。 The present invention relates to an image processing device, control method and control program.

バレーボール等のスポーツでは、練習を撮影した画像を用いて、各プレイヤのフォームもしくは動き又はチーム全体のフォーメーション等の問題点を抽出し、フィードバックすることにより、各プレイヤ又はチームを効率良く強化することができる。一般に、練習を撮影した画像は膨大であるため、各プレイヤが、撮影された画像の中から所望の形式の練習等のイベントを探すためには、かなりの手間がかかる。そのため、近年、試合又は練習が実施されるコート等の空間が撮影された複数の入力画像から、特定のイベントを抽出する画像処理装置が開発されている。 In sports such as volleyball, images taken during practice are used to extract problems such as the form or movement of each player or the formation of the entire team, and feedback is provided to efficiently strengthen each player or team. can. In general, there are a large number of images of practices taken, and it takes a considerable amount of time and effort for each player to search for an event such as a practice of a desired format from among the images taken. Therefore, in recent years, an image processing apparatus has been developed that extracts a specific event from a plurality of input images in which spaces such as courts where games or practices are held are captured.

映像に含まれるシルエットを追跡し、シルエットの特徴量からイベントを検出する映像解析装置が開示されている（特許文献１）。 A video analysis device has been disclosed that tracks silhouettes included in video and detects events from silhouette feature amounts (Patent Document 1).

複数のセグメントからなるビデオの要約を生成するビデオ処理方法が開示されている（特許文献２）。このビデオ処理方法では、フットボール試合のプレーの開始時に現れるシーンを解析し、ビデオに表示されるパターンからプレー開始を検出し、プレー開始からボールがプレー外にあると見なされるプレー終了を検出するまでをセグメントとして生成する。 A video processing method for generating a video summary consisting of multiple segments is disclosed in US Pat. This video processing method analyzes the scene that appears at the start of play in a football game, detects the start of play from patterns displayed in the video, and detects the start of play from the start of play until the end of play where the ball is considered out of play. as a segment.

特開２００６－２８５８７８号公報JP 2006-285878 A特開２００３－１４３５４６号公報JP 2003-143546 A

画像処理装置において、複数の入力画像の中からイベントに対応する入力画像を良好に抽出することが求められている。 Image processing apparatuses are required to satisfactorily extract an input image corresponding to an event from among a plurality of input images.

画像処理装置、制御方法及び制御プログラムの目的は、複数の入力画像の中からイベントに対応する入力画像を良好に抽出することを可能とすることにある。 An object of an image processing apparatus, a control method, and a control program is to make it possible to satisfactorily extract an input image corresponding to an event from among a plurality of input images.

実施形態の一側面に係る画像処理装置は、第１イベントが実施される第１空間における人物配置に関する第１特徴情報、及び、第１イベントと異なる第２イベントが実施される第２空間における人物配置に関する第２特徴情報を記憶する記憶部と、第１撮像装置によって第１空間及び第２空間が撮影された複数の第１入力画像、及び、第２撮像装置によって第１空間及び第２空間が撮影された複数の第２入力画像を取得する取得部と、複数の第１入力画像及び複数の第２入力画像において、第１空間に対応する領域と第１特徴情報との適合度合い、及び、第２空間に対応する領域と第２特徴情報との適合度合いに基づいて、第１イベント又は第２イベントが実施されたか否かを判定する判定部と、判定部によって第１イベント及び第２イベントの何れかが実施されたと判定された場合、判定の基礎とされた入力画像において実施されると判定されたイベントに対応する空間内の第１人物密集度合いと、判定の基礎とされた入力画像を撮影した撮像装置と異なる撮像装置が同じタイミングで撮影した他の入力画像において同じイベントに対応する空間内の第２人物密集度合いとの比較に基づいて、撮像装置の選択を行う選択部と、選択部によって選択された撮像装置が撮影した複数の入力画像において、判定部による判定の基礎とされた入力画像又は判定部による判定の基礎とされた入力画像と同じタイミングで撮影された入力画像を、判定部により実施されると判定されたイベントと結び付けて出力する出力制御部と、を有する。 An image processing apparatus according to an aspect of an embodiment includes first feature information about placement of people in a first space where a first event is held, and people in a second space where a second event different from the first event is held. a storage unit that stores second feature information about the arrangement; a plurality of first input images in which the first space and the second space are captured by the first imaging device; and the first space and the second space by the second imaging device an acquisition unit that acquires a plurality of second input images in which is photographed; a degree of matching between a region corresponding to the first space and the first feature information in the plurality of first input images and the plurality of second input images; , a determination unit that determines whether or not the first event or the second event has been performed based on the degree of matching between the area corresponding to the second space and the second feature information; When it is determined that any of the events have occurred, a first degree of crowding of people in the space corresponding to the event determined to have occurred in the input image used as the basis for the determination, and the input used as the basis for the determination a selection unit that selects an imaging device based on a comparison with a second degree of crowding of people in a space corresponding to the same event in other input images captured at the same timing by an imaging device that is different from the imaging device that captured the image; , among a plurality of input images captured by the imaging device selected by the selection unit, an input image used as a basis for determination by the determination unit or an input image captured at the same timing as an input image used as a basis for determination by the determination unit with the event determined to be executed by the determination unit, and an output control unit for outputting the event.

実施形態の一側面に係る画像処理装置は、第１イベントが実施される第１空間における人物配置に関する第１特徴情報、及び、第１イベントと異なる第２イベントが実施される第２空間における人物配置に関する第２特徴情報を記憶する記憶部と、第１撮像装置によって第１空間及び第２空間が撮影された複数の第１入力画像、及び、第２撮像装置によって第１空間及び第２空間が撮影された複数の第２入力画像を取得する取得部と、所定のタイミングで第１撮像装置が撮影した第１入力画像の第１空間及び第２空間内の第１人物密集度合いと、所定のタイミングで第２撮像装置が撮影した第２入力画像の第１空間及び第２空間内の第２人物密集度合いとの比較に基づいて、撮像装置の選択を行う選択部と、選択部によって選択された撮像装置が撮影した複数の入力画像において、第１空間内の画像と第１特徴情報との適合度合い、及び、第２空間内の画像と第２特徴情報との適合度合いに基づいて、第１イベント又は第２イベントが実施されたか否かを判定する判定部と、判定部による判定の基礎とされた入力画像を、判定部により実施されると判定されたイベントと結び付けて出力する出力制御部と、を有する。 An image processing apparatus according to an aspect of an embodiment includes first feature information about placement of people in a first space where a first event is held, and people in a second space where a second event different from the first event is held. a storage unit that stores second feature information about the arrangement; a plurality of first input images in which the first space and the second space are captured by the first imaging device; and the first space and the second space by the second imaging device an acquisition unit that acquires a plurality of second input images captured by the first imaging device at a predetermined timing; A selection unit that selects an imaging device based on a comparison of a second input image captured by the second imaging device at the timing of and a second degree of human density in the first space and the second space, and selection by the selection unit Based on the degree of matching between the image in the first space and the first feature information and the degree of matching between the image in the second space and the second feature information in a plurality of input images captured by the imaging device, A determination unit that determines whether the first event or the second event has been performed, and an output that outputs an input image used as a basis for determination by the determination unit in association with the event determined to be performed by the determination unit. and a control unit.

また、実施形態の一側面に係る制御方法は、記憶部を有する画像処理装置の制御方法であって、画像処理装置が、第１イベントが実施される第１空間における人物配置に関する第１特徴情報、及び、第１イベントと異なる第２イベントが実施される第２空間における人物配置に関する第２特徴情報を記憶部に記憶し、第１撮像装置によって第１空間及び第２空間が撮影された複数の第１入力画像、及び、第２撮像装置によって第１空間及び第２空間が撮影された複数の第２入力画像を取得し、複数の第１入力画像及び複数の第２入力画像において、第１空間に対応する領域と第１特徴情報との適合度合い、及び、第２空間に対応する領域と第２特徴情報との適合度合いに基づいて、第１イベント又は第２イベントが実施されたか否かを判定し、第１イベント及び第２イベントの何れかが実施されたと判定された場合、判定の基礎とされた入力画像において実施されると判定されたイベントに対応する空間内の第１人物密集度合いと、判定の基礎とされた入力画像を撮影した撮像装置と異なる撮像装置が同じタイミングで撮影した他の入力画像において同じイベントに対応する空間内の第２人物密集度合いとの比較に基づいて、撮像装置の選択を行い、選択された撮像装置が撮影した複数の入力画像において、判定の基礎とされた入力画像又は判定の基礎とされた入力画像と同じタイミングで撮影された入力画像を、実施されると判定されたイベントと結び付けて出力する。 Further, a control method according to an aspect of the embodiment is a control method for an image processing device having a storage unit, wherein the image processing device controls first feature information regarding placement of people in a first space where a first event is held. , and second feature information relating to placement of people in a second space where a second event different from the first event is held is stored in a storage unit, and a plurality of images of the first space and the second space captured by the first imaging device and a plurality of second input images in which the first space and the second space are captured by the second imaging device, and in the plurality of first input images and the plurality of second input images, the Whether the first event or the second event has been performed based on the degree of matching between the area corresponding to the first space and the first feature information and the degree of matching between the area corresponding to the second space and the second feature information. If it is determined that either the first event or the second event has occurred, the first person in the space corresponding to the event determined to occur in the input image used as the basis for the determination Based on a comparison between the degree of crowding and a second degree of crowding of people in the space corresponding to the same event in another input image captured at the same timing by an imaging device different from the imaging device that captured the input image used as the basis for determination. Then, an imaging device is selected, and among a plurality of input images shot by the selected imaging device, the input image used as the basis for the judgment or the input image shot at the same timing as the input image used as the basis for the judgment is selected. , is output in association with the event determined to be performed.

また、実施形態の一側面に係る制御方法は、記憶部を有する画像処理装置の制御方法であって、画像処理装置が、第１イベントが実施される第１空間における人物配置に関する第１特徴情報、及び、第１イベントと異なる第２イベントが実施される第２空間における人物配置に関する第２特徴情報を記憶部に記憶し、第１撮像装置によって第１空間及び第２空間が撮影された複数の第１入力画像、及び、第２撮像装置によって第１空間及び第２空間が撮影された複数の第２入力画像を取得し、所定のタイミングで第１撮像装置が撮影した第１入力画像の第１空間及び第２空間内の第１人物密集度合いと、所定のタイミングで第２撮像装置が撮影した第２入力画像の第１空間及び第２空間内の第２人物密集度合いとの比較に基づいて、撮像装置の選択を行い、選択された撮像装置が撮影した複数の入力画像において、第１空間内の画像と第１特徴情報との適合度合い、及び、第２空間内の画像と第２特徴情報との適合度合いに基づいて、第１イベント又は第２イベントが実施されたか否かを判定し、判定の基礎とされた入力画像を、実施されると判定されたイベントと結び付けて出力する。 Further, a control method according to an aspect of the embodiment is a control method for an image processing device having a storage unit, wherein the image processing device controls first feature information regarding placement of people in a first space where a first event is held. , and second feature information relating to placement of people in a second space where a second event different from the first event is held is stored in a storage unit, and a plurality of images of the first space and the second space captured by the first imaging device and a plurality of second input images in which the first space and the second space are captured by the second imaging device, and the first input image captured by the first imaging device at a predetermined timing To compare the first degree of crowding of people in the first space and the second space with the second degree of crowding of people in the first space and the second space of the second input image captured by the second imaging device at a predetermined timing Based on this, an imaging device is selected, and in a plurality of input images captured by the selected imaging device, the matching degree between the image in the first space and the first feature information, and the image in the second space and the first feature information. 2 Determine whether or not the first event or the second event has been performed based on the degree of matching with the feature information, and output the input image used as the basis for the determination in association with the event determined to be performed. do.

また、実施形態の一側面に係る制御プログラムは、記憶部を有するコンピュータの制御プログラムであって、第１イベントが実施される第１空間における人物配置に関する第１特徴情報、及び、第１イベントと異なる第２イベントが実施される第２空間における人物配置に関する第２特徴情報を記憶部に記憶し、第１撮像装置によって第１空間及び第２空間が撮影された複数の第１入力画像、及び、第２撮像装置によって第１空間及び第２空間が撮影された複数の第２入力画像を取得し、複数の第１入力画像及び複数の第２入力画像において、第１に対応する領域と第１特徴情報との適合度合い、及び、第２空間に対応する領域と第２特徴情報との適合度合いに基づいて、第１イベント又は第２イベントが実施されたか否かを判定し、第１イベント及び第２イベントの何れかが実施されたと判定された場合、判定の基礎とされた入力画像において実施されると判定されたイベントに対応する空間内の第１人物密集度合いと、判定の基礎とされた入力画像を撮影した撮像装置と異なる撮像装置が同じタイミングで撮影した他の入力画像において同じイベントに対応する空間内の第２人物密集度合いとの比較に基づいて、撮像装置の選択を行い、選択された撮像装置が撮影した複数の入力画像において、判定の基礎とされた入力画像又は判定の基礎とされた入力画像と同じタイミングで撮影された入力画像を、実施されると判定されたイベントと結び付けて出力することをコンピュータに実行させる。 Further, a control program according to one aspect of the embodiment is a control program for a computer having a storage unit, and includes first feature information regarding placement of people in a first space where a first event is held, and the first event and A plurality of first input images obtained by storing second feature information about placement of people in a second space in which a different second event is performed in a storage unit, and capturing the first space and the second space with a first imaging device; , acquire a plurality of second input images in which the first space and the second space are photographed by a second imaging device, and obtain a plurality of first input images and a plurality of second input images in which a region corresponding to the first and a first Based on the degree of conformity with the first feature information and the degree of conformity between the area corresponding to the second space and the second feature information, it is determined whether the first event or the second event has been performed, and the first event and the second event is determined to have occurred, the first degree of crowding of people in the space corresponding to the event determined to be performed in the input image used as the basis for the determination, and the basis for the determination The imaging device is selected based on a comparison with the second degree of crowding of people in the space corresponding to the same event in other input images captured at the same timing by an imaging device different from the imaging device that captured the selected input image. , among a plurality of input images captured by the selected imaging device, the input image used as the basis for the determination or the input image captured at the same timing as the input image used as the basis for the determination is determined to be performed. Let the computer execute the output in association with the event.

また、実施形態の一側面に係る制御プログラムは、記憶部を有するコンピュータの制御プログラムであって、第１イベントが実施される第１空間における人物配置に関する第１特徴情報、及び、第１イベントと異なる第２イベントが実施される第２空間における人物配置に関する第２特徴情報を記憶部に記憶し、第１撮像装置によって第１空間及び第２空間が撮影された複数の第１入力画像、及び、第２撮像装置によって第１空間及び第２空間が撮影された複数の第２入力画像を取得し、所定のタイミングで第１撮像装置が撮影した第１入力画像の第１空間及び第２空間内の第１人物密集度合いと、所定のタイミングで第２撮像装置が撮影した第２入力画像の第１空間及び第２空間内の第２人物密集度合いとの比較に基づいて、撮像装置の選択を行い、選択された撮像装置が撮影した複数の入力画像において、第１空間内の画像と第１特徴情報との適合度合い、及び、第２空間内の画像と第２特徴情報との適合度合いに基づいて、第１イベント又は第２イベントが実施されたか否かを判定し、判定の基礎とされた入力画像を、実施されると判定されたイベントと結び付けて出力することをコンピュータに実行させる。 Further, a control program according to one aspect of the embodiment is a control program for a computer having a storage unit, and includes first feature information regarding placement of people in a first space where a first event is held, and the first event and A plurality of first input images obtained by storing second feature information about placement of people in a second space in which a different second event is performed in a storage unit, and capturing the first space and the second space with a first imaging device; , acquire a plurality of second input images in which the first space and the second space are captured by the second imaging device, and acquire the first space and the second space of the first input image captured by the first imaging device at a predetermined timing; and the second input image captured by the second imaging device at a predetermined timing in the first space and the second space. and determining the degree of matching between the image in the first space and the first feature information and the degree of matching between the image in the second space and the second feature information in a plurality of input images captured by the selected imaging device. causes a computer to determine whether or not the first event or the second event has been performed based on and to output the input image used as the basis for the determination in association with the event determined to be performed .

本発明によれば、画像処理装置、制御方法及び制御プログラムは、複数の入力画像の中からイベントに対応する入力画像を良好に抽出することが可能となる。 According to the present invention, the image processing device, control method, and control program can satisfactorily extract an input image corresponding to an event from a plurality of input images.

実施形態に従った画像処理システム１の概略構成を示す図である。1 is a diagram showing a schematic configuration of animage processing system 1 according to an embodiment; FIG.記憶装置１２０及びＣＰＵ１４０の概略構成を示す図である。2 is a diagram showing a schematic configuration of astorage device 120 and aCPU 140; FIG.特徴情報テーブルのデータ構造の一例を示す模式図である。4 is a schematic diagram showing an example of the data structure of a feature information table; FIG.解析処理の動作を示すフローチャートである。4 is a flowchart showing the operation of analysis processing;管理テーブルのデータ構造の一例を示す模式図である。4 is a schematic diagram showing an example of the data structure of a management table; FIG.入力画像の一例を示す模式図である。FIG. 4 is a schematic diagram showing an example of an input image;入力画像の一例を示す模式図である。FIG. 4 is a schematic diagram showing an example of an input image;イベントの特定について説明するための模式図である。FIG. 10 is a schematic diagram for explaining identification of an event;イベントの特定について説明するための模式図である。FIG. 10 is a schematic diagram for explaining identification of an event;イベントの特定について説明するための模式図である。FIG. 10 is a schematic diagram for explaining identification of an event;イベントの特定について説明するための模式図である。FIG. 10 is a schematic diagram for explaining identification of an event;イベントの特定について説明するための模式図である。FIG. 10 is a schematic diagram for explaining identification of an event;イベントの特定について説明するための模式図である。FIG. 10 is a schematic diagram for explaining identification of an event;イベントの終了について説明するための模式図である。FIG. 4 is a schematic diagram for explaining the end of an event; FIG.イベントの終了について説明するための模式図である。FIG. 4 is a schematic diagram for explaining the end of an event; FIG.第１イベント処理の動作を示すフローチャートである。4 is a flow chart showing the operation of first event processing;第１イベント処理の動作を示すフローチャートである。4 is a flow chart showing the operation of first event processing;ボールと人物の接触について説明するための模式図である。FIG. 4 is a schematic diagram for explaining contact between a ball and a person;ボールと人物の接触について説明するための模式図である。FIG. 4 is a schematic diagram for explaining contact between a ball and a person;ボールと人物の接触について説明するための模式図である。FIG. 4 is a schematic diagram for explaining contact between a ball and a person;ボールと人物の接触について説明するための模式図である。FIG. 4 is a schematic diagram for explaining contact between a ball and a person;第２イベント処理の動作を示すフローチャートである。9 is a flowchart showing the operation of second event processing;出力処理の動作を示すフローチャートである。4 is a flow chart showing the operation of output processing;閲覧画面１８００の一例を示す模式図である。18 is a schematic diagram showing an example of aviewing screen 1800; FIG.他の解析処理の動作を示すフローチャートである。10 is a flow chart showing the operation of another analysis process;他の制御回路２６０の概略構成を示すブロック図である。3 is a block diagram showing a schematic configuration ofanother control circuit 260; FIG.

以下、本発明の一側面に係る画像処理装置、制御方法及び制御プログラムについて図を参照しつつ説明する。但し、本発明の技術的範囲はそれらの実施の形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。 An image processing apparatus, a control method, and a control program according to one aspect of the present invention will be described below with reference to the drawings. However, it should be noted that the technical scope of the present invention is not limited to those embodiments, but extends to the invention described in the claims and equivalents thereof.

図１は、実施形態に従った画像処理システム１の概略構成を示す図である。 FIG. 1 is a diagram showing a schematic configuration of animage processing system 1 according to an embodiment.

図１に示すように、画像処理システム１は、一又は複数の画像処理装置１００と、複数の撮像装置２００と、一又は複数の端末装置３００と、を有する。画像処理装置１００は、ネットワークを介して、撮像装置２００及び端末装置３００に接続されている。 As shown in FIG. 1 , theimage processing system 1 includes one or moreimage processing devices 100 ,multiple imaging devices 200 , and one or moreterminal devices 300 . Theimage processing device 100 is connected to theimaging device 200 and theterminal device 300 via a network.

複数の撮像装置２００は、第１撮像装置及び第２撮像装置の一例であり、例えばネットワークカメラ等である。撮像装置２００は、タブレットＰＣ（Personal Computer）、多機能携帯電話（いわゆるスマートフォン）等でもよい。各撮像装置２００は、所定イベントが実施されるイベント空間を、それぞれ異なる位置から又はそれぞれ異なる角度で撮像するように配置される。所定イベントは、複数のプレイヤにより実施されるスポーツの試合又は練習等である。所定イベントは、複数の人物により実行されるものであればどのようなものでもよく、例えば複数の奏者により演奏される音楽コンサート又は複数のプレイヤにより実施されるダンス等でもよい。スポーツは、ボールを使用して実行されるバレーボール等である。スポーツは、サッカー、ラグビー、アメリカンフットボール、陸上競技又は水泳等でもよい。イベント空間は、バレーボールのコート等である。イベント空間は、スポーツが実施されるグラウンドもしくはプール、又は、音楽コンサートもしくはダンスが実施されるホール等でもよい。 Themultiple imaging devices 200 are examples of a first imaging device and a second imaging device, and are network cameras, for example. Theimaging device 200 may be a tablet PC (Personal Computer), a multifunctional mobile phone (so-called smart phone), or the like. Eachimaging device 200 is arranged so as to capture an event space in which a predetermined event is held from different positions or at different angles. The predetermined event is a sports game, practice, or the like carried out by a plurality of players. The predetermined event may be any event performed by a plurality of persons, such as a music concert performed by a plurality of players or a dance performed by a plurality of players. A sport is volleyball or the like, which is played using a ball. Sports may be soccer, rugby, American football, track and field, swimming, or the like. The event space is a volleyball court or the like. The event space may be a ground or pool where sports are held, or a hall where music concerts or dances are held, and the like.

所定イベントは、それぞれ種別が異なる複数のイベントを含む。所定イベントがバレーボールの練習である場合、複数のイベントの内の第１イベントは、例えば試合形式練習であり、複数のイベントの内の第２イベントは、例えばスパイク練習である。複数のイベントは３つ以上でもよい。イベント空間は、一又は複数の空間（例えば、第１空間及び第２空間）を含む。イベント空間に含まれる各空間は、所定イベントに含まれる各イベントが実施される空間であり、相互に重なっていてもよい。即ち、複数の空間の内の第１空間は、第１イベントが実施される空間であり、複数の空間の内の第２空間は、第２イベントが実施される空間である。また、イベント空間がバレーボールのコートである場合、イベント空間は、画像を解析する対象のコートである対象コート及び相手コートを含む。以下では、イベント空間内の対象コートに対応する領域を所定空間と称する場合がある。 The predetermined event includes multiple events of different types. When the predetermined event is volleyball practice, the first event among the plurality of events is, for example, match-style practice, and the second event among the plurality of events is, for example, spike practice. The plurality of events may be three or more. The event space includes one or more spaces (eg, first space and second space). Each space included in the event space is a space in which each event included in the predetermined event is held, and may overlap each other. That is, the first space of the plurality of spaces is the space where the first event is held, and the second space of the plurality of spaces is the space where the second event is held. Also, when the event space is a volleyball court, the event space includes the target court and the opponent's court, which are the target courts for image analysis. Hereinafter, the area corresponding to the target court within the event space may be referred to as a predetermined space.

複数の撮像装置２００は、各撮像装置２００により撮像されないイベント空間内の死角が、他の何れかの撮像装置２００によって撮像されるように配置されることが好ましい。イベント空間がバレーボールのコートである場合、少なくとも一つの撮像装置２００は、撮像方向がネットの延伸方向と直交する方向となるように配置され、少なくとも一つの撮像装置２００は、撮像方向がネットの延伸方向となるように配置されることが好ましい。 The plurality ofimaging devices 200 are preferably arranged so that blind spots in the event space that are not captured by eachimaging device 200 are captured by anyother imaging device 200 . When the event space is a volleyball court, at least oneimaging device 200 is arranged so that the imaging direction is perpendicular to the extending direction of the net. It is preferable that they are arranged so as to be oriented.

撮像装置２００は、２次元に配列されたＣＣＤ（Charge Coupled Device）からなる撮像素子を備える縮小光学系タイプの撮像センサと、Ａ／Ｄ変換器とを有する。縮小光学系タイプの撮像センサに代えて、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）からなる撮像素子を備える等倍光学系タイプのＣＩＳ（Contact Image Sensor）が用いられてもよい。また、撮像装置２００は、後述する、画像処理装置１００の通信装置、記憶装置及びＣＰＵ（Central Processing Unit）と同様の通信装置、記憶装置及びＣＰＵを有する。撮像装置２００の撮像センサは、一定周期（例えば３３ｍｓｅｃ）毎にイベント空間を撮影してアナログの画像信号を生成し、Ａ／Ｄ変換器に出力する。Ａ／Ｄ変換器は、出力されたアナログの画像信号をアナログデジタル変換してデジタルの画像データを順次生成し、記憶装置に記憶する。ＣＰＵは、記憶装置に記憶された画像データを、通信インタフェース回路を介して画像処理装置１００に送信する。 Theimaging device 200 has a reduction optical system type imaging sensor including an imaging element consisting of a two-dimensionally arranged CCD (Charge Coupled Device), and an A/D converter. Instead of the reduction optical system type imaging sensor, a 1:1 optical system type CIS (Contact Image Sensor) having an imaging element made of CMOS (Complementary Metal Oxide Semiconductor) may be used. Theimaging device 200 also includes a communication device, a storage device, and a CPU similar to the communication device, storage device, and CPU (Central Processing Unit) of theimage processing device 100, which will be described later. The imaging sensor of theimaging device 200 captures an image of the event space at regular intervals (for example, 33 msec) to generate an analog image signal, and outputs the analog image signal to the A/D converter. The A/D converter converts the output analog image signal from analog to digital to sequentially generate digital image data, and stores the data in a storage device. The CPU transmits the image data stored in the storage device to theimage processing apparatus 100 via the communication interface circuit.

なお、各撮像装置２００は、画像処理装置１００から撮影タイミングを同期させるための同期信号を定期的に受信し、受信した同期信号に従って同一のタイミングにイベント空間を撮像して入力画像を生成する。 Note that eachimaging device 200 periodically receives a synchronization signal for synchronizing imaging timing from theimage processing device 100, and according to the received synchronization signal, captures the event space at the same timing to generate an input image.

端末装置３００は、パーソナルコンピュータ、ノートＰＣ、タブレットＰＣ、多機能携帯電話等の情報処理装置である。各端末装置３００は、スポーツのプレイヤ又はマネージャ等の利用者により、撮像装置２００で撮影された画像を閲覧するために使用される。 Theterminal device 300 is an information processing device such as a personal computer, a notebook PC, a tablet PC, a multifunctional mobile phone, or the like. Eachterminal device 300 is used by a user such as a sports player or manager to view images captured by theimaging device 200 .

端末装置３００は、後述する、画像処理装置１００の通信装置、操作装置、表示装置、記憶装置及びＣＰＵと同様の通信装置、操作装置、表示装置、記憶装置及びＣＰＵ等を有する。ＣＰＵは、操作装置を用いた利用者による指示を受け付け、受け付けた指示に従って、通信装置を介して画像処理装置１００に、画像を表示するための表示データの取得要求信号を送信する。また、ＣＰＵは、通信装置を介して画像処理装置１００から受信した表示データに応じた画像を記憶装置に記憶しつつ表示装置に表示する。 Theterminal device 300 has a communication device, an operation device, a display device, a storage device, a CPU, and the like similar to the communication device, operation device, display device, storage device, and CPU of theimage processing device 100, which will be described later. The CPU receives an instruction from the user using the operation device, and according to the received instruction, transmits a display data acquisition request signal for displaying an image to theimage processing apparatus 100 via the communication device. Further, the CPU stores an image corresponding to the display data received from theimage processing device 100 via the communication device in the storage device and displays the image on the display device.

画像処理装置１００は、サーバ、パーソナルコンピュータ、ノートＰＣ等の情報処理装置である。画像処理装置１００は、通信装置１０１と、操作装置１０２と、表示装置１０３と、記憶装置１２０と、ＣＰＵ（Control Processing Unit）１４０と、制御回路１６０とを有する。 Theimage processing apparatus 100 is an information processing apparatus such as a server, personal computer, notebook PC, or the like. Theimage processing apparatus 100 has acommunication device 101 , anoperation device 102 , adisplay device 103 , astorage device 120 , a CPU (Control Processing Unit) 140 and acontrol circuit 160 .

通信装置１０１は、出力部の一例である。通信装置１０１は、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）等に準拠した通信インタフェース回路を有し、イントラネット又はインターネット等の通信ネットワークに接続する。通信装置１０１は、ＩＥＥＥ（Institute of Electrical and Electronic Engineers）８０２．１１規格等に準拠した通信インタフェース回路を有してもよい。その場合、通信装置１０１は、アクセスポイントを介して無線通信ネットワークに接続する。なお、通信装置１０１は、ＵＳＢ（Universal Serial Bus）等のシリアルバスに準じるインタフェース回路を有し、撮像装置２００及び端末装置３００と電気的に接続してもよい。通信装置１０１は、撮像装置２００及び端末装置３００と接続して画像及び各種の情報を送受信する。 Thecommunication device 101 is an example of an output unit. Thecommunication device 101 has a communication interface circuit conforming to TCP/IP (Transmission Control Protocol/Internet Protocol) or the like, and connects to a communication network such as an intranet or the Internet. Thecommunication device 101 may have a communication interface circuit conforming to IEEE (Institute of Electrical and Electronic Engineers) 802.11 standard or the like. In that case, thecommunication device 101 connects to the wireless communication network via the access point. Note that thecommunication device 101 may have an interface circuit conforming to a serial bus such as a USB (Universal Serial Bus) and may be electrically connected to theimaging device 200 and theterminal device 300 . Thecommunication device 101 connects to theimaging device 200 and theterminal device 300 to transmit and receive images and various information.

操作装置１０２は、キーボード、マウス、タッチパッド等の入力装置及び入力装置から信号を取得するインタフェース回路を有し、利用者の操作に応じた信号をＣＰＵ１４０に出力する。 Theoperation device 102 has input devices such as a keyboard, mouse, and touch pad, and an interface circuit for acquiring signals from the input devices, and outputs signals according to user's operations to theCPU 140 .

表示装置１０３は、出力部の他の例である。表示装置１０３は、液晶、有機ＥＬ等から構成されるディスプレイ及びディスプレイに画像データを出力するインタフェース回路を有し、ＣＰＵ１４０からの指示に従って、記憶装置１２０に保存されている画像データをディスプレイに表示する。 Thedisplay device 103 is another example of an output unit. Thedisplay device 103 has a display composed of a liquid crystal, an organic EL, or the like and an interface circuit for outputting image data to the display, and displays image data stored in thestorage device 120 on the display in accordance with instructions from theCPU 140. .

記憶装置１２０は、記憶部の一例である。記憶装置１２０は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のメモリ装置、ハードディスク等の固定ディスク装置、又はフレキシブルディスク、光ディスク等の可搬用の記憶装置等を有する。また、記憶装置１２０には、画像処理装置１００の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が格納される。コンピュータプログラムは、コンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラム等を用いて記憶装置１２０にインストールされてもよい。可搬型記録媒体は、例えばＣＤ－ＲＯＭ（compact disk read only memory）、ＤＶＤ－ＲＯＭ（digital versatile disk read only memory）等である。Storage device 120 is an example of a storage unit. Thestorage device 120 includes memory devices such as RAM (Random Access Memory) and ROM (Read Only Memory), fixed disk devices such as hard disks, and portable storage devices such as flexible disks and optical disks. Thestorage device 120 also stores computer programs, databases, tables, and the like used for various processes of theimage processing apparatus 100 . The computer program may be installed in thestorage device 120 from a computer-readable portable recording medium using a known setup program or the like. Examples of portable recording media include CD-ROMs (compact disk read only memory) and DVD-ROMs (digital versatile disk read only memory).

また、記憶装置１２０は、データとして、各イベントが実施されるイベント空間における人物配置に関する特徴情報を管理する特徴情報テーブルを予め記憶する。特徴情報テーブルの詳細については後述する。また、記憶装置１２０は、複数の撮像装置２００毎に、各撮像装置２００の配置位置（撮像素子の位置）、撮像方向（光学系の光軸方向）、画角及び撮像範囲等を予め記憶する。また、記憶装置１２０は、複数の撮像装置２００毎に、各撮像装置２００により人物等の物体が存在しないイベント空間が撮像された背景画像を予め記憶する。また、記憶装置１２０は、イベント空間内の各空間（第１空間、第２空間、対象コート、相手コート等）の範囲を示す情報を予め記憶する。また、記憶装置１２０は、撮像装置２００から取得した入力画像等を記憶するとともに、各入力画像を管理するための管理テーブルを記憶する。管理テーブルの詳細については後述する。 Thestorage device 120 also stores in advance, as data, a feature information table that manages feature information regarding the arrangement of people in the event space where each event is held. Details of the feature information table will be described later. In addition, thestorage device 120 stores in advance the arrangement position (the position of the imaging element), the imaging direction (optical axis direction of the optical system), the angle of view, the imaging range, etc. of eachimaging device 200 for each of the plurality ofimaging devices 200. . In addition, thestorage device 120 stores in advance a background image in which an event space in which an object such as a person does not exist is captured by eachimaging device 200 for each of the plurality ofimaging devices 200 . In addition, thestorage device 120 stores in advance information indicating the range of each space (first space, second space, target court, opponent court, etc.) in the event space. In addition, thestorage device 120 stores input images and the like acquired from theimaging device 200, and stores a management table for managing each input image. Details of the management table will be described later.

ＣＰＵ１４０は、予め記憶装置１２０に記憶されているプログラムに基づいて動作する。なお、ＣＰＵ１４０に代えて、ＤＳＰ（digital signal processor）、ＬＳＩ（large scale integration）等が用いられてよい。また、ＣＰＵ１４０に代えて、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programming Gate Array）等が用いられてもよい。 TheCPU 140 operates based on programs stored in advance in thestorage device 120 . A DSP (digital signal processor), LSI (large scale integration), or the like may be used instead of theCPU 140 . Also, instead of theCPU 140, an ASIC (Application Specific Integrated Circuit), an FPGA (Field-Programming Gate Array), or the like may be used.

ＣＰＵ１４０は、通信装置１０１、操作装置１０２、表示装置１０３、記憶装置１２０及び制御回路１６０等と接続され、これらの各部を制御する。ＣＰＵ１４０は、通信装置１０１を介した撮像装置２００及び端末装置３００とのデータ送受信制御、撮像装置２００から取得した画像の解析処理等を行う。 TheCPU 140 is connected to thecommunication device 101, theoperation device 102, thedisplay device 103, thestorage device 120, thecontrol circuit 160, and the like, and controls these units. TheCPU 140 performs data transmission/reception control with theimaging device 200 and theterminal device 300 via thecommunication device 101, analysis processing of an image acquired from theimaging device 200, and the like.

制御回路１６０は、入力画像に対して所定の画像処理を実行する。制御回路１６０は、ＣＰＵ、ＤＳＰ、ＬＳＩ、ＡＳＩＣ又はＦＰＧＡ等で構成される。 Thecontrol circuit 160 executes predetermined image processing on the input image. Thecontrol circuit 160 is composed of a CPU, DSP, LSI, ASIC, FPGA, or the like.

図２は、記憶装置１２０及びＣＰＵ１４０の概略構成を示す図である。 FIG. 2 is a diagram showing a schematic configuration of thestorage device 120 and theCPU 140. As shown in FIG.

図２に示すように、記憶装置１２０には、取得プログラム１２１、判定プログラム１２２、選択プログラム１２３、第１処理プログラム１２４、第２処理プログラム１２９、終了判定プログラム１３０及び出力制御プログラム１３１等の各プログラムが記憶される。第１処理プログラム１２４には、検出位置特定プログラム１２５、予測位置推定プログラム１２６、接触判定プログラム１２７及び記憶制御プログラム１２８等が含まれる。これらの各プログラムは、プロセッサ上で動作するソフトウェアにより実装される機能モジュールである。ＣＰＵ１４０は、記憶装置１２０に記憶された各プログラムを読み取り、読み取った各プログラムに従って動作する。これにより、ＣＰＵ１４０は、取得部１４１、判定部１４２、選択部１４３、第１処理部１４４、第２処理部１４９、終了判定部１５０及び出力制御部１５１として機能する。第１処理部１４４には、検出位置特定部１４５、予測位置推定部１４６、接触判定部１４７及び記憶制御部１４８等が含まれる。 As shown in FIG. 2, thestorage device 120 stores programs such as anacquisition program 121, adetermination program 122, aselection program 123, afirst processing program 124, asecond processing program 129, anend determination program 130, and anoutput control program 131. is stored. Thefirst processing program 124 includes a detectedposition identification program 125, a predictedposition estimation program 126, acontact determination program 127, amemory control program 128, and the like. Each of these programs is a functional module implemented by software running on a processor. TheCPU 140 reads each program stored in thestorage device 120 and operates according to each read program. Thereby, theCPU 140 functions as anacquisition unit 141 , adetermination unit 142 , aselection unit 143 , afirst processing unit 144 , asecond processing unit 149 , anend determination unit 150 and anoutput control unit 151 . Thefirst processing unit 144 includes a detectedposition specifying unit 145, a predictedposition estimating unit 146, acontact determining unit 147, amemory control unit 148, and the like.

図３は、特徴情報テーブルのデータ構造の一例を示す模式図である。 FIG. 3 is a schematic diagram showing an example of the data structure of the feature information table.

図３に示すように、特徴情報テーブルには、複数のイベントの識別情報（イベントＩＤ）、複数の撮像装置２００の識別情報（撮像装置ＩＤ）、領域情報、特徴情報及び終了条件等が相互に関連付けて記憶される。 As shown in FIG. 3, in the feature information table, identification information of a plurality of events (event ID), identification information of a plurality of imaging devices 200 (imaging device ID), area information, feature information, end conditions, etc. stored in association with each other.

領域情報は、各撮像装置２００により生成された入力画像内で各イベントが実施される各空間に対応する領域、即ち各空間が撮像された領域を示す情報であり、各領域に含まれる各画素の座標の集合である。なお、相互に異なる複数の撮像装置２００により生成された各入力画像において、同一の空間に対応する各領域は、各領域に少なくともその空間の一部が含まれるように設定されていればよく、必ずしもその空間の全部が含まれるように設定されていなくてもよい。 The area information is information indicating an area corresponding to each space in which each event is performed in the input image generated by eachimaging device 200, that is, an area in which each space is captured, and each pixel included in each area. is a set of coordinates of In each input image generated by a plurality of mutuallydifferent imaging devices 200, each region corresponding to the same space may be set so that each region includes at least part of the space. It does not necessarily have to be set so as to include all of the space.

特徴情報は、所定イベントに含まれる複数のイベント毎に且つ複数の撮像装置２００毎に設定され、各撮像装置２００が撮像した入力画像内の、各イベントが実施される各空間における人物配置に係る特徴を示す。人物配置は、複数の人物の位置（フォーメーション）又は動き（連携動作）等である。特徴情報は、入力画像内の各空間が撮像された領域における人物数（人物領域の数）又は人物領域の偏り（標準偏差）に関する条件等である。特徴情報は、例えば、人物数が所定数以上であること、及び／又は、人物領域の偏りが所定範囲内であること等である。複数の特徴情報の内の第１特徴情報は、第１イベントが実施される第１空間における人物配置に関する特徴を示し、複数の特徴情報の内の第２特徴情報は、第２イベントが実施される第２空間における人物配置に関する特徴を示す。 The feature information is set for each of the plurality of events included in the predetermined event and for each of the plurality ofimaging devices 200, and is related to the arrangement of people in each space where each event is held in the input image captured by eachimaging device 200. characterize. The arrangement of persons is the positions (formation) or movements (coordinated actions) of a plurality of persons. The feature information is conditions related to the number of people (the number of human regions) or the bias (standard deviation) of the human regions in the region where each space in the input image is captured. The feature information is, for example, that the number of persons is equal to or greater than a predetermined number, and/or that the deviation of the person area is within a predetermined range. The first feature information among the plurality of feature information indicates a feature regarding the arrangement of people in the first space where the first event is held, and the second feature information among the plurality of feature information indicates the feature regarding the location of the second event. Fig. 10 shows features related to human placement in the second space.

終了条件は、その特徴情報に対応するイベントの終了条件である。終了条件は、入力画像内の各空間が撮像された領域における人物数又は人物領域の偏りに関する条件等である。終了条件は、例えば、人物数と基準数との差が所定差以上であること、又は、人物領域の標準偏差と基準標準偏差との差が所定差以上であること等である。なお、終了条件は、人物数がイベント開始時の人物数から所定数以上減少すること、又は、人物領域の位置がイベント開始時の位置から所定距離以上変化すること等でもよい。 The termination condition is the termination condition of the event corresponding to the feature information. The end condition is, for example, a condition related to the number of people in an area in which each space in the input image is captured, or a bias in the person area. The end condition is, for example, that the difference between the number of persons and the reference number is greater than or equal to a predetermined difference, or that the difference between the standard deviation of the person area and the reference standard deviation is greater than or equal to a predetermined difference. The end condition may be that the number of people decreases by a predetermined number or more from the number of people at the start of the event, or that the position of the person area changes from the position at the start of the event by a predetermined distance or more.

図４は、画像処理装置１００による解析処理の動作を示すフローチャートである。以下、図４に示したフローチャートを参照しつつ、解析処理の動作を説明する。なお、以下に説明する動作のフローは、予め記憶装置１２０に記憶されているプログラムに基づき主にＣＰＵ１４０により画像処理装置１００の各要素と協働して実行される。 FIG. 4 is a flowchart showing the operation of analysis processing by theimage processing apparatus 100. As shown in FIG. Hereinafter, the operation of the analysis processing will be described with reference to the flowchart shown in FIG. The operation flow described below is executed mainly by theCPU 140 in cooperation with each element of theimage processing apparatus 100 based on a program stored in thestorage device 120 in advance.

最初に、取得部１４１は、通信装置１０１を介して複数の撮像装置２００から、各撮像装置２００によりイベント空間が撮影された複数の入力画像を含む入力画像群を取得し、記憶装置１２０に保存する（ステップＳ１０１）。各撮像装置２００は一定周期毎に入力画像を撮影し、取得部１４１は一定周期毎に、各撮像装置２００により撮像された入力画像群を取得する。即ち、入力画像群には、各撮像装置２００により同一タイミングで撮影された入力画像が含まれる。複数の撮像装置２００の内の第１撮像装置２００によってイベント空間、即ち第１空間及び第２空間が撮影された入力画像は、第１入力画像の一例である。複数の撮像装置２００の内の第１撮像装置２００と異なる第２撮像装置２００によってイベント空間、即ち第１空間及び第２空間が撮影された入力画像は、第２入力画像の一例である。取得部１４１は、一定周期毎に第１入力画像及び第２入力画像を取得することにより、複数の第１入力画像及び複数の第２入力画像を取得する。さらに、取得部１４１は、取得した各入力画像に関する情報を管理テーブルに記憶する。 First, theacquisition unit 141 acquires an input image group including a plurality of input images in which the event space is captured by eachimaging device 200 from the plurality ofimaging devices 200 via thecommunication device 101 , and stores the input images in thestorage device 120 . (step S101). Eachimaging device 200 captures an input image at regular intervals, and theacquisition unit 141 acquires a group of input images captured by eachimaging device 200 at regular intervals. That is, the input image group includes input images captured at the same timing by eachimaging device 200 . An input image in which the event space, that is, the first space and the second space are captured by thefirst imaging device 200 among the plurality ofimaging devices 200 is an example of the first input image. An input image in which the event space, that is, the first space and the second space are captured by thesecond imaging device 200 different from thefirst imaging device 200 among the plurality ofimaging devices 200 is an example of the second input image. The acquiringunit 141 acquires a plurality of first input images and a plurality of second input images by acquiring the first input image and the second input image at regular intervals. Furthermore, theacquisition unit 141 stores information about each acquired input image in the management table.

図５は、管理テーブルのデータ構造の一例を示す模式図である。 FIG. 5 is a schematic diagram showing an example of the data structure of a management table.

図５に示すように、管理テーブルには、取得した入力画像毎に、各入力画像の識別情報（画像ＩＤ）、撮像装置ＩＤ、格納アドレス、撮影時刻、物体領域、検出位置、ターンの識別情報（ターンＩＤ）及び状態等が相互に関連付けて記憶される。撮像装置ＩＤは、各入力画像を生成した撮像装置２００の撮像装置ＩＤである。格納アドレスは、各入力画像を格納している記憶装置１２０内のアドレスである。撮影時刻は、各入力画像が生成された時刻である。物体領域は、各入力画像内でボールと推定される物体が存在する領域として検出された二次元領域である。検出位置は、その物体の所定空間内の三次元位置である。ターンＩＤは、ボールが対象コートに移動してきてから相手コート又はコート外に移動するまでのターン毎に割り当てられた識別情報である。状態は、対応する入力画像におけるイベント又は物体等の状態である。 As shown in FIG. 5, the management table contains, for each acquired input image, identification information (image ID) of each input image, imaging device ID, storage address, shooting time, object area, detection position, and identification information of turn. (turn ID) and state are stored in association with each other. The imaging device ID is the imaging device ID of theimaging device 200 that generated each input image. The storage address is the address within thestorage device 120 that stores each input image. The shooting time is the time when each input image was generated. An object region is a two-dimensional region detected as a region in which an object presumed to be a ball exists in each input image. The detected position is the three-dimensional position of the object within a given space. The turn ID is identification information assigned to each turn from when the ball moves to the target court to when it moves to the opponent's court or outside the court. A state is a state, such as an event or an object, in the corresponding input image.

取得部１４１は、管理テーブルにおいて、取得した入力画像毎に、各入力画像の画像ＩＤ、撮像装置ＩＤ、格納アドレス、撮影時刻及び最新のターンＩＤを関連付けて記憶する。ターンＩＤは、処理開始時、初期値に設定され、後述するステップＳ２０６の処理において更新される。 Theacquisition unit 141 associates and stores the image ID, imaging device ID, storage address, shooting time, and latest turn ID of each acquired input image in the management table. The turn ID is set to an initial value when the process starts, and is updated in the process of step S206, which will be described later.

図６Ａ及び図６Ｂは、入力画像の一例を示す模式図である。 6A and 6B are schematic diagrams showing examples of input images.

図６Ａは、サイドラインの延伸方向においてコートの略中央に且つセンターラインの延伸方向においてコートの外側に配置された第１撮像装置２００から、コートの一方のサイドを撮像した第１入力画像６００の一例を示す。図６Ｂは、サイドラインの延伸方向においてコートの外側に且つセンターラインの延伸方向においてコートの略中央に配置された第２撮像装置２００から、コートを撮像した第２入力画像６１０の一例を示す。第１入力画像６００及び第２入力画像６１０には、それぞれ、イベント空間として同一のコートが含まれている。 FIG. 6A shows afirst input image 600 that captures one side of the court from afirst imaging device 200 that is arranged substantially in the center of the court in the extending direction of the sidelines and outside the court in the extending direction of the centerline. Here is an example. FIG. 6B shows an example of asecond input image 610 captured by thesecond imaging device 200 arranged outside the court in the extending direction of the sidelines and substantially in the center of the court in the extending direction of the centerline. Thefirst input image 600 and thesecond input image 610 each include the same court as the event space.

次に、判定部１４２は、取得した入力画像群に含まれる入力画像毎に、各入力画像から、人物が含まれる人物領域を検出する（ステップＳ１０２）。 Next, the determiningunit 142 detects a person region including a person from each input image included in the acquired input image group (step S102).

判定部１４２は、まず、各入力画像から、イベント空間内の各イベントが実施される空間に対応する領域、即ち各空間が撮像された領域を抽出する。判定部１４２は、特徴情報テーブルから、各入力画像を撮像した撮像装置２００と関連付けられた領域情報を読み出し、各入力画像から、読み出した領域情報に示される領域を抽出する。 Thedetermination unit 142 first extracts, from each input image, an area corresponding to the space in which each event is held in the event space, that is, an area in which each space is captured. Thedetermination unit 142 reads area information associated with theimaging device 200 that captured each input image from the feature information table, and extracts an area indicated by the read area information from each input image.

判定部１４２は、各撮像装置２００により撮像された入力画像において、抽出した領域内の各画素の輝度値と、その撮像装置２００により撮像された背景画像の対応する各画素の輝度値との差の絶対値を算出する。判定部１４２は、算出した差の絶対値が所定値以上となる画素の領域を差分領域として抽出し、相互に隣接（８連結）する差分領域をラベリングによりグループ化して変化領域として検出する。判定部１４２は、検出した変化領域の内、大きさ及び／又は縦横比等の特徴量が予め設定された範囲内である変化領域を人物領域として検出する。なお、各変化領域は、入力画像内の位置及び撮像装置２００の設置情報（設置高さ、俯角、画角等）等を用いて、実際の大きさに合うように変換されてもよい。また、判定部１４２は、フレーム間差分又は機械学習等の他の公知の技術を用いて、人物領域を検出してもよい。また、判定部１４２は、入力画像内の各画素の輝度値が二値化閾値以上であるか否かによって入力画像を二値化し、輝度値が二値化閾値未満である画素をラベリングによりグループ化して変化領域として検出してもよい。 Thedetermination unit 142 determines the difference between the luminance value of each pixel in the extracted region in the input image captured by eachimaging device 200 and the luminance value of each corresponding pixel of the background image captured by theimaging device 200. Calculate the absolute value of Thedetermination unit 142 extracts a region of pixels in which the calculated absolute value of the difference is equal to or greater than a predetermined value as a difference region, groups adjoining (8-connected) difference regions by labeling, and detects them as a change region. Thedetermination unit 142 detects, as a person area, a changed area whose feature amount such as size and/or aspect ratio is within a preset range from among the detected changed areas. Note that each variable region may be converted to match the actual size using the position in the input image and the installation information (installation height, depression angle, angle of view, etc.) of theimaging device 200 . Also, thedetermination unit 142 may detect the person area using other known techniques such as inter-frame difference or machine learning. Further, thedetermination unit 142 binarizes the input image depending on whether the luminance value of each pixel in the input image is equal to or greater than the binarization threshold, and groups pixels whose luminance values are less than the binarization threshold by labeling. may be detected as a changed area.

図６Ａ及び図６Ｂにおいて、第１イベントが実施される第１空間は、一方のコートの中央位置の周辺空間６０１、６１１であり、第２イベントが実施される第２空間は、第１空間と同一の空間であるものとする。なお、第２空間は、第１空間と異なる領域でもよい。第１入力画像６００では、領域６０２が、第１空間６０１が撮像された領域として抽出されるとともに、第２空間が撮像された領域としても抽出される。また、第２入力画像６１０では、領域６１２が、第１空間６１１が撮像された領域として抽出されるとともに、第２空間が撮像された領域として抽出される。また、この例では、第２撮像装置２００に対応する領域情報として、一方のコートの中央位置の周辺空間に加えて、他方のコートの中央位置の周辺空間が設定されているものとする。そのため、第２入力画像６１０では、領域６１２とは別に、他方のコートの中央位置の周辺空間６１３が撮像された領域６１４も抽出されている。判定部１４２は、抽出した領域６０２、領域６１２及び領域６１４内で人物領域を検出する。 6A and 6B, the first space where the first event is held is thesurrounding space 601, 611 at the central position of one court, and the second space where the second event is held is the first space. It is assumed that they are in the same space. Note that the second space may be an area different from the first space. In thefirst input image 600, anarea 602 is extracted as an area in which thefirst space 601 is imaged, and is also extracted as an area in which the second space is imaged. Further, in thesecond input image 610, aregion 612 is extracted as a region in which thefirst space 611 is imaged, and is extracted as a region in which the second space is imaged. Also, in this example, in addition to the space around the center of one court, the space around the center of the other court is set as the area information corresponding to thesecond imaging device 200 . Therefore, in thesecond input image 610, in addition to thearea 612, anarea 614 in which the surroundingspace 613 at the center position of the other court is imaged is also extracted. Thedetermination unit 142 detects a person area in the extractedareas 602 , 612 and 614 .

次に、判定部１４２は、入力画像群に含まれる入力画像毎に、イベント空間内の各空間に対応する領域と各領域に対応する特徴情報との適合度合いを算出する（ステップＳ１０３）。適合度合いは、各領域に含まれる人物領域の状態と、各特徴情報とが合致している度合いである。 Next, for each input image included in the input image group, thedetermination unit 142 calculates the degree of matching between the area corresponding to each space in the event space and the feature information corresponding to each area (step S103). The degree of matching is the degree of matching between the state of the human region included in each region and each piece of feature information.

判定部１４２は、特徴情報テーブルから、各イベント、各入力画像を撮像した撮像装置２００及び各空間に対応する領域情報と関連付けられた特徴情報を読み出し、検出した人物領域と、読み出した特徴情報との適合度合いを算出する。判定部１４２は、人物領域が、特徴情報に示される条件を満たす数又は割合が高いほど高くなるように、適合度合いを算出する。なお、判定部１４２は、人物領域が、特徴情報に示される全ての条件を満たすことを示す値と、人物領域が、何れかの条件を満たさないことを示す値との二値を有するように適合度合いを算出してもよい。 Thedetermination unit 142 reads, from the feature information table, feature information associated with area information corresponding to each event, theimaging device 200 that captured each input image, and each space, and determines the detected person area and the read feature information. Calculate the degree of conformity of Thedetermination unit 142 calculates the degree of conformity so that the higher the number or ratio of human regions that satisfy the condition indicated by the characteristic information, the higher the matching degree. Note that the determiningunit 142 has two values: a value indicating that the person area satisfies all the conditions indicated in the feature information and a value indicating that the person area does not satisfy any of the conditions. A degree of conformity may be calculated.

また、判定部１４２は、機械学習等の他の公知の技術を用いて、適合度合いを算出してもよい。その場合、判定部１４２は、画像が入力された場合に、その画像において各イベントが実施されている確度を出力するように事前学習された識別器により、適合度合いを算出する。識別器は、ディープラーニング等により、各イベントが実施されている空間を撮影した複数の学習用画像と、各イベントが実施されていない空間を撮影した複数の学習用画像とを用いて事前学習され、特徴情報として予め記憶装置１２０に記憶される。判定部１４２は、入力画像から抽出した各領域を含む画像を識別器に入力し、識別器から出力された確度を適合度合いとして取得する。 Also, thedetermination unit 142 may calculate the degree of conformity using other known techniques such as machine learning. In this case, when an image is input, thedetermination unit 142 calculates the degree of conformity using a pre-learned classifier that outputs the probability that each event is performed in the image. The classifier is pre-trained using deep learning, etc., using multiple training images of the space where each event is held and multiple training images of the space where each event is not held. , is stored in advance in thestorage device 120 as feature information. Thedetermination unit 142 inputs an image including each region extracted from the input image to the discriminator, and acquires the accuracy output from the discriminator as the degree of conformity.

このように、判定部１４２は、第１入力画像及び第２入力画像の両方において、第１空間に対応する領域と第１特徴情報との適合度合い、及び、第２空間に対応する領域と第２特徴情報との適合度合いを算出する。 In this way, in both the first input image and the second input image, thedetermination unit 142 determines the degree of matching between the region corresponding to the first space and the first feature information, and the degree of matching between the region corresponding to the first space and the first feature information. 2 Calculate the degree of matching with the feature information.

次に、判定部１４２は、算出した何れかの適合度合いが所定数以上連続して閾値以上であるか否かを判定する（ステップＳ１０４）。判定部１４２は、特定の撮像装置２００により撮像された入力画像の特定の領域において特定のイベントに対応する特徴情報との適合度合いが所定数以上連続して閾値以上である場合に、適合度合いが所定数以上連続して閾値以上であると判定する。所定数及び閾値は、事前の実験により、各イベントが実施されている状態と、実施されていない状態とを区別可能な値に設定される。所定数は１以上の自然数である。 Next, thedetermination unit 142 determines whether or not any of the calculated degrees of conformity is equal to or greater than the threshold for a predetermined number of consecutive times (step S104). Thedetermination unit 142 determines that the degree of conformity is equal to or greater than a threshold for a predetermined number of consecutive times or more in a specific region of an input image captured by aspecific imaging device 200, with feature information corresponding to a specific event. It is determined that a predetermined number of consecutive times or more are equal to or greater than the threshold. The predetermined number and the threshold are set to values that allow discrimination between a state in which each event is being performed and a state in which each event is not being performed, based on preliminary experiments. The predetermined number is a natural number of 1 or more.

何れの適合度合いも所定数以上連続して閾値以上でない場合、判定部１４２は、処理をステップＳ１０１に戻し、ステップＳ１０１～Ｓ１０４の処理を繰り返す。一方、何れかの適合度合いが所定数以上連続して閾値以上である場合、判定部１４２は、その適合度合いに対応するイベントを、イベント空間において実施されているイベントとして特定する（ステップＳ１０５）。なお、複数のイベントに係る適合度合いが所定数以上連続して閾値以上である場合、判定部１４２は、適合度合いが最も高いイベントを、イベント空間において実施されているイベントとして特定する。 If none of the degrees of conformity are equal to or greater than the threshold for a predetermined number of consecutive times, the determiningunit 142 returns the process to step S101 and repeats the processes of steps S101 to S104. On the other hand, if any degree of conformity is equal to or greater than the threshold for a predetermined number of consecutive times, the determiningunit 142 identifies the event corresponding to that degree of conformity as an event being held in the event space (step S105). It should be noted that when the degree of conformity of a plurality of events is equal to or greater than the threshold for a predetermined number of consecutive times, the determiningunit 142 identifies the event with the highest degree of conformity as the event being held in the event space.

このように、判定部１４２は、複数の第１入力画像及び複数の第２入力画像において、算出した各適合度合いに基づいて、第１イベント又は第２イベントが実施されたか否かを判定する。特に、判定部１４２は、連続して撮影された所定数の第１入力画像又は第２入力画像における、第１特徴情報との適合度合い又は第２特徴情報との適合度合いが全て閾値以上である場合に、第１イベント又は第２イベントが実施されたと判定する。 In this manner, thedetermination unit 142 determines whether the first event or the second event has been performed in the plurality of first input images and the plurality of second input images based on the calculated degree of conformity. In particular, the determiningunit 142 determines that the degree of conformity with the first feature information or the degree of conformity with the second feature information in a predetermined number of consecutively captured first input images or second input images is equal to or greater than a threshold value. case, it is determined that the first event or the second event has been performed.

さらに、判定部１４２は、管理テーブルにおいて、適合度合いが所定数以上連続して閾値以上となった入力画像及びその入力画像と同じタイミングで撮影された各入力画像の状態に、特定したイベント及びイベント開始を設定する。 Furthermore, in the management table, thedetermination unit 142 stores the specified event and the state of each input image having a degree of conformance equal to or greater than the threshold for a predetermined number of times in succession and each input image captured at the same timing as the input image. Set start.

図７Ａ、図７Ｂ、図８、図９Ａ、図９Ｂ及び図１０は、イベントの特定について説明するための模式図である。 7A, 7B, 8, 9A, 9B, and 10 are schematic diagrams for explaining event identification.

図７Ａは、第１撮像装置２００によりスパイク練習を開始しようとしている状態のコートが撮像された第１入力画像７００を示し、図７Ｂは、第１撮像装置２００によりスパイク練習の開始直前のコートが撮像された第１入力画像７１０を示す。図７Ａに示すように、第１入力画像７００では、選手がコート内に集まり始めており、領域６０２内で３つの人物領域７０１～７０３がばらばらに検出されている。一方、図７Ｂに示すように、第１入力画像７１０では、５人の選手がコート内に集まっており、領域６０２内で５つの人物領域７１１～７１５が一列に並んだ状態で検出されている。仮にスパイク練習及び第１撮像装置２００に関連付けられた特徴情報として「人物領域が４つ以上であること」及び「各人物領域の水平及び垂直方向の重心位置の標準偏差がそれぞれ一列に対応する設定範囲内であること」が設定されているものとする。その場合、第１入力画像７００に対するスパイク練習の適合度合いは低くなり、第１入力画像７００からはイベントとしてスパイク練習が特定されない。一方、第１入力画像７１０に対するスパイク練習の適合度合いは高くなり、第１入力画像７１０からイベントとしてスパイク練習が特定される。 FIG. 7A shows afirst input image 700 in which the court is captured by thefirst imaging device 200 in a state where the spike training is about to start, and FIG. A capturedfirst input image 710 is shown. As shown in FIG. 7A, in thefirst input image 700, players are starting to gather in the court, and threeperson areas 701 to 703 are separately detected within anarea 602. FIG. On the other hand, as shown in FIG. 7B, in thefirst input image 710, five players are gathered on the court, and fiveperson regions 711 to 715 are detected in a line within theregion 602. . Assuming that the feature information associated with the spike practice and thefirst imaging device 200 is "four or more person regions" and "the standard deviation of the horizontal and vertical barycentric positions of each person region corresponds to one line" be within the range” is set. In that case, the fit of the spike training to thefirst input image 700 is low, and the spike training is not identified as an event from thefirst input image 700 . On the other hand, the matching degree of the spike training to thefirst input image 710 is high, and the spike training is specified as an event from thefirst input image 710 .

図８は、第２撮像装置２００によりスパイク練習の開始直前のコートが撮像された第２入力画像８００を示す。図８に示すように、第２入力画像８００では、５人の選手が手前側のコート内に集まっており、領域６１２内で５つの人物領域８０１～８０５が検出されている。さらに、第２入力画像８００では、４人の選手が奥側のコート内に集まっており、領域６１４内で４つの人物領域８０６～８０９が検出されている。仮にスパイク練習、第２撮像装置２００及び手前側のコート領域に関連付けられた特徴情報として「人物領域が４つ以上であること」及び「各人物領域の水平及び垂直方向の重心位置の標準偏差がそれぞれ一列に対応する設定範囲内であること」が設定されているものとする。また、スパイク練習、第２撮像装置２００及び奥側のコート領域に関連付けられた特徴情報として「人物領域が２つ以上であること」が設定されているものとする。その場合、第２入力画像８００に対するスパイク練習の適合度合いは高くなり、第２入力画像８００からイベントとしてスパイク練習が特定される。 FIG. 8 shows asecond input image 800 captured by thesecond imaging device 200 of the court just before the start of the spike practice. As shown in FIG. 8, in thesecond input image 800, five players are gathered in the court on the near side, and fiveperson areas 801 to 805 are detected within thearea 612. FIG. Furthermore, in thesecond input image 800, four players are gathered in the back court, and fourperson areas 806 to 809 are detected inarea 614. FIG. Suppose that the feature information associated with the spike practice, thesecond imaging device 200, and the court area on the front side is "four or more person areas" and "the standard deviation of the horizontal and vertical centroid positions of each person area is It is assumed that "they are within the set range corresponding to one column" is set. Also, it is assumed that "there are two or more person areas" is set as feature information associated with the spike practice, thesecond imaging device 200, and the back court area. In that case, the degree of matching of the spike training to thesecond input image 800 is high, and the spike training is identified as an event from thesecond input image 800 .

図９Ａは、第２撮像装置２００により試合形式練習を開始しようとしている状態のコートが撮像された第２入力画像９００を示し、図９Ｂは、第２撮像装置２００により試合形式練習の開始直前のコートが撮像された第２入力画像９１０を示す。図９Ａに示すように、第２入力画像９００では、選手が手前側のコート内に集まり始めており、領域６１２内で５つの人物領域９０１～９０５がばらばらに検出されている。一方、図９Ｂに示すように、第２入力画像９１０では、８人の選手が手前側のコート内に集まっており、領域６１２内で６つの人物領域９１１～９１６が円状に並んだ状態で検出されている。仮に試合形式練習、第２撮像装置２００及び手前側のコート領域に関連付けられた特徴情報として「人物領域が５つ以上であること」及び「各人物領域の水平及び垂直方向の重心位置の標準偏差がそれぞれ円状に対応する設定範囲内であること」が設定されているものとする。また、試合形式練習、第２撮像装置２００及び奥側のコート領域に関連付けられた特徴情報として「人物領域が０であること」が設定されているものとする。その場合、第２入力画像９００に対する試合形式練習の適合度合いは低くなり、第２入力画像９００からはイベントとして試合形式練習が特定されない。一方、第２入力画像９１０に対する試合形式練習の適合度合いは高くなり、第２入力画像９１０からイベントとして試合形式練習が特定される。 FIG. 9A shows asecond input image 900 in which thesecond imaging device 200 captures an image of the court in a state where the game-style practice is about to start, and FIG. Asecond input image 910 in which the court is captured is shown. As shown in FIG. 9A, in thesecond input image 900, the players are starting to gather in the court on the near side, and fiveperson areas 901 to 905 are separately detected within thearea 612. As shown in FIG. On the other hand, as shown in FIG. 9B, in thesecond input image 910, eight players are gathered in the court on the front side, and sixperson areas 911 to 916 are arranged in a circle in anarea 612. detected. Suppose that the feature information associated with the match-style practice, thesecond imaging device 200, and the court area on the front side is "five or more person areas" and "the standard deviation of the horizontal and vertical centroid positions of each person area. are within the set range corresponding to each circle”. In addition, it is assumed that "the human area is 0" is set as the feature information associated with the match-style practice, thesecond imaging device 200, and the court area on the back side. In this case, the match-style training matches thesecond input image 900 less, and thesecond input image 900 does not specify the match-style training as an event. On the other hand, the matching degree of the game-style practice with respect to thesecond input image 910 becomes high, and the game-style practice is specified as an event from thesecond input image 910 .

図１０は、第１撮像装置２００により試合形式練習の開始直前のコートが撮像された第１入力画像１０００を示す。図１０に示すように、第１入力画像１０００では、９人の選手がコート内に集まっており、領域６０２内で５つの人物領域１００１～１００５が円状に並んだ状態で検出されている。仮に試合形式練習及び第１撮像装置２００に関連付けられた特徴情報として「人物領域が５つ以上であること」及び「各人物領域の水平及び垂直方向の重心位置の標準偏差がそれぞれ円状に対応する設定範囲内であること」が設定されているものとする。その場合、第１入力画像１０００に対する試合形式練習の適合度合いは高くなり、第１入力画像１０００からイベントとして試合形式練習が特定される。 FIG. 10 shows afirst input image 1000 captured by thefirst imaging device 200 of the court just before the match-style practice starts. As shown in FIG. 10, in thefirst input image 1000, nine players are gathered on the court, and fiveperson areas 1001 to 1005 are detected in a circle in anarea 602. As shown in FIG. Assuming that the feature information associated with the match-style practice and thefirst imaging device 200 is that "five or more person areas" and "the standard deviation of the horizontal and vertical center-of-gravity positions of each person area corresponds to a circular shape. shall be within the setting range to be set”. In this case, the match-style training matches thefirst input image 1000 to a high degree, and the match-style training is specified as an event from thefirst input image 1000 .

次に、選択部１４３は、最新の入力画像群に含まれる入力画像毎に、特定されたイベントに対応する空間内の人物密集度合いを算出する（ステップＳ１０６）。 Next, theselection unit 143 calculates the degree of crowding of people in the space corresponding to the specified event for each input image included in the latest input image group (step S106).

選択部１４３は、各人物領域間の距離が短いほど、又は、各人物領域の重なり度合いが大きいほど、大きくなるように人物密集度合いを算出する。選択部１４３は、まず、検出された各人物領域の外接矩形を特定する。選択部１４３は、特定した各外接矩形と他の全ての外接矩形との距離の逆数の平均値を人物密集度合いとして算出する。なお、選択部１４３は、特定した各外接矩形と、その外接矩形の最も近くに位置する外接矩形との距離の逆数の平均値を人物密集度合いとして算出してもよい。また、選択部１４３は、特定した各外接矩形が重なっている他の外接矩形の数の平均値を人物密集度合いとして算出してもよい。また、選択部１４３は、特定した各外接矩形が他の外接矩形と重なっている領域の面積又は面積割合の平均値を人物密集度合いとして算出してもよい。 Theselection unit 143 calculates the degree of crowding of people so that the shorter the distance between the human regions or the greater the degree of overlapping of the human regions, the higher the degree of crowding of people. Theselection unit 143 first identifies a circumscribing rectangle of each detected person region. Theselection unit 143 calculates the average value of the reciprocals of the distances between each specified circumscribing rectangle and all other circumscribing rectangles as the degree of crowding of people. Note that theselection unit 143 may calculate the average value of the reciprocals of the distances between each specified enclosing rectangle and the closest enclosing rectangle to the identified enclosing rectangle as the degree of crowding of people. Further, theselection unit 143 may calculate the average value of the number of other circumscribing rectangles with which each specified circumscribing rectangle overlaps as the degree of crowding of people. Further, theselection unit 143 may calculate the area or the average value of the area ratios of regions in which each specified circumscribing rectangle overlaps another circumscribing rectangle as the degree of crowding of people.

このように、選択部１４３は、判定部１４２によりイベントが実施されたと判定された判定の基礎とされた入力画像において、実施されると判定されたイベントに対応する空間内の第１人物密集度合いを算出する。また、選択部１４３は、その判定の基礎とされた入力画像を撮影した撮像装置２００と異なる各撮像装置２００が同じタイミングで撮影した他の入力画像において、同じイベントに対応する空間内の第２人物密集度合いを算出する。 In this way, theselection unit 143 selects the first degree of crowding of people in the space corresponding to the event determined to be performed in the input image used as the basis for determination that the event has been performed by thedetermination unit 142. Calculate In addition, theselection unit 143 selects the second input image in the space corresponding to the same event in the other input images captured at the same timing by theimaging devices 200 different from theimaging device 200 that captured the input image used as the basis for the determination. Calculate the density of people.

次に、選択部１４３は、入力画像毎に算出した人物密集度合いを比較することにより、複数の撮像装置２００の中から、人物密集度合いが最も小さい入力画像を撮像した撮像装置２００を選択する（ステップＳ１０７）。 Next, theselection unit 143 compares the degree of crowding of people calculated for each input image, and selects theimaging device 200 that captured the input image with the lowest degree of crowding of people from among the plurality of imaging devices 200 ( step S107).

このように、選択部１４３は、判定部１４２によって複数のイベントの内の何れかが実施されたと判定された場合、第１人物密集度合いと、第２人物密集度合いとの比較に基づいて、撮像装置２００の選択を行う。 In this way, when the determiningunit 142 determines that any one of the plurality of events has been performed, the selectingunit 143 selects an image based on the comparison between the first degree of crowding of people and the second degree of crowding of people. Adevice 200 is selected.

さらに、選択部１４３は、管理テーブルにおいて、ステップＳ１０５で状態にイベント開始が設定された入力画像の内、選択した撮像装置２００に関連付けられた入力画像の状態に、撮像装置２００が選択された旨をさらに設定する。 Further, theselection unit 143 selects the state of the input image associated with the selectedimaging device 200 among the input images whose state is set to event start in step S105 in the management table. further set

次に、取得部１４１は、最新の入力画像群を取得する（ステップＳ１０８）。なお、既にステップＳ１０１で最新の入力画像群を取得済みである場合、取得部１４１は、ステップＳ１０８の処理を省略してもよい。 Next, the acquiringunit 141 acquires the latest input image group (step S108). Note that if the latest input image group has already been acquired in step S101, the acquiringunit 141 may omit the process of step S108.

次に、第１処理部１４４又は第２処理部１４９は、最新の入力画像群に対して、特定したイベントに応じたイベント処理を実行する（ステップＳ１０９）。イベント処理の詳細については後述する。 Next, thefirst processing unit 144 or thesecond processing unit 149 executes event processing corresponding to the specified event on the latest input image group (step S109). Details of event processing will be described later.

次に、終了判定部１５０は、ステップＳ１０２の処理と同様にして、最新の入力画像群に含まれる入力画像の内、選択部１４３によって選択された撮像装置２００が撮影した入力画像から、人物が含まれる人物領域を検出する（ステップＳ１１０）。 Next, in the same manner as in the process of step S102, theend determination unit 150 selects an input image captured by theimaging device 200 selected by theselection unit 143 from among the input images included in the latest input image group. The included person area is detected (step S110).

次に、終了判定部１５０は、検出した人物領域が、判定部１４２によって特定されたイベントの終了条件を満たすか否かを判定する（ステップＳ１１１）。 Next, theend determination unit 150 determines whether or not the detected person region satisfies the end condition of the event specified by the determination unit 142 (step S111).

検出した人物領域がイベントの終了条件を満たさない場合、終了判定部１５０は、特に処理を実行せず、処理をステップＳ１０８へ戻し、ステップＳ１０８～Ｓ１１１の処理を繰り返す。一方、検出した人物領域がイベントの終了条件を満たす場合、終了判定部１５０は、特定したイベントが終了したと判定し（ステップＳ１１２）、処理をステップＳ１０１へ戻す。 If the detected person area does not satisfy the end condition of the event, theend determination unit 150 does not execute any particular process, returns the process to step S108, and repeats the process of steps S108 to S111. On the other hand, if the detected human region satisfies the condition for ending the event, theend determination unit 150 determines that the specified event has ended (step S112), and returns the process to step S101.

このように、終了判定部１５０は、選択された撮像装置２００が、判定部１４２による判定の基礎とされた入力画像より後に撮影した入力画像が、判定部１４２により実施されると判定されたイベントの終了条件を満たす場合に、そのイベントが終了したと判定する。これにより、終了判定部１５０は、個々の人物を良好に検出しやすい入力画像を用いて、イベントが終了したか否かをより高精度に判定することができる。 In this way, theend determination unit 150 determines that an input image captured by the selectedimaging device 200 after the input image used as the basis for determination by thedetermination unit 142 is an event determined by thedetermination unit 142 to be performed. If the end condition of is satisfied, it is determined that the event has ended. Accordingly, theend determination unit 150 can determine with high accuracy whether or not the event has ended using an input image from which individual persons can be easily detected.

さらに、終了判定部１５０は、管理テーブルにおいて、人物領域がイベントの終了条件を満たす入力画像及びその入力画像と同じタイミングで撮影された各入力画像の状態に、対応するイベント及びイベント終了を設定する。 Furthermore, theend determination unit 150 sets, in the management table, a corresponding event and an end of the event to the state of the input image whose person region satisfies the end condition of the event and the state of each input image captured at the same timing as the input image. .

図１１Ａ及び図１１Ｂは、イベントの終了について説明するための模式図である。 11A and 11B are schematic diagrams for explaining the end of an event.

図１１Ａは、第１撮像装置２００によりスパイク練習の終了直後のコートが撮像された第１入力画像１１００を示す。図１１Ａに示すように、第１入力画像１１００では、選手がコートから去り始めており、領域６０２内で３つの人物領域１１０１～１１０３のみが検出されている。仮にスパイク練習及び第１撮像装置２００に関連付けられた終了条件として「人物領域が４つ以上から３つ以下に変化したこと」が設定されている場合、スパイク練習が終了したと判定される。 FIG. 11A shows afirst input image 1100 captured by thefirst imaging device 200 of the court immediately after the end of the spike practice. As shown in FIG. 11A, in thefirst input image 1100, the player is starting to leave the court and only three person areas 1101-1103 are detected withinarea 602. FIG. If "the number of human regions has changed from four or more to three or less" is set as the end condition associated with the spike practice and thefirst imaging device 200, it is determined that the spike practice has ended.

図１１Ｂは、第２撮像装置２００により試合形式練習の終了直後のコートが撮像された第２入力画像１１１０を示す。図１１Ｂに示すように、第２入力画像１１１０では、選手がコートから去り始めており、領域６１２内で３つの人物領域１１１１～１１１３のみが検出されている。仮に試合形式練習及び第２撮像装置２００に関連付けられた終了条件として「人物領域が５つ以上から３つ以下に変化したこと」が設定されている場合、試合形式練習が終了したと判定される。 FIG. 11B shows asecond input image 1110 captured by thesecond imaging device 200 of the court immediately after the match-style practice is finished. As shown in FIG. 11B, in thesecond input image 1110, the player is starting to leave the court and only three person areas 1111-1113 are detected within thearea 612. FIG. If "the number of person regions has changed from 5 or more to 3 or less" is set as the end condition associated with the game-style practice and thesecond imaging device 200, it is determined that the game-style practice has ended. .

終了判定部１５０は、選択部１４３により選択された撮像装置２００が撮影した、人物密集度合いが小さい入力画像を用いてイベントが終了したか否かを判定するため、イベントの終了の検出誤りを抑制し、イベントの終了を高精度に検出することができる。 Theend determination unit 150 determines whether or not the event has ended using an input image with a low degree of crowding of people, which is captured by theimaging device 200 selected by theselection unit 143, and thus suppresses errors in detecting the end of the event. and the end of the event can be detected with high accuracy.

図１２及び図１３は、画像処理装置１００による第１イベント処理の動作を示すフローチャートである。第１イベント処理は、図４の解析処理のステップＳ１０５においてバレーボールの試合形式練習がイベントとして特定された場合に、ステップＳ１０９のイベント処理として実行される。 12 and 13 are flowcharts showing the operation of the first event processing by theimage processing apparatus 100. FIG. The first event process is executed as the event process of step S109 when a volleyball match-style practice is specified as an event in step S105 of the analysis process of FIG.

最初に、検出位置特定部１４５は、図４のステップＳ１０８で取得された入力画像群から、ボールと推定される物体（以下、対象物体と称する場合がある）を検出する（ステップＳ２０１）。第１イベント処理は、図４のステップＳ１０８で最新の入力画像群毎が取得されるたびに実行される。そのため、検出位置特定部１４５は、各撮影タイミングに撮影された入力画像群から対象物体を検出する。 First, the detectionposition specifying unit 145 detects an object presumed to be a ball (hereinafter sometimes referred to as a target object) from the input image group acquired in step S108 of FIG. 4 (step S201). The first event process is executed each time the latest input image group is acquired in step S108 of FIG. Therefore, the detectionposition specifying unit 145 detects the target object from the input image group shot at each shooting timing.

検出位置特定部１４５は、ステップＳ１０２の処理と同様にして、各撮像装置２００により撮像された入力画像において、変化領域を検出する。検出位置特定部１４５は、検出した変化領域の内、形状、大きさ及び／又は縦横比等の特徴量が予め設定された特徴量に最も近似する変化領域を対象物体の物体領域として検出する。即ち、検出位置特定部１４５は、各入力画像において形状、大きさ及び／又は縦横比が最もボールに近い対象物体を一つ検出する。なお、検出位置特定部１４５は、フレーム間差分又は機械学習等の他の公知の技術を用いて、物体領域を検出してもよい。 The detectionposition specifying unit 145 detects a changed area in the input image captured by eachimaging device 200 in the same manner as in the process of step S102. The detectionposition specifying unit 145 detects a changing region whose feature quantity such as shape, size and/or aspect ratio is most similar to a preset feature quantity among the detected changing regions as an object region of the target object. That is, the detectionposition specifying unit 145 detects one target object whose shape, size and/or aspect ratio is closest to the ball in each input image. Note that the detectionposition specifying unit 145 may detect the object region using another known technique such as inter-frame difference or machine learning.

さらに、検出位置特定部１４５は、管理テーブルにおいて、取得した入力画像毎に、各入力画像から検出された物体領域の位置を示す情報を記憶する。 Furthermore, the detectionposition specifying unit 145 stores, in the management table, information indicating the position of the object region detected from each input image for each acquired input image.

次に、検出位置特定部１４５は、現在の追跡状態が追跡中であるか否かを判定する。追跡状態は、初期状態として非追跡中に設定され、ボールが対象コート内に入ったとみなされた時に追跡中に設定され、ボールが対象コート外に出たとみなされた時に非追跡中に設定される。さらに、検出位置特定部１４５は、前回までの第１イベント処理においてボールが撮像装置２００の撮影範囲外に存在すると判定されていたか否かと、今回、対象物体が入力画像の所定範囲内に検出されたか否かと、を判定する（ステップＳ２０２）。 Next, the detectionposition specifying unit 145 determines whether or not the current tracking state is tracking. The tracking state is set to non-tracking as an initial state, set to tracking when the ball is considered to have entered the target court, and set to non-tracking when the ball is considered to have left the target court. be. Further, the detectionposition specifying unit 145 determines whether the ball was determined to be outside the imaging range of theimaging device 200 in the previous first event processing, and whether the target object is detected within the predetermined range of the input image this time. (step S202).

検出位置特定部１４５は、過去にボールが撮影範囲外に移動していると判定され、且つ、その後、対象物体が入力画像の所定範囲内に検出されていない場合、前回までの第１イベント処理においてボールが撮影範囲外に存在すると判定されていたとみなす。所定範囲は、入力画像群に含まれる各入力画像の、ボールが撮影範囲外に移動していると判定された判定の基礎となった予測位置側の端部周辺に設定される。所定範囲は、人物等の他の物体が存在せず、撮影範囲外に移動したボールが戻ってくる領域であり、且つ、戻ってきたボールが確実に撮像される範囲に設定されることが好ましい。 If it is determined that the ball has moved outside the shooting range in the past and the target object has not been detected within the predetermined range of the input image after that, the detectionposition specifying unit 145 repeats the first event processing up to the previous time. It is assumed that the ball was determined to exist outside the shooting range in . The predetermined range is set around the edge of each input image included in the input image group on the side of the predicted position that was the basis for determining that the ball was moving out of the shooting range. It is preferable that the predetermined range is a range in which there are no other objects such as people, a ball that has moved out of the shooting range returns, and a range in which the returning ball can be reliably captured. .

例えば、ボールが撮影範囲外に移動していると判定されたときの予測位置が撮影範囲の上方である場合、所定範囲は、その入力画像の上端部から所定距離（例えばボールの直径の３倍に相当する画素数）の範囲に設定される。一方、ボールが撮影範囲外に移動していると判定されたときの予測位置が撮影範囲の右方である場合、所定範囲は、その入力画像の右端部から所定距離の範囲に設定される。また、検出位置特定部１４５は、撮影範囲外に移動する直前のボールの軌道に基づいてボールの戻り位置を推定し、推定した戻り位置から所定距離内の領域に所定範囲を設定してもよい。検出位置特定部１４５は、入力画像群に含まれる入力画像の内の所定数（例えば１）以上の入力画像において対象物体が所定範囲内に検出された場合、対象物体が入力画像の所定範囲内に検出されたと判定する。 For example, if the predicted position when it is determined that the ball is moving outside the shooting range is above the shooting range, the predetermined range is a predetermined distance (for example, three times the diameter of the ball) from the upper end of the input image. (number of pixels equivalent to ). On the other hand, if the predicted position when it is determined that the ball has moved outside the shooting range is to the right of the shooting range, the predetermined range is set to a range within a predetermined distance from the right end of the input image. Further, the detectionposition specifying unit 145 may estimate the return position of the ball based on the trajectory of the ball immediately before it moves out of the shooting range, and set the predetermined range to an area within a predetermined distance from the estimated return position. . When the target object is detected within a predetermined range in a predetermined number (for example, 1) or more of the input images included in the input image group, the detectionposition specifying unit 145 determines that the target object is within the predetermined range of the input image. is detected.

追跡状態が追跡中であり、前回までの第１イベント処理においてボールが撮影範囲外に存在すると判定されており、且つ、今回、対象物体が入力画像の所定範囲内に検出されなかった場合、検出位置特定部１４５は、特に処理を実行せず、一連のステップを終了する。このように、検出位置特定部１４５は、接触判定部１４７によりボールが撮影範囲外に移動したと判定された場合、入力画像群のその判定の基礎となった予測位置側の端部周辺において物体が新たに検出されるまで、検出位置を新たに特定しない。これにより、検出位置特定部１４５は、一端、撮影範囲外に移動したボールを誤った位置で検出することを抑制できる。また、画像処理装置１００は、ボールが撮影範囲外に移動した場合には、ボールの予測位置を推定する処理を省略するため、第１イベント処理における処理負荷を軽減させることができる。 If the tracking state is tracking, the ball was determined to be outside the shooting range in the first event processing up to the previous time, and the target object was not detected within the predetermined range of the input image this time, detection Theposition specifying unit 145 ends the series of steps without executing any particular process. In this way, when thecontact determination unit 147 determines that the ball has moved outside the shooting range, the detectionposition specifying unit 145 detects an object near the end of the input image group on the predicted position side, which is the basis for the determination. The detection position is not newly identified until is newly detected. As a result, the detectionposition specifying unit 145 can be prevented from detecting a ball that has moved out of the shooting range at an erroneous position. In addition, theimage processing apparatus 100 omits the process of estimating the predicted position of the ball when the ball moves out of the shooting range, thereby reducing the processing load in the first event process.

なお、検出位置特定部１４５は、ボールが撮影範囲外に移動していると判定されてから所定時間経過しても、対象物体が入力画像の所定範囲内に検出されなかった場合、ボールがコートに戻ってこなかったとみなして、追跡状態を非追跡中に設定してもよい。 Note that if the target object is not detected within the predetermined range of the input image even after a predetermined period of time has elapsed since it was determined that the ball was moving out of the shooting range, the detectionposition specifying unit 145 determines whether the ball is on the court. may set the tracking state to non-tracking.

一方、追跡状態が非追跡中である場合、ボールが撮影範囲外に存在すると判定されていない場合、又は、対象物体が入力画像の所定範囲内に検出された場合、検出位置特定部１４５は、イベント空間内の対象物体の検出位置を特定する（ステップＳ２０３）。画像処理装置１００は、各撮像装置２００により生成される入力画像内の画素毎に、撮像方向に対する、撮像素子から各画素に対応するイベント空間内の位置に向かう方向の水平面上の角度を記憶装置１２０に事前に設定しておく。検出位置特定部１４５は、複数の撮像装置２００の内の任意の二つの撮像装置２００により生成された入力画像において、対象物体の各重心位置に対応する角度を特定する。検出位置特定部１４５は、各撮像装置２００の配置位置及び特定した角度に基づいて、公知のステレオカメラの原理（三角測量の技術）を用いて、イベント空間内の対象物体の検出位置を特定する。なお、画像処理装置１００は、測距センサを有し、検出位置特定部１４５は、測距センサにより測定された対象物体までの距離に基づいて、公知の三辺測量の技術を用いて、イベント空間内の対象物体の検出位置を特定してもよい。 On the other hand, if the tracking state is non-tracking, if it is not determined that the ball exists outside the shooting range, or if the target object is detected within the predetermined range of the input image, the detectedposition specifying unit 145 The detected position of the target object in the event space is identified (step S203). Theimage processing apparatus 100 stores, for each pixel in an input image generated by eachimage capturing apparatus 200, an angle on a horizontal plane of a direction from the image sensor toward a position in the event space corresponding to each pixel with respect to the image capturing direction. It is set to 120 in advance. The detectionposition specifying unit 145 specifies an angle corresponding to each center-of-gravity position of the target object in the input images generated by any twoimaging devices 200 out of the plurality ofimaging devices 200 . The detectionposition specifying unit 145 specifies the detection position of the target object in the event space based on the arrangement position and the specified angle of eachimaging device 200, using a known stereo camera principle (triangulation technology). . Note that theimage processing apparatus 100 has a ranging sensor, and the detectionposition specifying unit 145 uses a known trilateration technique based on the distance to the target object measured by the ranging sensor to determine the event A detected position of the target object in space may be identified.

これにより、検出位置特定部１４５は、ボールが所定空間（対象コート）内に位置する場合、所定空間内の対象物体の検出位置を特定する。 Thereby, the detectionposition specifying unit 145 specifies the detection position of the target object within the predetermined space when the ball is positioned within the predetermined space (target court).

さらに、検出位置特定部１４５は、管理テーブルにおいて、特定した検出位置を各入力画像と関連付けて記憶する。 Further, the detectionposition specifying unit 145 stores the specified detection position in association with each input image in the management table.

次に、検出位置特定部１４５は、現在の追跡状態が追跡中であるか否かを判定する（ステップＳ２０４）。現在の追跡状態が追跡中である場合、検出位置特定部１４５は、処理をステップＳ２０７へ移行する。 Next, the detectionposition specifying unit 145 determines whether or not the current tracking state is tracking (step S204). If the current tracking state is tracking, the detectionposition specifying unit 145 shifts the process to step S207.

一方、現在の追跡状態が非追跡中である場合、検出位置特定部１４５は、対象物体の検出位置が所定空間（対象コート）内であるか否かを判定する（ステップＳ２０５）。対象物体の検出位置が所定空間外である場合、検出位置特定部１４５は、特に処理を実行せず、一連のステップを終了する。 On the other hand, when the current tracking state is non-tracking, the detectionposition specifying unit 145 determines whether or not the detection position of the target object is within a predetermined space (target court) (step S205). If the detected position of the target object is outside the predetermined space, the detectedposition specifying unit 145 ends the series of steps without executing any particular process.

一方、対象物体の検出位置が所定空間内である場合、検出位置特定部１４５は、追跡状態を追跡中に設定するとともに、ボールが人物に接触した回数を示す接触回数を０にリセットする（ステップＳ２０６）。さらに、検出位置特定部１４５は、新たなターンＩＤを生成し、管理テーブルにおいて、今回の入力画像群に含まれる各入力画像に関連付けられたターンＩＤを新たに生成したターンＩＤに更新する。以降、第１イベント処理のステップＳ１０１で新たに取得した入力画像には、この新たに生成されたターンＩＤが関連付けて記憶される。 On the other hand, if the detected position of the target object is within the predetermined space, the detectedposition specifying unit 145 sets the tracking state to tracking, and resets the number of times of contact indicating the number of times the ball has contacted the person to 0 (step S206). Furthermore, the detectionposition specifying unit 145 generates a new turn ID, and updates the turn ID associated with each input image included in the current input image group to the newly generated turn ID in the management table. Thereafter, the newly generated turn ID is stored in association with the input image newly acquired in step S101 of the first event process.

次に、予測位置推定部１４６は、前回までの第１イベント処理において特定された各検出位置に基づいて、今回の第１イベント処理における所定空間内のボールの予測位置を推定する（ステップＳ２０７）。 Next, the predictedposition estimating unit 146 estimates the predicted position of the ball within the predetermined space in the current first event process based on each detection position specified in the previous first event process (step S207). .

予測位置推定部１４６は、直前の所定数分の検出位置毎に、その直前の検出位置からその検出位置に向かう移動ベクトルを算出する。予測位置推定部１４６は、最新の検出位置ほど重みが大きくなるように重み付けした、各移動ベクトルの重み付き平均を算出し、直前の検出位置から、算出した重み付き平均の分だけ移動した位置を予測位置として推定する。このように、予測位置推定部１４６は、各撮影タイミングにおける所定空間内のボールの予測位置を、その撮影タイミングより前に撮影された入力画像群から特定された検出位置に基づいて推定する。 The predictedposition estimating unit 146 calculates a motion vector directed from the immediately preceding detection position to the detection position for each of a predetermined number of immediately preceding detection positions. The predictedposition estimating unit 146 calculates a weighted average of each movement vector, which is weighted so that the more recent detected position is weighted, and calculates a position moved by the calculated weighted average from the immediately preceding detected position. Estimate as predicted position. In this way, the predictedposition estimating unit 146 estimates the predicted position of the ball within the predetermined space at each shooting timing based on the detection position specified from the input image group shot before the shooting timing.

次に、接触判定部１４７は、予測位置と今回の検出位置との間の距離が閾値以上であるか否かを判定する（ステップＳ２０８）。閾値は、例えば、ボールの直径サイズに設定される。なお、閾値は、撮影間隔の間にボールが移動し得る距離の最大値等に設定されてもよい。予測位置と今回の検出位置との間の距離が閾値未満である場合、接触判定部１４７は、今回の対象物体の検出位置が妥当であるとみなし、特に処理を実行せず、一連のステップを終了する。この場合、以降の第１イベント処理では、今回の検出位置を用いて、ボールの追跡が行われる。 Next, thecontact determination unit 147 determines whether or not the distance between the predicted position and the current detected position is equal to or greater than a threshold (step S208). The threshold is set, for example, to the diameter size of the ball. Note that the threshold value may be set to the maximum distance that the ball can move during the shooting interval. If the distance between the predicted position and the detected position this time is less than the threshold, thecontact determination unit 147 considers that the detected position of the target object this time is appropriate, and does not execute any particular process, and performs a series of steps. finish. In this case, in subsequent first event processing, the ball is tracked using the detected position this time.

一方、予測位置と今回の検出位置との間の距離が閾値以上である場合、接触判定部１４７は、その予測位置が入力画像群に含まれる入力画像の撮影範囲内であるか否かを判定する（ステップＳ２０９）。 On the other hand, if the distance between the predicted position and the current detected position is equal to or greater than the threshold, thecontact determination unit 147 determines whether or not the predicted position is within the shooting range of the input image included in the input image group. (step S209).

予測位置が入力画像群に含まれる全ての入力画像の撮影範囲外である場合、接触判定部１４７は、所定空間内でボールが撮影範囲外に移動したと判定し（ステップＳ２１０）、一連のステップを終了する。上記したように、検出位置特定部１４５は、各入力画像において形状が最もボールに近い物体を対象物体として検出する。ボールが撮影範囲外に移動した場合、入力画像内にボールが含まれないため、検出位置特定部１４５は、ボールでない物体を対象物体として検出してしまう。接触判定部１４７は、予測位置に基づいて、ボールが撮影範囲外に移動したことを検出することにより、ボールでない物体をボールと誤って追跡することを抑制できる。 If the predicted position is outside the shooting range of all the input images included in the input image group, thecontact determination unit 147 determines that the ball has moved out of the shooting range within the predetermined space (step S210). exit. As described above, the detectionposition specifying unit 145 detects an object whose shape is closest to a ball in each input image as a target object. When the ball moves out of the shooting range, the ball is not included in the input image, so the detectionposition specifying unit 145 detects an object other than the ball as the target object. By detecting that the ball has moved out of the shooting range based on the predicted position, thecontact determination unit 147 can prevent an object that is not a ball from being mistakenly tracked as a ball.

一方、予測位置が入力画像群に含まれる何れかの入力画像の撮影範囲内である場合、接触判定部１４７は、所定空間内でボールが人物に接触したと判定する（ステップＳ２１１）。接触判定部１４７は、直前の第１イベント処理において、ボールが人物に接触していないと判定されていた場合、即ち予測位置と検出位置との間の距離が閾値未満であった場合又は予測位置が撮影範囲外であった場合、接触回数をインクリメント（＋１）する。 On the other hand, when the predicted position is within the imaging range of any input image included in the input image group, thecontact determination unit 147 determines that the ball has contacted the person within the predetermined space (step S211). Thecontact determination unit 147 determines that the ball is not in contact with the person in the immediately preceding first event process, that is, if the distance between the predicted position and the detected position is less than a threshold value, or if the predicted position is out of the shooting range, the contact count is incremented (+1).

なお、接触判定部１４７は、予測位置が、入力画像群に含まれる一以上の所定数の入力画像の撮影範囲外である場合に、ボールが撮影範囲外に移動したと判定し、それ以外の場合に、ボールが人物に接触したと判定してもよい。 Note that thecontact determination unit 147 determines that the ball has moved outside the shooting range when the predicted position is outside the shooting range of one or more predetermined number of input images included in the input image group. case, it may be determined that the ball has touched the person.

図１４Ａ、図１４Ｂ、図１５Ａ及び図１５Ｂは、ボールと人物の接触について説明するための模式図である。 14A, 14B, 15A and 15B are schematic diagrams for explaining contact between a ball and a person.

図１４Ａは、ボールが人物から離間している時に生成された入力画像１４００であり、図１４Ｂは、入力画像１４００から検出された差分領域の一部を示す画像１４１０である。図１４Ｂにおいて、差分領域は白色で示され、差分領域以外の領域は黒色で示されている。入力画像１４００内のボール１４０１及び人物１４０２は背景画像に存在しないため、画像１４１０においてボール１４０１及び人物１４０２にそれぞれ対応する領域１４１１及び領域１４１２は差分領域として検出され、物体領域として適切に検出される。 14A is aninput image 1400 generated when the ball is away from the person, and FIG. 14B is animage 1410 showing a portion of the difference area detected from theinput image 1400. FIG. In FIG. 14B, the difference area is shown in white, and the area other than the difference area is shown in black. Since theball 1401 and theperson 1402 in theinput image 1400 do not exist in the background image,areas 1411 and 1412 corresponding to theball 1401 and theperson 1402 are detected as difference areas in theimage 1410, and are appropriately detected as object areas. .

図１５Ａは、ボールが人物に接触している時に生成された入力画像１５００であり、図１５Ｂは、入力画像１５００から検出された差分領域の一部を示す画像１５１０である。入力画像１５００内のボール１５０１及び人物１５０２は背景画像に存在しないため、画像１５１０においてボール１５０１及び人物１５０２にそれぞれ対応する領域１５１１及び領域１５１２は差分領域として検出される。但し、ボール１５０１及び人物１５０２が接触していることにより、領域１５１１及び領域１５１２は連結して検出される。そのため、領域１５１１及び１５１２の大きさ及び／又は縦横比等の特徴量は、ボールの特徴量と大きく異なり、物体領域として検出されない可能性がある。図１５Ｂに示す例では、ボール１５０１に対応する領域１５１１でなく、特定の人物の頭部１５０３に対応する領域１５１３が物体領域として検出されている。 15A is aninput image 1500 generated when the ball is in contact with a person, and FIG. 15B is animage 1510 showing a portion of the difference area detected from theinput image 1500. FIG. Since theball 1501 and theperson 1502 in theinput image 1500 do not exist in the background image,areas 1511 and 1512 corresponding to theball 1501 and theperson 1502 respectively in theimage 1510 are detected as difference areas. However, since theball 1501 and theperson 1502 are in contact with each other, theregions 1511 and 1512 are connected and detected. Therefore, the feature quantities such as the sizes and/or aspect ratios of theregions 1511 and 1512 are significantly different from those of the ball, and there is a possibility that they will not be detected as object regions. In the example shown in FIG. 15B, anarea 1513 corresponding to a specific person'shead 1503 is detected as the object area, not anarea 1511 corresponding to theball 1501 .

接触判定部１４７は、物体領域が不適切な位置に検出されたとき、予測位置に基づいてボールが人物に接触したか撮影範囲外に移動したかを判定することにより、ボールが人物に接触した場合又はボールが撮影範囲外に移動した場合でも良好にボールを追跡できる。 When the object region is detected at an inappropriate position, thecontact determination unit 147 determines whether the ball has contacted the person or moved out of the shooting range based on the predicted position. The ball can be tracked well even when the ball moves out of the shooting range.

次に、予測位置推定部１４６は、管理テーブルにおいて、今回の検出位置を予測位置に置換する（ステップＳ２１２）。即ち、予測位置推定部１４６は、接触判定部１４７によりボールが人物に接触したと判定された撮影タイミングに撮影された入力画像群から特定された検出位置を、その撮影タイミングにおける予測位置に置換する。予測位置推定部１４６は、置換した予測位置を用いて、今回の撮影タイミングより後の撮影タイミングにおける予測位置を推定する。これにより、予測位置推定部１４６は、以降の第１イベント処理のステップＳ２０７において、ボールが予測位置（即ち人物と接触している位置）に存在するとみなしてボールを追跡するため、より高精度にボールを追跡できる。 Next, the predictedposition estimation unit 146 replaces the current detected position with the predicted position in the management table (step S212). That is, the predictedposition estimating unit 146 replaces the detected position specified from the input image group captured at the shooting timing when thecontact determining unit 147 determines that the ball has contacted the person, with the predicted position at that shooting timing. . The predictedposition estimating unit 146 uses the replaced predicted position to estimate the predicted position at the imaging timing after the current imaging timing. As a result, the predictedposition estimating unit 146 tracks the ball assuming that the ball exists at the predicted position (that is, the position where the person is in contact) in step S207 of the subsequent first event processing. You can track the ball.

次に、記憶制御部１４８は、接触回数が０回から１回に変化したか否かを判定する（ステップＳ２１３）。 Next, thememory control unit 148 determines whether or not the number of times of contact has changed from 0 to 1 (step S213).

接触回数が０回から１回に変化した場合、記憶制御部１４８は、管理テーブルにおいて、現在処理中の（最新の）入力画像群に含まれる各入力画像の状態に、レシーブを示す情報を設定することにより、予測位置をレシーブ位置として記憶する（ステップＳ２１４）。そして、記憶制御部１４８は、一連のステップを終了する。このように、記憶制御部１４８は、検出位置特定部１４５により所定空間内に対象物体が検出されてから、接触判定部１４７によりボールが人物に１回目に接触したと判定された撮影タイミングにおける予測位置をレシーブ位置として記憶する。 When the number of touches changes from 0 to 1, thestorage control unit 148 sets information indicating receive to the state of each input image included in the (latest) input image group currently being processed in the management table. By doing so, the predicted position is stored as the receive position (step S214). Then, thestorage control unit 148 ends the series of steps. In this way, thestorage control unit 148 makes a prediction at the photographing timing when thecontact determination unit 147 determines that the ball first contacts the person after the target object is detected in the predetermined space by the detectionposition specifying unit 145. Store the position as the receive position.

一方、接触回数が０回から１回に変化していない場合、記憶制御部１４８は、接触回数が１回から２回に変化したか否かを判定する（ステップＳ２１５）。 On the other hand, if the number of contacts has not changed from 0 to 1, thememory control unit 148 determines whether or not the number of contacts has changed from 1 to 2 (step S215).

接触回数が１回から２回に変化した場合、記憶制御部１４８は、管理テーブルにおいて、現在処理中の（最新の）入力画像群に含まれる各入力画像の状態に、トスを示す情報を設定することにより、予測位置をトス位置として記憶する（ステップＳ２１６）。そして、記憶制御部１４８は、一連のステップを終了する。このように、記憶制御部１４８は、検出位置特定部１４５により所定空間内に対象物体が検出されてから、接触判定部１４７によりボールが人物に２回目に接触したと判定された撮影タイミングにおける予測位置をトス位置として記憶する。 When the number of touches changes from one to two, thestorage control unit 148 sets information indicating a toss to the state of each input image included in the (latest) input image group currently being processed in the management table. By doing so, the predicted position is stored as the toss position (step S216). Then, thestorage control unit 148 ends the series of steps. In this way, thestorage control unit 148 makes a prediction at the photographing timing when thecontact determination unit 147 determines that the ball has contacted the person for the second time after the detectionposition specifying unit 145 detects the target object in the predetermined space. Store the position as the toss position.

一方、接触回数が１回から２回に変化していない場合、記憶制御部１４８は、接触回数が２回から３回に変化したか否かを判定する（ステップＳ２１７）。 On the other hand, if the number of contacts has not changed from 1 to 2, thememory control unit 148 determines whether or not the number of contacts has changed from 2 to 3 (step S217).

接触回数が２回から３回に変化した場合、記憶制御部１４８は、管理テーブルにおいて、現在処理中の（最新の）入力画像群に含まれる各入力画像の状態に、スパイクを示す情報を設定することにより、予測位置をスパイク位置として記憶する（ステップＳ２１８）。このように、記憶制御部１４８は、検出位置特定部１４５により所定空間内に対象物体が検出されてから、接触判定部１４７によりボールが人物に３回目に接触したと判定された撮影タイミングにおける予測位置をスパイク位置として記憶する。さらに、記憶制御部１４８は、追跡状態を非追跡中に設定し、一連のステップを終了する。追跡状態を非追跡状態に設定した後は、以降の第１イベント処理のステップＳ２０５において、対象物体の検出位置が所定空間内であると判定されるまで、ボールは相手コート又はコート外に位置するとみなされ、ボールの追跡は実行されない。 When the number of times of contact changes from 2 to 3, thestorage control unit 148 sets information indicating a spike in the state of each input image included in the (latest) input image group currently being processed in the management table. By doing so, the predicted position is stored as the spike position (step S218). In this way, thestorage control unit 148 performs prediction at the shooting timing at which thecontact determination unit 147 determines that the ball has contacted the person for the third time after the target object is detected in the predetermined space by the detectionposition specifying unit 145. Store the position as the spike position. Furthermore, thestorage control unit 148 sets the tracking state to non-tracking, and ends the series of steps. After setting the tracking state to the non-tracking state, the ball is assumed to be on the opponent's court or outside the court until it is determined in step S205 of the subsequent first event processing that the detected position of the target object is within the predetermined space. considered and no tracking of the ball is performed.

一方、２回から３回に変化していない場合、記憶制御部１４８は、特に処理を実行せず、一連のステップを終了する。 On the other hand, if the number of times has not changed from 2 to 3, thestorage control unit 148 ends the series of steps without executing any particular process.

第１処理部１４４は、第１イベント処理を実行することにより、試合形式の練習においてレシーブ、トス、スパイクが行われた画像及びレシーブ位置、トス位置、スパイク位置を適切に記憶しておくことができる。 By executing the first event processing, thefirst processing unit 144 can appropriately store the images of receiving, tossing, and spikes performed in the game-style practice, as well as the receiving positions, tossing positions, and spike positions. can.

図１６は、画像処理装置１００による第２イベント処理の動作を示すフローチャートである。第２イベント処理は、図４の解析処理のステップＳ１０５においてバレーボールのスパイク練習がイベントとして特定された場合に、ステップＳ１０９のイベント処理として実行される。 FIG. 16 is a flow chart showing the operation of the second event processing by theimage processing apparatus 100. As shown in FIG. The second event process is executed as the event process of step S109 when volleyball spike practice is specified as an event in step S105 of the analysis process of FIG.

第２処理部１４９は、図１２のステップＳ２０１、Ｓ２０３、Ｓ２０７の処理と同様にして、対象物体を検出し（ステップＳ３０１）、対象物体の検出位置を特定し（ステップＳ３０２）、ボールの予測位置を推定する（ステップＳ３０３）。また、第２処理部１４９は、図１２のステップＳ２０８の処理と同様にして、予測位置と検出位置との間の距離が閾値以上であるか否かを判定する（ステップＳ３０４）。第２処理部１４９は、予測位置と検出位置との間の距離が閾値未満である場合、特に処理を実行せずに、一連のステップを終了し、予測位置と検出位置との間の距離が閾値以上である場合、所定空間内でボールが人物に接触したと判定する（ステップＳ３０５）。次に、第２処理部１４９は、ステップＳ２１２、Ｓ２１４の処理と同様にして、検出位置を予測位置に置換し（ステップＳ３０６）、予測位置をスパイク位置として記憶し（ステップＳ３０７）、一連のステップを終了する。 Thesecond processing unit 149 detects a target object (step S301), identifies the detected position of the target object (step S302), and determines the predicted position of the ball in the same manner as in the processes of steps S201, S203, and S207 in FIG. is estimated (step S303). In addition, thesecond processing unit 149 determines whether or not the distance between the predicted position and the detected position is equal to or greater than a threshold value (step S304), in the same manner as in the process of step S208 in FIG. When the distance between the predicted position and the detected position is less than the threshold, thesecond processing unit 149 ends the series of steps without executing any particular process, and the distance between the predicted position and the detected position is If it is equal to or greater than the threshold, it is determined that the ball has contacted the person within the predetermined space (step S305). Next, thesecond processing unit 149 replaces the detected position with the predicted position (step S306), stores the predicted position as the spike position (step S307), and performs a series of steps exit.

第２処理部１４９は、第２イベント処理を実行することにより、特定の人物から順次提供されるトスに対して各選手がスパイクを行う練習においてスパイクが行われた画像及びスパイク位置を適切に記憶することができる。 By executing the second event process, thesecond processing unit 149 appropriately stores the spiked image and the spike position in the training in which each player spikes a toss sequentially provided by a specific person. can do.

図１７は、画像処理装置１００による出力処理の動作を示すフローチャートである。以下、図１７に示したフローチャートを参照しつつ、出力処理の動作を説明する。なお、以下に説明する動作のフローは、予め記憶装置１２０に記憶されているプログラムに基づき主にＣＰＵ１４０により画像処理装置１００の各要素と協働して実行される。 FIG. 17 is a flow chart showing operations of output processing by theimage processing apparatus 100 . The operation of the output process will be described below with reference to the flowchart shown in FIG. The operation flow described below is executed mainly by theCPU 140 in cooperation with each element of theimage processing apparatus 100 based on a program stored in thestorage device 120 in advance.

最初に、出力制御部１５１は、通信装置１０１を介して端末装置３００から第１表示データの取得要求信号を受信した場合、第１表示データを生成し、通信装置１０１を介して端末装置３００に送信することにより出力する（ステップＳ４０１）。第１表示データは、端末装置３００の利用者が、画像処理装置１００に記憶された画像の中から所望の画像を指定するための表示データである。端末装置３００は、第１表示データを受信した場合、受信した第１表示データに基づいて、閲覧画面を表示する。 First, when theoutput control unit 151 receives a first display data acquisition request signal from theterminal device 300 via thecommunication device 101 , theoutput control unit 151 generates the first display data and sends it to theterminal device 300 via thecommunication device 101 . Output by transmission (step S401). The first display data is display data for the user of theterminal device 300 to designate a desired image from among the images stored in theimage processing device 100 . When receiving the first display data, theterminal device 300 displays the browsing screen based on the received first display data.

図１８は、端末装置３００に表示される閲覧画面１８００の一例を示す模式図である。 FIG. 18 is a schematic diagram showing an example of aviewing screen 1800 displayed on theterminal device 300. As shown in FIG.

図１８に示すように、閲覧画面１８００には、第１指定領域１８１０、第２指定領域１８２０及び画像領域１８３０が含まれる。但し、第１表示データには第１指定領域１８１０を表示するためのデータのみが含まれ、第１表示データの受信時に表示される閲覧画面には、第２指定領域１８２０及び画像領域１８３０は表示されない。第１指定領域１８１０には、期間指定ボックス１８１１、練習選択ボタン１８１２、動作選択ボタン１８１３、トス領域選択ボタン１８１４、カメラ選択ボタン１８１５及び絞り込みボタン１８１６等が表示される。 As shown in FIG. 18, theviewing screen 1800 includes a first designatedarea 1810, a second designatedarea 1820 and animage area 1830. As shown in FIG. However, the first display data includes only data for displaying the first specifiedarea 1810, and the second specifiedarea 1820 and theimage area 1830 are displayed on the viewing screen displayed when the first display data is received. not. In thefirst designation area 1810, aperiod designation box 1811, apractice selection button 1812, anaction selection button 1813, a tossarea selection button 1814, acamera selection button 1815, a narrowing downbutton 1816, and the like are displayed.

期間指定ボックス１８１１は、絞り込み条件として、生成（撮影）された期間を指定するためのボックスである。練習選択ボタン１８１２は、絞り込み条件として練習内容を指定するためのボタンであり、練習内容として試合形式練習、スパイク練習、レシーブ練習又は指定なし等が選択可能に表示される。動作選択ボタン１８１３は、絞り込み条件としてプレイヤの動作を指定するためのボタンであり、動作としてレシーブ、トス、スパイク又は指定なし等が選択可能に表示される。 Aperiod designation box 1811 is a box for designating a generated (captured) period as a narrowing-down condition. Thepractice selection button 1812 is a button for designating practice content as a narrowing-down condition, and game-style practice, spike practice, receive practice, no designation, or the like is displayed so as to be selectable as the practice content. Theaction selection button 1813 is a button for designating a player's action as a narrowing-down condition, and display selectable actions such as receive, toss, spike, or no designation.

トス領域選択ボタン１８１４は、動作選択ボタン１８１３でトス又はスパイクが選択された場合に、絞り込み条件として、さらに所定空間（対象コート）内のトス位置の領域（以下、トス領域と称する場合がある）を指定するためのボタンである。画像１８１７に表示されているように、所定空間は、複数の領域に分類される。特に、所定空間は、コート内のネットの延伸方向において複数の領域（スロット）に分類される。図１８に示す例では、所定空間は、５、４、３、２、１、０、Ａ、Ｂ、Ｃの９つの領域に分類されており、選択されたトス領域には色が塗られている。 The tossarea selection button 1814 is used to select an area of the toss position within a predetermined space (target court) (hereinafter sometimes referred to as a toss area) as a narrowing-down condition when toss or spike is selected by theaction selection button 1813 . is a button for specifying As displayed inimage 1817, the predetermined space is divided into multiple regions. In particular, the predetermined space is classified into a plurality of regions (slots) in the extending direction of the net within the court. In the example shown in FIG. 18, the predetermined space is classified into nine areas of 5, 4, 3, 2, 1, 0, A, B, and C, and the selected toss area is colored. there is

カメラ選択ボタン１８１５は、絞り込み条件として、撮像装置２００を指定するためのボタンである。カメラ選択ボタン１８１５の隣には、各撮像装置２００の配置位置及び撮像方向を表す画像１８１８が表示されており、利用者は、画像１８１８を参照して所望の撮像装置２００又は指定なしを選択することができる。絞り込みボタン１８１６が押下されると、端末装置３００は、利用者による絞り込み条件の指定を受け付ける。 Acamera selection button 1815 is a button for designating theimaging device 200 as a narrowing-down condition. Next to thecamera selection button 1815, animage 1818 representing the arrangement position and imaging direction of eachimaging device 200 is displayed, and the user refers to theimage 1818 to select the desiredimaging device 200 or no designation. be able to. When the narrow-down button 1816 is pressed, theterminal device 300 accepts designation of narrow-down conditions by the user.

利用者により、動作としてスパイクが指定され、絞り込みボタン１８１６が押下された場合、端末装置３００は、第２表示データの取得要求信号を画像処理装置１００に送信する。この取得要求信号には、利用者により指定された各絞り込み条件が含まれる。出力制御部１５１は、通信装置１０１を介して端末装置３００から第２表示データの取得要求信号を受信した場合、受信した取得要求信号に含まれる絞り込み条件の指定を受け付ける（ステップＳ４０２）。これにより、出力制御部１５１は、絞り込み条件に含まれる、利用者による所定空間内の複数の領域の内の何れかのトス領域の指定を受け付ける。トス領域は、第１領域の一例である。 When the user designates a spike as an action and presses the refinebutton 1816 , theterminal device 300 transmits a second display data acquisition request signal to theimage processing device 100 . This acquisition request signal includes each narrowing-down condition specified by the user. When receiving an acquisition request signal for the second display data from theterminal device 300 via thecommunication device 101, theoutput control unit 151 accepts designation of the narrowing condition included in the received acquisition request signal (step S402). As a result, theoutput control unit 151 accepts the user's specification of any one of the toss areas in the predetermined space, which is included in the narrowing-down condition. The toss area is an example of the first area.

次に、出力制御部１５１は、利用者に指定された絞り込み条件に対応し且つスパイクが実施されている入力画像を抽出する（ステップＳ４０３）。出力制御部１５１は、管理テーブルを参照して、利用者に指定された期間に、利用者に指定された撮像装置２００により生成され、且つ、利用者に指定された練習が実施されている入力画像を抽出する。なお、利用者によって撮像装置２００が指定されていない場合、出力制御部１５１は、選択部１４３によって選択された撮像装置２００が撮影した入力画像を抽出する。その場合、出力制御部１５１は、管理テーブルにおいて、状態に、指定された練習の開始が設定された入力画像の内、撮像装置２００が選択された旨が設定された入力画像に関連付けられた撮像装置２００を、選択された撮像装置２００として特定する。さらに、出力制御部１５１は、抽出した入力画像の内、利用者に指定された領域でトスが実施された入力画像、即ち状態としてトスを示す情報が設定され、且つ、対象物体の検出位置が、利用者に指定されたトス領域に対応する入力画像を抽出する。そして、出力制御部１５１は、抽出した各入力画像と同一の撮像装置２００により撮像され、同一のターンに含まれ且つ状態としてスパイクを示す情報が設定された入力画像を抽出する。 Next, theoutput control unit 151 extracts an input image corresponding to the narrowing-down condition specified by the user and spiked (step S403). Theoutput control unit 151 refers to the management table, and is generated by theimaging device 200 specified by the user during the period specified by the user, and is an input indicating that the exercise specified by the user is being performed. Extract images. Note that when theimaging device 200 is not specified by the user, theoutput control unit 151 extracts an input image captured by theimaging device 200 selected by theselection unit 143 . In this case, theoutput control unit 151 selects, in the management table, among the input images whose state is set to start of the designated exercise, the image pickup associated with the input image whose status is set to indicate that theimaging device 200 has been selected. Identify thedevice 200 as the selectedimaging device 200 . Further, theoutput control unit 151 selects an input image in which a toss is performed in a region specified by the user, in the extracted input image. , extract the input image corresponding to the toss region specified by the user. Then, theoutput control unit 151 extracts an input image captured by thesame imaging device 200 as each of the extracted input images, included in the same turn, and set with information indicating a spike as the state.

次に、出力制御部１５１は、第２表示データを生成し、通信装置１０１を介して端末装置３００に送信することにより出力する（ステップＳ４０４）。第２表示データは、利用者が絞り込み条件として、さらに所望のスパイク位置又はスパイク位置の領域（以降、スパイク領域と称する場合がある）を指定するための表示データである。出力制御部１５１は、ステップＳ４０３で抽出した各入力画像における対象物体の検出位置を一覧表示するとともに、各入力画像の第１詳細情報を表示するように第２表示データを生成する。第１詳細情報には、各入力画像の撮影時刻、各検出位置の水平面上の位置（コート内の位置）、鉛直方向の位置（打点の高さ）、トスの時間（トスからスパイクまでの時間）等が含まれる。第１詳細情報は、スパイク位置に関する情報の一例であり、接触判定部１４７によりボールが人物に接触したと判定された撮影タイミングに撮影された入力画像に関する情報の一例である。 Next, theoutput control unit 151 generates the second display data, and outputs it by transmitting it to theterminal device 300 via the communication device 101 (step S404). The second display data is display data for the user to further specify a desired spike position or spike position region (hereinafter sometimes referred to as a spike region) as a narrowing-down condition. Theoutput control unit 151 displays a list of detected positions of the target object in each input image extracted in step S403, and generates second display data so as to display the first detailed information of each input image. The first detailed information includes the shooting time of each input image, the position of each detected position on the horizontal plane (position within the court), the vertical position (height of the hitting point), the time of the toss (the time from the toss to the spike). ) etc. are included. The first detailed information is an example of information related to the spike position, and is an example of information related to the input image captured at the shooting timing when thecontact determination unit 147 determines that the ball has contacted the person.

このように、出力制御部１５１は、利用者により指定された領域に含まれる各トス位置に関連付けられた各スパイク位置を一覧表示する第２表示データを生成して通信装置１０１から出力する。また、出力制御部１５１は、一覧表示されたスパイク位置の内、利用者により指定されたスパイク位置に関する情報を表示するように、第２表示データを生成する。端末装置３００は、第２表示データを受信した場合、受信した第２表示データに基づいて、表示している閲覧画面を更新する。 In this way, theoutput control unit 151 generates the second display data that lists the spike positions associated with the toss positions included in the area specified by the user, and outputs the second display data from thecommunication device 101 . In addition, theoutput control unit 151 generates the second display data so as to display information about the spike positions specified by the user among the listed spike positions. When receiving the second display data, theterminal device 300 updates the displayed browsing screen based on the received second display data.

図１８に示す例では、更新される閲覧画面１８００には、第１指定領域１８１０に加えて、第２指定領域１８２０が含まれる。第２指定領域１８２０には、スパイク領域選択ボタン１８２１及び絞り込みボタン１８２２等が表示される。スパイク領域選択ボタン１８２１は、絞り込み条件として、さらに所定空間内のスパイク領域を指定するためのボタンである。 In the example shown in FIG. 18 , thebrowse screen 1800 to be updated includes a second specifiedarea 1820 in addition to the first specifiedarea 1810 . A spikeregion selection button 1821, a narrowing downbutton 1822, and the like are displayed in the second designatedregion 1820. FIG. The spikearea selection button 1821 is a button for further specifying a spike area within a predetermined space as a narrowing condition.

スパイク領域選択ボタン１８２１の下には、複数の領域に分類された対象コートを表す画像１８２３が表示される。画像１８２３では、トス領域選択ボタン１８１４で選択された領域でトスが実施された各入力画像に対応する記号１８２４が、スパイクが実施された位置に分布される。各記号１８２４は、利用者により複数の方法で指定可能に表示される。例えば、利用者により各記号１８２４に対してシングルタップがなされた場合、シングルタップされた記号１８２４に対応する入力画像の第１詳細情報１８２５がさらに表示される。一方、利用者により各記号１８２４に対してダブルタップがなされた場合、ダブルタップされた記号１８２４に対応するスパイク位置の指定が受け付けられる。また、画像１８２３では、スパイク領域選択ボタン１８２１で指定されたスパイク領域には色が塗られている。利用者は、画像１８２３を参照して、所望の領域を選択することができる。 Animage 1823 representing the target court classified into a plurality of areas is displayed below the spikearea selection button 1821 . Inimage 1823,symbols 1824 corresponding to each input image tossed in the region selected with tossregion selection button 1814 are distributed at the locations where the spikes were performed. Eachsymbol 1824 is displayed so that it can be specified in multiple ways by the user. For example, when the user single-tap eachsymbol 1824, the firstdetailed information 1825 of the input image corresponding to the single-tappedsymbol 1824 is additionally displayed. On the other hand, when the user double-tap eachsymbol 1824, the designation of the spike position corresponding to the double-tappedsymbol 1824 is accepted. Also, in theimage 1823, the spike region designated by the spikeregion selection button 1821 is colored. The user can refer to theimage 1823 and select a desired area.

絞り込みボタン１８２２が押下されると、端末装置３００は、利用者によるスパイク位置又はスパイク領域の指定を受け付ける。 When the refinebutton 1822 is pressed, theterminal device 300 accepts specification of spike positions or spike regions by the user.

端末装置３００は、利用者によるスパイク位置又はスパイク領域の指定を受け付けると、第３表示データの取得要求信号を画像処理装置１００に送信する。この取得要求信号には、利用者により指定されたスパイク位置又はスパイク領域が含まれる。出力制御部１５１は、通信装置１０１を介して端末装置３００から第３表示データの取得要求信号を受信した場合、受信した取得要求信号に含まれるスパイク位置又はスパイク領域の指定を受け付ける（ステップＳ４０５）。これにより、出力制御部１５１は、利用者による、第２表示データに従って一覧表示されたスパイク位置の内の何れかのスパイク位置の指定、又は、複数の領域の内の何れかのスパイク領域の指定を受け付ける。スパイク領域は、第２領域の一例である。 Upon receiving the user's specification of the spike position or spike region, theterminal device 300 transmits an acquisition request signal for the third display data to theimage processing device 100 . This acquisition request signal includes the spike position or spike region designated by the user. When receiving an acquisition request signal for the third display data from theterminal device 300 via thecommunication device 101, theoutput control unit 151 accepts designation of the spike position or spike region included in the received acquisition request signal (step S405). . As a result, theoutput control unit 151 allows the user to specify any spike position among the spike positions displayed in a list according to the second display data, or specify any spike region among the plurality of regions. accept. A spike region is an example of a second region.

次に、出力制御部１５１は、管理テーブルを参照して、利用者に指定されたスパイク位置又はスパイク領域に対応する入力画像を抽出する（ステップＳ４０６）。出力制御部１５１は、管理テーブルを参照して、ステップＳ４０２で受け付けた、利用者に指定された期間に、利用者に指定された撮像装置２００により生成された入力画像を抽出する。なお、利用者によって撮像装置２００が指定されていない場合、出力制御部１５１は、選択部１４３によって選択された撮像装置２００が撮影した入力画像を抽出する。さらに、出力制御部１５１は、抽出した入力画像の内、トスを示す情報が設定された時の対象物体の検出位置が利用者に指定されたトス領域に対応する入力画像を抽出する。出力制御部１５１は、抽出した入力画像の内、スパイクを示す情報が設定された時の対象物体の検出位置が、指定されたスパイク位置又はスパイク領域に対応する入力画像を抽出する。 Next, theoutput control unit 151 refers to the management table and extracts an input image corresponding to the spike position or spike region specified by the user (step S406). Theoutput control unit 151 refers to the management table and extracts an input image generated by theimaging device 200 specified by the user during the period specified by the user accepted in step S402. Note that when theimaging device 200 is not specified by the user, theoutput control unit 151 extracts an input image captured by theimaging device 200 selected by theselection unit 143 . Further, theoutput control unit 151 extracts an input image corresponding to a toss region in which the detection position of the target object when the information indicating the toss is set is specified by the user, among the extracted input images. Theoutput control unit 151 extracts, from the extracted input images, an input image corresponding to a specified spike position or spike region when the detection position of the target object when the information indicating the spike is set.

次に、出力制御部１５１は、第３表示データを生成し、通信装置１０１を介して端末装置３００に送信することにより出力し（ステップＳ４０７）、一連のステップを終了する。第３表示データは、利用者により指定された絞り込み条件を満たす入力画像を表示する表示データである。即ち、第３表示データは、利用者に指定されたトス領域に含まれる各トス位置及び利用者に指定されたスパイク位置又はスパイク領域に含まれる各スパイク位置に対応する入力画像を表示する表示データである。出力制御部１５１は、ステップＳ４０６で抽出した各入力画像の前後の所定期間（例えば１０秒間）分の入力画像を連続して表示するとともに、各入力画像の第２詳細情報を各入力画像に重畳して表示するように第３表示データを生成する。 Next, theoutput control unit 151 generates the third display data and outputs it by transmitting it to theterminal device 300 via the communication device 101 (step S407), and ends the series of steps. The third display data is display data for displaying the input image that satisfies the narrowing-down condition specified by the user. That is, the third display data is display data for displaying input images corresponding to each toss position included in the toss area specified by the user, the spike position specified by the user, or each spike position included in the spike area. is. Theoutput control unit 151 continuously displays input images for a predetermined period (for example, 10 seconds) before and after each input image extracted in step S406, and superimposes the second detailed information of each input image on each input image. The third display data is generated so as to be displayed as

第２詳細情報には、各入力画像に対応するイベント（練習内容）、時刻、各入力画像における各検出位置の水平面上の位置、鉛直方向の位置、トスの時間等が含まれる。第２詳細情報は、接触判定部１４７によりボールが人物に接触したと判定された撮影タイミングに撮影された入力画像に関する情報の一例である。また、第２詳細情報は、利用者により指定されたスパイク位置又はスパイク領域に含まれる各スパイク位置に関する情報の一例である。端末装置３００は、第３表示データを受信した場合、受信した第３表示データに基づいて、表示している閲覧画面を更新する。 The second detailed information includes the event (practice content) corresponding to each input image, the time, the position on the horizontal plane of each detection position in each input image, the position in the vertical direction, the time of the toss, and the like. The second detailed information is an example of information related to the input image captured at the shooting timing when thecontact determination unit 147 determines that the ball has contacted the person. The second detailed information is an example of information on each spike position included in the spike position or spike region specified by the user. When theterminal device 300 receives the third display data, theterminal device 300 updates the displayed browsing screen based on the received third display data.

図１８に示す例では、更新される閲覧画面１８００には、第１指定領域１８１０及び第２指定領域１８２０に加えて、画像領域１８３０が含まれる。画像領域１８３０には、第１指定領域１８１０及び第２指定領域１８２０で指定された絞り込み条件を満たす入力画像１８３１が表示される。入力画像１８３１には、第２詳細情報が重畳して表示される。なお、入力画像１８３１は、利用者からの指示に応じて、任意のタイミングで一時停止又はスロー再生等を行うように表示される。利用者は、閲覧画面１８００により、膨大な量の入力画像の中から、所望のトス位置及びスパイク位置に対応する入力画像を、効率良く閲覧することができる。また、利用者は、各トス位置及びスパイク位置に関する数値情報を把握することができ、適切にプレーにフィードバックすることができる。したがって、画像処理装置１００は、利用者の利便性を向上させることができる。 In the example shown in FIG. 18 , the updatedbrowsing screen 1800 includes animage area 1830 in addition to the first specifiedarea 1810 and the second specifiedarea 1820 . Aninput image 1831 that satisfies the narrowing-down conditions specified in the first specifiedarea 1810 and the second specifiedarea 1820 is displayed in theimage area 1830 . The second detailed information is superimposed and displayed on theinput image 1831 . It should be noted that theinput image 1831 is displayed so as to be paused, slow-played, or the like at an arbitrary timing in accordance with an instruction from the user. Theviewing screen 1800 allows the user to efficiently view input images corresponding to desired toss positions and spike positions from among a huge amount of input images. In addition, the user can grasp the numerical information regarding each toss position and spike position, and can provide appropriate feedback to the play. Therefore, theimage processing apparatus 100 can improve user convenience.

また、ステップＳ４０２において利用者により動作としてトスが指定された場合、端末装置３００は、第３表示データの取得要求信号を画像処理装置１００に送信する。出力制御部１５１は、通信装置１０１を介して端末装置３００から第３表示データの取得要求信号を受信した場合、受信した取得要求信号に含まれる絞り込み条件の指定を受け付ける。出力制御部１５１は、動作としてスパイクが指定された場合と同様にして、利用者に指定された期間、撮像装置２００及び練習に対応する入力画像の内、利用者に指定された領域でトスが実施された入力画像を抽出する。出力制御部１５１は、抽出した各入力画像の前後の所定期間分の入力画像を連続して表示するとともに、各入力画像の第２詳細情報を各入力画像に重畳して表示するように第３表示データを生成して送信する。 Further, when the user designates a toss as an action in step S402, theterminal device 300 transmits a third display data acquisition request signal to theimage processing device 100. FIG. When receiving an acquisition request signal for the third display data from theterminal device 300 via thecommunication device 101, theoutput control unit 151 accepts designation of the narrowing condition included in the received acquisition request signal. In the same way as when a spike is specified as an action, theoutput control unit 151 causes the toss to occur in the region specified by the user in the input image corresponding to theimaging device 200 and practice for the period specified by the user. Extract the implemented input image. Theoutput control unit 151 continuously displays input images for a predetermined period before and after each extracted input image, and displays the second detailed information of each input image by superimposing it on each input image. Generate and send display data.

同様に、ステップＳ４０２において利用者により動作としてレシーブが指定された場合、端末装置３００は、第３表示データの取得要求信号を画像処理装置１００に送信する。出力制御部１５１は、動作としてスパイクが指定された場合と同様にして、利用者に指定された期間、撮像装置２００及び練習に対応する入力画像の内、レシーブが実施された入力画像を抽出する。出力制御部１５１は、抽出した各入力画像の前後の所定期間分の入力画像を連続して表示するとともに、各入力画像の第２詳細情報を各入力画像に重畳して表示するように第３表示データを生成して送信する。 Similarly, when the user designates receive as the operation in step S<b>402 , theterminal device 300 transmits an acquisition request signal for the third display data to theimage processing device 100 . Theoutput control unit 151 extracts received input images from among the input images corresponding to theimaging device 200 and practice during the period specified by the user, in the same manner as when the spike is specified as the action. . Theoutput control unit 151 continuously displays input images for a predetermined period before and after each extracted input image, and displays the second detailed information of each input image by superimposing it on each input image. Generate and send display data.

同様に、ステップＳ４０２において動作が指定されていなかった場合、端末装置３００は、第３表示データの取得要求信号を画像処理装置１００に送信する。出力制御部１５１は、動作としてスパイクが指定された場合と同様にして、利用者に指定された期間、撮像装置２００及び練習に対応する入力画像を抽出する。出力制御部１５１は、状態に利用者に指定された練習の開始が設定された入力画像から、その練習の終了が設定された入力画像までを、利用者に指定された練習に対応する入力画像として抽出する。なお、利用者によって撮像装置２００が指定されていない場合、出力制御部１５１は、選択部１４３によって選択された撮像装置２００が撮影した入力画像を抽出する。出力制御部１５１は、抽出した各入力画像を連続して表示するとともに、各入力画像の第２詳細情報を各入力画像に重畳して表示するように第３表示データを生成して送信する。 Similarly, if no operation is specified in step S402, theterminal device 300 transmits a third display data acquisition request signal to theimage processing device 100. FIG. Theoutput control unit 151 extracts the input image corresponding to theimaging device 200 and practice for the period specified by the user, in the same manner as when the spike is specified as the action. Theoutput control unit 151 selects an input image corresponding to the exercise specified by the user from the input image in which the start of the exercise specified by the user is set to the input image in which the end of the exercise is set in the state. Extract as Note that when theimaging device 200 is not specified by the user, theoutput control unit 151 extracts an input image captured by theimaging device 200 selected by theselection unit 143 . Theoutput control unit 151 continuously displays the extracted input images, and generates and transmits the third display data so that the second detailed information of each input image is superimposed and displayed on each input image.

このように、出力制御部１５１は、選択部１４３によって選択された撮像装置２００が撮影した複数の入力画像において、判定部１４２による判定の基礎とされた入力画像又はその入力画像と同じタイミングで撮影された入力画像を抽出する。そして、出力制御部１５１は、抽出した各入力画像を、判定部１４２により実施されると判定された各イベントのイベント名、時刻等を含む第２詳細情報と結び付けて表示するように第３表示データを生成する。 In this way, theoutput control unit 151 selects the input image on which the determination by thedetermination unit 142 is based, or at the same timing as the input image, among the plurality of input images captured by theimaging device 200 selected by theselection unit 143. extract the input image. Then, theoutput control unit 151 performs the third display so as to display each extracted input image in association with the second detailed information including the event name, time, etc. of each event determined to be performed by thedetermination unit 142 . Generate data.

以上詳述したように、画像処理装置１００は、複数の撮像装置２００によりイベント空間が撮影された複数の入力画像からイベントを検出するとともに、人物密集度合いに基づいて撮像装置２００を選択する。画像処理装置１００は、人物密集度合いが最も小さい入力画像を撮像した撮像装置２００を選択することにより、利用者が判別しやすい入力画像を抽出することができ、複数の入力画像の中からイベントに対応する入力画像を良好に抽出することが可能となった。 As described in detail above, theimage processing apparatus 100 detects an event from a plurality of input images in which event spaces are captured by a plurality ofimaging devices 200, and selects animaging device 200 based on the degree of crowding of people. Theimage processing apparatus 100 can extract an input image that is easy for the user to distinguish by selecting theimage capturing apparatus 200 that has captured the input image with the lowest degree of crowding of people. It is now possible to extract the corresponding input image successfully.

例えば、イベントがバレーボールの練習である場合、ウィングスパイカーは特にゲーム形式練習とスパイク練習を中心にチェックすることを希望し、リベロはゲーム形式練習とレシーブ練習を中心にチェックすることを希望する。即ち、練習を実施したプレイヤが画像を閲覧する場合、プレイヤのポジションに応じて、各プレイヤがチェックしたいシーンは異なる。利用者は閲覧を希望する練習が撮影された画像を全ての画像の中から手動で探し出す必要がなくなり、画像処理装置１００は、利用者の利便性を向上させることが可能となる。 For example, if the event is a volleyball practice, the wing spiker wants to check mainly game-style practice and spike practice, and the libero wants to check mainly game-style practice and receiving practice. That is, when a player who has practiced browses images, each player wants to check different scenes depending on the position of the player. The user does not have to manually search for the image of the exercise that the user wishes to view from among all the images, and theimage processing apparatus 100 can improve convenience for the user.

また、バレーボールでは、個々の人物又はボールが、それぞれ異なる練習において同一の位置にある場合又は同一の動きをする場合があり、個々の人物又はボールの位置又は動きに基づいて、練習内容を特定することが困難である。また、練習内容によっては、個々の人物又はボールが、互いに重なってしまい、適切に抽出されない可能性がある。一方、コート内の複数のプレイヤの位置（フォーメーション）又は動き（連携動作）は、練習毎に異なる。画像処理装置１００は、空間内の人物配置に関する特徴情報に基づいてイベントを特定するため、個々の人物又は物体の位置又は動きに基づいて練習内容を特定する場合と比較して、高精度に練習内容を特定できる。 In addition, in volleyball, individual people or balls may be in the same position or move in the same way in different practices, and the content of practice is specified based on the positions or movements of individual people or balls. is difficult. Also, depending on the training content, individual persons or balls may overlap each other and may not be properly extracted. On the other hand, the positions (formation) or movements (coordinated movements) of multiple players on the court differ for each practice. Since theimage processing apparatus 100 identifies an event based on feature information regarding the arrangement of persons in space, theimage processing apparatus 100 can perform exercise with higher accuracy than when identifying exercise content based on the positions or movements of individual persons or objects. Content can be specified.

また、画像処理装置１００は、直前の対象物体の検出位置に基づくボールの予測位置と対象物体の検出位置との間の距離が閾値以上であり且つその予測位置が入力画像群の撮影範囲内である場合、ボールが人物に接触したと判定する。これにより、画像処理装置１００は、ボールが人物に接触したタイミングに撮影された入力画像を良好に抽出することが可能となった。 Further, theimage processing apparatus 100 determines that the distance between the predicted position of the ball based on the previous detected position of the target object and the detected position of the target object is equal to or greater than a threshold, and that the predicted position is within the imaging range of the input image group. If so, it is determined that the ball has touched the person. As a result, theimage processing apparatus 100 can successfully extract the input image captured at the timing when the ball contacts the person.

特に、バレーボールでは、セッターがトスアップする際のボールの位置、又は、アタッカーがスパイクを打つ際のボールの位置等、ボールがプレイヤに接触した瞬間のボールの位置は、プレイヤの各動作の良否を判断するための重要な要素となる。プレイヤは、ボールがプレイヤに接触したタイミングに撮影された入力画像を効率良く閲覧することが可能となり、画像処理装置１００は、利用者の利便性を向上させることが可能となる。 In particular, in volleyball, the position of the ball at the moment it touches the player, such as the position of the ball when the setter tosses it up, or the position of the ball when the attacker hits the spike, determines the quality of each action of the player. be an important factor for The player can efficiently view the input image captured at the timing when the ball touches the player, and theimage processing device 100 can improve user convenience.

また、画像処理装置１００は、複数の撮像装置２００により生成された入力画像を用いて、ボールを追跡する。特定の撮像装置２００の死角にボールが存在する場合でも、そのボールは他の撮像装置２００によって撮影されるため、画像処理装置１００は、ボールを良好に追跡し続けることができる。 Also, theimage processing device 100 tracks the ball using the input images generated by the plurality ofimaging devices 200 . Even if the ball exists in the blind spot of aspecific imaging device 200, the ball is captured by anotherimaging device 200, so theimage processing device 100 can continue to track the ball well.

図１９は、他の実施形態に係る画像処理装置１００による解析処理の動作を示すフローチャートである。以下、図１９に示したフローチャートを参照しつつ、他の実施形態に係る解析処理の動作を説明する。なお、以下に説明する動作のフローは、予め記憶装置１２０に記憶されているプログラムに基づき主にＣＰＵ１４０により画像処理装置１００の各要素と協働して実行される。 FIG. 19 is a flow chart showing the operation of analysis processing by theimage processing apparatus 100 according to another embodiment. Hereinafter, the operation of analysis processing according to another embodiment will be described with reference to the flowchart shown in FIG. The operation flow described below is executed mainly by theCPU 140 in cooperation with each element of theimage processing apparatus 100 based on a program stored in thestorage device 120 in advance.

図４に示した解析処理では、画像処理装置１００は、複数の入力画像からイベントを特定してから、人物密集度合いに基づいて撮像装置２００を選択する。一方、図１９に示す解析処理では、画像処理装置１００は、人物密集度合いに基づいて撮像装置２００を選択してから、選択した撮像装置２００により生成された入力画像からイベントを特定する。 In the analysis processing shown in FIG. 4, theimage processing apparatus 100 identifies an event from a plurality of input images, and then selects theimaging apparatus 200 based on the degree of crowding of people. On the other hand, in the analysis processing illustrated in FIG. 19 , theimage processing apparatus 100 selects theimaging device 200 based on the degree of crowding of people, and then identifies an event from the input image generated by the selectedimaging device 200 .

最初に、取得部１４１は、図４のステップＳ１０１の処理と同様にして、入力画像群を取得し（ステップＳ５０１）、選択部１４３は、図４のステップＳ１０２の処理と同様にして、入力画像群に含まれる各入力画像から人物領域を検出する（ステップＳ５０２）。 First, theacquisition unit 141 acquires a group of input images (step S501) in the same manner as in the processing of step S101 in FIG. 4, and theselection unit 143 performs the processing of input images A person area is detected from each input image included in the group (step S502).

次に、選択部１４３は、入力画像群に含まれる何れかの入力画像において、所定数以上の人物領域が検出されたか否かを判定する（ステップＳ５０３）。所定数は、２以上の自然数、例えば３に設定される。 Next, theselection unit 143 determines whether or not a predetermined number or more of human regions have been detected in any of the input images included in the input image group (step S503). The predetermined number is set to a natural number of 2 or more, such as 3.

次に、選択部１４３は、図４のステップＳ１０６の処理と同様にして、入力画像群に含まれる入力画像毎に、人物密集度合いを算出する（ステップＳ５０４）。但し、選択部１４３は、複数のイベントのそれぞれに対応する空間毎に、各空間内の人物密集度合いを算出する。即ち、選択部１４３は、所定のタイミングで第１撮像装置２００が撮影した第１入力画像の第１空間及び第２空間内の第１人物密集度合いを算出する。また、選択部１４３は、その所定のタイミングで第２撮像装置２００が撮影した第２入力画像の第１空間及び第２空間内の第２人物密集度合いを算出する。 Next, theselection unit 143 calculates the degree of crowding of people for each input image included in the input image group (step S504) in the same manner as in the process of step S106 in FIG. However, theselection unit 143 calculates the degree of crowding of people in each space for each space corresponding to each of a plurality of events. That is, theselection unit 143 calculates the first degree of crowding of people in the first space and the second space of the first input image captured by thefirst imaging device 200 at a predetermined timing. Further, theselection unit 143 calculates a second degree of crowding of people in the first space and the second space of the second input image captured by thesecond imaging device 200 at the predetermined timing.

次に、選択部１４３は、図４のステップＳ１０７の処理と同様にして、人物密集度合いに基づいて撮像装置２００を選択する（ステップＳ５０５）。但し、選択部１４３は、複数のイベントのそれぞれに対応する空間毎に、人物密集度合いが最も小さい入力画像を撮像した撮像装置２００を選択する。即ち、選択部１４３は、第１人物密集度合いと、第２人物密集度合いとの比較に基づいて、撮像装置２００の選択を行う。 Next, theselection unit 143 selects theimaging device 200 based on the degree of crowding of people (step S505) in the same manner as in the process of step S107 in FIG. However, theselection unit 143 selects theimaging device 200 that captured the input image with the lowest degree of crowding of people for each space corresponding to each of a plurality of events. That is, theselection unit 143 selects theimaging device 200 based on the comparison between the first degree of crowding of people and the second degree of crowding of people.

次に、取得部１４１は、ステップＳ５０１の処理と同様にして、入力画像群を取得し（ステップＳ５０６）、判定部１４２は、ステップＳ５０２の処理と同様にして、入力画像群に含まれる各入力画像から人物領域を検出する（ステップＳ５０７）。なお、既にステップＳ１０１で最新の入力画像群を取得済みであり人物領域を検出済みである場合、取得部１４１及び判定部１４２は、ステップＳ５０６及びＳ５０７の処理を省略してもよい。 Next, the acquiringunit 141 acquires the input image group (step S506) in the same manner as in the process of step S501, and thedetermination unit 142 performs the processing of each input included in the input image group in the same manner as in the process of step S502. A person area is detected from the image (step S507). Note that if the latest input image group has already been acquired and the human region has already been detected in step S101, theacquisition unit 141 and thedetermination unit 142 may omit the processing of steps S506 and S507.

次に、判定部１４２は、図４のステップＳ１０３の処理と同様にして、イベント空間内の各空間に対応する領域と各領域に対応する特徴情報との適合度合いを算出する（ステップＳ５０８）。但し、判定部１４２は、選択部１４３によって選択された撮像装置２００が撮影した各入力画像について適合度合いを算出する。即ち、判定部１４２は、選択部１４３によって選択された撮像装置２００が撮影した各入力画像について、第１空間内の画像と第１特徴情報との第１適合度合い、及び、第２空間内の画像と第２特徴情報との第２適合度合いを算出する。 Next, the determiningunit 142 calculates the degree of matching between the area corresponding to each space in the event space and the feature information corresponding to each area (step S508), in the same manner as in the process of step S103 in FIG. However, thedetermination unit 142 calculates the degree of conformity for each input image captured by theimaging device 200 selected by theselection unit 143 . That is, thedetermination unit 142 determines, for each input image captured by theimaging device 200 selected by theselection unit 143, the first matching degree between the image in the first space and the first feature information, and the A second matching degree between the image and the second feature information is calculated.

次に、判定部１４２は、図４のステップＳ１０４の処理と同様にして、算出した何れかの適合度合いが所定数以上連続して閾値以上であるか否かを判定する（ステップＳ５０９）。但し、判定部１４２は、選択された撮像装置２００により撮像された入力画像の特定の領域において特定のイベントに対応する特徴情報が所定数以上連続して閾値以上である場合に、何れかの適合度合いが所定数以上連続して閾値以上であると判定する。 Next, thedetermination unit 142 determines whether or not any of the calculated degrees of conformity are equal to or greater than the threshold continuously for a predetermined number or more (step S509). However, if the feature information corresponding to the specific event in the specific region of the input image captured by the selectedimaging device 200 is continuously equal to or greater than the threshold for a predetermined number or more, the determiningunit 142 It is determined that the degree is equal to or higher than the threshold for a predetermined number of consecutive times.

何れの適合度合いも所定数以上連続して閾値以上でない場合、判定部１４２は、処理をステップＳ５０６に戻し、ステップＳ５０６～Ｓ５０９の処理を繰り返す。一方、何れかの適合度合いが所定数以上連続して閾値以上である場合、判定部１４２は、その適合度合いに対応するイベントを、イベント空間において実施されているイベントとして特定する（ステップＳ５１０）。即ち、判定部１４２は、選択部１４３によって選択された撮像装置２００が撮影した各入力画像において、第１適合度合い及び第２適合度合いに基づいて、第１イベント又は第２イベントが実施されたか否かを判定する。特に、判定部１４２は、選択部１４３によって選択された撮像装置２００が連続して撮影した所定数の入力画像における第１適合度合い又は第２適合度合いが全て閾値以上である場合に、第１イベント又は第２イベントが実施されたと判定する。 If none of the degrees of conformity are continuously equal to or greater than the threshold for the predetermined number or more, thedetermination unit 142 returns the process to step S506 and repeats the processes of steps S506 to S509. On the other hand, if any degree of conformity is equal to or greater than the threshold for a predetermined number of consecutive times, thedetermination unit 142 identifies the event corresponding to that degree of conformity as an event being held in the event space (step S510). That is, thedetermination unit 142 determines whether the first event or the second event has been performed in each input image captured by theimaging device 200 selected by theselection unit 143 based on the first degree of conformity and the second degree of conformity. determine whether In particular, the determiningunit 142 determines that the first event Alternatively, it is determined that the second event has been performed.

判定部１４２は、管理テーブルにおいて、適合度合いが所定数以上連続して閾値以上となった入力画像及びその入力画像と同じタイミングで撮影された各入力画像の状態に、特定したイベント及びイベント開始を設定する。また、選択部１４３は、イベント開始が設定された入力画像の内、ステップＳ５０５で選択した撮像装置２００に関連付けられた入力画像の状態に、撮像装置２００が選択された旨をさらに設定する。 In the management table, the determiningunit 142 adds the specified event and the start of the event to the states of the input images for which the degree of conformance is equal to or greater than the threshold for a predetermined number of times in a row and the input images captured at the same timing as the input images. set. In addition, theselection unit 143 further sets that theimaging device 200 is selected in the state of the input image associated with theimaging device 200 selected in step S505 among the input images for which event start is set.

次に、取得部１４１は、最新の入力画像群を取得する（ステップＳ５１１）。なお、既にステップＳ５０６で最新の入力画像群を取得済みである場合、取得部１４１は、ステップＳ５１１の処理を省略してもよい。 Next, theacquisition unit 141 acquires the latest input image group (step S511). Note that if the latest input image group has already been acquired in step S506, theacquisition unit 141 may omit the process of step S511.

次に、第１処理部１４４又は第２処理部１４９は、図４のステップＳ１０９の処理と同様にして、最新の入力画像群に対して、特定したイベントに応じたイベント処理を実行する（ステップＳ５１２）。 Next, thefirst processing unit 144 or thesecond processing unit 149 performs event processing corresponding to the identified event on the latest input image group in the same manner as in step S109 of FIG. 4 (step S512).

次に、終了判定部１５０は、ステップＳ５０２の処理と同様にして、最新の入力画像群に含まれる各入力画像から人物領域を検出する（ステップＳ５１３）。 Next, thetermination determination unit 150 detects a person area from each input image included in the latest input image group in the same manner as in step S502 (step S513).

次に、終了判定部１５０は、図４のステップＳ１１１の処理と同様にして、検出した人物領域が、判定部１４２によって特定されたイベントの終了条件を満たすか否かを判定する（ステップＳ５１４）。 Next, theend determination unit 150 determines whether or not the detected human region satisfies the end condition of the event identified by the determination unit 142 (step S514), in the same manner as in the process of step S111 in FIG. .

検出した人物領域がイベントの終了条件を満たさない場合、終了判定部１５０は、特に処理を実行せず、処理をステップＳ５１１へ戻し、ステップＳ５１１～Ｓ５１４の処理を繰り返す。一方、検出した人物領域がイベントの終了条件を満たす場合、終了判定部１５０は、特定したイベントが終了したと判定し（ステップＳ５１５）、処理をステップＳ５０１へ戻す。このように、終了判定部１５０は、判定部１４２による判定の基礎とされた入力画像より後に撮影された入力画像が、判定部１４２により実施されると判定されたイベントの終了条件を満たす場合に、そのイベントが終了したと判定する。終了判定部１５０は、管理テーブルにおいて、人物領域がイベントの終了条件を満たす入力画像及びその入力画像と同じタイミングで撮影された各入力画像の状態に、対応するイベント及びイベント終了を設定する。 If the detected person area does not satisfy the end condition of the event, theend determination unit 150 does not execute any particular process, returns the process to step S511, and repeats the processes of steps S511 to S514. On the other hand, if the detected human region satisfies the condition for ending the event, theend determination unit 150 determines that the identified event has ended (step S515), and returns the process to step S501. In this way, theend determination unit 150 determines that an input image captured after the input image used as the basis for the determination by thedetermination unit 142 satisfies the end condition of the event determined by thedetermination unit 142 to be performed. , it is determined that the event has ended. Theend determination unit 150 sets, in the management table, a corresponding event and an end of the event to the state of each input image whose person region satisfies the end condition of the event and the state of each input image captured at the same timing as the input image.

なお、図４に示す解析処理の代わりに、図１９に示す解析処理が実行される場合も、図１７に示す表示処理が実行される。この場合、出力制御部１５１は、選択部１４３によって選択された撮像装置２００が撮影した複数の入力画像において判定部１４２による判定の基礎とされた入力画像を、判定部１４２により実施されると判定されたイベントと結び付けて出力する。 The display process shown in FIG. 17 is also executed when the analysis process shown in FIG. 19 is executed instead of the analysis process shown in FIG. In this case, theoutput control unit 151 determines that the input image used as the basis for the determination by thedetermination unit 142 in the plurality of input images captured by theimaging device 200 selected by theselection unit 143 is performed by thedetermination unit 142. It is output in association with the event that was sent.

以上詳述したように、画像処理装置１００は、人物密集度合いに基づいて撮像装置２００を選択し、選択した撮像装置２００により生成された入力画像からイベントを特定する。これにより、画像処理装置１００は、個々の人物を良好に検出しやすい入力画像を用いて、より高精度にイベントを特定することが可能となり、複数の入力画像の中からイベントに対応する入力画像を良好に抽出することが可能となった。 As described in detail above, theimage processing apparatus 100 selects theimaging device 200 based on the degree of crowding of people, and identifies an event from the input image generated by the selectedimaging device 200 . As a result, theimage processing apparatus 100 can identify an event with higher accuracy by using an input image from which individual persons can be easily detected. was successfully extracted.

図２０は、他の実施形態に係る画像処理装置における制御回路２６０の概略構成を示すブロック図である。 FIG. 20 is a block diagram showing a schematic configuration of acontrol circuit 260 in an image processing apparatus according to another embodiment.

制御回路２６０は、制御回路１６０の代わりに使用され、ＣＰＵ１４０の代わりに、解析処理及び表示処理を実行する。制御回路２６０は、取得回路２６１、判定回路２６２、選択回路２６３、第１処理回路２６４、第２処理回路２６９、終了判定回路２７０及び出力制御回路２７１等を有する。第１処理回路２６４には、検出位置特定回路２６５、予測位置推定回路２６６、接触判定回路２６７及び記憶制御回路２６８等が含まれる。 Thecontrol circuit 260 is used instead of thecontrol circuit 160 and executes analysis processing and display processing instead of theCPU 140 . Thecontrol circuit 260 has anacquisition circuit 261, adetermination circuit 262, aselection circuit 263, afirst processing circuit 264, asecond processing circuit 269, anend determination circuit 270, anoutput control circuit 271, and the like. Thefirst processing circuit 264 includes a detectionposition identification circuit 265, a predictedposition estimation circuit 266, acontact determination circuit 267, amemory control circuit 268, and the like.

取得回路２６１は、取得部の一例であり、取得部１４１と同様の機能を有する。取得回路２６１は、通信装置１０１を介して各撮像装置２００から入力画像を取得し、記憶装置１２０に保存する。 Theacquisition circuit 261 is an example of an acquisition section and has the same function as theacquisition section 141 . Theacquisition circuit 261 acquires an input image from eachimaging device 200 via thecommunication device 101 and stores it in thestorage device 120 .

判定回路２６２は、判定部の一例であり、判定部１４２と同様の機能を有する。判定回路２６２は、記憶装置１２０から入力画像を読み出し、入力画像からイベント空間において実施されているイベントを特定し、記憶装置１２０に記憶された管理テーブルを更新する。 Thedetermination circuit 262 is an example of a determination section and has the same function as thedetermination section 142 . Thedetermination circuit 262 reads the input image from thestorage device 120 , identifies the event being performed in the event space from the input image, and updates the management table stored in thestorage device 120 .

選択回路２６３は、選択部の一例であり、選択部１４３と同様の機能を有する。選択回路２６３は、記憶装置１２０から各入力画像を読み出し、入力画像における人物密集度合いに基づいて撮像装置２００を選択し、記憶装置１２０に記憶された管理テーブルを更新する。 Theselection circuit 263 is an example of a selection section and has the same function as theselection section 143 . Theselection circuit 263 reads each input image from thestorage device 120 , selects theimaging device 200 based on the degree of crowding of people in the input image, and updates the management table stored in thestorage device 120 .

第１処理回路２６４は、第１処理部の一例であり、第１処理部１４４と同様の機能を有する。第１処理回路２６４は、記憶装置１２０から入力画像を読み出し、入力画像群に対して第１イベント処理を実行し、記憶装置１２０に記憶された管理テーブルを更新する。 Thefirst processing circuit 264 is an example of a first processing section and has the same function as thefirst processing section 144 . Thefirst processing circuit 264 reads input images from thestorage device 120 , executes first event processing on the input image group, and updates the management table stored in thestorage device 120 .

検出位置特定回路２６５は、検出位置特定部の一例であり、検出位置特定部１４５と同様の機能を有する。検出位置特定回路２６５は、記憶装置１２０から入力画像を読み出し、入力画像において対象物体の検出位置を特定し、検出位置を記憶装置１２０に記憶する。 The detectionposition identification circuit 265 is an example of a detection position identification section and has the same function as the detectionposition identification section 145 . Detectionposition specifying circuit 265 reads the input image fromstorage device 120 , specifies the detection position of the target object in the input image, and stores the detection position instorage device 120 .

予測位置推定回路２６６は、予測位置推定部の一例であり、予測位置推定部１４６と同様の機能を有する。予測位置推定回路２６６は、記憶装置１２０から対象物体の検出位置を読み出し、ボールの予測位置を推定し、予測位置を記憶装置１２０に記憶する。 The predictedposition estimating circuit 266 is an example of a predicted position estimating section and has the same function as the predictedposition estimating section 146 . Predictedposition estimation circuit 266 reads the detected position of the target object fromstorage device 120 , estimates the predicted position of the ball, and stores the predicted position instorage device 120 .

接触判定回路２６７は、接触判定部の一例であり、接触判定部１４７と同様の機能を有する。接触判定回路２６７は、記憶装置１２０から対象物体の検出位置及びボールの予測位置を読み出し、ボールが人物に接触したか否かを判定し、判定結果を記憶装置１２０に記憶する。 Thecontact determination circuit 267 is an example of a contact determination section and has the same function as thecontact determination section 147 . Thecontact determination circuit 267 reads the detected position of the target object and the predicted position of the ball from thestorage device 120 , determines whether the ball has contacted the person, and stores the determination result in thestorage device 120 .

記憶制御回路２６８は、記憶制御部の一例であり、記憶制御部１４８と同様の機能を有する。記憶制御回路２６８は、記憶装置１２０からボールと人物の接触の判定結果を読み出し、レシーブ位置、トス位置及びスパイク位置を特定し、記憶装置１２０に記憶する。 Thestorage control circuit 268 is an example of a storage control section and has the same function as thestorage control section 148 . Thememory control circuit 268 reads out the determination result of the contact between the ball and the person from thememory device 120 , specifies the receive position, the toss position and the spike position, and stores them in thememory device 120 .

第２処理回路２６９は、第２処理部の一例であり、第２処理部１４９と同様の機能を有する。第２処理回路２６９は、記憶装置１２０から入力画像を読み出し、入力画像群に対して第２イベント処理を実行し、記憶装置１２０に記憶された管理テーブルを更新する。 Thesecond processing circuit 269 is an example of a second processing section and has the same function as thesecond processing section 149 . Thesecond processing circuit 269 reads the input image from thestorage device 120 , executes the second event processing on the input image group, and updates the management table stored in thestorage device 120 .

終了判定回路２７０は、終了判定部の一例であり、終了判定部１５０と同様の機能を有する。終了判定回路２７０は、記憶装置１２０から入力画像を読み出し、入力画像においてイベントが終了したか否かを判定し、記憶装置１２０に記憶された管理テーブルを更新する。 Thetermination determination circuit 270 is an example of an termination determination section and has the same function as thetermination determination section 150 . Theend determination circuit 270 reads out the input image from thestorage device 120 , determines whether or not the event has ended in the input image, and updates the management table stored in thestorage device 120 .

出力制御回路２７１は、出力制御部の一例であり、出力制御部１５１と同様の機能を有する。出力制御回路２７１は、通信装置１０１を介して端末装置３００から、又は、操作装置１０２から利用者による指示を受け付ける。出力制御回路２７１は、受け付けた指示に従って、記憶装置１２０から入力画像及び管理テーブルを読み出し、表示データを生成して通信装置１０１を介して端末装置３００に、又は、表示装置１０３に出力する。 Theoutput control circuit 271 is an example of an output control section and has the same function as theoutput control section 151 . Theoutput control circuit 271 receives instructions from the user from theterminal device 300 via thecommunication device 101 or from theoperation device 102 . Theoutput control circuit 271 reads the input image and the management table from thestorage device 120 according to the received instruction, generates display data, and outputs the display data to theterminal device 300 or thedisplay device 103 via thecommunication device 101 .

以上詳述したように、画像処理装置は、制御回路２６０を用いる場合も、複数の入力画像の中からイベントに対応する入力画像を良好に抽出すること、及び、ボールが人物に接触したタイミングに撮影された入力画像を良好に抽出することが可能となった。 As described in detail above, even when thecontrol circuit 260 is used, the image processing apparatus is capable of extracting an input image corresponding to an event from among a plurality of input images, and adjusting the timing of the ball contacting the person. It has become possible to satisfactorily extract the captured input image.

以上、好適な実施形態について説明してきたが、実施形態はこれらに限定されない。例えば、画像処理装置１００は、各撮像装置２００が入力画像を生成したタイミングでリアルタイムに解析処理を実行しなくてもよい。画像処理装置１００は、過去に撮像装置２００が生成した入力画像をまとめて記憶装置１２０に記憶しておき、記憶装置１２０に記憶された入力画像を順次取得しながら解析処理を実行してもよい。 Although the preferred embodiments have been described above, the embodiments are not limited to these. For example, theimage processing apparatus 100 does not need to perform analysis processing in real time at the timing when eachimaging device 200 generates an input image. Theimage processing apparatus 100 may collectively store input images generated by theimaging apparatus 200 in the past in thestorage device 120, and may perform analysis processing while sequentially acquiring the input images stored in thestorage device 120. .

また、画像処理装置１００は、各表示データを端末装置３００に送信して端末装置３００に閲覧画面を表示するのでなく、表示装置１０３に閲覧画面を表示してもよい。その場合、画像処理装置１００は、操作装置１０２から利用者による閲覧画面の表示指示及び各絞り込み条件の指定を受け付け、受け付けた指示又は指定に応じて、各表示データに従った閲覧画面を生成し、表示装置１０３に表示する。 Theimage processing apparatus 100 may display the browsing screen on thedisplay device 103 instead of transmitting each display data to theterminal device 300 and displaying the browsing screen on theterminal device 300 . In this case, theimage processing apparatus 100 receives a viewing screen display instruction and designation of each narrowing condition from the user from theoperation device 102, and generates a viewing screen according to each display data in accordance with the received instruction or designation. , is displayed on thedisplay device 103 .

また、画像処理システム１において、クラウドコンピューティングの形態でサービスを提供できるように、ネットワーク上に複数の画像処理装置を分散して配置し、各画像処理装置に協働させて、各入力画像の解析処理等を分担させてもよい。これにより、画像処理システム１は、複数の撮像装置２００が生成した入力画像について、効率よく解析処理を実行できる。 In theimage processing system 1, a plurality of image processing apparatuses are distributed over a network so that services can be provided in the form of cloud computing. Analysis processing and the like may be shared. Accordingly, theimage processing system 1 can efficiently perform analysis processing on the input images generated by the plurality ofimaging devices 200 .

１００ 画像処理装置、１２０ 記憶装置、１４１ 取得部、１４２ 判定部、１４３ 選択部、１４５ 検出位置特定部、１４６ 予測位置推定部、１４７ 接触判定部、１４８ 記憶制御部、１５０ 終了判定部、１５１ 出力制御部 100 image processing device, 120 storage device, 141 acquisition unit, 142 determination unit, 143 selection unit, 145 detection position specification unit, 146 predicted position estimation unit, 147 contact determination unit, 148 storage control unit, 150 end determination unit, 151 output control unit

Claims (10)

Translated fromJapanese

第１イベントが実施される第１空間における人物配置に関する第１特徴情報、及び、前記第１イベントと異なる第２イベントが実施される第２空間における人物配置に関する第２特徴情報を記憶する記憶部と、
第１撮像装置によって前記第１空間及び前記第２空間が撮影された複数の第１入力画像、及び、第２撮像装置によって前記第１空間及び前記第２空間が撮影された複数の第２入力画像を取得する取得部と、
前記複数の第１入力画像及び前記複数の第２入力画像において、前記第１空間に対応する領域と前記第１特徴情報との適合度合い、及び、前記第２空間に対応する領域と前記第２特徴情報との適合度合いに基づいて、前記第１イベント又は前記第２イベントが実施されたか否かを判定する判定部と、
前記判定部によって前記第１イベント及び前記第２イベントの何れかが実施されたと判定された場合、判定の基礎とされた入力画像において実施されると判定されたイベントに対応する空間内の第１人物密集度合いと、前記判定の基礎とされた入力画像を撮影した撮像装置と異なる撮像装置が同じタイミングで撮影した他の入力画像において同じイベントに対応する空間内の第２人物密集度合いとの比較に基づいて、撮像装置の選択を行う選択部と、
前記選択部によって選択された撮像装置が撮影した複数の入力画像において、前記判定部による判定の基礎とされた入力画像又は前記判定部による判定の基礎とされた入力画像と同じタイミングで撮影された入力画像を、前記判定部により実施されると判定されたイベントと結び付けて出力する出力制御部と、
を有することを特徴とする画像処理装置。A storage unit that stores first characteristic information about the placement of people in a first space where a first event is held, and second feature information about the placement of people in a second space where a second event different from the first event is held. and,
A plurality of first input images in which the first space and the second space are captured by a first imaging device, and a plurality of second inputs in which the first space and the second space are captured by a second imaging device. an acquisition unit that acquires an image;
In the plurality of first input images and the plurality of second input images, the matching degree between the region corresponding to the first space and the first feature information, and the region corresponding to the second space and the second input image a determination unit that determines whether or not the first event or the second event has been performed based on the degree of matching with the characteristic information;
When the determination unit determines that either the first event or the second event has been performed, the first event in the space corresponding to the event determined to be performed in the input image used as the basis for the determination is performed. Comparison between the degree of crowding of people and a second degree of crowding of people in the space corresponding to the same event in another input image captured at the same timing by an imaging device different from the imaging device that captured the input image used as the basis for the determination. a selection unit that selects an imaging device based on
among a plurality of input images captured by the imaging device selected by the selection unit, captured at the same timing as the input image used as the basis for determination by the determination unit or the input image used as the basis for determination by the determination unit an output control unit that outputs an input image in association with an event determined to be performed by the determination unit;
An image processing device comprising: 前記記憶部は、前記第１イベント及び前記第２イベントの終了条件をさらに記憶し、
前記選択部によって選択された撮像装置が、前記判定部による判定の基礎とされた入力画像より後に撮影した入力画像が、前記判定部により実施されると判定されたイベントの前記終了条件を満たす場合に、当該イベントが終了したと判定する終了判定部をさらに有する、請求項１に記載の画像処理装置。The storage unit further stores end conditions for the first event and the second event,
When an input image captured by the imaging device selected by the selection unit after the input image used as the basis for determination by the determination unit satisfies the termination condition of the event determined to be performed by the determination unit. 2. The image processing apparatus according to claim 1, further comprising an end determination unit for determining that the event has ended. 前記判定部は、連続して撮影された所定数の第１入力画像又は第２入力画像における、前記第１特徴情報との前記適合度合い又は前記第２特徴情報との前記適合度合いが全て閾値以上である場合に、前記第１イベント又は前記第２イベントが実施されたと判定する、請求項１または２に記載の画像処理装置。 The determination unit determines that all of the degree of conformity with the first feature information or the degree of conformity with the second feature information in a predetermined number of continuously captured first input images or second input images are equal to or greater than a threshold. 3. The image processing apparatus according to claim 1, wherein it is determined that said first event or said second event has been performed when . 第１イベントが実施される第１空間における人物配置に関する第１特徴情報、及び、前記第１イベントと異なる第２イベントが実施される第２空間における人物配置に関する第２特徴情報を記憶する記憶部と、
第１撮像装置によって前記第１空間及び前記第２空間が撮影された複数の第１入力画像、及び、第２撮像装置によって前記第１空間及び前記第２空間が撮影された複数の第２入力画像を取得する取得部と、
所定のタイミングで第１撮像装置が撮影した第１入力画像の前記第１空間及び前記第２空間内の第１人物密集度合いと、前記所定のタイミングで第２撮像装置が撮影した第２入力画像の前記第１空間及び前記第２空間内の第２人物密集度合いとの比較に基づいて、撮像装置の選択を行う選択部と、
前記選択部によって選択された撮像装置が撮影した複数の入力画像において、前記第１空間内の画像と前記第１特徴情報との適合度合い、及び、前記第２空間内の画像と前記第２特徴情報との適合度合いに基づいて、前記第１イベント又は前記第２イベントが実施されたか否かを判定する判定部と、
前記判定部による判定の基礎とされた入力画像を、前記判定部により実施されると判定されたイベントと結び付けて出力する出力制御部と、
を有することを特徴とする画像処理装置。A storage unit that stores first characteristic information about the placement of people in a first space where a first event is held, and second feature information about the placement of people in a second space where a second event different from the first event is held. and,
A plurality of first input images in which the first space and the second space are captured by a first imaging device, and a plurality of second inputs in which the first space and the second space are captured by a second imaging device. an acquisition unit that acquires an image;
A first degree of crowding of people in the first space and the second space of a first input image captured by a first imaging device at predetermined timing, and a second input image captured by a second imaging device at the predetermined timing. a selection unit that selects an imaging device based on a comparison with a second degree of human density in the first space and the second space;
In a plurality of input images captured by the imaging device selected by the selection unit, the degree of matching between the image in the first space and the first feature information, and the image in the second space and the second feature. a determination unit that determines whether the first event or the second event has been performed based on the degree of compatibility with the information;
an output control unit that outputs an input image used as a basis for determination by the determination unit in association with an event determined to be performed by the determination unit;
An image processing device comprising: 前記記憶部は、前記第１イベント及び前記第２イベントの終了条件をさらに記憶し、
前記判定部による判定の基礎とされた入力画像より後に撮影された入力画像が、前記判定部により実施されると判定されたイベントの前記終了条件を満たす場合に、当該イベントが終了したと判定する終了判定部をさらに有する、請求項４に記載の画像処理装置。The storage unit further stores end conditions for the first event and the second event,
When an input image captured after an input image used as a basis for determination by the determination unit satisfies the termination condition of the event determined to be performed by the determination unit, it is determined that the event has ended. 5. The image processing apparatus according to claim 4, further comprising an end determination section. 前記判定部は、前記選択部によって選択された撮像装置が連続して撮影した所定数の入力画像における、前記第１特徴情報との前記適合度合い又は前記第２特徴情報との前記適合度合いが全て閾値以上である場合に、前記第１イベント又は前記第２イベントが実施されたと判定する、請求項４または５に記載の画像処理装置。The determination unit determines whether all of the degree of conformity with the first characteristic information or the degree of conformity with the second characteristic information in a predetermined number of input images continuously captured by the imaging device selected by the selection unit 6. The image processing apparatus according to claim4 , wherein it is determined that the first event or the second event has been performed when the threshold is equal to or greater than the threshold. 記憶部を有する画像処理装置の制御方法であって、前記画像処理装置が、
第１イベントが実施される第１空間における人物配置に関する第１特徴情報、及び、前記第１イベントと異なる第２イベントが実施される第２空間における人物配置に関する第２特徴情報を前記記憶部に記憶し、
第１撮像装置によって前記第１空間及び前記第２空間が撮影された複数の第１入力画像、及び、第２撮像装置によって前記第１空間及び前記第２空間が撮影された複数の第２入力画像を取得し、
前記複数の第１入力画像及び前記複数の第２入力画像において、前記第１空間に対応する領域と前記第１特徴情報との適合度合い、及び、前記第２空間に対応する領域と前記第２特徴情報との適合度合いに基づいて、前記第１イベント又は前記第２イベントが実施されたか否かを判定し、
前記第１イベント及び前記第２イベントの何れかが実施されたと判定された場合、判定の基礎とされた入力画像において実施されると判定されたイベントに対応する空間内の第１人物密集度合いと、前記判定の基礎とされた入力画像を撮影した撮像装置と異なる撮像装置が同じタイミングで撮影した他の入力画像において同じイベントに対応する空間内の第２人物密集度合いとの比較に基づいて、撮像装置の選択を行い、
前記選択された撮像装置が撮影した複数の入力画像において、前記判定の基礎とされた入力画像又は前記判定の基礎とされた入力画像と同じタイミングで撮影された入力画像を、前記実施されると判定されたイベントと結び付けて出力する、
ことを特徴とする制御方法。A control method for an image processing device having a storage unit, the image processing device comprising:
First feature information about placement of people in a first space where a first event is held and second feature information about placement of people in a second space where a second event different from the first event is held in the storage unit remember,
A plurality of first input images in which the first space and the second space are captured by a first imaging device, and a plurality of second inputs in which the first space and the second space are captured by a second imaging device. get the image,
In the plurality of first input images and the plurality of second input images, the matching degree between the region corresponding to the first space and the first feature information, and the region corresponding to the second space and the second input image Determining whether the first event or the second event has been performed based on the degree of compatibility with the feature information,
when it is determined that either the first event or the second event has occurred, a first degree of crowding of people in the space corresponding to the event determined to occur in the input image used as the basis for the determination; , based on a comparison with a second degree of crowding of people in the space corresponding to the same event in another input image captured at the same timing by an imaging device different from the imaging device that captured the input image used as the basis for the determination, Select the imaging device,
Among the plurality of input images captured by the selected imaging device, the input image used as the basis for the determination or the input image captured at the same timing as the input image used as the basis for the determination is selected as the input image. Output in conjunction with the determined event,
A control method characterized by: 記憶部を有する画像処理装置の制御方法であって、前記画像処理装置が、
第１イベントが実施される第１空間における人物配置に関する第１特徴情報、及び、前記第１イベントと異なる第２イベントが実施される第２空間における人物配置に関する第２特徴情報を前記記憶部に記憶し、
第１撮像装置によって前記第１空間及び前記第２空間が撮影された複数の第１入力画像、及び、第２撮像装置によって前記第１空間及び前記第２空間が撮影された複数の第２入力画像を取得し、
所定のタイミングで第１撮像装置が撮影した第１入力画像の前記第１空間及び前記第２空間内の第１人物密集度合いと、前記所定のタイミングで第２撮像装置が撮影した第２入力画像の前記第１空間及び前記第２空間内の第２人物密集度合いとの比較に基づいて、撮像装置の選択を行い、
前記選択された撮像装置が撮影した複数の入力画像において、前記第１空間内の画像と前記第１特徴情報との適合度合い、及び、前記第２空間内の画像と前記第２特徴情報との適合度合いに基づいて、前記第１イベント又は前記第２イベントが実施されたか否かを判定し、
前記判定の基礎とされた入力画像を、前記実施されると判定されたイベントと結び付けて出力する、
ことを特徴とする制御方法。A control method for an image processing device having a storage unit, the image processing device comprising:
First feature information about placement of people in a first space where a first event is held and second feature information about placement of people in a second space where a second event different from the first event is held in the storage unit remember,
A plurality of first input images in which the first space and the second space are captured by a first imaging device, and a plurality of second inputs in which the first space and the second space are captured by a second imaging device. get the image,
A first degree of crowding of people in the first space and the second space of a first input image captured by a first imaging device at predetermined timing, and a second input image captured by a second imaging device at the predetermined timing. Selecting an imaging device based on a comparison with a second degree of human density in the first space and the second space,
In a plurality of input images captured by the selected imaging device, the degree of matching between the image in the first space and the first feature information, and the degree of matching between the image in the second space and the second feature information. determining whether the first event or the second event has been performed based on the degree of conformity;
outputting the input image on which the determination is based in association with the event determined to be performed;
A control method characterized by: 記憶部を有するコンピュータの制御プログラムであって、
第１イベントが実施される第１空間における人物配置に関する第１特徴情報、及び、前記第１イベントと異なる第２イベントが実施される第２空間における人物配置に関する第２特徴情報を前記記憶部に記憶し、
第１撮像装置によって前記第１空間及び前記第２空間が撮影された複数の第１入力画像、及び、第２撮像装置によって前記第１空間及び前記第２空間が撮影された複数の第２入力画像を取得し、
前記複数の第１入力画像及び前記複数の第２入力画像において、前記第１空間に対応する領域と前記第１特徴情報との適合度合い、及び、前記第２空間に対応する領域と前記第２特徴情報との適合度合いに基づいて、前記第１イベント又は前記第２イベントが実施されたか否かを判定し、
前記第１イベント及び前記第２イベントの何れかが実施されたと判定された場合、判定の基礎とされた入力画像において実施されると判定されたイベントに対応する空間内の第１人物密集度合いと、前記判定の基礎とされた入力画像を撮影した撮像装置と異なる撮像装置が同じタイミングで撮影した他の入力画像において同じイベントに対応する空間内の第２人物密集度合いとの比較に基づいて、撮像装置の選択を行い、
前記選択された撮像装置が撮影した複数の入力画像において、前記判定の基礎とされた入力画像又は前記判定の基礎とされた入力画像と同じタイミングで撮影された入力画像を、前記実施されると判定されたイベントと結び付けて出力する、
ことを前記コンピュータに実行させることを特徴とする制御プログラム。A control program for a computer having a storage unit,
First feature information about placement of people in a first space where a first event is held and second feature information about placement of people in a second space where a second event different from the first event is held in the storage unit remember,
A plurality of first input images in which the first space and the second space are captured by a first imaging device, and a plurality of second inputs in which the first space and the second space are captured by a second imaging device. get the image,
In the plurality of first input images and the plurality of second input images, the matching degree between the region corresponding to the first space and the first feature information, and the region corresponding to the second space and the second input image Determining whether the first event or the second event has been performed based on the degree of compatibility with the feature information,
when it is determined that either the first event or the second event has occurred, a first degree of crowding of people in the space corresponding to the event determined to occur in the input image used as the basis for the determination; , based on a comparison with a second degree of crowding of people in the space corresponding to the same event in another input image captured at the same timing by an imaging device different from the imaging device that captured the input image used as the basis for the determination, Select the imaging device,
Among the plurality of input images captured by the selected imaging device, the input image used as the basis for the determination or the input image captured at the same timing as the input image used as the basis for the determination is selected as the input image. Output in conjunction with the determined event,
A control program that causes the computer to execute: 記憶部を有するコンピュータの制御プログラムであって、
第１イベントが実施される第１空間における人物配置に関する第１特徴情報、及び、前記第１イベントと異なる第２イベントが実施される第２空間における人物配置に関する第２特徴情報を前記記憶部に記憶し、
第１撮像装置によって前記第１空間及び前記第２空間が撮影された複数の第１入力画像、及び、第２撮像装置によって前記第１空間及び前記第２空間が撮影された複数の第２入力画像を取得し、
所定のタイミングで第１撮像装置が撮影した第１入力画像の前記第１空間及び前記第２空間内の第１人物密集度合いと、前記所定のタイミングで第２撮像装置が撮影した第２入力画像の前記第１空間及び前記第２空間内の第２人物密集度合いとの比較に基づいて、撮像装置の選択を行い、
前記選択された撮像装置が撮影した複数の入力画像において、前記第１空間内の画像と前記第１特徴情報との適合度合い、及び、前記第２空間内の画像と前記第２特徴情報との適合度合いに基づいて、前記第１イベント又は前記第２イベントが実施されたか否かを判定し、
前記判定の基礎とされた入力画像を、前記実施されると判定されたイベントと結び付けて出力する、
ことを前記コンピュータに実行させることを特徴とする制御プログラム。A control program for a computer having a storage unit,
First feature information about placement of people in a first space where a first event is held and second feature information about placement of people in a second space where a second event different from the first event is held in the storage unit remember,
A plurality of first input images in which the first space and the second space are captured by a first imaging device, and a plurality of second inputs in which the first space and the second space are captured by a second imaging device. get the image,
A first degree of crowding of people in the first space and the second space of a first input image captured by a first imaging device at predetermined timing, and a second input image captured by a second imaging device at the predetermined timing. Selecting an imaging device based on a comparison with a second degree of human density in the first space and the second space,
In a plurality of input images captured by the selected imaging device, the degree of matching between the image in the first space and the first feature information, and the degree of matching between the image in the second space and the second feature information. determining whether the first event or the second event has been performed based on the degree of conformity;
outputting the input image on which the determination is based in association with the event determined to be performed;
A control program that causes the computer to execute:

Images