JP2024155972A - Information processing device, method for controlling information processing device, and program - Google Patents

Abstract

To appropriately reduce the number of persons who need to be tracked inside a shop to reduce a tracking load, and also to make it possible to accurately track a movement line of each customer in the shop even when the number of customers increases and the shop becomes crowded with many customers.SOLUTION: A tracking device 100 does not immediately start tracking a person (customer 303) who enters a shop 300, and on condition that sensors provided on showcases 309A detect that doors of the showcases are opened, starts tracking persons (customer 304) who are recognized to be in front of the showcases from a video from a TOF camera 301 as tracking targets. A person (customer 306) who have paid for commodities is excluded from the tracking targets.SELECTED DRAWING: Figure 1

Description

Translated fromJapanese

本発明は、店舗等で人物の追尾を行う情報処理装置、情報処理装置の制御方法及びプログラムに関する。The present invention relates to an information processing device that tracks people in stores, etc., and a control method and program for the information processing device.

従来、店舗内での顧客の行動をデータ化するために、天井に設置された監視カメラに映った店内の顧客が店内を歩いた動線を追尾する技術がある。昨今では、顧客が店内で欲しい商品を手に取って自動決済するウォークスルー型の無人店舗で店舗内の顧客と購入商品を関連付けする技術等にも採用が検討されている。Conventionally, there has been technology that tracks the movement of customers inside a store as seen on surveillance cameras installed on the ceiling in order to digitize customer behavior within the store. Recently, the adoption of this technology is being considered for use in unmanned walk-through stores, where customers pick up the products they want and pay automatically, as a technology that links customers in the store with the products they purchase.

特許文献１には、店舗内を撮影した画像から、出入口における入店した顧客に関する情報と該店舗内での顧客の動線に関する情報を対応付け、また、店舗内の支払領域から出入口までの顧客の動線に関する情報と該店舗における購買に関する情報を対応付ける技術が開示されている。Patent Document 1 discloses a technology that uses images captured inside a store to match information about customers who enter the store at the entrance/exit with information about the customer's movement within the store, and also to match information about the customer's movement from the payment area in the store to the entrance/exit with information about purchases made in the store.

特開２０１６－１６２２５６号公報JP 2016-162256 A

しかし、上記特許文献１の技術は、入店した全ての顧客の店内行動を出入口から追尾する技術である。このため、入店した顧客数が多くなり、店内が多数の顧客で混雑した場合、追尾の負荷が増大し、店内で行動している各顧客の動線を正確に追尾することが困難となる。例えば、追尾されている者が入れ替わったりして、誤った追尾が起こりやすくなるといった課題があった。However, the technology inPatent Document 1 tracks the in-store movements of all customers who enter the store from the entrance and exit. Therefore, when a large number of customers enter the store and the store becomes crowded with many customers, the tracking load increases, making it difficult to accurately track the movement of each customer moving around in the store. For example, there is a problem that the person being tracked may change, making it easier for erroneous tracking to occur.

本発明は、上記の課題を解決するためになされたものである。本発明は、店舗内で追尾が必要な対象者を適切に減らし、追尾の負荷を軽減することができる仕組みを提供することを目的とするものである。The present invention has been made to solve the above problems. The purpose of the present invention is to provide a mechanism that can appropriately reduce the number of people who need to be tracked in a store and reduce the tracking load.

本発明は、店舗内を撮影している映像を用いて該店舗内の人物の追尾を行う追尾手段を有し、前記追尾手段は、前記店舗内に設置されている商品を陳列する棚に対して人が行う所定のアクション又は該アクションに応じて生じる該棚における所定の変化を検知するセンサで、前記検知があったことを条件に、前記映像から該棚の前に居ると認識される人物を追尾対象として追尾開始し、前記店舗への入店が認識された人物であっても前記追尾対象となるまでは該人物の追尾を行わない、ことを特徴とする。The present invention has a tracking means for tracking a person inside a store using video footage taken inside the store, and the tracking means is a sensor that detects a predetermined action taken by a person on a shelf displaying products installed in the store or a predetermined change in the shelf that occurs in response to the action, and, on condition that the detection is made, starts tracking a person that is recognized from the video as being in front of the shelf as a tracking target, and does not track a person that is recognized as entering the store until the person becomes the tracking target.

本発明によれば、店舗内で追尾が必要な対象者を適切に減らし、追尾の負荷を軽減することができる。この結果、来店者数が多くなり店舗内が多数の顧客で混雑したような場合でも、店舗内で行動している各顧客の動線を正確に追尾することが可能となる。例えば、追尾されている者が入れ替わったりして誤った追尾が発生するのを抑えることができる。According to the present invention, it is possible to appropriately reduce the number of people who need to be tracked in a store, and reduce the tracking load. As a result, even when the number of customers visiting the store increases and the store becomes crowded with many customers, it is possible to accurately track the movement of each customer moving around in the store. For example, it is possible to prevent erroneous tracking from occurring when the person being tracked changes.

本実施形態の情報処理システムの概要を説明する図。FIG. 1 is a diagram illustrating an overview of an information processing system according to an embodiment of the present invention.本実施形態の情報処理システムの概要を説明する図。FIG. 1 is a diagram illustrating an overview of an information processing system according to an embodiment of the present invention.本実施形態の情報処理システムの構成の一例を示す図。FIG. 1 is a diagram showing an example of the configuration of an information processing system according to an embodiment of the present invention.本実施形態の追尾装置の構成の一例を示すブロック図。FIG. 1 is a block diagram showing an example of the configuration of a tracking device according to an embodiment of the present invention.本実施形態の情報処理システムの動作の一例を示すフローチャート。4 is a flowchart showing an example of the operation of the information processing system according to the present embodiment.本実施形態の情報処理システムの動作の一例を示すフローチャート。4 is a flowchart showing an example of the operation of the information processing system according to the present embodiment.本実施形態の情報処理システムで用いる各種テーブルを例示する図。3A to 3C are diagrams illustrating various tables used in the information processing system of the present embodiment.商品決済端末に表示される商品決済画面の一例を示す図。FIG. 13 is a diagram showing an example of a product payment screen displayed on the product payment terminal.

以下、本発明を実施するための形態について図面を用いて説明する。
図１、図２は、本発明の一実施形態を示す情報処理システムの概要を説明する図である。
本実施形態の情報処理システムは、店舗３００の天井等に設けられたＴＯＦカメラ３０８で撮影された映像を用いて、店舗３００内の顧客を追尾（「追跡」、「トラッキング」ともいう）するシステムである。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
1 and 2 are diagrams for explaining an overview of an information processing system according to an embodiment of the present invention.
The information processing system of this embodiment is a system that tracks (also called "pursuit" or "tracking") customers within the store 300 using images captured by aTOF camera 308 installed on the ceiling or the like of the store 300.

本システムでは、例えば顧客３０３のように、店舗内出入口３０２から通過ゲート３１５を通って顧客が入店したとしても、その時点では、その顧客に対する追尾は開始しない（まだ追尾対象としない）。入店しただけで商品の購入を行わず退店する顧客も多いため、このような顧客を追尾しないことで追尾対象の顧客を減らし追尾の負荷を軽減できる。In this system, even if a customer, such ascustomer 303, enters the store from store entrance/exit 302 through passinggate 315, tracking of that customer does not begin at that point (the customer is not yet considered a tracking target). Since many customers simply enter the store and then leave without purchasing anything, not tracking such customers reduces the number of customers to be tracked and the tracking load.

顧客３０４のように、顧客がショーケース３０９（３０９Ａ、３０９Ｂ、・・・）の扉を開けたことを条件に、本システムにおいて、その顧客の追尾を開始する（追尾対象とする）。ショーケース３０９の扉を開けた顧客は、ショーケース３０９内に陳列されている商品３１０を購入する可能性が高いと考えられるためである。
なお、顧客３０５は、既に本システムにおいて追尾中の顧客に対応する。 When a customer, likecustomer 304, opens the door of a showcase 309 (309A, 309B, ...), the system starts tracking the customer (the customer is considered to be a tracking target). This is because a customer who opens the door of the showcase 309 is considered to have a high possibility of purchasing aproduct 310 displayed in the showcase 309.
It should be noted thatcustomer 305 corresponds to a customer who is already being tracked by this system.

また、顧客３０６のように、顧客が商品決済端末３１２を用いて決済を行った場合、本システムは、その顧客の追尾を終了する（追尾対象から外す）。商品決済が終了した顧客については、追尾に必要がなくなったと考えられるためである。このように、決済等を行い追尾の必要がなくなった顧客を追尾対象から外すことにより、追尾対象の顧客を減らし追尾の負荷を軽減できる。Furthermore, when a customer, likecustomer 306, makes a payment usingproduct payment terminal 312, the system will end tracking of that customer (remove them from the tracking target). This is because it is considered that a customer who has completed product payment is no longer required to be tracked. In this way, by removing customers who have made a payment or the like and no longer need to be tracked from the tracking target, the number of customers to be tracked can be reduced, and the tracking load can be lightened.

このように、本実施形態のシステムは、入店した顧客の中で追尾が必要な対象者を減らし、その結果、入店した顧客数が多くなり店内が多数の顧客で混雑した場合でも、店内で行動している各顧客の動線を正確に追尾することを可能にするシステムである。In this way, the system of this embodiment reduces the number of customers who need to be tracked among those who enter the store, and as a result, makes it possible to accurately track the movement of each customer within the store even when a large number of customers enter the store and the store becomes crowded with many customers.

また、顧客３０４、３０５のように、追尾中の顧客がショーケース３０９から商品を手に取った場合、そのショーケース３０９に備えられたＴＯＦセンサ３０８で得た情報で、その商品を特定し、その顧客と対応付けし、清算の際に利用可能にする。In addition, when a customer being tracked, such ascustomers 304 and 305, picks up an item from showcase 309, the item is identified using information obtained by TOFsensor 308 installed in showcase 309, associated with the customer, and made available for use at the time of payment.

また、追尾中の顧客の中で商品を手に持っている顧客（すなわち未精算の顧客）が店舗内出入口３０２に設けられた通過ゲート３１５を通過した場合、店舗３００の天井等に設けられた監視カメラ３１７により撮影された映像とその顧客が通過ゲート３１５を通過した時刻を関連付けする。これにより、清算することなく商品を店外に持ち出した顧客の特定が可能となる。なお、内出入口３０２が複数あり、それぞれに通過ゲート３１５が設けられていてもよい。In addition, when a customer being tracked who is holding a product (i.e., a customer who has not yet paid) passes through apassing gate 315 installed at an internal entrance/exit 302 of the store, the image captured by asurveillance camera 317 installed on the ceiling or the like of the store 300 is associated with the time when the customer passed through thepassing gate 315. This makes it possible to identify a customer who has taken a product out of the store without paying. Note that there may be multipleinternal entrances 302, each of which may be provided with apassing gate 315.

図３は、本実施形態の情報処理システムの構成の一例を示す図であり、図１、図２と同一のものには同一の符号を付してある。
本実施形態の情報処理システムにおいて、追尾装置１００は、ＴＯＦカメラ３０１で撮影されている店舗３００内の映像を用いて店舗３００内の顧客の追尾を行う情報処理装置である。なお、追尾装置１００とＴＯＦカメラ３０１とは別体でもよいが、ＴＯＦカメラ３０１の内部に追尾装置１００を組み込んで、ＴＯＦカメラ３０１の内部で追尾開始や追尾終了を判断するエッジ処理型のＴＯＦカメラ３０１を用いてもよい。 FIG. 3 is a diagram showing an example of the configuration of an information processing system according to this embodiment, in which the same components as those in FIG. 1 and FIG. 2 are denoted by the same reference numerals.
In the information processing system of this embodiment, thetracking device 100 is an information processing device that tracks customers in the store 300 using an image of the store 300 captured by the TOFcamera 301. Thetracking device 100 and theTOF camera 301 may be separate entities, but thetracking device 100 may be incorporated inside theTOF camera 301, and an edge processingtype TOF camera 301 that determines the start and end of tracking inside theTOF camera 301 may be used.

各ショーケース３０９（例えば図１、図２の３０９Ａ、３０９Ｂ、・・・）は、扉付きショーケースであり、該扉を開けることでショーケース３０９に陳列されている商品の取り出しが可能となる。各ショーケース３０９の扉にはそれぞれセンサが設けられており、顧客によりショーケース３０９の扉が開けられたことを検知可能となっている。ショーケース３０９の扉が開けられると、そのタイミングで（リアルタイムに）その情報がＬＡＮ等を介して追尾装置１００に通知される。なお、ショーケース３０９の扉は、ガラスのようなショーケース内部を透視可能なものに限定されるものではなく、ショーケース内部を透視不可能なものでもよい。また、本実施形態で「ショーケース」とは、所謂業務用のショーケース（陳列棚）に限定されるものではなく、販売のために商品を収容可能な形態のものであればよく、単なる棚（本実施形態の例では扉付きの棚）などでもよい。Each showcase 309 (for example, 309A, 309B, ... in Figures 1 and 2) is a showcase with a door, and opening the door allows the removal of products displayed in the showcase 309. Each showcase 309 door is provided with a sensor, which can detect that the door of the showcase 309 has been opened by a customer. When the door of the showcase 309 is opened, the information is notified to thetracking device 100 via a LAN or the like at that time (in real time). The door of the showcase 309 is not limited to a door that allows the inside of the showcase to be seen through, such as glass, and may be a door that does not allow the inside of the showcase to be seen through. In addition, in this embodiment, the "showcase" is not limited to a so-called commercial showcase (display shelf), and may be any type that can store products for sale, and may be a simple shelf (a shelf with a door in the example of this embodiment).

また、各ショーケース３０９にはそれぞれ、ＴＯＦカメラ３０８（例えば図１、図２の３０８Ａ、３０８Ｂ、・・・）が設けられている。ＴＯＦカメラ３０８は、ＴＯＦカメラ本体（後述するＴＯＦカメラデバイスに対応）と、ＴＯＦカメラ本体で取得した情報から顧客がショーケース３０９から取り出された（又は顧客が手に取った）商品の商品種別と個数を特定可能な制御部を備える。上記ＴＯＦカメラ本体は、自身が設置されているショーケース３０９から商品が取り出される際にその様子を撮影することが可能な角度で該ショーケース３０９に取り付けられている。また、上記制御部は、ＴＯＦカメラ本体に接続される制御ボード等で実現されてもよいし、ＴＯＦカメラ本体に接続されるパーソナルコンピュータ当で実現されてもよい。なお、ＴＯＦカメラ３０８で特定された商品に関する情報は、該特定したタイミングで（リアルタイムに）ＬＡＮ等を介してＴＯＦカメラ３０８から追尾装置１００に通知される。すなわちＴＯＦカメラ３０８は、ショーケース３０９から商品が取り出されている様子を撮影している映像から該ショーケース３０９から取り出された商品の商品種別と個数を特定する特定装置として機能する。なお、ショーケース３０９から取り出された商品の商品種別や個数の特定は、例えば学習済み画像認識モデルを用いて行うものとするが、他の方法を用いてもよい。Each showcase 309 is provided with a TOF camera 308 (for example, 308A, 308B, ... in Figures 1 and 2). TheTOF camera 308 includes a TOF camera body (corresponding to a TOF camera device described later) and a control unit capable of identifying the type and number of products taken out of the showcase 309 by a customer (or picked up by a customer) from information acquired by the TOF camera body. The TOF camera body is attached to the showcase 309 at an angle that allows it to capture the state when a product is taken out of the showcase 309 in which it is installed. The control unit may be realized by a control board or the like connected to the TOF camera body, or may be realized by a personal computer or the like connected to the TOF camera body. Information regarding the product identified by the TOFcamera 308 is notified to thetracking device 100 from theTOF camera 308 via a LAN or the like at the time of identification (in real time). That is, theTOF camera 308 functions as an identification device that identifies the type and number of products removed from the showcase 309 from the video of the products being removed from the showcase 309. Note that the type and number of products removed from the showcase 309 are identified using, for example, a trained image recognition model, but other methods may also be used.

なお、ＴＯＦカメラ３０１や３０８は、ＴＯＦ（Time of Flight）カメラデバイス（ＴＯＦセンサともいう）を備える。ＴＯＦカメラデバイスは、光の飛行時間を利用して三次元情報を計測可能なものであり、前記三次元情報に基づく距離画像と例えばカラー可視画像（カラー可視画像に限定されるものではない）を同時に撮影可能である。このようなＴＯＦカメラデバイスで撮影された映像を用いて、顧客の追尾や顧客が手に取った商品の特定等が可能になる。TOF cameras 301 and 308 are equipped with a TOF (Time of Flight) camera device (also called a TOF sensor). A TOF camera device is capable of measuring three-dimensional information by utilizing the time of flight of light, and can simultaneously capture a distance image based on the three-dimensional information and, for example, a color visible image (not limited to a color visible image). Using images captured by such a TOF camera device, it becomes possible to track customers and identify products that customers have picked up.

商品決済端末３１２は、顧客が自身で商品の決済を行うための決済装置であり、複数あってもよい。商品決済端末３１２には二次元コードリーダ３１１が接続されており、二次元コードリーダ３１１で来店者端末３１４のディスプレイに表示される二次元コード（例えばＱＲコード（登録商標））を読み取る等することで、商品決済を行う顧客の情報を取得可能である。本実施形態では、二次元コードの一例としてＱＲコード（登録商標）を用いて説明するが、これに限定されるものではない。商品決済端末３１２は、商品決済の際、その顧客が手に取っている商品の情報を、追尾装置１００から取得して利用する。なお、顧客が手に取っている商品の情報は、顧客がショーケース３０９から商品を取り出した際に、該ショーケース３０９に設けられたＴＯＦカメラ３０８で特定されて、追尾装置１００に提供されている。Theproduct payment terminal 312 is a payment device that allows the customer to pay for the product themselves, and there may be multiple terminals. A two-dimensional code reader 311 is connected to theproduct payment terminal 312, and the two-dimensional code reader 311 can read a two-dimensional code (e.g., a QR code (registered trademark)) displayed on the display of the customer terminal 314 to obtain information about the customer making the product payment. In this embodiment, a QR code (registered trademark) is used as an example of a two-dimensional code, but this is not limited to this. When making a product payment, theproduct payment terminal 312 obtains and uses information about the product that the customer is holding from thetracking device 100. Note that when the customer takes the product out of the showcase 309, the information about the product that the customer is holding is identified by the TOFcamera 308 installed in the showcase 309 and provided to thetracking device 100.

通過ゲート３１５は、通過ゲート３１５を顧客が通知しているのを検知した場合に（リアルタイムに）、その情報をＬＡＮ等を介して追尾装置１００に通知する。追尾装置１００は、未決済の商品を持った顧客が通過ゲート３１５を通過している場合、店舗管理者デバイス（ウェラブルデバイス）３１６に通知を行う。この際、追尾装置１００は、タイムスタンプにより、その時刻と監視カメラ３１７により撮影されている映像（少なくとも店舗内出入口３０２付近を含む監視映像）とを対応付けする。すなわち、未決済の商品を店外に持ち出そうとしている顧客と、該顧客の映っている映像との関連付けを行う。なお、監視カメラ３１７により撮影された店舗３００内の監視映像は、ＬＡＮ等を介して不図示のデータサーバ（以下「監視カメラ映像記録サーバ」と呼ぶ）に送信されて保存される。When thepassing gate 315 detects that a customer has notified the passing gate 315 (in real time), it notifies thetracking device 100 of the information via a LAN or the like. When a customer with an unpaid item is passing through thepassing gate 315, thetracking device 100 notifies the store manager device (wearable device) 316. At this time, thetracking device 100 uses a timestamp to associate the time with the image captured by the surveillance camera 317 (surveillance image including at least the vicinity of the store entrance/exit 302). In other words, it associates the customer who is about to take the unpaid item out of the store with the image in which the customer is captured. The surveillance image of the inside of the store 300 captured by thesurveillance camera 317 is transmitted to a data server (not shown) (hereinafter referred to as the "surveillance camera image recording server") via a LAN or the like and stored.

なお、図３に示した各機器と追尾装置１００との通信は、ＬＡＮに限定されるものではなく、その他の各種通信方法を用いるものでもよい。Note that communication between each device shown in FIG. 3 and thetracking device 100 is not limited to LAN, and various other communication methods may be used.

図４は、追尾装置１００の構成の一例を示すブロック図である。
図４において、ＣＰＵ２０１は、ＲＯＭ２０３又は外部メモリ２１２等に格納されたプログラムを必要に応じてＲＡＭ２０２にロードして実行することにより、各種制御を実行する。ＲＡＭ２０２は、ＣＰＵ２０１の作業領域として利用される。ＲＯＭ２０３は、各種プログラムや各種データが記憶されている。 FIG. 4 is a block diagram showing an example of the configuration of thetracking device 100.
4, aCPU 201 executes various controls by loading a program stored in aROM 203 or anexternal memory 212 into aRAM 202 as necessary and executing the program. TheRAM 202 is used as a working area for theCPU 201. TheROM 203 stores various programs and various data.

入力コントローラ２０５は、キーボード（ＫＢ）２０９や図示しないポインティングデバイス（マウス、タッチパネル等）からの入力を制御する。ビデオコントローラ２０６は、ディスプレイ２１１への表示を制御する。なお、追尾装置１００では、入力コントローラ２０５にカメラデバイス２１０が接続されていなくてもよい。また、キーボード２０９やディスプレイ２１１も、追尾装置１００に備えられていなくてもよい。Theinput controller 205 controls input from a keyboard (KB) 209 and a pointing device (mouse, touch panel, etc.) not shown. Thevideo controller 206 controls display on a display 211. Note that in thetracking device 100, thecamera device 210 does not have to be connected to theinput controller 205. Also, thekeyboard 209 and the display 211 do not have to be provided in thetracking device 100.

メモリコントローラ２０７は、ハードディスク（ＨＤ）やソリッドステートドライブ（ＳＳＤ）、フラッシュメモリ等の外部メモリ２１２へのアクセスを制御する。
通信Ｉ／Ｆコントローラ２０８は、有線又は無線のネットワークとの通信を制御する。
システムバス２０４は、各デバイス２０１～２０８を接続する。 Thememory controller 207 controls access to anexternal memory 212 such as a hard disk (HD), a solid state drive (SSD), or a flash memory.
The communication I/F controller 208 controls communication with a wired or wireless network.
Thesystem bus 204 connects thedevices 201 to 208 .

なお、商品決済端末３１２のハードウェア構成も基本的に追尾装置１００と同様であるが、入力コントローラ２０５に、二次元コードリーダ３１１が接続される。
また、来店者端末３１３のハードウェア構成も基本的に追尾装置１００と同様であるが、通信Ｉ／Ｆコントローラ２０８は、例えば、移動通信システム等の携帯電話回線および無線ＬＡＮ等の通信モジュールによって実現される。来店者端末３１３は、所謂スマートフォン等で実現可能である。 The hardware configuration of theproduct payment terminal 312 is basically the same as that of thetracking device 100 , but a two-dimensional code reader 311 is connected to theinput controller 205 .
The hardware configuration of the customer terminal 313 is basically the same as that of thetracking device 100, but the communication I/F controller 208 is realized by, for example, a mobile phone line of a mobile communication system or the like and a communication module of a wireless LAN or the like. The customer terminal 313 can be realized by a so-called smartphone or the like.

また、ＴＯＦカメラ３０１や３０８も基本的に追尾装置１００と同様のハードウェア構成で実現可能であるが、キーボード２０９やディスプレイ２１１等の代わりに、カメラデバイス２１０として上述したＴＯＦカメラデバイスを備える。また、ＴＯＦカメラ３０１や３０８には、ビデオコントローラ２０６やディスプレイ２１１は備えられていなくてもよい。なお、ＴＯＦカメラ３０８では、上述したような顧客がショーケース３０９から取り出している商品の商品種別と個数を特定する等の処理を、カメラデバイス２１０に接続される制御ボード等のＣＰＵ２０１がＲＯＭ２０３に格納されたプログラムを実行すること等により実現する。TheTOF cameras 301 and 308 can also be realized with a hardware configuration similar to that of thetracking device 100, but instead of thekeyboard 209, the display 211, etc., they are equipped with the TOF camera device described above as thecamera device 210. TheTOF cameras 301 and 308 do not need to be equipped with thevideo controller 206 or the display 211. In theTOF camera 308, the above-mentioned process of identifying the type and number of products that the customer has taken out of the showcase 309 is realized by theCPU 201 of a control board or the like connected to thecamera device 210 executing a program stored in theROM 203.

また、監視カメラ３１７も同様の構成で実現可能であるが、キーボード２０９やディスプレイ２１１等の代わりに、可視画像を撮影するカメラデバイス２１０を備える。また、監視カメラ３１７には、ビデオコントローラ２０６やディスプレイ２１１は備えられていなくてもよい。Thesurveillance camera 317 can also be realized with a similar configuration, but instead of thekeyboard 209, the display 211, etc., it has acamera device 210 that captures visible images. Also, thesurveillance camera 317 does not need to have thevideo controller 206 or the display 211.

また、通過ゲート３１５も同様の構成で実現可能であるが、ゲート機構等を備える。
また、店舗管理者デバイス（ウェラブルデバイス）３１６も同様の構成で実現可能である。 Thepass gate 315 can also be realized with a similar configuration, but includes a gate mechanism and the like.
The store manager device (wearable device) 316 can also be realized with a similar configuration.

以下、フローチャートを用いて、本実施形態の情報処理システムの動作について説明する。
図５、図６は、本実施形態の情報処理システムの動作の一例を示すフローチャートである。この図において、追尾装置１００の動作は、追尾装置１００のＣＰＵ２０１が外部メモリ２１２に格納されたプログラムを必要に応じてＲＡＭ２０２にロードして実行することにより実現される。また、ＴＯＦカメラ３０８の動作は、上述したＴＯＦカメラ３０８に備えらえた制御部が実行するものである。また、決済端末３１２の動作は、決済端末３１２のＣＰＵが外部メモリに格納されたプログラムを必要に応じてＲＡＭにロードして実行することにより実現される。なお、図５に左部に記載される「来店者の店舗内の行動」は説明を容易にするために記載してあるものであり、本システムの動作に含まれるものではない。 The operation of the information processing system of this embodiment will be described below with reference to a flowchart.
5 and 6 are flow charts showing an example of the operation of the information processing system of this embodiment. In these figures, the operation of thetracking device 100 is realized by theCPU 201 of thetracking device 100 loading a program stored in theexternal memory 212 into theRAM 202 as necessary and executing it. The operation of theTOF camera 308 is executed by the control unit provided in theTOF camera 308 described above. The operation of thepayment terminal 312 is realized by the CPU of thepayment terminal 312 loading a program stored in the external memory into the RAM as necessary and executing it. Note that the "behavior of the customer in the store" written on the left side of FIG. 5 is written for ease of explanation and is not included in the operation of this system.

また、図７は、本実施形態の情報処理システムで用いる各種テーブルを例示する図である。図７に示す各テーブルは、例えば追尾装置１００の外部メモリ２１２に記憶されている。FIG. 7 is a diagram illustrating various tables used in the information processing system of this embodiment. Each table shown in FIG. 7 is stored, for example, in theexternal memory 212 of thetracking device 100.

図５に示すように、来店者（顧客）がショーケース３０９の扉を開けると、この動作をショーケース３０９に備えられたセンサ（不図示）が検知する。これに応じて、ショーケース３０９に備えられた不図示の通信インタフェースからＬＡＮを介して、ショーケース番号及び扉が開けられたこと示す情報が、追尾装置１００に通知される（Ｓ１０１）。As shown in FIG. 5, when a customer (visitor) opens the door of showcase 309, this action is detected by a sensor (not shown) provided in showcase 309. In response, the showcase number and information indicating that the door has been opened are notified to trackingdevice 100 via the LAN from a communication interface (not shown) provided in showcase 309 (S101).

追尾装置１００は、ショーケース３０９からショーケース番号及び扉が開けられたこと示す情報を受信すると、ショーケース番号に対応するショーケース３０９の前の人物が追尾中の人物か否かを判定する（Ｓ１０２）。なお、本システムが稼働している間、ＴＯＦカメラ３０１は撮影している映像（距離画像及びカラー画像）を常に追尾装置１００に送信している。追尾装置１００は、この映像を用いて顧客の追尾を行い、例えば図７（ａ）のような店内の追尾者テーブルを用い、追尾されている者（以下「追尾者」という）のルート管理や追尾人数の管理を行っている。When thetracking device 100 receives the showcase number from the showcase 309 and information indicating that the door has been opened, it determines whether the person in front of the showcase 309 corresponding to the showcase number is the person being tracked (S102). Note that while this system is operating, theTOF camera 301 constantly transmits the captured images (distance image and color image) to thetracking device 100. Thetracking device 100 uses this image to track customers, and manages the route of the person being tracked (hereinafter referred to as the "tracked person") and the number of people being tracked, using a tracked person table in the store such as that shown in FIG. 7(a), for example.

追尾装置１００は、上記ショーケース番号に対応するショーケース３０９の前の人物が追尾中の人物であると判定した場合（Ｓ１０２でＹｅｓの場合）、Ｓ１０４に処理を進める。追尾中の人物とは、例えば図２に示した顧客３０５のように、以前にショーケースＡ，Ｂの扉を開けて追尾が開始されている顧客に対応する。Ｓ１０４の処理については後述する。
一方、上記ショーケース番号に対応するショーケース３０９の前の人物が追尾中の人物でないと判定した場合（Ｓ１０２でＮｏの場合）、追尾装置１００は、Ｓ１０３に処理を進める。 When thetracking device 100 determines that the person in front of the showcase 309 corresponding to the showcase number is the person being tracked (Yes in S102), the process proceeds to S104. The person being tracked corresponds to a customer who has previously opened the doors of showcases A and B and whose tracking has been started, such ascustomer 305 shown in Fig. 2. The process of S104 will be described later.
On the other hand, when it is determined that the person in front of the showcase 309 corresponding to the showcase number is not the person being tracked (No in S102), thetracking device 100 advances the process to S103.

Ｓ１０３において、追尾装置１００は、上記ショーケース番号に対応するショーケース３０９の前の未追尾の人物の追尾を開始し（追尾対象とし）、Ｓ１０４に処理を進める。
Ｓ１０４において、追尾装置１００は、追尾者のルート管理、追尾人数を更新する。例えば図７（ａ）のような店内の追尾者テーブルの店内の追尾者、位置情報を更新する。 In S103, thetracking device 100 starts tracking an untracked person in front of the showcase 309 corresponding to the above showcase number (determines the person as the tracking target), and proceeds to S104.
In S104, thetracking device 100 updates the route management of the tracked person and the number of people being tracked. For example, thetracking device 100 updates the tracked person and position information in the in-store tracked person table as shown in FIG.

また、顧客がショーケース３０９から商品を取ると、このショーケース３０９に備えられたＴＯＦカメラ３０８が、ショーケースから取られた商品の種類と個数を特定し、ショーケース番号とともに、追尾装置１００に通知する（Ｓ１０５）。When a customer takes an item from the showcase 309, theTOF camera 308 installed in the showcase 309 identifies the type and number of items taken from the showcase and notifies thetracking device 100 of this together with the showcase number (S105).

この通知に応じて、追尾装置１００は、該通知に含まれるショーケース番号に対応するショーケース３０９の前の追尾者と、上記通知に含まれる商品及び数量を紐付ける（Ｓ１０６）。さらにＳ１０７において、追尾装置１００は、上記Ｓ１０６で紐付けした情報に基づいて、全追尾者の購入リスト（例えば図７（ｂ）に示す手持ち商品テーブル）に保持されている商品情報（商品を特定する情報、数量）を更新する。In response to this notification, thetracking device 100 links the tracker in front of the showcase 309 corresponding to the showcase number included in the notification with the product and quantity included in the notification (S106). Furthermore, in S107, thetracking device 100 updates the product information (information identifying the product, quantity) stored in the purchase list of all trackers (e.g., the on-hand product table shown in FIG. 7(b)) based on the information linked in S106.

また、来店者端末３１３で所定のアプリケーション（例えば店舗専用アプリケーション）が起動され、顧客の情報が埋め込まれたＱＲコード３１４が表示され（Ｓ１０８）、該ＱＲコード３１４が商品決済端末３１２に接続された二次元コードリーダ３１１により読み取られると、商品決済端末３１２が、該ＱＲコード３１４から読み取った顧客情報（例えば顧客ＩＤ）及びＱＲコードを受け付けたことを示す情報を、追尾装置１００に送信する（Ｓ１０９）。なお、決済端末３１２が複数存在する場合には、決済端末３１２を特定するための決済端末番号等も送信情報に含めるものとする。In addition, a specific application (e.g., a store-specific application) is launched on the customer terminal 313, and a QR code 314 with embedded customer information is displayed (S108). When the QR code 314 is read by the two-dimensional code reader 311 connected to theproduct payment terminal 312, theproduct payment terminal 312 transmits to thetracking device 100 the customer information (e.g., customer ID) read from the QR code 314 and information indicating that the QR code has been accepted (S109). Note that if there aremultiple payment terminals 312, the payment terminal number for identifying thepayment terminal 312, etc., is also included in the transmitted information.

追尾装置１００は、商品決済端末３１２から顧客情報及びＱＲコードを受け付けたことを示す情報を受信すると、商品決済端末３１２の前の追尾者を全追尾者の中から特定し、該追尾者とＱＲコードの情報とを紐づけする。例えば、図７（ｃ）のような決済方法テーブルの上記特定した追尾者に対応するレコードの顧客ＩＤに、商品決済端末３１２から受信した顧客ＩＤを登録する。また、追尾装置１００は、上記特定した追尾者の購入リスト（例えば図７（ｂ））に保持されている商品情報（商品を特定する情報、数量）を商品決済端末３１２に送信する（Ｓ１１０）。When thetracking device 100 receives information indicating that the customer information and QR code have been accepted from theproduct payment terminal 312, it identifies the tracker in front of theproduct payment terminal 312 from among all trackers, and links the tracker with the QR code information. For example, it registers the customer ID received from theproduct payment terminal 312 as the customer ID of the record corresponding to the identified tracker in the payment method table as shown in FIG. 7(c). In addition, thetracking device 100 transmits product information (information identifying the product, quantity) held in the purchase list of the identified tracker (e.g., FIG. 7(b)) to the product payment terminal 312 (S110).

商品決済端末３１２は、追尾装置１００から商品情報（商品を特定する情報、数量）を受信すると、該商品情報に基づき、例えば図８の１００１のように商品購入リストを表示する（Ｓ１１１）。When theproduct payment terminal 312 receives product information (information identifying the product, quantity) from thetracking device 100, it displays a product purchase list based on the product information, for example as shown in 1001 in Figure 8 (S111).

図８は、商品決済端末３１２により商品決済端末３１２のディスプレイに表示される商品決済画面１０００の一例を示す図である。
商品決済画面１０００には、商品購入リスト１００１、お買い上げ合計金額１００５、決済方法選択ボタン１００２～１００４等が表示される。顧客は、決済方法選択ボタン１００２～１００４のいずれかを選択することにより、該選択した決済方法で決済を行うことができる。 FIG. 8 is a diagram showing an example of aproduct payment screen 1000 displayed on the display of theproduct payment terminal 312 by theproduct payment terminal 312.
Theproduct payment screen 1000 displays aproduct purchase list 1001, apurchase total amount 1005, and paymentmethod selection buttons 1002 to 1004. By selecting one of the paymentmethod selection buttons 1002 to 1004, the customer can make payment using the selected payment method.

商品決済端末３１２は、顧客による商品決済方法の選択を受け付けると（Ｓ１１２）、該選択された決済方法で商品決済処理を行い（Ｓ１１３）、決済終了情報（顧客情報と決済方法を含む）を追尾装置１００に送信する。When theproduct payment terminal 312 accepts the customer's selection of the product payment method (S112), it performs the product payment process using the selected payment method (S113) and transmits payment completion information (including customer information and the payment method) to thetracking device 100.

追尾装置１００は、商品決済端末３１２から決済終了情報を受信すると、該決済終了情報に基づいて、例えば決済方法テーブル（例えば図７（ｃ））の該商品決済が終了した追尾者の決済方法に、決済情報に含まれる決済方法を登録する（Ｓ１１４）。さらに、追尾装置１００は、該商品決済が終了した追尾者の追尾を終了し（追尾対象から外し）、追尾装置１００は、最新追尾者のルート管理、追尾人数を更新する（Ｓ１０４）。When thetracking device 100 receives payment completion information from theproduct payment terminal 312, it registers the payment method included in the payment information as the payment method of the tracked person whose product payment has been completed in, for example, a payment method table (e.g., FIG. 7(c)) based on the payment completion information (S114). Furthermore, thetracking device 100 ends tracking of the tracked person whose product payment has been completed (removes them from the tracking target), and thetracking device 100 updates the route management of the latest tracked person and the number of people being tracked (S104).

以上のように、本実施形態のシステムでは、来店のみではその来店者の追尾は開始せず、来店者がショーケースの扉を開けることでその来店者の追尾を開始し、決済完了によりその来店者の追尾を終了する。これにより、来店者の中で追尾が必要な対象者を適切に減らすことができる。その結果、来店者数が多くなり店内が多数の来店者で混雑した場合でも、店内で行動している各来店者の動線を正確に追尾することができる。As described above, in the system of this embodiment, tracking of a customer does not begin when the customer simply enters the store; tracking of the customer begins when the customer opens the showcase door, and tracking of the customer ends when payment is completed. This makes it possible to appropriately reduce the number of customers who need to be tracked. As a result, even when the number of customers increases and the store becomes crowded with many customers, it is possible to accurately track the movement of each customer as they move around the store.

なお、本フローチャートでは、決済が完了した追尾者の追尾を終了する構成を説明した。しかし、追尾者が商品決済端末３１２の列に並んだ（又は決済端末３１１の前に行った）ことを条件に、その追尾者の追尾を終了するようにしてもよい。例えば、決済端末３１１の列に並んだ追尾者は決済の意思のある来店者と判断し、その追尾者の追尾を終了するようにしてもよい。
このようにすることにより、より速やかに追尾者の数を減らすことができる。 In this flowchart, a configuration has been described in which tracking of a tracked person is terminated when payment is completed. However, tracking of the tracked person may be terminated on the condition that the tracked person lines up in line at the product payment terminal 312 (or passes in front of the payment terminal 311). For example, a tracked person who lines up in line at thepayment terminal 311 may be determined to be a customer who intends to make payment, and tracking of the tracked person may be terminated.
By doing this, the number of pursuers can be reduced more quickly.

なお、ショーケースの扉を開けて追尾が開始された来店者が該ショーケースから商品を取ることなく該扉を閉めた場合、前記追尾を開始した来店者の追尾を終了するようにしてもよい。
また、ショーケースの扉を開けただけでは追尾を開始せず、ショーケースの扉を開けて且つショーケースから商品を取った場合に、ショーケースの前の来店者の追尾を開始するようにしてもよい。 In addition, if a customer whose tracking has begun by opening the door of a showcase closes the door without removing any products from the showcase, tracking of the customer whose tracking has begun may be terminated.
Also, tracking may not start just by opening the showcase door, but may start tracking of a customer standing in front of the showcase when the showcase door is opened and an item is taken from the showcase.

また、本システムでは、追尾者がショーケースから取り出した商品をショーケースに備えられたＴＯＦセンサによって、読み取り清算の際に利用する構成である。このため、顧客が自ら購入商品のバーコード等を商品決済端末に読み取らせるといった煩雑な作業を省略することができる。このため、無人店舗等において、顧客が容易に決済を行うことが可能となる。In addition, this system is configured so that the product that the tracker removes from the showcase is read by a TOF sensor installed in the showcase and used at the time of payment. This eliminates the need for customers to perform the cumbersome task of having the product payment terminal read the barcode of the purchased product themselves. This makes it possible for customers to easily make payments in unmanned stores, etc.

また図６に示すように、通過ゲート３１５は、顧客が通過ゲート３１５を通過していることを検知すると、通過情報（例えば通過ゲート番号及び顧客が通過していること示す情報）を、追尾装置１００に通知する（Ｓ２０１）。As shown in FIG. 6, when the passinggate 315 detects that a customer is passing through the passinggate 315, it notifies thetracking device 100 of the passing information (e.g., the passing gate number and information indicating that the customer is passing through) (S201).

追尾装置１００は、通過ゲート３１５から通過情報を受信すると、追尾者の中で商品を持っている人物が該通過情報に対応する通過ゲート３１５を通過したか否かを判定する。追尾装置１００は、追尾者でない者又は商品を持っていない追尾者が通過ゲート３１５を通過したと判定した場合（Ｓ２０２でＮｏの場合）、商品を買わずに店を出たものと判断して、上記Ｓ２０１の通過情報に起因する処理を終了する。この場合、追尾装置１００は、通過ゲート３１５を通過しているのが商品を持っていない追尾者の場合には、その追尾者を追尾対象から外す。
一方、追尾装置１００は、商品を持っている追尾者が通過ゲート３１５を通過したと判定した場合（Ｓ２０２でＹｅｓの場合）、Ｓ２０３に処理を進める。 When thetracking device 100 receives passage information from the passinggate 315, it judges whether or not a tracked person who has a product has passed through the passinggate 315 corresponding to the passing information. If thetracking device 100 judges that a person who is not a tracked person or a tracked person who does not have a product has passed through the passing gate 315 (No in S202), it judges that the tracked person has left the store without purchasing a product, and ends the processing due to the passing information in S201. In this case, if the tracked person who has passed through the passinggate 315 does not have a product, thetracking device 100 removes the tracked person from the tracking target.
On the other hand, if thetracking device 100 determines that the tracked person holding the product has passed through the passing gate 315 (Yes in S202), it proceeds to S203.

Ｓ２０３において、追尾装置１００は、上記商品を持ってゲート通過している追尾者の決済方法テーブル（例えば図７（ｃ））に保持されている決済方法が「Ｎｕｌｌ」か否かを判定する。なお、決済方法テーブルの決済方法には、商品決済が終了するまで「Ｎｕｌｌ」が格納されているものとする。すなわち、決済方法テーブルの決済方法に「Ｎｕｌｌ」が格納されている追尾者は、商品決済が終了していない追尾者に対応する。In S203, thetracking device 100 determines whether the payment method stored in the payment method table (e.g., FIG. 7(c)) of the tracker who is passing through the gate with the above-mentioned product is "Null". Note that "Null" is stored in the payment method table until the product payment is completed. In other words, a tracker who has "Null" stored in the payment method table corresponds to a tracker who has not completed the product payment.

上記商品を持ってゲート通過している追尾者の決済方法テーブル（例えば図７（ｃ））に保持されている決済方法が「Ｎｕｌｌ」でなかった場合（Ｓ２０３でＮｏの場合）、追尾装置１００は、清算後に店を出たものと判断して、上記Ｓ２０１の通過情報に起因する処理を終了する。この場合も、追尾装置１００は、通過ゲート３１５を通過している追尾者を追尾対象から外す。
一方、追尾装置１００は、上記商品を持ってゲート通過している追尾者の決済方法テーブル（例えば図７（ｃ））に保持されている決済方法が「Ｎｕｌｌ」の場合（Ｓ２０３でＹｅｓの場合）、Ｓ２０４に処理を進める。 If the payment method stored in the payment method table (e.g., FIG. 7(c)) of the tracked person passing through the gate with the above-mentioned product is not "Null" (No in S203), thetracking device 100 determines that the tracked person has left the store after payment, and ends the processing due to the passage information in S201. In this case, thetracking device 100 also removes the tracked person passing through thepassage gate 315 from the tracking target.
On the other hand, if the payment method stored in the payment method table (e.g., Figure 7 (c)) of the tracked person passing through the gate with the above-mentioned product is "Null" (Yes in S203), thetracking device 100 proceeds to S204.

Ｓ２０４において、追尾装置１００は、未決済者（上記商品を持ってゲート通過している追尾者）の検出を店舗管理者デバイス３１６に通知する。
追尾装置１００から未決済者の検出通知を受信した店舗管理者デバイス３１６は、バイブレーション、アラーム音、警告表示等により、未決済者の検出を管理者に通知する（Ｓ２０５）。 In S204, thetracking device 100 notifies thestore manager device 316 of the detection of an unpaid person (a tracked person passing through the gate with the above-mentioned product).
Thestore manager device 316, which receives the notification of the detection of a non-payment customer from thetracking device 100, notifies the manager of the detection of the non-payment customer by vibration, alarm sound, warning display, etc. (S205).

またＳ２０６において、追尾装置１００は、未決済者（上記商品を持ってゲート通過している追尾者）の検出時刻を監視カメラ映像記録サーバ（不図示）に送信する。
追尾装置１００から未決済者の検出時刻の通知を受信した監視カメラ映像記録サーバは、該検出時刻を、タイムスタンプとして撮影時刻に紐づけて記録する（Ｓ２０７）。これにより、未決済の商品を持ってゲートを通過した来店者の画像情報を記録することが可能となる。 Also, in S206, thetracking device 100 transmits the detection time of the unpaid person (the tracked person passing through the gate with the above-mentioned product) to a surveillance camera video recording server (not shown).
The security camera video recording server, which receives the notification of the detection time of the unpaid customer from thetracking device 100, records the detection time as a timestamp linked to the shooting time (S207). This makes it possible to record image information of customers who pass through the gate with unpaid goods.

以上のように、本実施形態のシステムでは、追尾中の顧客の中で商品を手に持っている顧客（すなわち未精算の顧客）が店舗内出入口に設けられた通過ゲートを通過しているタイミングで店舗の天井等に設けられた監視カメラにより撮影されている映像とその顧客を関連付けることができる。これにより、未精算の商品を店外に持ち出した顧客の特定が可能となる。
また、未精算の顧客が通過ゲートを通過しているタイミングで、店舗管理者に通知を行うことにより、未精算の商品を店外に持ち出そうとしている顧客への対応が可能となる。 As described above, the system of this embodiment can associate a customer who is being tracked and is holding a product (i.e., an unpaid customer) with an image captured by a security camera installed on the ceiling or the like of the store when the customer passes through a passage gate installed at the entrance/exit of the store. This makes it possible to identify the customer who has taken an unpaid product outside the store.
In addition, by notifying the store manager when an unpaid customer passes through the passage gate, it becomes possible to deal with the customer attempting to take unpaid merchandise out of the store.

なお、上記実施形態では、ショーケースに設けられたセンサにショーケースの扉が開けられたことを検知させ、該ショーケースの扉が開けられたことをトリガーとして、ショーケースの前にいる顧客の追尾を開始する構成について説明した。しかし、顧客の追尾の開始のトリガーはショーケースの扉が開けられたことを検知した場合に限定されるものではない。顧客がショーケースから商品を取り出すための何等かの顧客動作（ショーケースに対して顧客が行う所定のアクションや該アクションに応じて生じるショーケースにおける所定の変化）を検知し、該検知を、顧客の追尾を開始するトリガーとする構成であればよい。In the above embodiment, a configuration has been described in which a sensor provided in a showcase detects that the showcase door has been opened, and the opening of the showcase door serves as a trigger to start tracking of a customer standing in front of the showcase. However, the trigger for starting tracking of a customer is not limited to the detection of the showcase door being opened. Any configuration may be used as long as it detects some kind of customer behavior (a specific action performed by the customer on the showcase or a specific change in the showcase that occurs in response to the action) for removing an item from the showcase, and the detection serves as a trigger to start tracking of the customer.

例えば、ショーケースに扉を開けるためのボタン等と該ボタン等が操作されたことを検知するセンサを設けて、該センサがボタン等が操作されたことを検知したことを、顧客の追尾を開始するトリガーとしてもよい。また、ショーケースの扉に手が触れたことを検知するセンサを設けて、該センサが扉に手が触れたことを検知したことを、顧客の追尾を開始するトリガーとしてもよい。さらに、ショーケースに赤外線センサ等を設けて、ショーケース内に差し入れられた（侵入した）顧客の手やショーケース内からショーケース外に持ち出された商品を検知したことを、顧客の追尾を開始するトリガーとしてもよい。また、ショーケースに収容されている商品重量を検知（測定）する重量センサ等を設けて、ショーケース内の商品が取られて商品重量が軽くなったことを重量センサで検知したことを、顧客の追尾を開始するトリガーとしてもよい。
さらに、ショーケースにTOFカメラ等を設けて、ショーケース内からショーケース外に持ち出された商品を検知したことを、顧客の追尾を開始するトリガーとしてもよい。
さらに、ショーケース毎のドアセンサで、ショーケースの扉が開けられたことを検知した場合で、その次に、同じ識別番号のショーケースのTOFカメラで、ショーケース内からショーケース外に持ち出された商品を検知し、追尾開始をするための複数条件を満たした場合に、顧客の追尾を開始するトリガーとしてもよい。このように、複数条件にすることで、追尾対象とする店舗内の顧客を更に絞り込むことが可能である。 For example, a button for opening the door of the showcase and a sensor for detecting the operation of the button may be provided on the showcase, and the detection of the operation of the button may be used as a trigger for starting tracking of the customer. A sensor for detecting a hand touching the door of the showcase may be provided, and the detection of the hand touching the door may be used as a trigger for starting tracking of the customer. Furthermore, an infrared sensor may be provided on the showcase, and the detection of a customer's hand inserted (entered) into the showcase or a commodity taken out of the showcase may be used as a trigger for starting tracking of the customer. A weight sensor for detecting (measuring) the weight of the commodity contained in the showcase may be provided, and the detection of a commodity removed from the showcase and the weight of the commodity reduced may be used as a trigger for starting tracking of the customer.
Furthermore, a TOF camera or the like may be provided in the showcase, and the detection of a commodity being taken out of the showcase may be used as a trigger to start tracking of the customer.
Furthermore, when a door sensor for each showcase detects that the door of the showcase has been opened, and then a TOF camera for the showcase with the same identification number detects an item taken out of the showcase, the trigger for starting tracking of the customer may be satisfied when multiple conditions for starting tracking are satisfied. In this way, by setting multiple conditions, it is possible to further narrow down the customers in the store to be tracked.

また、店舗の従業員がショーケースの商品の補充等を行う場合、該従業員の追尾は必要ない。このため、従業員が所定の帽子や制服等の衣服や襷、バッチ等の識別子を身に着け、ＴＯＦカメラ３０１により撮影された映像から該識別子が認識された人物の追尾は行わないように構成してもよい。ＴＯＦカメラ３０１は、距離画像とともに例えばカラー画像を出力する。このため、ＴＯＦカメラからの出力を用いて追尾処理を行う追尾装置１００は、上記従業員の識別子を容易に判断して、追尾対象から除外することも可能となる。これにより、従業員等の追尾不要な人物を追尾対象から容易に除外して、追尾の負荷を抑えることが可能となる。In addition, when a store employee refills products in a showcase, there is no need to track the employee. For this reason, the employee may wear a specific hat, uniform, or other clothing, or an identifier such as a sash or badge, and the system may be configured not to track a person whose identifier is recognized from the image captured by theTOF camera 301. TheTOF camera 301 outputs, for example, a color image along with a distance image. For this reason, thetracking device 100, which performs tracking processing using the output from the TOF camera, can easily determine the identifier of the employee and exclude them from tracking targets. This makes it possible to easily exclude people who do not need to be tracked, such as employees, from tracking targets, reducing the tracking load.

また、本実施形態では、店舗３００に出入口３０２を設けているが、入口と出口を分けてもよい。すなわち、店舗３００への入店のみが可能な１又は複数の入口と、店舗３００への退転のみが可能な１又は複数の出口を設けて、店舗３００への入店及び退転が可能な出入口は設けないようにしてもよい。この構成の場合、図６のＳ２０１で通過情報を送信するのは、出口に設けられた通過ゲート３１５とする。
さらに、通過ゲート３１５を設けることなく、ＴＯＦカメラ３０１で撮影されている映像から顧客の退店を検知するように構成してもよい。 In addition, in this embodiment, the store 300 is provided with an entrance/exit 302, but the entrance and exit may be separated. That is, one or more entrances that can only enter the store 300 and one or more exits that can only exit the store 300 may be provided, and no entrances that can enter or exit the store 300 may be provided. In this configuration, the passage information is transmitted in S201 of FIG. 6 from apassage gate 315 provided at the exit.
Furthermore, a configuration may be adopted in which the exit of a customer from the store is detected from the image captured by theTOF camera 301 without providing thepassage gate 315.

また、追尾装置１００の機能は、１台のコンピュータにより実現されるものであっても、複数のコンピュータにより実現されるものであってもよい。例えば、追尾装置１００の機能は、クラウドサービス等を利用して実現される構成であってもよい。Furthermore, the functions of thetracking device 100 may be realized by a single computer or by multiple computers. For example, the functions of thetracking device 100 may be realized by using a cloud service or the like.

また、追尾装置１００の機能を、ＴＯＦカメラ３０１が備える制御部で実現するようにしてもよい。すなわち、ＴＯＦカメラ３０１が備える制御部が、ＴＯＦカメラ３０１が備えるカメラデバイスで店舗内を撮影している映像を用いて該店舗内の人物の追尾を行う等の上述した追尾装置１００の機能を実行するようにしてもよい。この構成の場合、ＴＯＦカメラ３０１は、ＬＡＮ等を介して、ＴＯＦカメラ３０８、ショーケース３０９、店舗決済端末３１２、通過ゲート３１５、店舗管理者デバイス３１６等の本情報処理システムの各装置と通信可能に構成されているものとする。The functions of thetracking device 100 may also be realized by a control unit provided in theTOF camera 301. That is, the control unit provided in theTOF camera 301 may execute the above-mentioned functions of thetracking device 100, such as tracking people in the store using video captured by a camera device provided in theTOF camera 301 of the store. In this configuration, theTOF camera 301 is configured to be able to communicate with each device of this information processing system, such as theTOF camera 308, showcase 309,store payment terminal 312, passinggate 315, andstore manager device 316, via a LAN or the like.

以上説明したように、来店者の中で追尾が必要な対象者を適切に減らすことができる。この結果、来店者数が多くなり店内が多数の顧客で混雑したような場合でも、店内で行動している各顧客の動線を正確に追尾することが可能となる。よって、追尾者が入れ替わったりして誤った追尾の発生等を抑えることができる。
また、ショーケースに設けた扉の開閉を検知可能なセンサ等を用いて顧客の追尾開始を制御することにより、システムのコストアップを抑え、安価な構成で、追尾が必要な対象者を適切に減らすシステムを実現することが可能となる。 As described above, it is possible to appropriately reduce the number of customers who need to be tracked among customers who visit the store. As a result, even if the number of customers increases and the store is crowded with many customers, it is possible to accurately track the movement of each customer who is moving around in the store. Therefore, it is possible to prevent the occurrence of erroneous tracking due to switching of trackers.
In addition, by controlling the start of customer tracking using a sensor that can detect the opening and closing of a door on a showcase, it is possible to prevent the cost of the system from increasing and realize a system with an inexpensive configuration that appropriately reduces the number of people that need to be tracked.

なお、上述した各種データの構成及びその内容はこれに限定されるものではなく、用途や目的に応じて、様々な構成や内容で構成されることは言うまでもない。
以上、一実施形態について示したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
また、上記各実施形態を組み合わせた構成も全て本発明に含まれるものである。 It goes without saying that the configurations and contents of the various data described above are not limited to those described above, and the data may have various configurations and contents depending on the application and purpose.
Although one embodiment has been described above, the present invention can be embodied, for example, as a system, an apparatus, a method, a program, a storage medium, etc. Specifically, the present invention may be applied to a system composed of multiple devices, or may be applied to an apparatus composed of a single device.
Furthermore, any combination of the above-described embodiments is also included in the present invention.

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。
本発明は上記実施形態に限定されるものではなく、本発明の趣旨に基づき種々の変形（各実施形態の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施形態及びその変形例を組み合わせた構成も全て本発明に含まれるものである。Other Embodiments
The present invention can also be realized by a process in which a program for implementing one or more of the functions of the above-described embodiments is supplied to a system or device via a network or a storage medium, and one or more processors in a computer of the system or device read and execute the program. The present invention can also be realized by a circuit (e.g., ASIC) that implements one or more of the functions.
Furthermore, the present invention may be applied to a system made up of a plurality of devices, or to an apparatus made up of a single device.
The present invention is not limited to the above-described embodiment, and various modifications (including organic combinations of the embodiments) are possible based on the spirit of the present invention, and are not excluded from the scope of the present invention. In other words, the present invention includes all configurations that combine the above-described embodiments and their modifications.

１００ 追尾装置
３００ 店舗
３０１ ＴＯＦカメラ（天井に設置）
３０８ ＴＯＦカメラ（ショーケースに設置）
３０９ ショーケース
３１２ 商品決済端末
３１５ 通過ゲート
３１７ 監視カメラ

100 Tracking device 300Store 301 TOF camera (installed on the ceiling)
308 TOF camera (installed in showcase)
309Showcase 312Product payment terminal 315 Passinggate 317 Surveillance camera

Claims (17)

Translated fromJapanese

店舗内を撮影している映像を用いて該店舗内の人物の追尾を行う追尾手段を有し、
前記追尾手段は、前記店舗内に設置されている商品を陳列する棚に対して人が行う所定のアクション又は該アクションに応じて生じる該棚における所定の変化を検知するセンサで、前記検知があったことを条件に、前記映像から該棚の前に居ると認識される人物を追尾対象として追尾開始し、前記店舗への入店が認識された人物であっても前記追尾対象となるまでは該人物の追尾を行わない、ことを特徴とする情報処理装置。 A tracking means is provided for tracking a person in the store using an image captured in the store,
The tracking means is a sensor that detects a predetermined action taken by a person on a shelf displaying products installed in the store or a predetermined change in the shelf that occurs in response to the action, and, upon detection, begins tracking a person that is recognized from the video to be in front of the shelf as the tracking target, and does not track the person until they become the tracking target, even if they are recognized as entering the store. 前記棚は、扉を備え、該扉を開けることで該棚に陳列されている商品の取り出しが可能なものであり、
前記センサは、前記扉が開けられたこと、前記扉に人が触れたこと、又は、前記扉を開けるためのボタンが操作されたこと、を検知することを特徴とする請求項１に記載の情報処理装置。 The shelf has a door, and the door can be opened to allow removal of products displayed on the shelf.
2. The information processing apparatus according to claim 1, wherein the sensor detects that the door has been opened, that a person has touched the door, or that a button for opening the door has been operated. 前記センサは、前記棚に陳列されている商品重量の変化を検知することを特徴とする請求項１に記載の情報処理装置。The information processing device according to claim 1, characterized in that the sensor detects changes in the weight of the products displayed on the shelf. 前記センサは、前記棚内に侵入した人の手、又は、前記棚から持ち出された商品を検知することを特徴とする請求項１に記載の情報処理装置。The information processing device according to claim 1, characterized in that the sensor detects the hand of a person who has entered the shelf or a product that has been taken out of the shelf. 前記追尾手段は、前記店舗内に設置された決済装置において前記棚から取り出された商品の決済が行われたことを条件に、該決済装置の前に居ると認識される前記追尾対象の人物を追尾対象から外すことを特徴とする請求項１～４のいずれか１項に記載の情報処理装置。The information processing device according to any one of claims 1 to 4, characterized in that the tracking means excludes the person to be tracked who is recognized as being in front of a payment device installed in the store from the tracking targets on the condition that a payment has been made for the product taken out of the shelf at the payment device. 前記追尾手段は、前記追尾対象の人物が、前記店舗内に設置された決済装置の前に居ると認識されたことを条件に、該追尾対象の人物を追尾対象から外すことを特徴とする請求項１～４のいずれか１項に記載の情報処理装置。The information processing device according to any one of claims 1 to 4, characterized in that the tracking means removes the person to be tracked from the tracking targets on the condition that the person to be tracked is recognized as being in front of a payment device installed in the store. 前記棚から商品が取り出されている様子を撮影している映像から該棚から取り出された商品及びその数量を特定する特定装置により、前記棚から取り出された商品及びその数量が特定された場合に、前記追尾手段により該棚の前に居ると認識される追尾対象の人物と、前記取得された商品及びその数量の情報とを関連付けする関連付け手段を有することを特徴とする請求項１～６のいずれか１項に記載の情報処理装置。The information processing device according to any one of claims 1 to 6, further comprising an association means for associating a person to be tracked, who is recognized by the tracking means as being in front of the shelf, with the acquired information on the products and their quantities, when the product and its quantity taken from the shelf are identified by an identification device that identifies the product and its quantity taken from the shelf from a video of the product being taken from the shelf. 前記追尾対象の人物が前記店舗内に設けられた決済装置の前に居ると認識された場合に、該追尾対象の人物と関連付けされている前記商品及びその数量の情報を、前記決済装置に提供する提供手段を有することを特徴とする請求項７に記載の情報処理装置。The information processing device according to claim 7, further comprising a provision means for providing information on the products and their quantities associated with the person to be tracked to the payment device when the person to be tracked is recognized to be in front of the payment device installed in the store. 前記商品及びその数量の情報と関連付けされている前記追尾対象の人物が前記店舗の出口を通過しようとしていることが認識された場合に、所定の通知先に通知を行う通知手段を有することを特徴とする請求項７又は８に記載の情報処理装置。The information processing device according to claim 7 or 8, further comprising a notification means for notifying a predetermined notification destination when it is recognized that the tracking target person associated with the information on the product and its quantity is passing through the exit of the store. 前記通知先は、前記店舗の管理者が身に着けるウェラブル端末であることを特徴とする請求項９に記載の情報処理装置。The information processing device according to claim 9, characterized in that the notification destination is a wearable device worn by the store manager. 前記商品及びその数量の情報と関連付けされている前記追尾対象の人物が前記店舗の出口を通過しようとしていることが認識された場合に、その時刻と前記店舗内を撮影した監視映像とを対応付け可能にするタイムスタンプ手段を有することを特徴とする請求項７～
１０のいずれか１項に記載の情報処理装置。 The present invention is characterized in that the device further comprises a time stamp means for, when it is recognized that the tracking target person associated with the information on the product and its quantity is passing through the store exit, associating that time with a surveillance image taken inside the store.
11. The information processing device according to any one of claims 10 to 19. 前記映像は、三次元情報を含む映像であることを特徴とする請求項１～１０のいずれか１項に記載の情報処理装置。The information processing device according to any one of claims 1 to 10, characterized in that the image is an image including three-dimensional information. 前記映像は、ＴＯＦ（Time of Flight）カメラにより撮影されている映像であることを特徴とする請求項１２に記載の情報処理装置。The information processing device according to claim 12, characterized in that the image is an image captured by a TOF (Time of Flight) camera. 前記追尾手段は、前記センサにより前記所定の変化が検知された場合でも、前記店舗内を撮影している映像から前記棚の前に居ると認識される人物に所定の特徴が認識される場合には、該人物を追尾対象としない、ことを特徴とする請求項１～１３のいずれか１項に記載の情報処理装置。The information processing device according to any one of claims 1 to 13, characterized in that, even if the sensor detects the predetermined change, if a person recognized as being in front of the shelf from the video captured inside the store has a predetermined characteristic, the tracking means does not target the person as a tracking target. 前記人物に所定の特徴が認識される場合とは、その人物が所定の識別子を身に着けていることが認識される場合であること特徴とする請求項１４に記載の情報処理装置。The information processing device according to claim 14, characterized in that when a person is recognized to have a predetermined characteristic, the person is recognized to be wearing a predetermined identifier. 店舗内を撮影している映像を用いて該店舗内の人物の追尾を行う情報処理装置の制御方法であって、
前記店舗内に設置されている商品を陳列する棚に対して人が行う所定のアクション又は該アクションに応じて生じる該棚における所定の変化を検知するセンサで、前記検知があったことを条件に、前記映像から該棚の前に居ると認識される人物を追尾対象として追尾開始する工程を有し、
前記店舗への入店が認識された人物であっても前記追尾対象となるまでは該人物の追尾を行わないことを特徴とする情報処理装置の制御方法。 A method for controlling an information processing device that tracks a person in a store using a video of the store, comprising:
a step of detecting a predetermined action performed by a person on a shelf displaying products installed in the store or a predetermined change in the shelf caused in response to the action by a sensor, and starting to track a person recognized from the video as being in front of the shelf as a tracking target on condition that the detection has occurred;
A control method for an information processing device, comprising the steps of: (a) detecting a person entering a store by a plurality of sensors in a store; (b) detecting a person entering the store by a plurality of sensors in a store; コンピュータを、請求項１～１５のいずれか１項に記載の手段として機能させるためのプログラム。A program for causing a computer to function as the means described in any one of claims 1 to 15.

Images