JP7148950B2 - Server device, commercial facility information system, and behavior history presentation method - Google Patents

Description

Translated fromJapanese

本発明は、店内における買物客の行動履歴の記録に関する。また、本発明は、買物客に対する店内における自身の行動履歴の提供に関する。 The present invention relates to the recording of shopper behavior history in a store. The present invention also relates to providing shoppers with their own behavior history in the store.

一般に、デパート、ショッピングセンター、ショッピングモール、更に、ショッピングセンターに飲食施設、映画館、遊技場等を併設した複合商業施設は、複数の店舗を収容する。これらの商業施設をここではまとめて単に商業施設と呼ぶものとする。一般に商業施設は単独の店舗と比較して広大である。また、商業施設では、類似の商品を複数の売り場、店舗で扱うことが多く、売り場や店舗を混同しやすい傾向がある。 In general, department stores, shopping centers, shopping malls, and complex commercial facilities in which eating and drinking establishments, movie theaters, amusement centers, etc. are added to shopping centers accommodate a plurality of shops. These commercial facilities are collectively referred to here simply as commercial facilities. In general, commercial facilities are vast compared to single stores. In addition, in commercial facilities, similar products are often sold in a plurality of sales floors and shops, and there is a tendency to confuse the sales floors and shops.

一方で、買物をする際に、店内を一巡して気になる商品をチェックし、その後、チェックした商品の中で購入する商品を検討する、といった手順を踏む買物客が存在する。 On the other hand, when shopping, there are shoppers who follow the procedure of going around the store, checking products that interest them, and then considering products to purchase from among the products that they have checked.

このような検討を行う買物客は、チェックした商品をどこで見たのかを記憶しておく必要がある。現代では、多くの買物客が、スマートフォンや携帯電話のようなカメラを内蔵した携帯端末を携帯している。このため、携帯端末のカメラで撮影することにより、気になる商品を記録することが考えられる。しかし、商品の撮影は必ずしも許可されるものではなく、撮影を禁止する店舗もある。このため、買物客自身が携帯端末のカメラで撮影して記録するといった手法は、必ずしも利用することができない。 Shoppers conducting such reviews need to remember where they saw the items they checked. Today, many shoppers carry mobile devices with built-in cameras, such as smartphones and mobile phones. Therefore, it is conceivable to record products of interest by photographing them with a camera of a portable terminal. However, photography of products is not always permitted, and some stores prohibit photography. For this reason, it is not always possible to use a technique in which the shopper himself/herself takes a picture with a camera of a portable terminal and records it.

国際公開第２０１５／０３３５７５号WO2015/033575

本発明に関連した技術が特許文献１に開示されている。特許文献１によれば、買物客が現に手に取っている商品に関連した情報を、その場に設置した情報提示装置を用いて、その買物客に通知することが記載されている。 A technique related to the present invention is disclosed in Patent Document 1. According to Patent Document 1, it is described that the shopper is notified of information related to the product that the shopper is currently picking up by using an information presentation device installed on the spot.

また、特許文献１によれば、情報提示装置を用いて買物客に商品に関する情報を提示する。情報提示装置は、買物客が視認可能（聞き取り可能）な位置に設置される、据置型の装置である。 Further, according to Patent Document 1, an information presentation device is used to present information on products to shoppers. The information presentation device is a stationary device installed at a position where shoppers can see (hear) it.

しかし、特許文献１には、買物客が手に取った商品を記録することや、その記録を後から買物客が閲覧することについては記載されていない。 However, Patent Literature 1 does not describe the recording of the products picked up by the shopper and the subsequent browsing of the record by the shopper.

また、特許文献１によれば、特許文献１によれば、買物客は、情報提示装置から離れた場所では、情報を閲覧することができない。例えば、商品に関連する情報を、その商品を扱う店舗から離れたカフェ、レストラン、休憩所等で買物客が閲覧することはできない。 Further, according to Patent Document 1, a shopper cannot view information at a place away from the information presentation device. For example, information related to a product cannot be viewed by a shopper at a cafe, restaurant, rest area, etc., away from the store that handles the product.

また、特許文献１によれば、据置型の情報提示装置を用いるため、特定の買物客個人を宛先とする情報の通知に用いることが難しい。例えば、店舗や複合商業施設が、買物客の購入実績に応じて異なる割引率を提示するサービスを提供する場合がある。このような場合、ある一人の買物客に対して提示する割引率を、他の買物客も閲覧可能な据置型の情報提示装置に表示するのは難しい。 Further, according to Patent Document 1, since a stationary information presentation device is used, it is difficult to use the device for notification of information addressed to a specific individual shopper. For example, a store or commercial complex may provide a service that presents different discount rates according to a shopper's purchase history. In such a case, it is difficult to display the discount rate offered to one shopper on a stationary information presentation device that can be viewed by other shoppers.

本発明はこのような状況に鑑みてなされたものであり、本発明が解決しようとする課題は、店内の買物客に対して、自身の行動履歴を提示するシステムを提供することである。 The present invention has been made in view of such circumstances, and the problem to be solved by the present invention is to provide a system for presenting the behavior history of the shopper to the shopper in the store.

上述の課題を解決するため、本発明は、その一態様として、一ユーザーに割り当てられた携帯端末、及び、複数の店舗を収容する商業施設に収容された前記複数の店舗のそれぞれに少なくともひとつ設置され、当該店舗の店内画像を撮影して、前記店内画像を送信するための店内カメラと通信可能なサーバー装置であって、予め登録された、前記携帯端末を割り当てられたユーザーのユーザー画像に基づいて、前記店内画像に含まれる人物を登録ユーザーとして判定する判定手段と、前記登録ユーザーの前記複数の店舗のそれぞれにおける行動履歴を記録する記録手段と、前記携帯端末からの第１の要求に応じて、前記複数の店舗における前記登録ユーザーの前記行動履歴に関する情報を前記携帯端末に送信する送信手段と、を備え、前記記録手段は、前記複数の店舗のそれぞれに対して、前記店内画像に基づいて、前記登録ユーザーが前記複数の店舗のそれぞれに入店した入店時刻、前記登録ユーザーが前記複数の店舗のそれぞれから退店した退店時刻、および前記登録ユーザーが前記複数の店舗内で行った商品のチェックに関する情報を、前記登録ユーザーの前記複数の店舗における前記行動履歴として記録し、前記送信手段は、前記携帯端末からの前記第１の要求に応じて、前記複数の店舗における前記登録ユーザーの前記行動履歴に関する情報として、前記入店時刻および前記退店時刻を含む情報を、前記携帯端末に送信し、前記送信手段は、前記携帯端末からの第２の要求に応じて、前記複数の店舗における前記登録ユーザーの前記行動履歴に関する情報として、前記チェックした商品の情報を、前記携帯端末に送信する、ことを特徴とするサーバー装置を提供する。In order to solve the above-mentioned problems, as one aspect of the present invention, a portable terminal assigned to one user and at least one installed in each of the plurality of shops housed in a commercial facility housing a plurality of shops a server device capable of communicating with an in-store camera for capturing an in-store image of the store and transmitting the in-store image, wherein the server device is based on a pre-registered user image of a user to whom the mobile terminal is assigned. determining means for determining a person included in the in-store image as a registered user; recording meansfor recording an action history of the registered user at each of the plurality of stores; and transmitting means for transmitting information about the action history of the registered user at the plurality of shops to the portable terminal, wherein the recording means is configured to record data for each of the plurality of shops based on the in-store image. store entry time when the registered user enters each of the plurality of stores, store exit time when the registered user leaves each of the plurality of stores, information regarding the check of the product obtained by the registered user is recorded as the action history of the registered user at the plurality of stores, and the transmitting means responds tothe first request from the mobile terminal to perform the registration at the plurality of stores Informationincluding the time of entering the storeand the time of leaving the store is transmittedto the mobile terminal as information related to the action history of the user, and thetransmitting means responds to a second request from the mobile terminal. and transmitting information on the checked product to the mobile terminal as information on the action history of the registered user in the store .

また、本発明は、他の一態様として、一ユーザーに割り当てられた携帯端末と、複数の店舗を収容する商業施設に収容された前記複数の店舗のそれぞれに少なくともひとつ設置され、当該店舗の店内画像を撮影して、前記店内画像を送信するための店内カメラと、前記携帯端末及び前記店内カメラと通信可能な管理サーバーとを備え、前記管理サーバーは、予め登録された、前記携帯端末を割り当てられたユーザーのユーザー画像に基づいて、前記店内画像に含まれる人物を登録ユーザーとして判定する判定手段と、前記登録ユーザーの前記複数の店舗のそれぞれにおける行動履歴を記録する記録手段と、前記携帯端末からの第１の要求に応じて、前記複数の店舗における前記登録ユーザーの前記行動履歴に関する情報を前記携帯端末に送信する送信手段と、を備え、前記記録手段は、前記複数の店舗のそれぞれに対して、前記店内画像に基づいて、前記登録ユーザーが前記複数の店舗のそれぞれに入店した入店時刻、前記登録ユーザーが前記複数の店舗のそれぞれから退店した退店時刻、および前記登録ユーザーが前記複数の店舗内で行った商品のチェックに関する情報を、前記登録ユーザーの前記複数の店舗における前記行動履歴として記録し、前記送信手段は、前記携帯端末からの前記第１の要求に応じて、前記複数の店舗における前記登録ユーザーの前記行動履歴に関する情報として、前記入店時刻および前記退店時刻を含む情報を、前記携帯端末に送信し、前記送信手段は、前記携帯端末からの第２の要求に応じて、前記複数の店舗における前記登録ユーザーの前記行動履歴に関する情報として、前記チェックした商品の情報を、前記携帯端末に送信する、ことを特徴とする、商業施設内情報システムを提供する。In another aspect of the present invention, a portable terminal assigned to one user and at least one mobile terminal installed in each of the plurality of shops housed in a commercial facility housing a plurality of shops, An in-store camera for capturing an image and transmitting the in-store image, and a management server capable of communicating with the mobile terminal and the in-store camera, wherein the management server allocates the mobile terminal registered in advance. determination means for determining a person included in the in-store image as a registered user based on the obtained user image of the user; recording means for recording an action history of the registered user at each of the plurality of stores; and the portable terminal. transmitting means for transmitting information on the action history of the registered user at the plurality of stores to the mobile terminal in response to afirst request from On the other hand, based on the in-store image, the store entry time when the registered user entered each of the plurality of stores, the store exit time when the registered user left each of the plurality of stores, and the registered user records, as the action history of the registered user at the plurality of stores, information relating to product checks performed by at the plurality of stores, and the transmission means responds tothe first request from the mobile terminal and transmitting informationincluding the time of entering the storeand the time of leaving the store to the mobile terminal as information related to the behavior history of the registered user at the plurality ofstores ,wherein the transmitting means receives a second and transmitting information on the checked product to the mobile terminal as information on the action history of the registered user at the plurality of stores in response to a request from do.

また、本発明は、他の一態様として、一ユーザーに割り当てられた携帯端末、及び、複数の店舗を収容する商業施設に収容された前記複数の店舗のそれぞれに少なくともひとつ設置され、当該店舗の店内画像を撮影して、前記店内画像を送信するための店内カメラと通信可能な管理サーバーで実行されて、予め登録された、前記携帯端末を割り当てられたユーザーのユーザー画像に基づいて、前記店内画像に含まれる人物を登録ユーザーとして判定する判定手段と、前記登録ユーザーの前記複数の店舗のそれぞれにおける行動履歴を記録する記録手段と、前記携帯端末からの第１の要求に応じて、前記複数の店舗における前記登録ユーザーの前記行動履歴に関する情報を前記携帯端末に送信する送信手段と、して前記管理サーバーを機能させるためのプログラムであって、前記記録手段は、前記複数の店舗のそれぞれに対して、前記店内画像に基づいて、前記登録ユーザーが前記複数の店舗のそれぞれに入店した入店時刻、前記登録ユーザーが前記複数の店舗のそれぞれから退店した退店時刻、および前記登録ユーザーが前記複数の店舗内で行った商品のチェックに関する情報を、前記登録ユーザーの前記複数の店舗における前記行動履歴として記録し、前記送信手段は、前記携帯端末からの前記第１の要求に応じて、前記複数の店舗における前記登録ユーザーの前記行動履歴に関する情報として、前記入店時刻および前記退店時刻を含む情報を、前記携帯端末に送信するし、前記送信手段は、前記携帯端末からの第２の要求に応じて、前記複数の店舗における前記登録ユーザーの前記行動履歴に関する情報として、前記チェックした商品の情報を、前記携帯端末に送信する、ことを特徴とするプログラムを提供する。Further, as another aspect of the present invention, a portable terminal assigned to one user, and at least one installed in each of the plurality of shops housed in a commercial facility housing a plurality of shops, Based on the pre-registered user image of the user to whom the portable terminal is assigned, the in-store image is executed by a management server capable of communicating with an in-store camera for capturing an in-store image and transmitting the in-store image. determining means for determining a person included in the image as a registered user; recording meansfor recording an action history of the registered user at each of the plurality of shops; and a program for causing the management server to function as a transmission means for transmitting information related to the action history of the registered user at the store to the mobile terminal, wherein the recording means is stored in each of the plurality of stores. On the other hand, based on the in-store image, the store entry time when the registered user entered each of the plurality of stores, the store exit time when the registered user left each of the plurality of stores, and the registered user records, as the action history of the registered user at the plurality of stores, information relating to product checks performed by at the plurality of stores, and the transmission means responds tothe first request from the mobile terminal and transmittinginformationincluding the time of entering the storeand the time of leaving the store to the mobile terminal as information related to the action history of the registered user at the plurality of stores, In response to the request of 2, the information of the checked product is transmitted to the portable terminal as the information related to the action history of the registered user at the plurality of stores .

また、本発明は、他の一態様として、管理サーバーに予め登録された、携帯端末のユーザー画像に基づいて、複数の店舗を収容する商業施設に収容された前記複数の店舗のそれぞれに設置された店内カメラで撮影した店内画像に含まれる人物を、前記管理サーバーが登録ユーザーとして判定する判定段階と、前記登録ユーザーの前記複数の店舗のそれぞれにおける行動履歴を、前記管理サーバーが記録する記録段階と、前記携帯端末からの第１の要求に応じて、前記複数の店舗における前記登録ユーザーの前記行動履歴に関する情報を前記管理サーバーが前記携帯端末に送信する送信段階と、を含む、行動履歴の提示方法であって、前記記録段階では、前記管理サーバーが、前記複数の店舗のそれぞれに対して、前記店内画像に基づいて、前記登録ユーザーが前記複数の店舗のそれぞれに入店した入店時刻、前記登録ユーザーが前記複数の店舗のそれぞれから退店した退店時刻、および前記登録ユーザーが前記複数の店舗内で行った商品のチェックに関する情報を、前記登録ユーザーの前記複数の店舗における前記行動履歴として記録し、前記送信段階では、前記携帯端末からの前記第１の要求に応じて、前記複数の店舗における前記登録ユーザーの前記行動履歴に関する情報として、前記入店時刻および前記退店時刻を含む情報を、前記管理サーバーが前記携帯端末に送信し、前記送信段階では、前記携帯端末からの第２の要求に応じて、前記複数の店舗における前記登録ユーザーの前記行動履歴に関する情報として、前記チェックした商品の情報を、前記携帯端末に送信することを特徴とする、行動履歴の提示方法を提供する。Further, according to another aspect of the present invention, based on a user image of a mobile terminal registered in advance in a management server, a mobile terminal is installed in each of a plurality of shops housed in a commercial facility housing a plurality of shops. a determination step in which the management server determines a person included in an in-store image taken by an in-store camera as a registered user; and a recording step in which the management server records the behavior history of the registered user at each of the plurality of stores. and a sending step in which the management server transmits information about the action history of the registered user at the plurality of stores to the mobile terminal in response to afirst request from the mobile terminal. In the presenting method, in the recording step, the management server controls, for each of the plurality of stores, based on the in-store image, an entry time at which the registered user entered each of the plurality of stores. , the time when the registered user leaves each of the plurality of stores, and the information on the product check performed by the registered user in the plurality of stores, the behavior of the registered user at the plurality of stores; record as a history, and in the transmitting step, the entry timeand the exit timeare recorded as information related to the action history of the registered user at the plurality of shops in response tothe first request from the mobile terminal;The management server transmits informationincluding Provided is a method for presenting an action history, characterizedby transmitting information on checked merchandise to the portable terminal .

本発明によれば、店内の買物客に対して、自身の行動履歴を提示することができる。 According to the present invention, it is possible to present one's own action history to shoppers in the store.

本発明の第１の実施形態である商業施設内情報システムについて説明するためのブロック図である。1 is a block diagram for explaining a commercial facility information system according to a first embodiment of the present invention; FIG.店内カメラについて説明するためのブロック図である。It is a block diagram for explaining an in-store camera.携帯端末について説明するためのブロック図である。1 is a block diagram for explaining a mobile terminal; FIG.携帯端末で実行するユーザーアプリについて説明するためのブロック図である。2 is a block diagram for explaining a user application executed on a mobile terminal; FIG.ユーザーアプリのメニュー画面の一例である。It is an example of a menu screen of a user application.ユーザーアプリが入退店履歴を表示するときの画面の一例である。It is an example of a screen when the user application displays the entry/exit history.ユーザーアプリがチェック商品履歴を表示するときの画面の一例である。It is an example of a screen when the user application displays the checked product history.ユーザーアプリが商品詳細を表示するときの画面の一例である。It is an example of a screen when the user application displays product details.ユーザーアプリが類似商品の一覧を表示するときの画面の一例である。It is an example of a screen when the user application displays a list of similar products.携帯端末のユーザー画面を管理サーバーに登録する際の商業施設内情報システムの動作を説明するためのフローチャートである。10 is a flowchart for explaining the operation of the commercial facility information system when registering the user screen of the mobile terminal in the management server;携帯端末のユーザーが店舗に入退店したことを記録する際の商業施設内情報システムの動作を説明するためのフローチャートである。2 is a flowchart for explaining the operation of the information system in a commercial facility when recording that a mobile terminal user has entered and exited a store.携帯端末のユーザーが店舗内でチェックした商品を記録する際の商業施設内情報システムの動作を説明するためのフローチャートである。FIG. 10 is a flow chart for explaining the operation of the commercial facility information system when recording the products checked by the user of the mobile terminal in the store; FIG.携帯端末のユーザーが自身の行動履歴を閲覧する際の商業施設内情報システムの動作を説明するためのフローチャートである。FIG. 10 is a flow chart for explaining the operation of the commercial facility information system when the user of the mobile terminal browses his own action history; FIG.携帯端末のユーザーがある店舗でチェックした商品の一覧を閲覧する際の商業施設内情報システムの動作を説明するためのフローチャートである。10 is a flowchart for explaining the operation of the commercial facility information system when the user of the mobile terminal browses a list of products checked at a certain store.携帯端末のユーザーがある店舗でチェックした商品の商品詳細情報と、その商品に類似した商品の商品詳細情報とを閲覧する際の商業施設内情報システムの動作を説明するためのフローチャートである。10 is a flow chart for explaining the operation of the commercial facility information system when the user of the mobile terminal browses detailed product information of a product checked at a certain store and detailed product information of products similar to that product.

本発明の一実施の形態である商業施設内情報システム１００について図１を参照して説明する。商業施設内情報システム１００は、商業施設２００や、商業施設２００に収容されている店舗２００Ａ、２００Ｂ、２００Ｃ、…が、来店した買物客に対して情報を提供するためのシステムである。 A commercialfacility information system 100 according to an embodiment of the present invention will be described with reference to FIG. The commercialfacility information system 100 is a system for thecommercial facility 200 and thestores 200A, 200B, 200C, .

商業施設２００は、類似の商品を扱う店舗を複数収容した商業施設である。商業施設２００には、例えば、ショッピングセンター、ショッピングモール、デパート、ショッピングビル、駅ビル、ファッションビル等がある。商業施設２００は、レストラン、映画館、遊技場等を併設した複合商業施設であってもよい。尚、本明細書にいう類似の商品は同一の商品も含むものとする。 Thecommercial facility 200 is a commercial facility housing a plurality of stores that sell similar products.Commercial facilities 200 include, for example, shopping centers, shopping malls, department stores, shopping buildings, station buildings, and fashion buildings. Thecommercial facility 200 may be a complex commercial facility with a restaurant, a movie theater, an amusement center, and the like. It should be noted that the similar products referred to in this specification also include the same products.

商業施設２００は複数の店舗２００Ａ、２００Ｂ、２００Ｃ、…を収容している。店舗２００Ａ、２００Ｂ、２００Ｃ、…の中には、同一或いは類似の商品を扱う店舗が含まれている。本実施形態では、複合商業施設２００は、女性服を扱う店舗を複数収容している。 Thecommercial facility 200 houses a plurality ofstores 200A, 200B, 200C, .Stores 200A, 200B, 200C, . . . include stores that handle the same or similar products. In this embodiment, thecommercial complex 200 houses a plurality of stores that sell women's clothing.

商業施設内情報システム１００は、管理サーバー１、店内カメラ２、携帯端末３を備える。 A commercialfacility information system 100 includes a management server 1 , an in-store camera 2 , and amobile terminal 3 .

管理サーバー１は、ユーザー情報１１、店舗情報１２、商品情報１３を管理する。管理サーバー１はこれら情報を格納するための読み書き可能な記憶装置を備える。記憶装置は例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）である。 The management server 1 managesuser information 11 ,store information 12 andproduct information 13 . The management server 1 has a readable/writable storage device for storing these information. Storage devices are, for example, HDDs (Hard Disk Drives) and SSDs (Solid State Drives).

ユーザー情報１１は、ユーザー、即ち、買物客それぞれに係る情報である。ユーザー情報はユーザーの顔の画像１１Ａを含む。画像１１Ａをユーザー画像と呼ぶ。ユーザー画像１１Ａは任意のフォーマットの画像データである。後述するように、ユーザー画像１１Ａは、携帯端末３から管理サーバー１にアップロードされる。 Theuser information 11 is information relating to each user, ie shopper. User information includes animage 11A of the user's face. Theimage 11A is called a user image. Theuser image 11A is image data in any format. As will be described later, theuser image 11A is uploaded from themobile terminal 3 to the management server 1. FIG.

また、ユーザー情報１１は行動履歴１１Ｂを含む。行動履歴１１Ｂは、そのユーザーが商業施設２００内で行った行動の履歴情報である。 Also, theuser information 11 includes anaction history 11B. Theaction history 11B is history information of actions performed by the user within thecommercial facility 200 .

店舗情報１２は、商業施設２００が収容する各店舗に係る情報である。店舗情報１２は、その店舗を識別するための識別情報（店舗識別情報）、その店舗が扱う商品に関する情報（取扱商品情報）、その店舗に設置された店内カメラ２を識別するための識別情報（店内カメラ識別情報）を含む。 Thestore information 12 is information related to each store housed in thecommercial facility 200 . Thestore information 12 includes identification information for identifying the store (store identification information), information on products handled by the store (handling product information), and identification information for identifying the in-store camera 2 installed in the store ( in-store camera identification information).

店舗識別情報は、例えばその店舗の名称、商業施設２００内におけるその店舗の位置（例えば、商業施設２００のビル内において３階のＡブロックにあるとき３－Ａ等）、その他、各店舗を個々に識別可能であるように店舗毎に予め付与した識別情報である。 The store identification information includes, for example, the name of the store, the location of the store within the commercial facility 200 (for example, 3-A when located in the A block on the 3rd floor within the building of the commercial facility 200), and other individual stores. This is identification information given in advance to each store so that it can be identified in advance.

取扱商品情報は、その店舗が扱う商品に関する情報である。取扱商品情報は、その店舗が扱う商品の商品識別情報（後述）、その商品の価格、その商品の在庫数を含む。 The handling product information is information related to the products handled by the store. The handling product information includes product identification information (described later) of the product handled by the store, the price of the product, and the stock quantity of the product.

店内カメラ識別情報は例えばその店内カメラ２のＩＰアドレスである。 The in-store camera identification information is, for example, the IP address of the in-store camera 2 .

商品情報１３は、商業施設２００の全店舗が扱う商品に関する情報である。店舗２００Ａ、２００Ｂ、２００Ｃ、…の各店舗が扱う、全ての商品についての情報が商品情報１３に含まれる。商品情報１３は、商品の名称、その商品の識別情報（商品識別情報）、その商品の価格、その商品を扱う店舗の店舗識別情報、その商品の属性を示す情報（商品属性情報）等を含む。また、商品情報１３は、その商品の画像１３Ａ、即ち、商品画像１３Ａを含む。 Theproduct information 13 is information about products handled by all stores in thecommercial facility 200 . Theproduct information 13 includes information about all products handled by thestores 200A, 200B, 200C, . . . Theproduct information 13 includes product name, product identification information (product identification information), price of the product, store identification information of the store that handles the product, information indicating attributes of the product (product attribute information), and the like. . In addition, theproduct information 13 includes animage 13A of the product, that is, theproduct image 13A.

商品識別情報は、各商品を他の商品から識別可能に予め付与される識別情報である。例えば、EAN(European Article Number)コード、JAN(Japanese Article Number)コードを商品識別情報として用いることとしてもよい。また、JANコードと、商業施設２００内、或いは、その店舗内で発行したインストアコードとを組み合わせたものを、商品識別情報として用いてもよい。 The product identification information is identification information given in advance so that each product can be identified from other products. For example, an EAN (European Article Number) code or a JAN (Japanese Article Number) code may be used as product identification information. Also, a combination of a JAN code and an in-store code issued within thecommercial facility 200 or within the store may be used as product identification information.

商品属性情報としては、その商品のサイズ、色、柄、材質、ブランド名や、これらの組み合わせが考えられる。また、その商品を含む商品のカテゴリを商品属性情報として含むこととしてもよい。 The product attribute information may include the size, color, pattern, material, brand name, and combinations thereof of the product. Also, the product category including the product may be included as the product attribute information.

また、管理サーバー１はデータ収集部１４を備える。データ収集部１４は店内カメラ２、携帯端末３とデータ通信を行う通信装置を含む。 The management server 1 also includes adata collection unit 14 . Thedata collection unit 14 includes a communication device that performs data communication with the in-store camera 2 and themobile terminal 3 .

データ収集部１４と店内カメラ２とを接続するデータ通信回線は有線であっても無線であってもよい。例えば、データ収集部１４はＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）ケーブル、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブルを介して店内カメラ２と接続されてもよいし、無線ＬＡＮ回線を介して接続されてもよい。 The data communication line that connects thedata collection unit 14 and the in-store camera 2 may be wired or wireless. For example, thedata collection unit 14 may be connected to the in-store camera 2 via a LAN (Local Area Network) cable, a USB (Universal Serial Bus) cable, or via a wireless LAN line.

データ収集部１４は店内カメラ２とデータ通信を行い、店内カメラ２から画像を受信する。店内カメラ２の画像を店内画像と呼ぶものとする。データ収集部１４は、店内画像の送信元である店内カメラ２の店内カメラ識別情報を、その店内画像と共に、データ抽出部１５に出力する。 Thedata collection unit 14 performs data communication with the in-store camera 2 and receives images from the in-store camera 2 . An image captured by the in-store camera 2 is called an in-store image. Thedata collection unit 14 outputs the in-store camera identification information of the in-store camera 2 that is the transmission source of the in-store image to thedata extraction unit 15 together with the in-store image.

データ収集部１４と携帯端末３とを接続するデータ通信回線は基本的には無線回線である。この無線回線は、例えばLTE（Long Term Evolution）回線のような携帯電話網を介したものであってもよい。或いは、この無線回線は、商業施設２００に設置された無線LANによるものであってもよい。 The data communication line that connects thedata collection unit 14 and theportable terminal 3 is basically a wireless line. This wireless line may be via a mobile phone network such as an LTE (Long Term Evolution) line, for example. Alternatively, this wireless line may be a wireless LAN installed in thecommercial facility 200 .

データ収集部１４は携帯端末３とデータ通信を行い、携帯端末３から、その携帯端末３のユーザーの顔を撮影した画像を受信する。この画像を、データ収集部１４は、送信元の携帯端末３のユーザーと関連付けて、ユーザー画像１１Ａとしてユーザー情報１１に記録する。 Thedata collection unit 14 performs data communication with themobile terminal 3 and receives an image of the face of the user of themobile terminal 3 from themobile terminal 3 . Thedata collection unit 14 records this image in theuser information 11 as auser image 11A in association with the user of theportable terminal 3 that is the transmission source.

データ収集部１４は、特定の携帯端末３を宛先としたデータをデータ抽出部１５から受け取って、その宛先の携帯端末３に送信する。 Thedata collection unit 14 receives data destined for a specific mobile terminal 3 from thedata extraction unit 15 and transmits the data to themobile terminal 3 as the destination.

更に、管理サーバー１はデータ抽出部１５を備える。データ抽出部１５はデータ処理装置及び画像処理装置を備える。データ抽出部１５は、店舗情報１２に基づいて、店内カメラ識別情報が示す店内カメラ２を特定する。その際、データ抽出部１５は、店舗情報１２に基づいて、その店内カメラ２が設置されている店舗を識別する。 Furthermore, the management server 1 has adata extractor 15 . Thedata extraction unit 15 includes a data processing device and an image processing device. Thedata extraction unit 15 identifies the in-store camera 2 indicated by the in-store camera identification information based on thestore information 12 . At that time, thedata extraction unit 15 identifies the store where the in-store camera 2 is installed based on thestore information 12 .

また、データ抽出部１５は、ユーザー画像１１Ａに基づいて、店内画像に含まれるユーザーを識別する。 Further, thedata extraction unit 15 identifies the user included in the in-store image based on theuser image 11A.

また、データ抽出部１５は、その店内カメラ２が設置されている店舗の商品情報１３に含まれる商品画像１３Ａに基づいて、店内画像に含まれる商品を識別する。 Further, thedata extraction unit 15 identifies the product included in the in-store image based on theproduct image 13A included in theproduct information 13 of the store in which the in-store camera 2 is installed.

また、データ抽出部１５は、特定したユーザーの行動履歴１１Ｂを更新する。例えば、そのユーザーの行動履歴１１Ｂに、ユーザーが入店した店舗の店舗識別情報、その店舗への入店とその時刻、その店舗でユーザーがチェックした商品の商品識別情報、その店舗からの退店とその時刻を追加する。 Thedata extraction unit 15 also updates theaction history 11B of the specified user. For example, in theaction history 11B of the user, the store identification information of the store the user entered, the time of entering the store, the item identification information of the item checked by the user at the store, and the exit from the store. and add the time.

また、データ抽出部１５は、データ収集部１４を介して、特定した人物の行動履歴１１Ｂの一部或いは全体をその人物の携帯端末３に送信する。 In addition, thedata extraction unit 15 transmits part or all of the identified person'saction history 11B to themobile terminal 3 of the person via thedata collection unit 14 .

更に、データ抽出部１５は、行動履歴１１Ｂにそのユーザーがチェックしたと記録された商品に基づいて、その商品に関連する商品についての情報を商品情報１３から取得する。データ抽出部１５は取得した情報をデータ収集部１４を介してその行動履歴１１Ｂのユーザーの携帯端末３に送信する。 Furthermore, thedata extracting unit 15 acquires from theproduct information 13 information about products related to products recorded in theaction history 11B as being checked by the user. Thedata extraction unit 15 transmits the acquired information to theportable terminal 3 of the user of theaction history 11B via thedata collection unit 14. FIG.

図２を参照して説明する。店内カメラ２Ａ、２Ｂ、２Ｃ、…は同じ構造を有する。これらをまとめて店内カメラ２と呼ぶ。店内カメラ２は、カメラ２１、画像処理部２２、通信部２３を備える。尚、店内カメラ２は、店舗２００Ａ、２００Ｂ、２００Ｃ、…の各店舗に少なくとも一台設置する。 Description will be made with reference to FIG. The in-store cameras 2A, 2B, 2C, . . . have the same structure. These are collectively called an in-store camera 2 . The in-store camera 2 includes acamera 21 , animage processing section 22 and acommunication section 23 . At least one in-store camera 2 is installed in each of thestores 200A, 200B, 200C, .

各店舗に設置する店内カメラ２の台数は、店舗毎に定められ、店舗の規模、取扱商品の品数、商品の大きさ等によって異なる。店舗の出入口を撮影する店内カメラ２を各店舗に設置する。また、その店舗の中に陳列した全商品が撮影可能となる台数の店内カメラ２を店舗毎に設置する。 The number of in-store cameras 2 installed in each store is determined for each store, and varies depending on the size of the store, the number of products handled, the size of products, and the like. An in-store camera 2 for photographing the entrance/exit of the store is installed in each store. Also, the number of in-store cameras 2 capable of photographing all the commodities displayed in the store is installed in each store.

カメラ２１は固体撮像素子である。例えば、CCD(Charge-Coupled Device)カメラ、CMOS(Complementary Metal-Oxcide-Semiconductor)イメージセンサをカメラ２１として用いることができる。カメラ２１は店内カメラ２を設置した店舗内を撮影して、その店舗の店内画像を出力するカメラである。例えば、店内カメラ２Ａは店舗２００Ａの店内画像を出力する。カメラ２１は十分に短い時間毎に所定の枚数の店内画像を出力する。これによりカメラ２１は実質的にリアルタイムの画像を出力する。 Thecamera 21 is a solid-state imaging device. For example, a CCD (Charge-Coupled Device) camera or a CMOS (Complementary Metal-Oxcide-Semiconductor) image sensor can be used as thecamera 21 . Thecamera 21 is a camera that captures an image of the inside of the store where the in-store camera 2 is installed and outputs an in-store image of the store. For example, the in-store camera 2A outputs an in-store image of thestore 200A. Thecamera 21 outputs a predetermined number of in-store images at sufficiently short time intervals. This allows thecamera 21 to output substantially real-time images.

画像処理部２２は、カメラ２１が出力する画像データに対して画像処理を行う。画像認識処理は顔認識処理、物体認識処理を含む。 Theimage processing unit 22 performs image processing on image data output by thecamera 21 . Image recognition processing includes face recognition processing and object recognition processing.

画像処理部２２は、店内画像に対して顔認識処理を行い、人間の入退店を検出する。人間の入退店を検出すると、画像処理部２２は、その時刻を示す時刻情報と共に、その店内画像を、通信部２３を介して管理サーバー１に送信する。 Theimage processing unit 22 performs face recognition processing on the in-store image to detect the entry and exit of a person. When detecting that a person enters or leaves the store, theimage processing unit 22 transmits the image of the inside of the store to the management server 1 via thecommunication unit 23 together with the time information indicating the time.

また、画像処理部２２は、店舗内の人間が商品をチェックしているか否かを判定する。チェックしていると判定した場合、画像処理部２２は、その店内画像を、通信部２３を介して管理サーバー１に送信する。 Theimage processing unit 22 also determines whether or not a person in the store is checking the products. When it is determined that the image is checked, theimage processing unit 22 transmits the in-store image to the management server 1 via thecommunication unit 23 .

店舗内の人間が商品をチェックしているか否かの判定は例えば次のようにして行う。画像処理部２２は、店内画像Ｐ_１に基づいて、店舗内の人間が商品に触れていると判定すると、その時刻ｔ_１を記録する。以後の店内画像Ｐ_２～Ｐ_ｘ－１（Ｘは自然数）に基づいても同様の判定を行う。店内画像Ｐ_ｘに基づいて同様の判定をしたとき、その人間がその商品に触れていないと判定したとする。このとき、画像処理部２２は、その時刻ｔ_ｘと時刻ｔ_１との差分ｔ_ｄを求め、差分ｔ_ｄと予め定められた閾値ｔ_ｔと比較する。差分ｔ_ｄが閾値ｔ_ｔよりも大きいとき、画像処理部２２は、その人物がその商品をチェックしたと判定する。この判定に応じて、画像処理部２２は、店内画像Ｐ_１～Ｐ_ｘの一部乃至全部を、通信部２３を介して管理サーバー１に送信する。Determination as to whether or not a person in the store is checking the merchandise is performed, for example, as follows. When theimage processing unit 22 determines that_a person in the store is touching the product based on the in_- store image P1, theimage processing unit 22 records the time t1. The same determination is made based on the subsequent in-store images P₂ to P_x−1 (where X is a natural number). Assume that when the same determination is made based on the in-store image_Px , it is determined that the person has not touched the product. At this time, theimage processing unit 22 obtains the difference td between the time_tx and the time_t1 , and compares the difference_td with_a predetermined threshold_tt . When the difference t_d is greater than the threshold t_t , theimage processing unit 22 determines that the person has checked the product. In response to this determination, theimage processing unit 22 transmits part or all of the in-store images P₁ to P_x to the management server 1 via thecommunication unit 23 .

通信部２３は管理サーバー１のデータ収集部１４と通信を行う通信装置である。上述のように、データ収集部１４と通信部２３とを接続するデータ通信回線は有線であっても無線であってもよい。例えば、通信部２３はＬＡＮケーブル、ＵＳＢケーブルを介して管理サーバー１と接続されてもよいし、無線ＬＡＮ回線を介して接続されてもよい。 Thecommunication unit 23 is a communication device that communicates with thedata collection unit 14 of the management server 1 . As described above, the data communication line connecting thedata collection unit 14 and thecommunication unit 23 may be wired or wireless. For example, thecommunication unit 23 may be connected to the management server 1 via a LAN cable or USB cable, or may be connected via a wireless LAN line.

通信部２３はデータ収集部１４とデータ通信を行い、店内カメラ２から画像を受信する。店内カメラ２の画像を店内画像と呼ぶものとする。データ収集部１４は、店内画像の送信元である店内カメラ２の店内カメラ識別情報を、その店内画像と共に、データ抽出部１５に出力する。 Thecommunication unit 23 performs data communication with thedata collection unit 14 and receives images from the in-store camera 2 . An image captured by the in-store camera 2 is called an in-store image. Thedata collection unit 14 outputs the in-store camera identification information of the in-store camera 2 that is the transmission source of the in-store image to thedata extraction unit 15 together with the in-store image.

携帯端末３は携帯可能かつ無線通信可能な情報処理装置である。商業施設２００を訪れる買物客は、それぞれ、携帯端末３を携帯して商業施設２００内を移動する。例えば、スマートフォン、タブレット、ラップトップコンピュータ、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄａｔａ Ａｓｓｉｓｔａｎｔ）等を携帯端末３として用いることができる。携帯端末３の典型的な例は、買物客自身が所有するスマートフォン、タブレットである。 Themobile terminal 3 is an information processing device that is portable and capable of wireless communication. Each shopper who visits thecommercial facility 200 carries themobile terminal 3 and moves within thecommercial facility 200 . For example, a smart phone, a tablet, a laptop computer, a PDA (Personal Data Assistant), or the like can be used as themobile terminal 3 . A typical example of themobile terminal 3 is a smartphone or tablet owned by the shopper.

携帯端末３は、制御部３１、表示部３２、入力部３３、カメラ３４、記録部３５、無線通信部３６を備える。 Themobile terminal 3 includes acontrol section 31 , adisplay section 32 , aninput section 33 , acamera 34 , arecording section 35 and awireless communication section 36 .

制御部３１はCPU(Central Processing Unit)を備え、携帯端末３の各部の動作を制御する。また、制御部３１は、オペレーティングシステム(Operating System, OS)を実行し、その上でアプリケーションプログラムを実行する。オペレーティングシステムの種類は任意であり、例えば、グーグルのアンドロイド、アップルのｉＯＳ、マイクロソフトのMicrosoft Windows 10 Mobileが考えられる。 Thecontrol unit 31 has a CPU (Central Processing Unit) and controls the operation of each unit of themobile terminal 3 . Further, thecontrol unit 31 executes an operating system (OS), and executes application programs thereon. Any type of operating system can be used, for example Google's Android, Apple's iOS, and Microsoft's Microsoft Windows 10 Mobile.

表示部３２は液晶ディスプレイ装置、有機EL(Electro-Luminescence)ディスプレイ装置等のディスプレイ装置である。 Thedisplay unit 32 is a display device such as a liquid crystal display device or an organic EL (Electro-Luminescence) display device.

入力部３３はキーボード、ポインティングデバイス等の入力装置である。タッチディスプレイ装置として、表示部３２と入力部３３を一体に構成することとしてもよい。 Theinput unit 33 is an input device such as a keyboard or pointing device. As a touch display device, thedisplay section 32 and theinput section 33 may be configured integrally.

カメラ３４は固体撮像素子である。カメラ２１と同様に、例えば、CCDカメラ、CMOSイメージセンサをカメラ３４として用いることができる。 Thecamera 34 is a solid-state imaging device. Similar to thecamera 21, for example, a CCD camera or a CMOS image sensor can be used as thecamera 34. FIG.

記録部３５はストレージデバイスである。記録部３５は、制御部３１上で実行するOSが生成する各種のデータを格納する。また、記録部３５は、外部からダウンロードしたアプリケーションプログラムを格納する。また、記録部３５は、制御部３１及びOSの上で実行するアプリケーションプログラムが生成する各種のデータを格納する。また、記録部３５は、カメラ３４が生成した画像を格納する。 Therecording unit 35 is a storage device. Therecording unit 35 stores various data generated by the OS executed on thecontrol unit 31 . Therecording unit 35 also stores application programs downloaded from the outside. Therecording unit 35 also stores various data generated by application programs executed on thecontrol unit 31 and the OS. Also, therecording unit 35 stores images generated by thecamera 34 .

特に、記録部３５は、管理サーバー１と連携して動作する専用のアプリケーションプログラムを格納している。以下、このアプリケーションプログラムをユーザーアプリ３７と呼ぶ。図４に示すように、ユーザーアプリ３７は、ユーザー登録処理４１、行動履歴処理４２、商品情報処理４３、お気に入り処理４４、ポイント処理４５を含み、これらの処理を制御部３１に実行させる。尚、ここでは、表示部３２、入力部３３はタッチディスプレイとして携帯端末３に実装されているものとして説明する。 In particular, therecording unit 35 stores a dedicated application program that operates in cooperation with the management server 1 . This application program is hereinafter referred to as auser application 37 . As shown in FIG. 4, theuser application 37 includesuser registration processing 41,action history processing 42,product information processing 43,favorite processing 44, andpoint processing 45, and causes thecontrol unit 31 to execute these processes. Here, it is assumed that thedisplay unit 32 and theinput unit 33 are mounted on themobile terminal 3 as touch displays.

ユーザーアプリ３７を実行すると、制御部３１は、表示部３２に、例えば図５のようなメニュー画面５０を表示させる。「顔を登録する」５１、「行動履歴を表示する」５２、「お気に入りを表示する」５３、「ポイントを表示する」５４は、それぞれ、タッチディスプレイ上に表示されたボタンである。「顔を登録する」５１のタップに応じてユーザー登録処理４１に移行する。「行動履歴を表示する」５２のタップに応じて行動履歴処理４２に移行する。「お気に入りを表示する」５３のタップに応じてお気に入り処理４４に移行する。「ポイントを表示する」５４のタップに応じてポイント処理４５に移行する。 When theuser application 37 is executed, thecontrol unit 31 causes thedisplay unit 32 to display amenu screen 50 as shown in FIG. 5, for example. "Register Face" 51, "Display Action History" 52, "Display Favorites" 53, and "Display Points" 54 are buttons displayed on the touch display. When "Register face" 51 is tapped, theuser registration process 41 is performed. In response to the tap of "display action history" 52, theaction history process 42 is performed. When "display favorites" 53 is tapped, the process shifts to favorites processing 44. FIG. When "display points" 54 is tapped, the process shifts to pointprocessing 45 .

ユーザー登録処理４１は、携帯端末３のユーザーを管理サーバー１に登録する処理である。ユーザー登録処理４１では、制御部３１は、入力部３３、カメラ３４を用いて入力されるユーザー情報を受け付けて、無線通信部３６によって管理サーバー１に送信する。User registration processing 41 is processing for registering the user of themobile terminal 3 in the management server 1 . In theuser registration process 41 , thecontrol unit 31 receives user information input using theinput unit 33 and thecamera 34 and transmits the user information to the management server 1 through thewireless communication unit 36 .

入力部３３を用いて入力されるユーザー情報としては、例えば自分の名前、性別、年齢、住所、電話番号、メールアドレス、クレジットカード番号、商業施設２００が発行した会員番号等が考えられる。また、カメラ３４を用いて入力されるユーザー情報としては、ユーザー自身の顔を撮影して生成した顔画像がある。 User information input using theinput unit 33 may include, for example, one's own name, gender, age, address, telephone number, e-mail address, credit card number, membership number issued by thecommercial facility 200, and the like. User information input using thecamera 34 includes a face image generated by photographing the user's own face.

制御部３１は、これらのユーザー情報を、無線通信部３６を用いて管理サーバー１に送信する。管理サーバー１では、データ収集部１４がユーザー情報を受信すると、データ抽出部１５が、そのユーザー情報を、そのユーザーに対して予め付与されたユーザー識別情報と関連付けて、ユーザー情報１１に格納する。特に、顔画像はユーザー画像１１Ａとして格納する。 Thecontrol unit 31 transmits this user information to the management server 1 using thewireless communication unit 36 . In the management server 1, when thedata collection unit 14 receives the user information, thedata extraction unit 15 stores the user information in theuser information 11 in association with the user identification information given to the user in advance. In particular, face images are stored asuser images 11A.

行動履歴処理４２は、管理サーバー１に予め記録されている、その携帯端末３のユーザーの行動履歴を取得して、表示部３２に表示する処理である。「行動履歴を表示する」５２をタップすると、制御部３１は、無線通信部３６を用いて、管理サーバー１に行動履歴を問い合わせる。管理サーバー１は、ユーザー情報１１を参照して、その携帯端末３のユーザーの行動履歴１１Ｂを読み出して、携帯端末３に送信する。無線通信部３６が行動履歴１１Ｂを受信すると、制御部３１は、表示部３２を用いて入退店履歴を表示する。 Theaction history process 42 is a process of acquiring the action history of the user of theportable terminal 3 prerecorded in the management server 1 and displaying it on thedisplay unit 32 . When “display action history” 52 is tapped, thecontrol unit 31 uses thewireless communication unit 36 to inquire of the management server 1 about the action history. The management server 1 refers to theuser information 11 , reads theaction history 11</b>B of the user of themobile terminal 3 , and transmits it to themobile terminal 3 . When thewireless communication unit 36 receives theaction history 11B, thecontrol unit 31 uses thedisplay unit 32 to display the entry/exit history.

入退店履歴の画面の一例を図６に示す。図６のテーブルにおいて、「ＩＮ」の列にあるセルには、その携帯端末３のユーザーがある店舗に入店した入店時刻を示す値が記載されている。「ＯＵＴ」の列にあるセルには、その携帯端末３のユーザーがその店舗から退店した退店時刻を示す値が記載されている。「店舗名」の列にあるセルには、その店舗の名称を示す文字列が記載されている。店舗名「○○」、「△△」、「□□」はそれぞれ順に、店舗２００Ａ、２００Ｂ、２００Ｃの店舗名である。「チェックした商品」の列にあるセルには、その携帯端末３のユーザーがその店舗でチェックした商品の品数を示す値と、文字列「詳細を表示」が記載されている。文字列「詳細を表示」はリンクである。ユーザーが入力部３３でリンク「詳細を表示」を選択する（例えばタッチディスプレイをタップする）と、制御部３１は、表示部３２に表示する画面を、図６の入退店履歴から後述する図７のチェック商品履歴に切り替える。 FIG. 6 shows an example of a store entrance/exit history screen. In the table of FIG. 6, a cell in the "IN" column contains a value indicating the time when the user of themobile terminal 3 entered the store. A cell in the "OUT" column contains a value indicating the time when the user of theportable terminal 3 left the store. A cell in the "store name" column contains a character string indicating the name of the store. The store names "○○", "△△", and "□□" are the store names of thestores 200A, 200B, and 200C, respectively. A value indicating the number of products checked by the user of theportable terminal 3 at the store and a character string "details display" are described in a cell in the column of "checked product". The string "show details" is a link. When the user selects the link “display details” on the input unit 33 (for example, taps the touch display), thecontrol unit 31 causes the screen displayed on thedisplay unit 32 to be changed from the entry/exit history of FIG. Switch to check product history of 7.

図６に例示した入退店履歴には、携帯端末３のユーザーが、１０時４０分から１１時まで店舗名「○○」（店舗２００Ａ）に滞在し、３点の商品をチェックしたことが記録されている。また、同じユーザーが、１１時１３分から１１時２０分まで店舗名「△△」（店舗２００Ｂ）に滞在し、１点の商品をチェックしたことが記録されている。また、同じユーザーが、１１時３０分から１２時５分まで店舗名「□□」（店舗２００Ｃ）に滞在し、３点の商品をチェックしたことが記録されている。 In the store entrance/exit history illustrated in FIG. 6, it is recorded that the user of themobile terminal 3 stayed at the store name "○○" (store 200A) from 10:40 to 11:00 and checked three products. It is Also, it is recorded that the same user stayed at the store name “ΔΔ” (store 200B) from 11:13 to 11:20 and checked one product. Also, it is recorded that the same user stayed at the store name "□□" (store 200C) from 11:30 to 12:05 and checked three products.

既に述べたように、入退店履歴でリンク「詳細を表示」をタップすると、携帯端末３のユーザーがその店舗でチェックした商品の一覧を表示する画面、即ち、チェック商品履歴を表示する。図７を参照すると、画面上部には、「○○店でチェックした商品」との見出しが表示されている。その見出しの下に、携帯端末３のユーザーが、店舗名「○○」（店舗２００Ａ）でチェックした商品の一覧が表示されている。「Ｎｏ」の列にあるセルには、ユーザーがその商品をチェックした順番を示す数字が記載されている。「商品名」の列にあるセルには、ユーザーがチェックした商品の名称と、リンク「詳細を表示」が記載されている。ユーザーが例えばリンク「詳細を表示」をタッチディスプレイ上でタップすると、制御部３１は、対応する商品を対象として指定した商品情報処理４３を行う。商品情報処理４３については後述する。 As already described, when the user of theportable terminal 3 taps the link "Show details" in the store entry/exit history, a screen displaying a list of products checked at the store by the user, that is, the checked product history is displayed. Referring to FIG. 7, the upper part of the screen displays the headline "products checked at XX store". Under the heading, a list of products checked by the user of themobile terminal 3 at the store name "○○" (store 200A) is displayed. A cell in the "No" column contains a number indicating the order in which the user checked the product. The cell in the "product name" column contains the name of the product checked by the user and the link "show details". When the user taps, for example, a link "display details" on the touch display, thecontrol unit 31 performsproduct information processing 43 that designates the corresponding product as a target. Theproduct information processing 43 will be described later.

図７に例示したチェック商品履歴には、店舗名「○○」（店舗２００Ａ）において、携帯端末３のユーザーが、１番目に「長袖ブラウス」をチェックしたことが記録されている。以下、同様に、２－５番目に「鞄」、「靴」、「帽子」、「ジーンズ」をチェックしたことが記録されている。 In the checked product history illustrated in FIG. 7, it is recorded that the user of themobile terminal 3 first checked "long-sleeved blouse" at the store name "○○" (store 200A). Similarly, it is recorded that "bag", "shoes", "hat", and "jeans" were checked in the 2nd to 5th places.

商品情報処理４３を実行すると、制御部３１は、指定された商品についての商品詳細情報を管理サーバー１に要求する。これに応答して、管理サーバー１は、商品情報１３から指定された商品の商品詳細情報を取得して、携帯端末３に送信する。商品詳細情報は、商品の画像、チェックした店舗名、商品名、金額、カラー、サイズ、在庫を含む。 When theproduct information processing 43 is executed, thecontrol unit 31 requests the management server 1 for detailed product information on the specified product. In response to this, the management server 1 acquires detailed product information of the specified product from theproduct information 13 and transmits it to theportable terminal 3 . The detailed product information includes the image of the product, the name of the shop that was checked, the name of the product, the price, the color, the size, and the inventory.

ここでは、図７のチェック商品履歴に記載のリンク「詳細を表示」をタップしたときに表示される画面を例に挙げて説明する。図８の商品詳細は、図７、１番目の「長袖ブラウス」と共に記載のリンク「詳細を表示」のタップ等に応答して表示される画面である。「商品詳細」の見出しの下に、商品詳細情報が表示されている。商品詳細情報の下には、「類似商品を見る」ボタン８１が表示されている。「類似商品を見る」ボタン８１の下には、「お気に入りに登録する」ボタン８２、「戻る」ボタン８３が表示されている。「お気に入りに登録する」ボタン８２をユーザーがタップ等すると、後述するお気に入り処理４４に移行する。「戻る」ボタン８２をユーザーがタップ等すると、図７のチェック商品履歴画面に戻る。 Here, the screen displayed when the link "details" described in the checked product history in FIG. 7 is tapped will be described as an example. The product details in FIG. 8 are screens displayed in response to tapping of the link "show details" described together with the first "long-sleeved blouse" in FIG. Under the heading of "Product Details", detailed product information is displayed. A “view similar products”button 81 is displayed below the detailed product information. Below the "view similar products"button 81, a "register to favorites"button 82 and a "return"button 83 are displayed. When the user taps the "Register to Favorites"button 82, the process proceeds to favorites processing 44, which will be described later. When the user taps the "return"button 82, the screen returns to the checked product history screen of FIG.

ユーザーが「類似商品を見る」ボタン８１をタップ等すると、制御部３１は、商品情報処理４３に従って、図７、１番目の「長袖ブラウス」に類似した商品の商品詳細情報を、無線通信部３６を介して管理サーバー１に要求する。 When the user taps the "view similar products"button 81, etc., thecontrol unit 31, in accordance with theproduct information processing 43, sends detailed product information of products similar to the first "long-sleeved blouse" in FIG. request to the management server 1 via

管理サーバー１では、データ収集部１４がこの要求を受信する。この要求に応じて、データ抽出部１５は、商品情報１３から該当する商品の商品詳細情報を取得して、データ収集部１４を介して携帯端末３に送信する。 In the management server 1, thedata collection unit 14 receives this request. In response to this request, thedata extraction unit 15 acquires detailed product information of the corresponding product from theproduct information 13 and transmits it to themobile terminal 3 via thedata collection unit 14 .

このとき、データ抽出部１５は、携帯端末３から指定された商品に類似した商品を、商品情報１３から検索する。商品間の類似については商品情報１３に予め定めておいてもよい。例えば、各商品の商品詳細情報として、その商品に類似した商品の商品識別情報を予め記録しておくことが考えられる。この場合、データ抽出部１５は、携帯端末３から指定された商品が、類似商品として記録されている商品詳細情報を、商品情報１３から検索する。 At this time, thedata extraction unit 15 searches theproduct information 13 for products similar to the product specified by theportable terminal 3 . Similarity between products may be defined in theproduct information 13 in advance. For example, it is conceivable to record in advance product identification information of products similar to the product as product detailed information of each product. In this case, thedata extraction unit 15 searches theproduct information 13 for detailed product information in which the product specified by themobile terminal 3 is recorded as a similar product.

また、例えば、商品情報１３に含まれる各商品に、一乃至複数の属性情報を予め付与しておき、各商品の商品詳細情報として、その商品の属性情報を記録しておくこととしてもよい。この場合、データ抽出部１５は、携帯端末３から指定された商品に付与されたものと同じ属性情報を、一乃至複数記録された商品詳細情報を、商品情報１３から検索する。 Further, for example, one or more pieces of attribute information may be assigned in advance to each product included in theproduct information 13, and the attribute information of the product may be recorded as the detailed product information of each product. In this case, thedata extracting unit 15 searches theproduct information 13 for one or a plurality of recorded product detailed information for the same attribute information given to the product specified from theportable terminal 3 .

図９の類似商品の一覧画面には、４つの矩形領域９１～９４が記載され、それぞれにひとつの商品の商品詳細情報が記載されている。矩形領域９１には図８の商品が記載されている。矩形領域９２～９４にはそれぞれ図８の商品に類似した別商品の商品詳細情報が記載されている。矩形領域９５の「戻る」ボタンをユーザーがタップ等すると、制御部３１は表示部３２の表示を図８の商品詳細に戻す。 On the list screen of similar products in FIG. 9, fourrectangular areas 91 to 94 are described, and detailed product information of one product is described in each of them.Rectangular area 91 describes the product shown in FIG.Rectangular areas 92 to 94 describe product detail information of other products similar to the product in FIG. 8, respectively. When the user taps the "return" button in therectangular area 95, thecontrol section 31 returns the display of thedisplay section 32 to the product details shown in FIG.

矩形領域９２～９４に記載の店舗名が、どれも矩形領域９１の店舗名「○○店」とは異なる点に注意されたい。この画面を見ることにより、携帯端末３のユーザーは、自分が「○○店」でチェックした商品と類似した商品が、商業施設２００内の他店にあると知ることができる。また、その際に、各店舗での金額、在庫数を知ることができる。 It should be noted that the store names described in therectangular areas 92 to 94 are all different from the store name "○○ store" in therectangular area 91. FIG. By looking at this screen, the user of themobile terminal 3 can know that other shops in thecommercial facility 200 have products similar to the products he/she checked at the "○○ store". Also, at that time, the amount of money and the number of stocks at each store can be known.

矩形領域９１では、「クーポン」の文字が反転表示されている。この反転表示は、携帯端末３のユーザーが、矩形領域９１の店舗「○○店」で使用可能なクーポンを持っていることを示す。クーポンは店舗毎に電子的に発行されて、例えば、ユーザー情報１１として管理サーバー１に格納されている。このようにして、類似商品の一覧画面にて、ユーザーがクーポンを所持する店舗を表示することにより、ユーザーに対して商品購入の際の判断材料を提供することができる。 In therectangular area 91, the characters "coupon" are highlighted. This reverse display indicates that the user of themobile terminal 3 has a coupon that can be used at the store “OO store” in therectangular area 91 . Coupons are electronically issued for each store and stored in the management server 1 asuser information 11, for example. In this way, by displaying the store where the user has the coupon on the similar product list screen, it is possible to provide the user with information for making a decision when purchasing the product.

管理サーバー１は行動履歴１１Ｂに応じてユーザーにクーポンを発行することとしてもよい。例えば、管理サーバー１は、ユーザーが各店舗に入店した回数、商品をチェックした回数、時間を行動履歴１１Ｂから抽出し、これらの値に基づいてクーポンに関する決定を行うことが考えられる。即ち、そのユーザーにクーポンを発行するか否かや、発行するクーポンの種類、数等を管理サーバー１が決定する。更に、店舗のＰＯＳ（Ｐｏｉｎｔ Ｏｆ Ｓａｌｅｓ）システムと連携して、そのユーザーの購入実績と、行動履歴１１Ｂとに基づいて、管理サーバー１がクーポンを発行することとしてもよい。 The management server 1 may issue a coupon to the user according to theaction history 11B. For example, the management server 1 may extract the number of times the user has entered each store, the number of times the user has checked products, and the time from theaction history 11B, and make decisions regarding coupons based on these values. That is, the management server 1 determines whether or not to issue a coupon to the user, and the type and number of coupons to be issued. Further, the management server 1 may issue coupons in cooperation with the store's POS (Point Of Sales) system based on the user's purchase history andaction history 11B.

図８の「お気に入りに登録する」ボタン８２をユーザーがタップ等すると、制御部３１はお気に入り処理４４を実行する。お気に入り処理４４に従って、制御部３１は、商品詳細画面に表示されている商品を、お気に入りの商品として登録する。このとき、制御部３１は、この商品の商品識別情報を指定して、この商品をお気に入りに登録する旨の要求を、無線通信部３６を介して管理サーバー１に対して送信する。管理サーバー１では、データ収集部１４がこの要求を受信すると、データ抽出部１５がユーザー情報１１を更新して、そのユーザーのお気に入り１１Ｃにその商品識別情報を追加する。 When the user taps the "Register to Favorites"button 82 in FIG. According to thefavorite processing 44, thecontrol unit 31 registers the product displayed on the product detail screen as a favorite product. At this time, thecontrol unit 31 designates the product identification information of this product and transmits to the management server 1 via the wireless communication unit 36 a request to register this product as a favorite. In the management server 1, when thedata collection unit 14 receives this request, thedata extraction unit 15 updates theuser information 11 and adds the product identification information to the user'sfavorites 11C.

図５のメニュー画面において、「お気に入りを表示する」ボタン５３をユーザーがタップ等すると、制御部３１は、無線通信部３６を介して、管理サーバー１にお気に入りに登録された商品を要求する。管理サーバー１では、データ収集部１４がこの要求を受信すると、データ抽出部１５は、そのユーザーのお気に入り１１Ｃとして記録されている商品識別情報を読み出す。データ抽出部１５は、商品情報１３からその商品識別情報に該当する商品詳細情報を読み出して、データ収集部１４を介して、要求の送信元である携帯端末３に送信する。無線通信部３６が商品詳細情報を受信すると、制御部３１は、その商品詳細情報を表示部３２に表示する。 When the user taps the “Display Favorites”button 53 on the menu screen of FIG. In the management server 1, when thedata collection unit 14 receives this request, thedata extraction unit 15 reads out the product identification information recorded as the user'sfavorites 11C. Thedata extraction unit 15 reads the detailed product information corresponding to the product identification information from theproduct information 13, and transmits it to themobile terminal 3, which is the source of the request, via thedata collection unit 14. FIG. When thewireless communication unit 36 receives the detailed product information, thecontrol unit 31 displays the detailed product information on thedisplay unit 32 .

次に、商業施設内情報システム１００の動作について説明する。ある一個人のユーザーＵが携帯端末３を所持しているものとする。最初に、ユーザーＵのユーザー登録について図１０を参照して説明する。 Next, the operation of the commercialfacility information system 100 will be described. It is assumed that a certain individual user U possesses theportable terminal 3 . First, user registration of user U will be described with reference to FIG.

ユーザーＵは、携帯端末３の入力部３３を操作して、ユーザーアプリ３７を起動する。この操作に応じて、制御部３１はユーザーアプリ３７を記録部３５から読み出して実行する。ユーザーアプリ３７に従って、制御部３１は表示部３２でメニュー画面５０を表示する。ユーザーＵが入力部３３で「顔を登録する」ボタン５１を選択すると、制御部３１は、ユーザー登録処理４１を実行する（ステップＳ１）。 The user U operates theinput unit 33 of themobile terminal 3 to activate theuser application 37 . In response to this operation, thecontrol unit 31 reads out theuser application 37 from therecording unit 35 and executes it. According to theuser application 37 , thecontrol section 31 displays themenu screen 50 on thedisplay section 32 . When the user U selects the "register face"button 51 on theinput unit 33, thecontrol unit 31 executes user registration processing 41 (step S1).

ユーザーＵは、携帯端末３のカメラ３４を用いて自分の顔を撮影する操作を行う。この操作により、カメラ３４は、ユーザーＵの顔画像を生成する（ステップＳ２）。 The user U uses thecamera 34 of themobile terminal 3 to perform an operation of photographing his/her own face. By this operation, thecamera 34 generates a facial image of the user U (step S2).

制御部３１は、無線通信部３６を用いて管理サーバー１に顔画像を送信する（ステップＳ３）。尚、このときの顔画像の伝送経路は、携帯電話網を介するものであってもよいし、商業施設２００に設けた無線ＬＡＮ経由であってもよい。 Thecontrol unit 31 transmits the facial image to the management server 1 using the wireless communication unit 36 (step S3). The transmission path of the face image at this time may be via a mobile phone network or via a wireless LAN provided in thecommercial facility 200 .

管理サーバー１において、データ収集部１４が顔画像を受信する（ステップＳ４）と、データ抽出部１５は、送信元である携帯端末３のユーザーＵのユーザー画像１１Ａとしてその顔画像を記録する（ステップＳ５）。このようにして顔画像をユーザー画像１１Ａとして管理サーバー１に登録したユーザーを登録ユーザーと呼ぶものとする。 In the management server 1, when thedata collection unit 14 receives the face image (step S4), thedata extraction unit 15 records the face image as theuser image 11A of the user U of theportable terminal 3 that is the transmission source (step S5). A user whose face image is registered in the management server 1 as theuser image 11A in this way is called a registered user.

次に、図１１を参照して、登録ユーザーＵが商業施設２００に入り、店舗２００Ａ、２００Ｂ、２００Ｃ、…のいずれかに入店したときの商業施設内情報システム１００の動作について説明する。入店した店舗がどれであっても動作は同じなので、ここでは、ユーザーＵは、店内カメラ２が設置された店舗２００に入店したものとして説明する。 Next, referring to FIG. 11, the operation of the commercialfacility information system 100 when the registered user U enters thecommercial facility 200 and enters one of thestores 200A, 200B, 200C, . Since the operation is the same regardless of which store the user U enters, here, it is assumed that the user U has entered thestore 200 in which the in-store camera 2 is installed.

店内カメラ２のカメラ２１は、十分に短い時間間隔（例えば５秒に一回）で店舗２００の中を繰り返し撮影し、画像処理部２２に画像を出力する。画像処理部２２は、画像に人物が含まれているか否かの判定を各画像について行う。 Thecamera 21 of the in-store camera 2 repeatedly captures the inside of thestore 200 at sufficiently short time intervals (for example, once every 5 seconds) and outputs the image to theimage processing section 22 . For each image, theimage processing unit 22 determines whether or not the image includes a person.

画像処理部２２が画像に人物が含まれていると判定する（ステップＳ１１）と、画像処理部２２は、その画像と、その画像の撮影時刻とを、通信部２３を用いて管理サーバー１に送信する（ステップＳ１２）。 When theimage processing unit 22 determines that a person is included in the image (step S11), theimage processing unit 22 sends the image and the shooting time of the image to the management server 1 using thecommunication unit 23. Send (step S12).

管理サーバー１では、データ収集部１４が画像と撮影時刻とを受信する（ステップＳ１３）。この受信に応じて、データ抽出部１５が、受信した画像をユーザー画像１１Ａと比較して、その画像に含まれる人物が登録ユーザーか判定する（ステップＳ１４）。 In the management server 1, thedata collection unit 14 receives the image and the shooting time (step S13). In response to this reception, thedata extraction unit 15 compares the received image with theuser image 11A and determines whether the person included in the image is a registered user (step S14).

ここで、データ抽出部１５がその画像に含まれるユーザーを登録ユーザーＵと判定したとする。このとき、データ抽出部１５は、その画像の送信元である店内カメラ２を設置した店舗、即ち、店舗２００にユーザーＵが入店したことを、ユーザーＵの行動履歴１１Ｂとして記録する。その際、その画像の撮影時刻を、ユーザーＵが店舗２００に入店した入店時刻として記録する（ステップＳ１５）。ここで記録される入店時刻が、図６の「ＩＮ」セル内の時刻に対応する。 Assume that thedata extraction unit 15 determines that the user included in the image is the registered user U. At this time, thedata extraction unit 15 records, as the user U'saction history 11B, that the user U has entered the store, that is, thestore 200 where the in-store camera 2, which is the transmission source of the image, is installed. At that time, the photographing time of the image is recorded as the entry time when the user U entered the shop 200 (step S15). The entry time recorded here corresponds to the time in the "IN" cell of FIG.

店舗２００から人物が退店する場合の動作も基本的には同様である。退店の場合、ここで記録される退店時刻が、図６の「ＯＵＴ」セル内の時刻に対応する。 The operation when a person leaves thestore 200 is basically the same. In the case of leaving the store, the time of leaving the store recorded here corresponds to the time in the "OUT" cell of FIG.

店内カメラ２のカメラ２１は、十分に短い時間間隔（例えば５秒に一回）で店舗２００の中を繰り返し撮影し、画像を生成する。ステップＳ１１で人物の存在を検出後、店内カメラ２は撮影、生成した画像を撮影時刻と共に管理サーバー１に送信する（ステップＳ１１、Ｓ１２）。 Thecamera 21 of the in-store camera 2 repeatedly captures the inside of thestore 200 at sufficiently short time intervals (for example, once every 5 seconds) to generate an image. After detecting the presence of a person in step S11, the in-store camera 2 sends the captured and generated image to the management server 1 together with the time of capture (steps S11 and S12).

管理サーバー１では、データ収集部１４が画像と撮影時刻とを受信する（ステップＳ１３）。この受信に応じて、データ抽出部１５が、受信した画像をユーザー画像１１Ａと比較して、その画像に含まれる人物が登録ユーザーか判定する（ステップＳ１４）。 In the management server 1, thedata collection unit 14 receives the image and the shooting time (step S13). In response to this reception, thedata extraction unit 15 compares the received image with theuser image 11A and determines whether the person included in the image is a registered user (step S14).

ここで、データ抽出部１５が、その画像に含まれると判定した登録ユーザーの中に登録ユーザーＵが含まれていなかったとする。即ち、データ抽出部１５が、その画像には登録ユーザーが誰も含まれていないと判定したとする。或いは、データ抽出部１５が、行動履歴１１Ｂにおいて入店時刻のみが記録され、退店時刻が記録されていない登録ユーザーＵが、その画像に含まれていないと判定したとする。 Here, it is assumed that the registered user U is not included in the registered users determined to be included in the image by thedata extraction unit 15 . That is, assume that thedata extraction unit 15 determines that the image does not include any registered users. Alternatively, suppose that thedata extraction unit 15 determines that the image does not include the registered user U whose entry time is recorded in theaction history 11B but whose exit time is not recorded.

このとき、データ抽出部１５は、その画像の送信元である店内カメラ２を設置した店舗、即ち、店舗２００からユーザーＵが退店したことを、ユーザーＵの行動履歴１１Ｂとして記録する。その際、その画像の撮影時刻を、ユーザーＵが店舗２００から退店した退店時刻として記録する（ステップＳ１５）。ここで記録される退店時刻が、図６の「ＯＵＴ」セル内の時刻に対応する。 At this time, thedata extraction unit 15 records, as the user U'saction history 11B, that the user U has left the store, that is, thestore 200 where the in-store camera 2, which is the transmission source of the image, is installed. At that time, the shooting time of the image is recorded as the leaving time when the user U leaves the store 200 (step S15). The closing time recorded here corresponds to the time in the "OUT" cell in FIG.

次に、図１２を参照して、登録ユーザーＵが店舗２００の任意の商品Ｚをチェックしたことを行動履歴１１Ｂに記録するときの商業施設内情報システム１００の動作について説明する。 Next, referring to FIG. 12, the operation of the commercialfacility information system 100 when recording in theaction history 11B that the registered user U has checked an arbitrary product Z in thestore 200 will be described.

カメラ２１が出力する画像に基づいて、ユーザーＵが店舗２００の商品Ｚに触れたことを画像処理部２２が検出したとする（ステップＳ２１）。このとき、画像処理部２２は、その画像の撮影時刻ｔ１を記録する（ステップＳ２２）。 Assume that theimage processing unit 22 detects that the user U has touched the product Z in thestore 200 based on the image output by the camera 21 (step S21). At this time, theimage processing unit 22 records the photographing time t1 of the image (step S22).

次に、カメラ２１が出力する別の画像に基づいて、ユーザーＵが商品Ｚから手を離したことを画像処理部２２が検出したとする（ステップＳ２３）。このとき、画像処理部２２は、その画像の撮影時刻ｔ２を記録する（ステップＳ２４）。 Next, it is assumed that theimage processing unit 22 detects that the user U has released the product Z based on another image output by the camera 21 (step S23). At this time, theimage processing unit 22 records the photographing time t2 of the image (step S24).

次に、画像処理部２２は、差ｔ２－ｔ１を求めて、予め定められた閾値ｔｄと比較する（ステップＳ２５）。差ｔ２－ｔ１が閾値ｔｄよりも大きい場合、画像処理部２２は、ユーザーＵが商品Ｚをチェックしたと判定する。そして、画像処理部２２は、通信部２３を介して、ユーザーＵが商品をチェックした旨のメッセージと共に、商品Ｚを含む画像を管理サーバー１に送信する（ステップＳ２６）。 Next, theimage processing unit 22 obtains the difference t2-t1 and compares it with a predetermined threshold value td (step S25). If the difference t2-t1 is greater than the threshold value td, theimage processing unit 22 determines that the user U has checked the product Z. Then, theimage processing unit 22 transmits a message indicating that the user U has checked the product and an image including the product Z to the management server 1 via the communication unit 23 (step S26).

管理サーバー１において、データ収集部１４が画像を受信する（ステップＳ２７）と、データ抽出部１５が、受信した画像に基づいて、ユーザーＵがチェックした商品、即ち、商品Ｚを識別する（ステップＳ２８）。即ち、データ抽出部１５は、受信した画像と、その画像の送信元である店舗２００の商品の商品画像１３Ａとを比較することにより、商品Ｚを特定する。 In the management server 1, when thedata collection unit 14 receives the image (step S27), thedata extraction unit 15 identifies the product checked by the user U, that is, the product Z, based on the received image (step S28). ). That is, thedata extraction unit 15 identifies the product Z by comparing the received image with theproduct image 13A of the product of thestore 200, which is the transmission source of the image.

この識別結果を受けて、データ抽出部１５は、ユーザーＵが店舗２００で商品Ｚをチェックしたことを、行動履歴１１Ｂとして記録する（ステップＳ２９）。 In response to this identification result, thedata extraction unit 15 records that the user U checked the product Z at thestore 200 as theaction history 11B (step S29).

以後、ユーザーＵが店舗２００に滞在する間、ステップＳ２１～Ｓ２９を繰り返す。ここで記録される商品Ｚが、図７において「商品名」セルに記載されている５点の商品、即ち、「長袖ブラウス」、「鞄」、「靴」、「帽子」、「ジーンズ」それぞれに対応する。図６、図７の例では、ユーザーは、店舗○○に入店（１０時４０分）してから退店（１１時）するまでの間に、これら５点の商品をチェックしたと行動履歴１１Ｃに記録されたことになる。 Thereafter, while user U stays atstore 200, steps S21 to S29 are repeated. The products Z recorded here are the five products described in the "product name" cell in FIG. corresponds to In the examples of FIGS. 6 and 7, it is assumed that the user checked these five products from entering the store XX (at 10:40) until leaving the store (at 11:00). 11C.

次に、ユーザーＵが携帯端末３で自分の行動履歴を確認するときの商業施設内情報システム１００の動作について図１３を参照して説明する。 Next, the operation of the intra-commercialfacility information system 100 when the user U confirms his/her action history with theportable terminal 3 will be described with reference to FIG.

携帯端末３において、ユーザーＵが入力部３３を操作して、ユーザーアプリ３７を起動すると、以後、制御部３１はユーザーアプリ３７に従って動作する。まず、制御部３１は、表示部３２にメニュー画面５０を表示する（ステップＳ３１）。次に、ユーザーＵが、入力部３３により「行動履歴を表示する」ボタン５２を選択する操作を行うと、制御部３１は、行動履歴処理４２に移行する（ステップＳ３２）。行動履歴処理４２では、制御部３１は、ユーザーＵの行動履歴の送信を求める要求を、無線通信部３６を用いて管理サーバー１に送信する（ステップＳ３３）。 In themobile terminal 3 , when the user U operates theinput unit 33 to start theuser application 37 , thecontrol unit 31 operates according to theuser application 37 thereafter. First, thecontrol unit 31 displays themenu screen 50 on the display unit 32 (step S31). Next, when the user U operates theinput unit 33 to select the "display action history"button 52, thecontrol unit 31 proceeds to action history processing 42 (step S32). In theaction history process 42, thecontrol unit 31 uses thewireless communication unit 36 to transmit a request for transmission of the action history of the user U to the management server 1 (step S33).

管理サーバー１において、データ収集部１４が携帯端末３から要求を受信する（ステップＳ３４）と、データ抽出部１５がユーザーＵの行動履歴を行動履歴１１Ｂから取得する（ステップＳ３５）。より具体的には、商業施設２００内の店舗のうち、ユーザーＵがその日に入退店した各店舗への入店時刻、退店時刻、店舗名、チェックした商品の点数を含む情報（以下、この情報を入退店履歴と記す）を行動履歴１１Ｂから取得する。行動履歴１１Ｂから取得した、ユーザーＵの入退店履歴をデータ収集部１４が携帯端末３に送信する（ステップＳ３６）。 In the management server 1, when thedata collection unit 14 receives the request from the mobile terminal 3 (step S34), thedata extraction unit 15 acquires the action history of the user U from theaction history 11B (step S35). More specifically, among the shops in thecommercial facility 200, information including the entry time, the exit time, the name of the shop, the score of the checked product (hereinafter referred to as This information is referred to as entry/exit history) is obtained from theaction history 11B. Thedata collection unit 14 transmits the entry/exit history of the user U acquired from theaction history 11B to the portable terminal 3 (step S36).

携帯端末３に戻って、無線通信部３６がユーザーＵの入退店履歴を受信する（ステップＳ３７）と、制御部３１は、その受信した入退店履歴を表示部３２に表示する（ステップＳ３８）。このときの画面の例が図６である。この画面を見ることにより、ユーザーＵは、自分が商業施設２００内のどの店舗に何時から何時までいたのかを確認することができる。 Returning to theportable terminal 3, when thewireless communication unit 36 receives the entry/exit history of the user U (step S37), thecontrol unit 31 displays the received entry/exit history on the display unit 32 (step S38). ). An example of the screen at this time is shown in FIG. By looking at this screen, the user U can confirm which shop in thecommercial facility 200 he/she was at from what time to what time.

入退店履歴の表示後、ユーザーＵが希望する場合には、各店舗で自分がチェックした商品を確認することができる。このときの商業施設内情報システム１００の動作について図１４を参照して説明する。 After displaying the store entering/leaving history, if the user U wishes, he or she can check the products that the user has checked at each store. The operation of the commercialfacility information system 100 at this time will be described with reference to FIG.

ステップＳ３８と同様に、表示部３２が入退店履歴を表示している（ステップＳ４１）。この状態から、ユーザーＵが、入力部３３を用いて、チェックした商品の履歴を確認したい店舗の「チェックした商品」セルに記載されている、リンク「詳細を表示」を指定する操作を行う。この操作に応じて、制御部３１は、指定した店舗においてユーザーＵがチェックした商品の情報（以下、この情報をチェック商品履歴と記す）を、無線通信部３６を介して管理サーバー１に要求する（ステップＳ４２）。 As in step S38, thedisplay unit 32 displays the entry/exit history (step S41). From this state, the user U uses theinput unit 33 to perform an operation of designating the link 'details display' described in the 'checked product' cell of the store where the user wants to check the history of the checked product. In response to this operation, thecontrol unit 31 requests the management server 1 via thewireless communication unit 36 for information on products checked by the user U at the specified store (hereinafter, this information is referred to as checked product history). (Step S42).

管理サーバー１では、データ収集部１４がこの要求を受信する（ステップＳ４３）と、選択した店舗におけるユーザーＵのチェック商品履歴を、データ抽出部１５が行動履歴１１Ｂから取得する（ステップＳ４４）。データ収集部１４は、チェック商品履歴を携帯端末３に送信する（ステップＳ４５）。 In the management server 1, when thedata collecting unit 14 receives this request (step S43), thedata extracting unit 15 acquires the check product history of the user U at the selected store from theaction history 11B (step S44). Thedata collection unit 14 transmits the checked product history to the mobile terminal 3 (step S45).

携帯端末３に戻って、チェック商品履歴を無線通信部３６が受信する（ステップＳ４６）と、制御部３１は、例えば図７のようなチェック商品履歴を表示部３２に表示する（ステップＳ４７）。 Returning to theportable terminal 3, when thewireless communication unit 36 receives the check product history (step S46), thecontrol unit 31 displays the check product history as shown in FIG. 7, for example, on the display unit 32 (step S47).

チェック商品履歴を表示した後、ユーザーＵが希望する場合、チェック商品履歴に表示した商品や、その商品に類似した商品の情報を閲覧することができる。このときの商業施設内情報システム１００の動作について図１５を参照して説明する。 After the checked product history is displayed, if the user U desires, information on the product displayed in the checked product history and products similar to the product can be viewed. The operation of the commercialfacility information system 100 at this time will be described with reference to FIG.

ステップＳ４８と同様に、表示部３２がチェック商品履歴を表示している（ステップＳ５１）。この状態から、ユーザーＵが、入力部３３を用いて、商品詳細情報を閲覧したい商品の「商品名」セルに記載されている、リンク「詳細を表示」を指定する操作を行う。ここで、ユーザーＵが商品Ｄを指定したとする。この操作に応じて、制御部３１は、商品Ｄの商品詳細情報を、無線通信部３６を介して管理サーバー１に要求する（ステップＳ５２）。ここでは、商品詳細情報とは、その商品を販売している店舗名、商品名、金額、カラー、サイズ、在庫数を含む。 As in step S48, thedisplay unit 32 displays the checked product history (step S51). From this state, the user U uses theinput unit 33 to perform an operation to designate the link "details display" described in the "product name" cell of the product for which detailed product information is to be viewed. Assume that the user U designates the product D here. In response to this operation, thecontrol unit 31 requests the detailed product information of the product D from the management server 1 via the wireless communication unit 36 (step S52). Here, the detailed product information includes the name of the store that sells the product, product name, price, color, size, and stock quantity.

管理サーバー１では、データ収集部１４がこの要求を受信する（ステップＳ５３）と、商品Ｄの商品詳細情報を、データ抽出部１５が商品情報１３から取得する（ステップＳ５４）。データ収集部１４は、その商品詳細情報を携帯端末３に送信する（ステップＳ５５）。 In the management server 1, when thedata collection unit 14 receives this request (step S53), thedata extraction unit 15 acquires the detailed product information of the product D from the product information 13 (step S54). Thedata collection unit 14 transmits the detailed product information to the portable terminal 3 (step S55).

携帯端末３に戻って、商品詳細情報を無線通信部３６が受信する（ステップＳ５６）と、制御部３１は、例えば図８のような商品詳細情報を表示部３２に表示する（ステップＳ５７）。 Returning to themobile terminal 3, when thewireless communication unit 36 receives the detailed product information (step S56), thecontrol unit 31 displays the detailed product information as shown in FIG. 8 on the display unit 32 (step S57).

この状態から、ユーザーＵが、商品Ｄに類似した商品の閲覧を希望したとする。このとき、ユーザーＵは、入力部３３を用いて「類似商品を見る」ボタン８１を操作する。この操作に応じて、制御部３１は、商品Ｄに類似する各商品の商品詳細情報（以下、類似商品情報と記す）を管理サーバー１に要求する（ステップＳ５８）。 Suppose that the user U wishes to view a product similar to the product D from this state. At this time, the user U operates the “view similar products”button 81 using theinput unit 33 . In response to this operation, thecontrol unit 31 requests the management server 1 for product detailed information (hereinafter referred to as similar product information) of each product similar to the product D (step S58).

管理サーバー１では、データ収集部１４がこの要求を受信する（ステップＳ５９）と、商品Ｄに類似した商品の商品詳細情報を、データ抽出部１５が商品情報１３から取得する（ステップＳ６０）。商品Ｄに類似した商品はひとつとは限らず、複数存在していてもよい。類否判定の手法としては、上述のように、各商品の商品詳細情報にその商品に類似した商品の商品識別番号を関連付けて記録しておくことが考えられる。 In the management server 1, when thedata collecting unit 14 receives this request (step S59), thedata extracting unit 15 acquires detailed product information of products similar to the product D from the product information 13 (step S60). The number of products similar to the product D is not limited to one, and a plurality of products may exist. As a method for determining the similarity, as described above, it is conceivable to record the detailed product information of each product in association with the product identification number of the product similar to the product.

ここでは、商品Ｒ１、Ｒ２、Ｒ３が類似していたとする。このとき、データ抽出部１５は商品情報１３から商品Ｒ１、Ｒ２、Ｒ３の商品詳細情報を取得する。データ収集部１４は、商品Ｒ１、Ｒ２、Ｒ３の商品詳細情報を携帯端末３に送信する（ステップＳ６１）。 Here, it is assumed that products R1, R2, and R3 are similar. At this time, thedata extraction unit 15 acquires detailed product information of the products R1, R2, and R3 from theproduct information 13 . Thedata collection unit 14 transmits detailed product information of the products R1, R2, and R3 to the portable terminal 3 (step S61).

携帯端末３に戻って、無線通信部３６が管理サーバー１から商品Ｒ１、Ｒ２、Ｒ３の商品詳細情報を受信する（ステップＳ６２）。これに応じて、表示部３２が、例えば図９のように、商品Ｄ、Ｒ１、Ｒ２、Ｒ３の商品詳細情報をまとめて表示する（ステップＳ６３）。図９では、矩形領域９１が商品Ｄの商品詳細情報を表示している。矩形領域９２～９４がそれぞれ商品Ｒ１～Ｒ３の商品詳細情報を表示している。 Returning to themobile terminal 3, thewireless communication unit 36 receives the detailed product information of the products R1, R2, and R3 from the management server 1 (step S62). In response, thedisplay unit 32 collectively displays the detailed product information of the products D, R1, R2, and R3, for example, as shown in FIG. 9 (step S63). In FIG. 9, arectangular area 91 displays detailed product information of product D. In FIG.Rectangular areas 92 to 94 display detailed product information of products R1 to R3, respectively.

このようにして、ユーザーＵは、自分が入店した店舗で実際にチェックした商品の商品詳細情報を、その店舗を離れた後で確認することができる。 In this way, the user U can confirm the detailed product information of the products actually checked at the store that the user U entered after leaving the store.

また、チェックした商品だけではなく、チェックした商品に類似した別商品が商業施設２００内にあることも、ユーザーＵは知ることができる。商品間の類否判定は、ユーザーＵが入店した店舗か否かとは基本的に無関係に行われる。このため、商業施設２００においてユーザーＵが未訪問の店舗が販売している商品についても、その存在をユーザーＵに伝えることができる。例えば、図９の矩形領域９３に表示されている商品の店舗「××店」は、図６の入退店履歴によればユーザーＵは行ったことがない。しかし、「類似商品を見る」ボタン８１を操作することにより、ユーザーＵは「××店」がこの商品を販売していることに気付くことができる。 In addition, the user U can know that there are other products similar to the checked product in thecommercial facility 200 as well as the checked product. The similarity determination between products is basically performed regardless of whether or not the user U has entered the store. Therefore, it is possible to inform the user U of the existence of products sold by stores that the user U has not yet visited in thecommercial facility 200 . For example, according to the entrance/exit history of FIG. 6, the user U has never visited the store "XX store" of the product displayed in therectangular area 93 of FIG. However, by operating the "view similar products"button 81, the user U can notice that "XX store" sells this product.

以上、本実施の形態によれば、商業施設２００の買物客は、携帯端末３を用いて、商業施設２００内での自分の行動履歴を後から確認することができる。即ち、買物客は、自分が入退店した店舗を、その店舗を離れた後で確認することができる。その際、買物客は、その店舗への入店時刻、退店時刻、チェックした商品の点数を確認することができる。 As described above, according to the present embodiment, the shopper at thecommercial facility 200 can use themobile terminal 3 to check his or her behavior history in thecommercial facility 200 later. That is, the shopper can confirm the store that he or she has entered or left after leaving the store. At that time, the shopper can confirm the time of entering the store, the time of leaving the store, and the points of the checked products.

特に、多数の店舗を収容する大型の商業施設において、様々な店舗を渡り歩くと、買物客は自分が訪れた店舗がどれであったかを忘れてしまう場合がある。こうした場合であっても、本実施の形態によれば、買物客は自分が訪れた店舗を確認することができる。 In particular, in a large-scale commercial facility that houses a large number of stores, a shopper may forget which store he/she has visited when he or she walks through various stores. Even in such a case, according to the present embodiment, the shopper can confirm the store he has visited.

また、買物客は、携帯端末３を用いて、チェックした商品の詳細情報を閲覧することができる。これにより、買物客は、気になった商品を見た店舗がどの店舗であったかを容易に確認することができる。このため、買物客は、気になった商品があった店舗を容易に特定することができる。また、買物客は、各店舗で気になる商品をチェックした後、例えばカフェ、レストラン、休憩所等に移動して、チェックした商品についてゆっくり検討することができる。 Also, the shopper can use themobile terminal 3 to view detailed information on the checked product. This allows the shopper to easily confirm which store saw the product of interest. Therefore, the shopper can easily identify the store where the product of interest is found. In addition, after checking the items of interest at each store, the shopper can move to, for example, a cafe, restaurant, rest area, etc., and take time to consider the checked items.

また、本実施の形態によれば、チェックした商品そのものの商品詳細情報だけではなく、その商品に類似した商品の商品詳細情報をも、買物客は容易に閲覧することができる。買物客が訪れた店舗でチェックしなかった商品や、買物客が訪れていない店舗の商品であっても、類似商品として買物客の携帯端末３に提示する。このため、買物客は商業施設２００内で好みの商品を見落とす恐れが低くなる。 Further, according to the present embodiment, the shopper can easily browse not only the detailed product information of the checked product itself but also the detailed product information of products similar to the product. Even if a product is not checked in a shop visited by the shopper or is sold in a store that the shopper does not visit, it is presented to theportable terminal 3 of the shopper as a similar product. As a result, the shopper is less likely to overlook his/her favorite product within thecommercial facility 200 .

更に、本実施の形態によれば、買物客の入退店履歴、チェック商品履歴が行動履歴１１Ｂとして管理サーバー１に蓄積される。このため、管理サーバー１の管理者は、行動履歴１１Ｂに基づいて買物客の行動を分析することができる。例えば、管理者は、店舗の配置、商品の配列を決定する際の材料として行動履歴１１Ｂを用いることができる。結果として、管理者は、行動履歴１１Ｂに基づいて、商業施設２００全体としての売り上げ増に繋がる様々な施策を検討することができる。 Furthermore, according to the present embodiment, the shopper's entrance/exit history and checked product history are accumulated in the management server 1 as theaction history 11B. Therefore, the manager of the management server 1 can analyze the shopper's behavior based on thebehavior history 11B. For example, the manager can use theaction history 11B as a material when deciding the layout of stores and the arrangement of products. As a result, based on theaction history 11B, the administrator can consider various measures that lead to increased sales for thecommercial facility 200 as a whole.

本発明は上述の実施の形態に限定されるものではなく、様々な変形が可能である。 The present invention is not limited to the above-described embodiments, and various modifications are possible.

例えば、商業施設内情報システム１００では、店内カメラ２で人物の存在を検知すると、その画像を管理サーバー１に送信して、管理サーバー１で画像内の人物を識別した。 For example, in the commercialfacility information system 100, when the in-store camera 2 detects the presence of a person, the image is sent to the management server 1, and the management server 1 identifies the person in the image.

このような構成に代わって、店内カメラ２で撮影した画像を全て管理サーバー１に送信し、管理サーバー１で人物の存在の検知及び識別の両方を行うこととしてもよい。このような構成によれば、店内カメラ２の構成を簡素化することができる。 Instead of such a configuration, all images captured by the in-store camera 2 may be sent to the management server 1, and the management server 1 may detect and identify the presence of a person. With such a configuration, the configuration of the in-store camera 2 can be simplified.

或いは、店内カメラ２それぞれで人物の検知及び識別の両方を行うこととしてもよい。このように構成すれば、管理サーバー１の処理負荷を低減し、構成を簡素化することができる。 Alternatively, each in-store camera 2 may detect and identify a person. By configuring in this way, the processing load on the management server 1 can be reduced and the configuration can be simplified.

同様に、商業施設内情報システム１００では、ユーザーがチェックした商品の識別を管理サーバー１で行った。これに代わって、店内カメラ２で商品の識別を行うこととしてもよい。例えば、各店舗にその店舗の商品の商品画像１３Ａを格納した記憶装置を配置し、画像処理部２２は、カメラ２１で撮影した画像と、この記憶装置に格納した商品画像１３Ａとを比較して、商品を識別することが考えられる。 Similarly, in the commercialfacility information system 100, the management server 1 identifies the product checked by the user. Instead of this, the in-store camera 2 may be used to identify the product. For example, each store is provided with a storage device storingproduct images 13A of the store's products, and theimage processing unit 22 compares the image captured by thecamera 21 with theproduct images 13A stored in this storage device. , to identify the product.

また、商業施設内情報システム１００では、ユーザーがチェックした商品を識別する際、予め撮影しておいた商品画像１３Ａと、店内カメラ２で撮影した画像とを比較して、その比較結果に基づいて識別を行った。 In the commercialfacility information system 100, when identifying a product checked by a user, theproduct image 13A photographed in advance is compared with the image photographed by the in-store camera 2, and based on the comparison result, made an identification.

このような手法に代わって、別の手法を用いることとしてもよい。例えば次のような手法が考えられる。店舗情報１２或いは商品情報１３の一部として、商品が店舗内のどの位置に陳列されているのかを予め記録しておく。店内カメラ２で撮影した画像に基づいて、ユーザーの視線方向を推定する。ある商品の陳列位置にユーザーの視線方向が向けられた時間を測定する。測定時間と予め定められた閾値とを比較して、測定時間が閾値を超えた場合、ユーザーはその商品をチェックしたと判定する。 Another method may be used instead of such a method. For example, the following method can be considered. As part of thestore information 12 orproduct information 13, the position in the store where the product is displayed is recorded in advance. Based on the image captured by the in-store camera 2, the line-of-sight direction of the user is estimated. It measures the time the user's line of sight is directed to the display position of a certain product. The measurement time is compared with a predetermined threshold, and if the measurement time exceeds the threshold, it is determined that the user has checked the product.

また、ユーザーの購入金額に応じたポイントをユーザーに付与する、所謂ポイントプログラムとユーザーアプリ３７とを連携させることとしてもよい。ユーザーアプリ３７は、個々の携帯端末３を宛先として情報を通知する。このため、第三者に知られることなく、宛先ユーザーのみにポイントを通知することができる。また、ポイントプログラムの運用者からユーザーへの通知、例えば販促クーポンを、ユーザーアプリ３７を介してユーザーに送信することとしてもよい。 Also, theuser application 37 may be linked with a so-called point program that provides the user with points corresponding to the user's purchase amount. Theuser application 37 notifies information to eachmobile terminal 3 as a destination. Therefore, the point can be notified only to the destination user without being known by a third party. In addition, the operator of the point program may send a notification to the user, such as a promotional coupon, to the user via theuser application 37 .

また、上述の商業施設内情報システム１００では、ユーザーアプリ３７は、管理サーバー１に記録した入退店履歴、チェック商品履歴をそのまま表示した。しかし、ユーザーアプリ３７は、入退店履歴に記録された店舗の一部、チェック商品履歴に記録された商品の一部を、表示部３２で非表示に設定することができるように構成してもよい。例えば、ユーザーが購入した商品については、図７のチェック商品履歴画面として表示部３２に表示する必要性が低い。また、チェック商品履歴画面の閲覧性を良好に保つ上で、表示すべき点数が少ない方が好ましい。 Further, in the commercialfacility information system 100 described above, theuser application 37 displays the entry/exit history and the checked product history recorded in the management server 1 as they are. However, theuser application 37 is configured so that part of the stores recorded in the entry/exit history and part of the products recorded in the check product history can be set to not be displayed on thedisplay unit 32. good too. For example, there is little need to display items purchased by the user on thedisplay unit 32 as the check item history screen of FIG. In addition, it is preferable that the number of points to be displayed is small in order to maintain good readability of the checked product history screen.

上記の実施形態の一部又は全部は以下の付記のようにも記載されうるが、これらに限定されるものではない。 Some or all of the above embodiments can also be described in the following appendixes, but are not limited to these.

（付記１）
一ユーザーに割り当てられた携帯端末、及び、一店舗に少なくともひとつ設置され、当該店舗の店内画像を撮影して、前記店内画像を送信するための店内カメラと通信可能であって、
予め登録された、前記携帯端末を割り当てられたユーザーのユーザー画像に基づいて、前記店内画像に含まれる人物を登録ユーザーとして判定する手段と、
前記登録ユーザーの前記店舗における行動履歴を記録する手段と、
前記携帯端末からの第１の要求に応じて、前記行動履歴に関する情報を前記携帯端末に送信する手段と
を備えるサーバー装置。(Appendix 1)
A mobile terminal assigned to one user, and at least one installed in one store, capable of communicating with an in-store camera for capturing an in-store image of the store and transmitting the in-store image,
means for determining a person included in the in-store image as a registered user based on a pre-registered user image of the user to whom the mobile terminal is assigned;
means for recording the behavior history of the registered user at the store;
and means for transmitting information about the action history to the mobile terminal in response to a first request from the mobile terminal.

（付記２）
前記店内画像に基づいて、前記登録ユーザーが前記店舗内で行った商品のチェックに関する情報を、前記登録ユーザーの前記店舗における前記行動履歴として記録する手段と、
前記携帯端末からの第２の要求に応じて、前記商品のチェックに関する情報を、前記携帯端末に送信する手段と、
を更に備える付記１に記載のサーバー装置。(Appendix 2)
means for recording, as the action history of the registered user in the store, information regarding product checks performed by the registered user in the store based on the in-store image;
means for transmitting information on checking of the product to the mobile terminal in response to a second request from the mobile terminal;
The server device of Claim 1, further comprising:

（付記３）
前記携帯端末からの第３の要求に応じて、前記チェックの対象となった商品の商品詳細情報を前記携帯端末に送信する手段を更に備える、付記２に記載のサーバー装置。(Appendix 3)
The server device according toappendix 2, further comprising means for transmitting detailed product information of the product to be checked to the mobile terminal in response to a third request from the mobile terminal.

（付記４）
前記携帯端末からの第４の要求に応じて、前記チェックの対象となった商品に類似した商品の情報を前記携帯端末に送信する手段を更に備える、付記３に記載のサーバー装置。(Appendix 4)
The server device according toappendix 3, further comprising means for transmitting to the mobile terminal information on products similar to the product to be checked in response to a fourth request from the mobile terminal.

（付記５）
前記店舗は、複数の店舗を収容する商業施設に収容された店舗のひとつであり、
前記複数の店舗のそれぞれに、少なくとも一台の前記店内カメラが設置され、
前記複数の店舗のそれぞれにおける、前記登録ユーザーの前記行動履歴を記録する手段と、
前記携帯端末からの第５の要求に応じて、前記複数の店舗における前記登録ユーザーの前記行動履歴に関する情報を前記携帯端末に送信する手段と
を更に備える、付記１乃至付記４のいずれか一項に記載のサーバー装置。(Appendix 5)
The store is one of stores housed in a commercial facility housing a plurality of stores,
At least one in-store camera is installed in each of the plurality of stores,
means for recording the action history of the registered user at each of the plurality of stores;
5. The method according to any one of appendices 1 to 4, further comprising means for transmitting information regarding the action history of the registered user at the plurality of stores to the portable terminal in response to a fifth request from the portable terminal. The server device described in .

（付記６）
一ユーザーに割り当てられた携帯端末と、
一店舗に少なくともひとつ設置され、当該店舗の店内画像を撮影して、前記店内画像を送信するための店内カメラと、
前記携帯端末及び前記店内カメラと通信可能な管理サーバーとを備え、
前記管理サーバーは、
予め登録された、前記携帯端末を割り当てられたユーザーのユーザー画像に基づいて、前記店内画像に含まれる人物を登録ユーザーとして判定する手段と、
前記登録ユーザーの前記店舗における行動履歴を記録する手段と、
前記携帯端末からの第１の要求に応じて、前記行動履歴に関する情報を前記携帯端末に送信する手段と、
を備える、商業施設内情報システム。(Appendix 6)
a mobile device assigned to a user;
at least one in-store camera installed in one store for capturing an in-store image of the store and transmitting the in-store image;
A management server capable of communicating with the mobile terminal and the in-store camera,
The management server is
means for determining a person included in the in-store image as a registered user based on a pre-registered user image of the user to whom the mobile terminal is assigned;
means for recording the behavior history of the registered user at the store;
means for transmitting information about the action history to the mobile terminal in response to a first request from the mobile terminal;
A commercial facility information system.

（付記７）
前記管理サーバーは、
前記店内画像に基づいて、前記登録ユーザーが前記店舗内で行った商品のチェックに関する情報を、前記登録ユーザーの前記店舗における前記行動履歴として記録し、
前記携帯端末からの第２の要求に応じて、前記商品のチェックに関する情報を、前記携帯端末に送信する、
付記６に記載の商業施設内情報システム。(Appendix 7)
The management server is
Based on the in-store image, information regarding product checks performed by the registered user in the store is recorded as the action history of the registered user in the store,
transmitting information regarding the check of the product to the mobile terminal in response to a second request from the mobile terminal;
The commercial facility information system according to appendix 6.

（付記８）
前記管理サーバーは、前記携帯端末からの第３の要求に応じて、前記チェックの対象となった商品の商品詳細情報を前記携帯端末に送信する、付記７に記載の商業施設内情報システム。(Appendix 8)
8. The commercial facility information system according to appendix 7, wherein the management server transmits detailed product information of the checked product to the mobile terminal in response to a third request from the mobile terminal.

（付記９）
前記管理サーバーは、前記携帯端末からの第４の要求に応じて、前記チェックの対象となった商品に類似した商品の情報を前記携帯端末に送信する、付記８に記載の商業施設内情報システム。(Appendix 9)
The commercial facility information system according to appendix 8, wherein the management server transmits information on products similar to the product to be checked to the mobile terminal in response to a fourth request from the mobile terminal. .

（付記１０）
前記店舗は、複数の店舗を収容する商業施設に収容された店舗のひとつであり、
前記複数の店舗のそれぞれに、少なくとも一台の前記店内カメラが設置され、
前記管理サーバーは、前記複数の店舗のそれぞれにおける、前記登録ユーザーの前記行動履歴を記録し、
前記携帯端末からの第５の要求に応じて、前記複数の店舗における前記登録ユーザーの前記行動履歴に関する情報を、前記管理サーバーが前記携帯端末に送信する、
付記６乃至付記９のいずれか一項に記載の商業施設内情報システム。(Appendix 10)
The store is one of stores housed in a commercial facility housing a plurality of stores,
At least one in-store camera is installed in each of the plurality of stores,
The management server records the action history of the registered user at each of the plurality of stores,
In response to a fifth request from the mobile terminal, the management server transmits information about the action history of the registered user at the plurality of stores to the mobile terminal.
The commercial facility information system according to any one of appendices 6 to 9.

（付記１１）
一ユーザーに割り当てられた携帯端末、及び、一店舗に少なくともひとつ設置され、当該店舗の店内画像を撮影して、前記店内画像を送信するための店内カメラと通信可能な管理サーバーで実行されて、
予め登録された、前記携帯端末を割り当てられたユーザーのユーザー画像に基づいて、前記店内画像に含まれる人物を登録ユーザーとして判定する手段と、
前記登録ユーザーの前記店舗における行動履歴を記録する手段と、
前記携帯端末からの第１の要求に応じて、前記行動履歴に関する情報を前記携帯端末に送信する手段と
して前記管理サーバーを機能させるためのプログラム。(Appendix 11)
Executed by a mobile terminal assigned to one user and a management server that can communicate with an in-store camera that is installed at least one in one store, captures an in-store image of the store, and transmits the in-store image,
means for determining a person included in the in-store image as a registered user based on a pre-registered user image of the user to whom the mobile terminal is assigned;
means for recording the behavior history of the registered user at the store;
A program for causing the management server to function as means for transmitting information about the action history to the mobile terminal in response to a first request from the mobile terminal.

（付記１２）
前記店内画像に基づいて、前記登録ユーザーが前記店舗内で行った商品のチェックに関する情報を、前記登録ユーザーの前記店舗における前記行動履歴として記録する手段と、
前記携帯端末からの第２の要求に応じて、前記商品のチェックに関する情報を、前記携帯端末に送信する手段と、
して前記管理サーバーを更に機能させる、付記１１に記載のプログラム。(Appendix 12)
means for recording, as the action history of the registered user in the store, information regarding product checks performed by the registered user in the store based on the in-store image;
means for transmitting information on checking of the product to the mobile terminal in response to a second request from the mobile terminal;
12. The program ofclaim 11, further comprising:

（付記１３）
前記携帯端末からの第３の要求に応じて、前記チェックの対象となった商品の商品詳細情報を前記携帯端末に送信する手段として前記管理サーバーを更に機能させる、付記１２に記載のプログラム。(Appendix 13)
13. The program according tosupplementary note 12, further causing the management server to function as means for transmitting detailed product information of the product to be checked to the mobile terminal in response to a third request from the mobile terminal.

（付記１４）
前記携帯端末からの第４の要求に応じて、前記チェックの対象となった商品に類似した商品の情報を前記携帯端末に送信する手段として前記管理サーバーを更に機能させる、付記１３に記載のプログラム。(Appendix 14)
14. The program according toappendix 13, further causing the management server to function as a means for transmitting information on products similar to the product to be checked to the mobile terminal in response to a fourth request from the mobile terminal. .

（付記１５）
前記店舗は、複数の店舗を収容する商業施設に収容された店舗のひとつであり、
前記複数の店舗のそれぞれに、少なくとも一台の前記店内カメラが設置され、
前記複数の店舗のそれぞれにおける、前記登録ユーザーの前記行動履歴を記録する手段として前記管理サーバーを更に機能させ、
前記携帯端末からの第５の要求に応じて、前記複数の店舗における前記登録ユーザーの前記行動履歴に関する情報を前記携帯端末に送信する手段として、前記管理サーバーを更に機能させる、
付記１１乃至付記１４のいずれか一項に記載のプログラム。(Appendix 15)
The store is one of stores housed in a commercial facility housing a plurality of stores,
At least one in-store camera is installed in each of the plurality of stores,
further functioning the management server as means for recording the action history of the registered user at each of the plurality of stores;
Further functioning of the management server as a means for transmitting information regarding the action history of the registered user at the plurality of shops to the mobile terminal in response to a fifth request from the mobile terminal;
15. The program according to any one ofappendices 11 to 14.

（付記１６）
管理サーバーに予め登録された、携帯端末のユーザー画像に基づいて、店舗に設置された店内カメラで撮影した店内画像に含まれる人物を、前記管理サーバーが登録ユーザーとして判定し、前記登録ユーザーの前記店舗における行動履歴を、前記管理サーバーが記録する段階と、
前記携帯端末からの第１の要求に応じて、前記行動履歴に関する情報を前記管理サーバーが前記携帯端末に送信する段階と
を含む、行動履歴の提示方法。(Appendix 16)
Based on the user image of the mobile terminal registered in advance in the management server, the management server determines the person included in the in-store image taken by the in-store camera installed in the store as the registered user, a stage in which the management server records an action history at the store;
and a step of transmitting, by the management server, information about the action history to the mobile terminal in response to a first request from the mobile terminal.

（付記１７）
前記管理サーバーは、前記店内画像に基づいて、前記登録ユーザーが前記店舗内で行った商品のチェックに関する情報を、前記登録ユーザーの前記店舗における前記行動履歴として記録する段階と、
前記携帯端末からの第２の要求に応じて、前記商品のチェックに関する情報を、前記管理サーバーが前記携帯端末に送信する段階と
を更に含む、付記１６に記載の行動履歴の提示方法。(Appendix 17)
a step in which the management server records, as the action history of the registered user in the store, information regarding product checks performed by the registered user in the store based on the in-store image;
17. The action history presentation method according to appendix 16, further comprising the step of transmitting, by the management server, information regarding the check of the product to the mobile terminal in response to a second request from the mobile terminal.

（付記１８）
前記携帯端末からの第３の要求に応じて、前記チェックの対象となった商品の商品詳細情報を、前記管理サーバーが前記携帯端末に送信する段階
を更に含む、付記１７に記載の行動履歴の提示方法。(Appendix 18)
18. The behavior history record according to appendix 17, further comprising the step of sending, by the management server, detailed product information of the product subject to the check to the mobile terminal in response to a third request from the mobile terminal. presentation method.

（付記１９）
前記携帯端末からの第４の要求に応じて、前記チェックの対象となった商品に類似した商品の情報を、前記管理サーバーが前記携帯端末に送信する段階
を更に含む、付記１８に記載の行動履歴の提示方法。(Appendix 19)
19. The action according to appendix 18, further comprising the step of the management server transmitting to the mobile terminal information on a product similar to the checked product in response to a fourth request from the mobile terminal. How history is presented.

（付記２０）
前記店舗は、複数の店舗を収容する商業施設に収容された店舗のひとつであり、
前記複数の店舗のそれぞれに、少なくとも一台の前記店内カメラが設置され、
前記管理サーバーは、前記複数の店舗のそれぞれにおける、前記登録ユーザーの前記行動履歴を記録し、
前記携帯端末からの第５の要求に応じて、前記複数の店舗における前記登録ユーザーの前記行動履歴に関する情報を、前記管理サーバーが前記携帯端末に送信する、
付記１６乃至付記１９のいずれか一項に記載の行動履歴の提示方法。(Appendix 20)
The store is one of stores housed in a commercial facility housing a plurality of stores,
At least one in-store camera is installed in each of the plurality of stores,
The management server records the action history of the registered user at each of the plurality of stores,
In response to a fifth request from the mobile terminal, the management server transmits information about the action history of the registered user at the plurality of stores to the mobile terminal.
19. The action history presentation method according to any one of appendices 16 to 19.

１ 管理サーバー
２ 店内カメラ
３ 携帯端末
１１ ユーザー情報
１１Ａ ユーザー画像
１１Ｂ 行動履歴
１２ 店舗情報
１３ 商品情報
１３Ａ 商品画像
１４ データ収集部
１５ データ抽出部
２１、３４ カメラ
２２ 画像処理部
２３ 通信部
３１ 制御部
３２ 表示部
３３ 入力部
３５ 記録部
３６ 無線通信部
３７ ユーザーアプリ
４１ ユーザー登録処理
４２ 行動履歴処理
４３ 商品情報処理
４４ お気に入り処理
４５ ポイント処理
１００ 商業施設内情報システム
２００ 商業施設1Management server 2 In-store camera 3Mobile terminal 11User information11A User image11B Action history 12Store information 13Product information13A Product image 14Data collection unit 15Data extraction unit 21, 34Camera 22Image processing unit 23Communication unit 31Control unit 32Display unit 33Input unit 35Recording unit 36Wireless communication unit 37User application 41User registration processing 42Action history processing 43Product information processing 44Favorite processing 45Point processing 100 Commercialfacility information system 200 Commercial facility

Claims (8)

Translated fromJapanese

一ユーザーに割り当てられた携帯端末、及び、複数の店舗を収容する商業施設に収容された前記複数の店舗のそれぞれに少なくともひとつ設置され、当該店舗の店内画像を撮影して、前記店内画像を送信するための店内カメラと通信可能なサーバー装置であって、
予め登録された、前記携帯端末を割り当てられたユーザーのユーザー画像に基づいて、前記店内画像に含まれる人物を登録ユーザーとして判定する判定手段と、
前記登録ユーザーの前記複数の店舗のそれぞれにおける行動履歴を記録する記録手段と、
前記携帯端末からの第１の要求に応じて、前記複数の店舗における前記登録ユーザーの前記行動履歴に関する情報を前記携帯端末に送信する送信手段と、
を備え、
前記記録手段は、前記複数の店舗のそれぞれに対して、前記店内画像に基づいて、前記登録ユーザーが前記複数の店舗のそれぞれに入店した入店時刻、前記登録ユーザーが前記複数の店舗のそれぞれから退店した退店時刻、および前記登録ユーザーが前記複数の店舗内で行った商品のチェックに関する情報を、前記登録ユーザーの前記複数の店舗における前記行動履歴として記録し、
前記送信手段は、前記携帯端末からの前記第１の要求に応じて、前記複数の店舗における前記登録ユーザーの前記行動履歴に関する情報として、前記入店時刻および前記退店時刻を含む情報を、前記携帯端末に送信し、
前記送信手段は、前記携帯端末からの第２の要求に応じて、前記複数の店舗における前記登録ユーザーの前記行動履歴に関する情報として、前記チェックした商品の情報を、前記携帯端末に送信する、
ことを特徴とするサーバー装置。At least one portable terminal assigned to one user and installed in each of the plurality of shops housed in a commercial facility housing a plurality of shops, captures an in-store image of the shop, and transmits the in-store image. A server device capable of communicating with an in-store camera for
determination means for determining a person included in the in-store image as a registered user based on a pre-registered user image of the user assigned the mobile terminal;
a recording means for recording an action history of the registered user at each of the plurality of stores;
a transmitting means for transmitting information about the action history of the registered user at the plurality of stores to the mobile terminal in response to afirst request from the mobile terminal;
with
The recording means stores, for each of the plurality of shops, based on the in-store image, the entry time when the registered user enters each of the plurality of shops, record the time when the registered user left the store and the information about the product check performed by the registered user in the plurality of stores as the action history of the registered user at the plurality of stores,
In response tothe first request from the portable terminal, the transmitting means transmits informationincluding the store entry timeand the store exit time as information related to the behavior history of the registered user at the plurality of stores. Sendto your mobile device
the transmission means, in response to a second request from the mobile terminal, to send information on the checked product as information on the action history of the registered user at the plurality of stores to the mobile terminal;
A server device characterized by: 前記送信手段は、前記携帯端末からの第３の要求に応じて、前記複数の店舗における前記登録ユーザーの前記行動履歴に関する情報として、前記チェックの対象となった商品の商品詳細情報をも前記携帯端末に送信する、請求項１に記載のサーバー装置。 In response to a third request from the portable terminal, the transmission means also carries the detailed product information of the product subject to the check as information related to the action history of the registered user at the plurality of shops. 2. The server device according to claim 1, which transmits to a terminal. 前記送信手段は、前記携帯端末からの第４の要求に応じて、前記複数の店舗における前記登録ユーザーの前記行動履歴に関する情報として、前記チェックの対象となった商品に類似した商品の情報をも前記携帯端末に送信する、請求項２に記載のサーバー装置。 The transmitting means, in response to a fourth request from the portable terminal, sends information on products similar to the product to be checked as information on the action history of the registered user at the plurality of stores. 3. The server device according to claim 2, which transmits to said mobile terminal. 一ユーザーに割り当てられた携帯端末と、
複数の店舗を収容する商業施設に収容された前記複数の店舗のそれぞれに少なくともひとつ設置され、当該店舗の店内画像を撮影して、前記店内画像を送信するための店内カメラと、
前記携帯端末及び前記店内カメラと通信可能な管理サーバーとを備え、
前記管理サーバーは、
予め登録された、前記携帯端末を割り当てられたユーザーのユーザー画像に基づいて、前記店内画像に含まれる人物を登録ユーザーとして判定する判定手段と、
前記登録ユーザーの前記複数の店舗のそれぞれにおける行動履歴を記録する記録手段と、
前記携帯端末からの第１の要求に応じて、前記複数の店舗における前記登録ユーザーの前記行動履歴に関する情報を前記携帯端末に送信する送信手段と、
を備え、
前記記録手段は、前記複数の店舗のそれぞれに対して、前記店内画像に基づいて、前記登録ユーザーが前記複数の店舗のそれぞれに入店した入店時刻、前記登録ユーザーが前記複数の店舗のそれぞれから退店した退店時刻、および前記登録ユーザーが前記複数の店舗内で行った商品のチェックに関する情報を、前記登録ユーザーの前記複数の店舗における前記行動履歴として記録し、
前記送信手段は、前記携帯端末からの前記第１の要求に応じて、前記複数の店舗における前記登録ユーザーの前記行動履歴に関する情報として、前記入店時刻および前記退店時刻を含む情報を、前記携帯端末に送信し、
前記送信手段は、前記携帯端末からの第２の要求に応じて、前記複数の店舗における前記登録ユーザーの前記行動履歴に関する情報として、前記チェックした商品の情報を、前記携帯端末に送信する、
ことを特徴とする、商業施設内情報システム。a mobile device assigned to a user;
at least one in-store camera installed in each of the plurality of stores accommodated in a commercial facility housing the plurality of stores, for capturing an in-store image of the store and transmitting the in-store image;
A management server capable of communicating with the mobile terminal and the in-store camera,
The management server is
determination means for determining a person included in the in-store image as a registered user based on a pre-registered user image of the user assigned the mobile terminal;
a recording means for recording an action history of the registered user at each of the plurality of stores;
a transmitting means for transmitting information about the action history of the registered user at the plurality of stores to the mobile terminal in response to afirst request from the mobile terminal;
with
The recording means stores, for each of the plurality of shops, based on the in-store image, the entry time when the registered user enters each of the plurality of shops, record the time when the registered user left the store and the information about the product check performed by the registered user in the plurality of stores as the action history of the registered user at the plurality of stores,
In response tothe first request from the portable terminal, the transmitting means transmits informationincluding the store entry timeand the store exit time as information related to the behavior history of the registered user at the plurality of stores. Sendto your mobile device
the transmission means, in response to a second request from the mobile terminal, to send information on the checked product as information on the action history of the registered user at the plurality of stores to the mobile terminal;
A commercial facility information system characterized by: 前記管理サーバーの前記送信手段は、前記携帯端末からの第３の要求に応じて、前記複数の店舗における前記登録ユーザーの前記行動履歴に関する情報として、前記チェックの対象となった商品の商品詳細情報をも前記携帯端末に送信する、請求項４に記載の商業施設内情報システム。 In response to a third request from the mobile terminal, the transmission means of the management server transmits detailed product information of the product to be checked as information related to the action history of the registered user at the plurality of stores. is also transmitted to the portable terminal. 前記管理サーバーの前記送信手段は、前記携帯端末からの第４の要求に応じて、前記複数の店舗における前記登録ユーザーの前記行動履歴に関する情報として、前記チェックの対象となった商品に類似した商品の情報をも前記携帯端末に送信する、請求項５に記載の商業施設内情報システム。 In response to a fourth request from the mobile terminal, the transmitting means of the management server transmits, as information related to the behavior history of the registered user at the plurality of stores, products similar to the products to be checked. 6. The in-commercial facility information system according to claim 5, wherein the information of is also transmitted to said portable terminal. 一ユーザーに割り当てられた携帯端末、及び、複数の店舗を収容する商業施設に収容された前記複数の店舗のそれぞれに少なくともひとつ設置され、当該店舗の店内画像を撮影して、前記店内画像を送信するための店内カメラと通信可能な管理サーバーで実行されて、
予め登録された、前記携帯端末を割り当てられたユーザーのユーザー画像に基づいて、前記店内画像に含まれる人物を登録ユーザーとして判定する判定手段と、
前記登録ユーザーの前記複数の店舗のそれぞれにおける行動履歴を記録する記録手段と、
前記携帯端末からの第１の要求に応じて、前記複数の店舗における前記登録ユーザーの前記行動履歴に関する情報を前記携帯端末に送信する送信手段と、
して前記管理サーバーを機能させるためのプログラムであって、
前記記録手段は、前記複数の店舗のそれぞれに対して、前記店内画像に基づいて、前記登録ユーザーが前記複数の店舗のそれぞれに入店した入店時刻、前記登録ユーザーが前記複数の店舗のそれぞれから退店した退店時刻、および前記登録ユーザーが前記複数の店舗内で行った商品のチェックに関する情報を、前記登録ユーザーの前記複数の店舗における前記行動履歴として記録し、
前記送信手段は、前記携帯端末からの前記第１の要求に応じて、前記複数の店舗における前記登録ユーザーの前記行動履歴に関する情報として、前記入店時刻および前記退店時刻を含む情報を、前記携帯端末に送信し、
前記送信手段は、前記携帯端末からの第２の要求に応じて、前記複数の店舗における前記登録ユーザーの前記行動履歴に関する情報として、前記チェックした商品の情報を、前記携帯端末に送信する、
ことを特徴とするプログラム。At least one portable terminal assigned to one user and installed in each of the plurality of shops housed in a commercial facility housing a plurality of shops, captures an in-store image of the shop, and transmits the in-store image. running on a management server that can communicate with in-store cameras to
determination means for determining a person included in the in-store image as a registered user based on a pre-registered user image of the user assigned the mobile terminal;
a recording means for recording an action history of the registered user at each of the plurality of stores;
a transmitting means for transmitting information about the action history of the registered user at the plurality of stores to the mobile terminal in response to afirst request from the mobile terminal;
a program for functioning the management server by
The recording means stores, for each of the plurality of shops, based on the in-store image, the entry time when the registered user enters each of the plurality of shops, record the time when the registered user left the store and the information about the product check performed by the registered user in the plurality of stores as the action history of the registered user at the plurality of stores,
In response tothe first request from the portable terminal, the transmitting means transmits informationincluding the store entry timeand the store exit time as information related to the behavior history of the registered user at the plurality of stores. Sendto your mobile device
the transmission means, in response to a second request from the mobile terminal, to send information on the checked product as information on the action history of the registered user at the plurality of stores to the mobile terminal;
A program characterized by 管理サーバーに予め登録された、携帯端末のユーザー画像に基づいて、複数の店舗を収容する商業施設に収容された前記複数の店舗のそれぞれに設置された店内カメラで撮影した店内画像に含まれる人物を、前記管理サーバーが登録ユーザーとして判定する判定段階と、
前記登録ユーザーの前記複数の店舗のそれぞれにおける行動履歴を、前記管理サーバーが記録する記録段階と、
前記携帯端末からの第１の要求に応じて、前記複数の店舗における前記登録ユーザーの前記行動履歴に関する情報を前記管理サーバーが前記携帯端末に送信する送信段階と、
を含む、行動履歴の提示方法であって、
前記記録段階では、前記管理サーバーが、前記複数の店舗のそれぞれに対して、前記店内画像に基づいて、前記登録ユーザーが前記複数の店舗のそれぞれに入店した入店時刻、前記登録ユーザーが前記複数の店舗のそれぞれから退店した退店時刻、および前記登録ユーザーが前記複数の店舗内で行った商品のチェックに関する情報を、前記登録ユーザーの前記複数の店舗における前記行動履歴として記録し、
前記送信段階では、前記携帯端末からの前記第１の要求に応じて、前記複数の店舗における前記登録ユーザーの前記行動履歴に関する情報として、前記入店時刻および前記退店時刻を含む情報を、前記管理サーバーが前記携帯端末に送信し、
前記送信段階では、前記携帯端末からの第２の要求に応じて、前記複数の店舗における前記登録ユーザーの前記行動履歴に関する情報として、前記チェックした商品の情報を、前記携帯端末に送信する
ことを特徴とする、行動履歴の提示方法。A person included in an in-store image captured by an in-store camera installed in each of a plurality of stores housed in a commercial facility housing a plurality of stores, based on user images of mobile terminals registered in advance in a management server. is determined as a registered user by the management server;
a recording step in which the management server records an action history of the registered user at each of the plurality of stores;
a transmission step in which the management server transmits information about the action history of the registered user at the plurality of stores to the mobile terminal in response to afirst request from the mobile terminal;
A method of presenting an action history, comprising:
In the recording step, the management server stores, for each of the plurality of stores, based on the in-store image, the entry time at which the registered user entered each of the plurality of stores, recording the time when the registered user left each of the plurality of stores and the information regarding the product check performed by the registered user in the plurality of stores as the action history of the registered user at the plurality of stores;
In the transmitting step, in response tothe first request from the portable terminal, the informationincluding the entering timeand the leaving time as the information related to the action history of the registered user at the plurality of shops is transmitted to the The management server transmitsto the mobile terminal,
In the transmitting step, in response to a second request from the mobile terminal, information on the checked product is sent to the mobile terminal as information on the action history of the registered user at the plurality of stores.
A method of presenting an action history, characterized by:

Images