【０００１】[0001]
【産業上の利用分野】本発明は、動画像上で商品を検出
して検索するデータ検索方法であって、パソコン画面な
どに表示された動画像上で商品を指定して検索するデー
タ検索方法に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a data retrieval method for detecting and retrieving a product on a moving image, and a data retrieving method for designating and retrieving a product on a moving image displayed on a personal computer screen or the like. It is about.
【０００２】[0002]
【従来の技術】従来、パソコンにおいて、データベース
に登録された商品を検索する場合、以下の手法を採用し
ていた。2. Description of the Related Art Conventionally, the following method has been used to search for products registered in a database on a personal computer.
【０００３】（１） 検索キーを入力する。これは、商
品の特徴を、一度、利用者の頭の中で“文字”に置き換
え、検索キーを作成してキー入力し、該当する商品をデ
ータベースから検索して取り出し、表示する。(1) Input a search key. This is to replace the characteristics of a product once with "characters" in the user's head, create a search key, enter the key, retrieve the corresponding product from the database, retrieve it, and display it.
【０００４】（２） 静止画上でポインティグデバイス
を使用して座標を指定し、商品を選択する。これは、商
品を撮影した静止画を予め作成しておき、利用者がこの
静止画をパソコン画面上に表示し、静止画上でマウスで
商品を指定したことに対応して、そのときの座標から商
品を特定し、この特定された商品（商品コード）につい
てデータベースを検索して取り出し、画面上に表示す
る。(2) Coordinates are specified on a still image using a pointing device to select a product. This is because the still image of the product is created in advance, the user displays this still image on the PC screen, and the product is specified with the mouse on the still image. The product is specified from, the database is searched and extracted for the specified product (product code), and the product is displayed on the screen.
【０００５】[0005]
【発明が解決しようとする課題】上述した従来の（１）
の検索キーの入力による手法によれば、利用者がデータ
ベースを検索する毎に、商品の特徴を表す“文字”とい
う検索コードに置き換えてキー入力し、データベースを
検索する必要があると共に、絞り込むための検索コード
が必要になってしまい、検索し難いという問題があっ
た。The above-mentioned conventional (1)
According to the method of inputting the search key, every time the user searches the database, it is necessary to replace the search code with “character” that represents the characteristics of the product and enter the key to search the database, and to narrow down There was a problem that it was difficult to search because the search code of was required.
【０００６】また、上述した従来の（２）の静止画像上
から選択する手法によれば、（１）の検索キーの入力に
比して良くなっているが、商品を色々の角度から見るこ
とができないという問題があった。Further, according to the above-mentioned conventional method (2) of selecting from still images, which is better than the input of the search key of (1), it is possible to view the product from various angles. There was a problem that I could not do it.
【０００７】本発明は、これらの問題を解決するため、
動画像上で利用者から対象物が指定されたことに対応し
て、その座標および重畳順位から対象物を特定して検出
してその検索結果を表示し、動画像上における選択され
た対象物の詳細情報の表示を実現することを目的として
いる。The present invention solves these problems.
Corresponding to the user's designation of the target on the moving image, the target is identified and detected from its coordinates and superposition order, and the search result is displayed, and the selected target on the moving image is displayed. It is intended to realize the display of detailed information of.
【０００８】[0008]
【課題を解決するための手段】図１は、本発明の原理構
成図を示す。図１において、対象物情報テーブル７は、
対象物名に対応づけてその詳細情報および動画像のフレ
ーム番号情報を予め登録するものである。FIG. 1 is a block diagram showing the principle of the present invention. In FIG. 1, the object information table 7 is
The detailed information and the frame number information of the moving image are registered in advance in association with the object name.
【０００９】表示座標情報テーブル８は、動画像のフレ
ーム番号に対応づけて対象物毎の表示位置座標を予め登
録するものである。項目重畳情報テーブル９は、動画像
のフレーム番号に対応づけて対象物毎の重畳順位を予め
登録するものである。The display coordinate information table 8 pre-registers display position coordinates for each object in association with the frame number of the moving image. The item superimposition information table 9 is for registering the superimposition order for each object in advance in association with the frame number of the moving image.
【００１０】[0010]
【作用】本発明は、図１に示すように、画面上に表示し
た動画像上で対象物が指示されたことに対応して、この
指示されたときのフレーム番号および座標をもとに表示
座標情報テーブル８を検索して該当する対象物名を取り
出し、この対象物名について対象物情報テーブル７を検
索してその詳細情報を取り出して表示するようにしてい
る。According to the present invention, as shown in FIG. 1, in response to an object being instructed on the moving image displayed on the screen, the display is performed based on the frame number and the coordinate at the time of the instruction. The coordinate information table 8 is searched to retrieve the corresponding object name, the object information table 7 is searched for this object name, and the detailed information is retrieved and displayed.
【００１１】また、画面上に表示した動画像上である対
象物が指示されたことに対応して、この指示されたとき
のフレーム番号および座標をもとに表示座標情報テーブ
ル８を検索して該当する対象物名を取り出し、この取り
出した対象物名が複数のときに項目重畳情報テーブル９
を検索して重畳順位の高い対象物名を選択し、商品情報
テーブル７を検索してその詳細情報を取り出して表示す
るようにしている。Further, in response to the designation of the object on the moving image displayed on the screen, the display coordinate information table 8 is searched based on the frame number and the coordinate at the time of the designation. The corresponding object name is extracted, and when the extracted object names are plural, the item superimposition information table 9
Is selected to select a target object name having a high superimposing order, and the product information table 7 is searched to extract and display detailed information thereof.
【００１２】この際、動画像のフレーム番号に対応づけ
て対象物毎に当該対象物を内包する矩形の左上座標およ
び右下座標（あるいは左下座標および右上座標）を予め
登録した表示座標情報テーブル８を使用するようにして
いる。At this time, the display coordinate information table 8 in which the upper left coordinates and the lower right coordinates (or the lower left coordinates and the upper right coordinates) of the rectangle containing the object are registered in advance in association with the frame number of the moving image. I am trying to use.
【００１３】また、動画像上のフレーム番号に対応づけ
て、当該動画像上で表示されている複数の対象物が重畳
しているときに前方にある対象物から順に重畳順位を予
め登録した項目重畳情報テーブル９を使用するようにし
ている。An item in which the superposition order is registered in advance in order from the object in front when a plurality of objects displayed on the moving image are superposed in association with the frame number on the moving image. The superposition information table 9 is used.
【００１４】従って、動画像上で利用者から対象物が指
定されたことに対応して、その座標および重畳順位から
対象物を特定して検出してその検索結果を表示すること
により、動画像上における選択された対象物（商品）の
詳細情報の表示を実現することが可能となる。Therefore, in response to the designation of the target object by the user on the moving image, the target object is specified and detected from the coordinates and the superimposition order, and the search result is displayed. It is possible to realize the display of the detailed information of the selected target object (product) above.
【００１５】[0015]
【実施例】次に、図１から図５を用いて本発明の実施例
の構成および動作を順次詳細に説明する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Next, the construction and operation of an embodiment of the present invention will be described in detail with reference to FIGS.
【００１６】図１は、本発明の原理構成図を示す。図１
において、コンピュータシステム２は、プログラムに従
って各種処理を行なうものであって、ここでは、入力部
３、動画像表示部４、およびシステム制御部５などから
構成されるものである。FIG. 1 is a block diagram showing the principle of the present invention. Figure 1
In the above, the computer system 2 performs various kinds of processing according to a program, and is configured by the input unit 3, the moving image display unit 4, the system control unit 5, and the like here.
【００１７】入力部３は、ディスプレイ１７上に表示さ
れた動画像上で、利用者から指示された商品（対象物）
の座標を取り込むポインティングデバイスなどである。
動画像表示部４は、ディスプレイ１７上に動画像を表示
させたり、利用者から動画像上で指示された座標の位置
の商品の詳細情報（価格など）を表示させたりなどする
ものである。The input unit 3 is a product (object) instructed by the user on the moving image displayed on the display 17.
For example, a pointing device that captures the coordinates of.
The moving image display unit 4 displays a moving image on the display 17, or displays detailed information (price or the like) of the product at the position of the coordinates designated by the user on the moving image.
【００１８】システム制御部５は、全体を統括制御する
ものである。データベース６は、検索し易いように各種
情報を登録したものであって、ここでは、対象物情報テ
ーブル７、表示座標情報テーブル８、項目重畳情報テー
ブル９などから構成されるものである。The system control section 5 controls the entire system. The database 6 is registered with various kinds of information so as to be easily searched, and here, is composed of an object information table 7, a display coordinate information table 8, an item superposition information table 9, and the like.
【００１９】対象物情報テーブル７は、対象物である商
品名や商品コードに対応づけてその詳細情報を予め登録
するものであって、商品コード、商品名、価格、フレー
ム番号などを予め登録するものである。The target object information table 7 is used for registering detailed information in advance in association with the target product name and product code, and the product code, product name, price, frame number, etc. are registered in advance. It is a thing.
【００２０】表示座標情報テーブル８は、動画像のフレ
ーム番号に対応づけて商品毎の画面上の表示座標を予め
登録するものである。項目重畳情報テーブル９は、動画
像のフレーム番号に対応づけて商品毎の重畳順位を予め
登録するものである。The display coordinate information table 8 pre-registers display coordinates on the screen for each product in association with the frame number of the moving image. The item superposition information table 9 is for registering the superposition order for each product in advance in association with the frame number of the moving image.
【００２１】動画像再生部１０は、動画像を再生してデ
ィスプレイ１７上に表示するものであって、ＬＤプレー
ヤ、ビデオなどである。動画像データベース１２は、動
画像を予め登録したものであって、ここでは、ＬＤ画像
（レーザディスクに格納した動画像）１３や、ビデオ画
像１４などを登録したものである。The moving picture reproducing section 10 reproduces a moving picture and displays it on the display 17, and is an LD player, a video, or the like. The moving image database 12 is one in which moving images are registered in advance, and here, LD images (moving images stored in a laser disk) 13, video images 14 and the like are registered.
【００２２】ディスプレイ１７は、動画像などを表示す
るものである。ポインティグデバイスがタッチパネル付
きディスプレイの場合、その機能も兼ね備えるようにし
ている。The display 17 displays a moving image or the like. If the pointing device is a display with a touch panel, it also has that function.
【００２３】図２は、本発明の１実施例構成図を示す。
これは、図１の構成について、商品検索に適用した実施
例構成図である。図２において、商品検索データベース
システム１は、動画像上で利用者がマウスなどで指示し
た画像を検出し、この画像に対応する商品名、商品の詳
細情報（価格など）をデータベース６から検索して表示
したりなどするものであって、ここでは、ポインティン
グデバイス３１、コンピュータシステム２、データベー
ス６、動画像再生機器１６、ディスプレイ１７、および
動画像データベース１２などから構成されるものであ
る。FIG. 2 shows a block diagram of an embodiment of the present invention.
This is a configuration diagram of an embodiment applied to product search for the configuration of FIG. In FIG. 2, the product search database system 1 detects an image pointed by a user with a mouse or the like on a moving image, and searches the database 6 for a product name and detailed product information (price, etc.) corresponding to this image. The display device 1 is configured to include a pointing device 31, a computer system 2, a database 6, a moving image reproducing device 16, a display 17, a moving image database 12, and the like.
【００２４】ポインティングデバイス３１は、利用者が
ディスプレイ１７の画面に表示された動画像上で、検索
したい商品を指示するためのものであって、タッチパネ
ル、マウスなどである。The pointing device 31 is used by the user to instruct a product to be searched on the moving image displayed on the screen of the display 17, and is a touch panel, a mouse, or the like.
【００２５】コンピュータシステム２は、ポインティン
グデバイス３１からの入力を取り込んでそのときの画面
上の座標を検出したり、検出した座標に対応するフレー
ム番号の商品名を表示座標情報テーブル８から取り出し
たり、動画像を動画像再生機器１６に表示させたりなど
するものである（図３を用いて後述する）。ここでは、
コンピュータシステム２は、動画像を動画像再生機器１
６に再生させる動画像表示部４、および全体を統括制御
するシステム制御部５などから構成されるものである。The computer system 2 takes in the input from the pointing device 31 to detect the coordinates on the screen at that time, retrieves the product name of the frame number corresponding to the detected coordinates from the display coordinate information table 8, For example, the moving image is displayed on the moving image reproducing device 16 (which will be described later with reference to FIG. 3). here,
The computer system 2 reproduces a moving image from the moving image reproducing apparatus 1
6, a moving image display unit 4 to be reproduced, and a system control unit 5 for overall control of the whole.
【００２６】データベース６は、ここでは、商品情報テ
ーブル７、表示位置情報テーブル８、および項目重畳情
報テーブル９などから構成されるものであって、検索し
易い形で登録したものである。The database 6 is composed of a merchandise information table 7, a display position information table 8, an item superposition information table 9 and the like here, and is registered in a form that allows easy retrieval.
【００２７】動画像再生機器１６は、動画像を再生する
機器（ＬＤプレーヤ、ビデオなど）であって、再生した
動画像をディスプレイ１７上に表示するものである。デ
ィスプレイ１７は、動画像を表示するものである。The moving image reproducing device 16 is a device (LD player, video, etc.) for reproducing a moving image, and displays the reproduced moving image on the display 17. The display 17 displays a moving image.
【００２８】動画像データベース１２は、動画像を登録
したものであって、例えばＬＤ画像１３を格納したレー
ザディスク、ビデオ画像１４を格納したビデオテープな
どである。The moving image database 12 is one in which moving images are registered, and is, for example, a laser disk storing the LD image 13 or a video tape storing the video image 14.
【００２９】次に、図３のフローチャートに示す順序に
従い、図２の構成の動作を詳細に説明する。図３におい
て、Ｓ１は、動画を表示する。これは、図２の動画像表
示部４が動画像再生機器１６に指示して、動画像データ
ベース１２であるここでは、例えばＬＤ画像１３を格納
したレーザディスクから動画像を読み出して、ディスプ
レイ１７上に表示する。Next, the operation of the configuration of FIG. 2 will be described in detail according to the order shown in the flowchart of FIG. In FIG. 3, S1 displays a moving image. This is because the moving image display unit 4 in FIG. 2 instructs the moving image reproducing apparatus 16 to read the moving image from the laser disk, which is the moving image database 12 here, for example, the LD image 13, and displays it on the display 17. To display.
【００３０】Ｓ２は、ポインティングデバイスにて画面
上の任意の座標を指定する。これは、Ｓ１で動画像が画
面上に表示された状態で、利用者がこの動画像を見て、
その動画像の商品の名称や価格などの詳細情報を検索す
るために、ポインティングデバイスで商品の画像を指定
する。例えば右側に記載したように、図４のタッチパネ
ルディスプレイ１８上で図中の★のタッチ位置のＸ座標
およびＹ座標（以下（Ｘ、Ｙ）で示す）（４８０、２１
０）を指定（タッチ）する。In step S2, an arbitrary coordinate on the screen is designated by the pointing device. This is when the user sees this moving image while the moving image is displayed on the screen in S1.
In order to retrieve detailed information such as the name and price of the product in the moving image, the image of the product is specified by the pointing device. For example, as described on the right side, on the touch panel display 18 of FIG. 4, the X coordinate and the Y coordinate of the touch position of * in the drawing (hereinafter indicated by (X, Y)) (480, 21
0) is specified (touched).
【００３１】Ｓ３は、動画像再生機器より、座標入力時
の表示フレーム番号を取得する。これは、Ｓ２で動画像
上の任意の点を指定したことに対応して、この指定され
たときの動画像のフレーム番号、例えば右側に記載した
００１５００を動画像再生機器１６から取得する。In step S3, the display frame number at the time of inputting coordinates is acquired from the moving image reproducing device. In response to the designation of an arbitrary point on the moving image in S2, the frame number of the designated moving image, for example, 001500 described on the right side, is acquired from the moving image reproducing device 16.
【００３２】Ｓ４は、入力部より座標情報を取得する。
これは、Ｓ２でタッチした動画像上の座標（４８０、２
１０）を取得する。Ｓ５は、表示座標情報テーブル８よ
り、その座標にある物体を検索開始する。In step S4, coordinate information is acquired from the input section.
This is the coordinates (480, 2, 2) on the moving image touched in S2.
10) is acquired. In step S5, the display coordinate information table 8 is searched for an object at that coordinate.
【００３３】Ｓ６は、その領域にタッチした物体（商
品）が存在するか判別する。ここでは、 ・フレーム番号００１５００ ・座標位置（４８０、２１０） をもとに、図５の（ｂ）の表示座標情報テーブル８を検
索し、フレーム番号（フレームＮｏ）が００１５００の
レコードのうち、座標位置（４８０、２１０）を含む矩
形の商品２、商品３を見つける。この見つかったときは
Ｓ６でＹＥＳとなり、Ｓ７に進む。一方、見つからなか
ったときはＳ６のＮＯとなり、Ｓ２に戻る。In step S6, it is determined whether or not there is an object (product) touched in the area. Here, the display coordinate information table 8 of FIG. 5B is searched based on the frame number 001500 and the coordinate position (480, 210), and the coordinate of the record with the frame number (frame No.) 00100 is coordinated. Find products 2 and 3 that are rectangular, including the position (480, 210). When this is found, YES is obtained in S6 and the process proceeds to S7. On the other hand, if not found, the answer is NO in S6, and the process returns to S2.
【００３４】Ｓ７は、Ｓ６で商品が見つかったので、そ
の座標に複数の物体（商品）が存在するか判別する。こ
こでは、商品２、商品３と複数の商品が存在したので、
ＹＥＳとなり、Ｓ８に進む。一方、複数の商品が存在し
なかったときは、ＮＯとなり、Ｓ１０に進む。In S7, since the product is found in S6, it is determined whether or not there are a plurality of objects (products) at the coordinates. Since there are multiple products, product 2 and product 3, here,
If YES, the process proceeds to S8. On the other hand, if a plurality of products does not exist, the determination result is NO and the process proceeds to S10.
【００３５】Ｓ８は、Ｓ７のＹＥＳでその座標に複数の
商品（ここでは商品２、商品３）が存在すると判明した
ので、項目重畳情報テーブル５より、重畳優先順位を取
得する。例えば上述のフレーム番号００１５００の商品
２、商品３について、図５の（ｃ）の項目重畳情報テー
ブル９を参照し、 ・商品２：重畳順位２ ・商品３：重畳順位３ を取得する。In step S8, it is determined that a plurality of products (here, product 2 and product 3) are present at the coordinates in YES in step S7, so the superimposition priority is acquired from the item superimposition information table 5. For example, referring to the item superimposition information table 9 in FIG. 5C for the products 2 and 3 with the frame number 00100 described above, the product 2: superimposition order 2 • the product 3: superposition order 3 is acquired.
【００３６】Ｓ９は、商品を、重畳順位の高い１つに特
定する。これは、Ｓ８で取得した重畳順位のうち、高い
１つの商品として、商品２を特定する。Ｓ１０は、商品
情報テーブル７より、商品詳細情報を取得する。これ
は、Ｓ９までで特定した商品、ここでは、商品２につい
て、例えば図５の（ａ）の商品情報テーブル７を検索
し、 ・商品２：商品名“商品２”、価格“１，２００，００
０”を取得する。In step S9, the product is specified as one having a high superposition order. This specifies the product 2 as one product having a high rank among the superposition ranks acquired in S8. In S10, the product detailed information is acquired from the product information table 7. For example, the product information table 7 of FIG. 5A is searched for the product specified up to S9, here, the product 2, and the product information is as follows: product 2: product name “product 2”, price “1,200, 00
0 ”is acquired.
【００３７】Ｓ１１は、検索結果を画面表示する。これ
は、今までの検索結果を例えば右側に記載したように画
面（ＬＤ表示画面上の一部、あるいは別の画面）上に表
示する。In step S11, the search result is displayed on the screen. This displays the search results so far on the screen (a part of the LD display screen or another screen) as described on the right side, for example.
【００３８】★商品詳細情報 ★商品情報テーブル７にリンクされているデータファイ
ル（イメージファイルやテキストファイル）などがあれ
ば同時に表示 以上によって、利用者が画面上に表示された動画像上で
商品名や価格などの詳細情報を知りたいときに、当該商
品をタッチすると、このときの動画像のフレーム番号お
よび座標位置をもとに、図５の（ｂ）の表示座標情報テ
ーブル８から商品名を取り出し、この取り出した商品名
が複数あるときは図５の（ｃ）の項目重畳情報テーブル
９を参照して最も重畳順位の高い商品を特定する。次
に、１つの商品名、あるいは１つに特定した商品名をも
とに、図５の（ａ）の商品情報テーブル７を検索して、
商品の詳細情報（価格など）を取り出し、画面上に表示
する。これらにより、動画像上のある商品をタッチして
その商品の価格などの詳細情報を簡易に表示させること
が可能となる。★ Detailed product information ★ If there is a data file (image file or text file) linked to the product information table 7 at the same time, the product name is displayed on the moving image displayed on the screen by the user. When you want to know the detailed information such as price and price, touch the product, and the product name will be displayed from the display coordinate information table 8 of FIG. 5B based on the frame number and coordinate position of the moving image at this time. When there are a plurality of product names that have been taken out, the item having the highest superposition order is specified by referring to the item superposition information table 9 in FIG. 5C. Next, the product information table 7 of FIG. 5A is searched based on one product name or one specified product name,
Take out detailed information (price, etc.) of the product and display it on the screen. As a result, it becomes possible to easily display detailed information such as the price of a product by touching a product on the moving image.
【００３９】図４は、本発明の動画像例を示す。これ
は、タッチパネルディスプレイ１８上にＬＤ（レーザデ
ィスク）から読み出した動画像を表示した例を示す。こ
こでは、商品１、商品２、商品３の重畳順位のもとで表
示されている。この動画像上で★の位置を利用者がタッ
チした場合、その座標（４８０、２１０）を読み取る。FIG. 4 shows an example of a moving image according to the present invention. This shows an example in which a moving image read from an LD (laser disk) is displayed on the touch panel display 18. Here, it is displayed under the superposition order of the product 1, the product 2, and the product 3. When the user touches the position of * on this moving image, the coordinates (480, 210) are read.
【００４０】図５は、本発明のテーブル例を示す。図５
の（ａ）は、商品情報テーブル７の例を示す。これは、
商品名（商品１、商品２・・・）あるいはコード（ｃｏ
ｄｅ）に対応づけて当該商品の価格などの詳細情報を予
め登録したものである。ここでは、図示のように、 code 商品名 価格 LD開始フレーム、LD終了フレーム 0001 商品1 1,000,000 001500 003500 と登録する。ここで、codeは、商品名に一意に対応づけ
て予め設定したコードである。商品名は、商品の名称で
ある。価格は、商品の価格である。ＬＤ開始フレームお
よびＬＤ終了フレームは、当該商品の動画像が記録され
ているレーザディスクの開始のフレーム番号および終了
のフレーム番号である。複数ある場合には、連続してフ
レーム番号が連なり、１レコード終了をＮＵＬＬで判別
する。FIG. 5 shows an example of the table of the present invention. Figure 5
(A) shows an example of the product information table 7. this is,
Product name (product 1, product 2 ...) Or code (co
The detailed information such as the price of the product is registered in advance in association with de). Here, as shown in the figure, code product name price LD start frame, LD end frame 0001 product 1 1,000,000 001500 003500 are registered. Here, code is a code that is uniquely associated with a product name and set in advance. The product name is the name of the product. The price is the price of the product. The LD start frame and the LD end frame are the start frame number and the end frame number of the laser disc on which the moving image of the product is recorded. When there are a plurality of frames, the frame numbers are consecutive and the end of one record is determined by NULL.
【００４１】以上のように商品情報テーブル７に予め登
録しておくことにより、商品名が判明すると、当該商品
名の詳細情報（価格など）を取り出して画面上に表示す
ることが可能となる。By pre-registering in the product information table 7 as described above, when the product name is found, detailed information (price etc.) of the product name can be taken out and displayed on the screen.
【００４２】図５の（ｂ）は、表示座標情報テーブル８
の例を示す。これは、フレーム番号に対応づけて、動画
像上の存在する商品を内包する矩形の左上座標および右
下座標を予め登録したものである。ここでは、図示のよ
うに、 商品1 商品2 商品3 フレームNo 開始X,Y 終了X,Y 開始X,Y 終了X,Y 開始X,Y 終了X,Y 001500 80,300 320,450 200,200 530,350 320,80 650,250 と登録する。ここで、フレームNo(フレーム番号)は動画
像上でタッチされたときのフレーム番号である。開始X,
Y、終了X,Yは、動画像上の商品を内包する矩形の左上の
座標、および右下の座標である。ここでは、商品1、商
品2、商品3は、図4の画面上に表示したように、３つが
ある。FIG. 5B shows the display coordinate information table 8
For example: This is one in which the upper left coordinates and the lower right coordinates of a rectangle containing an existing product on the moving image are registered in advance in association with the frame number. Here, as shown in the figure, Product 1 Product 2 Product 3 Frame No Start X, Y End X, Y Start X, Y End X, Y Start X, Y End X, Y 001500 80,300 320,450 200,200 530,350 320,80 650,250 and register. Here, the frame number (frame number) is the frame number when touched on the moving image. Start X,
Y and end X, Y are the upper left coordinates and the lower right coordinates of the rectangle containing the product on the moving image. Here, there are three products 1, 2, and 3, as shown on the screen of FIG.
【００４３】以上のように表示座標情報テーブル８に予
め登録しておくことにより、利用者が動画像上でタッチ
して位置を指定すると、このときのフレーム番号および
タッチした位置座標をもとに、選択した商品（図４の★
の位置をタッチしたときは商品２、商品３）を容易に検
出することが可能となる。By registering in the display coordinate information table 8 in advance as described above, when the user touches and specifies a position on the moving image, based on the frame number and the touched position coordinate at this time. , The selected product (★ in Figure 4
When the position of is touched, it becomes possible to easily detect the products 2 and 3).
【００４４】図５の（ｃ）は、項目重畳情報テーブル９
の例を示す。これは、フレーム番号に対応づけて、動画
像上の存在する商品の重畳順位を予め登録したものであ
る。重畳順位は、一番画面の表側から裏側に向かうに従
って１、２、３・・・というように重畳順位を予め登録
したものである。ここでは、図示のように、 フレームNo 商品1 商品2 商品3 001500 1 2 3 と登録する。ここで、フレームNo(フレーム番号)は動画
像上でタッチされたときのフレーム番号である。１、
２、３は、重畳順位である。FIG. 5C shows the item superposition information table 9
For example: This is one in which the superposition order of the existing products on the moving image is registered in advance in association with the frame number. The superposition order is such that the superposition order is registered in advance as 1, 2, 3, ... From the front side of the screen to the back side. Here, as shown in the figure, frame number product 1 product 2 product 3 001500 1 2 3 is registered. Here, the frame number (frame number) is the frame number when touched on the moving image. 1,
Numbers 2 and 3 are superposition rankings.
【００４５】以上のように項目重畳情報テーブル９に予
め登録しておくことにより、利用者が動画像上でタッチ
して指定した位置の商品が複数あったときに（例えば図
４の★の座標位置のときは商品２、商品３）、当該項目
重畳情報テーブル９を検索し、最も前に表示されている
商品を１つ特定し、この特定した商品の詳細情報を、商
品情報テーブル７から検索して取り出し、表示すること
が可能となる。By registering in the item superposition information table 9 in advance as described above, when there are a plurality of products at the position designated by the user touching on the moving image (for example, the coordinates of ★ in FIG. 4). In the case of the position, the product 2, product 3) and the item superimposition information table 9 are searched, one product displayed first is specified, and detailed information of the specified product is searched from the product information table 7. It is then possible to take out and display.
【００４６】[0046]
【発明の効果】以上説明したように、本発明によれば、
動画像上で利用者から対象物（商品）が指定されたこと
に対応して、その座標および重畳順位から対象物（商
品）を特定して検出してその検索結果を表示する構成を
採用しているため、動画像上で選択された任意の対象物
（商品）の詳細情報を表示することができる。これらに
より、ＬＤ（レーザディスク）やビデオから再生した動
画像上で複数の対象物（商品）が同時に表示されている
場合であっても、複数の対象物（商品）のうちのいずれ
の対象物（商品）がタッチされて指定されかを確実に検
出し、データベースを検索して該当するその対象物（商
品）の詳細情報を表示することが可能となると共に、動
画像上で任意の対象物（商品）を指定するという自然な
利用者の操作によって、その対象物（商品）の詳細情報
を画面上に表示させることが可能となる。As described above, according to the present invention,
In response to the target (product) being specified by the user on the moving image, the target (product) is specified and detected from the coordinates and superposition order and the search result is displayed. Therefore, it is possible to display detailed information of an arbitrary target object (product) selected on the moving image. Due to these, even when a plurality of objects (commodities) are simultaneously displayed on a moving image reproduced from an LD (laser disk) or video, any of the objects (commodities) among the plurality of objects It is possible to reliably detect whether the (product) is touched and specified, search the database to display the detailed information of the corresponding target (product), and select any target on the moving image. It is possible to display the detailed information of the target object (product) on the screen by a natural operation of the user to specify the (product).
【図１】本発明の原理構成図である。FIG. 1 is a principle configuration diagram of the present invention.
【図２】本発明の１実施例構成図である。FIG. 2 is a configuration diagram of an embodiment of the present invention.
【図３】本発明の動作説明フローチャートである。FIG. 3 is a flowchart for explaining the operation of the present invention.
【図４】本発明の動画像例である。FIG. 4 is an example of a moving image according to the present invention.
【図５】本発明のテーブル例である。FIG. 5 is an example of a table of the present invention.
１：商品検索データベースシステム ２：コンピュータシステム ３：入力部 ３１：ポインティングデバイス ４：動画像表示部 ５：システム制御部 ６：データベース ７：対象物情報テーブル ７１：商品情報テーブル ８：表示座標情報テーブル ９：項目重畳情報テーブル １０：動画像再生部 １２：動画像データベース １３：ＬＤ画像 １４：ビデオ画像 １７：ディスプレイ 1: Product search database system 2: Computer system 3: Input unit 31: Pointing device 4: Moving image display unit 5: System control unit 6: Database 7: Object information table 71: Product information table 8: Display coordinate information table 9 : Item superimposition information table 10: Moving image reproducing unit 12: Moving image database 13: LD image 14: Video image 17: Display
───────────────────────────────────────────────────── フロントページの続き (72)発明者 青井 美奈 東京都品川区大崎１丁目６番４号 株式会 社富士通ソーシアルサイエンスラボラトリ 内 ─────────────────────────────────────────────────── ─── Continuation of the front page (72) Inventor Mina Aoi 1-6-4 Osaki, Shinagawa-ku, Tokyo Inside Fujitsu Social Science Laboratory, Inc.
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5079224AJP2756073B2 (en) | 1993-04-06 | 1993-04-06 | Data search method |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5079224AJP2756073B2 (en) | 1993-04-06 | 1993-04-06 | Data search method |
| Publication Number | Publication Date |
|---|---|
| JPH06295312Atrue JPH06295312A (en) | 1994-10-21 |
| JP2756073B2 JP2756073B2 (en) | 1998-05-25 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5079224AExpired - LifetimeJP2756073B2 (en) | 1993-04-06 | 1993-04-06 | Data search method |
| Country | Link |
|---|---|
| JP (1) | JP2756073B2 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08287107A (en)* | 1995-03-20 | 1996-11-01 | Internatl Business Mach Corp <Ibm> | System and method for establishment of link between provision of seller information and seller during display of movie |
| JPH10233081A (en)* | 1997-02-18 | 1998-09-02 | Pioneer Electron Corp | Computer |
| JP2000331468A (en)* | 2000-01-01 | 2000-11-30 | Pioneer Electronic Corp | Information storing medium and its information reproducing device, information reproducing method |
| JP2003016086A (en)* | 2001-07-02 | 2003-01-17 | Sony Corp | System for information processing, server, terminal device and method for providing of advertising service |
| JP2003529237A (en)* | 1999-09-30 | 2003-09-30 | インテル コーポレイション | Links to video information |
| JP2003529844A (en)* | 2000-03-31 | 2003-10-07 | ユナイテッド ビデオ プロパティーズ， インコーポレイテッド | System and method for advertising linked by metadata |
| JP2004164262A (en)* | 2002-11-13 | 2004-06-10 | Nippon Telegr & Teleph Corp <Ntt> | Video anchor search method, video anchor search device, video anchor search program, and recording medium storing the program |
| JP2005141507A (en)* | 2003-11-06 | 2005-06-02 | Nippon Telegr & Teleph Corp <Ntt> | Related information presentation device, related information search device, related information presentation method, related information search method, related information presentation program, and related information search program |
| US8869204B2 (en) | 1996-05-03 | 2014-10-21 | Starsight Telecast, Inc. | Method and system for displaying advertisements in an electronic program guide |
| US8918807B2 (en) | 1997-07-21 | 2014-12-23 | Gemstar Development Corporation | System and method for modifying advertisement responsive to EPG information |
| US9075861B2 (en) | 2006-03-06 | 2015-07-07 | Veveo, Inc. | Methods and systems for segmenting relative user preferences into fine-grain and coarse-grain collections |
| US9166714B2 (en) | 2009-09-11 | 2015-10-20 | Veveo, Inc. | Method of and system for presenting enriched video viewing analytics |
| US9215504B2 (en) | 2006-10-06 | 2015-12-15 | Rovi Guides, Inc. | Systems and methods for acquiring, categorizing and delivering media in interactive media guidance applications |
| US9319735B2 (en) | 1995-06-07 | 2016-04-19 | Rovi Guides, Inc. | Electronic television program guide schedule system and method with data feed access |
| US9326025B2 (en) | 2007-03-09 | 2016-04-26 | Rovi Technologies Corporation | Media content search results ranked by popularity |
| US9426509B2 (en) | 1998-08-21 | 2016-08-23 | Rovi Guides, Inc. | Client-server electronic program guide |
| US9635406B2 (en) | 1998-05-15 | 2017-04-25 | Rovi Guides, Inc. | Interactive television program guide system for determining user values for demographic categories |
| US9736524B2 (en) | 2011-01-06 | 2017-08-15 | Veveo, Inc. | Methods of and systems for content search based on environment sampling |
| US9749693B2 (en) | 2006-03-24 | 2017-08-29 | Rovi Guides, Inc. | Interactive media guidance application with intelligent navigation and display features |
| JP2019532403A (en)* | 2016-08-29 | 2019-11-07 | オ−ディーディー コンセプツ インク． | Video search information providing method, apparatus, and computer program |
| JP2022553174A (en)* | 2019-10-17 | 2022-12-22 | 北京字節跳動網絡技術有限公司 | Video retrieval method, device, terminal, and storage medium |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0352070A (en)* | 1989-07-20 | 1991-03-06 | Nippon Telegr & Teleph Corp <Ntt> | Related information reference system for moving image |
| JPH04284574A (en)* | 1991-03-14 | 1992-10-09 | Fujitsu Ltd | Graphic processor equipped with graphic pick function |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0352070A (en)* | 1989-07-20 | 1991-03-06 | Nippon Telegr & Teleph Corp <Ntt> | Related information reference system for moving image |
| JPH04284574A (en)* | 1991-03-14 | 1992-10-09 | Fujitsu Ltd | Graphic processor equipped with graphic pick function |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08287107A (en)* | 1995-03-20 | 1996-11-01 | Internatl Business Mach Corp <Ibm> | System and method for establishment of link between provision of seller information and seller during display of movie |
| US9319735B2 (en) | 1995-06-07 | 2016-04-19 | Rovi Guides, Inc. | Electronic television program guide schedule system and method with data feed access |
| US8869204B2 (en) | 1996-05-03 | 2014-10-21 | Starsight Telecast, Inc. | Method and system for displaying advertisements in an electronic program guide |
| JPH10233081A (en)* | 1997-02-18 | 1998-09-02 | Pioneer Electron Corp | Computer |
| US9191722B2 (en) | 1997-07-21 | 2015-11-17 | Rovi Guides, Inc. | System and method for modifying advertisement responsive to EPG information |
| US9015749B2 (en) | 1997-07-21 | 2015-04-21 | Rovi Guides, Inc. | System and method for modifying advertisement responsive to EPG information |
| US8918807B2 (en) | 1997-07-21 | 2014-12-23 | Gemstar Development Corporation | System and method for modifying advertisement responsive to EPG information |
| US9635406B2 (en) | 1998-05-15 | 2017-04-25 | Rovi Guides, Inc. | Interactive television program guide system for determining user values for demographic categories |
| US9426509B2 (en) | 1998-08-21 | 2016-08-23 | Rovi Guides, Inc. | Client-server electronic program guide |
| US7325245B1 (en) | 1999-09-30 | 2008-01-29 | Intel Corporation | Linking to video information |
| US8181204B2 (en) | 1999-09-30 | 2012-05-15 | Intel Corporation | Linking to video information |
| US8671430B2 (en) | 1999-09-30 | 2014-03-11 | Intel Corporation | Linking to video information |
| JP2003529237A (en)* | 1999-09-30 | 2003-09-30 | インテル コーポレイション | Links to video information |
| JP2000331468A (en)* | 2000-01-01 | 2000-11-30 | Pioneer Electronic Corp | Information storing medium and its information reproducing device, information reproducing method |
| JP2003529844A (en)* | 2000-03-31 | 2003-10-07 | ユナイテッド ビデオ プロパティーズ， インコーポレイテッド | System and method for advertising linked by metadata |
| JP2008236761A (en)* | 2000-03-31 | 2008-10-02 | United Video Properties Inc | Promotion system and method linked by metadata |
| US8863170B2 (en) | 2000-03-31 | 2014-10-14 | United Video Properties, Inc. | System and method for metadata-linked advertisements |
| US10015562B2 (en) | 2000-03-31 | 2018-07-03 | Rovi Guides, Inc. | System and method for metadata-linked advertisements |
| JP2003016086A (en)* | 2001-07-02 | 2003-01-17 | Sony Corp | System for information processing, server, terminal device and method for providing of advertising service |
| JP2004164262A (en)* | 2002-11-13 | 2004-06-10 | Nippon Telegr & Teleph Corp <Ntt> | Video anchor search method, video anchor search device, video anchor search program, and recording medium storing the program |
| JP2005141507A (en)* | 2003-11-06 | 2005-06-02 | Nippon Telegr & Teleph Corp <Ntt> | Related information presentation device, related information search device, related information presentation method, related information search method, related information presentation program, and related information search program |
| US9075861B2 (en) | 2006-03-06 | 2015-07-07 | Veveo, Inc. | Methods and systems for segmenting relative user preferences into fine-grain and coarse-grain collections |
| US9092503B2 (en) | 2006-03-06 | 2015-07-28 | Veveo, Inc. | Methods and systems for selecting and presenting content based on dynamically identifying microgenres associated with the content |
| US9128987B2 (en) | 2006-03-06 | 2015-09-08 | Veveo, Inc. | Methods and systems for selecting and presenting content based on a comparison of preference signatures from multiple users |
| US10984037B2 (en) | 2006-03-06 | 2021-04-20 | Veveo, Inc. | Methods and systems for selecting and presenting content on a first system based on user preferences learned on a second system |
| US9749693B2 (en) | 2006-03-24 | 2017-08-29 | Rovi Guides, Inc. | Interactive media guidance application with intelligent navigation and display features |
| US9215504B2 (en) | 2006-10-06 | 2015-12-15 | Rovi Guides, Inc. | Systems and methods for acquiring, categorizing and delivering media in interactive media guidance applications |
| US9326025B2 (en) | 2007-03-09 | 2016-04-26 | Rovi Technologies Corporation | Media content search results ranked by popularity |
| US10694256B2 (en) | 2007-03-09 | 2020-06-23 | Rovi Technologies Corporation | Media content search results ranked by popularity |
| US9166714B2 (en) | 2009-09-11 | 2015-10-20 | Veveo, Inc. | Method of and system for presenting enriched video viewing analytics |
| US9736524B2 (en) | 2011-01-06 | 2017-08-15 | Veveo, Inc. | Methods of and systems for content search based on environment sampling |
| JP2019532403A (en)* | 2016-08-29 | 2019-11-07 | オ−ディーディー コンセプツ インク． | Video search information providing method, apparatus, and computer program |
| JP2022553174A (en)* | 2019-10-17 | 2022-12-22 | 北京字節跳動網絡技術有限公司 | Video retrieval method, device, terminal, and storage medium |
| Publication number | Publication date |
|---|---|
| JP2756073B2 (en) | 1998-05-25 |
| Publication | Publication Date | Title |
|---|---|---|
| JP2756073B2 (en) | Data search method | |
| US5142662A (en) | Electronic publishing system | |
| JP3640986B2 (en) | Processor control system | |
| JP2994177B2 (en) | System and method for locating boundaries between video segments | |
| JPH08249348A (en) | Video search method and device | |
| EP0636994B1 (en) | Method of and apparatus for retrieving dynamic images and method of and apparatus for managing images | |
| JPS62266671A (en) | Image filting device | |
| JP2959069B2 (en) | Slip input processor | |
| JP2001103415A (en) | Slide show device | |
| JPH0622039B2 (en) | Library information retrieval device | |
| WO1990000776A1 (en) | A method and a presentation system for linking of information presented by means of a presentation unit | |
| JP3877876B2 (en) | Image data search system, image data search method, and program recording medium | |
| JP2002094898A (en) | Video data search and display method in video recording system | |
| JPH05257788A (en) | Card-shaped data base processor | |
| JPH01284973A (en) | Picture recording and reproducing device | |
| JP2845897B2 (en) | Document search / display method and apparatus | |
| Moghaddam et al. | Visualization and layout for personal photo libraries | |
| JPH0325235Y2 (en) | ||
| JPH04302366A (en) | Retrieving display device of interactive data system | |
| JPH04223564A (en) | Method of reading out computer information | |
| JPS61217831A (en) | Document image file search method | |
| JP3123087B2 (en) | Data display device | |
| JPH04287281A (en) | Related information referring system for information processor | |
| JP2000099518A (en) | Document data retrieval device | |
| JPS62132286A (en) | Sequence reproducing device |
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20100306 Year of fee payment:12 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20130306 Year of fee payment:15 |