JP2008217714A - TRACKING DEVICE, TRACKING METHOD, AND TRACKING PROGRAM - Google Patents
TRACKING DEVICE, TRACKING METHOD, AND TRACKING PROGRAMDownload PDFInfo
- Publication number
- JP2008217714A JP2008217714AJP2007057855AJP2007057855AJP2008217714AJP 2008217714 AJP2008217714 AJP 2008217714AJP 2007057855 AJP2007057855 AJP 2007057855AJP 2007057855 AJP2007057855 AJP 2007057855AJP 2008217714 AJP2008217714 AJP 2008217714A
- Authority
- JP
- Japan
- Prior art keywords
- person
- tracking
- movement range
- image
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Translated fromJapaneseDescription
Translated fromJapanese本発明は、追跡装置、追跡方法、及び追跡プログラムに係り、特に画像に含まれる対象物を高精度に追跡するための追跡装置、追跡方法、及び追跡プログラムに関する。 The present invention relates to a tracking device, a tracking method, and a tracking program, and more particularly to a tracking device, a tracking method, and a tracking program for tracking an object included in an image with high accuracy.
従来から、ステレオカメラを用いて空間内の特定の距離範囲にある物体の像を抽出して、その物体の高さを測定し、その物体の移動を追跡するステレオ画像による物体の移動追跡方法が知られている（例えば、特許文献１参照。）。 Conventionally, there has been a method of moving and tracking an object using a stereo image in which a stereo camera is used to extract an image of an object within a specific distance range in space, measure the height of the object, and track the movement of the object. It is known (for example, refer to Patent Document 1).
上述の特許文献１に示されている手法は、まず、ステレオ画像撮像部から得た画像信号に基づいて特定物体高測定部が物体の実際の高さを求め、次に、所定の時間遅延した後、特定物体高測定部により物体の高さを求め、更に、この高さと以前に求めた高さとの差を求めて、この差が閾値以内であれば同一物体と判断して物体移動追跡部が物体を追跡するものである。
ところで、上述した特許文献１に示されている手法では、ステレオ画像を処理して測定した距離情報を用いて人物等を追跡している。しかしながら、ステレオ画像処理による距離測定は、ステレオカメラの取り付け時の位置ずれ等の影響により誤差が生じる。特に、ステレオカメラから人物等の距離が遠くなればなるほど誤差は大きくなり、距離精度は低くなるため、遠くの人物等の特定物体（対象物）の追跡を行うことが困難であった。 By the way, in the method shown in Patent Document 1 described above, a person or the like is tracked using distance information measured by processing a stereo image. However, an error occurs in the distance measurement by the stereo image processing due to the influence of the positional deviation or the like when the stereo camera is attached. In particular, as the distance from a stereo camera to a person or the like increases, the error increases and the distance accuracy decreases. Therefore, it is difficult to track a specific object (target object) such as a far person.
本発明は、上記に鑑みてなされたものであって、撮影手段と人物との距離が遠い場合であっても、画像や映像に映っている対象物を高精度に追跡するための追跡装置、追跡方法、及び追跡プログラムを提供することを目的とする。 The present invention has been made in view of the above, and a tracking device for tracking an object reflected in an image or video with high accuracy even when the distance between a photographing unit and a person is long, It is an object to provide a tracking method and a tracking program.
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。 In order to solve the above problems, the present invention employs means for solving the problems having the following characteristics.
請求項１に記載された発明は、撮像手段から得られる画像情報に含まれる対象物を経時的に追跡する追跡装置において、前記撮像手段により所定の間隔で撮影された画像情報を入力する画像入力手段と、入力した画像情報から前記対象物を検出する対象物検出手段と、前記対象物検出手段により前記対象物を検出した場合に、前記撮像手段に対する前記対象物の距離及び位置を測定する距離・位置測定手段と、前記対象物に対する画像１フレームあたりの移動範囲を取得する移動範囲取得手段と、前記移動範囲取得手段により得られる移動範囲から、各フレーム毎に検出された対象物が同一であるか否か判定する判定手段とを有することを特徴とする。 The invention described in claim 1 is an image input for inputting image information photographed at a predetermined interval by the imaging means in a tracking device for tracking an object included in image information obtained from the imaging means over time. Means for detecting the object from the input image information, and a distance for measuring the distance and position of the object with respect to the imaging means when the object is detected by the object detection means. The position detection means, the movement range acquisition means for acquiring a movement range per image frame relative to the object, and the object detected for each frame from the movement range obtained by the movement range acquisition means are the same. Determining means for determining whether or not there is any.
また、請求項２に記載された発明は、前記判定手段は、前記移動範囲取得手段により得られた移動範囲が他の対象物の移動範囲と重なるか否かを判断し、前記判定手段により移動範囲が重なると判断された場合に、各対象物の特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段により得られる前記各対象物毎に特徴量の照合を行う照合手段とを有することを特徴とする。 In the invention described in claim 2, the determination means determines whether or not the movement range obtained by the movement range acquisition means overlaps the movement range of another object, and the determination means moves the movement range. When it is determined that the ranges overlap, a feature amount extraction unit that extracts a feature amount of each object, and a collation unit that collates the feature amount for each object obtained by the feature amount extraction unit It is characterized by that.
また、請求項３に記載された発明は、前記判定手段は、前記対象物検出手段により得られた対象物が新たに検出した対象物であるか否かを判断し、前記判定手段により新たに検出した対象物であると判断された場合に、前記対象物の特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段により得られる既に存在する対象物の特徴量と、新たに検出した対象物の特徴量との照合を行う照合手段とを有することを特徴とする。 Further, in the invention described in claim 3, the determination means determines whether or not the object obtained by the object detection means is a newly detected object, and the determination means newly When it is determined that the object is a detected object, a feature amount extraction unit that extracts a feature amount of the object, a feature amount of an existing object obtained by the feature amount extraction unit, and a new detection It has the collation means which collates with the feature-value of a target object, It is characterized by the above-mentioned.
また、請求項４に記載された発明は、前記撮像手段を基準にした前記対象物の位置を表示する画面を生成する画面生成手段を有することを特徴とする。 According to a fourth aspect of the present invention, there is provided screen generation means for generating a screen for displaying the position of the object with reference to the imaging means.
また、請求項５に記載された発明は、撮像手段から得られる画像情報に含まれる対象物を経時的に追跡する追跡方法において、前記撮像手段により所定の間隔で撮影された画像情報を入力する画像入力ステップと、入力した画像情報から前記対象物を検出する対象物検出ステップと、前記対象物検出ステップにより前記対象物を検出した場合に、前記撮像手段に対する前記対象物の距離及び位置を測定する位置・距離測定ステップと、前記対象物に対する画像１フレームあたりの移動範囲を取得する移動範囲取得ステップと、前記移動範囲取得ステップにより得られる移動範囲から、各フレーム毎に検出された対象物が同一であるか否か判定する判定ステップとを有することを特徴とする。 According to a fifth aspect of the present invention, in a tracking method for tracking an object included in image information obtained from an imaging unit over time, image information captured at predetermined intervals by the imaging unit is input. Measuring the distance and position of the object relative to the imaging means when the object is detected by the image input step, the object detection step of detecting the object from the input image information, and the object detection step; An object detected for each frame from a position / distance measurement step to be performed, a movement range acquisition step for acquiring a movement range per frame of the image relative to the object, and a movement range obtained by the movement range acquisition step. And a determination step of determining whether or not they are the same.
また、請求項６に記載された発明は、前記判定ステップは、前記移動範囲取得ステップにより得られた移動範囲が他の対象物の移動範囲と重なるか否かを判断し、前記判断ステップにより移動範囲と重なると判断された場合に、各対象物の特徴量を抽出する特徴量抽出ステップと、前記特徴量抽出ステップにより得られる前記各対象物毎に特徴量の照合を行う照合ステップとを有することを特徴とする。 Further, in the invention described in claim 6, the determination step determines whether or not the movement range obtained by the movement range acquisition step overlaps the movement range of another object, and the movement is performed by the determination step. A feature amount extracting step of extracting a feature amount of each object when it is determined that the range overlaps, and a collating step of comparing the feature amount for each object obtained by the feature amount extracting step It is characterized by that.
また、請求項７に記載された発明は、前記判定ステップは、前記対象物検出ステップにより得られた対象物が新たに検出した対象物であるか否かを判断し、前記判定ステップにより新たに検出した対象物であると判断された場合に、前記対象物の特徴量を抽出する特徴量抽出ステップと、前記特徴量抽出ステップにより得られる既に存在する対象物の特徴量と、新たに検出した対象物の特徴量との照合を行う照合ステップとを有することを特徴とする。 Further, in the invention described in claim 7, the determination step determines whether or not the object obtained by the object detection step is a newly detected object, and newly determines by the determination step. When it is determined that the object is a detected object, a feature amount extraction step for extracting the feature amount of the object, a feature amount of the already existing object obtained by the feature amount extraction step, and a new detection And a collation step of collating with the feature quantity of the object.
また、請求項８に記載された発明は、前記撮像手段を基準にした前記対象物の位置を表示する画面を生成する画面生成ステップを有することを特徴とする。 The invention described in
また、請求項９に記載された発明は、前記請求項５乃至８の何れか１項に記載された追跡方法をコンピュータに実行させるための追跡プログラムである。 The invention described in
請求項１記載の発明によれば、画像に含まれる対象物を高精度に追跡することができる。具体的には、ステレオカメラではなく、所定の数式等を用いて求めた撮像手段に対する対象物の距離及び位置を用いて対象物の追跡を行うため、撮像手段と対象物との距離が遠い場合であっても、距離に関係なく正確に対象物の追跡を行うことができる。 According to invention of Claim 1, the target object contained in an image can be tracked with high precision. Specifically, when the distance between the imaging means and the object is long because the object is tracked by using the distance and position of the object with respect to the imaging means obtained by using a predetermined mathematical formula instead of a stereo camera. Even so, the object can be accurately tracked regardless of the distance.
また、請求項２記載の発明によれば、対象物の特徴量を比較して照合を行うため、複数の対象物が重なった場合であっても、正確に対象物の追跡を行うことができる。 According to the second aspect of the present invention, since the feature quantities of the objects are compared and collated, the object can be accurately tracked even when a plurality of objects overlap. .
また、請求項３記載の発明によれば、新たな対象物を検出した場合であっても、それに対応して迅速に対象物の追跡を行うことができる。 According to the third aspect of the invention, even when a new object is detected, the object can be quickly tracked accordingly.
また、請求項４記載の発明によれば、追跡結果を使用者等に容易に把握させることができる。これにより、使用者は、監視や警備業務等を高精度に行うことができる。 Further, according to the invention described in claim 4, it is possible for the user or the like to easily grasp the tracking result. Thereby, the user can perform monitoring, security work, and the like with high accuracy.
また、請求項５記載の発明によれば、画像に含まれる対象物を高精度に追跡することができる。具体的には、ステレオカメラではなく、所定の数式等を用いて求めた撮像手段に対する対象物の距離及び位置を用いて対象物の追跡を行うため、撮像手段と対象物との距離が遠い場合であっても、距離に関係なく正確に対象物の追跡を行うことができる。 In addition, according to the fifth aspect of the present invention, the object included in the image can be tracked with high accuracy. Specifically, when the distance between the imaging means and the object is long because the object is tracked by using the distance and position of the object with respect to the imaging means obtained by using a predetermined mathematical formula instead of a stereo camera. Even so, the object can be accurately tracked regardless of the distance.
また、請求項６記載の発明によれば、対象物の特徴量を比較して照合を行うため、複数の対象物が重なった場合であっても、正確に対象物の追跡を行うことができる。 In addition, according to the invention described in claim 6, since the comparison is performed by comparing the feature quantities of the object, the object can be accurately tracked even when a plurality of objects overlap. .
また、請求項７記載の発明によれば、新たな対象物を検出した場合であっても、それに対応して迅速に対象物の追跡を行うことができる。 According to the seventh aspect of the present invention, even when a new object is detected, the object can be quickly tracked accordingly.
また、請求項８記載の発明によれば、追跡結果を使用者等に容易に把握させることができる。これにより、使用者は、監視や警備業務等を高精度に行うことができる。 In addition, according to the invention described in
また、請求項９記載の発明によれば、画像に含まれる対象物を高精度に追跡する。また、実行プログラムをコンピュータにインストールすることにより、容易に追跡処理を実現することができる。 According to the ninth aspect of the invention, the object included in the image is tracked with high accuracy. Further, the tracking process can be easily realized by installing the execution program in the computer.
以下に、本発明における追跡装置、追跡方法、及び追跡プログラムを好適に実施した形態について、図面を用いて説明する。なお、以下に説明する実施形態では、カメラ等の撮像手段により撮影された画像（所定時間毎に撮影される画像や映像等の連続画像等も含む）に含まれる追跡対象物の一例として人物を用いた追跡手法について説明するが、本発明において対象物はこれに限定されず、例えば動物やロボット等の移動可能な物体等であればよい。 Hereinafter, embodiments in which a tracking device, a tracking method, and a tracking program according to the present invention are suitably implemented will be described with reference to the drawings. In the embodiment described below, a person is used as an example of a tracking target included in an image (including continuous images such as images and video captured every predetermined time) captured by an imaging unit such as a camera. Although the tracking method used will be described, the object is not limited to this in the present invention, and may be any movable object such as an animal or a robot.
＜追跡装置：機能構成＞
図１は、本発明における追跡装置の概略構成の一例を示す図である。図１に示す追跡装置１０は、入力手段１１と、出力手段１２と、蓄積手段１３と、対象物検出手段１４と、距離・位置測定手段１５と、移動範囲取得手段１６と、判定手段１７と、特徴量抽出手段１８と、照合手段１９と、画面生成手段２０と、送受信手段２１と、制御手段２２とを有するよう構成されている。<Tracking device: functional configuration>
FIG. 1 is a diagram illustrating an example of a schematic configuration of a tracking device according to the present invention. The
入力手段１１は、撮像手段としての１又は複数のカメラ２３等により人物が撮影されている画像や映像等の画像情報を、後述する送受信手段２１から受信するための指示や、取得した画像や映像からカメラ２３の所定位置（レンズの中心位置やカメラ本体の重心位置等）を基準として、対象物である人物の距離を測定したり、人物の位置を測定するための測定指示等、人物の追跡における判定を行ったり、各種指示情報の入力を受け付ける。なお、入力手段１１は、例えばタッチパネルや操作ボタン群、キーボード、マウス等のポインティングデバイス、音声により指示を入力するためのマイク等からなる。 The input means 11 is an instruction for receiving image information such as an image or a video in which a person is photographed by one or a plurality of
ここで、画像や映像を撮影するためのカメラの種類としては、特に制限されないが、例えば高精細カメラ、望遠カメラ等を用いることができ、市販されている一般的な解像度を有するカメラであればよい。また、カメラ２３から得られる画像情報としては、画像や映像の他に、撮影した日時を示す撮影時間情報や、カメラ２３を識別するカメラ識別情報、カメラ２３のレンズの中心位置やカメラ本体の重心位置、画角、解像度等のカメラ情報、カメラ２３又はカメラ２３の周辺に設置されたマイク等の音声入力手段等により得られる音声情報等を有している。 Here, the type of camera for taking an image or video is not particularly limited. For example, a high-definition camera, a telephoto camera, or the like can be used, and any commercially available camera having a general resolution can be used. Good. In addition to images and videos, image information obtained from the
また、出力手段１２は、入力手段１１により入力された指示内容や、カメラ２３から得られる画像や映像、又は予め蓄積手段１３等に蓄積されている画像や映像等を用いて距離・位置測定手段１５や移動範囲取得手段１６により得られるカメラ２３の所定位置から人物までの距離や位置の測定結果、及び対象物の移動範囲取得結果、人物追跡結果等をディスプレイ等により出力する。なお、距離や位置の測定結果は、画面生成手段２０により生成された表示内容が出力される。 Further, the output means 12 is a distance / position measuring means that uses the instruction content input by the input means 11, an image or video obtained from the
ここで、出力手段１２は、ディスプレイの他にもスピーカ等の音声出力手段を有し、例えば距離測定や位置測定、追跡測定終了後、使用者等に音声で通知したり、カメラ２３又はカメラ２３の周辺に設置されたマイク等の音声入力手段から得られる音声データを出力することができる。 Here, the
蓄積手段１３は、カメラ２３により得られる画像情報（画像、映像、撮影時間情報、カメラ識別情報、カメラ情報、音声等を含む）や、距離・位置測定手段１５により得られる距離・位置測定結果や、移動範囲取得手段１６により得られる移動範囲取得結果、追跡結果等の各種情報を蓄積する。 The
なお、蓄積手段１３に蓄積された各種データは、制御手段２２からの制御信号に基づいて、必要に応じて読み出すことができ、またデータ等の更新、追加等の書き込み、削除等を行うことができる。 The various data stored in the storage means 13 can be read out as needed based on the control signal from the control means 22, and the data can be updated, added, etc. written, deleted, etc. it can.
対象物検出手段１４は、送受信手段２１を介して受信した画像情報又は蓄積手段１３に予め蓄積された画像情報に基づいて１又は複数の人物を検出する。なお、対象物検出手段１４は、検出結果を蓄積手段１３に蓄積させてもよい。 The
距離・位置測定手段１５は、送受信手段２１を介して受信した画像情報又は蓄積手段１３に予め蓄積された画像情報に基づいて、カメラ２３で予め設定される所定位置から人物までの距離や人物の位置を測定する。なお、具体的な距離や位置の測定手法については後述する。 The distance / position measuring means 15 is based on the image information received via the transmission / reception means 21 or the image information stored in advance in the storage means 13, and the distance from the predetermined position preset by the
移動範囲取得手段１６は、人物に対する画像１フレームあたりの移動可能範囲を取得する。具体的には、移動範囲取得手段１６は、所定間隔で入力した映像中の各画像において、人物が移動可能な範囲を取得するため、時系列的に複数の画像から同一の対象物がどの程度動いているかを測定し、その距離と各画像の撮影時間等の時間情報等に基づいて画像中に含まれる各人物の移動範囲を画像の２次元座標等に基づいて取得する。なお、移動範囲取得手段１６は、取得した移動範囲を蓄積手段１３に蓄積させてもよい。 The movement range acquisition means 16 acquires a movable range per image frame for a person. Specifically, the movement
判定手段１７は、上述した移動範囲取得手段１６等により得られる移動範囲から、各フレーム毎に検出された人物が同一人物であるか否か判定する。また、判定手段１７は、画像中に含まれる複数の人物が画像中で重なっているか否かの判定を行う。更に、判定手段１７は、画像中に含まれる人物が新たに検出された人物であるかの判定を行う。また、判定手段１７は、人物が所定の移動可能範囲を超える場合に特徴量等から同一人物か否かの判定を行う。なお、判定手段１７は、判定結果を蓄積手段１３に蓄積させてもよい。 The
特徴量抽出手段１８は、画像や映像に含まれる人物の特徴量を抽出する。具体的には、特徴量抽出手段１８は、移動範囲取得手段１６により得られた移動範囲が、他の対象物の移動範囲と重なると判断された場合に、各人物の特徴量を抽出する。また、特徴量抽出手段１８は、判定手段１７により画像中に含まれる人物が新たな人物であると判断された場合や、画像中に含まれる人物が移動可能範囲を超えた場合等に、その人物についての特徴量を抽出する。 The feature amount extraction means 18 extracts a feature amount of a person included in an image or video. Specifically, the feature
ここで、特徴量としては、例えば画像から切り出した対象物（人物）の画像データや体型、色、大きさ等により人物を特定する情報、あるいは、顔の目や鼻や口の形状、位置等を特定する情報等である。また、特徴量の取得方法としては、例えば蓄積手段１３等に通常時の画像を蓄積し、人物を含む画像との差分を取り、差分が存在する部分のオブジェクトを抽出して、人物だけを抽出する。また、抽出した人物の画像から、人物を特定する形状、色、大きさ等の情報の取得方法については、画面をブロックに分割し、各ブロックの代表的な色等を抽出して、人物の情報を抽象化する。 Here, as the feature amount, for example, the image data of the object (person) cut out from the image, information for specifying the person by the body shape, color, size, etc., the shape, position, etc. of the face eyes, nose and mouth, etc. This is information for identifying. Also, as a feature amount acquisition method, for example, a normal image is stored in the storage means 13 or the like, a difference from an image including a person is taken, an object of a part where the difference exists is extracted, and only a person is extracted. To do. In addition, regarding the method of acquiring information such as the shape, color, size, etc. that identifies a person from the extracted person image, the screen is divided into blocks, representative colors of each block are extracted, and the person's Abstract information.
更に、顔の特徴量の取得方法は、例えば顔の構成要素の形や位置の情報を抽出し、目、鼻、口等の大きさや位置、形状の情報を取得する。なお、これらの技術は、例えば特開２００３−３２４７２０号公報に記載されている手法やその他の手法を用いることができる。なお、特徴量抽出手段１８は、抽出した情報を蓄積手段１３に蓄積させてもよい。 Furthermore, the method for acquiring the facial feature value extracts, for example, information on the shape and position of the constituent elements of the face, and acquires information on the size, position, and shape of the eyes, nose, mouth, and the like. For these techniques, for example, a technique described in Japanese Patent Laid-Open No. 2003-324720 and other techniques can be used. Note that the feature
照合手段１９は、必要に応じて各人物毎に特徴量の照合を行う。また、照合手段１９は、照合結果に基づいて人物の特定及び追跡を行う。なお、照合手段１９は、照合結果を蓄積手段１３に蓄積させてもよい。 The collation means 19 collates feature amounts for each person as necessary. Moreover, the collation means 19 specifies and tracks a person based on the collation result. The collating
画面生成手段２０は、送受信手段２１を介してカメラ２３等から受信した画像情報又は蓄積手段１３に予め蓄積された画像情報、距離・位置測定手段１５により測定された距離測定結果、移動範囲取得手段１６により得られた移動可能範囲（座標）、追跡結果等を出力手段１２から出力するための画面を生成する。なお、画面生成手段２０における具体的な画面例については後述する。 The
送受信手段２１は、インターネットやＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、アンテナ、通信回線等からなり、有線や無線等により所定のカメラや外部蓄積装置等からのデータ又は制御信号の送受信を行い、特にカメラ等から撮影された画像や映像等の画像情報の受信を行う。 The transmission / reception means 21 includes the Internet, a LAN (Local Area Network), an antenna, a communication line, and the like, and performs transmission / reception of data or control signals from a predetermined camera, an external storage device, or the like by wire or wireless, especially from a camera or the like Receives image information such as captured images and videos.
制御手段２２は、追跡装置１０の各構成部全体の制御を行う。具体的には、制御手段２２は、カメラ２３により得られる画像情報を受信して蓄積手段１３に蓄積させたり、距離・位置測定手段１５により画像等に含まれる人物と所定位置との距離や人物の位置を測定させたり、移動範囲取得手段１６により画像等に含まれる人物の移動範囲を取得させたり、画面生成手段２０により追跡結果を生成させ、ディスプレイ等の出力手段１２に表示したり、送受信手段２１を介して外部装置で表示させるための画面を生成させる等の各種処理の制御を行う。上述した追跡装置１０により、画像に含まれる対象物を高精度に追跡することができる。 The
＜ハードウェア構成＞
ここで、上述した追跡装置１０は、専用の装置構成により本発明における対象物の追跡を行うこともできるが、各構成における処理をコンピュータに実行させることができる実行プログラムを生成し、例えば、汎用のパーソナルコンピュータ、サーバ等にプログラムをインストールすることにより、本発明における対象物の追跡処理を実現することができる。<Hardware configuration>
Here, the
ここで、本発明における実行可能なコンピュータのハードウェア構成例について図を用いて説明する。図２は、本発明における追跡処理が実現可能なハードウェア構成の一例を示す図である。 Here, an example of a hardware configuration of an executable computer in the present invention will be described with reference to the drawings. FIG. 2 is a diagram illustrating an example of a hardware configuration capable of realizing the tracking process according to the present invention.
図２におけるコンピュータ本体には、入力装置３１と、出力装置３２と、ドライブ装置３３と、補助記憶装置３４と、メモリ装置３５と、各種制御を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３６と、ネットワーク接続装置３７とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。 2 includes an
入力装置３１は、使用者が操作するキーボード及びマウス等のポインティングデバイスを有しており、使用者からのプログラムの実行等、各種操作信号を入力する。出力装置３２は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイを有し、ＣＰＵ３６が有する制御プログラムによりプログラムの実行経過や結果等を表示することができる。 The
ここで、本発明において、コンピュータ本体にインストールされる実行プログラムは、例えばＣＤ−ＲＯＭ等の記録媒体３８等により提供される。プログラムを記録した記録媒体３８は、ドライブ装置３３にセット可能であり、記録媒体３８に含まれる実行プログラムが、記録媒体３８からドライブ装置３３を介して補助記憶装置３４にインストールされる。 Here, in the present invention, the execution program installed in the computer main body is provided by the
補助記憶装置３４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム、上述した追跡する人物のカメラ２３からの距離情報や位置情報、追跡結果等、追跡処理に関する各種情報等を蓄積し、必要に応じて入出力を行うことができる。 The
メモリ装置３５は、ＣＰＵ３６により補助記憶装置３４から読み出された実行プログラム等を格納する。なお、メモリ装置３５は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等からなる。 The
ＣＰＵ３６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、メモリ装置３５により読み出され格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して各処理を実現することができる。また、プログラムの実行中に必要な各種情報は、補助記憶装置３４から取得することができ、また格納することもできる。 The
ネットワーク接続装置３７は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果又は本発明における実行プログラム自体を他の端末等に提供することができる。 The
上述したようなハードウェア構成により、特別な装置構成を必要とせず、低コストで効率的に追跡処理を実現することができる。また、プログラムをインストールすることにより、後述する追跡処理等を実現することができる。 With the hardware configuration described above, it is possible to efficiently implement tracking processing at low cost without requiring a special device configuration. Further, by installing the program, it is possible to realize a tracking process described later.
＜本発明における人物追跡に各実施形態＞
次に、本発明における人物追跡における各実施形態についてフローチャート等を用いて説明する。なお、以下に示す各実施形態に対応したフローチャートは、一例として画像中の人物の検出や判定等を行い、その後、追跡結果等を表示するまでの一例の処理手順について説明しているが、本発明における追跡処理は、例えば使用者等が処理を終了する指示を出すまで継続して実行されてもよい。<Embodiments for Person Tracking in the Present Invention>
Next, each embodiment in person tracking in the present invention will be described using a flowchart and the like. In addition, although the flowchart corresponding to each embodiment shown below demonstrates the example of the process sequence of performing detection, determination, etc. of the person in an image as an example, and displaying a tracking result etc. after that, The tracking process in the invention may be continuously executed until, for example, the user or the like issues an instruction to end the process.
＜人物追跡：第１の実施形態＞
次に、上述した追跡装置１０を用いた画像中の人物追跡の第１の実施形態について説明する。図３は、第１の実施形態における人物追跡の一例を示す図である。<Person Tracking: First Embodiment>
Next, a first embodiment of tracking a person in an image using the
まず、カメラ２３等から画像情報を入力し（Ｓ０１）、対象物検出手段１４は、その画像に人物（例えば、体、顔、頭等のある特徴が検出できるもの）が１以上含まれているか否かを判断する（Ｓ０２）。 First, image information is input from the
ここで、Ｓ０２における人物の顔検出処理は、例えば、予め顔の横幅及び顔に含まれる両目や鼻、口等の各特徴点の相対位置関係を基準値として記憶しておき、その後、撮像された顔画像から、まず肌色領域を抽出し、その肌色領域から顔の特徴点の領域を抽出して、肌色領域の横幅及び顔の特徴点の相対位置関係を算出し、基準値と比較して人物の検出や顔の傾きを含む向き等を検出する。上述したような手法は、例えば特開平１１−２８１６６１号公報等に開示されているが本発明における人物検出手法はこれに限定されるものではない。 Here, in the human face detection process in S02, for example, the lateral width of the face and the relative positional relationship between the feature points such as both eyes, nose, and mouth included in the face are stored in advance as reference values, and then captured. First, the skin color area is extracted from the face image, the face feature point area is extracted from the skin color area, the width of the skin color area and the relative positional relationship of the face feature points are calculated, and compared with the reference value. The direction including the detection of the person and the inclination of the face is detected. The method as described above is disclosed in, for example, Japanese Patent Laid-Open No. 11-281661, but the person detection method in the present invention is not limited to this.
ここで、Ｓ０２の処理において、人物を検出できなかった場合（Ｓ０２において、ＮＯ）、Ｓ０１に戻って再び画像情報を入力があるまで待機する。更に、Ｓ０２の処理において、人物（顔等）を１又は複数検出した場合（Ｓ０２において、ＹＥＳ）、以下の処理を検出した個々の人物（顔等）毎に行う。 If no person is detected in the process of S02 (NO in S02), the process returns to S01 and waits until image information is input again. Further, in the process of S02, when one or more persons (faces, etc.) are detected (YES in S02), the following processes are performed for each detected person (face, etc.).
距離・位置測定手段１５は、人物の距離を測定し（Ｓ０３）、測定した距離情報に基づいて人物の位置を測定する（Ｓ０４）。ここで、距離・位置測定手段１５は、具体的には、例えば本出願人により出願された特願２００６−１８６９４５号に開示されている方法で距離及び位置を測定する。このとき、人物の位置は、例えば２次元平面上の座標（ｘ、ｙ）で表示することができる。 The distance / position measuring means 15 measures the distance of the person (S03), and measures the position of the person based on the measured distance information (S04). Here, the distance / position measuring means 15 specifically measures the distance and position by the method disclosed in Japanese Patent Application No. 2006-186945 filed by the present applicant, for example. At this time, the position of the person can be displayed by coordinates (x, y) on a two-dimensional plane, for example.
＜距離測定例１＞
具体的には、カメラ２３からの距離と顔の幅に対応する画素数の関係より、基準となる距離に対する顔の幅と、その幅に対応する画素数が分かれば、例えば以下に示す数式等を用いてカメラ２３の所定位置（レンズの中心位置やカメラ本体の重心位置等）から人物までの距離を、撮影された人物の顔の幅に対応した画素数から導き出すことができる。<Distance measurement example 1>
Specifically, if the width of the face relative to the reference distance and the number of pixels corresponding to the width are known from the relationship between the distance from the
ここで、画像に含まれる人物の所定幅に対応する画素数をＦ、予め設定される基準となる距離をＬｓ、距離Ｌｓに対応して設定された基準となる画素数をＦｓとすると、カメラ２３の所定位置から人物までの距離をＬは、Ｌ＝（Ｌｓ×Ｆｓ）／Ｆにより求めることができる。 Here, if the number of pixels corresponding to a predetermined width of the person included in the image is F, the reference distance set in advance is Ls, and the reference pixel number set corresponding to the distance Ls is Fs, the camera The distance L from the predetermined position of 23 to the person can be obtained by L = (Ls × Fs) / F.
＜距離測定例２＞
また、他の距離測定例として、カメラ２３からの距離と顔の幅に対応する画素数、カメラ２３の画角の関係より、基準となる距離における顔の幅に対応する画素数、及びそのときのカメラ２３の画角があれば、例えば以下に示すような数式を用いることにより、距離を測定する人物の顔の幅に対応した画素数から、カメラ２３の所定位置から人物までの距離を導き出すことができる。<Distance measurement example 2>
As another distance measurement example, the number of pixels corresponding to the distance from the
ここで、画像に含まれる人物の所定幅に対応する画素数をＦ、画素数Ｆを測定したときのカメラの画角をα、予め設定された基準となる距離をＬｓ、距離Ｌｓに対応して設定された基準となる画素数をＦｓ、画素数Ｆｓを測定したときのカメラの画角をαｓとしたとき、カメラの所定位置から人物までの距離Ｌは、Ｌ＝（Ｌｓ×ｔａｎ（αｓ／２）×Ｆｓ）／（ｔａｎ（α／２）×Ｆ）により求めることができる。 Here, the number of pixels corresponding to a predetermined width of a person included in the image corresponds to F, the angle of view of the camera when the number of pixels F is measured is α, the preset reference distance corresponds to Ls, and the distance Ls. And the angle of view of the camera when the number of pixels Fs measured is αs, the distance L from the predetermined position of the camera to the person is L = (Ls × tan (αs / 2) × Fs) / (tan (α / 2) × F).
＜距離測定例３＞
また、他の距離測定例として、上述の距離測定例１に示すように、例えば測定した現在の顔の長さに対する画素数から距離を導き出す式に、顔の傾きに応じて、人物の距離を補正する。なお、顔の傾きの検出手法は、従来の検出手法（例えば、上述した特開平１１−１８１６６１号公報）等により求めることができる。<Distance measurement example 3>
As another distance measurement example, as shown in the distance measurement example 1 described above, for example, a distance is calculated from the number of pixels with respect to the measured current face length according to the inclination of the face. to correct. The face inclination detection method can be obtained by a conventional detection method (for example, the above-mentioned Japanese Patent Application Laid-Open No. 11-181661).
ここで、画像に含まれる人物の所定幅に対応する画素数をＦ、画素数Ｆを測定したときのカメラの画角をα、人物の撮影方向に対する傾きをβ、予め設定された基準となる距離をＬｓ、距離Ｌｓに対応して設定された基準となる画素数をＦｓ、画素数Ｆｓを測定したときのカメラの画角をαｓとしたとき、補正されるカメラの所定位置から人物対象物までの距離Ｌは、Ｌ＝（Ｌｓ×ｔａｎ（αｓ／２）×Ｆｓ）／（ｔａｎ（α／２）×Ｆ×ｃｏｓβ）により求めることができる。 Here, the number of pixels corresponding to a predetermined width of the person included in the image is F, the angle of view of the camera when the number of pixels F is measured is α, the inclination with respect to the shooting direction of the person is β, and a predetermined reference is used. When the distance is Ls, the reference number of pixels set corresponding to the distance Ls is Fs, and the angle of view of the camera when the number of pixels Fs is measured is αs, the person object from the predetermined position of the camera to be corrected Can be obtained by L = (Ls × tan (αs / 2) × Fs) / (tan (α / 2) × F × cosβ).
＜位置測定例＞
また、位置測定例としては、例えばカメラ２３の水平方向の画素数をＮ、カメラ２３の水平方向の画角をαｈ、対象物の中心の水平方向の座標をｘとしたとき、追跡対象物である人物の水平方向の角度θを、θ＝ｔａｎ−１（（（２×ｘ／Ｎ）−１）×ｔａｎ（αｈ／２））により算出し、算出された結果及び上述した距離測定例１〜３により得られるカメラ２３の所定位置から人物までの距離に基づいて、人物の位置（座標）を測定する。これにより、画像に含まれる対象物までの距離や位置を高精度に測定することができる。なお、本発明における人物の距離及び位置の測定方法については、上述した手法に限定されるものではない。<Example of position measurement>
As an example of position measurement, for example, when the number of horizontal pixels of the
次に、移動範囲取得手段１６は、人物の１フレームあたりの移動範囲を測定し（Ｓ０５）、測定した結果から移動可能な位置座標を求める（Ｓ０６）。 Next, the movement
＜移動範囲の取得方法＞
ここで、移動範囲取得手段１６における移動範囲の取得方法について図を用いて説明する。図４は、移動範囲の測定方法について説明するための一例の図である。なお、図４は、人物とカメラとの位置関係を上から見た図である。<Acquisition method of moving range>
Here, the movement range acquisition method in the movement range acquisition means 16 will be described with reference to the drawings. FIG. 4 is a diagram illustrating an example of a moving range measurement method. FIG. 4 is a view of the positional relationship between the person and the camera as seen from above.
図４に示すように、移動範囲取得手段１６は、取得した画像の１フレームあたりの人物の移動可能範囲を取得する。具体的には、移動範囲取得手段１６は、例えば人物の移動速度及び１フレームの画像を処理する時間等から求めることができる。ここで、移動速度については、人物の平均速度を予め設定しておいてもよく、更には、撮影された複数の画像フレームを用いて、そのフレーム間における人物の移動距離と、そのフレームの撮影時間の差等から求めることができる。また、１フレームの画像を処理する時間についても、予め一定時間毎に１フレームの画像の処理を行うように設定しておくことで定められる。 As illustrated in FIG. 4, the movement
例えば、図４の例では、カメラ２３の画角α°の範囲内に人物４１が存在する場合、予め設定された人物の平均移動速度が秒速１０ｍであり、カメラ２３の性能として１フレームを処理する時間が毎秒３０枚だとすると、人物４１の１フレームあたりの移動範囲は、１０（ｍ／秒）÷３０（枚／秒）＝０．３３ｍとなる。これにより、移動範囲取得手段１６は、現在の人物４１の位置座標から移動可能な範囲を、位置座標を基準に取得することができる。 For example, in the example of FIG. 4, when the
なお、上述の取得結果は、例えば画像生成手段２０により生成され、移動可能な位置座標を含む人物４１の移動可能範囲４２は、図４で示すように画面上では円弧で表される。なお、画像生成手段２０により生成される移動可能範囲４２としては、例えば人物４１の移動方向や移動範囲の距離、撮影時間情報、人物４１の特徴情報等が表示されてもよく、更に、人物４１の進行方向が把握できる場合には、移動可能範囲４２をその進行方向に基づいて半円状や楕円、矩形や三角形等の多角形に表示されるようにしてもよい。なお、取得した距離や位置、移動可能範囲（座標）の取得結果は、取得した時間情報と共に対象物毎に蓄積手段１３等に蓄積される。 The above-described acquisition result is generated by, for example, the
次に、Ｓ０６の処理により移動可能な位置座標を求めると、再びカメラ２３等から次の画像情報を入力し（Ｓ０７）、対象物検出手段１４は、その画像に人物（顔等）が含まれているか否かを判断する（Ｓ０８）。 Next, when the movable position coordinates are obtained by the processing of S06, the next image information is input again from the
ここで、Ｓ０８の処理において、人物を検出できなかった場合（Ｓ０８においてＮＯ）、人物が撮影範囲から抜けたと判断して処理を終了する。また、Ｓ０８の処理において、人物を検出した場合（Ｓ０８において、ＹＥＳ）、距離・位置測定手段１５は、人物の距離を測定し（Ｓ０９）、測定した距離情報に基づいて人物の位置を測定する（Ｓ１０）。 If no person has been detected in the process of S08 (NO in S08), it is determined that the person has left the shooting range, and the process ends. If a person is detected in the process of S08 (YES in S08), the distance / position measuring means 15 measures the distance of the person (S09), and measures the position of the person based on the measured distance information. (S10).
次に、判定手段１７は、測定された人物の位置座標と前画像で測定された移動可能な位置座標とを比較する（Ｓ１１）。また、比較の結果、位置座標が移動可能な位置座標か否かを判断し（Ｓ１２）、位置座標が移動可能な位置座標であった場合（Ｓ１２において、ＹＥＳ）、判定手段１７は、同一の人物と判断し（Ｓ１３）、その人物が今まで画面に表示している場合には、例えばその人物の移動経路を表示させるための画面生成を行い（Ｓ１４）、その画面をディスプレイ等の出力手段１２に表示して（Ｓ１５）、引き続き人物の追跡を行うためＳ０５に戻り後続の処理を行う。 Next, the
また、Ｓ１２の処理において、位置座標が移動可能な位置座標でなかった場合（Ｓ１２において、ＮＯ）、判定手段１７は、異なる人物と判断し（Ｓ１６）、例えば新規人物（新たに検出された人物等）を表示させるための画面生成を行い（Ｓ１７）、画面を表示する（Ｓ１８）。また、Ｓ０８の処理において、人物を検出していない場合（Ｓ０８において、ＮＯ）、処理を終了する。 If the position coordinate is not a movable position coordinate in S12 (NO in S12), the
これにより、画像に含まれる対象物を高精度に追跡することができる。具体的には、ステレオカメラではなく、所定の数式等を用いて求めた撮像手段に対する対象物の距離及び位置を用いて対象物の追跡を行うため、撮像手段と対象物との距離が遠い場合であっても、距離に関係なく正確に対象物の追跡を行うことができる。 Thereby, the object contained in the image can be tracked with high accuracy. Specifically, when the distance between the imaging means and the object is long because the object is tracked by using the distance and position of the object with respect to the imaging means obtained by using a predetermined mathematical formula instead of a stereo camera. Even so, the object can be accurately tracked regardless of the distance.
＜人物追跡：第２の実施形態＞
次に、上述した追跡装置１０を用いた画像中の人物追跡の第２の実施形態について説明する。図５は、第２の実施形態における人物追跡の一例を示す図である。第２の実施形態では、第１の実施形態に、人物を追跡中に他の人物と交差する可能性がある場合、具体的には移動可能範囲が重なる場合であっても確実に追跡を行うことができる人物追跡手法について説明する。<Person Tracking: Second Embodiment>
Next, a second embodiment of tracking a person in an image using the
まず、カメラ２３から画像情報を入力し（Ｓ２１）、対象物検出手段１４は、その画像に人物が１以上含まれているか否かを判断する（Ｓ２２）。ここで、Ｓ２２の処理において、人物を検出できなかった場合（Ｓ２２において、ＮＯ）、Ｓ２１に戻って再び画像情報を入力があるまで待機する。更に、Ｓ２２の処理において、人物を１又は複数検出した場合（Ｓ２２において、ＹＥＳ）、以下の処理を検出した個々の人物毎に行う。 First, image information is input from the camera 23 (S21), and the
距離・位置測定手段１５は、人物の距離を測定し（Ｓ２３）、測定した距離情報に基づいて人物の位置を測定する（Ｓ２４）。更に、移動範囲取得手段１６は、人物の１フレームあたりの移動範囲を測定し（Ｓ２５）、測定した結果から移動可能な位置座標を求める（Ｓ２６）。なお、上述したＳ２１〜Ｓ２６の処理については、第１の実施形態（Ｓ０１〜Ｓ０６）と同様であるため、ここでの詳細な説明については省略する。次に、制御手段２２は、検出された人物の移動範囲が他の人物の移動範囲と重なるか否かを判断する（Ｓ２７）。 The distance / position measuring means 15 measures the distance of the person (S23), and measures the position of the person based on the measured distance information (S24). Further, the movement range acquisition means 16 measures the movement range of the person per frame (S25), and obtains movable position coordinates from the measurement result (S26). In addition, about the process of S21-S26 mentioned above, since it is the same as that of 1st Embodiment (S01-S06), detailed description here is abbreviate | omitted. Next, the control means 22 determines whether or not the detected movement range of the person overlaps with the movement range of another person (S27).
＜移動範囲が重なっている例＞
ここで、複数の人物が撮影領域内にいる場合に人物の移動範囲が重なる場合の一例について図を用いて説明する。図６は、人物の移動範囲が重なっている例について説明するための一例の図である。図６に示すように、人物が複数存在する場合、移動範囲取得手段１６は上述した手法によりその人物４１−１，４１−２の移動範囲を取得し、その結果、各人物４１−１，４１−２について、それぞれの移動可能範囲４２−１，４２−２をそれぞれ設定する。<Example of overlapping movement ranges>
Here, an example of a case where the movement ranges of the persons overlap when a plurality of persons are in the shooting area will be described with reference to the drawings. FIG. 6 is an example for explaining an example in which the movement ranges of persons overlap. As shown in FIG. 6, when there are a plurality of persons, the movement
このとき、図６に示すように、それぞれの移動可能範囲４２−１，４２−２に重複範囲（図６における斜線部分）４３が存在するか否かを判断し、その結果に基づいて、その人物が前の画像フレームに存在する人物と同一人物であるか否かの判定とその対応付け処理を行う。具体的には、特徴量抽出手段１８により人物４１−１，４１−２の特徴量を取得し、照合手段１９により重なる前後の人物の特徴量を照合することにより、その人物の移動位置や方向を追跡することができる。 At this time, as shown in FIG. 6, it is determined whether or not there is an overlapping range (shaded portion in FIG. 6) 43 in each of the movable ranges 42-1 and 42-2, and based on the result, It is determined whether or not the person is the same person as the person existing in the previous image frame, and the corresponding process is performed. Specifically, the feature quantity extraction means 18 acquires the feature quantities of the persons 41-1 and 41-2, and the collation means 19 collates the feature quantities of the person before and after the overlap, thereby moving the person's movement position and direction. Can be tracked.
ここで、制御手段２２は、Ｓ２７の処理において、人物の移動範囲が他の人物の移動範囲と重なると判断した場合（Ｓ２７において、ＹＥＳ）、特徴量抽出手段１８は、各人物の特徴量を求める（Ｓ２８）。 Here, when the
また、Ｓ２７の処理において、人物の移動範囲が他の人物の移動範囲と重ならないと判断した場合（Ｓ２７においてＮＯ）、又はＳ２８の処理が終了後、再びカメラ２３から次の画像情報を入力し（Ｓ２９）、対象物検出手段１４は、その画像に人物（顔等）が含まれているか否かを判断する（Ｓ３０）。 In the process of S27, if it is determined that the movement range of the person does not overlap with the movement range of another person (NO in S27), or after the process of S28 ends, the next image information is input from the
Ｓ３０の処理において、人物が検出できなかった場合（Ｓ３０において、ＮＯ）、人物が撮影範囲から抜けたと判断して処理を終了する。また、Ｓ３０の処理において、人物を検出した場合（Ｓ３０において、ＹＥＳ）、距離・位置測定手段１５は、人物の距離を測定し（Ｓ３１）、測定した距離情報に基づいて人物の位置を測定する（Ｓ３２）。 If no person is detected in the process of S30 (NO in S30), it is determined that the person has left the shooting range, and the process ends. In the process of S30, when a person is detected (YES in S30), the distance /
次に、判定手段１７は、測定された人物の位置座標と前画像で測定された移動可能な位置座標とを比較し（Ｓ３３）、比較の結果、移動可能な位置座標か否かを判断する（Ｓ３４）。ここで、Ｓ３４の処理において、位置座標が移動可能な位置座標でなかった場合（Ｓ３４において、ＮＯ）、判定手段１７は、異なる人物と判断する（Ｓ３５）。 Next, the
また、Ｓ３４の処理において、位置座標が移動可能な位置座標であった場合（Ｓ３４において、ＹＥＳ）、次に、制御手段２２は、前画像で人物の移動範囲が他の人物の移動範囲と重なっていたか判断する（Ｓ３６）。 In the process of S34, when the position coordinates are movable position coordinates (YES in S34), the control means 22 then causes the person movement range in the previous image to overlap with the movement range of other persons. It is determined whether it has been (S36).
Ｓ３６の処理において、制御手段が前画像で人物の移動範囲が他の人物の移動範囲と重なっていたと判断した場合（Ｓ３６において、ＹＥＳ）、特徴量抽出手段１８は、人物の特徴量を求める（Ｓ３７）。また、照合手段１９は、Ｓ３７の処理により得られる特徴量が一致するか否かを判断する（Ｓ３８）。 In the process of S36, if the control means determines that the movement range of the person overlaps the movement range of another person in the previous image (YES in S36), the feature quantity extraction means 18 obtains the feature quantity of the person ( S37). In addition, the collating
ここで、Ｓ３８の処理において、特徴量が一致した場合（Ｓ３８において、ＹＥＳ）、又はＳ３６の処理において、制御手段２２が前画像で人物の移動範囲が他の人物の移動範囲と重なっていなかったと判断した場合（Ｓ３６において、ＮＯ）、判定手段１７は、同一の人物と判断し（Ｓ３９）、その人物が今まで画面に表示している場合には、その後の移動経路を表示させるための画面生成を行い（Ｓ４０）、その画面をディスプレイ等の出力手段１２に表示して（Ｓ４１）、引き続き人物の追跡を行うためＳ２３に戻り後続の処理を行う。 Here, in the process of S38, when the feature values match (YES in S38), or in the process of S36, the control means 22 indicates that the movement range of the person does not overlap with the movement range of other persons in the previous image. If it is determined (NO in S36), the determination means 17 determines that they are the same person (S39), and if that person has been displayed on the screen so far, a screen for displaying the subsequent movement route. The image is generated (S40), the screen is displayed on the output means 12 such as a display (S41), and the process returns to S23 to perform subsequent processing to continue tracking the person.
また、Ｓ３８の処理において、特徴量が一致しなかった場合（Ｓ３８において、ＮＯ）、判定手段１７は、異なる人物と判断する（Ｓ４２）。また、Ｓ３５の処理又はＳ４２の処理が終了後、それぞれが異なる人物と判断されているため、例えば新規人物を表示させるための画面生成を行い（Ｓ４３）、その画面をディスプレイ等の出力手段１２に表示し（Ｓ４４）、処理を終了する。 If the feature amounts do not match in the process of S38 (NO in S38), the
このように、上述した第２の実施形態によれば、複数の人物が撮影された画像上で交差した（重なった）場合でも人物を特定することができるため、高精度な人物追跡を実現することができる。 As described above, according to the above-described second embodiment, a person can be specified even when a plurality of persons intersect (overlap) on a photographed image, thereby realizing highly accurate person tracking. be able to.
具体的には、対象物の特徴量を比較して照合を行うため、複数の対象物が重なった場合であっても、正確に対象物の追跡を行うことができる。 Specifically, since the feature quantities of the objects are compared and collated, the object can be accurately tracked even when a plurality of objects overlap.
＜人物追跡：第３の実施形態＞
次に、上述した追跡装置１０を用いた画像中の人物追跡の第３の実施形態について説明する。図７は、第３の実施形態における人物追跡の一例を示す図である。第３の実施形態では、例えば一度検出した人物が物等によるカメラ２３からの死角で撮影した画像から検出されなくなってしまった場合に、再度その人物を検出したときに、特徴量を用いて同一人物か否かを判定し、同一人物の場合には経路を繋げて追跡を継続するための人物追跡手法について説明する。<Person Tracking: Third Embodiment>
Next, a third embodiment of tracking a person in an image using the
まず、カメラ２３から画像情報を入力し（Ｓ５１）、対象物検出手段１４は、その画像に人物が１以上含まれているか否かを判断する（Ｓ５２）。 First, image information is input from the camera 23 (S51), and the
ここで、Ｓ５２の処理において、人物を検出できなかった場合（Ｓ５２において、ＮＯ）、Ｓ５１に戻って再び画像情報を入力があるまで待機する。更に、Ｓ５２の処理において、人物を１又は複数検出した場合（Ｓ５２において、ＹＥＳ）、以下の処理を検出した個々の人物毎に行う。 If no person is detected in the process of S52 (NO in S52), the process returns to S51 and waits until image information is input again. Further, in the process of S52, when one or more persons are detected (YES in S52), the following process is performed for each detected person.
距離・位置測定手段１５は、人物の距離を測定し（Ｓ５３）、測定した距離情報に基づいて人物の位置を測定する（Ｓ５４）。更に、移動範囲取得手段１６は、人物の１フレームあたりの移動範囲を測定し（Ｓ５５）、測定した結果から移動可能な位置座標を求める（Ｓ５６）。なお、上述したＳ５１〜Ｓ５６の処理については、第１の実施形態（Ｓ０１〜Ｓ０６）と同様であるため、ここでの詳細な説明については省略する。 The distance / position measuring means 15 measures the distance of the person (S53), and measures the position of the person based on the measured distance information (S54). Further, the movement range acquisition means 16 measures the movement range of the person per frame (S55), and obtains movable position coordinates from the measurement result (S56). Note that the processes of S51 to S56 described above are the same as those in the first embodiment (S01 to S06), and thus detailed description thereof will be omitted.
次に、制御手段２２は、検出された人物が新規人物（新たに検出された人物等）か否かを判断する（Ｓ５７）。Ｓ５７の処理では、例えば人物の出現場所が予め設定された場所（例えば、監視カメラの撮影範囲の外周や入退館口、出入口等）であるか否かで判断する。 Next, the control means 22 determines whether or not the detected person is a new person (such as a newly detected person) (S57). In the process of S57, for example, a determination is made based on whether or not the appearance location of the person is a preset location (for example, the outer periphery of the photographing range of the surveillance camera, the entrance / exit, the entrance / exit, etc.).
ここで、制御手段２２は、Ｓ５７の処理において、新規人物であると判断された場合（Ｓ５７において、ＹＥＳ）、特徴量抽出手段１８は人物の特徴量を求める（Ｓ５８）。なお、新規人物を最初に検出した場合には、いつ物等の遮蔽物による死角で人物が検出されなくなるかわからないため、必ず特徴量を求めるようにする。 Here, when it is determined that the person is a new person in the process of S57 (YES in S57), the feature amount extraction means 18 obtains the feature amount of the person (S58). When a new person is detected for the first time, it is not known when the person is no longer detected at the blind spot due to an obstruction such as an object.
また、Ｓ５８の処理の終了後、又はＳ５７の処理において、新規人物ではないと判断された場合（Ｓ５７において、ＮＯ）、既に新規人物であると判断されたときに特徴量を求めているため、新規ではない２度目以降の検出の場合には、特徴量を求めなくてもよく、その場合には、再びカメラ２３から次の画像情報を入力する（Ｓ５９）。 If it is determined that the person is not a new person after completion of the process of S58 or in the process of S57 (NO in S57), the feature amount is obtained when it is already determined to be a new person. In the case of the second and subsequent detections that are not new, the feature amount need not be obtained. In this case, the next image information is input again from the camera 23 (S59).
また、対象物検出手段１４は、その画像に人物が含まれているか否かを判断する（Ｓ６０）。ここで、Ｓ６０の処理において、人物を検出した場合（Ｓ６０において、ＹＥＳ）、距離・位置測定手段１５は、人物の距離を測定し（Ｓ６１）、測定した距離情報に基づいて人物の位置を測定する（Ｓ６２）。 Further, the
次に、判定手段１７は、測定された人物の位置座標と前画像で測定された移動可能な位置座標とを比較する（Ｓ６３）。また、比較の結果、位置座標が移動可能な位置座標か否かを判断し（Ｓ６４）、位置座標が移動可能な位置座標であった場合（Ｓ６４において、ＹＥＳ）、判定手段１７は、同一の人物と判断し（Ｓ６５）、その人物が今まで画面に表示している場合には、その後の移動経路を表示させるための画面生成を行い（Ｓ６６）、その画面をディスプレイ等の出力手段１２に表示して（Ｓ６７）、引き続き人物の追跡を行うためＳ５５に戻り後続の処理を行う。 Next, the
また、Ｓ６４の処理において、位置座標が移動可能な位置座標でなかった場合（Ｓ６４において、ＮＯ）、判定手段１７は、異なる人物と判断し（Ｓ６８）、例えば新規人物を表示させるための画面生成を行い（Ｓ６９）、画面を表示して（Ｓ７０）、処理を終了する。なお、上述したＳ５７〜Ｓ７０の処理については、第１の実施形態（Ｓ０７〜Ｓ１８）と同様であるため、ここでの詳細な説明については省略する。 In the process of S64, when the position coordinates are not movable position coordinates (NO in S64), the
また、第３の実施形態では、Ｓ６０の処理において、人物を検出していない場合（Ｓ６０において、ＮＯ）、つまり、物等の遮蔽物により人物を検出できなくなる場合、所定時間まで画像情報の入力を待ち（Ｓ７１）、入力した画像に対して人物を検出したか否かを判断する（Ｓ７２）。つまり、第１の実施形態では、連続して人物が検出できない場合は処理を終了させていたが、物等の遮蔽物による死角で人物が画像から検出できなくなった場合には、人物が検出できるまで、繰り返し処理を行う。 In the third embodiment, when no person is detected in the process of S60 (NO in S60), that is, when it becomes impossible to detect a person due to an obstruction such as an object, image information is input until a predetermined time. (S71), it is determined whether or not a person has been detected in the input image (S72). That is, in the first embodiment, when the person cannot be detected continuously, the process is terminated. However, when the person cannot be detected from the image at the blind spot due to the shielding object such as an object, the person can be detected. Until the process is repeated.
したがって、Ｓ７２の処理において、人物を検出していない場合（Ｓ７２において、ＮＯ）、Ｓ７１に戻って再び画像情報を入力があるまで待機する。更に、Ｓ７２の処理において、人物を１又は複数検出した場合（Ｓ７２において、ＹＥＳ）、以下の処理を検出した個々の人物毎に行う。 Therefore, if no person is detected in the process of S72 (NO in S72), the process returns to S71 and waits until image information is input again. Furthermore, when one or more persons are detected in the process of S72 (YES in S72), the following process is performed for each detected person.
距離・位置測定手段１５は、人物の距離を測定し（Ｓ７３）、測定した距離情報に基づいて人物の位置を測定する（Ｓ７４）。次に、特徴量抽出手段１８は、人物の特徴量を求める（Ｓ７５）。また、照合手段は、Ｓ７５の処理により得られる特徴量が画像中の人物と一致するか否かを判断する（Ｓ７６）。 The distance / position measuring means 15 measures the distance of the person (S73), and measures the position of the person based on the measured distance information (S74). Next, the feature amount extraction means 18 obtains the feature amount of the person (S75). The collating unit determines whether or not the feature amount obtained by the process of S75 matches the person in the image (S76).
ここで、Ｓ７６の処理において、特徴量が一致した場合（Ｓ７６において、ＹＥＳ）、判定手段１７は、同一の人物と判断し（Ｓ７７）、その人物が今まで画面に表示している場合には、その後の移動経路を表示させるための画面生成を行い（Ｓ７８）、その画面をディスプレイ等の出力手段１２に表示して（Ｓ７９）、引き続き人物の追跡を行うためＳ５５に戻り後続の処理を行う。 Here, in the process of S76, if the feature amounts match (YES in S76), the determination means 17 determines that they are the same person (S77), and if that person has been displayed on the screen so far. Then, a screen for displaying the subsequent movement route is generated (S78), the screen is displayed on the output means 12 such as a display (S79), and then the process returns to S55 to perform the subsequent processing for tracking the person. .
また、Ｓ７６の処理において、特徴量が一致する場合（Ｓ７６において、ＮＯ）、上述したように、判定手段１７は、異なる人物と判断し（Ｓ６８）、例えば新規人物を表示させるための画面生成を行い（Ｓ６９）、画面を表示して（Ｓ７０）、処理を終了する。 In the process of S76, if the feature values match (NO in S76), as described above, the
これにより、画像に含まれる対象物を高精度に追跡することができる。また、物等の遮蔽物により人物が所定時間内で検出できなくなった場合でも、今までの位置情報等に基づいて人物の追跡を行うことができる。 Thereby, the object contained in the image can be tracked with high accuracy. Further, even when a person cannot be detected within a predetermined time due to an obstruction such as an object, the person can be tracked based on the position information and the like so far.
＜人物追跡：第４の実施形態＞
次に、上述した追跡装置１０を用いた画像中の人物追跡の第４の実施形態について説明する。図８は、第４の実施形態における人物追跡の一例を示す図である。第４の実施形態では、例えば一度検出した人物が追跡途中で移動速度を上げることで、予め設定される移動可能範囲から超えた（外れた）場合に、特徴量を用いて同一人物か否かを判断し、経路を繋げて追跡を継続するための人物追跡手法について説明する。<Person Tracking: Fourth Embodiment>
Next, a fourth embodiment of tracking a person in an image using the
まず、カメラから画像情報を入力し（Ｓ８１）、対象物検出手段１４は、その画像に人物が１以上含まれているか否かを判断する（Ｓ８２）。 First, image information is input from the camera (S81), and the
ここで、Ｓ８２の処理において、人物を検出できなかった場合（Ｓ８２において、ＮＯ）、Ｓ８１に戻って再び画像情報を入力があるまで待機する。更に、Ｓ８２の処理において、人物を１又は複数検出した場合（Ｓ８２において、ＹＥＳ）、以下の処理を検出した個々の人物毎に行う。 If no person has been detected in the process of S82 (NO in S82), the process returns to S81 and waits until image information is input again. Furthermore, when one or more persons are detected in the process of S82 (YES in S82), the following process is performed for each detected person.
距離・位置測定手段１５は、人物の距離を測定し（Ｓ８３）、測定した距離情報に基づいて人物の位置を測定する（Ｓ８４）。更に、移動範囲取得手段１６は、人物の１フレームあたりの移動範囲を測定し（Ｓ８５）、測定した結果から移動可能な位置座標を求める（Ｓ８６）。 The distance / position measuring means 15 measures the distance of the person (S83), and measures the position of the person based on the measured distance information (S84). Further, the movement range acquisition means 16 measures the movement range of the person per frame (S85), and obtains movable position coordinates from the measurement result (S86).
次に、制御手段２２は、検出された人物が新規人物か否かを判断する（Ｓ８７）。ここで、制御手段２２は、Ｓ８７の処理において、新規人物であると判断された場合（Ｓ８７において、ＹＥＳ）、特徴量抽出手段１８は人物の特徴量を求める（Ｓ８８）。 Next, the control means 22 determines whether or not the detected person is a new person (S87). Here, when it is determined that the person is a new person in the process of S87 (YES in S87), the feature amount extraction means 18 obtains the feature amount of the person (S88).
また、Ｓ８８の処理の終了後、又はＳ５７の処理において、新規人物ではないと判断された場合（Ｓ８７において、ＮＯ）、再びカメラ２３から次の画像情報を入力し（Ｓ８９）、対象物検出手段１４は、その画像に人物が含まれているか否かを判断する（Ｓ９０）。なお、上述したＳ８１〜Ｓ９０の処理については、第１の実施形態（Ｓ５１〜Ｓ６０）と同様であるため、ここでの詳細な説明については省略する。 If it is determined that the person is not a new person after the process of S88 or in the process of S57 (NO in S87), the next image information is input again from the camera 23 (S89), and the object detection means 14 determines whether a person is included in the image (S90). In addition, about the process of S81-S90 mentioned above, since it is the same as that of 1st Embodiment (S51-S60), it abbreviate | omits about detailed description here.
ここで、Ｓ９０の処理において、人物を検出できなかった場合（Ｓ９０においてＮＯ）、人物が撮影範囲から抜けたと判断して処理を終了する。また、Ｓ９０の処理において、人物を検出した場合（Ｓ９０において、ＹＥＳ）、距離・位置測定手段１５は、人物の距離を測定し（Ｓ９１）、測定した距離情報に基づいて人物の位置を測定する（Ｓ９２）。 If no person is detected in the process of S90 (NO in S90), it is determined that the person has left the shooting range, and the process ends. In the process of S90, when a person is detected (YES in S90), the distance / position measuring means 15 measures the distance of the person (S91) and measures the position of the person based on the measured distance information. (S92).
次に、判定手段１７は、測定された人物の位置座標と前画像で測定された移動可能な位置座標とを比較し（Ｓ９３）、検出した人物が移動可能な位置座標（範囲）内にいるか否かを判断する（Ｓ９４）。Ｓ９４の処理において、移動可能な位置座標にない場合（Ｓ９４において、ＮＯ）、一度検出した人物の移動速度が上がったことにより、設定された移動可能範囲を超えてしまった可能性があるため、人物の特徴量を求め（Ｓ９５）、求めた特徴量が画像の人物と一致するか否かを判断する（Ｓ９６）。つまり、追跡していた人物が所定の移動可能範囲を超えてしまった場合でも、特徴量が一致すれば同一人物と判断する。 Next, the
したがって、Ｓ９６の処理において、特徴量が一致する場合（Ｓ９６において、ＹＥＳ）、又は上述したＳ９４の処理において、人物が移動可能な位置座標にいる場合（Ｓ９６において、ＹＥＳ）、判定手段１７は、同一の人物と判断し（Ｓ９７）、その人物が今まで画面に表示している場合には、その後の移動経路を表示させるための画面生成を行い（Ｓ９８）、その画面をディスプレイ等の出力手段１２に表示して（Ｓ９９）、引き続き人物の追跡を行うためＳ８５に戻り後続の処理を行う。 Therefore, when the feature amounts match in the process of S96 (YES in S96), or in the above-described process of S94, when the person is at a movable position coordinate (YES in S96), the determination means 17 When it is determined that they are the same person (S97) and the person has been displayed on the screen so far, screen generation for displaying the subsequent movement route is performed (S98), and the screen is output means such as a display. 12 (S99), the process returns to S85 to perform subsequent processing in order to continue tracking the person.
また、Ｓ９４の処理において、特徴量が一致しない場合（Ｓ９６において、ＮＯ）、判定手段１７は、異なる人物と判断し（Ｓ１００）、例えば新規人物を表示させるための画面生成を行い（Ｓ１０１）、画面を表示して（Ｓ１０２）、処理を終了する。 In the process of S94, if the feature amounts do not match (NO in S96), the
これにより、画像に含まれる対象物を高精度に追跡することができる。また、人物が移動速度を変更した場合であっても正確に対象物の追跡を行うことができる。なお、上述の第１〜第４の実施形態は、組み合わせて適用してもよい。 Thereby, the object contained in the image can be tracked with high accuracy. Even if the person changes the moving speed, the object can be accurately tracked. Note that the first to fourth embodiments described above may be applied in combination.
＜画面生成例＞
次に、本発明における画面生成手段２０で生成される画面の一例について、図を用いて説明する。図９は、表示画面の一例について説明するための一例を示す図である。なお、図９の例では、一例として画像に二人の人物が映っている例について説明する。図９に示すように、表示画面５０は、大別すると、画像表示領域５１と、測定結果表示領域５２と、追跡結果表示領域５３とを有するよう構成されている。<Screen generation example>
Next, an example of a screen generated by the screen generation means 20 in the present invention will be described with reference to the drawings. FIG. 9 is a diagram illustrating an example for explaining an example of the display screen. In the example of FIG. 9, an example in which two persons are shown in the image will be described as an example. As shown in FIG. 9, the
画像表示領域５１は、カメラ２３により撮影された測定対象の画像を表示する。このとき、上述した画面中のどの部分が顔であるか、また顔の中心や顔の大きさ（幅、長さ）を測定するための顔領域６２の情報も表示される。具体的には、図９に示すように、画像表示領域５１として、人物６１−１，６１−２のそれぞれの顔領域６２−１，６２−２が表示されている。なお、本発明においてはこれに限定されず、例えば顔領域６２でなく、目や鼻、口、耳等の各特徴点自体を点等で示してもよい。 The
測定結果表示領域５２には、実際に測定した結果が表示される。ここで、測定結果表示領域５２に示される測定データとしては、例えば顔の大きさや、カメラ２３と人物６１との距離、顔の中心座標、カメラ２３と人物６１との角度等がある。なお、顔の大きさは、例えばある基準を１００とした場合の割合を示し、顔の中心座標は、画像表示領域５１の解像度（例えば、３２０×２４０等）を基準にして設定される。 The measurement
追跡結果表示領域５３は、２次元平面におけるカメラ２３の位置と、カメラ２３に対応する人物６１−１，６１−２の位置（座標）が点６３−１，６３−２で示されており、またカメラ２３の所定位置からの距離（１ｍ，２ｍ，３ｍ，・・・）が表示されている。 In the tracking
また、追跡結果表示領域５３には、人物６１−１，６１−２の位置の点６３−１，６３−２を基準にした移動可能範囲６４−１，６４−２が表示される。また、追跡結果表示領域５３には、カメラ２３の撮影方向に対応した人物６１−１，６１−２の進行方向を示す矢印６５−１，６５−２が表示される。なお、点６３−１，６３−２を基準にした矢印６５−１，６５−２は、人物毎の移動速度に応じて矢印の大きさや長さを変更させてもよい。 The tracking
更に、追跡結果表示領域５３は、人物６１−１，６２−２の移動経路６６−１，６６−２を示しても良い。なお、本発明においては、追跡結果表示領域５３に表示される内容はこれに限定されず、カメラ２３と人物６１との距離や位置関係がわかるような表示内容であればよい。 Further, the tracking
なお、表示画面５０に表示される項目は上述した内容に限定されず、例えば人物の位置（座標）や画像を取得したときの時間情報を表示したり、経時的に取得した測定結果や移動速度等を並べて表示してもよく、追跡経過時間や予想される移動方向、所定場所への到達時間等の時間情報等を表示してもよい。 Note that the items displayed on the
更に、例えばメニュー表示領域を設けてもよく、メニュー表示領域により表示画面５０に表示させる対象となる画像を読み出したり、本発明により測定された距離や位置の情報を表示したり、表示された結果を他の蓄積領域にファイル名を付けて記録させる等の処理を行うことができる。 Further, for example, a menu display area may be provided, and an image to be displayed on the
このように、表示画面５０を生成してディスプレイ等に表示することにより、使用者等は、画像や映像を撮影した撮像手段の所定位置から画像や映像に映っている対象物までの距離や対象物の移動経路を容易に把握することができる。これにより、使用者は、監視や警備業務等を高精度に行うことができる。 In this way, by generating the
上述したように本発明によれば、画像に含まれる対象物を高精度に追跡することができる。具体的には、ステレオカメラではなく、所定の数式等を用いて求めた撮像手段に対する対象物の距離及び位置を用いて対象物の追跡を行うため、撮像手段と対象物との距離が遠い場合であっても、距離に関係なく正確に対象物の追跡を行うことができる。 As described above, according to the present invention, an object included in an image can be tracked with high accuracy. Specifically, when the distance between the imaging means and the object is long because the object is tracked by using the distance and position of the object with respect to the imaging means obtained by using a predetermined mathematical formula instead of a stereo camera. Even so, the object can be accurately tracked regardless of the distance.
また、本発明によれば、対象物の特徴量を比較して照合を行うため、複数の対象物が重なった場合であっても、正確に対象物の追跡を行うことができる。また、本発明によれば、新たな対象物を検出した場合であっても、それに対応して迅速に対象物の追跡を行うことができる。また、本発明によれば、画像生成手段により追跡結果を使用者等に容易に把握させることができる。これにより、使用者は、監視や警備業務等を高精度に行うことができる。また、上述した本発明における追跡処理に対応する追跡プログラムをコンピュータにインストールすることにより、容易に追跡処理を実現することができる。 Further, according to the present invention, since the feature quantities of the objects are compared and collated, the object can be accurately tracked even when a plurality of objects overlap. Further, according to the present invention, even when a new object is detected, it is possible to quickly track the object correspondingly. Further, according to the present invention, it is possible for the user or the like to easily grasp the tracking result by the image generation means. Thereby, the user can perform monitoring, security work, and the like with high accuracy. In addition, the tracking process can be easily realized by installing a tracking program corresponding to the tracking process in the present invention described above in the computer.
また、本発明では、具体的には、上述した距離や位置測定の数式を用いてカメラと人物との距離や位置を測定することができるため、１台のカメラによって測定処理を行うことができる。 Further, in the present invention, specifically, since the distance and position between the camera and the person can be measured using the above-described distance and position measurement formulas, the measurement process can be performed by one camera. .
なお、本発明における追跡手法は、例えば銀行や百貨店、スーパー、コンビニ、病院、住宅周辺等の監視システム等に適用することで、より高精度に不審者を追跡することができる。 Note that the tracking method in the present invention can be applied to monitoring systems such as banks, department stores, supermarkets, convenience stores, hospitals, and residential areas to track suspicious persons with higher accuracy.
以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。 Although the preferred embodiment of the present invention has been described in detail above, the present invention is not limited to the specific embodiment, and various modifications, within the scope of the gist of the present invention described in the claims, It can be changed.
１０ 追跡装置
１１ 入力手段
１２ 出力手段
１３ 蓄積手段
１４ 対象物検出手段
１５ 距離・位置測定手段
１６ 移動範囲取得手段
１７ 判定手段
１８ 特徴量抽出手段
１９ 照合手段
２０ 画面生成手段
２１ 送受信手段
２２ 制御手段
２３ カメラ（撮像手段）
３１ 入力装置
３２ 出力装置
３３ ドライブ装置
３４ 補助記憶装置
３５ メモリ装置
３６ ＣＰＵ
３７ ネットワーク接続装置
３８ 記録媒体
４１ 人物
４２ 移動可能範囲
４３ 重複範囲
５０ 表示画面
５１ 画像表示領域
５２ 測定結果表示領域
５３ 追跡結果表示領域
６１ 人物
６２ 顔領域
６３ 点
６４ 移動可能範囲
６５ 矢印
６６ 移動経路DESCRIPTION OF
31
37
Claims (9)
Translated fromJapanese前記撮像手段により所定の間隔で撮影された画像情報を入力する画像入力手段と、
入力した画像情報から前記対象物を検出する対象物検出手段と、
前記対象物検出手段により前記対象物を検出した場合に、前記撮像手段に対する前記対象物の距離及び位置を測定する距離・位置測定手段と、
前記対象物に対する画像１フレームあたりの移動範囲を取得する移動範囲取得手段と、
前記移動範囲取得手段により得られる移動範囲から、各フレーム毎に検出された対象物が同一であるか否か判定する判定手段とを有することを特徴とする追跡装置。In a tracking device for tracking an object included in image information obtained from an imaging means over time,
Image input means for inputting image information taken at predetermined intervals by the imaging means;
Object detection means for detecting the object from the input image information;
A distance / position measuring means for measuring a distance and a position of the object relative to the imaging means when the object is detected by the object detecting means;
Movement range acquisition means for acquiring a movement range per image frame for the object;
A tracking apparatus comprising: a determination unit that determines whether or not the objects detected for each frame are the same from the movement range obtained by the movement range acquisition unit.
前記判定手段により移動範囲が重なると判断された場合に、各対象物の特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により得られる前記各対象物毎に特徴量の照合を行う照合手段とを有することを特徴とする請求項１に記載の追跡装置。The determination means determines whether or not the movement range obtained by the movement range acquisition means overlaps the movement range of another object,
Feature amount extraction means for extracting the feature amount of each object when it is determined by the determination means that the movement ranges overlap;
The tracking device according to claim 1, further comprising: a matching unit that performs a matching of a feature amount for each of the objects obtained by the feature amount extraction unit.
前記判定手段により新たに検出した対象物であると判断された場合に、前記対象物の特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により得られる既に存在する対象物の特徴量と、新たに検出した対象物の特徴量との照合を行う照合手段とを有することを特徴とする請求項１に記載の追跡装置。The determination means determines whether or not the object obtained by the object detection means is a newly detected object,
Feature amount extraction means for extracting the feature amount of the object when it is determined by the determination means that the object is newly detected;
The tracking device according to claim 1, further comprising: a matching unit that performs matching between a feature quantity of an existing object obtained by the feature quantity extraction unit and a feature quantity of a newly detected target object. .
前記撮像手段により所定の間隔で撮影された画像情報を入力する画像入力ステップと、
入力した画像情報から前記対象物を検出する対象物検出ステップと、
前記対象物検出ステップにより前記対象物を検出した場合に、前記撮像手段に対する前記対象物の距離及び位置を測定する位置・距離測定ステップと、
前記対象物に対する画像１フレームあたりの移動範囲を取得する移動範囲取得ステップと、
前記移動範囲取得ステップにより得られる移動範囲から、各フレーム毎に検出された対象物が同一であるか否か判定する判定ステップとを有することを特徴とする追跡方法。In a tracking method for tracking an object included in image information obtained from an imaging means over time,
An image input step of inputting image information captured at a predetermined interval by the imaging means;
An object detection step of detecting the object from the input image information;
A position / distance measuring step for measuring the distance and position of the object with respect to the imaging means when the object is detected by the object detecting step;
A moving range acquisition step of acquiring a moving range per image frame for the object;
And a determination step of determining whether or not the objects detected for each frame are the same from the movement range obtained by the movement range acquisition step.
前記判断ステップにより移動範囲と重なると判断された場合に、各対象物の特徴量を抽出する特徴量抽出ステップと、
前記特徴量抽出ステップにより得られる前記各対象物毎に特徴量の照合を行う照合ステップとを有することを特徴とする請求項５に記載の追跡方法。The determination step determines whether or not the movement range obtained by the movement range acquisition step overlaps the movement range of another object;
A feature amount extraction step of extracting a feature amount of each object when it is determined by the determination step that the movement range overlaps;
The tracking method according to claim 5, further comprising: a collation step of collating feature amounts for each of the objects obtained by the feature amount extraction step.
前記判定ステップにより新たに検出した対象物であると判断された場合に、前記対象物の特徴量を抽出する特徴量抽出ステップと、
前記特徴量抽出ステップにより得られる既に存在する対象物の特徴量と、新たに検出した対象物の特徴量との照合を行う照合ステップとを有することを特徴とする請求項５に記載の追跡方法。The determination step determines whether or not the object obtained by the object detection step is a newly detected object;
A feature amount extraction step for extracting a feature amount of the object when it is determined that the object is newly detected by the determination step;
The tracking method according to claim 5, further comprising: a collation step of collating the feature quantity of the existing object obtained by the feature quantity extraction step with the feature quantity of the newly detected object. .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007057855AJP4987513B2 (en) | 2007-03-07 | 2007-03-07 | TRACKING DEVICE, TRACKING METHOD, AND TRACKING PROGRAM |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007057855AJP4987513B2 (en) | 2007-03-07 | 2007-03-07 | TRACKING DEVICE, TRACKING METHOD, AND TRACKING PROGRAM |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008217714Atrue JP2008217714A (en) | 2008-09-18 |
| JP4987513B2 JP4987513B2 (en) | 2012-07-25 |
Family
ID=39837642
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007057855AActiveJP4987513B2 (en) | 2007-03-07 | 2007-03-07 | TRACKING DEVICE, TRACKING METHOD, AND TRACKING PROGRAM |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4987513B2 (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010098404A (en)* | 2008-10-15 | 2010-04-30 | Nec Corp | Imaging device, mobile terminal provided with imaging device, portrait image processing method, portrait image processing program, and recording medium |
| CN101894376A (en)* | 2009-05-21 | 2010-11-24 | 富士胶片株式会社 | Person tracking method and person tracking device |
| JP2012164093A (en)* | 2011-02-04 | 2012-08-30 | Secom Co Ltd | Face image authentication apparatus |
| WO2015015869A1 (en) | 2013-08-02 | 2015-02-05 | オリンパス株式会社 | Image processing device, image processing method, and program |
| WO2015198592A1 (en)* | 2014-06-24 | 2015-12-30 | 日本電気株式会社 | Information processing device, information processing method, and information processing program |
| JP2018533805A (en)* | 2015-11-12 | 2018-11-15 | アリババ グループ ホウルディング リミテッド | Face position tracking method, device and electronic device |
| JP2019204518A (en)* | 2018-07-02 | 2019-11-28 | バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド | Person tracking method, device, instrument and storage medium |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003044859A (en)* | 2001-07-30 | 2003-02-14 | Matsushita Electric Ind Co Ltd | Motion tracking device and person tracking method |
| JP2004110448A (en)* | 2002-09-19 | 2004-04-08 | Nippon Hoso Kyokai <Nhk> | Video object identification / tracking apparatus, its method and its program |
| JP2005063036A (en)* | 2003-08-08 | 2005-03-10 | Nissan Motor Co Ltd | Object tracking device |
- 2007
- 2007-03-07JPJP2007057855Apatent/JP4987513B2/enactiveActive
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003044859A (en)* | 2001-07-30 | 2003-02-14 | Matsushita Electric Ind Co Ltd | Motion tracking device and person tracking method |
| JP2004110448A (en)* | 2002-09-19 | 2004-04-08 | Nippon Hoso Kyokai <Nhk> | Video object identification / tracking apparatus, its method and its program |
| JP2005063036A (en)* | 2003-08-08 | 2005-03-10 | Nissan Motor Co Ltd | Object tracking device |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010098404A (en)* | 2008-10-15 | 2010-04-30 | Nec Corp | Imaging device, mobile terminal provided with imaging device, portrait image processing method, portrait image processing program, and recording medium |
| CN101894376A (en)* | 2009-05-21 | 2010-11-24 | 富士胶片株式会社 | Person tracking method and person tracking device |
| JP2010273112A (en)* | 2009-05-21 | 2010-12-02 | Fujifilm Corp | Person tracking method, person tracking apparatus, and person tracking program |
| JP2012164093A (en)* | 2011-02-04 | 2012-08-30 | Secom Co Ltd | Face image authentication apparatus |
| CN105407787A (en)* | 2013-08-02 | 2016-03-16 | 奥林巴斯株式会社 | Image processing device, image processing method, and program |
| WO2015015869A1 (en) | 2013-08-02 | 2015-02-05 | オリンパス株式会社 | Image processing device, image processing method, and program |
| US9898664B2 (en) | 2013-08-02 | 2018-02-20 | Olympus Corporation | Image processing device, image processing method, and information storage device |
| WO2015198592A1 (en)* | 2014-06-24 | 2015-12-30 | 日本電気株式会社 | Information processing device, information processing method, and information processing program |
| US9836655B2 (en) | 2014-06-24 | 2017-12-05 | Nec Corporation | Information processing apparatus, information processing method, and computer-readable medium |
| JP2018533805A (en)* | 2015-11-12 | 2018-11-15 | アリババ グループ ホウルディング リミテッド | Face position tracking method, device and electronic device |
| US11003893B2 (en) | 2015-11-12 | 2021-05-11 | Advanced New Technologies Co., Ltd. | Face location tracking method, apparatus, and electronic device |
| US11423695B2 (en) | 2015-11-12 | 2022-08-23 | Advanced New Technologies Co., Ltd. | Face location tracking method, apparatus, and electronic device |
| JP2019204518A (en)* | 2018-07-02 | 2019-11-28 | バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド | Person tracking method, device, instrument and storage medium |
| US11348354B2 (en) | 2018-07-02 | 2022-05-31 | Baidu Online Network Technology (Beijing) Co., Ltd. | Human body tracing method, apparatus and device, and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4987513B2 (en) | 2012-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4987513B2 (en) | TRACKING DEVICE, TRACKING METHOD, AND TRACKING PROGRAM | |
| CN107766788B (en) | Information processing apparatus, method thereof, and computer-readable storage medium | |
| JP4541316B2 (en) | Video surveillance search system | |
| US10796543B2 (en) | Display control apparatus, display control method, camera system, control method for camera system, and storage medium | |
| KR102111935B1 (en) | Display control apparatus, display control method, and program | |
| US11070729B2 (en) | Image processing apparatus capable of detecting moving objects, control method thereof, and image capture apparatus | |
| KR101530255B1 (en) | Cctv system having auto tracking function of moving target | |
| KR100879623B1 (en) | Automated Wide Area Surveillance System Using PTZ Camera and Its Method | |
| US8073206B2 (en) | Face feature collator, face feature collating method, and program | |
| JP5438601B2 (en) | Human motion determination device and program thereof | |
| JP2009048347A (en) | Image processing apparatus, image processing method, and image processing program | |
| JP4575829B2 (en) | Display screen position analysis device and display screen position analysis program | |
| JP5718632B2 (en) | Part recognition device, part recognition method, and part recognition program | |
| JP6833354B2 (en) | Information processing equipment, information processing methods and programs | |
| CN108965656A (en) | Display control apparatus, display control method and storage medium | |
| EP3018902B1 (en) | Monitoring camera system | |
| JP6972962B2 (en) | Object tracking device, object tracking method, and object tracking program | |
| EP3477544A1 (en) | Information processing apparatus, information processing method, imaging apparatus, network camera system, and program | |
| JP6766009B2 (en) | Monitoring equipment, monitoring methods, computer programs, and storage media | |
| KR20130062489A (en) | Device for tracking object and method for operating the same | |
| EP4246281B1 (en) | Information display system, information display method, and carrier means | |
| JP2017028688A (en) | Image managing device, image managing method and program | |
| JP4699056B2 (en) | Automatic tracking device and automatic tracking method | |
| JP2020201879A (en) | Image processing apparatus and image processing program | |
| JP2008211534A (en) | Face detection device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20100215 | |
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20110812 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20110823 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20111021 | |
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20120327 | |
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20120425 | |
| R150 | Certificate of patent or registration of utility model | Ref document number:4987513 Country of ref document:JP Free format text:JAPANESE INTERMEDIATE CODE: R150 Free format text:JAPANESE INTERMEDIATE CODE: R150 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20150511 Year of fee payment:3 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| S533 | Written request for registration of change of name | Free format text:JAPANESE INTERMEDIATE CODE: R313533 | |
| S533 | Written request for registration of change of name | Free format text:JAPANESE INTERMEDIATE CODE: R313533 | |
| R350 | Written notification of registration of transfer | Free format text:JAPANESE INTERMEDIATE CODE: R350 |