JP2010063001A - Person-tracking device and person-tracking program - Google Patents
Person-tracking device and person-tracking programDownload PDFInfo
- Publication number
- JP2010063001A JP2010063001AJP2008228582AJP2008228582AJP2010063001AJP 2010063001 AJP2010063001 AJP 2010063001AJP 2008228582 AJP2008228582 AJP 2008228582AJP 2008228582 AJP2008228582 AJP 2008228582AJP 2010063001 AJP2010063001 AJP 2010063001A
- Authority
- JP
- Japan
- Prior art keywords
- person
- dimensional movement
- movement trajectory
- calculated
- trajectory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Indicating And Signalling Devices For Elevators (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
Translated fromJapaneseこの発明は、例えばカメラにより撮影された映像に写っている個々の人物を検出して、各人物を追跡する人物追跡装置および人物追跡プログラムに関するものである。 The present invention relates to a person tracking device and a person tracking program for detecting individual persons in an image taken by a camera, for example, and tracking each person.
高層ビルには非常に多数のエレベータが設置されているが、朝の通勤ラッシュ時や昼休みの混雑時などには、乗客を効率的に輸送するためにこれら多数のエレベータを連携させて運転する群管理が必要となる。このような多数のエレベータの群管理を効率的に行うためには、“誰がどの階で乗って、どの階で降りたか”という乗客の移動履歴を計測して、その移動履歴を群管理システムに提供することが必要となる。従来、乗客の人数カウントや人物移動の計測を、カメラを用いて行う人物追跡技術についてはいろいろな提案がなされてきた。その一つとして、予め記憶している背景画像と、カメラから随時取り込む入力画像との差分の画像（背景差分画像）を求めることにより、エレベータ内の乗客を検出して、エレベータ内における乗客数を検知する方法がある（例えば特許文献１参照）。しかし、非常に混み合っているエレベータでは、約２５ｃｍ四方に一人の乗客が存在し、乗客が重なり合う状況が発生するので、背景差分画像が一塊のシルエットになる。このため、背景差分画像から個々の人物を分離することは極めて困難である。 There are a large number of elevators installed in high-rise buildings, but in the morning commuting rush hour or during the busy hour of lunch breaks, a group that operates these multiple elevators together to efficiently transport passengers Management is required. In order to efficiently manage a large number of such elevators, we measure the movement history of the passengers “who got on which floor, and on which floor”, and use that movement history in the group management system. It is necessary to provide. Conventionally, various proposals have been made for a person tracking technique that uses a camera to count the number of passengers and measure the movement of a person. As one of them, by obtaining a difference image (background difference image) between a background image stored in advance and an input image captured from the camera as needed, the number of passengers in the elevator is detected by detecting passengers in the elevator. There is a detection method (for example, see Patent Document 1). However, in a very crowded elevator, there is one passenger in a square of about 25 cm, and a situation occurs in which passengers overlap, so the background differential image becomes a lump of silhouette. For this reason, it is very difficult to separate individual persons from the background difference image.
また、別の技術として、エレベータのかご内上部にカメラを設置し、予め記憶している頭部画像参照パターンとカメラの撮影画像とを対比することにより、エレベータ内の乗客を検出して、エレベータ内で乗客数を検知する方法がある（例えば特許文献２参照）。しかし、このような単純なパターンマッチングによる人物検出方法によると、例えばカメラから見て、ある人物が他の人物に隠れてしまっているなど、遮蔽が生じている場合には、誤って人数をカウントしてしまうことがある。また、エレベータのかご内に鏡が設置されている場合には、鏡に映っている人物を誤検出してしまうということがある。 As another technique, a camera is installed in the upper part of the elevator car, and a passenger image in the elevator is detected by comparing a head image reference pattern stored in advance with a captured image of the camera. There is a method for detecting the number of passengers (see, for example, Patent Document 2). However, according to the person detection method based on such simple pattern matching, for example, when a person is hidden behind another person as seen from the camera, the number of persons is counted by mistake. May end up. In addition, when a mirror is installed in the elevator car, a person reflected in the mirror may be erroneously detected.
また、エレベータのかご内の上部にステレオカメラを設置し、画像から検出した人物をステレオ視して人物の３次元位置を求める手法がある（例えば特許文献２参照）。しかし、この方法によると実際の人数よりも多く人物が検出されてしまうという問題がある。すなわち、この方法によると、例えば図１５に示すように、人物Ｘの３次元位置を知りたい場合、カメラから検出人物までのベクトルＶＡ１とベクトルＶＢ１が交差する点を人物の位置として算出する。しかし、ベクトルＶＡ１とＶＢ２が交わる点にも人物が存在すると推定されてしまうことがあり、実際の人物が二人しか存在しない場合でも誤って３人存在すると計算されてしまうことがある。 In addition, there is a technique in which a stereo camera is installed in an upper part of an elevator car and a person detected from an image is viewed in stereo to obtain a three-dimensional position of the person (see, for example, Patent Document 2). However, this method has a problem that more people are detected than the actual number of people. That is, according to this method, for example, as shown in FIG. 15, when it is desired to know the three-dimensional position of the person X, the point where the vector VA1 and the vector VB1 from the camera to the detected person intersect is calculated as the position of the person. However, it may be estimated that there is a person at the point where the vectors VA1 and VB2 cross each other, and even if there are only two actual persons, it may be calculated that there are three persons by mistake.
さらに、多視点カメラを利用した複数人物の検出手法として、背景差分で得た人物のシルエットを基に、動的計画法を用いて人物の移動軌跡を求める手法（非特許文献１）やＰａｒｔｉｃｌｅ Ｆｉｌｔｅｒを用いて人物の移動軌跡を求める手法（非特許文献２）がある。これらの手法は、ある視点において人物が遮蔽されている状況でも、他の視点のシルエット情報や時系列情報を用いて人数と人物の移動軌跡を求めることが可能である。しかしながら、混雑しているエレベータ内や電車では、どの視点から撮影しても常にシルエットが重なり合うため、これらの手法を適用することができない。 Furthermore, as a technique for detecting a plurality of persons using a multi-viewpoint camera, a technique for obtaining a person's movement trajectory using dynamic programming based on a person's silhouette obtained by background difference (Non-patent Document 1) or a particle filter. There is a technique (Non-patent Document 2) for obtaining a movement trajectory of a person using. With these methods, even when a person is shielded from a certain viewpoint, it is possible to obtain the number of people and the movement trajectory of the person using silhouette information and time-series information from other viewpoints. However, in crowded elevators and trains, these techniques cannot be applied because silhouettes always overlap from any viewpoint.
人物追跡装置に用いる従来の複数人物の検出技術は、以上説明したように、エレベータが非常に混雑している状況などでは、エレベータ内の乗客を正確に検出することができないという問題があった。 As described above, the conventional technique for detecting a plurality of persons used in the person tracking apparatus has a problem that the passengers in the elevator cannot be accurately detected in a situation where the elevator is very crowded.
この発明は、上記のような課題を解決するためになされたもので、カメラの監視対象領域の混雑状況下においても個々の人物を正確に追跡することを可能にする人物追跡装置および人物追跡プログラムを得ることを目的とする。 The present invention has been made to solve the above-described problems, and a person tracking device and a person tracking program that can accurately track individual persons even in a crowded situation of a camera monitoring target area. The purpose is to obtain.
この発明に係る人物追跡装置は、異なる位置に設置され監視対象領域をそれぞれ撮影して映像を取り出す複数の映像撮影手段と、複数の映像撮影手段により取り出された映像毎の各フレーム画像に写っている人体の特徴箇所を人物として検出し、この検出した人物の画像座標を算出する人物検出手段と、人物検出手段により時々刻々到来するフレーム画像から算出された人物の画像座標に対して画像テンプレートマッチングを行って個々の人物の画像座標の点列を求め、当該点列を移動する個々の人物の２次元移動軌跡として算出する２次元移動軌跡算出手段と、２次元移動軌跡算出手段で複数の映像撮影手段の各映像から算出された対応する個々の人物の２次元移動軌跡に対して、監視対象領域内の基準点に対する前記複数の映像撮影手段のそれぞれの設置位置および設置角度に基づいてステレオマッチングを行うことにより個々の人物の３次元移動軌跡を算出する軌跡ステレオ手段と、軌跡ステレオ手段で算出された個々の人物の３次元移動軌跡の断片の前後を対応付けて連結することにより各人物の全３次元移動軌跡を生成する３次元移動軌跡算出手段とを備えたものである。 The person tracking device according to the present invention is shown in a plurality of video photographing means that are installed at different positions and each captures a monitoring target area and extracts a video, and each frame image for each video extracted by the plurality of video photographing means. A person detecting means for detecting a characteristic part of a human body as a person, and calculating image coordinates of the detected person, and image template matching with respect to the image coordinates of the person calculated from the frame image that comes from time to time by the person detecting means To obtain a point sequence of the image coordinates of each person, and to calculate a plurality of images by the two-dimensional movement locus calculation means for calculating the two-dimensional movement locus of each person moving the point sequence and the two-dimensional movement locus calculation means. The plurality of image photographing means with respect to a reference point in the monitoring target area with respect to the corresponding two-dimensional movement trajectory of each individual person calculated from each image of the photographing means Trajectory stereo means for calculating the three-dimensional movement trajectory of each person by performing stereo matching based on the respective installation positions and angles, and fragments of the individual person's three-dimensional movement trajectory calculated by the trajectory stereo means The apparatus includes a three-dimensional movement trajectory calculation unit that generates a total three-dimensional movement trajectory of each person by connecting the front and rear in association with each other.
この発明によれば、複数のカメラにより撮影されたそれぞれの映像の各フレーム画像に写っている人物を検出し、検出された個々の人物を画像上で追跡して対応する２次元移動軌跡を求め、対応する複数の２次元移動軌跡同士をオーバーラップする時間にわたってステレオ視することで移動する個々の人物の３次元移動軌跡を求め、求めた３次元移動軌跡の断片を連結して個々の人物の完全な移動軌跡を算出するようにしているので、ステレオ視の曖昧さをなくし、かつ遮蔽がある場合でも的確に個々の人物の３次元移動軌跡を求めることができる。その結果、監視対象領域が非常に混雑している状況であっても、監視対象領域内の個々の人物を正確に検出することができるとともに、個々の人物を正確に追跡することができる。 According to the present invention, a person appearing in each frame image of each video taken by a plurality of cameras is detected, and the detected individual person is traced on the image to obtain a corresponding two-dimensional movement locus. The three-dimensional movement trajectory of each moving person is obtained by viewing the corresponding two-dimensional movement trajectories in stereo over a period of time overlapping, and fragments of the obtained three-dimensional movement trajectories are connected to each other. Since the complete movement trajectory is calculated, it is possible to eliminate the ambiguity of stereo vision and accurately obtain the three-dimensional movement trajectory of each individual person even when there is shielding. As a result, even in a situation where the monitoring target area is very crowded, it is possible to accurately detect individual persons in the monitoring target area and to accurately track individual persons.
実施の形態１．
図１は、この発明の実施の形態１による人物追跡装置の機能構成を示すブロック図である。
図において、複数のカメラ１は、エレベータのかご内の上部の異なる位置に設置され、かご内を監視対象領域として同時に異なる角度からその領域を撮影する映像撮影手段である。なお、ここで使用されるカメラ１の種類については特に問わない。一般的な監視カメラは勿論のこと、可視カメラ、近赤外線領域まで撮影可能な高感度カメラ、熱源を撮影することが可能な遠赤外線カメラなどでもよい。また、距離計測が可能な赤外線距離センサや、レーザーレンジファインダなどで代用してもよい。映像取得部２は、各カメラ１から出力される映像を取得する映像入力インタフェースである。
FIG. 1 is a block diagram showing a functional configuration of a person tracking apparatus according to
In the figure, a plurality of
カメラキャリブレーション部３は、人物追跡処理が開始される前に、予め複数のカメラ１により撮影されたキャリブレーションパターンの映像の歪み具合を解析して、複数のカメラ１それぞれのカメラパラメータ、すなわちレンズの歪み、焦点距離、光軸、画像中心（principal point）に関するパラメータを算出する手段である。また、カメラキャリブレーション部３は、複数のカメラ１により撮影されたキャリブレーションパターンの映像から、エレベータのかご内の基準点に対する複数のカメラ１の設置位置および設置角度の算出を行う手段でもある。 The
映像解析部４は、人物の検出処理や移動軌跡の解析処理などを実施する手段で、映像補正部５、人物検出部６、２次元移動軌跡算出部７、軌跡ステレオ部８および３次元移動軌跡算出部９から構成されている。これらの部分５〜９の機能の要点は次のようになる。
映像補正部５は、カメラキャリブレーション部３により算出されたカメラパラメータを用いて、映像取得部２により取得された複数のカメラ１からの映像の歪みを補正する手段である。人物検出部６は、映像取得部２により取得された各映像に写っている人物を検出する手段である。２次元移動軌跡算出部７は、人物検出部６で検出された人物を画像上で追跡し、個々の人物の２次元移動軌跡を算出する手段である。軌跡ステレオ部８は、複数のカメラ１の各映像から算出された２次元移動軌跡に対してステレオマッチングを行い、個々の人物の３次元移動軌跡を算出する手段である。３次元移動軌跡算出部９は、３次元移動軌跡の個片を連結して個々の人物の完全な移動軌跡を算出する手段である。The
The
図１に示された構成において、映像取得部２、カメラキャリブレーション部３、映像補正部５、人物検出部６、２次元移動軌跡算出部７、軌跡ステレオ部８および３次元移動軌跡算出部９は、それぞれ専用のハードウェア（例えば、ＭＰＵを実装している半導体集積回路基板）による構成とすることができるが、人物追跡装置をコンピュータで構成する場合には、各部の処理内容を記述している人物追跡プログラムをコンピュータのメモリに格納し、コンピュータのＣＰＵにより当該格納されている人物追跡プログラムが実行される構成としてもよい。 In the configuration shown in FIG. 1, a
次に、動作について説明する。
最初に、人物追跡動作の前処理の手順について図２のフローチャートに従って説明する。
カメラキャリブレーション部３がカメラパラメータを算出するに先立ち、個々のカメラ１によりキャリブレーションパターンを撮影する（ステップＳＴ１）。映像取得部２では、個々のカメラ１により撮影されたキャリブレーションパターンの映像を取得して、そのキャリブレーションパターンの映像をカメラキャリブレーション部３に出力する。ここで使用するキャリブレーションパターンとしては、例えば、大きさが既知の白黒のチェッカーフラグパターン（図４を参照）などが該当する。なお、キャリブレーションパターンは、１０〜２０通りの異なる位置や角度からカメラ１により撮影される。カメラキャリブレーション部３では、映像取得部２からキャリブレーションパターンの映像を受けると、そのキャリブレーションパターンの映像の歪み具合を解析して、各カメラ１のカメラパラメータを算出する（ステップＳＴ２）。なお、カメラパラメータの算出方法は周知の技術であるので、ここでは詳細説明を省略する。Next, the operation will be described.
First, the procedure of the preprocessing of the person tracking operation will be described with reference to the flowchart of FIG.
Prior to the
次に、カメラキャリブレーション部３が複数のカメラ１の設置位置および設置角度を算出するに際して、複数のカメラ１がエレベータのかご内の上部に設置されたのち、複数のカメラ１により、既知の大きさのカメラキャリブレーションパターンを同時に撮影する（ステップＳＴ３）。例えば、図４に示すように、キャリブレーションパターンとしてチェッカーフラグパターンをかご内の床に敷き、そのチェッカーフラグパターンが複数のカメラ１で同時に写るようにして撮影する。このとき、かご内の床に敷かれたキャリブレーションパターンに対して、かご内の基準点（例えば、かごの入口）からの位置と角度をオフセットとして計測し、また、かごの内寸を計測しておくようにする。なお、図４の例では、キャリブレーションパターンは、かご内の床に敷かれたチェッカーフラグパターンとしているが、これに限るものではなく、例えば、かご内の床に直接描かれた模様であってもよい。その場合、床に描かれた模様の大きさを予め計測しておくようにする。
また、図５に示すように、キャリブレーションパターンとして、無人のかご内を撮影し、かご内の床と天井の四隅（角部）を選択したものでもよい。この場合、かごの内寸を計測しておくようにする。Next, when the
Further, as shown in FIG. 5, the calibration pattern may be obtained by photographing an unmanned car and selecting the four corners (corner portions) of the floor and ceiling in the car. In this case, measure the internal dimensions of the car.
次に、カメラキャリブレーション部３は、複数のカメラ１により撮影されたキャリブレーションパターンの映像と、ステップＳＴ２で算出されたカメラパラメータを用いて、エレベータのかご内の基準点に対する複数のカメラ１の設置位置および設置角度を算出する（ステップＳＴ４）。具体的には、キャリブレーションパターンとして、例えば、白黒のチェッカーフラグパターンが用いられた場合、まず、複数のカメラ１により撮影されたチェッカーパターンに対するカメラ１の相対位置と相対角度を算出する。そして、予め計測しているチェッカーパターンのオフセット（かご内の基準点であるかごの入口からの位置と角度）を複数のカメラ１の相対位置と相対角度に足し合わせることで、かご内の基準点に対する複数のカメラ１の設置位置と設置角度を求める。
一方、キャリブレーションパターンとして、図５に示すように、例えばかご内の床の四隅と天井の三隅が用いられる場合、予め計測しているかごの内寸から、かご内の基準点に対する複数のカメラ１の設置位置と設置角度を算出してもよい。この場合、かご内にカメラ１を設置するだけで、カメラ１の設置位置と設置角度を自動的に求めることが可能である。Next, the
On the other hand, as shown in FIG. 5, for example, when the four corners of the floor and the three corners of the ceiling are used as the calibration pattern, a plurality of cameras with respect to the reference point in the car are measured from the inner dimensions of the car that are measured in advance. One installation position and installation angle may be calculated. In this case, it is possible to automatically obtain the installation position and installation angle of the
次に、人物追跡動作の後処理の手順について図３のフローチャートに従って説明する。
映像解析部４で人物の検出処理や移動軌跡の解析処理などを実施するに際して、複数のカメラ１により、実際に運行中のエレベータのかご内の領域を繰り返し撮影する。映像取得部２は、複数のカメラ１により撮影されたかご内の映像を時々刻々と取得する（ステップＳＴ１１）。映像補正部５では、映像取得部２が複数のカメラ１により撮影された映像を取得する毎に、カメラキャリブレーション部３により算出されたカメラパラメータを用いて、複数の映像の歪みを補正し、歪みの無い映像である正規化画像を生成する（ステップＳＴ１２）。なお、映像の歪みを補正する方法は周知の技術であるため、ここでは説明を省略する。Next, the post-processing procedure of the person tracking operation will be described with reference to the flowchart of FIG.
When the
人物検出部６は、映像補正部５が複数のカメラ１により撮影された映像の正規化画像をそれぞれ生成すると、各正規化画像に存在している人体の特徴箇所を人物として検出し、この検出した人物（人体の特徴箇所）の画像座標と確信度を算出する（ステップＳＴ１３）。ここで、人物の画像座標とは、例えば人物検出部６が人体の特徴箇所として頭部を検出する場合、その検出した頭部の領域を囲む矩形の中心座標のことである。また、確信度とは、人物検出部６の検出物がどの程度人間（ここでは、頭部であること）に近いかを表現する指標であり、確信度が高いほど人間である確率が高く、確信度が低いほど人間である確率が低いことを表す。
人物検出部６における人物の頭部の検出処理の状況について図６により説明する。図６（ａ）は、かご内の天井の対角位置に設置された２台のカメラ１1 ，１2 によりかご内の３人の乗客（人物）を撮影している状況を表している。図６（ｂ）は、カメラ１1 で顔方向を撮影した画像から頭部が検出され、検出結果である頭部の領域に確信度を添付した状態を表わしている。一方、図６（ｃ）は、カメラ１2 で後頭部方向を撮影した画像から頭部が検出され、検出結果である頭部の領域に確信度を添付した状態を表わしている。しかし、図６（ｃ）の場合、脚部６０１が誤検出されており、そのため誤検出部分の確信度は低く算出されている。When the
The situation of the human head detection process in the
ここで、頭部の検出方法としては、例えば、Viola, P. , Jones, M. , “Rapid Object Detection Using a Boosted Cascade of Simple Features”, IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), ISSN: 1063-6919, Vol. 1, pp. 511-518, December 2001（参考文献１）に開示されている顔検出手法を使用すればよい。すなわち、“Ｒｅｃｔａｎｇｌｅ Ｆｅａｔｕｒｅ”と呼ばれるハール基底状のパターンをＡｄａｂｏｏｓｔにより選択して多数の弱判別機を取得し、これら弱判別機の出力と適当な閾値をすべて加算した値を確信度として利用することができる。また、人間の頭部検出方法として、田口進也、神田準史郎、島嘉宏、瀧口純一、“特徴量ベクトルの相関係数行列を用いた少ないサンプルでの高精度画像認識 道路標識認識への適用”電子情報通信学会技術研究報告 ＩＥ、 画像工学、Ｖｏｌ．１０６，Ｎｏ．５３７（２００７０２１６），ｐｐ．５５−６０，ＩＥ２００６−２７０（参考文献２）に開示されている道路標識検出方法を応用して、その画像座標と確信度を算出するようにしてもよい。
なお、図６では、人物検出部６が人物を検出するにあたって人体の特徴箇所である頭部を検出対象とした場合を示しているが、この検出対象は、例えば肩や胴体などとしてもよい。Here, as a head detection method, for example, Viola, P., Jones, M., “Rapid Object Detection Using a Boosted Cascade of Simple Features”, IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), ISSN: 1063-6919, Vol. 1, pp. 511-518, December 2001 (reference document 1) may be used. That is, a Haar basis pattern called “Rectangle Feature” is selected by Adaboost to obtain a large number of weak classifiers, and a value obtained by adding all of these weak classifier outputs and appropriate thresholds is used as a certainty factor. Can do. In addition, as a human head detection method, Shinya Taguchi, Junshiro Kanda, Yoshihiro Shima, Junichi Higuchi, “Highly accurate image recognition with small samples using feature vector correlation coefficient matrix, application to road sign recognition” IEICE Technical Report IE, Image Engineering, Vol. 106, no. 537 (20070216), pp. 55-60, IE2006-270 (reference 2) may be applied to calculate the image coordinates and the certainty factor.
6 shows a case where the head that is a characteristic part of the human body is a detection target when the
次に、２次元移動軌跡算出部７は、人物検出部６により時々刻々到来するフレーム画像から検出された人物の画像座標に対して画像テンプレートマッチングを行って個々の人物の画像座標の点列を求め、当該点列を移動する個々の人物の２次元移動軌跡として算出する（ステップＳＴ１４）。２次元移動軌跡算出部７の詳細動作を図７のフローチャートに従って説明する。
まず、２次元移動軌跡算出部７は、人物検出部６で算出された人物検出結果（人物の画像座標）を取得し、それぞれの人物検出結果にカウンタを割り当てる（ステップＳＴ１４１）。例えば、図８（ａ）に示すように、人物の追跡を時刻ｔから始める場合、時刻ｔの画像フレームにおける人物検出結果を取得する。ここで、人物検出結果にはそれぞれカウンタが割り当てられており、カウンタは追跡を開始するときに０として初期化される。Next, the two-dimensional movement
First, the two-dimensional movement
次に、２次元移動軌跡算出部７は、ステップＳＴ１４１で取得した人物検出結果を用いて次の時刻における画像フレーム上の人物の画像座標を求めて探索結果として出力する（ステップＳＴ１４２）。例えば、図８（ａ）に示す時刻ｔにおける人物検出結果（人物の画像座標）をテンプレート画像として、図８（ｂ）に示す次の時刻（ｔ＋１）における画像フレーム上の人物を探索する。
ここで、人物の画像座標を求める方法としては、例えば既知の技術である正規化相互相関法などを用いてもよい。その場合、時刻ｔにおける人物領域の画像をテンプレートとして、時刻（ｔ＋１）において最も相関値の高い矩形領域の画像座標を正規化相互相関法で求めて出力する。また、人物の画像座標を求める他の方法として、例えば、上記参考文献２に記載されている特徴量の相関係数を用いてもよい。その場合、時刻ｔの人物領域の内側に含まれる複数の部分領域において特徴量の相関係数を計算し、それらを成分とするベクトルを該当人物のテンプレートベクトルとする。そして、次に時刻（ｔ＋１）においてテンプレートベクトルとの距離が最小となるような領域を探索して、その領域の画像座標を人物探索結果として出力する。さらに、人物の画像座標を求める他の方法として、例えば、Porikli, F. Tuzel, O. Meer, P. ,“Covariance Tracking using Model Update Based on Lie Algebra”,Computer Vision and Pattern Recognition 2006, Volume 1, 17-22, June 2006, pp. 728-735（参考文献３）に記載されている特徴量の分散共分散行列を利用した方法により人物追跡を行い、時々刻々と人物の画像座標を求めてもよい。Next, the two-dimensional movement
Here, as a method for obtaining the image coordinates of a person, for example, a normalized cross-correlation method that is a known technique may be used. In that case, using the image of the person area at time t as a template, the image coordinates of the rectangular area with the highest correlation value at time (t + 1) are obtained by the normalized cross-correlation method and output. As another method for obtaining the image coordinates of a person, for example, the correlation coefficient of the feature amount described in
次に、２次元移動軌跡算出部７は、次の時刻において人物検出部６が算出した人物検出結果を取得する（ステップＳＴ１４３）。例えば、図８（ｃ）に示すような、時刻（ｔ＋１）の画像フレーム上で人物検出部６が算出した人物検出結果人物の画像座標）を取得する。この人物検出結果である図８（ｃ）の画像では、人物Ａは検出されているが、人物Ｂは検出されていない状態を表しているものとする。 Next, the two-dimensional movement
次に、２次元移動軌跡算出部７は、ステップＳＴ１４２で算出した人物探索結果（人物の画像座標）と、ステップＳＴ１４３で取得した人物検出結果（人物の画像座標）を用いて、追跡している人物の情報をアップデートする（ステップＳＴ１４４）。例えば、図８（ｂ）に示すように時刻（ｔ＋１）における人物Ａの探索結果の周辺には、図８（ｃ）に示すような人物Ａの人物検出結果が存在する。このため、図８（ｄ）に示すように人物Ａのカウンタを１から２に上げる。一方、図８（ｃ）に示すように時刻（ｔ＋１）における人物Ｂの人物検出が失敗している場合、図８（ｂ）に示すように人物Ｂの探索結果の周辺には人物Ｂの人物検出結果は存在しない。そこで、図８（ｄ）に示すように人物Ｂのカウンタを０から−１に下げる。このように、２次元移動軌跡算出部７は、探索結果の周辺に検出結果が存在する場合にはカウンタを一つ上げ、探索結果の周辺に検出結果が存在しない場合にはカウンタを一つ下げる。この結果、人物が検出される回数が多い場合には、そのカウンタは大きくなり、一方で人物が検出される回数が低い場合はカウンタの値は小さくなる。
また、上記ステップＳＴ１４４において、人物検出の確信度を累積するようにしてもよい。例えば、２次元移動軌跡算出部７は、探索結果の周辺に検出結果が存在する場合には、該当の検出結果の確信度を累積加算し、探索結果の周辺に検出結果が存在しない場合には確信度は加算しない。この結果、人物検出される回数が多い２次元移動軌跡の場合には、その累積確信度は大きくなる。Next, the two-dimensional movement
In step ST144, the certainty of person detection may be accumulated. For example, when the detection result exists around the search result, the two-dimensional movement
次に、２次元移動軌跡算出部７は、追跡の終了判定を実施する（ステップＳＴ１４５）。この場合の終了判定の基準としては、ステップＳＴ１４４で述べたカウンタを利用すればよい。例えば、ステップＳＴ１４４で求めたカウンタが一定の閾値よりも低いものは人物ではないとして追跡を終了する。また、終了判定の基準として、ステップＳＴ１４４で述べた確信度の累積値を閾値処理することで追跡終了判定を実施してもよい。このように追跡の終了判定を行うことで、人物でないものを誤って追跡してしまう現象を避けることが可能である。 Next, the two-dimensional movement
２次元移動軌跡算出部７は、以上のようにステップＳＴ１４１からＳＴ１４５の画像テンプレートマッチング処理を時々刻々到来する人物を検出したフレーム画像に対して繰り返すことで、移動する個々の人物はその画像座標の連なり、すなわち点列として表わされる。得られたこの点列を移動する個々の人物の２次元移動軌跡として算出する。なお、ここで遮蔽などにより追跡が途中で終了してしまう場合には、遮蔽が無くなった時刻から人物の追跡を再開すればよい。
また、２次元移動軌跡算出部７では、人物検出部６で算出された人物の画像座標に対して時間的に前方（現在から未来）に向って追跡を行う処理を行っているが、この処理に加え、時間的に後方（現在から過去）に向って追跡を実施し、時間的に前後にわたる人物の２次元移動軌跡を算出してもよい。このように時間的に前後に追跡を行うことで、可能な限り漏れなく人物の追跡を実行し、２次元移動軌跡を算出することができる。例えば、ある人物の追跡において時間的に前方の追跡が失敗しても、時間的に後方の追跡が成功することがあれば、追跡の漏れを無くすことができる。As described above, the two-dimensional movement
Further, the two-dimensional movement
図３のフローチャートに戻り、軌跡ステレオ部８は、複数のカメラ１の各映像から２次元移動軌跡算出部７で算出された個々の人物の２次元移動軌跡に対して、先にカメラキャリブレーション部３により算出された複数のカメラ１の設置位置および設置角度に基づいてステレオマッチングを行い（ステップＳＴ１５）、個々の人物の３次元移動軌跡を算出する処理を実施する（ステップＳＴ１６）。軌跡ステレオ部８の詳細動作を図９のフローチャートに従って説明する。
まず、軌跡ステレオ部８は、２次元移動軌跡算出部７で異なるカメラ映像から求めた対応する各々一つの２次元移動軌跡を取得する（ステップＳＴ１５１）。この動作例を図１０で説明すると、図１０（ｂ）に示すようにエレベータの内部の異なる位置に設置された２台のカメラ１α とカメラ１β によりかご内部を撮影している。図１０（ａ）は、人物Ａと人物Ｂに対する２次元移動軌跡が計算された状況を仮想的に表しており、α１はカメラ１α の映像における人物Ａの２次元移動軌跡であり、α２はカメラ１α の映像における人物Ｂの２次元移動軌跡である。また、β１はカメラ１β の映像における人物Ａの２次元移動軌跡であり、β２はカメラ１β の映像における人物Ｂの２次元移動軌跡である。Returning to the flowchart of FIG. 3, the
First, the
例えば、図１０における２次元移動軌跡α１と２次元移動軌跡β１は次式のように定義される。
２次元移動軌跡α１≡
｛Ｘａ１（ｔ）｝ｔ＝Ｔ１，．．．，Ｔ２＝｛Ｘａ１（Ｔ１），Ｘａ１（Ｔ１＋１），．．．，Ｘａ１（Ｔ２）｝
２次元移動軌跡β１≡
｛Ｘｂ１（ｔ）｝ｔ＝Ｔ３，．．．，Ｔ４＝｛Ｘｂ１（Ｔ３），Ｘｂ１（Ｔ３＋１），．．．，Ｘｂ１（Ｔ４）｝
ここで、Ｘａ１（ｔ）、Ｘｂ１（ｔ）は時刻ｔにおける人物Ａの２次元画像座標である。２次元移動軌跡α１は画像座標が時刻Ｔ１からＴ２まで記録されており、２次元移動軌跡β１は画像座標が時刻Ｔ３からＴ４まで記録されていることを表している。For example, the two-dimensional movement locus α1 and the two-dimensional movement locus β1 in FIG. 10 are defined as follows:
Two-dimensional trajectory α1≡
{Xa1 (t)} t = T1,. . . , T2 = {Xa1 (T1), Xa1 (T1 + 1),. . . , Xa1 (T2)}
Two-dimensional trajectory β1≡
{Xb1 (t)} t = T3,. . . , T4 = {Xb1 (T3), Xb1 (T3 + 1),. . . , Xb1 (T4)}
Here, Xa1 (t) and Xb1 (t) are the two-dimensional image coordinates of the person A at time t. The two-dimensional movement locus α1 indicates that image coordinates are recorded from time T1 to T2, and the two-dimensional movement locus β1 indicates that image coordinates are recorded from time T3 to T4.
次に、軌跡ステレオ部８は、選択した対応する２次元移動軌跡α１とβ１同士でオーバーラップする時間を求める（ステップＳＴ１５２）。図１１はこの二つの２次元移動軌跡α１とβ１の記録時間を示したものであるが、２次元移動軌跡α１は画像座標が時刻Ｔ１からＴ２まで記録されており、一方、２次元移動軌跡β１は画像座標が時刻Ｔ３からＴ４まで記録されている。この場合、この二つの２次元移動軌跡α１とβ１がオーバーラップするのは時刻Ｔ２からＴ３までの間であるので、この時間を軌跡ステレオ部８で算出する。 Next, the
次に、軌跡ステレオ部８では、カメラキャリブレーション部３により算出しておいた複数のカメラ１のそれぞれの設置位置および設置角度を用いて、オーバーラップする各時刻において対応する２次元移動軌跡を形成している点列同士のステレオマッチングを行い、点列同士の距離を算出する（ステップＳＴ１５３）。ここで、点列同士のステレオマッチング処理について図１０（ｂ）で説明する。軌跡ステレオ部８では、オーバーラップするすべての時間ｔにおいて、カメラキャリブレーション部３により算出された複数のカメラ１α ，１β のそれぞれの設置位置および設置角度を用いて、カメラ１α の中心と画像座標Ｘａ１（ｔ）を通る直線Ｖａ１（ｔ）を求める。同様にカメラ１β の中心と画像座標Ｘｂ１（ｔ）を通る直線Ｖｂ１（ｔ）を求める。そして、直線Ｖａ１（ｔ）と直線Ｖｂ１（ｔ）との交点を人物の３次元位置Ｚ（ｔ）として算出する。同時に、直線Ｖａ１（ｔ）と直線Ｖｂ１（ｔ）同士の距離ｄ（ｔ）を算出する。
例えば、軌跡ステレオ部８は、｛Ｘａ１（ｔ）｝ｔ＝Ｔ１，．．．，Ｔ２と｛Ｘｂ１（ｔ）｝ｔ＝Ｔ３，．．．，Ｔ４とから、オーバーラップする時間ｔ＝Ｔ３，．．．，Ｔ２における３次元位置ベクトルＺ（ｔ）と直線の距離ｄ（ｔ）の集合｛Ｚ（ｔ），ｄ（ｔ）｝ｔ＝Ｔ３，．．．，Ｔ２を得る。Next, the
For example, the
図１０（ｂ）では、直線Ｖａ１（ｔ）と直線Ｖｂ１（ｔ）が交わる場合を示しているが、実際には、頭部の検出誤差やキャリブレーション誤差が原因で、直線Ｖａ１（ｔ）と直線Ｖｂ１（ｔ）が近づいているだけで、交わらないことが多い。そのような場合には、二つの直線Ｖａ１（ｔ）と直線Ｖｂ１（ｔ）を最短距離で結ぶ線分の距離ｄ（ｔ）を求め、その中点を交点Ｚ（ｔ）として求めるようにしてもよい。あるいは、K. Kanatani, “Statistical Optimization for Geometric Computation: Theory and Practice, Elsevier Science”, Amsterdam, The Netherlands, April 1996.（参考文献４）に記載の「最適補正」の方法により、二つの直線の距離ｄ（ｔ）と交点Ｚ（ｔ）を算出してもよい。 FIG. 10B shows a case where the straight line Va1 (t) and the straight line Vb1 (t) intersect, but in reality, the straight line Va1 (t) and the straight line Va1 (t) are caused by the head detection error and the calibration error. In many cases, the straight lines Vb1 (t) are just approaching and do not intersect. In such a case, the distance d (t) of the line segment connecting the two straight lines Va1 (t) and Vb1 (t) with the shortest distance is obtained, and the midpoint thereof is obtained as the intersection Z (t). Also good. Alternatively, the distance between two straight lines can be determined by the “optimal correction” method described in K. Kanatani, “Statistical Optimization for Geometric Computation: Theory and Practice, Elsevier Science”, Amsterdam, The Netherlands, April 1996. (reference 4). d (t) and the intersection Z (t) may be calculated.
次に、軌跡ステレオ部８は、点列同士のステレオマッチングの際に求めた点列同士の距離を用いて、２次元移動軌跡のマッチング率を算出する（ステップＳＴ１５４）。なお、オーバーラップ時間が０である場合には、マッチング率は０として算出する。ここでは、例えば、オーバーラップ時間内に直線が交わった回数をマッチング率として算出する。つまり、前述の図１０および図１１の例では、時刻ｔ＝Ｔ３，．．．，Ｔ２において距離ｄ（ｔ）が一定の閾値（たとえば１５ｃｍ）以下となる回数をマッチング率として算出する。 Next, the
また、例えば、オーバーラップ時間内に二つの直線が交わった割合をマッチング率として算出してもよい。すなわち、図１０および図１１の例では、時刻ｔ＝Ｔ３，．．．，Ｔ２において距離ｄ（ｔ）が一定の閾値（たとえば１５ｃｍ）以下となる回数を算出し、これをオーバーラップ時間｜Ｔ３−Ｔ２｜で割った値をマッチング率として算出する。
また、例えば、オーバーラップ時間内の二つの直線の距離の平均をマッチング率として算出してもよい。すなわち、図１０（ｂ）の例では、時刻ｔ＝Ｔ３，．．．，Ｔ２における距離ｄ（ｔ）の平均の逆数をマッチング率として算出する。
また、例えば、オーバーラップ時間内の二つの直線の距離の合計をマッチング率として算出してもよい。すなわち、図１０（ｂ）の例では、時刻ｔ＝Ｔ３，．．．，Ｔ２における距離ｄ（ｔ）の合計の逆数をマッチング率として算出する。
さらにまた、上記の算出方法を組み合わせることで、マッチング率を算出してもよい。Further, for example, the ratio of two intersecting lines within the overlap time may be calculated as the matching rate. That is, in the example of FIGS. 10 and 11, the time t = T3,. . . , T2, the number of times the distance d (t) is equal to or less than a certain threshold value (for example, 15 cm) is calculated, and a value obtained by dividing this by the overlap time | T3-T2 |
Further, for example, the average of the distances between two straight lines within the overlap time may be calculated as the matching rate. That is, in the example of FIG. 10B, time t = T3,. . . , The average reciprocal of the distance d (t) at T2 is calculated as the matching rate.
Further, for example, the total distance between two straight lines within the overlap time may be calculated as the matching rate. That is, in the example of FIG. 10B, time t = T3,. . . , T2 to calculate the reciprocal of the total distance d (t) as a matching rate.
Furthermore, the matching rate may be calculated by combining the above calculation methods.
ここで、この発明による２次元移動軌跡のステレオマッチングの効果について述べる。
例えば、図１０における２次元移動軌跡α２とβ２は同一人物Ｂの２次元移動軌跡であるため、各時刻における距離ｄ（ｔ）は小さい値をとる。このため、距離ｄ（ｔ）の平均の逆数は大きな値をとり、２次元移動軌跡α２とβ２のマッチング率は高いと算出される。一方、２次元移動軌跡α１とβ２をステレオマッチングした場合、これらは異なる人物ＡとＢの２次元移動軌跡であるため、ある時刻では偶然に直線が交わることもあるが、ほとんどの時刻において直線は交わらず、結果として距離ｄ（ｔ）の平均の逆数は小さな値をとる。このため、軌跡α１と軌跡β２のマッチング率は低いと判断できる。
従来は、図１５に示すように、ある瞬間の人物検出結果をステレオマッチングして人物の３次元位置を推定していたため、ステレオ視の曖昧さを回避できずに人物の位置を誤って推定してしまうことがあった。しかし、この発明によれば一定の時間にわたる２次元の移動軌跡同士をステレオマッチングすることで、ステレオ視の曖昧さを解消し、正確に人物の３次元移動軌跡を求めることが可能となるHere, the effect of stereo matching of the two-dimensional movement locus according to the present invention will be described.
For example, since the two-dimensional movement trajectories α2 and β2 in FIG. 10 are two-dimensional movement trajectories of the same person B, the distance d (t) at each time takes a small value. For this reason, the average reciprocal of the distance d (t) takes a large value, and it is calculated that the matching rate between the two-dimensional movement trajectories α2 and β2 is high. On the other hand, when the two-dimensional movement trajectories α1 and β2 are stereo-matched, since these are two-dimensional movement trajectories of different persons A and B, a straight line may accidentally intersect at a certain time. Instead, as a result, the average reciprocal of the distance d (t) takes a small value. For this reason, it can be determined that the matching rate between the locus α1 and the locus β2 is low.
Conventionally, as shown in FIG. 15, since the person detection result at a certain moment is stereo-matched to estimate the three-dimensional position of the person, the ambiguity of stereo vision cannot be avoided and the position of the person is erroneously estimated. There was a case. However, according to the present invention, two-dimensional movement trajectories over a certain period of time are stereo-matched, thereby eliminating the ambiguity of stereo vision and accurately obtaining a three-dimensional movement trajectory of a person.
次に、軌跡ステレオ部８は、２次元移動軌跡のマッチング率が一定の閾値を超えた場合には、算出した３次元移動軌跡に対して適切なフィルタリングをかけ（ステップＳＴ１５６）、誤って推定した３次元移動軌跡を取り除く。軌跡ステレオ部８では、人物検出部６が人物を誤検出することが原因で、人物の３次元移動軌跡を誤って算出することがある。そのため、例えば、人物の３次元位置Ｚ（ｔ）が以下の条件（ア）〜（ウ）に合致しない場合に、その３次元移動軌跡を本来の人物の軌跡でないものとして破棄する。
条件（ア）： 人物の身長が一定長（例えば、５０ｃｍ）以上である
条件（イ）： 人物が特定の領域内（例えば、エレベータかご内）に存在する
条件（ウ）： 人物の３次元移動履歴が滑らかである
したがって、条件（ア）により、極端に低い位置にあるものを誤検出されたものとして破棄する。また、条件（イ）により、例えば、かご内に設置された鏡に映っている人物像については誤検出された人物の３次元移動軌跡として破棄する。また、条件（ウ）により、３次元移動軌跡が例えば上下左右に急激に変化するような不自然なものは人物でないとして破棄する。Next, when the matching rate of the two-dimensional movement trajectory exceeds a certain threshold, the
Condition (A): A person's height is a certain length (for example, 50 cm) or more (A): A person is present in a specific area (for example, an elevator car) (C): Three-dimensional movement of the person The history is smooth. Therefore, according to the condition (a), an extremely low position is discarded as being erroneously detected. Further, according to the condition (A), for example, a person image reflected in a mirror installed in the car is discarded as a three-dimensional movement trajectory of the person who is erroneously detected. In addition, an unnatural thing in which the three-dimensional movement trajectory changes rapidly, for example, up, down, left, and right according to the condition (c) is discarded as not a person.
次に、軌跡ステレオ部８は、ステップＳＴ１５３のステレオマッチングの際にオーバーラップしている時間において推定した人物の３次元位置情報を用いて、オーバーラップしていない時刻における対応する二つの個々の人物の２次元移動軌跡を形成している点列の３次元位置を算出することにより個々の人物の３次元移動軌跡を推定する（ステップＳＴ１５７）。図１１の場合、２次元移動軌跡α１とβ１は時刻ｔ＝Ｔ３，．．．，Ｔ２ではオーバーラップしているものの、その他の時刻ではオーバーラップいない。このため、通常のステレオマッチングでは、オーバーラップしていない時間帯での人物の３次元移動軌跡を算出することができない。このような場合には、まずオーバーラップする時間内における人物の高さの平均を算出し、この高さ平均を用いてオーバーラップしていない時間帯における人物の３次元移動軌跡を推定すればよい。 Next, the
図１１の例では、まず、｛Ｚ（ｔ），ｄ（ｔ）｝ｔ＝Ｔ３，．．．，Ｔ２における３次元位置ベクトルＺ（ｔ）の高さ成分に関する平均値ａｖｅＨを求める。次に、各時刻ｔにおいて、カメラ１α の中心と画像座標Ｘａ１（ｔ）を通る直線Ｖａ１（ｔ）上の点のうち、床からの高さがａｖｅＨである点を求め、この点を人物の３次元位置Ｚ（ｔ）として推定するようにする。同様に各時刻ｔにおける画像座標Ｘｂ１（ｔ）から人物の３次元位置Ｚ（ｔ）を推定する。これにより、２次元移動軌跡α１とβ1が記録されたすべての時刻Ｔ１からＴ４にわたる３次元移動軌跡｛Ｚ（ｔ）｝ｔ＝Ｔ１，．．．，Ｔ４を得ることができる。
このことで、遮蔽などが理由で片方のカメラに一定期間人物が写らない場合があっても、もう一つのカメラで人物の２次元移動軌跡を算出し、かつ遮蔽の前後で２次元移動軌跡がオーバーラップしていれば、軌跡ステレオ部８は人物の３次元移動軌跡を算出することができる。次に、全ての軌跡のペアについてマッチング率が算出できていれば、３次元移動軌跡算出部９の処理に移る（ステップＳＴ１５８）。In the example of FIG. 11, first, {Z (t), d (t)} t = T3,. . . , T2, the average value aveH for the height component of the three-dimensional position vector Z (t) is obtained. Then, at each time t, of the point on the line Va1 (t) passing through the center of the
As a result, even if there is a case where a person is not captured for a certain period of time due to occlusion or the like, the other camera calculates the two-dimensional movement locus of the person, and the two-dimensional movement locus before and after the occlusion If they overlap, the
再び図３のフローチャートに戻り、３次元移動軌跡算出部９は、軌跡ステレオ部８で求めた個々の人物の３次元移動軌跡の断片の前後を対応付けて連結することにより各人物の全３次元移動軌跡を生成する（ステップＳＴ１６）。軌跡ステレオ部８で求めた個々の人物の３次元移動軌跡は複数の断片からなる場合が多い。そのためこれらの断片から個々の人物の完全な３次元移動軌跡を求める必要がある。３次元移動軌跡算出部９の詳細動作について図１２のフローチャートに従って説明する。
まず、３次元移動軌跡算出部９は、監視対象領域となる場所において、人物の入退場エリアを設定し（ステップＳＴ１６１）、軌跡ステレオ部８で求めた３次元移動軌跡の中から、設定した入退場エリアに始点を持つ３次元移動軌跡の断片を取得する（ステップＳＴ１６２）。ここでは、例えば図１３（ａ）に示すように、エレベータ内部の入口付近に人物の入退場エリアを仮想的に設定する。例えば頭部の移動軌跡がエレベータの入口付近に設定した入退場エリアから開始していれば、該当階から乗っていると判断し、また、移動軌跡が上記入退場エリアで終了していれば、該当階で降りていると判断することができる。そこで、３次元移動軌跡算出部９は、始点ＳＰ１が入退場エリアにある３次元移動軌跡の断片Ｌ１を取得する。Returning to the flowchart of FIG. 3 again, the three-dimensional movement
First, the three-dimensional movement
次に、３次元移動軌跡算出部９は、取得した３次元移動軌跡の終点の近傍に存在する次の３次元移動軌跡を求めて連結する（ステップＳＴ１６３）。この状況を図１３（ｂ）に示すが、取得した３次元移動軌跡の断片Ｌ１の終点ＴＰ１の近傍に始点ＳＰ２を持つ３次元移動軌跡の断片Ｌ２を取得し、Ｌ１とＬ２を連結する。同様に、図１３（ｃ）に示すように、３次元移動軌跡の断片Ｌ２の終点ＴＰ２の近傍に始点ＳＰ３を持つ３次元移動軌跡の断片Ｌ３を取得し、Ｌ１と連結しているＬ２とＬ３を連結する。
次に、３次元移動軌跡算出部９は、連結した軌跡の終点が入退場エリアにあるか判定し、終点が入退場エリアに存在すれば連結処理を終了し、また終点が入退場エリアに存在しなければ連結処理を継続する（ステップＳＴ１６４）。Next, the three-dimensional movement
Next, the three-dimensional movement
次に、３次元移動軌跡算出部９は、ステップＳＴ１６４で同じ時刻に同じ始点を持つ複数の３次元移動軌跡の候補が算出された場合には、所定の条件に基づいて各３次元移動軌跡のコストを算出し、算出されたコストが最小となる候補を３次元移動軌跡として選出する（ステップＳＴ１６５）。これを図１４で説明すると、ステップＳＴ１６４の処理では、同じ時刻に同じ始点ＳＰ１から開始しても異なる終点ＴＰ３とＴＰＸで終わる３次元移動軌跡の候補Ａと候補Ｂが得られることがある。この場合、例えば下記の条件に基づいて各３次元移動軌跡のコストを計算し、そのコストが最小となる候補を３次元移動軌跡を選出する。
条件（ａ）： 人物の３次元移動軌跡が滑らかであり、突然変化しない
条件（ｂ）： ３次元移動軌跡の総時間が短い
例えば、図１４の例では、候補Ｂに比べて候補Ａの方が移動軌跡が滑らかであり、また移動軌跡の総時間も短い。したがって、同じ時刻に始点ＳＰ１から開始する３次元移動軌跡は候補Ａとなるため、これを選出する。このように、連結した３次元移動軌跡に対して適切なフィルタリグをかけることで、不自然な動きの３次元移動軌跡を除去して、正確な人物の全３次元移動軌跡を求めることができる。Next, when a plurality of three-dimensional movement trajectory candidates having the same starting point at the same time are calculated in step ST164, the three-dimensional movement
Condition (a): The three-dimensional movement trajectory of the person is smooth and does not change suddenly. Condition (b): The total time of the three-dimensional movement trajectory is short. For example, in the example of FIG. However, the movement track is smooth and the total time of the movement track is short. Therefore, since the three-dimensional movement trajectory starting from the start point SP1 at the same time is the candidate A, it is selected. In this way, by applying appropriate filtering to the connected three-dimensional movement trajectory, it is possible to remove the unnatural movement of the three-dimensional movement trajectory and obtain an accurate all three-dimensional movement trajectory of the person. .
上記のようにして、入退場エリアから始まり、入退場エリアで終わる人物の３次元移動軌跡を求めた後、３次元移動軌跡算出部９は、エレベータの停止階を示す停止階情報を個々の人物の３次元移動軌跡に対応付ける（ステップＳＴ１６６）。ここでは、“どの人物がどの階で乗って、どの階で降りたか”を示す個々の人物の移動履歴を求めることになる。なお、停止階情報は、エレベータの制御機器から取得するようにしてもよいし、カメラ１により撮影された映像に写っているエレベータのコントローラの文字盤を認識して、画像処理によって停止階の情報を取得するようにしてもよい。
映像解析部４は、上述の処理を行って個々の人物の移動履歴を求めると、その移動履歴を複数台のエレベータの運行を管理する群管理システム（図示せず）に与える。これにより、群管理システムでは、各エレベータから得られる移動履歴に基づいて常に最適なエレベータの群管理を実施することが可能になる。After obtaining the three-dimensional movement trajectory of the person starting from the entrance / exit area and ending in the entrance / exit area as described above, the three-dimensional movement
When the
以上のように、この実施の形態１によれば、複数のカメラにより撮影されたそれぞれの映像の各フレーム画像に写っている人物を検出し、検出された個々の人物を画像上で追跡して対応する２次元移動軌跡を求め、対応する複数の２次元移動軌跡同士をオーバーラップする時間にわたってステレオ視することで移動する個々の人物の３次元移動軌跡を求め、求めた３次元移動軌跡の断片を連結して個々の人物の完全な移動軌跡を算出するようにしているので、ステレオ視の曖昧さをなくし、かつ遮蔽がある場合でも的確に個々の人物の３次元移動軌跡を求めることができる。その結果、監視対象領域が非常に混雑している状況であっても、監視対象領域内の個々の人物を正確に検出することができるとともに、個々の人物を正確に追跡することができる。 As described above, according to the first embodiment, a person shown in each frame image of each video shot by a plurality of cameras is detected, and each detected person is tracked on the image. A corresponding two-dimensional movement trajectory is obtained, a three-dimensional movement trajectory of an individual person moving is obtained by viewing in stereo over a plurality of corresponding two-dimensional movement trajectories, and a fragment of the obtained three-dimensional movement trajectory Are connected to calculate the complete movement trajectory of each person, so that it is possible to eliminate the ambiguity of stereo vision and accurately obtain the three-dimensional movement trajectory of each individual person even when there is shielding. . As a result, even in a situation where the monitoring target area is very crowded, it is possible to accurately detect individual persons in the monitoring target area and to accurately track individual persons.
この実施の形態１によれば、軌跡ステレオ部８は、２次元移動軌跡のマッチング率が一定の閾値を超えた場合に、推定された３次元移動軌跡に対して適切なフィルタリングをかけて、誤って推定した３次元移動軌跡を取り除くことで、人物の誤検出を削減することができる。また軌跡ステレオ部８は、オーバーラップしている時間に推定した人物の高さ情報を用いて、二つの２次元移動軌跡がオーバーラップしていない時刻においても人物の３次元移動軌跡を推定することで、遮蔽などが理由で片方のカメラに一定期間人物が写らない場合でも、もう一方のカメラから人物の３次元移動軌跡を推定することができる。
さらに、この実施の形態１によれば、３次元移動軌跡算出部９は、複数の３次元移動軌跡の候補が算出された場合には、各３次元移動軌跡のコストを算出し、それらのコストが最小となる３次元移動軌跡を選出することで、人物のものではない不自然な動きの３次元移動軌跡を除去して、正確な人物の３次元移動軌跡を求めることができる。According to the first embodiment, when the matching rate of the two-dimensional movement locus exceeds a certain threshold, the
Furthermore, according to the first embodiment, when a plurality of three-dimensional movement trajectory candidates are calculated, the three-dimensional movement
なお、この実施の形態１では、監視対象領域がエレベータのかご内である場合について説明したが、この発明の適用はこれに限るものではない。例えば、電車の中を監視対象領域として適用し、電車の混雑度などを計測する場合にも利用できる。また、この発明を、セキュリティニーズの高い場所を監視対象領域として、人物の移動履歴を求めることに適用し、不審な人物の行動を監視することも可能である。また、この発明を、駅や店舗などに適用して人物の移動軌跡を解析することで、マーケティングなどに利用することも可能である。さらに、この発明を、エスカレータの踊り場を監視対象領域として適用し、踊り場に存在する人物の数をカウントして踊り場が混雑してきた場合に、例えば、エスカレータの徐行や停止など適切な制御を行うことで、エスカレータ上で人物が将棋倒しになるなどの事故を未然に回避することに利用することもできる。 In addition, in this
１ カメラ、２ 映像取得部、３ カメラキャリブレーション部、４ 映像解析部、５ 映像補正部、６ 人物検出部、７ ２次元移動軌跡算出部、８ 軌跡ステレオ部、９ ３次元移動軌跡算出部。 1 camera, 2 video acquisition unit, 3 camera calibration unit, 4 video analysis unit, 5 video correction unit, 6 person detection unit, 7 2D movement trajectory calculation unit, 8 trajectory stereo unit, and 9 3D movement trajectory calculation unit.
Claims (21)
Translated fromJapanese前記複数の映像撮影手段により取り出された映像毎の各フレーム画像に写っている人体の特徴箇所を人物として検出し、この検出した人物の画像座標を算出する人物検出手段と、
前記人物検出手段により時々刻々到来するフレーム画像から算出された人物の画像座標に対して画像テンプレートマッチングを行って個々の人物の画像座標の点列を求め、当該点列を移動する個々の人物の２次元移動軌跡として算出する２次元移動軌跡算出手段と、
前記２次元移動軌跡算出手段で前記複数の映像撮影手段の各映像から算出された対応する個々の人物の２次元移動軌跡に対して、監視対象領域内の基準点に対する前記複数の映像撮影手段のそれぞれの設置位置および設置角度に基づいてステレオマッチングを行うことにより個々の人物の３次元移動軌跡を算出する軌跡ステレオ手段と、
前記軌跡ステレオ手段で算出された個々の人物の３次元移動軌跡の断片の前後を対応付けて連結することにより各人物の全３次元移動軌跡を生成する３次元移動軌跡算出手段とを備えたことを特徴とする人物追跡装置。A plurality of video shooting means installed at different positions to take a picture of each of the monitored areas;
A person detecting means for detecting a characteristic part of a human body reflected in each frame image for each video taken out by the plurality of video photographing means as a person, and calculating image coordinates of the detected person;
Image template matching is performed on the image coordinates of the person calculated from the frame image that comes from time to time by the person detection means to obtain a point sequence of the image coordinates of the individual person, and the individual person moving the point sequence Two-dimensional movement trajectory calculating means for calculating as a two-dimensional movement trajectory;
With respect to the two-dimensional movement trajectory of the corresponding individual calculated by the two-dimensional movement trajectory calculating means from each video of the plurality of video photographing means, the plurality of video photographing means relative to the reference point in the monitoring target area Trajectory stereo means for calculating a three-dimensional movement trajectory of each person by performing stereo matching based on each installation position and installation angle;
3D movement trajectory calculation means for generating a total 3D movement trajectory of each person by associating and connecting the fragments of the 3D movement trajectory of each person calculated by the trajectory stereo means in association with each other. A person tracking device characterized by the above.
前記算出されたカメラパラメータに基づいて、前記複数の映像撮影手段により撮影された各映像の歪みをそれぞれ補正して人物検出手段に与える正規化画像を生成する映像補正手段とを備えたことを特徴とする請求項１記載の人物追跡装置。A camera calibration unit that analyzes the degree of distortion of the image of the calibration pattern captured by the plurality of image capturing units and calculates camera parameters of each of the plurality of image capturing units;
Video correction means for generating a normalized image to be provided to the person detection means by correcting distortion of each video shot by the plurality of video shooting means based on the calculated camera parameters; The person tracking device according to claim 1.
２次元移動軌跡算出手段は、２次元移動軌跡の算出中に、前記人物検出手段で求めた確信度の累積値を閾値処理することを特徴とする請求項１から請求項３のうちのいずれか１項記載の人物追跡装置。The person detection means calculates the certainty factor of the person when calculating the image coordinates of the detected person,
The two-dimensional movement trajectory calculation means performs threshold processing on the cumulative value of the certainty factor obtained by the person detection means during the calculation of the two-dimensional movement trajectory. The person tracking device according to item 1.
時々刻々到来するフレーム画像から算出された人物の画像座標に対して画像テンプレートマッチングを行って個々の人物の画像座標の点列を求め、当該点列を移動する個々の人物の２次元移動軌跡として算出する２次元移動軌跡算出処理と、
前記複数の映像撮影手段の各映像から算出された対応する個々の人物の２次元移動軌跡に対して、監視対象領域内の基準点に対する前記複数の映像撮影手段のそれぞれの設置位置および設置角度に基づいてステレオマッチングを行って個々の人物の３次元移動軌跡を算出する軌跡ステレオ処理と、
前記算出された個々の人物の３次元移動軌跡の断片の前後を対応付けて連結して各人物の全３次元移動軌跡を生成する３次元移動軌跡算出処理とをコンピュータ上で実行する人物追跡プログラム。A person detection process for detecting a human body characteristic part as a person from each frame image of each video imaged and taken out from different positions by a plurality of video imaging means, and calculating image coordinates of the detected person; ,
Image template matching is performed on the image coordinates of the person calculated from the frame image that comes from time to time to obtain a point sequence of the image coordinates of the individual person, and as a two-dimensional movement trajectory of the individual person that moves the point sequence Two-dimensional movement trajectory calculation processing to be calculated;
With respect to the two-dimensional movement trajectory of the corresponding individual person calculated from each video of the plurality of video imaging means, the installation position and the installation angle of each of the video imaging means with respect to the reference point in the monitored area A trajectory stereo process for performing stereo matching based on the three-dimensional movement trajectory of each person,
A person tracking program for executing, on a computer, a three-dimensional movement trajectory calculation process for generating a total three-dimensional movement trajectory of each person by associating and connecting the calculated fragments of the three-dimensional movement trajectory of each individual in association with each other. .
２次元移動軌跡算出処理では、２次元移動軌跡の算出中に、前記確信度の累積値を閾値処理することを特徴とする請求項１２または請求項１３記載の人物追跡プログラム。In the person detection process, the degree of certainty of the person is calculated when calculating the image coordinates of the detected person,
14. The person tracking program according to claim 12, wherein in the two-dimensional movement trajectory calculation process, the cumulative value of the certainty factor is subjected to threshold processing during calculation of the two-dimensional movement trajectory.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008228582AJP2010063001A (en) | 2008-09-05 | 2008-09-05 | Person-tracking device and person-tracking program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008228582AJP2010063001A (en) | 2008-09-05 | 2008-09-05 | Person-tracking device and person-tracking program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2010063001Atrue JP2010063001A (en) | 2010-03-18 |
Family
ID=42189287
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008228582APendingJP2010063001A (en) | 2008-09-05 | 2008-09-05 | Person-tracking device and person-tracking program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2010063001A (en) |
Cited By (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101331877B1 (en) | 2009-04-20 | 2013-11-21 | 오티스 엘리베이터 컴파니 | Conveyor safety control |
| JP2014511538A (en)* | 2011-03-04 | 2014-05-15 | クゥアルコム・インコーポレイテッド | Dynamic template tracking |
| JP2014237521A (en)* | 2013-06-10 | 2014-12-18 | 株式会社日立製作所 | Group management elevator system |
| JP2015120573A (en)* | 2013-12-24 | 2015-07-02 | 株式会社日立製作所 | Elevator with image recognition function |
| CN104828664A (en)* | 2015-04-03 | 2015-08-12 | 奥的斯电梯公司 | Automatic debugging system and method |
| CN105480807A (en)* | 2016-01-22 | 2016-04-13 | 浙江蒂尔森电梯有限公司 | Elevator with passenger state recording and display functions |
| US9489565B2 (en) | 2011-09-28 | 2016-11-08 | Oki Electric Industry Co., Ltd. | Image processing apparatus, image processing method, program, and image processing system |
| JP2016194847A (en)* | 2015-04-01 | 2016-11-17 | キヤノン株式会社 | Image detection apparatus, image detection method, and program |
| JP2017016356A (en)* | 2015-06-30 | 2017-01-19 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
| CN107285148A (en)* | 2017-08-07 | 2017-10-24 | 浙江新再灵科技股份有限公司 | Interest region decision system and method based on elevator scene |
| US9877012B2 (en) | 2015-04-01 | 2018-01-23 | Canon Kabushiki Kaisha | Image processing apparatus for estimating three-dimensional position of object and method therefor |
| WO2018061928A1 (en)* | 2016-09-30 | 2018-04-05 | 日本電気株式会社 | Information processing device, counter system, counting method, and program storage medium |
| WO2018061926A1 (en)* | 2016-09-30 | 2018-04-05 | 日本電気株式会社 | Counter system and counting method |
| US10212324B2 (en) | 2015-12-01 | 2019-02-19 | Canon Kabushiki Kaisha | Position detection device, position detection method, and storage medium |
| WO2019044038A1 (en)* | 2017-08-30 | 2019-03-07 | 三菱電機株式会社 | Imaging object tracking device and imaging object tracking method |
| US10241486B2 (en) | 2015-04-03 | 2019-03-26 | Otis Elevator Company | System and method for passenger conveyance control and security via recognized user operations |
| JP2019087925A (en)* | 2017-11-08 | 2019-06-06 | 株式会社東芝 | IMAGE PROCESSING APPARATUS, IMAGE PROCESSING SYSTEM, IMAGE PROCESSING METHOD, AND PROGRAM |
| CN110059611A (en)* | 2019-04-12 | 2019-07-26 | 中国石油大学(华东) | A kind of intelligence vacant seat recognition methods in classroom |
| US10479647B2 (en) | 2015-04-03 | 2019-11-19 | Otis Elevator Company | Depth sensor based sensing for special passenger conveyance loading conditions |
| WO2019225547A1 (en)* | 2018-05-23 | 2019-11-28 | 日本電信電話株式会社 | Object tracking device, object tracking method, and object tracking program |
| US10513416B2 (en) | 2015-04-03 | 2019-12-24 | Otis Elevator Company | Depth sensor based passenger sensing for passenger conveyance door control |
| US10513415B2 (en) | 2015-04-03 | 2019-12-24 | Otis Elevator Company | Depth sensor based passenger sensing for passenger conveyance control |
| US10572736B2 (en) | 2015-03-16 | 2020-02-25 | Canon Kabushiki Kaisha | Image processing apparatus, image processing system, method for image processing, and computer program |
| CN112665592A (en)* | 2020-12-16 | 2021-04-16 | 郑州大学 | Space-time path planning method based on multiple intelligent agents |
| CN113610890A (en)* | 2021-07-02 | 2021-11-05 | 河南橡树智能科技有限公司 | Real-time personnel track two-dimensional plane display method based on multiple cameras |
| US11232312B2 (en) | 2015-04-03 | 2022-01-25 | Otis Elevator Company | Traffic list generation for passenger conveyance |
| JP2022020223A (en)* | 2020-07-20 | 2022-02-01 | キヤノン株式会社 | Information processing device, information processing method and program |
| CN115411935A (en)* | 2022-07-12 | 2022-11-29 | 电子科技大学 | Phase plane secant trajectory control method of Boost converter |
| CN115631464A (en)* | 2022-11-17 | 2023-01-20 | 北京航空航天大学 | Pedestrian three-dimensional representation method oriented to large space-time target association |
| CN116034579A (en)* | 2020-08-04 | 2023-04-28 | 三菱电机株式会社 | Moving object tracking system, moving object tracking device, program, and moving object tracking method |
| US11803972B2 (en) | 2018-01-12 | 2023-10-31 | Nec Corporation | Information processing apparatus, control method, and program for accurately linking fragmented trajectories of an object |
| JP2023179121A (en)* | 2022-06-07 | 2023-12-19 | 東芝エレベータ株式会社 | elevator system |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09269262A (en)* | 1996-04-02 | 1997-10-14 | Toshiba Corp | Number of people confirmation device and air conditioning control device using the same |
| JPH10208059A (en)* | 1997-01-22 | 1998-08-07 | Matsushita Electric Ind Co Ltd | Moving object extraction device |
| JPH1166319A (en)* | 1997-08-21 | 1999-03-09 | Omron Corp | Method and device for detecting traveling object, method and device for recognizing traveling object, and method and device for detecting person |
| JP2002157599A (en)* | 2000-11-17 | 2002-05-31 | Nippon Telegr & Teleph Corp <Ntt> | Object detection / recognition method, recording medium storing object detection / recognition program, and object monitoring / tracking apparatus |
| JP2003111063A (en)* | 2001-10-02 | 2003-04-11 | Hitachi Kokusai Electric Inc | Intruding object tracking method and intruding object monitoring device |
| JP2005353016A (en)* | 2004-06-09 | 2005-12-22 | Cci:Kk | Evaluation and method for action pattern identification of moving image |
| JP2008085874A (en)* | 2006-09-28 | 2008-04-10 | Toshiba Corp | Person monitoring system and person monitoring method |
| JP2008177742A (en)* | 2007-01-17 | 2008-07-31 | Alpine Electronics Inc | Camera parameter acquisition device |
- 2008
- 2008-09-05JPJP2008228582Apatent/JP2010063001A/enactivePending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09269262A (en)* | 1996-04-02 | 1997-10-14 | Toshiba Corp | Number of people confirmation device and air conditioning control device using the same |
| JPH10208059A (en)* | 1997-01-22 | 1998-08-07 | Matsushita Electric Ind Co Ltd | Moving object extraction device |
| JPH1166319A (en)* | 1997-08-21 | 1999-03-09 | Omron Corp | Method and device for detecting traveling object, method and device for recognizing traveling object, and method and device for detecting person |
| JP2002157599A (en)* | 2000-11-17 | 2002-05-31 | Nippon Telegr & Teleph Corp <Ntt> | Object detection / recognition method, recording medium storing object detection / recognition program, and object monitoring / tracking apparatus |
| JP2003111063A (en)* | 2001-10-02 | 2003-04-11 | Hitachi Kokusai Electric Inc | Intruding object tracking method and intruding object monitoring device |
| JP2005353016A (en)* | 2004-06-09 | 2005-12-22 | Cci:Kk | Evaluation and method for action pattern identification of moving image |
| JP2008085874A (en)* | 2006-09-28 | 2008-04-10 | Toshiba Corp | Person monitoring system and person monitoring method |
| JP2008177742A (en)* | 2007-01-17 | 2008-07-31 | Alpine Electronics Inc | Camera parameter acquisition device |
Cited By (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101331877B1 (en) | 2009-04-20 | 2013-11-21 | 오티스 엘리베이터 컴파니 | Conveyor safety control |
| JP2014511538A (en)* | 2011-03-04 | 2014-05-15 | クゥアルコム・インコーポレイテッド | Dynamic template tracking |
| US9489565B2 (en) | 2011-09-28 | 2016-11-08 | Oki Electric Industry Co., Ltd. | Image processing apparatus, image processing method, program, and image processing system |
| JP2014237521A (en)* | 2013-06-10 | 2014-12-18 | 株式会社日立製作所 | Group management elevator system |
| JP2015120573A (en)* | 2013-12-24 | 2015-07-02 | 株式会社日立製作所 | Elevator with image recognition function |
| US10572736B2 (en) | 2015-03-16 | 2020-02-25 | Canon Kabushiki Kaisha | Image processing apparatus, image processing system, method for image processing, and computer program |
| JP2016194847A (en)* | 2015-04-01 | 2016-11-17 | キヤノン株式会社 | Image detection apparatus, image detection method, and program |
| US9877012B2 (en) | 2015-04-01 | 2018-01-23 | Canon Kabushiki Kaisha | Image processing apparatus for estimating three-dimensional position of object and method therefor |
| US10479647B2 (en) | 2015-04-03 | 2019-11-19 | Otis Elevator Company | Depth sensor based sensing for special passenger conveyance loading conditions |
| US11836995B2 (en) | 2015-04-03 | 2023-12-05 | Otis Elevator Company | Traffic list generation for passenger conveyance |
| CN104828664A (en)* | 2015-04-03 | 2015-08-12 | 奥的斯电梯公司 | Automatic debugging system and method |
| EP3075695A1 (en)* | 2015-04-03 | 2016-10-05 | Otis Elevator Company | Auto commissioning system and method |
| US10513415B2 (en) | 2015-04-03 | 2019-12-24 | Otis Elevator Company | Depth sensor based passenger sensing for passenger conveyance control |
| US10513416B2 (en) | 2015-04-03 | 2019-12-24 | Otis Elevator Company | Depth sensor based passenger sensing for passenger conveyance door control |
| US11232312B2 (en) | 2015-04-03 | 2022-01-25 | Otis Elevator Company | Traffic list generation for passenger conveyance |
| US10241486B2 (en) | 2015-04-03 | 2019-03-26 | Otis Elevator Company | System and method for passenger conveyance control and security via recognized user operations |
| JP2017016356A (en)* | 2015-06-30 | 2017-01-19 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
| US10212324B2 (en) | 2015-12-01 | 2019-02-19 | Canon Kabushiki Kaisha | Position detection device, position detection method, and storage medium |
| CN105480807B (en)* | 2016-01-22 | 2018-05-22 | 浙江蒂尔森电梯有限公司 | A kind of elevator that display function is recorded with passenger carrying status |
| CN105480807A (en)* | 2016-01-22 | 2016-04-13 | 浙江蒂尔森电梯有限公司 | Elevator with passenger state recording and display functions |
| JPWO2018061926A1 (en)* | 2016-09-30 | 2019-06-27 | 日本電気株式会社 | Counting system and counting method |
| JPWO2018061928A1 (en)* | 2016-09-30 | 2019-07-25 | 日本電気株式会社 | INFORMATION PROCESSING APPARATUS, COUNTING SYSTEM, COUNTING METHOD, AND COMPUTER PROGRAM |
| JP7007280B2 (en) | 2016-09-30 | 2022-01-24 | 日本電気株式会社 | Information processing equipment, counting system, counting method and computer program |
| WO2018061926A1 (en)* | 2016-09-30 | 2018-04-05 | 日本電気株式会社 | Counter system and counting method |
| WO2018061928A1 (en)* | 2016-09-30 | 2018-04-05 | 日本電気株式会社 | Information processing device, counter system, counting method, and program storage medium |
| CN107285148A (en)* | 2017-08-07 | 2017-10-24 | 浙江新再灵科技股份有限公司 | Interest region decision system and method based on elevator scene |
| JPWO2019044038A1 (en)* | 2017-08-30 | 2020-05-28 | 三菱電機株式会社 | Imaging target tracking device and imaging target tracking method |
| WO2019044038A1 (en)* | 2017-08-30 | 2019-03-07 | 三菱電機株式会社 | Imaging object tracking device and imaging object tracking method |
| CN111034189A (en)* | 2017-08-30 | 2020-04-17 | 三菱电机株式会社 | Imaging object tracking device and imaging object tracking method |
| JP2019087925A (en)* | 2017-11-08 | 2019-06-06 | 株式会社東芝 | IMAGE PROCESSING APPARATUS, IMAGE PROCESSING SYSTEM, IMAGE PROCESSING METHOD, AND PROGRAM |
| US11145068B2 (en) | 2017-11-08 | 2021-10-12 | Kabushiki Kaisha Toshiba | Image-processing apparatus, image-processing system, image-processing method, and storage medium |
| US11803972B2 (en) | 2018-01-12 | 2023-10-31 | Nec Corporation | Information processing apparatus, control method, and program for accurately linking fragmented trajectories of an object |
| JP2019205060A (en)* | 2018-05-23 | 2019-11-28 | 日本電信電話株式会社 | Object tracking device, object tracking method, and object tracking program |
| WO2019225547A1 (en)* | 2018-05-23 | 2019-11-28 | 日本電信電話株式会社 | Object tracking device, object tracking method, and object tracking program |
| CN110059611B (en)* | 2019-04-12 | 2023-05-05 | 中国石油大学(华东) | Intelligent classroom vacant seat identification method |
| CN110059611A (en)* | 2019-04-12 | 2019-07-26 | 中国石油大学(华东) | A kind of intelligence vacant seat recognition methods in classroom |
| JP7665299B2 (en) | 2020-07-20 | 2025-04-21 | キヤノン株式会社 | Information processing device, information processing method, and program |
| JP2022020223A (en)* | 2020-07-20 | 2022-02-01 | キヤノン株式会社 | Information processing device, information processing method and program |
| CN116034579A (en)* | 2020-08-04 | 2023-04-28 | 三菱电机株式会社 | Moving object tracking system, moving object tracking device, program, and moving object tracking method |
| CN112665592A (en)* | 2020-12-16 | 2021-04-16 | 郑州大学 | Space-time path planning method based on multiple intelligent agents |
| CN113610890A (en)* | 2021-07-02 | 2021-11-05 | 河南橡树智能科技有限公司 | Real-time personnel track two-dimensional plane display method based on multiple cameras |
| JP2023179121A (en)* | 2022-06-07 | 2023-12-19 | 東芝エレベータ株式会社 | elevator system |
| CN115411935A (en)* | 2022-07-12 | 2022-11-29 | 电子科技大学 | Phase plane secant trajectory control method of Boost converter |
| CN115631464B (en)* | 2022-11-17 | 2023-04-04 | 北京航空航天大学 | Pedestrian Stereo Representation Method Oriented to Large Spatiotemporal Object Association |
| CN115631464A (en)* | 2022-11-17 | 2023-01-20 | 北京航空航天大学 | Pedestrian three-dimensional representation method oriented to large space-time target association |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2010063001A (en) | Person-tracking device and person-tracking program | |
| JP2009143722A (en) | Person tracking device, person tracking method, and person tracking program | |
| US10417503B2 (en) | Image processing apparatus and image processing method | |
| KR102213328B1 (en) | Video processing apparatus, video processing method, and program | |
| CN111937036B (en) | Method, device and computer-readable storage medium having instructions for processing sensor data | |
| Cohen et al. | Detecting and tracking moving objects for video surveillance | |
| US7729512B2 (en) | Stereo image processing to detect moving objects | |
| JP5688456B2 (en) | Security camera tracking and monitoring system and method using thermal image coordinates | |
| CN101542549B (en) | Suspicious behavior detection system and method | |
| JP6555906B2 (en) | Information processing apparatus, information processing method, and program | |
| US20180101732A1 (en) | Image processing apparatus, image processing system, method for image processing, and computer program | |
| WO2016129403A1 (en) | Object detection device | |
| JP6453490B2 (en) | Method and apparatus for recognizing and evaluating road surface reflections | |
| US20130215270A1 (en) | Object detection apparatus | |
| KR20160062880A (en) | road traffic information management system for g using camera and radar | |
| US20110069155A1 (en) | Apparatus and method for detecting motion | |
| JP2018516799A5 (en) | ||
| JP2019121019A (en) | Information processing device, three-dimensional position estimation method, computer program, and storage medium | |
| JP2018156408A (en) | Image recognition imaging device | |
| JP2015210823A (en) | Method and system for partial occlusion handling in vehicle tracking using deformable parts model | |
| JPWO2008035411A1 (en) | Mobile object information detection apparatus, mobile object information detection method, and mobile object information detection program | |
| KR20220114819A (en) | Real-time object tracking system and method in moving camera video | |
| JP2021149687A (en) | Device, method and program for object recognition | |
| Ibisch et al. | Towards highly automated driving in a parking garage: General object localization and tracking using an environment-embedded camera system | |
| JP7540974B2 (en) | Multiple object tracking device, method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20110124 | |
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20120528 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20120619 | |
| A02 | Decision of refusal | Free format text:JAPANESE INTERMEDIATE CODE: A02 Effective date:20121016 |