JP2007208745A

Movatterモバイル変換

Info

Publication number: JP2007208745A
Application number: JP2006026324A
Authority: JP
Inventors: Kiyousuke Tokoro; 協助所
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2006-02-02
Filing date: 2006-02-02
Publication date: 2007-08-16

Abstract

<P>PROBLEM TO BE SOLVED: To display height of only a desired monitoring object from among monitoring video images photographed by a monitoring camera. <P>SOLUTION: When an operator moves a pointer to the upper edge of the monitoring object, depresses a mouse button, then, displays a box using the position and a pointer position at the point which changes every moment by moving the pointer as depressing the mouse button as diagonal lines, moves the pointer to the lower edge of the monitoring object and release the mouse button, the height of a box is calculated and a digit showing the calculated height (body height) is displayed next to the box for monitoring as a scale. In addition, a body height gauge is displayed instead of displaying the digit. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

Translated fromJapanese

本発明は、監視カメラにより撮像された人物の身長などの監視対象の高さを表示する監視装置及び監視方法に関する。 The present invention relates to a monitoring apparatus and a monitoring method for displaying the height of a monitoring target such as the height of a person imaged by a monitoring camera.

例えば、防犯目的で設置された監視カメラ装置の利用において、撮像された人物の身体的特徴には、顔貌認識、服装の色、身長、行動パターンなどがある。これらの特徴抽出や認識の方法も、各種自動認識手段や、テレビジョンモニタ画面やプリントアウトなどを人間が目視するなど様々である。ところで、身体的特徴のうち、身長については、撮像された映像だけからは、その判断が困難である。そこで、補助的手段として、監視カメラで撮影されている視野の中に、人物の身長くらい、例えば１７５cmくらいの観葉植物を置き、それと被写体人物を比べることで、被写体人物の身長を監視映像の目視で類推するための補助とすることがある。また、観葉植物の代わりに、壁面に、一定の高さと幅を帯状の模様を塗装することもあり、必要な場合、それを基準に、被写体人物の身長を、人間が目視で類推する。企業のビルの場合、帯状の模様の場合、企業のロゴを帯状にアレンジし、壁面の模様として違和感を感じさせない工夫がなされる場合もある。さらにまた、コンビニエンスストアや商店などでは、特定の商品を陳列する棚の高さと人物の比較で、被写体人物の身長を類推できる場合がある。しかし、これらの方法は、いずれも映像を見る人間の目視によるもので、しかも、比較対象となる模様や物体と、身長を推定したい被写体人物が離れた場所にいる場合、その推定精度は低いものとなりやすい。 For example, in the use of a surveillance camera device installed for crime prevention purposes, the physical characteristics of the imaged person include facial recognition, clothing color, height, action pattern, and the like. There are various methods for extracting and recognizing these features, such as various types of automatic recognition means, and a human visually observing a television monitor screen and a printout. By the way, among physical characteristics, it is difficult to determine the height from only the captured image. Therefore, as a supplementary measure, place a houseplant about the height of the person, for example, about 175 cm, in the field of view taken by the surveillance camera, and compare it with the subject person, so that the height of the subject person can be visually monitored. It may be an aid for analogy. In addition, instead of a houseplant, a wall-shaped pattern having a certain height and width may be painted on the wall surface. If necessary, the height of the subject person is visually estimated by humans based on this pattern. In the case of a corporate building, in the case of a strip-shaped pattern, a company logo may be arranged in a strip shape, and there may be a device that does not give a sense of incongruity as a wall pattern. Furthermore, in convenience stores, stores, and the like, the height of the subject person may be analogized by comparing the height of a shelf displaying a specific product with the person. However, all of these methods are based on the visual observation of humans who view the video, and the estimation accuracy is low when the pattern or object to be compared is away from the subject person whose height is to be estimated. It is easy to become.

そこで、身長の測定を自動化する方法として、複数台のカメラを用いるもの（例えば下記の特許文献１参照）、特殊なカメラを用いるもの（例えば下記の特許文献２参照）などがある。複数台のカメラを用いる方法としては、同時に２つの映像を撮影することにより得られるステレオ画像による物体の計測方法があり、これについては特許文献１に記載されている。この例では、ステレオ画像を構成する第１及び第２の画像信号から、それぞれエッジ画像信号を抽出し、そこから、物体の互いに対応する点が一致するまでシフト量を求め、このシフト量に基づいて物体撮像位置から前記物体までの距離を演算により求め、その距離での被写体の、画像の１画素あたりの長さを演算し、最終的に物体の高さを知る。また、特殊なカメラを用いるものとしては、赤外線や超音波、あるいは電磁波などを物体に照射して、アクティブソナーレーダーと同じ原理で距離を測定するものが知られている。 Therefore, as methods for automating the height measurement, there are a method using a plurality of cameras (for example, seePatent Document 1 below) and a method using a special camera (for example, see Patent Document 2 below). As a method using a plurality of cameras, there is a method of measuring an object using a stereo image obtained by simultaneously capturing two images, which is described inPatent Document 1. In this example, an edge image signal is extracted from each of the first and second image signals constituting the stereo image, and a shift amount is obtained from the extracted image signals until points corresponding to each other coincide with each other. Thus, the distance from the object imaging position to the object is calculated, the length of the subject at that distance per pixel of the image is calculated, and the height of the object is finally known. In addition, as a device using a special camera, a device that irradiates an object with infrared rays, ultrasonic waves, electromagnetic waves, or the like and measures a distance based on the same principle as an active sonar radar is known.

さて、従来、室内の人物の距離を測定できる監視カメラ装置としては、例えば下記の特許文献３に記載された監視カメラ装置があった。これは、室内の人物の距離を、１台の普通の監視カメラで測ろうとするものである。また、映像に目盛り（スケール）を映し込む装置としては、被写体距離に基づいた撮影倍率から、被写体像の大きさを推定するための基準スケールをフィルムに映し込む下記の特許文献４に記載されたものがある。カメラ内部の測距機能と、映像に目盛り（スケール）を映しこむ機能を組み合わせれば、監視カメラからは、被写体の距離に応じた目盛りが映し込まれた映像が時々刻々と出力させるものも可能となる。 Conventionally, as a monitoring camera device that can measure the distance of a person in a room, for example, there is a monitoring camera device described inPatent Document 3 below. This is an attempt to measure the distance of a person in a room with one ordinary surveillance camera. Further, as a device for projecting a scale (scale) on an image, it is described inPatent Document 4 below, which projects a reference scale on a film for estimating the size of a subject image from a photographing magnification based on the subject distance. There is something. By combining the distance measuring function inside the camera and the function to display the scale (scale) on the image, the surveillance camera can output the image that reflects the scale according to the distance of the subject from moment to moment. It becomes.

特許文献３に記載された従来の監視カメラ装置の人物と監視カメラとの水平距離の算出方法を図１９に示す。図１９において、１１１は監視カメラのカメラレンズ、１１２は監視カメラの撮影面、１１３はカメラによって撮影される人物である。ｆはカメラレンズ１１１の焦点距離、Ｈはカメラレンズ１１２の光軸中心までの高さ、θは水平線に対するカメラのチルト角、αはカメラレンズ１１２の垂直画角の１／２の角度である。人１１３はカメラレンズ１１１の光軸中心から水平距離でＬjの位置にいるものとし、その位置を（ｉ、ｊ）とすると、撮影面１１２上での垂直方向の位置は、ｊ・ｖとなる。ただし、ｖ＝（垂直撮像サイズ）／（垂直最大画素数）。
ここで、
ｄ／ｐ＝ｖ／ｆ
ｊｄ／ｐ＝tanδj
ここで、ｊは−ｎ、…、０、…、＋ｎの整数。ｎは垂直最大画素数の１／２である。これらより
ｊ（ｖ／ｆ）＝tanδ
Ｌj＝Ｈ／tan（θ＋δj ）
上の２つの式より、監視カメラから被写体の距離までは、
Ｌj＝Ｈ／tan（θ＋ｊ・ｖ／ｆ）
と求められる。
設置条件を限定し、この算出式を簡単にする試みとしては下記の特許文献５に記載された技術がある。距離が分かれば、映った画像の大きさ（撮像時）の被写体の視野角から、更に身長も推定できる。
特開平９−１４５３６２号公報（要約書）特開平７−９５６２５号公報（要約書）特開２０００−１０２０００号公報（要約書）特開平６−１９４７３３号公報（要約書）特開２００２−９９０２７号公報（要約書）FIG. 19 shows a method for calculating the horizontal distance between the person and the surveillance camera of the conventional surveillance camera device described inPatent Document 3. In FIG. 19,reference numeral 111 denotes a camera lens of the surveillance camera, 112 denotes a photographing surface of the surveillance camera, and 113 denotes a person photographed by the camera. f is the focal length of thecamera lens 111, H is the height to the center of the optical axis of the camera lens 112, θ is the tilt angle of the camera with respect to the horizontal line, and α is ½ of the vertical angle of view of the camera lens 112. Assume that theperson 113 is at a position Lj at a horizontal distance from the optical axis center of thecamera lens 111, and the position is (i, j), the position in the vertical direction on the photographing surface 112 is j · v. . However, v = (vertical imaging size) / (vertical maximum pixel number).
here,
d / p = v / f
jd / p = tanδj
Here, j is an integer of −n,..., 0,. n is 1/2 of the maximum number of vertical pixels. From these, j (v / f) = tan δ
Lj = H / tan (θ + δj)
From the above two formulas, the distance from the surveillance camera to the subject is
Lj = H / tan (θ + j · v / f)
Is required.
As an attempt to limit the installation conditions and simplify the calculation formula, there is a technique described in Patent Document 5 below. If the distance is known, the height can be further estimated from the viewing angle of the subject in the size of the image (when capturing).
JP-A-9-145362 (abstract) JP-A-7-95625 (abstract) JP 2000-102000 (abstract) JP-A-6-194733 (abstract) JP 2002-99027 (abstract)

しかしながら、特許文献４に示すように被写体像の大きさを推定するための基準スケールをフィルムに映し込む方法では、監視カメラにより撮像された監視映像の中から所望の監視対象のみの高さを表示することができないという問題点がある。また、被写体距離に基づいた撮影倍率から、被写体像の大きさを推定するための基準スケールを算出するために、撮影時に、画面内に設定された複数の焦点検出エリアの焦点検出結果の中からいずれかの焦点検出エリアを選択し、その焦点検出エリアの焦点結果に基づいて被写体距離を決める。そのため、ビデオレコーダに録画済の再生映像から、被写体への距離を推定するためには、ビデオレコーダの映像の他に、その録画映像の撮像時の焦点結果も保持し、参照できるようにしておかねばならない。 However, in the method of displaying a reference scale for estimating the size of a subject image on a film as shown inPatent Document 4, the height of only a desired monitoring target is displayed from the monitoring video captured by the monitoring camera. There is a problem that cannot be done. In addition, in order to calculate a reference scale for estimating the size of the subject image from the photographing magnification based on the subject distance, the focus detection results of a plurality of focus detection areas set in the screen at the time of photographing are selected. One of the focus detection areas is selected, and the subject distance is determined based on the focus result of the focus detection area. Therefore, in order to estimate the distance to the subject from the playback video already recorded on the video recorder, in addition to the video recorder video, the focus result at the time of imaging of the recorded video should be retained and referenced. I have to.

また、特許文献３では、特許文献５に示すように、演算量を軽減させるために、光軸と水平との角度が画角の１／２になるように下方に向けて配置することが前提となっている。また、特許文献３に記載されるように、設置工事の際には、監視カメラの正確な高さＨとチルト角θを把握する必要もある。監視映像全体の視野に、監視したい対象が入っているかどうかを、目視で合わせることが多く、チルト角については、把握されない場合が多い。 Moreover, inPatent Document 3, as shown in Patent Document 5, in order to reduce the amount of calculation, it is assumed that the angle between the optical axis and the horizontal is ½ of the angle of view and is arranged downward. It has become. Further, as described inPatent Document 3, it is necessary to grasp the accurate height H and tilt angle θ of the surveillance camera during installation work. In many cases, whether or not the object to be monitored is in the visual field of the entire monitoring video is visually matched, and the tilt angle is often not grasped.

そこで、本発明は上記の問題点に鑑み、監視カメラにより撮像された監視映像の中から所望の監視対象のみの高さを表示することができる監視装置及び監視方法を提供することを目的とする。
また、本発明は上記の問題点に鑑み、簡単な方法で、監視カメラにより撮像された監視映像の中から所望の監視対象のみの高さを表示することができる監視装置及び監視方法を提供することを目的とする。Therefore, in view of the above problems, the present invention has an object to provide a monitoring apparatus and a monitoring method capable of displaying the height of only a desired monitoring target from the monitoring video imaged by the monitoring camera. .
In addition, in view of the above-described problems, the present invention provides a monitoring apparatus and a monitoring method capable of displaying the height of only a desired monitoring target from monitoring images captured by a monitoring camera by a simple method. For the purpose.

本発明は上記目的を達成するために、監視カメラの撮像画像における所望の監視対象の上下方向の原寸法を算出し、この原寸法の数値情報を前記撮像画像と共に出力する監視装置であって、
前記撮像画像における前記所望の監視対象の上下各位置を指定するポインティング手段（２２）と、
前記監視カメラの地上からの設置高情報と前記ポインティング手段で指定された上下各位置とに基づき前記監視対象の上下方向の原寸法を算出する原寸法算出手段（３）と、
前記ポインティング手段で指定された上下各位置に対応した大きさのスケール画像を前記原寸法算出手段で算出された原寸法の数値情報と共に生成するスケール画像生成手段（３）と、
前記生成されたスケール画像と前記原寸法の数値情報とを前記撮像画像に合成して出力する合成出力手段（３）とを、
備えたことを特徴とする。In order to achieve the above object, the present invention is a monitoring device that calculates an original size in a vertical direction of a desired monitoring target in a captured image of a monitoring camera, and outputs numerical information of the original size together with the captured image,
Pointing means (22) for designating the upper and lower positions of the desired monitoring target in the captured image;
Original dimension calculation means (3) for calculating the original dimension in the vertical direction of the monitoring target based on the installation height information of the monitoring camera from the ground and the vertical positions designated by the pointing means;
A scale image generating means (3) for generating a scale image having a size corresponding to each of the upper and lower positions designated by the pointing means together with numerical information of the original dimensions calculated by the original dimension calculating means;
Synthesis output means (3) for synthesizing and outputting the generated scale image and numerical information of the original dimensions to the captured image;
It is characterized by having.

また、本発明は上記目的を達成するために、監視カメラの撮像画像における所望の監視対象の上下方向の原寸法を算出し、この原寸法の数値情報を前記撮像画像と共に出力する監視装置であって、
前記撮像画像内の前記監視カメラからの距離の異なる複数箇所それぞれにおける特定のスケールの上下各位置を遠近法の消失点に基づき決定するスケール位置決定手段（３）と、
前記撮像画像における前記所望の監視対象の上下各位置を指定するポインティング手段（２２）と、
前記スケール位置決定手段で決定された前記複数箇所それぞれにおける前記スケールの上下各位置と前記ポインティング手段で指定された上下各位置とに基づき前記監視対象の上下方向の原寸法を算出する原寸法算出手段（３）と、
前記ポインティング手段で指定された上下各位置に対応した大きさのスケール画像を前記原寸法算出手段で算出された原寸法の数値情報と共に生成するスケール画像生成手段（３）と、
前記生成されたスケール画像と前記原寸法の数値情報とを前記撮像画像に合成して出力する合成出力手段（３）とを、
備えたことを特徴とする。In order to achieve the above object, the present invention is a monitoring device that calculates an original vertical dimension of a desired monitoring target in a captured image of a monitoring camera and outputs numerical information of the original dimension together with the captured image. And
Scale position determining means (3) for determining each of the upper and lower positions of a specific scale at each of a plurality of locations at different distances from the monitoring camera in the captured image based on a vanishing point of perspective;
Pointing means (22) for designating the upper and lower positions of the desired monitoring target in the captured image;
Original dimension calculation means for calculating the original dimension in the vertical direction of the monitoring target based on the respective vertical positions of the scale determined by the scale position determination means and the vertical positions specified by the pointing means. (3) and
A scale image generating means (3) for generating a scale image having a size corresponding to each of the upper and lower positions designated by the pointing means together with numerical information of the original dimensions calculated by the original dimension calculating means;
Synthesis output means (3) for synthesizing and outputting the generated scale image and numerical information of the original dimensions to the captured image;
It is characterized by having.

また、本発明は上記目的を達成するために、監視カメラの撮像画像における所望の監視対象の上下方向の原寸法を算出し、この原寸法の数値情報を前記撮像画像と共に出力する監視方法であって、
前記撮像画像における前記所望の監視対象の上下各位置をポインティングデバイスによって指定するポインティングステップ（Ｓ３）と、
前記監視カメラの地上からの設置高情報と前記ポインティングステップにおいて指定された上下各位置とに基づき前記監視対象の上下方向の原寸法を算出する原寸法算出ステップ（Ｓ４）と、
前記ポインティングステップにおいて指定された上下各位置に対応した大きさのスケール画像を前記原寸法算出ステップにおいて算出された原寸法の数値情報と共に生成するスケール画像生成ステップ（Ｓ４）と、
前記生成されたスケール画像と前記原寸法の数値情報とを前記撮像画像に合成して出力する合成出力ステップ（Ｓ５）とを、
有したことを特徴とする。Further, in order to achieve the above object, the present invention is a monitoring method for calculating an original vertical dimension of a desired monitoring target in a captured image of a monitoring camera and outputting numerical information of the original dimension together with the captured image. And
A pointing step (S3) for designating the upper and lower positions of the desired monitoring target in the captured image with a pointing device;
An original dimension calculating step (S4) for calculating an original dimension in the vertical direction of the monitoring target based on the installation height information of the monitoring camera from the ground and the vertical positions designated in the pointing step;
A scale image generation step (S4) for generating a scale image having a size corresponding to each of the upper and lower positions designated in the pointing step together with numerical information of the original dimension calculated in the original dimension calculating step;
A combined output step (S5) of combining the generated scale image and the numerical information of the original dimensions with the captured image and outputting the combined image;
It is characterized by having.

また、本発明は上記目的を達成するために、監視カメラの撮像画像における所望の監視対象の上下方向の原寸法を算出し、この原寸法の数値情報を前記撮像画像と共に出力する監視方法であって、
前記撮像画像内の前記監視カメラからの距離の異なる複数箇所それぞれにおける特定のスケールの上下各位置を遠近法の消失点に基づき決定するスケール位置決定ステップ（Ｓ１１〜Ｓ１３）と、
前記撮像画像における前記所望の監視対象の上下各位置をポインティングデバイスによって指定するポインティングステップ（Ｓ１４）と、
前記スケール位置決定ステップにおいて決定された前記複数箇所それぞれにおける前記スケールの上下各位置と前記ポインティングステップにおいて指定された上下各位置とに基づき前記監視対象の上下方向の原寸法を算出する原寸法算出ステップ（Ｓ１５、Ｓ１６）と、
前記ポインティングステップにおいて指定された上下各位置に対応した大きさのスケール画像を前記原寸法算出ステップにおいて算出された原寸法の数値情報と共に生成するスケール画像生成ステップ（Ｓ４）と、
前記生成されたスケール画像と前記原寸法の数値情報とを前記撮像画像に合成して出力する合成出力ステップ（Ｓ５）とを、
有したことを特徴とする。Further, in order to achieve the above object, the present invention is a monitoring method for calculating an original vertical dimension of a desired monitoring target in a captured image of a monitoring camera and outputting numerical information of the original dimension together with the captured image. And
A scale position determination step (S11 to S13) for determining the upper and lower positions of a specific scale at each of a plurality of locations at different distances from the monitoring camera in the captured image based on a vanishing point of perspective;
A pointing step (S14) of designating the upper and lower positions of the desired monitoring target in the captured image with a pointing device;
An original dimension calculating step of calculating an original dimension in the vertical direction of the monitoring target based on the upper and lower positions of the scale at each of the plurality of locations determined in the scale position determining step and the upper and lower positions specified in the pointing step. (S15, S16),
A scale image generation step (S4) for generating a scale image having a size corresponding to each of the upper and lower positions designated in the pointing step together with numerical information of the original dimension calculated in the original dimension calculating step;
A combined output step (S5) of combining the generated scale image and the numerical information of the original dimensions with the captured image and outputting the combined image;
It is characterized by having.

本発明によれば、ポインティング手段により指定された上下位置に基づいて監視対象の高さを表示するので、監視カメラにより撮像された監視映像の中から所望の監視対象のみの高さを表示することができる。また、監視画面上の各位置の上下方向のスケールを遠近法の消失点に基づいてあらかじめ算出するので、簡単な方法で、監視カメラにより撮像された監視映像の中から所望の監視対象のみの高さを表示することができる。すなわち、ポインタを、画面上の被測定対象物の位置に移動させると、被写体の実際の寸法を表す目盛りがスケールとなるが、これは、操作員の指示に従った位置にのみ表示される。撮影された映像に映る人物のうちの、容貌や服装、身長などの身体的特徴を具体的に把握したいと要求される人物にのみ適用される。同時に１つの画面に映っている他の、特に注目を要しない人物については、身長やその人物の位置などの情報は表示されることがないため、その余分な情報に視界を妨げられることはなくなる。 According to the present invention, since the height of the monitoring target is displayed based on the vertical position designated by the pointing means, the height of only the desired monitoring target is displayed from the monitoring video imaged by the monitoring camera. Can do. In addition, since the vertical scale of each position on the monitoring screen is calculated in advance based on the vanishing point of the perspective method, only a desired monitoring target is selected from the monitoring images captured by the monitoring camera by a simple method. Can be displayed. That is, when the pointer is moved to the position of the object to be measured on the screen, the scale indicating the actual dimension of the subject becomes the scale, but this is displayed only at the position according to the instruction of the operator. It applies only to those who are required to specifically grasp physical features such as appearance, clothes, and height among the people shown in the captured video. For other people who are on the screen at the same time and do not need special attention, information such as height and the position of the person will not be displayed, so the extra information will not obstruct the view. .

以下、図面を参照して本発明の実施の形態について説明する。
＜第１の実施の形態＞
図１は本発明に係る監視装置を適用した映像監視システムの一実施の形態を示すブロック図である。Embodiments of the present invention will be described below with reference to the drawings.
<First Embodiment>
FIG. 1 is a block diagram showing an embodiment of a video monitoring system to which a monitoring apparatus according to the present invention is applied.

図１に示す例では、監視カメラ１ａ〜１ｄで監視対象を撮影してモニタディスプレイ２ａ、２ｂ（やハードコピー装置２１）で表示することにより、警備員は監視カメラ１ａ〜１ｄで撮影された映像をモニタディスプレイ２ａ、２ｂで監視する。３は付加機能を実現する装置であり、複数の付加機能が必要な場合、複数の装置で構成されることも多い。例えば付加機能３は、監視カメラが複数台ある場合には、マトリックススイッチャ（複数の映像のうち、任意の映像のみを選択する装置）や画面分割ユニット（１画面を分割し、そこに複数の監視カメラの映像を同時に表示させる装置）で構成される。また、監視員が常駐できないような場合や、監視映像を記録として残したい場合は、付加機能３にビデオテープレコーダ３１やディスクレコーダ３２も用いる。操作卓２２は付加機能３の制御（例えば複数のうちのどの映像を選ぶかの指示や、画面分割の状態の切り替え、レコーダの録画、再生、停止、早送りや巻き戻しなど）や、監視カメラ１ａ〜１ｄの遠隔制御（向きの制御やフォーカシング）のための、ユーザインタフェースである。操作卓２２の例を図２に示す。 In the example shown in FIG. 1, thesurveillance camera 1a to 1d shoots the monitoring target and displays it on the monitor displays 2a and 2b (or the hard copy device 21), so that the security guard can photograph thesurveillance cameras 1a to 1d. Are monitored by the monitor displays 2a and 2b.Reference numeral 3 denotes a device that realizes an additional function. When a plurality of additional functions are required, thedevice 3 is often composed of a plurality of devices. For example, when there are a plurality of surveillance cameras, theadditional function 3 is a matrix switcher (a device that selects only an arbitrary image from a plurality of images) or a screen division unit (divides one screen and a plurality of monitoring images there). Device that displays the camera image simultaneously. Further, when the monitoring staff cannot be resident or when it is desired to keep the monitoring video as a record, thevideo tape recorder 31 and thedisk recorder 32 are also used for theadditional function 3. Theconsole 22 controls the additional function 3 (for example, an instruction to select which of a plurality of images is selected, switching of the screen division state, recording, playback, stop, fast forward, rewind, etc. of the recorder) and thesurveillance camera 1a. A user interface for ˜1d remote control (direction control and focusing). An example of theconsole 22 is shown in FIG.

次に、監視カメラ１ａ〜１ｄの出力からの監視映像から、任意の被写体の上下方向の原寸法（被写体が直立している人物の場合、身長）を算出する方法を説明する。通常の操作において、警備員が監視映像に着目したい人物を見つけた場合、監視カメラがＰＴＺ（PAN（パン）…左右、TILT（チルト）…上下、ZOOM（ズーム）…拡大の略）制御可能なカメラ（以下、「ＰＴＺカメラ」と記載；例を図３に示す）であれば、その人物が監視画面に大きく映るよう操作卓２２からＰＴＺ制御を行う。この操作は、自動化される場合も多い。ＰＴＺカメラの多くは、外部からの信号入力をトリガとして、あらかじめ設定された方向とズームを合わせる機能を持つ。万引防止センサや、自動販売機やパチンコ店の遊戯機器の内部もしくは近傍に設置されたセンサ（例えば機器のこじ開けセンサ）、あるいは窓の防犯センサなどから、異常を知らせる信号がある場合、その信号をＰＴＺカメラに入力し、それをトリガとして、センサの位置に応じた視野にカメラが自動的に追従する。 Next, a method of calculating the original vertical dimension of an arbitrary subject (height in the case of an upright person) from the monitoring video from the outputs of thesurveillance cameras 1a to 1d will be described. In normal operation, if the security guard finds a person who wants to pay attention to the surveillance video, the surveillance camera can control PTZ (PAN (pan)… left and right, TILT (tilt)… up and down, ZOOM (zoom)… short for enlargement) In the case of a camera (hereinafter referred to as “PTZ camera”; an example is shown in FIG. 3), PTZ control is performed from theconsole 22 so that the person is greatly reflected on the monitoring screen. This operation is often automated. Many PTZ cameras have a function of matching a preset direction with a zoom by using an external signal input as a trigger. If there is a signal indicating abnormality from a shoplifting prevention sensor, a sensor installed in or near a vending machine or a game machine at a pachinko parlor (for example, a device opening sensor), or a security sensor for a window, Input to the PTZ camera, and using it as a trigger, the camera automatically follows the field of view according to the position of the sensor.

図４に示すように固定点Ｐ（地上高ｈ）に設置されたカメラ１があるとき、人物Ａ−Ａ’が、カメラ１から地上におろした垂線と地表の交点Ｐ’からどれくらいの距離ａを歩行しているかは、カメラの設置角や視野角などから∠ＡＰＰ’の角度αが分かれば、次式（１）で計算できる
ａ＝ｈ・tanα …（１）
また、人物の頭頂部とカメラを結ぶ線と、カメラから下ろした垂線のなす∠Ａ’ＰＰ’の角度βが分かれば、人物の身長ｘも次式（２）で計算できる。
ｂ＝ｈ・tanβ
ｈ：ｂ＝ｘ：ｂ−ａ（∵△Ｐ’ＰＢ∽Ａ’ＡＢ）
∴ｘ＝ｈ・（ｂ−ａ）／ｂ
＝ｈ・（tanβ−tanα）／tanβ …（２）As shown in FIG. 4, when there is acamera 1 installed at a fixed point P (ground height h), the distance a from the intersection P ′ between the person AA ′ and the vertical line from thecamera 1 to the ground and the ground surface Can be calculated by the following equation (1) if the angle α of ∠APP ′ is known from the camera installation angle and viewing angle, etc. a = h · tan α (1)
Also, if the angle β of ∠A'PP 'formed by a line connecting the head of the person and the camera and a perpendicular drawn from the camera is known, the person's height x can also be calculated by the following equation (2).
b = h · tanβ
h: b = x: ba (∵ΔP′PB∽A′AB)
∴x = h · (ba) / b
= H · (tanβ-tanα) / tanβ (2)

多くの場合、カメラの高さｈは固定で、設置時に決められる。角度α、βはＰＴＺカメラの制御状態で決まるので、それを把握すればよい。また、ＰＴＺ制御が不能なカメラ（以下、「固定カメラ」と記載）では、角度α、βは設置時に決まる。なお、角度α、βは、撮像板のサイズやレンズの視野（焦点距離）から算出可能である。特許文献３にそれが説明されているので、ここでは説明を省略する。 In many cases, the height h of the camera is fixed and is determined at the time of installation. Since the angles α and β are determined by the control state of the PTZ camera, it is only necessary to grasp them. In addition, in a camera that cannot perform PTZ control (hereinafter referred to as “fixed camera”), the angles α and β are determined at the time of installation. The angles α and β can be calculated from the size of the imaging plate and the field of view (focal length) of the lens. Since this is described inPatent Document 3, the description thereof is omitted here.

本発明を実施する際に必要なカメラ１の構成のうち、ＰＴＺカメラの構成を図５に示す。撮像部１１はカメラとしての撮像機能であり、映像信号１８を出力する。ＰＴＺ制御機構１２は外部からの制御信号１５の指示に応じて、撮像部１１の向きや、撮像部１１のレンズのズームの状態を制御する。これが、ＰＴＺカメラとしての最低限の構成要素である。身長を知るには、（２）式の例では、角度α、βと高さｈを把握しなければならない。これらは、ＰＴＺカメラそのものが設置された高さと傾き、そして、その内部で、撮像部１１がどのような角度に制御され、その視野がどのようにズーミングされているかから把握できるので、それらの情報、すなわち、ＰＴＺ制御の状態とカメラ１の設置高の付加情報１６を映像信号１８に重畳して出力する。 Of the configuration of thecamera 1 necessary for carrying out the present invention, the configuration of the PTZ camera is shown in FIG. Theimaging unit 11 has an imaging function as a camera and outputs avideo signal 18. ThePTZ control mechanism 12 controls the orientation of theimaging unit 11 and the zoom state of the lens of theimaging unit 11 in accordance with an instruction of thecontrol signal 15 from the outside. This is the minimum component as a PTZ camera. In order to know the height, in the example of equation (2), the angles α and β and the height h must be grasped. These can be grasped from the height and inclination at which the PTZ camera itself is installed, and the angle within which theimaging unit 11 is controlled and how the field of view is zoomed. That is, the PTZ control state and theadditional information 16 of the installation height of thecamera 1 are superimposed on thevideo signal 18 and output.

付加情報１６を映像信号１８に重畳する方法としては、例えばアナログテレビジョンの文字多重放送のように、映像信号１８のモニタディスプレイには表示されない垂直帰線期間に付加情報１６を重畳する方法。あるいは、映像信号１８がＪＰＥＧ方式のようなデジタル情報の場合、その規格に許容される拡張領域やコメント領域などに付加情報１６を載せる方法もある。付加情報１６が重畳された映像信号１９は、ビデオテープレコーダ３１やディスクレコーダ３２（図１）に録画保存することもでき、その再生出力から付加情報１６を取り出すことができれば、角度α、βとカメラ１の設置された高さｈを、すなわち、任意の被写体の高さを知るためのゲージの表示に必要な情報が得られる。 A method of superimposing theadditional information 16 on thevideo signal 18 is a method of superimposing theadditional information 16 in a vertical blanking period that is not displayed on the monitor display of thevideo signal 18, for example, in the character multiplex broadcasting of analog television. Alternatively, when thevideo signal 18 is digital information such as the JPEG format, there is a method in which theadditional information 16 is placed in an extension area or a comment area allowed by the standard. Thevideo signal 19 on which theadditional information 16 is superimposed can be recorded and stored in thevideo tape recorder 31 or the disk recorder 32 (FIG. 1). If theadditional information 16 can be extracted from the reproduction output, the angles α, β and Information necessary for displaying a gauge for knowing the height h at which thecamera 1 is installed, that is, the height of an arbitrary subject can be obtained.

また、伝送路がＴＣＰ／ＩＰのようなプロトコルによるものの場合、意図的に映像そのものに情報を重畳させるのではなく、付加情報１６と映像信号１８を、論理的に全く異なるコネクションを張って送受信することも可能である。
さらにまた、付加情報１６を映像信号１８に重畳せず、映像信号１８のみがビデオテープレコーダ３１又はディスクレコーダ３２（図１）に録画保存される場合には、その映像情報の個々の時点と、付加情報１６の個々の時点付けを行う手段が必要である。例えば、付加情報には、タイムスタンプも合わせ、何らかの記録手段に、カメラ１ａ〜１ｄに対応付けたファイル（file-1a〜file-1d…）に保持しておく。カメラ１ｃのある時点の付加情報１６は、file-1cのその時点に対応するタイムスタンプを持つレコードを参照すればよい。Further, when the transmission path is based on a protocol such as TCP / IP, information is not intentionally superimposed on the video itself, but theadditional information 16 and thevideo signal 18 are transmitted and received with a logically completely different connection. It is also possible.
Furthermore, when theadditional information 16 is not superimposed on thevideo signal 18 and only thevideo signal 18 is recorded and stored in thevideo tape recorder 31 or the disk recorder 32 (FIG. 1), the individual time points of the video information, A means for performing individual timing of theadditional information 16 is required. For example, the additional information includes a time stamp and is stored in files (file-1a to file-1d...) Associated with thecameras 1a to 1d in some recording means. Theadditional information 16 at a certain point in time of thecamera 1c may refer to a record having a time stamp corresponding to that point in file-1c.

ここまで、被写体の高さを知るために、ＰＴＺカメラを用い、（２）式のような三角関数を用いる方法を例に挙げ説明してきた。固定カメラの場合には、第２の実施の形態に記載の映像のパースペクティブに基づいた方法における定数ｐとｙ₀を重畳してもよい。固定カメラの場合、ＰＴＺ制御信号１５ならびにＰＴＺ制御機構１２は存在しないので、代わりに定数ｐとｙ₀を保持するメモリをＰＴＺ制御機構１２の位置に持ってもよい。So far, in order to know the height of the subject, a method using a trigonometric function like equation (2) using a PTZ camera has been described as an example. In the case of a fixed camera, the constants p and y₀ in the method based on the video perspective described in the second embodiment may be superimposed. In the case of a fixed camera, since thePTZ control signal 15 and thePTZ control mechanism 12 do not exist, a memory for holding constants p and y₀ may be provided at the position of thePTZ control mechanism 12 instead.

映像信号１８への付加情報の重畳をカメラに内蔵する例を説明してきているが、図６に示すように、既に設置済みのＰＴＺカメラ１を利用する場合には、付加情報１６の重畳は外部機構１０で行うことになる。この図の例では、ＰＴＺカメラへ入力するＰＴＺ制御信号１５をトラップし、それを基にＰＴＺ機構の状態を推定した結果を外部機構１０内部のＰＴＺ状態保持部１３に保持する。その保持されている状態を付加情報１６として映像信号１８に重畳する。なお、三角関数を用いる方法やパースペクティブに基づいた方法、あるいは、ここに記載しない他の方法による情報が混在する場合には、先に説明した付加情報１６や、あるいは定数ｐとｙ₀などの情報の他に、情報の記載形式を識別するためのフォーマット識別子も併せて重畳してもよい。Although an example in which the superimposition of additional information on thevideo signal 18 is built in the camera has been described, as shown in FIG. 6, when the already installedPTZ camera 1 is used, the superimposition of theadditional information 16 is external. This is performed by themechanism 10. In the example of this figure, thePTZ control signal 15 input to the PTZ camera is trapped, and the result of estimating the state of the PTZ mechanism based on the trap is held in the PTZstate holding unit 13 inside theexternal mechanism 10. The held state is superimposed on thevideo signal 18 asadditional information 16. In addition, when information by a method using a trigonometric function, a method based on a perspective, or other methods not described here is mixed, information such as theadditional information 16 described above or constants p and y₀ is described. In addition, a format identifier for identifying a description format of information may also be superimposed.

また、図４は便宜的に地面（床面）を水平に描いている。屋内環境では、床面が水平な場合が多いが、屋外の監視では、山の斜面や坂道など、地面が水平とは限らない。しかし、（２）式は、ほぼそのまま成り立つ。これについて、図７を用いて説明する。地面が傾きθで傾いている場合、地表と垂直をなすような線分Ｐ−Ｐ’（長さｈ）を考えれば、Ｐ’−Ａ間の距離ａについては図４と同様に計算できる。ｈとｘの関係は（２）式の通り。△ＰＰ”Ｐ’∽△ＡＡ’Ａ”なので、Ａ地点の人物の身長ｘ’は、
ｘ’＝ｈ’・（tanβ−tanα）／tanβ
となる。FIG. 4 depicts the ground (floor surface) horizontally for convenience. In an indoor environment, the floor is often horizontal, but in outdoor monitoring, the ground such as mountain slopes and slopes is not always horizontal. However, equation (2) holds almost as it is. This will be described with reference to FIG. When the ground is inclined at an inclination θ, the distance a between P′-A can be calculated in the same manner as in FIG. 4 in consideration of a line segment PP ′ (length h) perpendicular to the ground surface. The relationship between h and x is as in equation (2). △ PP "P'∽ △ AA'A", so the height x 'of the person at point A is
x ′ = h ′ · (tan β−tan α) / tan β
It becomes.

カメラ１の設置高（図４のｈ、図７のｈ’）は、ほとんどの場合、設置工事のときに決まり、既知であるものとする。例えば、エレベータ三脚、クレーン雲台などによりカメラの設置高が変わることは、監視映像の場合、ほとんどない。もし、カメラの設置高を変える場合は、電子的な遠隔制御に頼ることが多く、その高さは、その遠隔制御のための情報から推定できる。 It is assumed that the installation height (h in FIG. 4 and h ′ in FIG. 7) of thecamera 1 is determined at the time of installation work and is known in most cases. For example, there is almost no change in the installation height of the camera due to an elevator tripod, a crane head, or the like in the case of surveillance video. If the installation height of the camera is changed, electronic remote control is often relied on, and the height can be estimated from the information for the remote control.

また、角度βは、図８において、カメラのチルト角をθとすれば、
β＝θ＋δ
＝θ＋tan^-1（ｐ／ｆ）
となり、チルト角θと、撮像板５上での見かけ上の大きさｐ、レンズ４の焦点距離ｆから求められる。角度αについても同様にして求められる。Further, the angle β can be obtained by assuming that the tilt angle of the camera is θ in FIG.
β = θ + δ
= Θ + tan^-1 (p / f)
Is obtained from the tilt angle θ, the apparent size p on the imaging plate 5, and the focal length f of thelens 4. The angle α is obtained in the same manner.

さて、監視対象となるのが、多くの人が集まる公共の場である場合、監視映像には、図９に示すように大勢の人物が映ることになる。身体的特徴として、身長に着目すると、本当に知りたいのは、そこに映る全員の身長ではなく、特定の人物１００の身長である。そこで、本発明では、監視画像を表示する際に、操作者が図１０（ａ）に示すように監視対象の上端にポインタ２６を移動してマウスボタンを押し、次いで図１０（ｂ）に示すようにマウスボタンを押したままポインタ２６を移動して刻々変わる時点でのポインタ位置と図１０（ａ）に示す位置を対角線とするボックスを表示する。そして、操作者が図１０（ｃ）に示すように監視対象の下端にポインタ２６を移動してマウスボタンを離すと、ボックスの高さを計算し、図１０（ｄ）に示すように、計算した高さ（身長）を示す数字（１６５ｃｍ）をスケールとして監視対象のボックスの隣に表示する。また、数字を表示する代わりに、図１１に示すように身長ゲージを表示するようにしてもよい。身長の算出は、既に述べた方法や、他の既知の方法を用いてもよい。また、図１２は目盛りの下端がポインタ２６を兼ねている例を示す。 Now, if the subject of monitoring is a public place where many people gather, a large number of people will appear in the surveillance video as shown in FIG. Focusing on height as a physical feature, what we really want to know is not the height of all the people in the picture but the height of aspecific person 100. Therefore, in the present invention, when displaying the monitoring image, the operator moves thepointer 26 to the upper end of the monitoring target and presses the mouse button, as shown in FIG. 10A, and then shown in FIG. 10B. In this way, a box is displayed in which the pointer position at the time when thepointer 26 is moved and changed every moment while the mouse button is pressed and the position shown in FIG. Then, when the operator moves thepointer 26 to the lower end of the monitoring target and releases the mouse button as shown in FIG. 10C, the height of the box is calculated, and as shown in FIG. A number (165 cm) indicating the height (height) is displayed next to the box to be monitored as a scale. Further, instead of displaying numbers, a height gauge may be displayed as shown in FIG. The height may be calculated using the method already described or other known methods. FIG. 12 shows an example in which the lower end of the scale also serves as thepointer 26.

図１３は、ステップ４において図１０（ｄ）に示すスケールや図１１に示す身長ゲージが表示されるまでの、一連の流れである。この処理は、図１の操作卓２２に設けられているボタンやスイッチ類により起動される。また、この処理がパーソナルコンピュータ上で実施される場合は、キーボードやマウスの操作により起動されてもよい。この例では、ステップＳ１で、カメラの設置高とＰＴＺ状態を把握しているが、既に述べたとおり、第２の実施の形態（後述）に記載の映像のパースペクティブに基づいた方法における定数ｐとｙ₀の把握でもよい。ステップＳ２は、操作卓２２のジョイスティックや、マウスなどのポインティングデバイスでの入力を促すプロンプティングで、例えば図１０のように、対象物の上端と下端を把握できるような入力を促す。上端と下端は、オペレータの手作業でポインティングデバイスから指示してもよいが、動体検出やオブジェクト認識など、既知の手段で個々の人物を映像から切り出すことが可能な場合、その人物のどこか一部を選択するだけで、その全身を把握するような、ユーザインタフェースも構築可能になる。FIG. 13 shows a series of flows until the scale shown in FIG. 10D and the height gauge shown in FIG. 11 are displayed instep 4. This process is activated by buttons and switches provided on theconsole 22 in FIG. Further, when this processing is performed on a personal computer, it may be started by operating a keyboard or a mouse. In this example, the installation height of the camera and the PTZ state are grasped in step S1, but as already described, the constant p in the method based on the video perspective described in the second embodiment (described later) It is also possible to grasp y₀ . Step S2 is a prompting that prompts an input with a joystick of theconsole 22 or a pointing device such as a mouse. For example, as shown in FIG. 10, the input prompts the user to grasp the upper and lower ends of the object. The upper and lower ends may be instructed manually from the pointing device by the operator, but if an individual person can be cut out from the video by a known means such as motion detection or object recognition, one of the persons It is possible to construct a user interface that can grasp the whole body simply by selecting a part.

ステップＳ３で入力操作が有りと判断されると、ステップＳ４へ進む。ステップＳ４では、図４に示した距離ａが分かれば、その位置に存在する被写体を映す撮像板の個々の画素について、それぞれの実際の大きさを推定できるので、それに基づきステップＳ５において身長を示す数字やゲージを表示させる。図４の演算内容が少し異なるが、基本的には同じフローで処理される。なお、これらは、図１の付加機能３で処理されるが、パーソナルコンピュータやワークステーションなどで構成されてもよく、監視映像そのものと、身長ゲージやカーソルの表示方法については、既知の一般的な方法を使えばよい。 If it is determined in step S3 that there is an input operation, the process proceeds to step S4. In step S4, if the distance a shown in FIG. 4 is known, the actual size of each pixel on the imaging board showing the subject present at that position can be estimated. Based on this, the height is shown in step S5. Display numbers and gauges. Although the calculation contents in FIG. 4 are slightly different, the processing is basically performed in the same flow. These are processed by theadditional function 3 in FIG. 1, but may be configured by a personal computer, a workstation, or the like. The monitoring video itself and the display method of the height gauge and the cursor are known in general. Use the method.

また、以上の説明は、被写体が人物であり、その身長を把握することを例に挙げて説明してきたが、これは、平らな床面に置かれた任意の物体の高さと読み替えることができる。また、撮影された画像の画素が正方形である場合は、被写体を構成する個々の画素の高さ方向の実際の寸法と、横方向の実際の寸法は一致するので、高さだけでなく幅の把握と表示も可能である。撮影された画像の画素が正方形でない場合には、その画素の縦横比を単純に勘案し、幅を求めることができる。 In the above description, the subject is a person and the height is grasped as an example, but this can be read as the height of an arbitrary object placed on a flat floor. . In addition, when the pixels of the captured image are square, the actual dimensions in the height direction and the actual dimensions in the horizontal direction of the individual pixels constituting the subject coincide with each other. It can also be grasped and displayed. If the pixel of the captured image is not square, the width can be obtained simply by taking the aspect ratio of the pixel into consideration.

＜第２の実施の形態＞
図１４は監視映像を模式的に描いた例を示し、図１４を用いて本発明の第２の実施の形態の原理を説明する。この図において、遠い箇所と近い箇所の２箇所に全く同じ身長の人物が映っているものとする。２箇所の人物と床面の接点、すなわち、足が床についている点の画面上の垂直座標をｙ_aとｙ_b、画面上での見かけ上のこの人物の身長をｈ_a、ｈ_b（例えば単位はピクセル、あるいは走査線本数）、この画面のパース（パースペクティブ＝透視法：遠近法）の消失点（必ずしも撮影された監視映像の画面上にあるとは限らない）の垂直座標をｙ₀とすると、
ｈ_a：ｈ_b＝（ｙ_a−ｙ₀）：（ｙ_b−ｙ₀） …（３）
と、線形に比例する。この人物が、任意の点に移動したとき、監視映像画面上で、足を付けている点の垂直座標をｙとしたとき、見かけ上の画面上での身長ｈは、
ｈ＝ｐ・（ｙ−ｙ₀） …（４）
ここで、ｐとｙ₀は定数。<Second Embodiment>
FIG. 14 shows an example in which a surveillance video is schematically drawn. The principle of the second embodiment of the present invention will be described with reference to FIG. In this figure, it is assumed that persons with exactly the same height are shown in two places, a distant place and a close place. Contact person and the floor of the two positions, i.e., y_a and y_b a vertical coordinate on the screen at the point where the legs are attached to the floor, the height of the person h_a apparent on the screen, h_b (e.g. The unit is pixel, or the number of scanning lines), and the vertical coordinate of the vanishing point (perspective = perspective method: perspective method) of this screen (not necessarily on the screen of the captured surveillance video) is y₀ Then
h_a : h_b = (y_a −y₀ ) :( y_b −y₀ ) (3)
And linearly proportional. When this person moves to an arbitrary point, when the vertical coordinate of the point on the monitoring video screen is y, the apparent height h on the screen is
h = p · (y−y₀ ) (4)
Here, p and y₀ are constants.

ここで、カメラの位置（設置高）や向き（パンやチルトの角度）、ズームの状態（レンズの焦点距離）が、通常の運用状態では変化せず固定的に利用される監視カメラを、特に「固定カメラ」と呼ぶ。すなわち、固定カメラが撮影する映像のパースは、設置時に決められる。パースが固定されれば、定数ｐとｙ₀も一意に決まる。この２つの定数ｐ、ｙ₀を、固定カメラのパースを決め終えた時点で求める作業を、ここでは「キャリブレーション」と呼ぶことにする。Here, a surveillance camera that is fixedly used without changing the camera position (installation height), orientation (pan and tilt angles), and zoom status (lens focal length) in normal operating conditions, especially Called “Fixed Camera”. That is, the perspective of the video captured by the fixed camera is determined at the time of installation. If the perspective is fixed, the constants p and y₀ are also uniquely determined. The operation for obtaining these two constants p and y₀ when the fixed camera perspective has been determined will be referred to herein as “calibration”.

キャリブレーション、すなわち、定数ｐとｙ₀を求める手順を説明する。図１５（ａ）に示すように、まず、任意の地点に、一定の長さの棒２４ａを床面に垂直に設置し、図１４における監視映像画面の座標ｙ_aと見かけ上の長さｈ_aを測る。次に図１５（ｂ）に示すように、棒の設置箇所を変え（棒２４ｂ）、図１４における監視映像画面で座標ｙ_bと見かけ上の長さｈ_bを測る。
（３）、（４）の関係から、定数ｐとｙ₀は、
ｐ＝（ｈ_a−ｈ_b）／（ｙ_a−ｙ_b） …（５）
ｙ₀＝ｙ_a−ｈ_a／ｐ
＝ｙ_b−ｈ_b／ｐ
と求められる。Calibration, that is, a procedure for obtaining constants p and y₀ will be described. Figure 15 (a), the first, an arbitrary point, placed vertically a certain length of thebar 24a on the floor, the coordinate y_a and apparent length h of the surveillance video screen in FIG. 14 measure_a. Next, as shown in FIG. 15B, the installation location of the bar is changed (bar 24b), and the coordinate y_b and the apparent length h_b are measured on the monitoring video screen in FIG.
From the relationship between (3) and (4), the constants p and y₀ are
_{_{p = (h a -h b)}} / (y a -y b) ... (5)
_{_{_{y 0 = y a -h a /}}} p
= Y_b -h_b / p
Is required.

この例では、２地点での測定を基準にして定数ｐとｙ₀を把握する方法を記したが、例えば測定点を増やし、直線回帰分析のような統計的手法により、定数ｐとｙ₀を把握してもよい。上述したキャリブレーションを、監視画像を目視しながらの手作業で行うことは原理的には可能であるが、現実的でない。そこで、監視画像を表示する際に、監視画像に合わせて、図１５に示すようにマウスやジョイスティックなどのポインティングデバイスの操作により任意の点を指すポインタ２５を表示し、そのポインタ位置から監視画像上のｙ_a、ｙ_bと、見かけ上の長さｈ_a、ｈ_bを測るような、インタラクティビティをもったソフトウェア処理を介することが考えられる。In this example, the method of grasping the constants p and y_{0 based} on the measurement at two points is described. However, for example, the constants p and y₀ are obtained by a statistical method such as linear regression analysis by increasing the number of measurement points. You may grasp. Although it is possible in principle to perform the above-described calibration manually while viewing the monitoring image, it is not practical. Therefore, when displaying a monitoring image, apointer 25 pointing to an arbitrary point is displayed by operating a pointing device such as a mouse or a joystick, as shown in FIG. It is conceivable to use software processing with interactivity such as measuring y_a and y_b and apparent lengths h_a and h_b .

図１６、図１７を参照してこのキャリブレーションのソフトウェア処理について説明する。このソフトウェア処理は呼び出されると、ステップＳ１１において監視画面と共に、図１５に示すように、ｙ_aの入力を促すプロンプティングメッセージと共にポインタ２５を表示させ、次いでステップＳ１２では図１７に詳しく示すキャリブレーション入力サブルーチンを呼び出す。このサブルーチンでは、オペレータ（設置工事者や保守作業員など）が任意の地点に一定の長さの棒２４ａを床面に垂直に設置し（ステップＳ２１）、監視映像画面の座標ｙ_aを測るために、ポインティングデバイスの操作によりポインタ２５を棒２４ａの下端（ポインタ２５ａ）に移動し、ポインティングデバイスのボタン（例えばマウスボタン）を操作する（ステップＳ２２）。これにより、キャリブレーションのソフトウェア処理は座標ｙ＝ｙ_aを把握できる（ステップＳ２３）。The calibration software processing will be described with reference to FIGS. When this software process is called,_apointer 25 is displayed together with a monitoring screen in step S11 and a prompting message for prompting the input of ya as shown in FIG. 15, and then in step S12 a calibration input shown in detail in FIG. Call a subroutine. In this subroutine, therod 24a of the operator (installation work people and maintenance personnel, etc.) is constant in any point length placed perpendicular to the floor (step S21), and to measure the coordinates y_a monitoring image screen Then, thepointer 25 is moved to the lower end (pointer 25a) of thestick 24a by operating the pointing device, and the button (for example, mouse button) of the pointing device is operated (step S22). Thus, software processing of the calibration can grasp the coordinate y = y_a (step S23).

このソフトウェアは、次に、棒２４ａの上端（ポインタ２５ｂ）にポインタ２５を移動しボタン操作を行う旨のメッセージをプロンプティングした後に（ステップＳ２４）、オペレータからの操作待ち状態に入る（ステップＳ２５）。オペレータがポインタ２５を棒２４ａの上端（ポインタ２５ｂ）に移動し、ボタン操作を行うと、キャリブレーションのソフトウェア処理は、入力された座標ｙ’と、既に把握している座標ｙ＝ｙ_aから長さｈ＝ｙ’−ｙ（ｈ_a＝ｙ’−ｙ_a）を把握できる（ステップＳ２７、図１６のステップＳ１３）。次に棒２４ｂについて同様の処理を繰り返し（図１６のステップＳ１４、Ｓ１５）、棒２４ｂの座標ｙ_bから長さｈ_bをキャリブレーションのソフトウェア処理に把握させる（ステップＳ１６）。キャリブレーションのソフトウェア処理は、（５）式や直線回帰分析などにより定数ｐとｙ₀を求めることができる（ステップＳ１７）。（３）式の演算をソフトウェア手段により実現する例について説明する。ソフトウェア手段は、例えば図１８に模式的に示したような監視画像と監視画像上にポインタ２６を表示する際に、ポインタ２６の垂直座標を（３）式にあてはめ、画面上の見かけ上の長さｈで身長ゲージを表示する。これは、キャリブレーションの際に、実際の高さが１６５cmの棒を使っていれば、それと同じ長さに相当するスケールとなる。Next, the software prompts a message to move thepointer 25 to the upper end (pointer 25b) of thebar 24a and perform a button operation (step S24), and then enters an operation waiting state from the operator (step S25). . The operator moves thepointer 25 to the upper end of therod 24a (pointer 25b), when a button is pressed, the software processing of the calibration, the coordinate y 'which is input, the length from the coordinate y = y_a which has already grasped is_{h = y'-y (h a} = y'-y a) can be grasped (step S27, step S13 in FIG. 16). Next (steps S14, S15 in FIG. 16) repeats the same processing forrod 24b, thereby grasp the length h_b to the software processing of the calibration from the coordinate y_b rod 24b (step S16). In the calibration software processing, the constants p and y₀ can be obtained by equation (5) or linear regression analysis (step S17). An example in which the calculation of equation (3) is realized by software means will be described. When displaying thepointer 26 on the monitoring image and the monitoring image as schematically shown in FIG. 18, for example, the software means applies the vertical coordinates of thepointer 26 to the equation (3), and the apparent length on the screen. The height gauge is displayed at h. This is a scale corresponding to the same length if a bar with an actual height of 165 cm is used during calibration.

上記処理により、図１８に示すように、オペレータは、異なる距離に位置する複数の人物から、身長を推定したい人物の足元にポインタ２６、２６’、２６”を合わせることにより、身長の推定の補助となるスケールを画面表示として得ることができる。図１６に示したゲージが、実際の高さ１６５cmでキャリブレートされているとき、監視カメラ１の光軸が水平に近い状態に設置されていれば、例えば１７５cmのゲージは、（５）式の結果を１７０／１６５倍することで、近似的に表すことができる。これにより、図１４に示すように、身長を推定したい人物の足元にポインタ２６を合わせることで、スケールを表示することもできる。 By the above processing, as shown in FIG. 18, the operator assists the height estimation by aligning thepointers 26, 26 ′, 26 ″ with the feet of the person whose height is to be estimated from a plurality of persons located at different distances. When the gauge shown in Fig. 16 is calibrated at an actual height of 165 cm, if the optical axis of thesurveillance camera 1 is installed in a state close to horizontal, For example, a gauge of 175 cm can be approximately expressed by multiplying the result of the formula (5) by 170/165, whereby thepointer 26 is placed at the foot of the person whose height is to be estimated, as shown in FIG. The scale can also be displayed by combining them.

ここで、監視カメラ１の光軸が床面に垂直に近くなるほど、近似精度は劣化し、実用的ではなくなる。そこで、上記説明では、図１５の棒２４ａの下端（ポインタ２５ａ）と上端（ポインタ２５ｂ）、そして棒２４ｂの下端（ポインタ２６ａ）と上端（ポインタ２６ｂ）のみの画面上の座標を測ったが、さらに、棒２４ａの中間位置（ポインタ２５ｃ、２５ｄ）を測ることとする。例えば床面からの高さを、上端のポインタ２５ｂが１７５cm、中間位置のポインタ２５ｃが１７０cm、ポインタ２５ｄが１６５cmとする。まず、同様に、ポインタ２５ａ、２５ｂとポインタ２６ａ、２６ｂから、高さ１７５cmでの定数ｐと消失点の垂直座標ｙ₀が求められる。Here, the closer the optical axis of thesurveillance camera 1 is to be perpendicular to the floor surface, the worse the approximation accuracy, and it becomes impractical. Therefore, in the above description, the coordinates on the screen of only the lower end (pointer 25a) and upper end (pointer 25b) of therod 24a and the lower end (pointer 26a) and upper end (pointer 26b) of therod 24b are measured. Further, an intermediate position (pointers 25c and 25d) of therod 24a is measured. For example, the height from the floor is 175 cm for thepointer 25b at the upper end, 170 cm for thepointer 25c at the middle position, and 165 cm for thepointer 25d. First, similarly, a constant p at a height of 175 cm and a vertical coordinate y_{0 of the} vanishing point are obtained from thepointers 25a, 25b and thepointers 26a, 26b.

次に、高さ１７０cmでの定数p'を求めるために、ポインタ２５ｃの垂直座標を測る。方法は、上記説明と同様の手段を用いることができ、ポインタ２５ｃの座標ｙ_a'と長さｈ_a'を把握できる。既に、消失点ｙ₀は分かっており、そこでの被写体は、見かけ上、大きさが０となるため、（５）式を変形し、高さ１７０cmでの定数p'は、
p’＝（ｈ_a'−０）／（ｙ_a'−ｙ₀）
＝ｈ_a'／（ｙ_a'−ｙ₀）
となり、ポインタ２５ｃに相当する棒２４ｂの位置の測定は不要である。ポインタ２５ｄについても同様である。このようにして、監視カメラ１の光軸が床面に対し、垂直に近くなっても、図１８に示すように実用的なゲージを表示できる。Next, in order to obtain a constant p ′ at a height of 170 cm, the vertical coordinate of thepointer 25c is measured. As the method, the same means as described above can be used, and the coordinates y_a ′ and the length h_a ′ of thepointer 25c can be grasped. The vanishing point y₀ is already known, and the subject there appears to have a size of 0, so the equation (5) is modified, and the constant p ′ at a height of 170 cm is
_{p '= (h a' -0} ) / (y a '-y 0)
_{_{= H a '/ (y a}} ' -y 0)
Thus, it is not necessary to measure the position of therod 24b corresponding to thepointer 25c. The same applies to thepointer 25d. In this way, even if the optical axis of themonitoring camera 1 is nearly perpendicular to the floor surface, a practical gauge can be displayed as shown in FIG.

上記説明では、オペレータの操作により、画面上に、監視カメラ１が捉えた任意の人物の身長を推定する手段を記したが、オペレータの介在なく、あるいは、画面上への表示をすることなく、これらの処理を機械化することも可能である。例えば、パターン抽出／認識手段により、映像の中の人物を機械的に抽出し、その人物の身長を把握したい場合にも、本発明のアルゴリズムを応用できる。例えばキャリブレーションの段階では、それに用いる固定長の棒を、特徴的な色彩、等間隔の赤と白で塗りわけた棒をオペレータが設置する。撮像された映像上に、赤と白が縦に連なった状態を、パターン抽出／認識手段が機械的に検出でき、その座標データを把握できれば、前記した一連のポインタ表示とボタン操作の一連の手順を省くことができる。オペレータは機械からの指示に従い、キャリブレーションのための棒状の基準を、任意の少なくとも２点に移動しながら設置すればよい。もちろん、この場合、少なくとも２本のキャリブレーション用の棒を用意し、同時にその座標と高さを把握することも可能であろう。また、身長の把握時には、例えば、前後のフレーム（映画のコマに相当）を比較することで、動きのある領域と、その画面上の座標を知ることができる。その座標を基に、動きのある物体の高さを類推することが可能である。もちろん、高さを測ろうとする被写体の自動検出手段は、その他のパターン認識手法に頼ってもよい。 In the above description, the means for estimating the height of an arbitrary person captured by themonitoring camera 1 on the screen by the operation of the operator is described, but without the intervention of the operator or the display on the screen, It is also possible to mechanize these processes. For example, the algorithm of the present invention can be applied to a case where a person in a video is mechanically extracted by a pattern extraction / recognition means and the height of the person is to be grasped. For example, at the calibration stage, an operator installs a fixed-length bar used for the bar, which is painted with a characteristic color and equally spaced red and white. If the pattern extraction / recognition means can mechanically detect the state in which red and white are vertically connected on the captured image, and if the coordinate data can be grasped, the series of pointer display and button operation series described above. Can be omitted. The operator may set the bar-shaped reference for calibration while moving to at least two arbitrary points in accordance with instructions from the machine. Of course, in this case, it is possible to prepare at least two calibration bars and simultaneously grasp their coordinates and height. When grasping the height, for example, by comparing the previous and next frames (corresponding to movie frames), it is possible to know the moving area and its coordinates on the screen. Based on the coordinates, the height of a moving object can be estimated. Of course, the means for automatically detecting the subject whose height is to be measured may depend on other pattern recognition methods.

本発明に係る監視装置が適用された映像監視システムの一実施の形態を示すブロック図である。1 is a block diagram showing an embodiment of a video monitoring system to which a monitoring device according to the present invention is applied.図１の操作卓の例を示す構成図である。It is a block diagram which shows the example of the console of FIG.図１の監視カメラの例を示す構成図である。It is a block diagram which shows the example of the surveillance camera of FIG.図１の映像監視システムの身長測定方法の一例を示す説明図である。It is explanatory drawing which shows an example of the height measuring method of the video surveillance system of FIG.図１の監視カメラの構成を示すブロック図である。It is a block diagram which shows the structure of the surveillance camera of FIG.図１の監視カメラの他の構成を示すブロック図である。It is a block diagram which shows the other structure of the surveillance camera of FIG.図１の映像監視システムの身長測定方法の他の例を示す説明図である。It is explanatory drawing which shows the other example of the height measuring method of the video surveillance system of FIG.図１の映像監視システムの身長測定方法の更に他の例を示す説明図である。It is explanatory drawing which shows the further another example of the height measuring method of the video surveillance system of FIG.図１の映像監視システムの監視画像の一例を示す説明図である。It is explanatory drawing which shows an example of the monitoring image of the video monitoring system of FIG.図１の映像監視システムにおけるポインティング動作とスケール画像を示す説明図である。It is explanatory drawing which shows the pointing operation | movement and scale image in the video surveillance system of FIG.図１の映像監視システムにおける他のスケール画像を示す説明図である。It is explanatory drawing which shows the other scale image in the video surveillance system of FIG.図１の映像監視システムにおける更に他のスケール画像を示す説明図である。It is explanatory drawing which shows the further another scale image in the video surveillance system of FIG.図１の映像監視システムの動作を説明するためのフローチャートである。It is a flowchart for demonstrating operation | movement of the video surveillance system of FIG.第２の実施の形態の映像監視システムの身長測定方法を示す説明図である。It is explanatory drawing which shows the height measuring method of the video surveillance system of 2nd Embodiment.第２の実施の形態の映像監視システムの身長測定方法を示す説明図である。It is explanatory drawing which shows the height measuring method of the video surveillance system of 2nd Embodiment.第２の実施の形態の映像監視システムの動作を説明するためのフローチャートである。It is a flowchart for demonstrating operation | movement of the video surveillance system of 2nd Embodiment.図１６のキャリブレーション入力サブルーチンを詳しく説明するためのフローチャートである。It is a flowchart for demonstrating in detail the calibration input subroutine of FIG.第２の実施の形態の映像監視システムにおけるスケール画像を示す説明図である。It is explanatory drawing which shows the scale image in the video surveillance system of 2nd Embodiment.従来技術の身長測定方法を示す説明図である。It is explanatory drawing which shows the height measuring method of a prior art.

符号の説明Explanation of symbols

１、１ａ〜１ｄ監視カメラ
２ａ、２ｂモニタディスプレイ
３付加機能
４レンズ
５撮像板
１０外部機構
１１撮像部
１２ＰＴＺ制御機構
１３ＰＴＺ状態保持部
１５ＰＴＺ制御信号
１６付加情報
１８、１９映像信号
２１ハードコピー装置
２２操作卓
２４ａ、２４ｂ棒
２５、２５ａ〜２５ｄ、２６、２６’、２６”、２６ａ、２６ｂポインタ
３１ビデオテープレコーダ
３２ディスクレコーダ
１００特定の人物
DESCRIPTION OFSYMBOLS 1, 1a-1d Monitoring camera 2a,2b Monitor display 3Additional function 4 Lens 5Imaging board 10External mechanism 11Imaging part 12PTZ control mechanism 13 PTZstate holding part 15PTZ control signal 16Additional information 18, 19Video signal 21Hard copy Device 22Console 24a,24b Bar 25, 25a-25d, 26, 26 ', 26 ", 26a,26b Pointer 31Video tape recorder 32Disc recorder 100 Specific person

Claims

Translated fromJapanese

監視カメラの撮像画像における所望の監視対象の上下方向の原寸法を算出し、この原寸法の数値情報を前記撮像画像と共に出力する監視装置であって、
前記撮像画像における前記所望の監視対象の上下各位置を指定するポインティング手段と、
前記監視カメラの地上からの設置高情報と前記ポインティング手段で指定された上下各位置とに基づき前記監視対象の上下方向の原寸法を算出する原寸法算出手段と、
前記ポインティング手段で指定された上下各位置に対応した大きさのスケール画像を前記原寸法算出手段で算出された原寸法の数値情報と共に生成するスケール画像生成手段と、
前記生成されたスケール画像と前記原寸法の数値情報とを前記撮像画像に合成して出力する合成出力手段とを、
備えた構成の監視装置。A monitoring device that calculates an original vertical dimension of a desired monitoring target in a captured image of a monitoring camera and outputs numerical information of the original dimension together with the captured image,
Pointing means for designating the upper and lower positions of the desired monitoring target in the captured image;
An original dimension calculating means for calculating an original dimension in the vertical direction of the monitoring target based on the installation height information from the ground of the monitoring camera and the vertical positions designated by the pointing means;
A scale image generating means for generating a scale image having a size corresponding to each of the upper and lower positions designated by the pointing means together with numerical information of the original dimensions calculated by the original dimension calculating means;
A synthesized output means for synthesizing and outputting the generated scale image and the numerical information of the original dimension to the captured image;
A monitoring device with a configuration provided.

監視カメラの撮像画像における所望の監視対象の上下方向の原寸法を算出し、この原寸法の数値情報を前記撮像画像と共に出力する監視装置であって、
前記撮像画像内の前記監視カメラからの距離の異なる複数箇所それぞれにおける特定のスケールの上下各位置を遠近法の消失点に基づき決定するスケール位置決定手段と、
前記撮像画像における前記所望の監視対象の上下各位置を指定するポインティング手段と、
前記スケール位置決定手段で決定された前記複数箇所それぞれにおける前記スケールの上下各位置と前記ポインティング手段で指定された上下各位置とに基づき前記監視対象の上下方向の原寸法を算出する原寸法算出手段と、
前記ポインティング手段で指定された上下各位置に対応した大きさのスケール画像を前記原寸法算出手段で算出された原寸法の数値情報と共に生成するスケール画像生成手段と、
前記生成されたスケール画像と前記原寸法の数値情報とを前記撮像画像に合成して出力する合成出力手段とを、
備えた構成の監視装置。A monitoring device that calculates an original vertical dimension of a desired monitoring target in a captured image of a monitoring camera and outputs numerical information of the original dimension together with the captured image,
Scale position determining means for determining the upper and lower positions of a specific scale at each of a plurality of locations at different distances from the monitoring camera in the captured image, based on a vanishing point of perspective;
Pointing means for designating the upper and lower positions of the desired monitoring target in the captured image;
Original dimension calculation means for calculating the original dimension in the vertical direction of the monitoring target based on the respective vertical positions of the scale determined by the scale position determination means and the vertical positions specified by the pointing means. When,
A scale image generating means for generating a scale image having a size corresponding to each of the upper and lower positions designated by the pointing means together with numerical information of the original dimensions calculated by the original dimension calculating means;
A synthesized output means for synthesizing and outputting the generated scale image and the numerical information of the original dimension to the captured image;
A monitoring device with a configuration provided.

監視カメラの撮像画像における所望の監視対象の上下方向の原寸法を算出し、この原寸法の数値情報を前記撮像画像と共に出力する監視方法であって、
前記撮像画像における前記所望の監視対象の上下各位置をポインティングデバイスによって指定するポインティングステップと、
前記監視カメラの地上からの設置高情報と前記ポインティングステップにおいて指定された上下各位置とに基づき前記監視対象の上下方向の原寸法を算出する原寸法算出ステップと、
前記ポインティングステップにおいて指定された上下各位置に対応した大きさのスケール画像を前記原寸法算出ステップにおいて算出された原寸法の数値情報と共に生成するスケール画像生成ステップと、
前記生成されたスケール画像と前記原寸法の数値情報とを前記撮像画像に合成して出力する合成出力ステップとを、
有した監視方法。A monitoring method for calculating an original vertical dimension of a desired monitoring target in a captured image of a monitoring camera and outputting numerical information of the original dimension together with the captured image,
A pointing step of designating the upper and lower positions of the desired monitoring target in the captured image by a pointing device;
An original dimension calculating step of calculating an original dimension in the vertical direction of the monitoring target based on the installation height information from the ground of the monitoring camera and the vertical positions specified in the pointing step;
A scale image generation step for generating a scale image of a size corresponding to each of the upper and lower positions designated in the pointing step together with numerical information of the original dimension calculated in the original dimension calculation step;
A combined output step of combining the generated scale image and the numerical information of the original dimension with the captured image and outputting the combined image;
The monitoring method we had.

監視カメラの撮像画像における所望の監視対象の上下方向の原寸法を算出し、この原寸法の数値情報を前記撮像画像と共に出力する監視方法であって、
前記撮像画像内の前記監視カメラからの距離の異なる複数箇所それぞれにおける特定のスケールの上下各位置を遠近法の消失点に基づき決定するスケール位置決定ステップと、
前記撮像画像における前記所望の監視対象の上下各位置をポインティングデバイスによって指定するポインティングステップと、
前記スケール位置決定ステップにおいて決定された前記複数箇所それぞれにおける前記スケールの上下各位置と前記ポインティングステップにおいて指定された上下各位置とに基づき前記監視対象の上下方向の原寸法を算出する原寸法算出ステップと、
前記ポインティングステップにおいて指定された上下各位置に対応した大きさのスケール画像を前記原寸法算出ステップにおいて算出された原寸法の数値情報と共に生成するスケール画像生成ステップと、
前記生成されたスケール画像と前記原寸法の数値情報とを前記撮像画像に合成して出力する合成出力ステップとを、
有した監視方法。
A monitoring method for calculating an original vertical dimension of a desired monitoring target in a captured image of a monitoring camera and outputting numerical information of the original dimension together with the captured image,
A scale position determining step for determining each position above and below a specific scale at each of a plurality of locations at different distances from the monitoring camera in the captured image, based on a vanishing point of perspective;
A pointing step of designating the upper and lower positions of the desired monitoring target in the captured image by a pointing device;
An original dimension calculating step of calculating an original dimension in the vertical direction of the monitoring target based on the upper and lower positions of the scale at each of the plurality of locations determined in the scale position determining step and the upper and lower positions specified in the pointing step. When,
A scale image generation step for generating a scale image of a size corresponding to each of the upper and lower positions designated in the pointing step together with numerical information of the original dimension calculated in the original dimension calculation step;
A combined output step of combining the generated scale image and the numerical information of the original dimension with the captured image and outputting the combined image;
The monitoring method we had.